KR100580369B1

KR100580369B1 - 컬러 영상 부호화/복호화 방법 및 장치

Info

Publication number: KR100580369B1
Application number: KR1020040039626A
Authority: KR
Inventors: 이철희
Original assignee: 학교법인연세대학교
Priority date: 2004-06-01
Filing date: 2004-06-01
Publication date: 2006-05-15
Also published as: KR20050114411A

Abstract

본 발명에 의한 부호화/복호화 방법은, 컬러필터 어레이(color filter array)를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화/복호화하기 위하여, 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계; 샘플된 컬러 영상을 직접 부호화하여 압축된 영상을 생성하는 단계; 압축된 영상을 복호화하여 샘플된 컬러 영상을 복원하는 단계; 및 복원된 샘플된 컬러 영상을 보간하여 풀컬러 영상을 생성하는 단계를 구비하는 것을 특징으로 한다.

본 발명에 의하면 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 직접 부호화하여 압축된 영상을 생성함으로써, 압축된 영상의 데이터량을 획기적으로 줄일 수 있다. 따라서, 압축된 영상을 저장하는 비용, 및 압축된 영상을 전송하는 비용을 줄일 수 있다.

한편, 서로 다른 장치간에 데이터가 송수신될 때, 데이터의 호환성은 매우 중요한 사항이다. 본 발명의 부호화 방법 및 장치는 외부 시스템과의 전송 호환성을 위하여, 본 발명의 압축 데이터 포맷을 외부 시스템과 호환되는 데이터 포맷으로 변환할 수 있는 기능을 제공함으로써 이러한 호환성 요구를 만족한다.

Description

컬러 영상 부호화/복호화 방법 및 장치{Methods and apparatus for encoding/decoding color images}

도 1a는 적색(R), 녹색(G), 청색(B) 화소들로 이루어진 베이어 패턴(Bayer pattern)의 CFA(color filter array)를 나타낸다.

도 1b 적색(R), 녹색(G), 청색(B) 화소들로 이루어진 CFA의 다른 예이다.

도 1c는 휘도(Y), 제1채도(C1), 및 제2채도(C2) 화소들로 이루어진 CFA의 예를 나타낸다.

도 2a 및 도 2b는 보간 동작에 의해 샘플된 컬러 영상으로부터 풀컬러 영상이 생성되는 과정을 설명하기 위한 도면이다.

도 3은 RGB 색좌표계로부터 Yuv 색좌표계로 변환되는 과정을 설명하기 위한 도면이다.

도 4는 CFA를 갖는 단일 이미지 센서에서 얻은 샘플된 컬러 영상을 위한 종래의 부호화/복호화 장치를 설명하기 위한 블록도이다.

도 5는 본 발명의 바람직한 일 실시예에 의한 영상 부호화/복호화 방법을 설명하기 위한 플로우차트이다.

도 6 내지 도 11은 본 발명의 바람직한 실시예들에 의한 영상 부호화/복호화 방법을 설명하기 위한 플로우차트들이다.

도 12 내지 도 29는 본 발명의 바람직한 실시예들에 의한 영상 부호화/복호화 장치를 설명하기 위한 블록도들이다.

도 30 내지 도 34는 본 발명의 바람직한 실시예들에 의한 비디오 부호화/복호화 방법을 설명하기 위한 블록도들이다.

도 35는 본 발명의 바람직한 실시예에 의한 전송 호환성을 갖는 부호화 장치를 설명하기 위한 블록도이다.

도 36은 본 발명의 바람직한 실시예에 의한 전송 호환성을 갖는 부호화/복호화 기능을 모두 갖는 영상장치의 블록도이다.

본 발명은 컬러필터어레이(Color filter array, 이하 "CFA")를 갖는 단일 영상 센서에 의해 획득된 영상을 부호화/복호화 하는 방법 및 장치에 관한 것이다.

디지털 카메라(digital still camera), 디지털 캠코더(digital camcoder), 휴대용 카메라 폰(mobile camera phone) 등의 영상장치들은, 영상을 디지털 포맷(digital format)으로 저장한다. 예컨대, 대부분은 디지털 카메라는 JPEG(Joint Photographic Expert Group)등과 같은 압축기법을 사용하여 영상을 압축한다. 또한, 많은 디지털 캠코더 역시 동영상을 디지털 포맷으로 저장한다. 예컨대, 디지털 캠코더는 MPEG2(Moving Picture Experts Group 2) 또는 DV(Digital Video) 포맷과 같은 동영상 압축 기법을 사용하여 동영상을 압축한다. 또한, 점점 더 많은 수의 영상장치가 정지영상 및 동영상을 디지털 포맷으로 저장하는 추세이다. 최근에는, 대부분의 휴대폰이 카메라를 장착하고 있고, 디지털 통신을 통하여 정지영상 및 동영상을 전송할 수 있다.

CFA를 구비한 단일 영상 센서(single image sensor)를 사용한 일반적인 영상장치에서, 샘플된 컬러 영상(sampled color image)는 보간 알고리즘(interpolation algorithm)에 의하여 풀컬러(full color) 영상으로 보간된다. 보간동작에 의해 생성된 풀컬러 영상의 데이터량은, 샘플된 컬러 영상의 데이터량의 3배이다.

일반적으로 디지털 데이터를 기록하는 매체의 가격 및 전송비용이 매우 고가이므로, 비용을 절감하기 위하여 정지영상 또는 동영상 데이터를 가능한 많이 압축하는 것이 바람직하다. 특히 플래시 메모리 등의 비휘발성 메모리는, 디지털 카메라, 모바일 폰에 널리 사용되며, 다른 저장 매체에 비하여 매우 고가이다.

또한, 무선 통신에 의한 정지영상 및 동영상 전송은 많은 비용이 소요된다.

종래의 부호화 장치에서는 풀컬러 영상을 압축하게 되는데, 원래 샘플된 컬러 영상보다 큰 풀컬러 영상을 압축함으로써, 압축된 데이터를 저장하거나 전송하는 비용이 증대되는 문제점이 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는, CFA를 갖는 단일 영상 센서에 의해 획득된 영상을 작은 데이터량으로서 효율적으로 부호화하고, 복호화하는 영상 부호화/복호화 방법 및 장치를 제공하는데 있다.

또한 본 발명이 이루고자 하는 다른 기술적 과제는, CFA를 갖는 단일 영상 센서에 의해 획득된 영상을 작은 데이터량으로서 효율적으로 부호화하면서도, 외부 시스템과의 전송 호환성을 갖는 영상 부호화/복호화 장치를 제공하는데 있다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 부호화/복호화 방법은, 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화/복호화하기 위하여, (a) 상기 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계; (b) 상기 샘플된 컬러 영상을 직접 부호화하여 압축된 영상을 생성하는 단계; (c) 상기 압축된 영상을 복호화하여 상기 샘플된 컬러 영상을 복원하는 단계; 및 (d) 상기 복원된 샘플된 컬러 영상을 보간하여 풀컬러 영상을 생성하는 단계를 구비하는 것을 특징으로 한다.

상기 부호화/복호화 방법은, 상기 (b) 단계 후에, 상기 압축된 영상을 저장하는 단계를 더 구비하고, 상기 (c) 단계는, 상기 저장된 압축된 영상을 복호화하여 상기 샘플된 컬러 영상을 복원할 수 있다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 부호화 방법은, 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화하기 위하여, (a) 상기 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계; 및 (b) 상기 샘플된 컬러 영상을 직접 부호화하여 압축된 영상을 생성하는 단계를 구비하는 것을 특징으로 한다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 복호화 방법은, 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화한 압축 영상을 복호화하기 위하여, (c) 상기 압축된 영상을 복호화하여 상기 샘플된 컬러 영상을 복원하는 단계; 및 (d) 상기 복원된 샘플된 컬러 영상을 보간하여 풀컬러 영상을 생성하는 단계를 구비하는 것을 특징으로 한다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 부호화/복호화 장치는, CFA를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부; 상기 샘플된 컬러 영상을 부호화하여 압축된 영상을 출력하는 부호화부; 상기 압축된 영상을 저장하는 저장부; 상기 저장된 영상을 읽어들여 복호화하여 샘플된 컬러 영상을 복원하는 복호화부; 상기 복원된 샘플된 컬러 영상을 보간하여, 풀컬러 영상을 생성하는 풀컬러 보간부; 및 상기 풀컬러 영상을 디스플레이하는 디스플레이부를 구비한 것을 특징으로 한다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 부호화 장치는, CFA를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부; 및 상기 샘플된 컬러 영상을 부호화하여 압축된 영상을 출력하는 부호화부를 구비한 것을 특징으로 한다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 복호화 장치는, 압축된 영상을 복호화하여 샘플된 컬러 영상을 복원하는 복호화부; 및 상기 복원된 샘플된 컬러 영상을 보간하여, 풀컬러 영상을 생성하는 풀컬러 보간부를 구비한 것을 특징으로 한다.

또한 상기한 다른 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 부호화 장치는, CFA를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부; 상기 샘플된 컬러 영상을 부호화하여 압축된 영상을 출력하는 부호화부; 상기 압축된 영상을 저장하는 저장부; 상기 저장된 영상을 읽어들여 표준 영상 포맷으로 변환하는 영상 포맷 변환부; 및 포맷이 변환된 영상을 외부로 전송하는 전송부를 구비한 것을 특징으로 한다.

또한 상기한 다른 기술적 과제를 이루기 위한 본 발명에 의한 컬러 영상 부호화/복호화 장치는, CFA를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부; 상기 샘플된 컬러 영상을 부호화하여 압축된 영상을 출력하는 부호화부; 상기 압축된 영상을 저장하는 저장부; 상기 저장된 영상을 읽어들여 표준 영상 포맷으로 변환하는 영상 포맷 변환부; 포맷이 변환된 영상을 외부로 전송하는 전송부; 상기 저장된 영상을 읽어들여 복호화하여 샘플된 컬러 영상을 복원하는 복호화부; 상기 복원된 샘플된 컬러 영상을 보간하여, 풀컬러 영상을 생성하는 풀컬러 보간부; 및 상기 풀컬러 영상을 디스플레이 하는 디스플레이부를 구비한 것을 특징으로 한다.

이하, 본 발명의 바람직한 실시예에 의한 영상 부호와 방법 및 장치의 구성 및 작용을 첨부한 도면들을 참조하여 상세히 설명한다.

본 발명에서 영상이라 함은 정지영상 또는 동영상을 의미할 수 있다. 정지영상 또는 동영상에만 해당하는 경우, 정지영상 또는 동영상으로 특별히 지칭한다. 압축된 영상이라 함은 압축된 영상데이터를 의미하며, 때로는 압축된 데이터로 칭한다. 동영상은 경우에 따라 비디오로 칭한다.

단일 영상센서(single image sensor)를 사용하는 영상장치에서, 컬러 영상은 베이어 패턴(Bayer pattern) 등과 같은 컬러필터어레이(color filter array, 이하 "CFA")를 이용하여 획득된다.

도 1a는 적색(R), 녹색(G), 청색(B) 화소들로 이루어진 베이어 패턴(Bayer pattern)의 CFA를 나타낸다.

CFA를 갖는 단일 영상센서는 샘플된 컬러 영상(sampled color image)들을 생성한다. 그 후, 샘플된 컬러 영상들은 보간알고리즘에 의해 보간되어, 풀해상도(full resolution)의 풀컬러 영상이 획득된다. 실제 디지털 카메라에서는 상기한 과정 외에 화이트 밸런싱(white balancing), 컬러 보정(color correction), 감마 보정(gamma correction) 등을 더 포함할 수 있다. 이러한 과정들은 일반적으로 컬러 보간 후 부호화 이전에 수행된다.

디지털 카메라 또는 디지털 캠코더(Digital camcoder)등의 영상 장치는 일반적으로 단일 영상 센서 예컨대 단일 CCD(charge coupled device), CMOS 센서를 사용한다. 일반적으로 컬러 영상을 나타내고자 할 때는 적어도 3가지 이상의 데이터(RGB, Yuv 등)을 필요로 한다. 그리고 컬러 영상 획득을 위한 단일 영상 센서는, CFA 에 의해, 각 화소에 여러 색 예컨대 R,G,B 중에서 하나의 색만이 샘플되 도록 한다. 따라서 하나의 화소에서 획득되지 않은 색 정보를 추정하는 것이 필요하다. 이와 같이, CFA 기반의 단일 영상 센서를 사용하여 획득된 샘플된 컬러 영상에서 풀컬러 영상을 복원하는 것을 컬러 보간 또는 컬러 디모자이킹(color demosaicing)이라고 한다

보간의 알고리즘은 크게 비적응적 알고리즘(Nonadaptive algorithms)과 적응적 알고리즘(Adaptive algorithms)으로 나누어진다.

비적응적 알고리즘은 모든 화소에 대해서 고정된 패턴으로 보간하는 알고리즘으로 수행이 쉽고, 계산 양이 적은 장점이 있다. 적응적 알고리즘은 획득되지 않은 화소의 값을 찾기 위해 가장 효과적인 이웃 화소들의 특성을 이용하여 추정하는 알고리즘으로 계산양은 많지만 비적응적 알고리즘에 비해 더 나은 영상을 얻을 수 있다.

비적응적 알고리즘으로는 가장 인접한 이웃 화소 보간법(nearest neighbor replication), 양선형 보간법(bilinear interpolation), 중간값 보간법(median interpolation), 점진적 색상 변화 보간법 등이 알려져 있다.

적응 알고리즘으로는 패턴 일치 보간 알고리즘(pattern matching based interpolation algorithm), 기울기의 문턱치 기반 가변수를 이용한 보간법(interpolation using a threshold-based variable number of gradients), 경계법 보존 보간법(edge sensing interpolation) 등이 알려져 있다.

이 외에도 CFA 기반의 단일 영상 센서를 사용하여 획득된 샘플된 컬러을 위한 수많은 컬러 보간 또는 컬러 디모자이킹 알고리즘이 제안되었다.

도 2b의 보간과정(2)이 수행된 후에, 데이터량은 3배로 증가한다. 즉 풀컬러 영상의 데이터량은 샘플된 컬러 영상의 데이터량의 3배가 된다.

일반적으로, 풀컬러 영상을 디지털 포맷으로 기록하기 위하여는, 데이터 크기를 줄이기 위하여 압축 알고리즘이 사용된다.

또한 압축 알고리즘은, RGB 색좌표계의 컬러 영상 데이터를, Yuv 등과 같은 다른 포맷의 컬러 영상 데이터로 변환하기도 한다.

도 3은 RGB 색좌표계로부터 Yuv 색좌표계로 변환되는 과정을 설명하기 위한 도면이다. Yuv 색좌표계의 영상 데이터의 크기는, 풀컬러의 RGB 색좌표계의 영상 데이터에 비하여, 반으로 줄어든다. 그러나, Yuv 색좌표계의 영상 데이터의 크기는, 단일 영상 센서에 의한 샘플된 RGB 영상 데이터의 크기에 비하여는, 1.5배 커진다.

RGB 색좌표계와 Yuv 색좌표계의 관계는 여러가지 수식을 사용하여 변환할 수 있는데, 대표적인 것은 다음 수학식 1과 같다.

Yuv 색좌표 변환시에 u, v 성분은 도 3과 같이 줄여서 샘플링(down-sampling)되어, 컬러보간 후 RGB의 데이터량보다는 크기를 줄일 수 있으나, 원래의 샘플된 컬러 영상 데이터량보다는 u, v 성분의 데이터량 만큼 증가된다.

종래의 부호화방법은, 보간과정에 의해 증가된 데이터를 부호화하므로, 부호화된 데이터를 저장하는 메모리의 용량 증대 및 부호화된 데이터를 전송하는 통신 비용이 증가하는 문제점이 발생한다.

도 4는 CFA를 갖는 단일 이미지 센서에서 얻은 샘플된 컬러 영상을 위한 종래의 부호화/복호화 장치를 설명하기 위한 블록도로서, CFA를 갖는 단일 영상 센싱부(10), 풀컬러 보간부(12), 부호화부(14), 저장부(16), 복호화부(18), 디스플레이부(20)를 구비한다.

CFA를 갖는 단일 영상 센싱부(10)는 CFA를 갖는 단일 영상센서를 사용하여 샘플된 컬러 영상을 획득한다.

풀컬러 보간부(12)는 샘플된 컬러 영상을 보간하여, 풀컬러 영상을 출력한다.

부호화부(14)는 풀컬러 영상을 부호화하여 압축된 데이터를 출력한다. 일반적으로 풀컬러 영상은 Yuv 색좌표계로 변환되고, 압축되기도 한다.

저장부(16)는 압축된 데이터를 저장한다.

압축된 데이터를 디스플레이하기 위해서는, 압축 데이터가 먼저 복호화하여, 풀컬러 영상을 다시 생성하여야 한다.

복호화부(18)는 저장부(16)로부터 압축된 데이터를 읽어들여 복호화한다. 복호화된 데이터는, Yuv 색좌표계의 풀컬러 영상 데이터이거나, RGB 색좌표계의 풀컬러 영상 데이터 등 부호화시 압축된 포맷으로 복원된다.

먼저, CFA를 갖는 단일 영상 센서에 의해 샘플된 컬러 영상을 획득한다(S100). S100 단계 후에 샘플된 컬러 영상을 '직접' 부호화하여 압축된 데이터를 생성한다(S102). S102 단계 후에 압축된 데이터를 복호화하여 샘플된 컬러 영상을 복원한다(S104). S104 단계 후에 복원된 샘플된 컬러 영상을 보간하여 풀컬러 영상을 생성한다(S106). 생성된 풀컬러 영상은 디스플레이 장치에 의해 디스플레이 될 수 있다.

여기서 CFA는 한 화소당 하나의 색만을 획득하는, 예컨대 도 1a 내지 도 1c에서 예시된 것들을 말한다.

'샘플된 컬러 영상'은, 상기 CFA를 통하여 획득된 영상으로서, 한 화소가 하나의 색만을 갖는 영상을 말한다.

본원 발명의 가장 큰 특징은, 샘플된 컬러 영상을 '직접' 부호화하는데 있다. 여기서 '직접' 부호화한다는 것은, 샘플된 컬러 영상을 보간하는 과정 없이 직접 부호화한다는 것이다. 보간하지 않고 '직접' 부호화함으로서, 부호화(S102) 후 복호화(S104) 전에 삽입되는 과정을 수행하기 위한 하드웨어 및 통신 자원의 크기를 줄일 수 있다.

실제 디지털 카메라에서는 컬러보간 후 화이트 밸런싱(white balancing), 컬러 보정(color correction), 감마 보정(gamma correction) 등의 과정을 더 포함하며, 본 발명에도 이러한 과정이 아무 문제 없이 포함될 수 있다. 즉 샘플된 컬러 영상에 화이트 밸런싱, 컬러 보정, 감마 보정 등을 적용한 후, 보간하지 않고 직접 부호화 할 수 있다. 또한 화이트 밸런싱, 컬러 보정, 감마 보정 등을 샘플된 컬러 영상을 사용하여 수행할 수도 있다. 또한 화이트 밸런싱, 컬러 보정, 감마 보정에 필요한 정보를 함께 부호화 하여 전송하여, 복호화 후 화이트 밸런싱, 컬러 보정, 감마 보정 등의 과정을 수행할 수 있다. 반면에 복호화된 영상을 사용하여 화이트 밸런싱, 컬러 보정, 감마 보정 등을 수행하는 것도 가능하다.

여기서 부호화(S102)는 CFA를 갖는 단일 영상 센서에 의해 샘플된 컬러 영상을 각 색별로 색분해하는 과정 후에 수행될 수도 있다.

또한 부호화(S102)는 엔트로피 코딩(entropy coding)과 같은 무손실성 부호화일 수도 있고, JPEG(Joint Photographing Experts Group)/MPEG(Moving Picture Experts Group) 코딩과 같은 손실성 부호화일 수도 있다. 복호화(S104) 방식은 이러한 부호화 방식에 대응하여 선택된다.

본 발명에 있어서 이 보간과정(S106)은 복호화(S104) 후에 수행된다. 여기서 보간과정(S106)은 샘플된 컬러 영상의 획득되지 않은 색들을 추정하는 과정이다.

도 6은 본 발명의 바람직한 일 실시예에 의한 영상 부호화 방법을 설명하기 위한 플로우차트이다.

먼저, CFA를 갖는 단일 영상 센서에 의해 샘플된 컬러 영상을 획득한다(S100). 다음으로 샘플된 컬러 영상을 '직접' 부호화하여 압축된 데이터를 생성한다(S102).

도 7은 도 6의 변형예로서, S102 단계 후에 압축된 데이터를 저장하는 단계(S110)를 더 구비한다. 저장된 데이터는 여러가지 목적으로 활용될 수 있다. 즉 다시 복호화될 수도 있고, 외부로 전송될 수도 있다.

도 8은 도 7의 변형예로서, S110 단계 후에 저장된 압축된 데이터를 전송하는 단계(S112)를 더 구비한다.

도 9는 도 6의 변형예로서, S102 단계 후에 압축된 데이터를 전송하는 단계(S112)를 더 구비한다. 전송은 유선과 무선의 모든 전송방법을 포함한다.

도 10은 본 발명의 바람직한 일 실시예에 의한 영상 복호화 방법을 설명하기 위한 플로우차트이다.

먼저, 압축된 데이터를 입력한다(S114). 다음으로 압축된 데이터를 복호화하여 샘플된 컬러 영상을 복원한다(S104). S104 단계 후에 복원된 샘플된 컬러 영상을 보간하여 풀컬러 영상을 생성한다(S106). 생성된 풀컬러 영상은 모니터, TV 등의 디스플레이 장치에 의해 디스플레이되거나 프린터로 출력 될 수 있다.

도 11은 도 5의 응용예에 의한 영상 부호화/복호화 방법을 설명하기 위한 플로우차트이다.

먼저 RGB CFA를 갖는 단일 영상 센서에 의해 샘플된 컬러 영상을 획득한다(S200). S200 단계 후에 샘플된 컬러 영상을 R,G,B 각 색요소로 분해한다(S202-1). S202-1 단계 후에 분해한 R,G,B 각각을 '직접' 부호화하여 R,G,B 각각의 압축된 데이터를 생성한다(S202-2). S202-2 단계 후에 압축된 데이터를 복호화하여 샘플된 R,G,B의 각 컬러 영상을 복원한다(S204). S204 단계 후에 복원된 샘플된 R,G,B 각각의 컬러 영상을 보간하여 풀컬러 R,G,B 영상을 생성한다(S206). 생성된 풀컬러 영상은 모니터, TV 등의 디스플레이 장치에 의해 디스플레이되거나 프린터로 출력될 수 있다.

도 12는 본 발명의 바람직한 일 실시예에 의한 영상장치를 설명하기 위한 블록도로서, CFA를 갖는 단일 영상 센싱부(100), 부호화부(104), 저장부(108), 복호화부(112), 풀컬러 보간부(116) 및 디스플레이부(120)를 구비한다.

CFA를 갖는 단일 영상 센싱부(100)는, CFA를 갖는 단일 영상센서를 사용하여 샘플된 컬러 영상(102)를 획득한다. 여기서 CFA는 도 1a 내지 도 1c에 예시된 것들일 수 있다.

부호화부(104)는 샘플된 컬러 영상(102)를 부호화하여 압축된 데이터(106)를 출력한다.

저장부(108)는 압축된 데이터(106)를 저장한다.

복호화부(112)는 저장된 데이터(110)를 읽어들여 복호화하여, 복원된 샘플된 컬러 영상(114)를 출력한다.

풀컬러 보간부(116)는, 복원된 샘플된 컬러 영상(114)를 보간하여, 풀컬러 영상(118)를 생성한다.

디스플레이 장치(120)는 풀컬러 영상(118)를 디스플레이한다. 여기서 디스플레이 장치(120)는 그 디스플레이 형식에 따라, 입력된 풀컬러 영상을 변환하는 기능을 가질 수 있다.

도 13은 본 발명의 바람직한 일 실시예에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, CFA를 갖는 단일 영상 센싱부(100), 부호화부(104), 저장부(108)를 구비한다. CFA를 갖는 단일 영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 부호화부(104)에 의해 압축 데이터로 변환되어, 저장부(108)에 저장된다.

도 14는 도 13의 CFA를 갖는 단일 영상 센싱부(100)로서 베이어 패턴의 CFA에 의한 샘플된 컬러 영상(102)를 예시한다.

도 15는 도 14의 변형예에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, CFA를 갖는 단일 영상 센싱부(100), 부호화부(104), 전송부(132)를 구비한다. 영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 부호화부(104)에 의해 압축 데이터(106)로 변환되어, 전송부(132)에 의해 외부로 전송된다. 전송은 유선 또는 무선에 의해 수행될 수 있다. 여기서, 전송부(132)는 압축 데이터를 소정 전송방식에 의하여 전송되는 신호로 변환하는 변조기를(미도시)를 구비할 수 있다. 또한, 변조된 신호를 소정 방식에 의해 다중화하는 다중화기(미도시)를 구비할 수 있다.

도 16은 도 14의 변형예에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, CFA를 갖는 단일 영상 센싱부(100), 부호화부(104), 저장부(108)는, 전송부(132)를 구비한다. 영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 부호화부(104)에 의해 압축 데이터로 변환되어, 저장부(108)에 저장된다. 전송부(132)는 저장된 데이터를 읽어들여 외부로 전송한다. 전송은 유선 또는 무선에 의해 수행될 수 있다. 여기서, 전송부(132)는 압축 데이터를 소정 전송방식에 의하여 전송되는 신호로 변환하기 위한 변조기를(미도시)를 구비할 수 있다. 또한, 변 조된 신호를 소정 방식에 의해 다중화하는 다중화기(미도시)를 구비할 수 있다.

도 17은 본 발명의 다른 실시예에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, CFA를 갖는 단일 영상 센싱부(100), 색분해부(103), 부호화부(104), 저장부(108)를 구비한다.

영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 색분해부(103)에 의해 색에 따라 다수의 부영상(sub-image)(105)으로 분해되고, 부호화부(104)에 의해 각 부영상 별로 압축 데이터(106)로 변환되어, 저장부(108)에 저장된다.

도 18은 도 17의 변형예로서, CFA를 갖는 단일 영상 센싱부(100), 색분해부(103), 부호화부(104), 전송부(132)를 구비한다.

영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 색분해부(103)에 의해 색요소에 따라 다수의 부영상(105)으로 분해되고, 부호화부(104)에 의해 압축 데이터(106)로 변환되어, 전송부(132)에 의해 외부로 전송된다. 전송은 유선 또는 무선에 의해 수행될 수 있다. 여기서, 전송부(132)는 압축 데이터를 소정 전송방식에 의하여 전송되는 신호로 변환하기 위한 변조기를(미도시)를 구비할 수 있다. 또한, 변조된 신호를 소정 방식에 의해 다중화하는 다중화기(미도시)를 구비할 수 있다.

도 19는 도 18의 변형예로서, CFA를 갖는 단일 영상 센싱부(100), 색분해부(103), 부호화부(104), 저장부(108), 전송부(132)를 구비한다.

영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 색분해부(103)에 의해 색요소에 따라 다수의 부영상(105)으로 분해되고, 부호화부(104)에 의해 압축 데이터(106)로 변환되어, 저장부(108)에 저장된다. 전송부(132)는 저장된 데이터를 읽어들여 외부로 전송한다. 전송은 유선 또는 무선에 의해 수행될 수 있다. 여기서, 전송부(132)는 압축 데이터를 소정 전송방식에 의하여 전송되는 신호로 변환하기 위한 변조기를(미도시)를 구비할 수 있다. 또한, 변조된 신호를 소정 방식에 의해 다중화하는 다중화기(미도시)를 구비할 수 있다.

도 20은 본 발명의 바람직한 일 실시예에 의한 복호화 장치를 설명하기 위한 블록도로서, 저장부(108), 복호화부(112), 풀컬러 보간부(116), 및 디스플레이부(120)를 구비한다. 저장부(108)로부터 입력된 압축 데이터(110)는, 복호화부(112)에 의하여 샘플된 컬러 영상(114)로 복원되어, 풀컬러 보간부(116)에 의해 풀컬러 영상(118)으로 변환되어, 디스플레이부(120)에 의해 디스플레이 된다. 경우에 따라서는 프린터로 출력될 수 있다.

도 21은 도 20의 변형예로서, 수신부(134), 저장부(108), 복호화부(112), 풀컬러 보간부(116), 및 디스플레이부(120)를 구비한다.

수신부(134)는 외부로부터 데이터(IN)를 수신하여, 저장부(108)로 출력한다. 여기서 수신부(134)는 외부로부터 수신된 변조된 데이터(IN)를 소정 방식에 의하여 복조하기 위한 복조기를(미도시)를 구비할 수 있다. 결국 수신부(134)의 출력 데이터(135)는, 압축된 데이터로서 저장부(108)에 저장된다. 수신부는 유선 또는 무선이 될 수 있다.

복호화부(112)는 저장부(108)로부터 압축 데이터(110)를 읽어들여, 샘플된 컬러 영상(114)로 복원한다. 풀컬러 보간부(116)는 복원된 샘플된 컬러 영상(114) 를 풀컬러 영상(118)로 변환한다. 디스플레이부(120)는 풀컬러 영상(118)를 디스플레이 된다. 경우에 따라서는 프린터로 출력될 수 있다.

도 22는 도 21의 변형예로서, 수신부(134), 복호화부(112), 풀컬러 보간부(116), 및 디스플레이부(120)를 구비한다.

수신부(134)에 수신된 데이터(135)는 복호화부(112)에 의해 샘플된 컬러 영상(114)로 복원되고, 풀컬러 보간부(116)에 의해 풀컬러 영상(118)로 변환되고, 디스플레이부(120)에 의해 디스플레이 된다. 경우에 따라서는 프린터로 출력될 수 있다.

도 23은 도 17의 일 응용예로서 베이어 패턴의 CFA에 의한 샘플된 컬러 영상(102)를 색에 따라 다수의 부영상(105G, 105R, 105B)으로 분해한 예이다. 색별 부영상(105G, 105R, 105B)은 G부호화부(104G), R부호화부(104R), B부호화부(104B)에 의하여 각각 압축되어, 압축 데이터(106G, 106R, 106B)로서 저장부(108)에 저장된다.

베이어 패턴의 CFA를 갖는 영상 센싱부(100)로부터 획득된 샘플된 컬러 영상(102)는, 색분해부(103)에 의해 녹색 (G), 적색(R), 청색(B)색의 부영상(105G, 105R, 105B)으로 분해되고, 부호화부(104)에 의해 부영상(sub-image) 별로 압축 데이터(106G, 105R, 105B)로 변환되어, 저장부(108)에 저장된다.

도 24는 도 23의 변형예에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, 녹색(G) 화소를 제1녹색(G1) 부영상(105G1)과 제2녹색(G2) 부영상 (105G2)으로 분해한 것을 예시한다.

베이어 패턴의 CFA에 의한 샘플된 데이터에는 적색(R), 청색(B)에 비하여 녹색(G) 데이터가 두 배로 많다. 이러한 녹색(G) 데이터는 다시 제1녹색(G1) 데이터와 제2녹색(G2) 데이터로 분해되어 부호화될 수 있다. 각 부영상(105G1, 105G2, 105R, 105B)은 G1부호화부(104G1), G2부호화부(104G2), R부호화부(104R), B부호화부(104B)에 의하여 각각 압축되어, 압축 데이터(106G1, 106G2, 106R, 106B)로서 저장부(108)에 저장된다. 부호화부(104G1, 104G2, 104R, 104B)는 프로그램 또는 하드웨어로 구현될 수 있다. 또한 부호화부(104G1, 104G2, 104R, 104B)는 하나의 부호화부가 순차적으로 처리하도록 구현될 수도 있다.

도 25는 도 20의 복호화 장치를 도시한 것이다. 저장부(104)로부터 입력된 각 부영상의 압축 데이터(110G, 110R, 110B)는 각각 G복호화부(112G), R복호화부(112R), B복호화부(112B)에 의해 녹색(G) 부영상(114G), 적색(R) 부영상(114R), 청색(B) 부영상(114B)으로 복원된다. 복원된 부영상들(114G, 114R, 114B)은 G보간부(116G), R보간부(116R), B보간부(116B)에 의해 보간된 후 결합되어 풀컬러 영상(118)로 변환된다. 보간 시, 다른 색정보를 이용하여 성능향상을 도모할 수 있다.

도 26는 도 25의 변형예로서, 도 24의 영상 부호화 장치에 대응한 복호화 장치이다. 저장부(108)로부터 입력된 각 부영상의 압축 데이터(110G1, 110G2, 110R, 110B)는 각각 G1복호화부(112G1), G2복호화부(112G2), R복호화부(112R), B복호화부(112B)에 의해 제1녹색(G1) 부영상(114G1), 제2녹색(G2) 부영상(114G2), 적색(R) 부영상(114R), 청색(B) 부영상(114B)로 복원된다. 복원된 제1녹색 부영상(114G1)과 제2녹색 부영상(114G2)는 결합되어 녹색 부영상(114G)으로 된다. 복원된 각 색의 부영상들(114G, 114R, 114B)은 G보간부(116G), R보간부(116R), B보간부(116B)에 의해 보간된 후 결합되어 풀컬러 영상(118)로 변환된다. 이 때 다른 색정보를 이용하여 성능향상을 도모할 수 있다.

도 27은 도 17의 다른 응용예에 의한 영상 부호화 장치로서, 베이어 패턴의 CFA에 의한 샘플된 컬러 영상(102)를 색분해부(도 17의 103)에 의해 제1녹색 부영상(G1), 제2녹색 부영상(G2), 적색 부영상(R), 청색 부영상(B)으로 분해한 것을 예시한다.

도 27과 도 24와의 차이점은 제2녹색(G2) 부영상(105G2)이 바로 부호화되는 것이 아니라는 점이다. 먼저 G2추정부(104G2e)는 제1녹색(G1) 부영상(105G1)으로부터 제2녹색(G2) 추정 부영상(G2e)을 생성한다. 그리고, dG부호화부(104dG)는 제2녹색(G2) 부영상(105G2)와 제2녹색(G2) 추정 부영상(G2e)으로부터 계산된 제2녹색 차이 부영상(dG)을 부호화하여 저장부(108)로 출력한다.

여기서 G2추정부(104G2e)는 보간 기법, 다양한 추정기법을 사용하여 구현할 수 있다. 예컨대 평균법에 의하여 G2색(G2e)의 화소값을 추정할 수 있다. 즉 G2추정부(104G2e)는 두 개씩의 G1색 화소의 평균값에 의하여 바로 아래의 G2색을 추정하도록 구현될 수 있다. 또는 G2추정부(104G2e)는 네 개씩의 G1색 화소의 평균값에 의하여 그 가운데의 G2색을 추정하도록 구현될 수도 있다. 이외 다양한 보간기법을 사용할 수 있다.

도 28은 도 27의 영상 부호화 장치에 대응한 복호화 장치이다. 저장부(104) 로부터 입력된 각 부영상별 압축 데이터(110G1, 110dG, 110R, 110B)는 각각 G1복호화부(112G1), dG복호화부(112dG), R복호화부(112R), B복호화부(112B)에 의해 복원된 부영상들(114G1, 114dG, 114R, 114B)로 복원된다.

G2추정부(116G2e)는 복원된 제1녹색(G1) 부영상(114G1)으로부터 제2녹색(G2) 추정 부영상(G2e)을 생성한다. 예컨대 G2추정부(116G2e)는 평균법에 의하여 제2녹색 추정 부영상(G2e)의 화소값을 결정할 수 있다. 단 부호화부에서 사용한 것과 동일한 추정방법 또는 보간기법을 사용하는 것이 바람직하다. 제2녹색 추정 부영상(G2e)과 제2녹색 차이 부영상(dG)이 합산되어 제2녹색 부영상(114G2)이 복원된다. 복원된 제1녹색 부영상(114G1)과 제2녹색(G2) 부영상(114G2)이 결합되어 녹색 부영상(114G)으로 복원된다. 복원된 부영상들은 각각 G보간부(116G), R보간부(116R), B보간부(116B)에 의해 보간된 후 결합되어 풀컬러 영상(118)로 변환된다.

도 29는 도 17의 또 다른 응용예에 의한 영상 부호화 장치이다. 도 29에서는, 제1녹색(G1) 부영상(105G1)로부터 제2녹색 추정 부영상(G2e)이 결정되지 않는다. G1복호화부(107)는 제1녹색 부영상(105G1)을 부호화하여 압축된 데이터(106G1)을 다시 복호화한다. G2추정부(104G2e)는 복호화된 제1녹색 부영상(107G1)으로부터 제2녹색 추정 부영상(G2e)을 출력한다.

도 29의 부호화 장치는 G1부호화부(104G1)가 JPEG 또는 MPEG 방식과 같은 손실성 부호화 알고리즘으로 구현된 경우에 매우 효과적이다. 손실성 부호화에 의하면, 복호화 장치에서 복원된 영상이 원본 영상과 동일하지 않다. 도 29의 부호화 장치는 이를 고려하여 원본 데이터(105G1)을 부호화한 후 다시 복호화한 제1녹색 부영상(107G1)으로부터 추정된 제2녹색 부영상(G2e)을 생성한다. 즉 G2추정부(104G2e)는 복호화된 제1녹색(G1) 부영상(107G1)로부터 제2녹색 추정 부영상(G2e)을 결정한다. 그리고, dG부호화부(104dG)는 제2녹색 부영상(105G2)과 제2녹색 추정 부영상(G2e)으로부터 계산된 제2녹색 차이 부영상(G2d)을 부호화하여 저장부(108)로 출력한다.

컬러동영상(202)은 컬러 정지영상의 프레임(frame) 또는 필드(field)들의 시퀀스(sequence)로 이해될 수 있다. 따라서 앞서 기술한 본 발명의 사상은 컬러동영상에도 적용된다. 도 30은 본 발명의 바람직한 일 실시예에 의한 동영상 부호화 장치를 설명하기 위한 블록도이다. 도 30의 동영상 부호화 장치는, 단일 동영상 센싱부(200)의 베이어 패턴의 CFA에 의해 샘플된 컬러동영상을 네 개의 부동영상(sub-video)(205G1, 205G2, 205R, 205B)으로 분해하여 부호화한다. 즉 샘플된 컬러동영상(202)는 제1녹색(G1), 제2녹색(G2), 적색(R), 청색(B)의 부동영상(sub-video)로 분해된다. 분해된 각 부동영상(205G1, 205G2, 205R, 205B)는 G1부호화부(204G1), G2부호화부(204G2), R부호화부(204R), B부호화부(204B)에 의하여 각각 압축되어, 압축된 부동영상 데이터(206G1, 206G2, 206R, 206B)로서 저장부(208)에 저장된다.

각 부동영상의 부호화부(204G1, 204G2, 204R, 204B)는, ITU-T(International Telecommunication Union-Telecommunication Standardization Sector) 권고 H.26x 표준, MPEG(Moving Picture Experts Group) 표준 등에 의한 널리 알려진 동영상 부호화 기법에 의해 구현될 수 있다.

도 31은 본 발명의 바람직한 일 실시예에 의한 동영상 복호화 장치를 설명하기 위한 블록도로서, 도 30의 부호화 장치에 대응한 복호화 장치이다.

저장부(208)로부터 입력된 각 부동영상의 압축 부동영상(210G1, 210G2, 210R, 210B)는 각각 G1복호화부(212G1), G1복호화부(212G2), R복호화부(212R), B복호화부(212B)에 의해 제1녹색 부동영상(214G1), 제2녹색 부동영상(214G2), 적색 부동영상(214R), 청색 부동영상(214B)로 복원된다.

복원된 제1녹색 부동영상(214G1)와 제2녹색 부동영상(214G2)는 결합되어 녹색 부동영상(214G)로 된다. 복원된 부동영상들(214G, 214R, 214B)은 G보간부(216G), R보간부(216R), B보간부(216B)에 의해 보간된 후 결합되어 풀컬러 동영상(218)로 변환된다.

도 32는 본 발명의 바람직한 다른 실시예에 의한 동영상 부호화 장치를 설명하기 위한 블록도로서, 베이어 패턴의 CFA에 의한 샘플된 컬러동영상(202)를 네 개의 부동영상(205G1, 205G2, 205R, 205B)으로 분해하여 부호화한다.

도 32의 동영상 부호화 장치와 도 30의 동영상 부호화 장치의 차이점은 제2녹색(G2) 부동영상(205G2)가 바로 부호화되는 것이 아니라는 점이다. 먼저 G2추정부(204G2e)는 제1녹색(G1) 부동영상(205G1)으로부터 제2녹색(G2) 추정 부동영상(G2e)를 생성한다. 그리고, dG부호화부(204dG)는 제2녹색(G2) 부동영상(205G2)와 제2녹색(G2) 추정 부동영상(G2e)의 제2녹색 차이 부동영상(G2d)을 부호화(206dG)하여 저장부(208)로 출력한다.

도 33은 도 32의 부호화장치에 대응한 컬러동영상 복호화 장치를 설명하기 위한 블록도이다.

저장부(208)로부터 입력된 각 부동영상의 압축 동영상 데이터(210G1, 210dG, 210R, 210B)는 각각 G1복호화부(212G1), dG복호화부(212dG), R복호화부(212R), B복호화부(212B)에 의해 복원된 부동영상(214G1, 214dG, 214R, 214B)로 복원된다.

G2추정부(216G2e)는 복원된 제1녹색(G1) 부동영상(214G1)로부터 제2녹색(G2) 추정 부동영상(G2e)를 생성한다. 여기서 G2추정부(216G2e)는, 예컨대 평균법에 의하여 제2녹색 추정 부동영상(G2e)의 화소값을 결정할 수 있다. 단 부호화부에서 사용한 것과 동일한 추정방법 또는 보간기법을 사용하는 것이 바람직하다. 제2녹색 추정 부동영상(G2e)와 제2녹색 차이 부동영상(214dG)가 합산되어 제2녹색 부동영상(214G2)이 복원된다. 복원된 제1녹색(G1) 부동영상(214G1)와 제2녹색(G2) 부동영상(214G2)가 결합되어 샘플된 녹색 부동영상(214G)로 복원된다. 복원된 부동영상들은 각각 G보간부(216G), R보간부(216R), B보간부(216B)에 의해 보간된 후 결합되어 풀컬러 동영상(218)으로 변환된다.

도 34는 본 발명의 바람직한 또 다른 실시예에 의한 동영상 부호화 장치를 설명하기 위한 블록도로서, 단일 동영상 센싱부(200)의 베이어 패턴의 CFA에 의해 샘플된 컬러동영상(202)을 4개의 부동영상(205G1, 205G2, 205R, 205B)으로 분해하여 부호화한다.

도 34의 실시예에서는, 제1녹색(G1) 부동영상(205G1)로부터 제2녹색 부동영상(G2e)이 추정되지 않는다. G1복호화부(107)는 부호화된 제1녹색(G1) 부동영상 데이터(206G1)를 다시 복호화한다. G2추정부(204G2e)는 복호화된 제1녹색 부동영상으 로부터 제2녹색 부동영상(G2e)을 추정한다. 그리고, dG부호화부(204dG)는 제2녹색(G2) 부동영상(205G2)와 제2녹색 추정 부동영상(G2e)으로부터 계산된 제2녹색 차이 부동영상(G2d)을 부호화하여 저장부(208)로 출력한다.

도 35는 전송 호환성을 갖는 부호화 장치를 설명하기 위한 블록도이다. 서로 다른 장치간에 데이터가 송수신될 때, 데이터의 호환성은 매우 중요한 사항이다. 본 발명에 의한 부호화 방식은, 샘플된 컬러 영상 또는 동영상을 보간과정 없이 '직접' 부호화하여 저장하므로, 기존의 영상 데이터 전송 포맷과 다르다. 따라서, 본 발명의 특징적 부호화 방법에 의해 부호화된 데이터를 외부 시스템(OUT)으로 전송하기 위하여는, 외부 시스템(OUT)이 요구하는 표준화된 데이터 포맷 예컨대 JPEG 포맷, MPEG 포맷으로 변환할 필요가 있다. 여기서 외부 시스템(OUT)은 멀티미디어 어플리케이션 기능을 갖는 컴퓨터, 영상가전제품, 저장 장치 등이 될 수 있다.

데이터 포맷 변환부(130)는, 이러한 전송 요구조건을 만족시키기 위하여, 직접 부호화되어 저장된 데이터(134)를 읽어들여 외부 시스템(OUT)과 호환성 있는 데이터 포맷(136)으로 변환한다. 포맷 변환부(130)는 외부 시스템(OUT)이 저장 장치인 경우 MPEG-1, 디지털 텔레비전인 경우 MPEG-2, 멀티미디어 어플리케이션 장치인 경우 MPEG-4 등으로 변환할 수 있다.

전송부(132)는 변환된 데이터(136)를 전송신호로 변조하여 외부 시스템(OUT)으로 전송한다. 여기서, 전송부(132)는 압축 데이터를 소정 전송방식에 의하여 전송되는 신호로 변환하기 위한 변조기를(미도시)를 구비할 수 있다. 또한, 변조된 신호를 소정 방식에 의해 다중화하는 다중화기(미도시)를 구비할 수 있다. 또한 전 송부는 일반적인 영상입출력 인터페이스 등이 될 수 있으면, 디지털방식으로 데이터 교환 시 USB(Universal Serial Bus), IEEE1394 등과 같은 방식을 사용하여 데이터를 전송할 수 있다.

도 36은 전송 호환성을 갖는 부호화/복호화 기능을 모두 갖는 영상장치를 설명하기 위한 블록도로서, 도 29의 부호화 장치에 복호화부(112), 풀컬러 보간부(116), 디스플레이부(120)를 더 구비한다. 도 30의 영상장치는, 본 발명에 의한 영상 데이터의 효율적인 저장 기능, 외부 시스템과의 전송 호환성, 및 재생 기능을 모두 갖는다.

동영상은 연속된 영상 프레임 또는 필드들의 시퀀스이다. 따라서 당업자라면, 전술한 본 발명의 영상 부호화/복호화 장치의 다양한 실시예들의 기술적 사상이, 디지털 캠코더와 같은 단일 영상 센서를 갖는 동영상 부호화/복호화 장치에도 그대로 적용될 수 있음을 이해할 것이다.

전술한 실시 예들은 도 1a의 베이어 패턴의 CFA에 의해 샘플된 컬러 영상을 부호화/복호화하는 방법 및 장치들을 중심으로 설명되었으나, 본 발명이 이에 한정되는 것은 아니다. 당업자라면, 전술한 실시예의 기술적 개념이 도 1b, 도 1c 에 예시된 패턴의 CFA와 그 외에 다양한 패턴의 CFA를 갖는 단일 영상 센서에 의해 샘플된 컬러 영상의 부호화/복호화에 적용될 수 있음을 이해할 것이다.

본 발명에 의한 부호화/복호화 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 프로그램이나 데이터가 저장되 는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있다. 여기서, 기록매체에 저장되는 프로그램이라 함은 특정한 결과를 얻기 위하여 컴퓨터 등의 정보처리능력을 갖는 장치 내에서 직접 또는 간접적으로 사용되는 일련의 지시 명령으로 표현된 것을 말한다. 따라서, 컴퓨터라는 용어도 실제 사용되는 명칭의 여하에 불구하고 메모리, 입출력장치, 연산장치를 구비하여 프로그램에 의하여 특정의 기능을 수행하기 위한 정보처리능력을 가진 모든 장치를 총괄하는 의미로 사용된다.

또한, 본 발명에 의한 부호화/복호화 방법은, 컴퓨터상에서 스키매틱(schematic) 또는 초고속 집적회로 하드웨어 기술언어(VHDL) 등에 의해 작성되고, 컴퓨터에 연결되어 프로그램 가능한 집적회로 예컨대 FPGA(Field Programmable Gate Array)에 의해 구현될 수 있다. 또한, 상기 기록매체는 이러한 프로그램 가능한 집적회로를 포함한다. 또한 상기 기록매체는 상기 방법이 구현된 집적회로에 의해 구현된 ASIC(application specific integrated circuit)을 포함하는 개념이다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이, 본 발명의 영상 부호화/복호화 방법 및 장치에 의하면 다음과 같은 효과를 얻을 수 있다.

본 발명에 의하면 CFA 를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 직접 부호화하여 압축된 영상을 생성함으로써, 압축된 영상의 데이터량을 획기적으로 줄일 수 있고, 압축시간도 단축할 수 있다. 따라서, 압축된 영상을 저장하는 비용, 및 압축된 영상을 전송하는 비용을 줄일 수 있다.

본 발명은 이상에서 설명되고 도면들에 표현된 예시들에 한정되는 것은 아니다. 전술한 실시 예들에 의해 가르침 받은 당업자라면, 다음의 특허 청구 범위에 기재된 본 발명의 범위 및 목적 내에서 치환, 소거, 병합 등에 의하여 전술한 실시 예들에 대해 많은 변형이 가능할 것이다.

다음의 특허청구범위에 기재된 용어 "영상"은 정지 영상과 동영상을 모두 포함하는 개념이다.

Claims

베이어 패턴의 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화/복호화하기 위하여,

(a) 상기 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계;

(b1) 상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상, 적색 부영상으로 구분하고, 다시 상기 녹색 부영상을 직사각형 패턴의 제1 녹색 부영상과 상기 녹색 부영상에서 상기 제1 녹색 부영상을 제외한 직사각형 패턴의 제2 녹색 부영상으로 구분하는 단계;

(b2) 상기 적색, 제1 녹색, 제2 녹색, 청색 부영상 각각을 직접 부호화하여 압축된 영상을 생성하는 단계;

(c) 상기 압축된 영상을 복호화하여 상기 적색, 제1 녹색, 제2 녹색, 청색 부영상을 복원하고, 상기 제1 녹색 부영상과 상기 제2 녹색 부영상을 결합하여 녹색 부영상을 복원하는 단계; 및

(d) 복원된 상기 적색 부영상, 상기 녹색 부영상, 상기 청색 부영상을 보간하여 풀컬러 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 컬러 영상 부호화/복호화 방법.
제1항에 있어서, 상기 영상은,

정지영상인 것을 특징으로 하는 컬러 영상 부호화/복호화 방법.
제1항에 있어서, 상기 영상은,

동영상인 것을 특징으로 하는 컬러 영상 부호화/복호화 방법.
제1항에 있어서,

상기 (b2) 단계 후에, 상기 압축된 영상을 저장하는 단계를 더 구비하고,

상기 (c) 단계는, 상기 저장된 압축된 영상을 복호화하여 상기 적색, 제1 녹색, 제2 녹색, 청색 부영상을 복원하고, 상기 제1 녹색 부영상과 상기 제2 녹색 부영상을 결합하여 녹색 부영상을 복원하는 것을 특징으로 하는 컬러 영상 부호화/복호화 방법.
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화하기 위하여,

(a) 상기 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계;

(b1) 상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상, 적색 부영상으로 구분하고, 다시 상기 녹색 부영상을 직사각형 패턴의 제1녹색 부영상과 상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 구분하는 단계;

(b2) 상기 적색, 제1녹색, 제2녹색, 청색 부영상 각각을 직접 부호화하여 압축된 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 컬러 영상 부호화 방법.
제5항에 있어서, 상기 영상은,

정지영상인 것을 특징으로 하는 컬러 영상 부호화 방법.
제5항에 있어서, 상기 영상은,

동영상인 것을 특징으로 하는 컬러 영상 부호화 방법.
삭제
삭제
삭제
삭제
삭제
삭제
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화하기 위하여,

(a) 상기 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계;

(b1) 상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상, 적색 부영상으로 구분하고, 다시 상기 녹색 부영상을 직사각형 패턴의 제1녹색 부영상과 상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 구분하는 단계;

(b21) 상기 적색, 제1녹색, 청색 부영상 각각을 직접 부호화하는 단계;

(b22) 상기 제2녹색 부영상의 화소위치에 상기 제1녹색 부영상으로부터 소정 추정기법에 의하여 추정된 제2녹색 추정 부영상을 결정하는 단계;

(b23) 상기 제2녹색 부영상과 상기 제2녹색 추정 부영상으로부터 제2녹색 차이 부영상을 계산하는 단계; 및

(b24) 상기 제2녹색 차이 부영상을 부호화하는 단계를 구비하는 것을 특징으로 하는 컬러 영상 부호화 방법.
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 컬러 영상을 부호화하기 위하여,

(a) 상기 영상 센서에 의하여 샘플된 컬러 영상을 획득하는 단계;

(b1) 상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상, 적색 부영상으로 구분하고, 다시 상기 녹색 부영상을 직사각형 패턴의 제1녹색 부영상과 상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 구분하는 단계;

(b25) 상기 적색, 제1녹색, 청색 부영상 각각을 직접 부호화하는 단계;

(b26) 상기 부호화된 제1녹색 부영상을 복호화하고, 상기 제2녹색 부영상의 화소위치에 상기 복호화된 제1녹색 부영상으로부터 소정 추정기법에 의하여 추정된 제2녹색 추정 부영상을 결정하는 단계;

(b27) 상기 제2녹색 부영상에서 상기 제2녹색 추정 부영상을 감하여 제2녹색 차이 부영상을 계산하는 단계; 및

(b28) 상기 제2녹색 차이 부영상을 부호화하는 단계를 구비하는 것을 특징으로 하는 컬러 영상 부호화 방법.
제5항의 컬러 영상 부호화 방법에 의하여 적색, 제1녹색, 제2녹색 및 청색 부영상들을 부호화한 압축 영상을 복호화하기 위하여,

(c) 상기 압축된 부영상들을 복호화하여 상기 적색, 제1녹색, 제2녹색 및 청색 부영상을 복원하는 단계; 및

(d) 상기 복원된 적색 부영상, 청색 부영상, 및 상기 제1녹색과 상기 제2녹색 부영상이 결합된 녹색 부영상을 보간하여 풀컬러 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 컬러 영상 복호화 방법.
제16항에 있어서, 상기 영상은,

정지영상인 것을 특징으로 하는 컬러 영상 복호화 방법.
제16항에 있어서, 상기 영상은,

동영상인 것을 특징으로 하는 컬러 영상 복호화 방법.
삭제
삭제
제14항 또는 제15항의 컬러 영상 부호화 방법에 의하여 적색 부영상, 제1녹색 부영상, 제2녹색 차이 부영상 및 청색 부영상들을 부호화한 압축 영상을 복호화하기 위하여,

베이어 패턴의 컬러필터 어레이를 갖는 단일 영상 센서에 의해 획득된 샘플된 적색 부영상, 제1녹색 부영상, 제2녹색 차이 부영상 및 청색 부영상들을 부호화한 압축 영상을 복호화하기 위하여,

(c) 상기 압축된 부영상들을 복호화하여 상기 적색 부영상, 제1녹색 부영상, 제2녹색 차이 부영상 및 청색 부영상을 복원하는 단계; 및

(d) 상기 제2녹색 부영상의 화소위치에 상기 제1녹색 부영상으로부터 소정 추정기법에 의하여 추정된 제2녹색 추정 부영상을 생성하고, 상기 제2녹색 추정 부영상과 상기 제2녹색 차이 부영상을 합산한 결과와 상기 제1녹색 부영상을 결합하여 녹색 부영상을 생성하고, 상기 복원된 적색 부영상, 청색 부영상, 및 상기 녹색 부영상들을 보간하여 풀컬러 영상을 생성하는 것을 특징으로 하는 컬러 영상 복호화 방법.
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부;

상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상 및 청색 부영상으로 분해하고,

다시 상기 녹색 부영상을

직사각형 패턴의 제1녹색 부영상과,

상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 분해하는 색분해부;

상기 분해된 적색 부영상, 제1 녹색 부영상, 제2 녹색 부영상, 청색 부영상을 각각 압축하여 출력하는 적색 부호화부, 제1 녹색 부호화부, 제2 녹색 부호화부, 청색 부호화부를 갖는 부호화부;

상기 부호화부로부터 출력된 압축된 영상을 저장하는 저장부;

상기 저장된 영상을 읽어 들여 복호화하여 샘플된 컬러 영상을 복원하는 복호화부;

상기 복원된 샘플된 컬러 영상을 보간하여, 풀컬러 영상을 생성하는 풀컬러 보간부; 및

상기 풀컬러 영상을 디스플레이하는 디스플레이부를 구비한 것을 특징으로 하는 컬러 영상 부호화/복호화 장치.
제22항에 있어서, 상기 영상은,

정지영상인 것을 특징으로 하는 컬러 영상 부호화/복호화 장치.
제22항에 있어서, 상기 영상은,

동영상인 것을 특징으로 하는 컬러 영상 부호화/복호화 장치.
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부;

상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상 및 청색 부영상으로 분해하고,

다시 상기 녹색 부영상을

직사각형 패턴의 제1녹색 부영상과,

상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 분해하는 색분해부; 및

상기 분해된 적색 부영상, 제1 녹색 부영상, 제2 녹색 부영상, 청색 부영상을 각각 압축하여 출력하는 적색 부호화부, 제1 녹색 부호화부, 제2 녹색 부호화부, 청색 부호화부를 갖는 부호화부를 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
제25항에 있어서, 상기 영상은,

정지영상인 것을 특징으로 하는 컬러 영상 부호화 장치.
제25항에 있어서, 상기 영상은,

동영상인 것을 특징으로 하는 컬러 영상 부호화 장치.
삭제
삭제
삭제
삭제
제25항에 있어서,

상기 압축된 영상을 저장하는 저장부를 더 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
제25항에 있어서,

상기 압축된 영상을 외부로 전송하는 전송부를 더 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
제33항에 있어서, 상기 전송부는,

상기 압축 영상을 소정 전송방식에 의하여 전송되는 신호로 변조하는 변조기를 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
제34항에 있어서, 상기 전송부는,

상기 변조된 신호를 소정 방식에 의해 다중화하는 다중화기를 더 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
삭제
삭제
제25항에 있어서, 상기 녹색 부호화부는,

상기 제2녹색 부영상의 화소 위치에 상기 제1녹색 부영상으로부터 소정 추정기법에 의하여 추정된 제2녹색 추정 부영상을 생성하는 제2녹색 추정부를 더 구비하고,

상기 제2녹색 부호화부는,

상기 제2녹색 부영상에서 상기 제2녹색 추정 부영상을 감하여 구한 제2녹색 차이 부영상을 압축하여 출력하는 것을 특징으로 하는 컬러 영상 부호화 장치.
제25항에 있어서, 상기 녹색 부호화부는,

상기 제1녹색 부호화부의 출력을 복호화하는 제1녹색 복호화부; 및

상기 제2녹색 부영상의 화소 위치에 상기 복호화된 제1녹색 부영상으로부터 소정 추정기법에 의하여 제2녹색 추정 부영상을 생성하는 제2녹색 추정부를 더 구비하고,

상기 제2녹색 부호화부는,

상기 제2녹색 부영상에서 상기 제2녹색 추정 부영상을 감하여 구한 제2녹색 차이 부영상을 압축하여 출력하는 것을 특징을 하는 컬러 영상 부호화 장치.
제25항에 있어서,

상기 압축된 영상을 저장하는 저장부; 및

상기 압축된 영상을 외부로 전송하는 전송부를 더 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
제25항의 컬러 영상 부호화 장치에 의해 압축된 적색 압축부영상, 제1녹색 압축부영상, 제2녹색 압축부영상 및 청색 압축부영상을 포함하는 압축된 영상을 복호화하여 적색 부영상, 제1녹색 부영상, 제2녹색 부영상 및 청색 부영상을 복원하는 복호화부; 및

상기 제1녹색 부영상 및 상기 제2녹색 부영상의 결합에 의해 생성된 녹색 부영상을 보간하여 모든 화소에서 녹색 값을 갖는 녹색 영상을 출력하는 녹색 보간부, 상기 적색 부영상을 보간하여 모든 화소에서 적색 값을 갖는 적색 영상을 출력하는 적색 보간부, 상기 청색 부영상을 보간하여 모든 화소에서 청색 값을 갖는 청색 영상을 출력하는 청색 보간부를 구비한 풀컬러 보간부를 구비한 것을 특징으로 하는 컬러 영상 복호화 장치.
제41항에 있어서, 상기 영상은,

정지영상인 것을 특징으로 하는 컬러 영상 복호화 장치.
제41항에 있어서, 상기 영상은,

동영상인 것을 특징으로 하는 컬러 영상 복호화 장치.
제41항에 있어서,

상기 풀컬러 영상을 디스플레이하는 디스플레이부를 더 구비한 것을 특징으로 하는 컬러 영상 복호화 장치.
제41항에 있어서,

외부로부터 압축된 영상을 수신하는 수신부를 더 구비하고,

상기 복호화부는 상기 수신된 압축된 영상을 복호화하여 샘플된 컬러 영상을 복원하는 것을 특징으로 하는 컬러 영상 복호화 장치.
제45항에 있어서, 상기 수신부는,

외부로부터 수신된 압축된 영상을 소정 방식에 의하여 복조하기 위한 복조기를 구비한 것을 특징으로 하는 컬러 영상 복호화 장치.
제45항에 있어서,

상기 수신된 압축된 영상을 저장하는 저장부를 더 구비하고,

상기 복호화부는 상기 저장된 압축된 영상을 읽어들여 복호화하여 샘플된 컬러 영상을 복원하는 것을 특징으로 하는 컬러 영상 복호화 장치.
삭제
삭제
제38항 또는 제39항의 컬러 영상 부호화 장치에 의해 압축된 적색 압축부영상, 제1녹색 압축부영상, 제2녹색 차이 압축부영상 및 청색 압축부영상을 포함하는 압축된 영상을 각각 복호화하여 적색 부영상, 제1녹색 부영상, 제2녹색 차이 부영상 및 청색 부영상을 복원하고, 상기 복원된 제1녹색 부영상으로부터 제2녹색 추정 부영상을 생성하고, 상기 제2녹색 차이 부영상과 상기 제2녹색 추정 부영상을 합산한 결과와 상기 제1녹색 부영상을 결합하여 녹색 부영상으로 출력하는 복호화부;

상기 녹색 부영상을 보간하여 모든 화소에서 녹색 값을 갖는 녹색 영상을 출력하는 녹색 보간부, 상기 적색 부영상을 보간하여 모든 화소에서 적색 값을 갖는 적색 영상을 출력하는 적색 보간부, 상기 청색 부영상을 보간하여 모든 화소에서 청색 값을 갖는 청색 영상을 출력하는 청색 보간부를 구비한 풀컬러 보간부를 구비한 것을 특징으로 하는 컬러 영상 복호화 장치.
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부;

상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상 및 청색 부영상으로 분해하고,

다시 상기 녹색 부영상을

직사각형 패턴의 제1녹색 부영상과,

상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 분해하는 색분해부; 및

상기 분해된 적색 부영상, 제1 녹색 부영상, 제2 녹색 부영상, 청색 부영상을 각각 압축하여 출력하는 적색 부호화부, 제1 녹색 부호화부, 제2 녹색 부호화부, 청색 부호화부를 갖는 부호화부;

상기 압축된 영상을 저장하는 저장부;

상기 저장된 영상을 읽어들여 표준 영상 포맷으로 변환하는 영상 포맷 변환부; 및

포맷이 변환된 영상을 외부로 전송하는 전송부를 구비한 것을 특징으로 하는 컬러 영상 부호화 장치.
베이어 패턴의 컬러필터 어레이를 갖는 단일 영상센서에 의해 샘플된 컬러 영상을 획득하는 영상 센싱부;

상기 샘플된 컬러 영상을 적색 부영상, 녹색 부영상 및 청색 부영상으로 분해하고,

다시 상기 녹색 부영상을

직사각형 패턴의 제1녹색 부영상과,

상기 녹색 부영상에서 상기 제1녹색 부영상을 제외한 직사각형 패턴의 제2녹색 부영상으로 분해하는 색분해부; 및

상기 분해된 적색 부영상, 제1 녹색 부영상, 제2 녹색 부영상, 청색 부영상을 각각 압축하여 출력하는 적색 부호화부, 제1 녹색 부호화부, 제2 녹색 부호화부, 청색 부호화부를 갖는 부호화부;

상기 압축된 영상을 저장하는 저장부;

상기 저장된 영상을 읽어들여 표준 영상 포맷으로 변환하는 영상 포맷 변환부;

포맷이 변환된 영상을 외부로 전송하는 전송부;

상기 저장된 영상을 읽어들여 복호화하여 샘플된 컬러 영상을 복원하는 복호화부;

상기 복원된 샘플된 컬러 영상을 보간하여, 풀컬러 영상을 생성하는 풀컬러 보간부; 및

상기 풀컬러 영상을 디스플레이 하는 디스플레이부를 구비한 것을 특징으로 하는 컬러 영상 부호화/복호화 장치.
제1항 내지 제7항, 제14항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제21항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.