KR100689639B1

KR100689639B1 - 영상 처리 시스템 및 카메라 시스템

Info

Publication number: KR100689639B1
Application number: KR19990028189A
Authority: KR
Inventors: 고바야시아츠시
Original assignee: 소니 가부시끼 가이샤
Priority date: 1998-07-21
Filing date: 1999-07-13
Publication date: 2007-03-09
Also published as: US6774937B1; CN1135853C; KR20000011677A; TW466880B; CN1245382A; JP2000036967A

Abstract

촬상 소자의 출력 신호가 압축되어 대역 제한된 전송 경로를 통해서 전송되는 경우에, 종래 압축 및 신장 기술이 직접 적용될 때, 낭비가 심하게 되고 회로 크기가 크게되어, 시스템 비용이 상승된다. 촬상 소자의 출력 신호가 압축되고 전송되는 본 발명의 영상 처리 시스템 또는 카메라 시스템에서, 촬상 소자의 출력 신호는 휘도 신호 형성부 및 윤곽 보정 신호 형성부를 통과하여, 상기 신호는 위도 신호 및 윤곽 보정 신호로 분할된다. 이들 신호들은 압축 처리부들에 의해 개별적으로 압축되고, 다중화부에 의해 다중화되고, 이후 USB와 같은 대역 제한의 전송 경로를 통해서 전송된다.

압축, 신장, 다중화, 코딩, 디코딩

Description

영상 처리 시스템 및 카메라 시스템{Image processing system and camera system}

도 1은 본 발명의 한 실시예에 따른 카메라 시스템의 구조를 도시한 블록도.

도 2는 휘도 신호 및 윤곽 보정 신호의 통과 대역을 도시한 개념도.

도 3은 코어링 처리의 입력/출력 특성들의 예를 도시한 도면.

도 4는 윤곽 보정 신호의 압축 처리부의 특정한 구조의 예를 도시한 블록도.

도 5는 호스트 측의 입력 스테이지로서 디코딩 블록의 구조를 도시한 블록도.

* 도면의 주요 부분에 대한 부호의 설명 *

11 : 렌즈 12 : 촬상 소자

13 : A/D 변환기 14 : 코딩 블럭

(발명의 분야)
본 발명은 영상 처리 시스템 및 카메라 시스템에 관한 것이며, 특히 영상을 압축하여, 전송하고, 신장시키는 영상 처리 시스템 및 촬상된 영상을 압축하여 전송하는 카메라 시스템에 관한 것이다.
(관련 기술의 설명)

대역 제한된 시스템, 예를 들면 휴대용 컴퓨터 등에 사용되는 USB(Universal Serial Bus)가 영상의 전송 경로로서 고려되는 경우에, 이 USB의 표준 규격에 따라서, 동작이 최대 속도(12MHz)로 이루어지고 등시적 전송(isochronous transfer)이 사용되는 경우의, 최대 전송 속도는 1.023 Mbyte/sec(= 1,023 bytes × 1,000 frames/sec)이다.

한편, 정상적인 CIF(공통 중간 포맷) 크기(358 수평 화소들 × 288 수직 화소들)가 fps(초당 프레임)의 프레임 속도로 4:2:2의 YUV와 일치하여 전송되는 경우에, 6.19Mbyte/sec의 전송폭이 필요하게 되고, 4:2:0의 YUV가 채택되는 경우에 조차, 전송폭은 4.64Mbyte/sec가 된다. 따라서, 영상이 적어도 약 1/4로 압축된 후에 전송할 필요가 있다.

원래 영상이 존재하며, 이 영상에 대해 압축 처리가 행해지며, 전송이 행해지고 나서, 압축된 영상을 신장하여, 원래의 영상이 복구되는 영상 처리 시스템에서, 압축 처리 전의 영상 및 신장 처리 후의 영상간의 차가 작은 것이 중요하다. 따라서, 종래, 압축/신장 처리는 DCT(이산 코사인 변환)코딩이나 서브-대역 코딩 또는 웨이브렛(wavelet) 코딩 같은 것 등을 사용함으로써 행해져 왔다.

다른 한편으로, CCD(전하 결합 장치) 영상 센서로 대표되는 촬상 소자에 의해 촬상된 영상이 압축되어 전송되고, 이 촬상된 영상이 신장되어 예를 들면 휴대용 컴퓨터의 디스플레이 상에 도시되는 영상 처리 시스템의 경우에, 압축 처리전의 영상을 도시할 필요가 없고 신장 처리후의 최종 영상이 압축전의 상태로 접근하도록 할 필요가 없다. 즉, 신장 처리 후의 영상은 화질면에서 적절하다면, 어떠한 문제도 없다.

따라서, 압축 전 신호 처리에 관하여, 최적의 처리가 압축과 관계하여 실행되는 경우에 만족스럽게 된다. 이와 같은 영상 처리 시스템에 대해, 압축 처리전의 영상의 화질이 적절하게 되고 신장 처리 후의 화질이 적절하게 될 필요가 있는 상술된 영상 처리 시스템을 위하여 사용되는 압축/신장 기술이 직접 적용되는 경우, 낭비가 심하게 되고 회로 크기가 크게되어, 시스템의 비용이 상승되었다.

본 발명은 상기 문제점을 고려하여 이루어진 것이고 본 발명의 목적은 회로 크기가 감소될 수 있고 보다 낮은 비용의 시스템이 실현될 수 있는 영상 처리 시스템 및 카메라 시스템을 제공하는 것이다.

본 발명의 영상 처리 시스템은 색 필터를 갖는 촬상 소자의 출력 신호를 휘도 신호 및 윤곽 보정 신호로 분할하여 이들 신호들을 각각 압축하여 출력하기 위한 코딩 수단과, 이 코딩 수단에 의해 압축된 휘도 신호 및 윤곽 보정 신호를 전송하기 위하여 대역 제한된 전송 경로와, 이 전송 경로를 통해서 전송되는 휘도 신호 및 윤곽 보정 신호를 각각 신장시켜 이들 신호들을 출력하는 디코딩 수단을 구비한다.

상기 구조의 영상 처리 시스템에서, 코딩 수단은 촬상 소자의 출력 신호의 신호 처리를 수행하는 공정에서 신호를 사용하여 출력 신호를 휘도 신호 및 윤곽 보정 신호로 분할하고 이들을 각각 압축한다. 압축된 휘도 신호 및 윤곽 보정 신호는 대역 제한된 전송 경로를 통해서 전송된다. 디코딩 수단은 전송 경로를 통해서 전송되는 휘도 신호 및 윤곽 보정 신호를 신장시키고 이들을 합하여 출력한다.

본 발명의 카메라 시스템은 색 필터를 갖는 촬상 소자, 피사체로부터의 입사광을 받아들여 촬상 소자의 촬상면 상에 결상시키는 광학 시스템 및 촬상 소자의 출력 신호를 휘도 신호 및 윤곽 보정 신호로 분할하고 이들 신호들을 각각 압축하여 출력하기 위한 코딩 수단을 구비한다.

상기 구조의 카메라 시스템에서, 촬상 소자는 광학 시스템에 의해 받아들여지는 피사체의 영상 광(image light)을 기초하여 화소 단위로 광전 변환을 수행하여 화소 정보를 촬상 신호로서 출력한다. 촬상 신호를 수신하면, 코딩 수단은 신호 처리를 수행하는 공정에서 신호를 사용하여 촬상 신호를 휘도 신호 및 윤곽 보정 신호로 분할하여 이들을 각각 압축하여 출력한다.

본 발명의 바람직한 실시예들이 지금부터 도면을 참조하여 상세하게 설명될 것이다.

도 1은 본 발명의 하나의 실시예에 따른 카메라 시스템의 구조를 도시한 블록도이다. 이 실시예의 카메라 시스템(10)은 렌즈(11), 촬상 소자(12), A/D 변환기(13), 및 코딩 블록(14)을 구비한다. 코딩 블록(14)에 의해 코딩된 (압축된) 영상 신호는 USB와 같은 대역 제한된 전송 경로(15)를 통해서 호스트 측(host side), 예를 들면, 휴대용 컴퓨터로 전송된다.

렌즈(11)는 광학 시스템의 일부분을 구성하고 피사체(도시되지 않음)로부터의 입사광(영상광)을 받아들여 촬상 소자(12)의 촬상면 상에 결상시킨다. 이 촬상 소자(12)로서, 예를들어 보색 바둑무늬 배열(complementary color checkered arrangement)의 색필터(12a)를 갖는 CCD 영상 센서가 사용된다. 촬상 소자(12)는 입사광을 화소 단위의 광량에 대응하는 신호 전하로 변환하여 이 화소 정보를 촬상 신호로서 출력한다.

A/D 변환기(13)는 촬상 소자(12)로부터 출력되는 촬상 신호(영상 신호)를 디지털화하여 이 신호를 코딩 블록(14)으로 공급한다. 도면에 도시되어 있지 않지만, A/D 변환이 실행되기 전에, 신호 처리는 앞 단계에서 실행되어, 적절한 파형이 샘플-홀드 회로, 전치 증폭 등에 의해서 얻어지고 나서 A/D 변환이 실행된다.

코딩 블록(14)에서, A/D 변환기(13)로부터 입력된 영상 신호는 전치부(21)에 의해 블랙 레벨 클램핑(black level clamping) 또는 결합 보정(defect correction)과 같은 처리를 겪고 나서 이 처리된 신호는 휘도 신호 형성부(22), 윤곽 보정 신호 형성부(23) 및 색 신호 처리부(24)에 공급된다. 휘도 신호 형성부(22)는 간단한 수평 LPF(저역 통과 필터)로 구성되고 전치부(21)로부터 입력되는 영상 신호는 이 수평 LPF를 통과하여 휘도 신호 Y가 형성된다.

윤곽 보정 신호 형성부(23)는 수평 HPF(고역 필터)(31), 수직 HPF(32), 수평 LPF(33) 및 이득 조정 코어링 처리부(34)로 구성된다. 이 윤곽 보정 신호 형성부(23)에서, 휘도 신호 형성부(22)에 의해 형성된 휘도 신호가 수평 HPF(31)를 통과시킴으로써 얻어지는 영상 신호는 수평 방향으로 윤곽 보정 신호가 된다. 게다가, 전치부(21)로부터 입력된 신호를 수직 HPF(32)를 통과시킴으로써 얻어진 신호는 수직 방향에서 윤곽 보정 신호가 된다.

도 2는 주파수 영역에서 휘도 신호 및 윤곽 보정 신호의 통과 대역의 분포를 도시한 것이다. 수평 주파수 및 수직 주파수 둘다는 1이 되는 샘플링 주파수로 정규화된다.

다음에, 이득 조정 코어링 처리부(34)에서, 수평 윤곽 보정 신호 및 수직 윤곽 보정 신호 각각이 적절한 이득과 승산되고 부가된 후, 코어링이라 칭하는 처리가 윤곽 보정 신호를 형성하기 위하여 실행된다. 여기서, 코어링 처리는 작은 절대값을 갖는 신호가 통과되는 것을 금지하도록 하는 처리이다. 도 3은 코어링 처리의 입력/출력 특성을 도시한 것이다.

색 신호 처리 회로(24)는 전치부(21)로부터 입력된 신호에 대해 각종 신호 처리를 수행하고, 최종적으로 두 개의 색차 신호들 U 및 V를 출력한다. 휘도 신호 Y, 이 방식으로 형성된 윤곽 보정 신호 및 색차 신호 U 및 V는 압축 처리부들(25, 26 및 27)에 의해 각각 압축되고(코딩됨) 나서, 신호들은 다중화부(28)에서 다중화되어 USB와 같은 전송 경로(15)에 전송된다.

부수적으로, 상기 구조의 코딩 블록(14)에서, 수평 LPF(22), 수직 HPF(31), 수직 HPF(32) 및 수평 LPF(33)의 괄호(bracket)내의 표현들은 필터들의 특성의 예를 도시한 것이다. 그러나, 각 경로에 대한 지연의 시프트는 고려되지 않았다.

상술된 바와 같이, 이 실시예의 코딩 블록(14)은 영상 신호의 코딩 처리가 실행될 때 코딩 처리는 휘도 신호 및 윤곽 보정 신호에 대해 각각 실행되도록 하는 시스템을 채용하고 있다. 이 처리 시스템은 서브대역 코딩에 의한 대역 분할과 유사한 시스템이다.

즉, 서브대역 코딩에 의한 대역 분할에서, 영상은 필터를 사용함으로써 수평 방향 및 수직 방향 각각에서 고주파수 성분 및 저주파수 성분으로 각각 분할되어, 4개의 영상(수평 저주파수/수직 저주파수, 수평 고주파수/수직 저주파수, 수평 저주파수/수직 고주파수, 및 수평 고주파수/수직 고주파수)이 된다. 다른 한편으로, 상기 구조의 코딩 블록(14)에서, 휘도 신호는 수평 저주파수/수직 저주파수의 영상에 대응하고 윤곽 보정 신호는 수평 고주파수/수직 저주파수의 영상 및 수평 저주파수/수직 고주파수의 영상의 혼합에 대응한다.

서브 대역 코딩을 사용하는 종래의 압축 처리에서, 윤곽 보정을 겪은 휘도 신호가 촬상 소자(12)의 출력 신호의 신호 처리 시스템에 형성된 후, 압축(코딩) 처리는 이 휘도 신호에 대하여 수행되는데, 이로 인하여 대역을 분할하는 필터가 필요해진다. 따라서, 회로 크기는 크게 된다.

다른 한편으로, 이 실시예의 코딩 블록에서, 이와 같은 구조가 코딩(압축) 처리가 촬상 소자(12)의 촬상 신호에 대해 신호 처리를 실행하는 공정에서 신호를 사용함으로써 실행되도록 채택되기 때문에, 대역 분할하기 위한 필터가 불필요하게 되어 회로 크기는 그만큼 감소될 수 있다.

게다가, 코어링 처리를 겪는 신호가 윤곽 보정 신호인 고주파수 신호로서 사용되기 때문에, 고주파수 신호에서 작은 신호 레벨을 갖는 신호는 0이 된다. 따라서, 신호는 영상의 윤곽을 제외한 영역에서 0이 되는데, 이것은 코딩하는데 적합하게 되며, 고효율 코딩은 윤곽 보정 신호에 대한 압축 처리부(26)에서 실현될 수 있다.

부수적으로, 윤곽 보정 신호의 특징으로서, 거의 동일한 레벨을 갖고 극성이 다른 화소가 이웃에 존재하는 특징이 있다. 따라서, 이 특징을 사용함으로써, 다음 구조는 윤곽 보정 신호에 대한 압축 처리부로서 채택될 수 있다.

즉, 도 4에 도시된 바와 같이, 상기 구조는 고주파수 신호가 극성 검출부(41) 및 절대값 검출부(42)를 통과하여 정/부 부호 성분 및 절대값 성분으로 분할되도록 하고 정/부 부호 성분 및 절대값 성분만이 압축 처리부들(43 및 44)에 의해 압축되도록 한다. 따라서, 정/부 부호 성분 및 절대값 성분만이 압축되어 전송되는 구조를 채용함으로써, 보다 높은 효율을 갖는 코딩이 실현된다.

도 5는 호스트 측, 예를 들어 코딩 블록(14)에 의해 코딩된(압축된) 영상 신호의 전송의 목적지로서의 휴대용 컴퓨터에서 입력 스테이지의 구조의 예를 도시한 것이다. 코딩 블록(14)에 의해 압축된 영상 신호는 USB와 같은 대역 제한된 전송 경로를 통해서 호스트 측으로 전송된다.

도 5에서, 호스트 측에서 입력 스테이지는 디코딩 블록(50)으로 구성된다. 이 디코딩 블록(50)에서, 전송 경로(15)를 통해서 전송되는 상기 압축된 영상 신호는 분할부(separation portion)(51)에 의해 휘도 신호에 대응하는 신호, 윤곽 보정 신호, 및 색차 신호로 각각 분할된다. 상기 신호들이 신장 처리부들(52, 53 및 54)에 의해 각 신호에 대응하는 신장(디코딩) 처리를 겪은 후, 휘도 신호는 가산기(55)에 의해 윤곽 보정 신호에 가산되고 출력되는 한편, 색차 신호는 현재 상태로 출력된다.

윤곽 보정이 실행되는 휘도 신호 및 색차 신호는 후의 스테이지의 신호 처리 회로(도시되지 않음)에서 각종 신호 처리를 겪고 나서 신호들은 디스플레이, 프린터 등에 공급되어, 표현, 기록 등을 실행한다.

부수적으로, 디코딩 블록(50)의 분할부(51), 신장 처리부들(52, 53 및 54) 및 가산기의 각 기능은 휴대용 컴퓨터의 소프트웨어를 통해서 실행된다.

상기 구조의 디코딩 블록(50) 및 상기 코딩 블럭(14)에 의하여, 본 발명의 영상 처리 시스템, 즉, CCD 영상 센서와 같은 촬상 소자(12)에 의해 촬상된 영상을 코딩 블록 (14)에 의해 압축하여 USB와 같은 대역 제한된 전송 경로(15)를 통해서 호스트 측으로 전송하여 디코딩 블록(50)에 의해 신장시키는 영상 처리 시스템이 구성되어 있다.
상술된 바와 같이, 본 발명의 영상 처리 시스템에서, 색 필터를 갖는 촬상 소자의 출력 신호는 휘도 신호 및 윤곽 보정 신호로 분할되며, 이들은 대역 제한된 전송 경로를 통해서 각각 압축되고 전송되며, 전송된 휘도 신호 및 윤곽 보정 신호는 각각 신장되고 이들은 서로 합해진다. 따라서, 휘도 신호 및 윤곽 보정 신호의 분할은 촬상 소자의 출력 신호의 신호 처리를 실행하는 공정에서 신호를 사용함으로써 이루어져, 회로 크기를 감소시킬 수 있고 보다 낮은 비용으로 시스템이 실현될 수 있다.
게다가, 본 발명의 카메라 시스템에서, 색 필터를 갖는 촬상 소자의 출력 신호는 휘도 신호 및 윤곽 보정 신호로 분할되고 이들은 각각 압축되고 전송된다. 따라서, 휘도 신호 및 윤곽 보정 신호의 분할은 촬상 소자의 출력 신호의 신호 처리를 실행하는 공정에서 신호를 사용함으로써 이루어질 수 있어서, 회로의 크기가 감소될 수 있고, 보다 낮은 비용으로 시스템이 실현될 수 있다.

본 발명으로 인하여 회로의 크기가 감소될 수 있고 보다 낮은 비용의 시스템이 실현될 수 있는 영상 처리 시스템 및 카메라 시스템이 제공된다.

삭제

Claims

영상 처리 시스템에 있어서,

촬상 소자에 의해 제공된 신호를 색 필터로 휘도 신호 및 윤곽 보정 신호로 분리하는 코딩 수단으로서,

상기 휘도 신호를 제공하기 위한 수평 저역 통과 필터,

수평 방향 윤곽 보정 신호를 제공하도록 상기 휘도 신호 상에서 동작 가능한 제 1 필터,

수직 방향 윤곽 보정 신호를 제공하도록 상기 촬상 소자로부터 유도된 신호 상에서 동작 가능한 제 2 필터,

이득-조정된 윤곽 보정 신호를 제공하도록 상기 수평 및 수직 방향 윤곽 보정 신호들 상에서 동작 가능한 이득 조정 유닛, 및

상기 휘도 신호와 상기 윤곽 보정 신호를 개별적으로 압축하는 압축 수단을 포함하는, 상기 코딩 수단,

상기 코딩 수단에 의해 압축된 상기 휘도 신호 및 상기 윤곽 보정 신호를 전송하는 대역 제한된 전송 경로, 및

상기 전송 경로를 통해서 전송된 상기 휘도 신호 및 상기 윤곽 보정 신호를 각각 신장시키고 상기 신호들을 가산하여 출력하는 디코딩 수단을 포함하는, 영상 처리 시스템.
삭제
제 1 항에 있어서,

상기 코딩 수단은 압축 처리가 상기 윤곽 보정 신호에 대해 실행될 때 상기 윤곽 보정 신호로부터 정 및 부의 부호 성분들 및 절대값 성분을 추출하고, 상기 정 및 부의 부호 성분들 및 상기 절대값 성분만을 압축하는, 영상 처리 시스템.
카메라 시스템에 있어서,

색 필터를 갖는 촬상 소자,

피사체로부터의 입사광을 받아들여 상기 촬상 소자의 촬상면상에 결상시키는 광학 시스템, 및

상기 촬상 소자에 의해 제공된 신호를 휘도 신호 및 윤곽 보정 신호로 분리하는 코딩 수단을 포함하고, 상기 코딩 수단은,

상기 휘도 신호를 제공하기 위한 수평 저역 통과 필터,

수평 방향 윤곽 보정 신호를 제공하도록 상기 휘도 신호 상에서 동작 가능한 제 1 필터,

수직 방향 윤곽 보정 신호를 제공하도록 상기 촬상 소자로부터 유도된 신호 상에서 동작 가능한 제 2 필터,

이득-조정된 윤곽 보정 신호를 제공하도록 상기 수평 및 수직 방향 윤곽 보정 신호들 상에서 동작 가능한 이득 조정 유닛, 및

상기 휘도 신호와 상기 윤곽 보정 신호를 개별적으로 압축하는 압축 수단을 포함하는, 카메라 시스템.
삭제
제 4 항에 있어서,

상기 코딩 수단은 압축 처리가 상기 윤곽 보정 신호에 대해 실행될 때 상기 윤곽 보정 신호로부터 정 및 부의 부호 성분들 및 절대값 성분을 추출하고, 상기 정 및 부의 부호 성분들 및 상기 절대값 성분만을 압축하는, 카메라 시스템.
영상 처리 방법에 있어서,

촬상 소자에 의해 제공된 신호를 휘도 신호 및 윤곽 보정 신호로 분리하는 단계로서,

상기 휘도 신호를 제공하기 위해 상기 촬상 소자로부터 유도된 신호를 저역 통과 필터링하고,

수평 방향 윤곽 보정 신호를 제공하기 위해 상기 휘도 신호를 필터링하고,

수직 방향 윤곽 보정 신호를 제공하기 위해 상기 촬상 소자로부터 유도된 상기 신호를 필터링하고,

이득-조정된 윤곽 보정 신호를 생성하기 위해 상기 수평 및 수직 방향 윤곽 보정 신호들을 이득 조정하고,

상기 휘도 신호 및 상기 윤곽 보정 신호를 개별적으로 압축함으로써 행해지는, 상기 신호 분리 단계,

상기 압축된 휘도 신호 및 상기 윤곽 보정 신호를 전송하는 대역 제한된 전송 경로를 통해 상기 휘도 신호 및 상기 윤곽 보정 신호를 전송하는 단계, 및

상기 전송 경로를 통해 전송된 상기 휘도 신호 및 상기 윤곽 보정 신호를 각각 신장시키고, 상기 신호들을 가산하여 출력하는 단계를 포함하는, 영상 처리 방법.