KR100727837B1

KR100727837B1 - 카메라의 영상신호 처리장치

Info

Publication number: KR100727837B1
Application number: KR1020010020187A
Authority: KR
Inventors: 김영호
Original assignee: 삼성테크윈 주식회사
Priority date: 2001-04-16
Filing date: 2001-04-16
Publication date: 2007-06-14
Also published as: KR20020080560A

Abstract

이 발명은 카메라의 영상신호 처리장치에 관한 것이다. 본 발명은 넓은 폭을 가지는 영상이 입력되더라도 이를 먼저 프레임 메모리에 저장해 두었다가 저장된 영상 데이터를 수차례에 걸쳐 처리한다. 또한, 영역별로 구분 가능한 히스토그램을 산출하고, 메인 프로세서에서 이를 최종 판단하여 영역별 컬러 신호 곡선을 보정함으로써 실시간으로 획득하는 영상의 광대역폭을 증대시킬 수 있다.

이렇게 함으로써, 화소수에 관계없이 영상처리를 할 수 있고, 영상의 광대역폭을 증가시킬 수가 있다.

카메라, 영상, 광대역, 프레임

Description

카메라의 영상신호 처리장치{An image signal processing device of the camera system}

도1은 이 발명의 실시예에 따른 카메라의 영상신호 처리장치의 구성도이다.

이 발명은 카메라의 영상신호 처리장치에 관한 것으로서, 특히, 촬상소자로부터 디지털 영상 데이터를 획득하고 이를 가시적인 영상으로 처리하여 저장한 데이터를 저장하여 사용하는 카메라 시스템에 관한 것이다.

일반적인 영상신호 처리장치는 영상을 가시화하는 그래픽 프로세서의 전단에서 동작하며, 촬상소자로부터 출력되는 신호를 근간으로 영상 데이터를 발생시키고, 이를 목적에 맞게 강화시키는 기능을 한다.

그런데 촬상소자의 방식이나 화소수는 응용분야에 따라 매우 다르다, 이로 인해 신호 처리장치의 규격이 표준화되어 있지 않아 부품의 일반화가 이루어지지 않고 있는 실정이다.

이와 같은 문제로 종래에는 촬상소자의 화소수가 증가하면, 그에 적당한 신호처리장치로 교체를 해야하는 문제점이 있다.

한편, 사진을 대체하기 위한 용도로 사용되는 정지화 획득장치에서 화질을 결정하는 중요한 요소중의 하나는 광대역폭이다.

일반적으로 디지털 촬상소자는 화상기록 매체인 필름에 비해 광대역폭이 좁다. 이러한 디지털 촬상소자 및 후단 처리부의 한계를 극복하기 위해 종래에는 광량을 동적 조절하거나 아날로그 디지털 변환기의 정도를 높이는 방법을 사용하였다.

그러나, 이와 같은 종래의 방법은 촬영당시의 환경 변화에 적응하기 위해서 필터링을 환경에 최적화시키기 위한 파라미터 계산기능을 추가로 필요로 하므로 비용이 많이 드는 문제가 있다.

본 발명이 이루고자 하는 기술적 과제는 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 화소수에 관계없이 영상처리를 할 수 있고, 영상의 광대역폭을 증가시키는 카메라의 영상신호 처리장치를 제공하는 것이다.

이러한 과제를 해결하기 위한 본 발명의 특징에 따른 카메라의 영상신호 처리장치는,
촬상소자로부터 영상신호를 입력받아 처리하는 카메라의 영상신호 처리장치에 있어서,
데이터의 흐름을 제어하는 경로 제어부;
상기 경로 제어부의 제어에 따라 상기 촬상소자로부터 입력되는 디지털 영상 데이터의 입력을 다중화시키는 입력 다중화부;
상기 촬상소자 내의 필터 특성에 따라 상기 입력 다중화부에서 출력되는 디지털 영상 데이터를 보정하는 색보정부;
상기 색보정부의 출력 데이터로부터 각 화소당 R, G, B 성분을 계산하는 화소 발생부;
상기 각 화소당 R, G, B 성분 데이터를 휘도 및 색차 성분으로 변환하는 컬러 공간 변환부;
상기 휘도신호에 따라 광학계를 구동하는 파라미터를 산출하는 광검출부;
상기 휘도 신호의 통계적 특성으로부터 히스토그램의 분포를 계산하는 히스토그램 계산부;
색의 균형을 맞추기 위한 색이득 곱셈부;
상기 휘도 및 색차신호의 광대역폭을 최적화시키는 광대역폭 증대부;
화질을 경계검출 연산 및 덧셈연산을 통해 화질을 개선하는 경계강조부를 포함하고,
상기 경로 제어부는 상기 각 부의 데이터의 흐름을 제어하는 것을 특징으로 한다.
이러한 과제를 해결하기 위한 본 발명의 다른 특징에 따른 카메라의 영상신호 처리장치는,

삭제

사물의 영상을 촬영하여 영상신호로 출력하는 촬상소자 블록;

영상 데이터를 저장하는 프레임 메모리;

데이터를 표시하기 위한 디스플레이;

상기 촬상소자를 통해 입력되는 영상데이터를 프레임 메모리에 저장해 두었다가 저장된 영상 데이터를 수차례에 걸쳐 처리하는 영상처리부를 포함한다.

그러면, 본 발명을 통상의 지식을 지닌자가 용이하게 실시할 수 있도록 첨부된 도면을 참조로 하여 본 발명의 실시예를 상세히 설명하기로 한다.

도1에서와 같이, 이 발명의 실시예에 따른 카메라의 영상신호 처리장치는,

촬상소자로부터 영상신호를 입력받아 처리하는 카메라의 영상신호 처리장치에 있어서,

촬상소자(100)로부터 입력되는 디지털 영상 데이터의 입력과 메인 프로세서의 데이터 버스 사이를 다중화시키는 입력 다중화부(201);

상기 촬상소자(100) 내의 필터 특성에 따라 디지털 영상 데이터를 보정하는 색보정부(202);

상기 색보정부(202)의 출력 데이터로부터 각 화소당 R, G, B 성분을 계산하는 화소 발생부(203);

상기 각 화소당 R, G, B 성분 데이터를 휘도 및 색차 성분으로 변환하는 컬러 공간 변환부(206);

상기 휘도신호에 따라 광학계를 구동하는 파라미터를 산출하는 광검출부(209);

상기 휘도 신호의 통계적 특성으로부터 히스토그램의 분포를 계산하는 히스토그램 계산부(210);

색의 균형을 맞추기 위한 색이득 곱셈부(205);

상기 휘도 및 색차신호의 광대역폭을 최적화시키는 광대역폭 증대부(204);

화질을 경계검출 연산 및 덧셈연산을 통해 화질을 개선하는 경계강조부(208);

상기 각 부분의 데이터의 흐름을 제어하는 경로 제어부(207)를 포함한다

그러면, 이러한 구성을 가진 이 발명의 실시예에 따른 카메라의 영상신호 처리장치의 동작을 상세히 설명하면 다음과 같다.

먼저, 사용자에 의해 전원이 인가되면, 이 발명의 실시예에 따른 카메라의 영상신호 처리장치의 동작이 시작된다.

동작이 시작되면, 데이터 경로 제어부(207)가 각 해당 구성요소의 데이터 흐름을 제어한다.

사용자가 디스플레이(400)를 통해 영상을 볼 수 있는 모니터 모드일 경우는 촬상소자 블럭(100)에서 영상 신호가 출력되어 입력다중화부(201)로 입력된다.

그러면, 입력 다중화부(201)는 촬상소자 블럭(100)으로부터 입력되는 디지털 영상 데이터의 입력을 경로 제어부(207)의 제어에 따라 색보정부(202)로 출력한다. 여기서, 경로 제어부(207)는 다른 구성요소들의 데이터 흐름도 이와 같은 제어에 의해 제어한다.

그러면, 색보정부(202)는 상기 촬상소자 블럭(100) 내의 필터 특성에 따라 디지털 영상 데이터를 보정하여 출력한다. 촬상소자마다 내부에 채용된 필터의 특성이 모두 다르므로 색 보정부(202)는 출력 데이터로부터 색성분을 보정하는 기능을 한다. 이때, 필터링은 주변 화소의 값에 따라 보정되는 데이터의 결과가 달라지는 필터링을 수행한다. 또한, 필터의 계수는 각 성분에 따라 다를 수 있으며, 보정의 성능은 메인 프로세서(300)가 연산하는 상기 계수에 의존된다.

그러면, 화소 발생부(203)는 2차원적으로 화소당 1가지 성분씩 배열된 데이터로부터 세가지 성분을 계산하게 되는데, 이는 보간(interpolation)과 유사한 연산을 통해 이루어진다. 재현된 영상의 색 잡음 및 선명도는 기본적으로 화소 발생 과정에서의 보간 연산 성능에 좌우되며, 특히, 휘도 성분에 가까운 녹색 신호 성분은 전체 화질에 영향을 미치므로 정확한 보간이 되도록 한다.

그러면, 색공간 변환부(206)는 화소의 색 성분이 존재하는 좌표계를 R, G, B로부터 휘도 및 색차계로 변환한다. 이는 고정된 계수를 가지는 3*3행렬 연산이다.

그러면, 광검출부(209)는 주변의 광량이나 조명 상태에 따라 노출시간의 조절 및 색 성분의 균형을 맞추기 위한 파라미터를 계산하는데 필요한 데이터를 검출하고, 경우에 따라 얻어진 영상 데이터로부터 초점 상태를 검출하기 위한 필터링 기능을 수행한다.

영역별로 계조도의 값의 분포를 상대적인 양으로 표현함으로써 메인 프로세서(300)는 히스토그램의 조절여부를 결정하는데, 히스토그램 계산부(210)는 휘도 신호의 통계적 특성으로부터 히스토그램의 통계적 분포를 계산한다.

히스토그램 계산부(210)의 구조는 크게 영역 레이블러와 피디에프(probability Distribution Function) 산출기로 구성된다. 영역 레이블러는 계산된 계조도 값을 주변값과 비교하여 동종 영역을 판별하는 마커(marker)로 영상을 구현하며, 이는 영상 데이터와 함께 메인 프로세서(300)로 전송된다. 피디 에프 산출기는 2ⁿ(n은 아날로그 디지털 변환기의 비트수)의 레지스터로 구성되며 각 계조도 값을 가지는 화소수의 상대적인 양을 저장한다.

그러면, 색이득 곱셈부(205)는 상기 광검출부(209)를 통해 얻은 색신호의 치우침 정도를 바탕으로 최종처리결과 영상의 각 색성분을 보정하기 위해 색공간 변환부(206)의 출력에 단순한 곱셈연산을 하여 일정 이득을 주게 되는데, 각 성분의 이득값은 메인 프로세서(300)로부터 로딩된다.

그러면, 메인 프로세서(300)는 상기 피디에프 산출기로부터 휘도 및 색차 신호를 보정하기 위한 테이블을 구성한다.

그러면, 광대역폭 증대부(204)는 메인 프로세서(300)의 휘도 및 색차 신호를 보정하기 위한 테이블을 로딩하여 매핑을 수행한후 디스플레이(400)로 매핑된 데이터를 출력한다. 테이블은 크게 두가지 부류로 나누어지는데, 첫째는 감마 보정에 준하는 커브를 가지며, 둘째는 광대역폭 증대를 위한 영역별 신호 보정용 테이블이다.

그러면, 디스플레이(400)에는 촬상소자 블록(100)에서 촬영되는 영상이 디스플레이 된다.

이와 같은 모니터 모드에서 영상을 저장하는 기능이 선택되거나 병행하여 저장 기능이 수행되면, 정지화 획득모드가 되며, 입력 다중화부(201)는 촬상소자블럭(100)으로부터 입력되는 디지털 영상 데이터의 입력을 디스플레이(400)의 폭에 알맞게 재표본화하고, 프레임 메모리(500)에 저장을 한다.

정지화 획득 모드 이후에는 정지화 처리 모드로서, 입력 다중화부(201)는 프레임 메모리(500)의 재표본화된 데이터를 색보정부(202)로 출력한다.

그러면, 색보정부(202)는 입력된 데이터를 필터 특성에 따라 보정하여 출력한다.

그러면, 화소 발생부(203)는 2차원적으로 화소당 1가지 성분씩 배열된 데이터로부터 세가지 성분을 계산하게 되는데, 이는 보간(interpolation)과 유사한 연산을 통해 이루어진다.

다음, 색공간 변환부(206)는 화소의 색 성분이 존재하는 좌표계를 R, G, B로부터 휘도 및 색차계로 변환한다. 이는 고정된 계수를 가지는 3*3행렬 연산이다.

그러면, 광대역폭 증대부(204)는 메인 프로세서(300)의 휘도 및 색차 신호를 보정하기 위한 테이블을 로딩하여 매핑을 수행한후 프레임메모리(500)로 매핑된 데이터를 출력한다.

정지화 처리 모드가 끝나면, 정지화 강조 모드가 되며, 입력 다중화부(201)는 이와 같이, 정지화 처리모드에서 프레임 메모리(500)에 저장된 데이터를 경계 강조부(208)로 전달한다.

그러면, 경계 강조부(208)는 화소 보간 및 광대역폭 증대 처리로 인해 나타 날 수 있는 영상의 선명도를 높이기 위해 3*3 경계 검출 연산 및 원 영상과의 덧셈 연산을 수행한후 프레임 메모리(500)에 저장한다.

이와 같은 과정을 통해 넓은 폭을 가지는 영상이 입력되더라도 이를 먼저 프레임 메모리에 저장해 두었다가 저장된 영상 데이터를 수차례에 걸쳐 처리함으로써, 처리할 수 있는 화소수에 제한이 없게 된다.

또한, 영역별로 구분 가능한 히스토그램을 산출하고, 메인 프로세서에서 이를 최종 판단하여 영역별 컬러 신호 곡선을 보정함으로써 실시간으로 획득하는 영상의 광대역폭을 증대시킬 수 있다.

상기한 과정에서의 모니터 모드, 정지화 획득 모드, 정지화 처리 모드, 정지화 강조 모드는 설명의 편의를 위해 의미를 부여한 것이다.

위에서 설명한 본 발명의 실시예는 다양한 변형예가 존재 가능하다.

이상에서와 같이, 이 발명의 실시예에서, 화소수에 관계없이 영상처리를 할 수 있고, 영상의 광대역폭을 증가시키는 카메라의 영상신호 처리장치를 제공할 수 있다.

Claims

촬상소자로부터 영상신호를 입력받아 처리하는 카메라의 영상신호 처리장치에 있어서,

데이터의 흐름을 제어하는 경로 제어부;

상기 경로 제어부의 제어에 따라 상기 촬상소자로부터 입력되는 디지털 영상 데이터의 입력을 다중화시키는 입력 다중화부;

상기 촬상소자 내의 필터 특성에 따라 상기 입력 다중화부에서 출력되는 디지털 영상 데이터를 보정하는 색보정부;

상기 색보정부의 출력 데이터로부터 각 화소당 R, G, B 성분을 계산하는 화소 발생부;

상기 각 화소당 R, G, B 성분 데이터를 휘도 및 색차 성분으로 변환하는 컬러 공간 변환부;

상기 휘도신호에 따라 광학계를 구동하는 파라미터를 산출하는 광검출부;

상기 휘도 신호의 통계적 특성으로부터 히스토그램의 분포를 계산하는 히스토그램 계산부;

색의 균형을 맞추기 위한 색이득 곱셈부;

상기 휘도 및 색차신호의 광대역폭을 최적화시키는 광대역폭 증대부;

화질을 경계검출 연산 및 덧셈연산을 통해 화질을 개선하는 경계강조부를 포함하고,

상기 경로 제어부는 상기 각 부의 데이터의 흐름을 제어하는 것을 특징으로 하는 카메라의 영상신호 처리장치.
제1항에 있어서,

상기한 히스토그램 계산부는,

계산된 계조도 값을 주변값과 비교하여 동종 영역을 판별하는 마커로 영상을 구현하여 영상 데이터와 함께 메인 프로세서로 전송하는 영역 레이블러;

2ⁿ(n은 아날로그 디지털 변환기의 비트수)의 레지스터로 구성되며 각 계조도 값을 가지는 화소수의 상대적인 양을 저장하는 피디에프 산출기를 포함하는 카메라의 영상신호 처리장치.
사물의 영상을 촬영하여 영상신호로 출력하는 촬상소자 블록;

영상 데이터를 저장하는 프레임 메모리;

데이터를 표시하기 위한 디스플레이;

상기 촬상소자를 통해 입력되는 영상데이터를 프레임 메모리에 저장해 두었다가 저장된 영상 데이터를 수차례에 걸쳐 처리하는 영상처리부를 포함하는 카메라의 영상신호 처리장치.
제3항에 있어서,

상기 영상 처리부는 영역별로 구분 가능한 히스토그램을 산출하고, 이를 최종 판단하여 영역별 컬러 신호 곡선을 보정하는 것을 특징으로 하는 카메라의 영상 신호 처리장치.
제4항에 있어서,

상기 영상 처리부는,

상기 영상 처리부내의 데이터의 흐름을 제어하는 경로 제어부;

상기 경로 제어부의 제어에 따라 상기 촬상소자로부터 입력되는 디지털 영상 데이터의 입력을 다중화시키는 입력 다중화부;

상기 촬상소자 내의 필터 특성에 따라 디지털 영상 데이터를 보정하는 색보정부;

상기 색보정부의 출력 데이터로부터 각 화소당 R, G, B 성분을 계산하는 화소 발생부;

상기 각 화소당 R, G, B 성분 데이터를 휘도 및 색차 성분으로 변환하는 컬러 공간 변환부;

상기 휘도신호에 따라 광학계를 구동하는 파라미터를 산출하는 광검출부;

상기 휘도 신호의 통계적 특성으로부터 히스토그램의 분포를 계산하는 히스토그램 계산부;

색의 균형을 맞추기 위한 색이득 곱셈부;

상기 휘도 및 색차신호의 광대역폭을 최적화시키는 광대역폭 증대부;

화질을 경계검출 연산 및 덧셈연산을 통해 화질을 개선하는 경계강조부를 포함하고, 상기 경로 제어부는 상기 영상 처리부내의 각 부의 데이터의 흐름을 제어하는 것을 특징으로 하는 카메라의 영상신호 처리장치.