KR20070038725A - 영상 처리장치 및 그 방법 - Google Patents

영상 처리장치 및 그 방법 Download PDF

Info

Publication number
KR20070038725A
KR20070038725A KR1020050093968A KR20050093968A KR20070038725A KR 20070038725 A KR20070038725 A KR 20070038725A KR 1020050093968 A KR1020050093968 A KR 1020050093968A KR 20050093968 A KR20050093968 A KR 20050093968A KR 20070038725 A KR20070038725 A KR 20070038725A
Authority
KR
South Korea
Prior art keywords
image
matrix
signal
image processing
component
Prior art date
Application number
KR1020050093968A
Other languages
English (en)
Other versions
KR100708932B1 (ko
Inventor
서만석
최원태
박근우
민경중
김강주
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020050093968A priority Critical patent/KR100708932B1/ko
Publication of KR20070038725A publication Critical patent/KR20070038725A/ko
Application granted granted Critical
Publication of KR100708932B1 publication Critical patent/KR100708932B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 처리장치 및 그 방법에 관한 것으로, 영상신호의 밝기성분과 색상성분을 병렬로 영상처리하고, 상기 밝기성분에 대해서만 필터링을 수행함에 따라 노이즈를 줄일 수 있으며, 간단한 연산과정 및 연산부를 통해서도 영상처리과정을 수행할 수 있어 영상처리시간이 빨라지고 메모리 할당량을 줄일 수 있는 이점이 있다.
본 발명에 의한 영상처리장치는, 적색과 녹색 및 청색 파장의 광신호를 투과하는 필터를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이를 포함하고 있으며, 광학적 영상신호를 전기적 영상신호로 변환하는 씨모스 이미지 센서; 상기 변환된 영상신호를 보정하는 감마 보정 신호처리부; 상기 감마 보정 신호처리부에서 보정된 영상신호 중 밝기성분을 영상처리하는 제 1 영상처리부; 상기 감마 보정 신호처리부에서 보정된 영상신호 중 색상성분을 영상처리하는 제 2 영상처리부; 상기 제 1 영상처리부에서 영상처리된 밝기성분과 상기 제 2 영상처리부에서 영상처리된 색상성분을 서밍하여 개선된 화질의 이미지를 출력하는 영상신호 서밍부;를 포함한다.
영상 처리장치, 필터, 라플라시안 필터, 필터링, 밝기성분

Description

영상 처리장치 및 그 방법{SYSTEM AND METHOD OF IMAGE PROCESSING}
도 1은 종래 기술에 의한 씨모스 이미지 센서의 컬러필터 어레이의 평면도
도 2는 종래 기술에 의한 영상 처리장치의 블록도
도 3은 본 발명에 의한 씨모스 이미지 센서의 컬러필터 어레이의 평면도
도 4는 본 발명에 의한 영상 처리장치의 블록도
도 5는 본 발명에 의한 영상 처리방법의 흐름도
도 6은 본 발명에 의한 제 1 영상 처리단계의 흐름도
도 7은 본 발명에 의한 필터링 방법을 나타낸 도면
도 8은 본 발명에 의한 필터링 단계를 나타낸 흐름도
도 9는 본 발명에 의한 제 2 영상 처리단계의 흐름도
<도면의 주요 부호에 대한 설명>
400 : 본 발명에 의한 영상 처리장치 401 : 씨모스 이미지 센서
402 : 감마 보정 신호처리부 403 : 제 1 영상처리부
403a: 밝기성분 추출부 403b: 필터
404 : 제 2 영상처리부 404a: 색상성분 추출부
404b: 스페이스 변환부 404c: 화이트 밸런스 처리부
405 : 영상신호 서밍부
본 발명은 영상 처리장치 및 그 방법에 관한 것으로, 영상신호의 밝기성분과 색상성분을 병렬로 영상처리하고, 상기 밝기성분에 대해서만 필터링을 수행함에 따라 노이즈를 줄일 수 있으며, 간단한 연산과정 및 연산부를 통해서도 영상처리과정을 수행할 수 있어 영상처리시간이 빨라지고 메모리 할당량을 줄일 수 있는 영상 처리장치 및 그 방법에 관한 것이다.
최근 반도체 기술과 DSP(Digital Signal Processing)기술 및 저장장치 기술이 발달함에 따라 이미지 관련 응용제품들이 다양하게 상용화되고 있다. 1200만 화소 해상도의 디지털 카메라의 출시가 예상되고 있으며, 출시되는 휴대폰용 카메라의 해상도도 디지털 카메라의 해상도와 거의 동일한 것이 최근의 현실이다.
지금까지 기술적 미비로 인해 저해상도(CIF급, VGA급)의 센서들이 많이 사용되었으나, 최근 사용자들이 선명한 화질을 계속 추구함에 따라 고해상도의 이미지 센서와 ISP(Image Signal Processing)의 기술 및 IC 개발이 매우 시급한 상태에 있다.
하지만, 현재 휴대폰용 카메라는 디지털 카메라에 비해 동급 화소라 할지라도 영상의 질이 낮으며, 이를 극복하기 위해서 ISP IC에 여러 가지 영상처리 기법이 많이 사용되고 있다.
이러한 ISP 기술 중에서 영상의 일그러짐을 없애거나 화질을 개선하기 위해 서는 가장 일반적으로 사용되는 방법이 바로 필터링 방법이다.
필터링은 이웃 화소들에 대해 수행된 계산이 선형적이면 선형 공간 필터링(또는 공간 컨볼루션)이라고 하고, 비선형적이라면 비선형 공간 필터링이라 한다.
일반적으로, 영상에 대한 필터링은 이미지 센서로부터 입력된 신호를 감마 보정 신호처리부에 의해 보정하기 전이나 보정한 후 또는 영상처리 후 이미지로 출력되기 직전에 이루어진다.
선형 공간 필터링은 이웃 화소들을 각각 대응되는 계수로 곱하고 그 결과들을 더해서 각 점 (x, y)에서의 응답을 얻는 필터링 방법으로써, 영상 개선에 효과가 있다.
또한, 비선형 공간 필터링은 이웃의 화소들을 포함하는 비선형 연산에 기반한 필터링 방법으로써, 영상잡음 제거에 효과가 있다.
하지만, 휴대폰용 카메라 모듈은 크기가 작고 간단하면서도 빠른 처리가 요구되므로, 휴대폰용 카메라 모듈에는 비선형 공간 필터링에 비해 연산이 비교적 간단하고 처리가 빠른 선형 공간 필터링을 사용하는 것이 통해 바람직하다.
도 1은 종래 기술에 의한 씨모스 이미지 센서의 컬러필터 어레이(100)의 평면도이며, 도 2는 종래 기술에 의한 영상 처리장치(200)의 블록도를 나타낸 것이다.
도 2에서 도시한 바와 같이, 종래 기술에 의한 영상 처리장치(200)는, 씨모스 이미지 센서(201), 감마 보정 신호처리부(202), 영상처리부(203), 화이트 밸런 스 처리부(204), 필터(205)로 구성된다.
여기서, 상기 씨모스 이미지 센서(201)는, 도 1에서 도시한 바와 같이, 적색과 녹색 및 청색 파장의 광신호를 투과하는 필터를 1 : 2 : 1 비율로 반복하여 배열한 컬러 필터 어레이(100)를 포함하고 있으며, 광학적 영상신호를 전기적 영상신호로 변환하는 기능을 수행한다.
또한, 감마 보정 신호처리부(202)는, 상기 변환된 영상신호를 보정하며, 상기 영상처리부(203)는, 상기 감마 보정 신호처리부(202)에서 보정된 영상신호를 영상처리한다.
또한, 상기 화이트 밸런스 처리부(204)는 상기 영상처리부(203)에서 영상처리된 신호를 사람의 시각에 맞추어 변환하며, 상기 스페이스 변환부(205)는 상기 화이트 밸런스 처리부(204)에서 처리된 RGB 성분을 YCbCr 성분으로 변환하는 기능을 수행한다.
또한, 상기 필터(206)는, 상기 스페이스 변환부(205)에서 변환된 성분을 필터링하여 개선된 화질의 이미지를 출력한다.
그러나, 상술한 바와 같은 종래 기술에 의한 영상 처리장치는, 영상신호의 색상성분 및 밝기성분 모두를 필터링 함에 따라 색상성분에 포함되는 노이즈가 복원되는 문제점이 있었다.
또한, 영상신호의 색상성분 및 밝기성분 모두를 필터링 함에 따라 많은 영상처리시간이 요구되며, 메모리 할당량이 증가되어 전체적인 회로의 크기가 커지는 문제점이 있었다.
따라서, 본 발명은 상기 문제점을 해결하기 위하여 이루어진 것으로, 영상신호의 밝기성분과 색상성분을 병렬로 영상처리하고, 상기 밝기성분에 대해서만 필터링을 수행함에 따라 노이즈를 줄일 수 있으며, 간단한 연산과정 및 연산부를 통해서도 영상처리과정을 수행할 수 있어 영상처리시간이 빨라지고 메모리 할당량을 줄일 수 있는 영상 처리장치 및 그 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명에 의한 영상 처리장치는, 적색(R)과 녹색(G) 및 청색(B) 파장의 광신호를 투과하는 필터를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이를 포함하고 있으며, 광학적 영상신호를 전기적 영상신호로 변환하는 씨모스 이미지 센서; 상기 변환된 영상신호를 보정하는 감마 보정 신호처리부; 상기 감마 보정 신호처리부에서 보정된 영상신호 중 밝기성분을 영상처리하는 제 1 영상처리부; 상기 감마 보정 신호처리부에서 보정된 영상신호 중 색상성분을 영상처리하는 제 2 영상처리부; 및 상기 제 1 영상처리부에서 영상처리된 밝기성분과 상기 제 2 영상처리부에서 영상처리된 색상성분을 서밍하여 개선된 화질의 이미지를 출력하는 영상신호 서밍부;를 포함한다.
여기서, 상기 제 1 영상처리부는, 상기 감마 보정 신호처리부에서 보정된 영상신호 중 밝기성분을 추출하는 밝기성분 추출부; 및 상기 추출된 밝기성분을 필터링하여 개선된 화질의 밝기성분을 출력하는 필터;를 포함하는 것을 특징으로 한다.
이때, 상기 필터는, 3 × 3 매트릭스 형태의 라플라시안 필터인 것을 특징으로 한다.
또한, 상기 라플라시안 필터는, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -4이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 1인 것을 특징으로 한다.
또한, 상기 라플라시안 필터는, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -8이며, 상기 매트릭스의 나머지 계수는 모두 1인 것을 특징으로 한다.
아울러, 상기 라플라시안 필터는, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -2이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 0.5인 것을 특징으로 한다.
한편, 상기 제 2 영상처리부는, 상기 감마 보정 신호처리부에서 보정된 영상신호 중 색상성분을 추출하는 색상성분 추출부; 상기 추출된 색상성분의 RGB 성분을 YCbCr 성분으로 변환하는 스페이스 변환부; 및 상기 스페이스 변환부에서 변환된 YCbCr 성분을 사람의 시각에 맞추어 변환하는 화이트 밸런스 처리부;를 포함하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명에 의한 영상 처리방법은, 광학적 영상신호를 전기적 영상신호로 변환하는 신호 변환단계; 상기 변환된 영상신호를 보정하는 보정단계; 상기 보정된 영상신호 중 밝기성분을 영상처리하는 제 1 영상 처리단계; 상기 보정된 영상신호 중 색상성분을 영상처리하는 제 2 영상 처리단계; 및 상기 제 1 영상 처리단계에서 영상처리된 밝기성분과 상기 제 2 영상 처리단계에서 영상처리된 색상성분을 서밍하여 개선된 화질의 이미지를 출력하는 영상신호 서밍단계;를 포함한다.
여기서, 상기 신호 변환단계는, 적색(R)과 녹색(G) 및 청색(B) 파장의 광신호를 투과하는 필터를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이를 포함하고 있는 씨모스 이미지 센서를 사용하여 수행하는 것을 특징으로 한다.
또한, 상기 제 1 영상 처리단계는, 상기 보정된 영상신호 중 밝기성분을 추출하는 밝기성분 추출단계; 및 상기 추출된 밝기성분을 필터링하는 필터링 단계;를 포함하는 것을 특징으로 한다.
이때, 상기 필터링 단계는, 상기 추출된 밝기성분을 필터를 사용하여 컨볼루션하는 컨볼루션 단계; 및 상기 추출된 밝기성분에서 상기 컨볼루션된 밝기성분을 차감하여 개선된 화질의 밝기성분을 출력하는 필터링 완성단계;를 포함하는 것을 특징으로 한다.
또한, 상기 필터링 단계는, 3 × 3 매트릭스 형태의 라플라시안 필터를 사용하여 수행하는 것을 특징으로 한다.
이때, 상기 필터링 단계는, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수) 의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -4이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 1인 라플라시안 필터를 사용하여 수행하는 것을 특징으로 한다.
또한, 상기 필터링 단계는, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -8이며, 상기 매트릭스의 나머지 계수는 모두 1인 라플라시안 필터를 사용하여 수행하는 것을 특징으로 한다.
아울러, 상기 필터링 단계는, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -2이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 0.5인 라플라시안 필터를 사용하여 수행하는 것을 특징으로 한다.
한편, 상기 제 2 영상 처리단계는, 상기 보정된 영상신호 중 색상성분을 추출하는 색상성분 추출단계; 상기 추출된 색상성분의 RGB 성분을 YCbCr 성분으로 변환하는 스페이스 변환단계; 및 상기 변환된 YCbCr 성분을 사람의 시각에 맞추어 변환하는 화이트 밸런스 처리단계;를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 바람직한 실시예에 대하여 상세히 설명하기로 한다.
도 3은 본 발명에 의한 씨모스 이미지 센서의 컬러필터 어레이(300)의 평면도이며, 도 4는 본 발명에 의한 영상 처리장치(400)의 블록도를 나타낸 것이다.
도 4에서 도시한 바와 같이, 본 발명에 의한 영상 처리장치(400)는, 씨모스 이미지 센서(401), 감마 보정 신호처리부(402), 제 1 영상처리부(403), 제 2 영상처리부(404), 영상신호 서밍부(405)로 구성된다.
여기서, 상기 씨모스 이미지 센서(401)는, 도 3에서 도시한 바와 같이, 적색(R)과 녹색(G) 및 청색(B) 파장의 광신호를 투과하는 필터(301, 302, 303)를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이(300)를 포함하고 있으며, 광학적 영상신호를 전기적 영상신호로 변환하는 기능을 수행한다.
또한, 감마 보정 신호처리부(402)는, 상기 변환된 영상신호를 보정하며, 상기 제 1 영상처리부(403)는, 밝기성분 추출부(403a) 및 필터(403b)로 구성되어 상기 감마 보정 신호처리부(402)에서 보정된 영상신호 중 밝기성분을 영상처리한다.
여기서, 밝기성분이란 영상신호를 구성하는 RGB 성분 중 G성분을 의미하며, 상기 RGB 성분이 YCbCr 성분으로 변환되었을 경우에는 Y성분이 밝기성분이 된다.
또한, 상기 밝기성분 추출부(403a)는 상기 감마 보정 신호처리부(402)에서 보정된 영상신호 중 밝기성분을 추출하고, 상기 필터(403b)는 상기 추출된 밝기성분을 필터링하여 개선된 화질의 밝기성분을 출력한다.
여기서, 상기 필터(403b)는, 3 × 3 매트릭스 형태의 라플라시안 필터를 사용하는데, 다음에 설명하는 수학식 1을 통하여 일반적인 라플라시안 필터를 구할 수 있다.
Figure 112005056566894-PAT00001
상기 수학식 1에서 언급한 x, y에 대한 2차 미분항은 다음에 설명하는 수학식 2 및 수학식 3으로 근사화시켜 표현할 수 있다.
Figure 112005056566894-PAT00002
Figure 112005056566894-PAT00003
따라서, 상기 수학식 1은 상기 수학식 2 및 수학식 3을 이용하여 다음에 설명하는 수학식 4로 근사화시켜 나타낼 수 있다.
Figure 112005056566894-PAT00004
상기 수학식 4를 이용하여 영상을 매트릭스 형태의 라플라시안 필터와 컨볼루션 시킴으로써, 보다 개선된 영상을 모든 점(x, y)에서 구현할 수 있는데, 이때, 모든 점(x, y)에서의 개선된 영상은 다음에 설명하는 수학식 5에 근거한다.
Figure 112005056566894-PAT00005
여기서, f(x, y)는 입력 영상, g(x, y)는 개선된 영상, c는 매트릭스 중앙 계수가 양이면 1, 음이면 -1이다.
또한, 라플라시안 연산은 미분 연산자이므로 영상을 날카롭게 만든다. 그러나, 일정 영역을 0으로 만들기 때문에 오리지널 영상과 서밍하는 경우, 그레이 레벨 명암을 복원할 수 있다.
매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 라플라시안 연산을 이용한 라플라시안 필터(403b)에는 다음의 수학식 6, 수학식 7, 수학식 8에서 설명하는 매트릭스들이 사용된다.
Figure 112005056566894-PAT00006
Figure 112005056566894-PAT00007
Figure 112005056566894-PAT00008
상기 수학식 6, 7, 8에서 나타난 바와 같이, a22는 -4이고, a11, a13, a31, a33은 0이며, a12, a21, a23, a32는 1인 매트릭스와, a22는 -8이고, 나머지 계수는 모두 1 매트릭스 및 a22는 -2이고, a11, a13, a31, a33은 0이며, a12, a21, a23, a32는 0.5인 매트릭스들이 사용된다.
이때, 상기 수학식 8에서 설명하는 매트릭스의 a22 (중앙 계수)는 상기 수학식 6 및 수학식 7에서 설명하는 매트릭스의 a22 (중앙 계수)에 비해 그 크기가 작음을 알 수 있다. 이에 따라, 상기 수학식 8에서 설명하는 매트릭스를 사용할 경우, 상기 수학식 6 및 수학식 7에서 설명하는 매트릭스를 사용할 때보다 복원되는 노이즈를 줄일 수 있으므로, 상기 수학식 8에서 설명하는 매트릭스를 사용하는 것이 바람직하다.
한편, 상기 제 2 영상처리부(404)는, 색상성분 추출부(404a), 스페이스 변환부(404b), 화이트 밸런스 처리부(404c)로 구성되어 상기 감마 보정 신호처리부(402)에서 보정된 영상신호 중 색상성분을 영상처리한다.
이때, 상기 색상성분 추출부(404a)는 상기 감마 보정 신호처리부(402)에서 보정된 영상신호 중 색상성분을 추출하고, 상기 스페이스 변환부(404b)는 상기 추출된 색상성분의 RGB 성분을 YCbCr 성분으로 변환하며, 상기 화이트 밸런스 처리부(404c)는 상기 스페이스 변환부(404b)에서 변환된 YCbCr 성분을 사람의 시각에 맞추어 변환하는 기능을 수행한다.
또한, 영상신호 서밍부(405)는, 상기 제 1 영상처리부(403)에서 영상처리된 밝기성분과 상기 제 2 영상처리부(404)에서 영상처리된 색상성분을 서밍하여 보다 개선된 화질의 영상이미지를 출력한다.
상기와 같은 구성을 가지는 영상 처리장치(400)는, 상기 밝기성분에 대해서만 필터링을 수행하므로 색상성분을 필터링 함으로써 복원되는 노이즈를 줄일 수 있게 된다. 특히, 상기 영상신호 중 R성분에 노이즈가 많이 포함되어 있어 색상성분을 필터링하는 경우 복원되는 노이즈도 증가하게 되므로, 본 발명은 색상성분이 아닌 밝기성분에 대해서만 필터링을 수행하게 함으로써 복원되는 노이즈를 줄일 수 있는 이점을 가지게 된다.
또한, 상기 제 1 영상처리부(403)와 제 2 영상처리부(404)에서 영상신호의 밝기성분과 색상성분을 병렬로 영상처리하고, 상기 밝기성분에 대해서만 필터링을 수행하므로 간단한 연산과정 및 연산부를 통해서도 영상처리과정을 수행할 수 있어 영상처리시간이 빨라질 수 있을 뿐 아니라 메모리 할당량을 줄일 수 있는 이점이 있다.
한편, 도 5는 본 발명에 의한 영상 처리방법의 흐름도를 나타내고, 도 6은 본 발명에 의한 제 1 영상 처리단계(S530)의 흐름도를 나타내며, 도 7은 본 발명에 의한 필터링 방법을 나타낸 도면이고, 도 8은 본 발명에 의한 필터링 단계(S532)를 나타낸 흐름도이며, 도 9는 본 발명에 의한 제 2 영상 처리단계(S540)의 흐름도를 나타낸다.
도 5에서 도시한 바와 같이, 본 발명에 의한 영상 처리방법은 크게 5단계로 나누어 볼 수 있다.
먼저, 광학적 영상신호를 전기적 영상신호로 변환한다(S510).
이때, S510 단계는, 적색(R)과 녹색(G) 및 청색(B) 파장의 광신호를 투과하는 필터를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이를 포함하고 있는 씨모스 이미지 센서를 사용하여 수행된다.
그 다음, 상기 변환된 영상신호를 보정한다(S520).
한편, 상기 보정된 영상신호 중 밝기성분을 영상처리한다(S530).
여기서, 도 6에서 도시한 바와 같이, 상기 S530 단계는, 크게 2단계로 나누어 볼 수 있다.
먼저, 상기 보정된 영상신호 중 밝기성분을 추출한다(S531).
그 다음, 상기 S530 단계의 마지막 단계로, 상기 추출된 밝기성분을 필터링한다(S532).
이때, 도 7 및 도 8에서 도시한 바와 같이, 상기 S532 단계도 크게 2단계로 나누어 볼 수 있다.
먼저, 상기 추출된 밝기성분(700)을 필터(701)를 사용하여 컨볼루션(702)한다(S532a).
이때, 상기 S532a 단계는, 3 × 3 매트릭스 형태의 라플라시안 필터를 사용하여 수행되며, 상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, a22는 -4이고, a11, a13, a31, a33은 0이며, a12, a21, a23, a32는 1인 매트릭스 형태의 라플라시안 필터나, a22는 -8이고, 나머지 계수는 모두 1인 매트릭스 형태의 라플라시안 필터 또는 a22는 -2이고, a11, a13, a31, a33은 0이며, a12, a21, a23, a32는 0.5인 매트릭스 형태의 라플라시안 필터를 사용할 수 있다.
그 다음, 상기 S532 단계의 마지막 단계로, 상기 추출된 밝기성분(700)에서 상기 컨볼루션(702)된 밝기성분을 차감(703)하여 개선된 화질의 밝기성분(704)을 출력한다(S532b).
한편, 상기 S530 단계 다음으로, 상기 보정된 영상신호 중 색상성분을 영상처리한다(S540).
이때, 도 9에서 도시한 바와 같이, 상기 540 단계는, 크게 3단계로 나누어 볼 수 있다.
먼저, 상기 보정된 영상신호 중 색상성분을 추출한다(S541).
그 다음, 상기 추출된 색상성분의 RGB 성분을 YCbCr 성분으로 변환한다(S542).
그 다음, 상기 540 단계의 마지막 단계로, 상기 변환된 YCbCr 성분을 사람의 시각에 맞추어 변환한다(S543).
한편, 상기 540 단계 다음으로, 상기 S530 단계에서 영상처리된 밝기성분과 상기 S540 단계에서 영상처리된 색상성분을 서밍하여 개선된 화질의 이미지를 출력한다(S550).
이상에서 설명한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능할 것이며, 이러한 치환, 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
상술한 바와 같이, 본 발명에 따른 영상 처리장치 및 그 방법은, 밝기성분에 대해서만 필터링을 수행함에 따라 색상성분을 필터링 함으로써 복원되는 노이즈를 줄일 수 있는 효과가 있다.
또한, 영상신호의 밝기성분과 색상성분을 병렬로 영상처리하고, 상기 밝기성분에 대해서만 필터링을 수행함에 따라 간단한 연산과정 및 연산부를 통해서도 영상처리과정을 수행할 수 있으므로 영상처리시간이 빨라지는 효과가 있다.
아울러, 영상신호의 밝기성분과 색상성분을 병렬로 영상처리하고, 상기 밝기성분에 대해서만 필터링을 수행함에 따라 메모리 할당량을 줄일 수 있는 효과가 있다.

Claims (16)

  1. 적색(R)과 녹색(G) 및 청색(B) 파장의 광신호를 투과하는 필터를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이를 포함하고 있으며, 광학적 영상신호를 전기적 영상신호로 변환하는 씨모스 이미지 센서;
    상기 변환된 영상신호를 보정하는 감마 보정 신호처리부;
    상기 감마 보정 신호처리부에서 보정된 영상신호 중 밝기성분을 영상처리하는 제 1 영상처리부;
    상기 감마 보정 신호처리부에서 보정된 영상신호 중 색상성분을 영상처리하는 제 2 영상처리부; 및
    상기 제 1 영상처리부에서 영상처리된 밝기성분과 상기 제 2 영상처리부에서 영상처리된 색상성분을 서밍하여 개선된 화질의 이미지를 출력하는 영상신호 서밍부;를 포함하는 영상 처리장치.
  2. 제 1항에 있어서, 상기 제 1 영상처리부는,
    상기 감마 보정 신호처리부에서 보정된 영상신호 중 밝기성분을 추출하는 밝기성분 추출부; 및
    상기 추출된 밝기성분을 필터링하여 개선된 화질의 밝기성분을 출력하는 필터;를 포함하는 것을 특징으로 하는 영상 처리장치.
  3. 제 2항에 있어서, 상기 필터는,
    3 × 3 매트릭스 형태의 라플라시안 필터인 것을 특징으로 하는 영상 처리장치.
  4. 제 3항에 있어서, 상기 라플라시안 필터는,
    상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -4이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 1인 것을 특징으로 하는 영상 처리장치.
  5. 제 3항에 있어서, 상기 라플라시안 필터는,
    상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -8이며, 상기 매트릭스의 나머지 계수는 모두 1인 것을 특징으로 하는 영상 처리장치.
  6. 제 3항에 있어서, 상기 라플라시안 필터는,
    상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -2이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 0.5인 것을 특징으로 하는 영상 처리장치.
  7. 제 1항에 있어서, 상기 제 2 영상처리부는,
    상기 감마 보정 신호처리부에서 보정된 영상신호 중 색상성분을 추출하는 색상성분 추출부;
    상기 추출된 색상성분의 RGB 성분을 YCbCr 성분으로 변환하는 스페이스 변환부; 및
    상기 스페이스 변환부에서 변환된 YCbCr 성분을 사람의 시각에 맞추어 변환하는 화이트 밸런스 처리부;를 포함하는 것을 특징으로 하는 영상 처리장치.
  8. 광학적 영상신호를 전기적 영상신호로 변환하는 신호 변환단계;
    상기 변환된 영상신호를 보정하는 보정단계;
    상기 보정된 영상신호 중 밝기성분을 영상처리하는 제 1 영상 처리단계;
    상기 보정된 영상신호 중 색상성분을 영상처리하는 제 2 영상 처리단계; 및
    상기 제 1 영상 처리단계에서 영상처리된 밝기성분과 상기 제 2 영상 처리단계에서 영상처리된 색상성분을 서밍하여 개선된 화질의 이미지를 출력하는 영상신호 서밍단계;를 포함하는 영상 처리방법.
  9. 제 8항에 있어서, 상기 신호 변환단계는,
    적색(R)과 녹색(G) 및 청색(B) 파장의 광신호를 투과하는 필터를 1 : 1 : 1 비율로 겹쳐서 배열한 컬러 필터 어레이를 포함하고 있는 씨모스 이미지 센서를 사 용하여 수행하는 것을 특징으로 하는 영상 처리방법.
  10. 제 8항에 있어서, 상기 제 1 영상 처리단계는,
    상기 보정된 영상신호 중 밝기성분을 추출하는 밝기성분 추출단계; 및
    상기 추출된 밝기성분을 필터링하는 필터링 단계;를 포함하는 것을 특징으로 하는 영상 처리방법.
  11. 제 10항에 있어서, 상기 필터링 단계는,
    상기 추출된 밝기성분을 필터를 사용하여 컨볼루션하는 컨볼루션 단계; 및
    상기 추출된 밝기성분에서 상기 컨볼루션된 밝기성분을 차감하여 개선된 화질의 밝기성분을 출력하는 필터링 완성단계;를 포함하는 것을 특징으로 하는 영상 처리방법.
  12. 제 11항에 있어서, 상기 필터링 단계는,
    3 × 3 매트릭스 형태의 라플라시안 필터를 사용하여 수행하는 것을 특징으로 하는 영상 처리방법.
  13. 제 12항에 있어서, 상기 필터링 단계는,
    상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -4이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 1인 라플라시안 필터를 사용하여 수행하는 것을 특징으로 하는 영상 처리방법.
  14. 제 12항에 있어서, 상기 필터링 단계는,
    상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -8이며, 상기 매트릭스의 나머지 계수는 모두 1인 라플라시안 필터를 사용하여 수행하는 것을 특징으로 하는 영상 처리방법.
  15. 제 12항에 있어서, 상기 필터링 단계는,
    상기 매트릭스의 m행 n열(m, n : 3 이하의 양수)의 계수를 amn이라 할 때, 상기 매트릭스의 a22는 -2이고, 상기 매트릭스의 a11, a13, a31, a33은 0이며, 상기 매트릭스의 a12, a21, a23, a32는 0.5인 라플라시안 필터를 사용하여 수행하는 것을 특징으로 하는 영상 처리방법.
  16. 제 8항에 있어서, 상기 제 2 영상 처리단계는,
    상기 보정된 영상신호 중 색상성분을 추출하는 색상성분 추출단계;
    상기 추출된 색상성분의 RGB 성분을 YCbCr 성분으로 변환하는 스페이스 변환 단계; 및
    상기 변환된 YCbCr 성분을 사람의 시각에 맞추어 변환하는 화이트 밸런스 처리단계;를 포함하는 것을 특징으로 하는 영상 처리방법.
KR1020050093968A 2005-10-06 2005-10-06 영상 처리장치 및 그 방법 KR100708932B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050093968A KR100708932B1 (ko) 2005-10-06 2005-10-06 영상 처리장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050093968A KR100708932B1 (ko) 2005-10-06 2005-10-06 영상 처리장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20070038725A true KR20070038725A (ko) 2007-04-11
KR100708932B1 KR100708932B1 (ko) 2007-04-17

Family

ID=38159924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050093968A KR100708932B1 (ko) 2005-10-06 2005-10-06 영상 처리장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100708932B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101316231B1 (ko) * 2011-07-26 2013-10-08 엘지이노텍 주식회사 다중 영상 처리 장치
US9310302B2 (en) 2009-10-12 2016-04-12 Ventana Medical Systems, Inc. Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0488787A (ja) * 1990-07-31 1992-03-23 Canon Inc 撮像信号処理装置
JPH04140992A (ja) * 1990-10-02 1992-05-14 Canon Inc 撮像装置
JPH07143509A (ja) * 1993-11-19 1995-06-02 Fuji Photo Film Co Ltd ビデオカメラのクロマノイズ抑制方法
KR100712467B1 (ko) * 2000-03-09 2007-04-27 삼성테크윈 주식회사 영상의 색잡음 제거 장치
KR100417876B1 (ko) * 2002-03-11 2004-02-11 한성엘컴텍 주식회사 이미지 센서의 화질개선장치
KR100459422B1 (ko) * 2003-03-11 2004-12-03 엘지전자 주식회사 카메라 결합형 이동통신 단말기의 화질 보정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310302B2 (en) 2009-10-12 2016-04-12 Ventana Medical Systems, Inc. Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
KR101316231B1 (ko) * 2011-07-26 2013-10-08 엘지이노텍 주식회사 다중 영상 처리 장치

Also Published As

Publication number Publication date
KR100708932B1 (ko) 2007-04-17

Similar Documents

Publication Publication Date Title
US11625815B2 (en) Image processor and method
TWI407800B (zh) 馬賽克影像的改良處理
KR100647402B1 (ko) 이미지 센서의 화질개선장치 및 그 방법
JP4977395B2 (ja) 画像処理装置及び方法
CN101009851B (zh) 一种图像处理方法及其装置
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
JP4290193B2 (ja) 画像処理装置
EP2162863B1 (en) Non-linear transformations for enhancement of images
US8086032B2 (en) Image processing device, image processing method, and image pickup apparatus
EP1919188A2 (en) Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method
KR100548611B1 (ko) 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
US20040051794A1 (en) Filter process
CN102377911B (zh) 图像处理装置、图像处理方法及摄像机模组
JP5514042B2 (ja) 撮像モジュール、画像信号処理方法および撮像装置
CN113891054B (zh) 高效灵活的色彩处理器
US20220210351A1 (en) Image sensing device and operating method thereof
US8385671B1 (en) Digital camera and method
KR100708932B1 (ko) 영상 처리장치 및 그 방법
CN112308785A (zh) 图像去噪方法、存储介质及终端设备
KR100989760B1 (ko) 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체
US8223231B2 (en) Imaging apparatus and image processing program
KR101437911B1 (ko) 다이나믹 영역 확장 방법 및 장치
US20080007637A1 (en) Image sensor that provides compressed data based on junction area
JP2003348382A (ja) 輪郭強調回路
JP4596069B2 (ja) ノイズ除去フィルタ処理回路、画像処理回路、撮像装置及びノイズ除去プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee