KR20130088711A - 화상 처리 장치, 화상 처리 방법 및 카메라 모듈 - Google Patents

화상 처리 장치, 화상 처리 방법 및 카메라 모듈 Download PDF

Info

Publication number
KR20130088711A
KR20130088711A KR1020120096037A KR20120096037A KR20130088711A KR 20130088711 A KR20130088711 A KR 20130088711A KR 1020120096037 A KR1020120096037 A KR 1020120096037A KR 20120096037 A KR20120096037 A KR 20120096037A KR 20130088711 A KR20130088711 A KR 20130088711A
Authority
KR
South Korea
Prior art keywords
signal
unit
level
image
amplitude
Prior art date
Application number
KR1020120096037A
Other languages
English (en)
Other versions
KR101353863B1 (ko
Inventor
시로시 가네미쯔
다까아끼 가와까미
가즈히로 다부찌
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20130088711A publication Critical patent/KR20130088711A/ko
Application granted granted Critical
Publication of KR101353863B1 publication Critical patent/KR101353863B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명의 실시 형태에 따르면, 화상 처리 장치는 에지 강조부 및 휘도 레벨 판정부를 갖는다. 에지 강조부는, 노이즈 캔슬 처리 및 진폭 제한 처리를 거친 추출 데이터를 휘도 신호에 가산함으로써, 에지 강조 처리를 실시한다. 휘도 레벨 판정부는, 휘도 신호의 신호 레벨의 고저를 판정한다. 에지 강조부는, 휘도 신호에 가산하는 추출 데이터의 신호 레벨을, 휘도 레벨 판정부에서의 판정 결과에 따라서 조정한다.

Description

화상 처리 장치, 화상 처리 방법 및 카메라 모듈{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND CAMERA MODULE}
<관련 출원>
본 출원은, 2012년 1월 31일에 출원된 일본 특허 출원 번호 제2012-018122호의 우선권의 이익을 향수하고, 그 일본 특허 출원의 전체 내용은 본 출원에 있어서 원용된다.
본 실시 형태는 일반적으로 화상 처리 장치, 화상 처리 방법 및 카메라 모듈에 관한 것이다.
최근 들어, 휴대 단말기에 탑재되는 카메라 모듈은, 저비용화나 박형화를 위해서, 렌즈 매수의 삭감이나, MTF(modulation transfer function) 특성이 낮은 렌즈의 채용이 이루어지고 있다. MTF가 낮은 것에 의한, 핀트 맞춤의 불충분함을 커버하기 위해서는, 예를 들어 디지털 신호 처리에 의한 에지의 보정(에지 강조 처리)이 실시된다. 에지 강조 처리는, 일반적으로, 대역 통과 필터(BPF)에서 추출된 소정 대역의 에지 성분에 소정의 처리를 실시하고, 에지 부분에 오버 슈트 혹은 언더 슈트를 부가함으로써 행해지고 있다.
특히, 신호 대 노이즈비(SNR)가 낮은 화상에 있어서는, 에지 성분과 함께 노이즈 성분이 추출되어, 에지 부분에 가산됨으로써, 얻어지는 화상의 SNR이 더 악화하는 경우가 있다. SNR의 악화에 대해서는, 추출된 에지 성분에 대한 노이즈 캔슬 기능을 부가함으로써 대응이 이루어지고 있다. 노이즈 캔슬 기능은, 노이즈 성분뿐만 아니라 에지 성분도 감소시키는 일이 있다. 그때문에, 노이즈 캔슬 기능의 적용에 의해, 해상도가 원하는 레벨보다도 저하하는 경우가 있다.
에지 성분의 진폭은 명부에서 크고, 암부에서 작아지는 점으로 인해, 필요로 하는 에지 강조의 레벨은 명암에 의해 변화한다. 명부와 암부를 겸비하는 화상에서는, 에지 강조 처리는, 명부에서는 강하게 하고, 암부에서는 약하게 하는 것이 요망된다. 또한, 명부의 에지에 대해서는, 에지 강조 레벨의 밸런스를 유지하기 위해서, 에지 강조를 원하는 레벨로 클립하는 진폭 제한 처리가 실시된다.
에지 강조 레벨의 밸런스를 우선시하는 경우, 에지 강조의 제한으로 하는 레벨을 낮게 설정함으로써, 에지 강조가 불충분해진다. 이것에 대해서는, 진폭 제한 처리 후의 에지 성분에 게인을 곱함으로써 에지 강조의 레벨을 끌어올리는 조치를 취할 수 있다. 이 경우, 암부로부터 추출된 에지 성분에 포함되는 노이즈도 증폭되게 된다. 이에 반해, 에지 강조의 제한으로 하는 레벨을 높게 설정하면, 에지에 있어서 레벨의 균형이 깨지게 된다. 이와 같이, 종래 기술에 의하면, 효과적인 에지 강조와 노이즈의 억제를 위한 조정이 곤란한 것이 문제가 된다.
본 발명이 해결하고자 하는 과제는, 효과적인 에지 강조와 노이즈의 억제를 가능하게 하는 화상 처리 장치, 화상 처리 방법 및 카메라 모듈을 제공하는 것이다.
실시 형태의 화상 처리 장치는, 피사체상의 촬상에 의해 취득된 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시하는 데이터 추출부와, 상기 데이터 추출부에서 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시하는 노이즈 캔슬부와, 상기 추출 데이터에 대해서, 진폭 제한 처리를 실시하는 진폭 제한부와, 상기 화상 신호로부터 얻어진 휘도 신호에, 상기 노이즈 캔슬 처리 및 상기 진폭 제한 처리를 거친 상기 추출 데이터를 가산함으로써, 상기 휘도 신호에 대해서 에지 강조 처리를 실시하는 에지 강조부와, 상기 휘도 신호의 신호 레벨의 고저를 판정하는 휘도 레벨 판정부를 갖고,
상기 에지 강조부는, 상기 휘도 신호에 가산하는 상기 추출 데이터의 신호 레벨을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는 것을 특징으로 한다.
다른 실시 형태의 화상 처리 방법은, 피사체상의 촬상에 의해 취득된 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시하고, 상기 데이터 추출에 의해 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시하고, 상기 추출 데이터에 대해서, 진폭 제한 처리를 실시하고,
상기 화상 신호로부터 얻어진 휘도 신호에, 상기 노이즈 캔슬 처리 및 상기 진폭 제한 처리를 거친 상기 추출 데이터를 가산함으로써, 상기 휘도 신호에 대해서 에지 강조 처리를 실시하고, 상기 휘도 신호의 신호 레벨의 고저를 판정하는 휘도 레벨 판정을 실시하는 것을 포함하고,
상기 에지 강조 처리에 있어서 상기 휘도 신호에 가산하는 상기 추출 데이터의 신호 레벨을, 상기 휘도 레벨 판정의 결과에 따라서 조정하는 것을 특징으로 한다.
또한, 다른 실시 형태의 카메라 모듈은, 피사체로부터의 광을 도입하고, 피사체상을 결상시키는 렌즈 유닛과, 상기 피사체상을 촬상하고, 화상 신호를 생성하는 이미지 센서와, 상기 화상 신호의 신호 처리를 실시하는 화상 처리 장치를 갖고,
상기 화상 처리 장치는, 상기 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시하는 데이터 추출부와, 상기 데이터 추출부에서 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시하는 노이즈 캔슬부와, 상기 추출 데이터에 대해서, 진폭 제한 처리를 실시하는 진폭 제한부와, 상기 화상 신호로부터 얻어진 휘도 신호에, 상기 노이즈 캔슬 처리 및 상기 진폭 제한 처리를 거친 상기 추출 데이터를 가산함으로써, 상기 휘도 신호에 대해서 에지 강조 처리를 실시하는 에지 강조부와, 상기 휘도 신호의 신호 레벨의 고저를 판정하는 휘도 레벨 판정부를 갖고,
상기 에지 강조부는, 상기 휘도 신호에 가산하는 상기 추출 데이터의 신호 레벨을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는 것을 특징으로 한다.
상기 구성의 화상 처리 장치, 화상 처리 방법 및 카메라 모듈에 의하면, 효과적인 에지 강조와 노이즈의 억제가 가능하다.
도 1은, 제1 실시 형태에 따른 화상 처리 장치인 DSP의 개략 구성을 도시하는 블록도다.
도 2는, 도 1에 도시하는 DSP를 구비하는 카메라 모듈의 개략 구성을 도시하는 블록도다.
도 3은, 도 2에 도시하는 카메라 모듈을 구비하는 디지털 카메라의 개략 구성을 도시하는 블록도다.
도 4는, 에지 추출부의 구성을 도시하는 블록도다.
도 5부터 도 10은, 에지 추출부에 의한 에지 추출의 개요를 설명하는 도면이다.
도 11은, 에지 강조부의 구성을 도시하는 블록도다.
도 12는, 에지 강조부에 있어서 가산되는 추출 데이터의 신호 레벨의 조정에 대해서 설명하는 도면이다.
도 13은, 추출 데이터의 조정을 위한 계수를, 아날로그 게인에 연동해서 변화시키는 예를 설명하는 도면이다.
도 14는, 제2 실시 형태에 따른 화상 처리 장치인 DSP의 개략 구성을 도시하는 블록도다.
도 15는, 도 14에 도시하는 DSP에 포함되는 에지 추출부 및 에지 강조부의 구성을 도시하는 블록도다.
도 16은, 제3 실시 형태에 따른 화상 처리 장치인 DSP 중, 에지 추출부 및 에지 강조부의 구성을 도시하는 블록도다.
실시 형태에 따르면, 화상 처리 장치는 데이터 추출부, 노이즈 캔슬부, 진폭 제한부, 에지 강조부 및 휘도 레벨 판정부를 갖는다. 데이터 추출부는 피사체상의 촬상에 의해 취득된 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시한다. 노이즈 캔슬부는 데이터 추출부에서 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시한다. 진폭 제한부는 추출 데이터에 대해서 진폭 제한 처리를 실시한다. 에지 강조부는, 화상 신호로부터 얻어진 휘도 신호에, 노이즈 캔슬 처리 및 진폭 제한 처리를 거친 추출 데이터를 가산함으로써, 휘도 신호에 대해서 에지 강조 처리를 실시한다. 휘도 레벨 판정부는, 휘도 신호의 신호 레벨의 고저를 판정한다. 에지 강조부는, 휘도 신호에 가산하는 추출 데이터의 신호 레벨을, 휘도 레벨 판정부에서의 판정 결과에 따라서 조정한다.
이하에 첨부 도면을 참조하여, 실시 형태에 따른 화상 처리 장치, 화상 처리 방법 및 카메라 모듈을 상세하게 설명한다. 또한, 이들 실시 형태에 의해 본 발명이 한정되는 것은 아니다.
도 1은, 제1 실시 형태에 따른 화상 처리 장치인 디지털 시그널 프로세서(digital signal processor; DSP)의 개략 구성을 도시하는 블록도다. 도 2는, 도 1에 도시하는 DSP를 구비하는 카메라 모듈의 개략 구성을 도시하는 블록도다. 도 3은, 도 2에 도시하는 카메라 모듈을 구비하는 디지털 카메라의 개략 구성을 도시하는 블록도다. 카메라 모듈(2)은, 디지털 카메라(1) 이외에는, 예를 들어 카메라 달린 핸드폰 단말기 등의 전자 기기에서 사용된다.
디지털 카메라(1)는, 카메라 모듈(2), 기억부(3) 및 표시부(4)를 갖는다. 카메라 모듈(2)은, 피사체상을 촬상한다. 기억부(3)는 카메라 모듈(2)에 의해 촬영된 화상을 저장한다. 표시부(4)는, 카메라 모듈(2)에 의해 촬영된 화상을 표시한다. 표시부(4)는, 예를 들어 액정 디스플레이다.
카메라 모듈(2)은, 피사체상의 촬상에 의해, 기억부(3) 및 표시부(4)에 화상 신호를 출력한다. 기억부(3)는 유저의 조작 등에 따라, 표시부(4)에 화상 신호를 출력한다. 표시부(4)는 카메라 모듈(2) 혹은 기억부(3)로부터 입력되는 화상 신호에 따라, 화상을 표시한다.
카메라 모듈(2)은 렌즈 유닛(11), 이미지 센서(12), 아날로그/디지털 변환기(analog to digital converter; ADC)(13) 및 DSP(14)를 갖는다. 렌즈 유닛(11)은, 피사체로부터의 광을 도입하여, 이미지 센서(12)로 피사체상을 결상시킨다. 이미지 센서(12)는, 렌즈 유닛(11)에 의해 도입된 광을 신호 전하로 변환하고, 피사체상을 촬상한다.
이미지 센서(12)는 R(적색), G(녹색), B(청색)의 신호값을 베이어 배열에 대응하는 순서로 도입함으로써, 아날로그 화상 신호를 생성한다. ADC(13)는, 이미지 센서(12)로부터의 화상 신호를 아날로그 방식에서 디지털 방식으로 변환한다. DSP(14)는 ADC(13)로부터의 디지털 화상 신호에 대하여 다양한 화상 처리를 실시한다.
라인 메모리(20)는 ADC(13)로부터 DSP(14)에 입력된 디지털 화상 신호를 일시적으로 저장한다. 흠집 보정부(21) 및 노이즈 캔슬부(22)는 라인 메모리(20)를 공용한다. 흠집 보정부(21)는 라인 메모리(20)로부터의 디지털 화상 신호에 대하여 흠집 보정을 실시한다. 흠집 보정부(21)는 이미지 센서(12)에 있어서 정상적으로 기능하지 않는 화소에 의한 디지털 화상 신호의 결손 부분(흠집)을 보정한다. 노이즈 캔슬부(22)는 노이즈를 저감시키기 위한 노이즈 캔슬 처리를 실시한다. 쉐이딩 보정부(28)는 피사체상의 쉐이딩 보정을 실시하기 위한 쉐이딩 보정 계수를 산출한다.
디지털 증폭기(AMP) 회로(23)는 후술하는 AWB/AE 연산부(27)에서 산출된 계수와, 쉐이딩 보정부(28)에서 산출된 쉐이딩 보정 계수를 기초로 해서 디지털 AMP 계수를 산출한다. 또한, 디지털 AMP 회로(23)는, 흠집 보정부(21) 및 노이즈 캔슬부(22)에서의 처리를 거친 디지털 화상 신호에, 디지털 AMP 계수를 승산한다.
라인 메모리(24)는 디지털 AMP 계수가 승산된 디지털 화상 신호를 일시적으로 저장한다. 화소 보간부(25)는 라인 메모리(24)로부터 베이어 배열의 순서로 전달되어 오는 디지털 화상 신호의 보간 처리(디모자이크 처리)에 의해, RGB의 신호(감도 신호)를 생성한다. 컬러 매트릭스부(26)는 RGB의 감도 신호에 대하여, 색 재현성을 얻기 위한 컬러 매트릭스 연산 처리(색 재현성 처리)를 실시한다. AWB/AE 연산부(27)는 자동 화이트 밸런스(auto white balance; AWB) 조정, 자동 노출(auto exposure; AE) 조정을 위한 각 계수를, RGB의 감도 신호로부터 산출한다.
감마 보정부(30)는 RGB의 감도 신호에 대하여, 화상의 계조를 보정하기 위한 감마 보정을 실시한다. YUV 변환부(31)는 RGB의 감도 신호로부터 휘도(Y) 신호(35) 및 색차(UV) 신호(36)를 생성함으로써, 화상 신호를 RGB 형식으로부터 YUV 형식(예를 들어, YUV 422 등)으로 변환한다. YUV 변환부(31)는 색 성분마다의 감도 신호를, Y 신호(35) 및 UV 신호(36)로 변환한다. 라인 메모리(32)는 YUV 변환부(31)로부터의 Y 신호(35) 및 UV 신호(36)를 일시적으로 저장한다.
에지 강조부(33)는 라인 메모리(32)로부터 판독된 Y 신호(35)에 대해서, 에지 강조 처리를 실시한다. 에지 강조부(33)는 에지 강조 처리에 있어서, 예를 들어 이미지 센서(12)에 의한 촬상 조건 및 각 화소의 위치에 기초하여 산출한 보정 계수를 사용한다. 또한, 에지 강조부(33)는 에지 강조 처리로서, 에지 추출부(34)로부터 입력되는 추출 데이터(38)를 Y 신호(35)에 가산한다.
에지 추출부(34)는 라인 메모리(24)로부터 판독되는 RAW 화상 데이터(37)에 대해서 에지 추출을 실시하고, 추출 데이터(38)를 출력한다. RAW 화상 데이터(37)는 이미지 센서(12)(도 2 참조)에 있어서의 피사체상의 촬상에 의해 취득되고나서, 에지 추출부(34)에 이르기까지의 각 부에 있어서의 신호 처리를 거친 화상 신호로 한다.
DSP(14)는, 에지 강조부(33)에서의 에지 강조 처리를 거친 Y 신호(39)와 라인 메모리(32)로부터의 UV 신호(36)를 출력한다. 또한, 본 실시 형태에서 설명하는 DSP(14)의 구성은 일례이며, 적절히 변형되어도 좋다. DSP(14)는, 예를 들어 본 실시 형태에서 나타내는 요소와는 다른 요소의 추가, 생략 가능한 요소의 생략 등의 변경을 해도 좋다.
도 4는 에지 추출부의 구성을 도시하는 블록도다. 에지 추출부(34)는 라인 메모리(40), 대역 통과 필터(BPF)(41), 노이즈 캔슬부(42), 진폭 제한부(43) 및 승산기(44)를 갖는다.
라인 메모리(40)는 라인 메모리(24)(도 1 참조)로부터 에지 추출부(34)에 입력된 RAW 화상 데이터(37)를 일시적으로 저장한다. BPF(41)는 라인 메모리(40)로부터 판독된 RAW 화상 데이터(37) 중 소정 대역의 데이터를, 에지 성분을 포함하는 데이터로서 추출한다. BPF(41)는 피사체상의 촬상에 의해 취득된 화상 데이터로부터, 신호 레벨에 따른 데이터 추출을 실시하는 데이터 추출부로서 기능한다. BPF(41)는 RAW 화상 데이터(37)로부터 추출된 추출 데이터를 출력한다.
노이즈 캔슬부(42)는 BPF(41)에서 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시한다. 노이즈 캔슬부(42)는 추출 데이터의 신호 레벨로부터 소정의 노이즈 캔슬용 임계값을 차감함으로써 노이즈 캔슬용 임계값 이하의 신호 레벨의 데이터를, 노이즈 성분으로 간주해서 제거한다. 노이즈 캔슬용 임계값은, 노이즈 캔슬 처리를 위해서 미리 설정된 임계값으로 한다.
진폭 제한부(43)는 노이즈 캔슬부(42)에 있어서의 노이즈 캔슬 처리를 거친 추출 데이터에 대해서, 진폭 제한 처리를 실시한다. 진폭 제한부(43)는 추출 데이터 중 소정의 진폭 제한 폭을 초과하는 신호 레벨의 데이터를, 진폭 제한 내의 레벨로 정렬시킴으로써 에지 강조의 레벨을 균일화시킨다. 진폭 제한 폭은, 진폭 제한 처리를 위해서 미리 설정된 설정값으로 한다.
승산기(44)는 진폭 제한부(43)에 있어서의 진폭 제한 처리를 거친 추출 데이터에, 예를 들어 미리 설정된 진폭 조정용 게인(45)을 승산한다. 승산기(44)는 진폭 제한부(43)에 있어서의 진폭 제한 처리가 이루어진 추출 데이터에 대해서, 진폭 조정을 실시하는 진폭 조정부로서 기능한다. 진폭 조정용 게인(45)은 진폭 조정부에 있어서의 진폭 조정을 위해서 설정된 게인으로 한다. 에지 추출부(34)는 승산기(44)에서의 진폭 조정용 게인(45)의 승산을 거친 추출 데이터(38)를 출력한다.
도 5부터 도 10은, 에지 추출부에 의한 에지 추출의 개요를 설명하는 도면이다. 각 도면에 있어서, 종축은 추출 데이터의 신호 레벨, 횡축은 화상 상의 위치를 나타내는 것으로 한다. 각 도면에 있어서, 실선의 막대 그래프는 화상에 존재하는 에지 성분, 파선의 막대 그래프는 에지 부분에 존재하는 노이즈 성분을 나타내는 것으로 한다.
예를 들어, BPF(41)에 있어서의 데이터 추출에 의해, 도 5에 도시하는 분포를 이루는 추출 데이터가 취득되었다고 하자. 추출 데이터에는, 에지 성분과 함께 노이즈 성분이 포함되어 있다. 이러한 추출 데이터에 대하여, 노이즈 캔슬부(42)가 도 6의 상단에 도시한 바와 같이, 노이즈 캔슬용 임계값을 Th1로 하는 노이즈 캔슬 처리를 실시했다고 하자.
노이즈 캔슬 처리 전의 추출 데이터에, Th1 미만의 레벨의 에지 성분이 포함되어 있는 경우, 도 6의 하단에 도시한 바와 같이, 당해 에지 성분은 노이즈 성분과 함께 제거되게 된다. 노이즈 캔슬용 임계값을 낮은 값으로 할수록, 낮은 레벨의 에지 성분을 많이 잔존시킬 수 있는 한편, 많은 노이즈 성분도 잔존하기 쉬워진다.
또한, 예를 들어 BPF(41)에 있어서의 데이터 추출에 의해, 도 7에 도시하는 분포를 이루는 추출 데이터가 취득되었다고 하자. 추출 데이터에는, 에지 성분과 노이즈 성분이 포함되어 있다. 도 7에 도시하는 예에서는, 화상의 명부와 암부가 화상 상에 있어서 비교적 명확하게 나뉘어져 있는 것으로 한다. 데이터(51)는 화상의 명부로부터 얻어진 데이터로 한다. 데이터(52)는, 화상의 암부로부터 얻어진 데이터로 한다.
이 예에 있어서, 명부의 데이터(51)와 암부의 데이터(52)에서, 노이즈 성분의 신호 레벨을 비교하면, 명부에는 암부에 포함되는 노이즈 성분보다 높은 신호 레벨의 노이즈 성분이 포함되어 있다. 단, 에지 성분의 신호 레벨에 대한 노이즈 성분의 신호 레벨의 비율은, 명부에 비하여 암부 쪽이 높은 점에서, 명부의 에지 부분에 발생한 노이즈에 대하여, 암부의 에지 부분에 발생한 노이즈 쪽이 두드러지게 된다.
이러한 추출 데이터에 대하여, 노이즈 캔슬부(42)가, 도 8의 상단에 도시한 바와 같이, 노이즈 캔슬용 임계값을 Th1로 하는 노이즈 캔슬 처리를 실시한 것으로 한다. 이 예에서는, 노이즈 캔슬 처리 전의 추출 데이터에 Th1 이상의 노이즈 성분이 포함되어 있다. 이로 인해, 도 8의 하단에 도시한 바와 같이, 노이즈 캔슬 처리 후의 추출 데이터에는, 노이즈 성분이 잔존하고 있다. 단, 명부 및 암부 중 어떤 경우든, 에지 성분의 신호 레벨에 대하여 노이즈 성분의 신호 레벨이 충분히 낮은 점에서, 잔존한 노이즈 성분을 두드러지지 못하게 할 수 있다.
도 8의 하단에 도시한 바와 같이, 노이즈 캔슬 처리 후의 추출 데이터에서는, 이렇게 노이즈가 저감되어 있는 한편, 명부의 에지 부분(53)에 있어서, 신호 레벨의 대폭적인 편차가 발생하고 있다. 따라서, 에지 강조의 레벨의 밸런스를 유지하기 위해서, 에지 강조를 원하는 레벨로 클립하는 진폭 제한 처리를 실시한다.
진폭 제한부(43)가 예를 들어 도 8의 하단에 도시한 바와 같이, 진폭 제한 폭을 Th2로 하는 진폭 제한 처리를 실시했다고 하자. 이러한 진폭 제한 처리 후의 추출 데이터에서는, 도 9에 도시한 바와 같이, 에지 부분(53)에 있어서의 신호 레벨의 언밸런스를 해소할 수 있는 한편, 에지 강조의 레벨이 불충분해진다. 따라서 승산기(44)는 진폭 제한 처리 후의 추출 데이터에 진폭 조정용 게인(45)을 곱함으로써 도 10에 도시한 바와 같이, 추출 데이터의 레벨을 일률적으로 증폭시킨다.
이러한 진폭 조정에 의해, 명부 및 암부에 있어서 충분한 에지 강조가 가능해지는 한편, 노이즈 성분의 레벨도 증폭되게 된다. 진폭 제한 처리에 있어서의 진폭 제한 폭을 넓게 할수록, 노이즈 성분에 대하여 에지 성분의 신호 레벨을 높게 할 수 있는 한편, 에지에 있어서의 신호 레벨의 언밸런스가 잔존하기 쉬워진다.
본 실시 형태에서는, DSP(14)는 효과적인 에지 강조와 노이즈의 억제를 위한 조정이 난항하는 것을 피하기 위해서, 에지 추출부(34)로부터 출력된 추출 데이터(38)를, Y 신호(35)에 따라서 조정하고나서, Y 신호(35)에 가산한다.
도 11은, 에지 강조부의 구성을 도시하는 블록도다. 에지 강조부(33)는, 휘도 레벨 판정부(54) 및 셀렉터(55)를 갖는다. 휘도 레벨 판정부(54)는 휘도 레벨 판정용 임계값 d1 및 d2(d1＜d2로 함)와 Y 신호(35)의 신호 레벨을 비교함으로써, Y 신호(35)의 신호 레벨의 고저를 판정한다. 예를 들어, 에지 강조부(33)는 미리 설정된 휘도 레벨 판정용 임계값 d1 및 d2를 유지한다. 셀렉터(55)는 가산되는 추출 데이터(38)가 서로 상이한 레벨로 조정된 Y 신호(35) 중 하나를, 휘도 레벨 판정부(54)에서의 판정 결과에 따라서 선택한다.
휘도 레벨 판정용 임계값 d2는, 예를 들어 통상의 방법으로의 에지 추출에 의해, 노이즈 성분에 대하여 충분한 레벨의 에지 성분을 용이하게 추출가능한 휘도 레벨로 한다. 휘도 레벨 판정용 임계값 d1은, 예를 들어 통상의 방법으로의 에지 추출에서는, 에지 성분에 대하여 노이즈 성분이 현저해지기 때문에, SNR 확보의 관점에서 추출 데이터(38)를 Y 신호(35)에 가산하지 않는 것이 바람직한 상황이 되기 쉬운 휘도 레벨로 한다.
에지 강조부(33)에는, 에지 추출부(34)에 있어서, 데이터 추출, 노이즈 캔슬 처리, 진폭 제한 처리 및 진폭 조정을 거친 추출 데이터(38)와, 라인 메모리(32)(도 1 참조)로부터 판독한 Y 신호(35)가 입력된다.
에지 강조부(33)에 입력된 Y 신호(35)의 신호 레벨이 d1 미만인 경우, 휘도 레벨 판정부(54)는 이러한 판정 결과를 나타내는 신호, 예를 들어 「0」을 출력한다. Y 신호(35)의 신호 레벨이 d1 이상이면서 d2 미만인 경우, 휘도 레벨 판정부(54)는, 이러한 판정 결과를 나타내는 신호, 예를 들어 「1」을 출력한다. Y 신호(35)의 신호 레벨이 d2 이상인 경우, 휘도 레벨 판정부(54)는, 이러한 판정 결과를 나타내는 신호, 예를 들어 「2」를 출력한다.
휘도 레벨 판정부(54)로부터 신호 「2」가 입력된 경우, 셀렉터(55)는 신호 레벨의 조정을 거치지 않은 추출 데이터(38)가 가산된 Y 신호(35)를 선택한다. 휘도 레벨 판정부(54)로부터 신호 「1」이 입력된 경우, 셀렉터(55)는 계수 A (0＜A＜1로 함)의 승산을 거친 추출 데이터(38)가 가산된 Y 신호(35)를 선택한다. 계수 A는, 예를 들어 2분의 1로 한다.
휘도 레벨 판정부(54)로부터 신호 「0」이 입력된 경우, 셀렉터(55)는, 추출 데이터(38)의 가산을 거치지 않는 Y 신호(35)를 선택한다. 에지 강조부(33)는, 셀렉터(55)에서 선택된 데이터를, Y 신호(39)로서 출력한다. 이 예에 있어서, 에지 강조부(33)는, Y 신호(35)에 가산하는 추출 데이터(38)의 신호 레벨을, 휘도 레벨 판정부(54)에서의 판정 결과에 따라, 1배, 2분의 1배, 0으로 조정한다.
도 12는, 에지 강조부에 있어서 가산되는 추출 데이터의 신호 레벨의 조정에 대해서 설명하는 도면이다. Y 신호(35)의 신호 레벨이 d1 미만인 경우, 에지 강조부(33)는, Y 신호(35)로의 추출 데이터(38)의 가산을 정지시킨다. 바꾸어 말하면, 에지 강조부(33)는, Y 신호(35)로의 가산 대상으로 하는 추출 데이터(38)를 조정하기 위한 계수로서 제로를 선택한다. 에지 강조부(33)는 화상 중, 에지 강조의 효과에 비하여 SNR의 악화가 예상되는 암부의 에지 부분에 대해서는 추출 데이터(38)의 가산을 정지함으로써, SNR의 악화를 억제시킨다.
Y 신호(35)의 신호 레벨이 d1 이상이면서 d2 미만인 경우, 에지 강조부(33)는, Y 신호(35)로의 가산 대상으로 하는 추출 데이터(38)를 조정하기 위한 계수로서, 0＜A＜1을 만족하는 A를 선택한다. d1 이상이면서 d2 미만의 휘도 레벨의 경우, 추출 데이터(38)에는, 미소한 레벨의 에지 성분이 존재할 가능성이 있고, 또한 노이즈 성분도 잔존할 가능성이 있다. 에지 강조부(33)는 이 경우와 같이, 화상 중 중간 정도의 밝기의 부분에 대해서는, 소정의 비율로 감소시킨 추출 데이터(38)를 Y 신호(35)에 가산함으로써, 에지 강조의 효과를 남기면서 SNR의 악화를 억제시킨다. 또한, 계수 A는, 2분의 1인 경우로 한정되지 않고, 0＜A＜1을 만족하는 어떤 값으로 해도 좋다.
Y 신호(35)의 신호 레벨이 d2 이상인 경우, 에지 강조부(33)는 추출 데이터(38)를 그대로, 즉, 계수를 1로 하여 Y 신호(35)에 가산한다. 에지 강조부(33)는 화상 중, SNR 악화의 우려가 적은 명부의 에지 부분에 대해서는, 에지 추출부(34)로부터의 추출 데이터(38)를 그대로 Y 신호(35)에 가산함으로써, 충분한 에지 강조를 가능하게 한다.
이상에 의해, DSP(14)는, 휘도 레벨의 고저에 따라서 추출 데이터(38)의 신호 레벨을 조정하고, Y 신호(35)에 가산함으로써, 효과적인 에지 강조와 노이즈의 억제를 가능하게 하고, 고품질의 화상을 얻을 수 있다.
0＜A＜1을 만족하는 계수 A는, 일정한 값일 경우로 한정되지 않는다. 계수 A는, 예를 들어 이미지 센서(12)(도 2 참조)에서의 피사체상의 촬상에 있어서의 아날로그 게인에 연동해서 변화시킨 것으로 해도 된다.
도 13은, 추출 데이터의 조정을 위한 계수를, 아날로그 게인에 연동해서 변화시키는 예를 설명하는 도면이다. 에지 강조부(33)는, 아날로그 게인이 높을수록 계수 A가 작은 값이 되도록, 계수 A를 변화시킨다. 에지 강조부(33)는, 아날로그 게인과 계수 A가 예를 들어 선형 함수의 관계에 있는 것으로서, 계수 A를 변화시킨다. 에지 강조부(33)는, 아날로그 게인과 계수 A가 비선형 함수의 관계에 있는 것으로서, 계수 A를 변화시키는 것으로 해도 된다.
촬상 시의 조도가 낮고 아날로그 게인이 높을수록, 계수 A를 작은 값으로 함으로써, 에지 강조부(33)는 Y 신호(35)로의 추출 데이터(38)의 가산량을 감소시켜서, SNR의 악화를 억제시키는 효과를 높인다. 이에 반해, 촬상 시의 조도가 높고 아날로그 게인이 낮을수록, 계수 A를 큰 값으로 함으로써, 에지 강조부(33)는, Y 신호(35)로의 추출 데이터(38)의 가산량을 증대시켜서, 에지 강조의 효과를 높인다. 이에 의해, DSP(14)는, 촬상 시의 조도에 따라서 최적인 에지 강조와 노이즈의 억제를 실현할 수 있다.
에지 강조부(33)는 도 12에 도시한 바와 같이, 두개의 휘도 레벨 판정용 임계값 d1 및 d2를 기준으로 하고, 추출 데이터(38)의 신호 레벨을 3단계로 조정하는 것으로 하고 있다. 에지 강조부(33)는, 휘도 레벨의 고저에 따라, 추출 데이터(38)의 신호 레벨을 더욱 미세하게 조정하는 것으로 해도 된다. 에지 강조부(33)는 휘도 레벨의 고저에 따라서 추출 데이터(38)의 신호 레벨을 조정 가능하면 되고, 구성은 적절히 변경해도 좋다.
휘도 레벨 판정부(54)는 에지 강조부(33)에 내장된 것인 경우로 한정되지 않는다. 휘도 레벨 판정부(54)는 예를 들어, 에지 추출부(34)에 내장된 것이어도 된다. DSP(14)는, 휘도 레벨 판정부(54)를, 에지 강조부(33) 및 에지 추출부(34)의 어느 쪽에도 포함하지 않는 것으로 해도 된다.
에지 추출부(34)는, 디모자이크 처리 전의 RAW 화상 데이터(37)를 사용해서 에지 추출을 실시하는 경우로 한정되지 않는다. DSP(14)는, 디모자이크 처리 후의 RGB의 감도 신호, 혹은 Y 신호(35)를 사용해서 에지 추출을 실시하는 것으로 해도 된다.
도 14는, 제2 실시 형태에 따른 화상 처리 장치인 DSP의 개략 구성을 도시하는 블록도다. 도 15는, 도 14에 도시하는 DSP에 포함되는 에지 추출부 및 에지 강조부의 구성을 도시하는 블록도다. 제1 실시 형태와 동일한 부분에는 동일한 부호를 부여하고, 중복되는 설명을 생략한다. 본 실시 형태에 따른 DSP(60)는, 에지 추출부(61) 및 에지 강조부(62) 이외의 부분에 대해서는, 제1 실시 형태에 따른 DSP(14)(도 1 참조)와 마찬가지의 구성을 구비한다.
에지 추출부(61)는 라인 메모리(40), 대역 통과 필터(BPF)(41), 노이즈 캔슬부(42), 진폭 제한부(43) 및 승산기(44)를 갖는다. 에지 강조부(62)는, 휘도 레벨 판정부(54), 셀렉터(55) 및 파라미터 조정부(63)를 갖는다.
파라미터 조정부(63)는, 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을, 휘도 레벨 판정부(54)의 판정 결과에 따라서 조정한다. 예를 들어, 에지 강조부(62)는, 미리 설정된 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을 유지한다.
휘도 레벨 판정부(54)는, Y 신호(35)의 신호 레벨의 판정 결과를, 셀렉터(55) 및 파라미터 조정부(63)에 출력한다. 파라미터 조정부(63)는, 예를 들어 Y 신호(35)의 신호 레벨이 d1 미만인 경우, d1 이상이면서 d2 미만인 경우, d2 이상인 경우, 각각에 따라 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을 전환한다. 파라미터 조정부(63)는, 예를 들어 미리 설정된 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)에 각각 계수를 곱함으로써 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을 조정한다. 계수는, 예를 들어 0부터 1에 포함되는 값으로 한다.
파라미터 조정부(63)는, 노이즈 캔슬용 임계값(64)에 대해서는, Y 신호(35)의 신호 레벨이 d1 미만, d1 이상이면서 d2 미만, d2 이상으로 높아짐에 따라 낮은 값이 되도록 조정한다. 이에 의해, 암부에 있어서의 노이즈를 저감시킴과 함께, 명부에 있어서는 충분한 에지 강조를 가능하게 한다.
파라미터 조정부(63)는 진폭 제한 폭(65)에 대해서는, Y 신호(35)의 신호 레벨이 d2 이상, d1 이상이면서 d2 미만 및 d1 미만으로 낮아짐에 따라 낮은 값이 되도록 조정한다. 이에 의해, 암부에 있어서의 노이즈를 저감시킴과 함께, 명부에 있어서는 충분한 에지 강조를 가능하게 한다.
파라미터 조정부(63)는, 진폭 조정용 게인(66)에 대해서는, Y 신호(35)의 신호 레벨이 d2 이상, d1 이상이면서 d2 미만 및 d1 미만으로 낮아짐에 따라, 낮은 값이 되도록 조정한다. 이에 의해, 암부에 있어서의 노이즈를 저감시킴과 함께, 명부에 있어서는 충분한 에지 강조를 가능하게 한다.
노이즈 캔슬부(42)는, 파라미터 조정부(63)로부터 입력된 노이즈 캔슬용 임계값(64)을 사용하는 노이즈 캔슬 처리를 실시한다. 진폭 제한부(43)는, 파라미터 조정부(63)로부터 입력된 진폭 제한 폭(65)을 사용하는 진폭 제한 처리를 실시한다. 승산기(44)는, 파라미터 조정부(63)로부터 입력된 진폭 조정용 게인(66)을 사용하는 진폭 조정을 실시한다.
제2 실시 형태에 있어서도, DSP(60)는, 제1 실시 형태의 경우와 마찬가지로, 효과적인 에지 강조와 노이즈의 억제를 가능하게 하고, 고품질의 화상을 얻을 수 있다. 본 실시 형태에서는, DSP(60)는 노이즈 캔슬 처리, 진폭 제한 처리, 진폭 조정에 있어서의 각 파라미터를, 휘도 레벨의 고저에 따라서 조정하여 에지 추출을 실시함으로써, 더욱 효과적인 에지 강조와 노이즈의 억제를 실현 가능하게 한다.
노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)에 곱하는 계수는, 일정한 값일 경우로 한정되지 않는다. 계수는, 예를 들어 이미지 센서(12)(도 2 참조)에서의 피사체상의 촬상에 있어서의 아날로그 게인에 연동해서 변화시킨 것으로 해도 좋다. 이에 의해, DSP(60)는 촬상 시의 조도에 따라서 최적인 에지 강조와 노이즈의 억제를 실현할 수 있다.
파라미터 조정부(63)는 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66) 모두를 조정하는 것인 경우로 한정되지 않는다. 파라미터 조정부(63)는 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66) 중, 적어도 어느 한쪽을 조정하는 것이면 된다.
파라미터 조정부(63)는 에지 강조부(62)에 내장된 것인 경우로 한정되지 않는다. 파라미터 조정부(63)는 예를 들어 에지 추출부(61)에 내장된 것이어도 된다. DSP(60)는 파라미터 조정부(63)를, 에지 강조부(62) 및 에지 추출부(61) 중 어느 쪽에도 포함하지 않는 것으로 해도 된다.
도 16은, 제3 실시 형태에 따른 화상 처리 장치인 DSP 중, 에지 추출부 및 에지 강조부의 구성을 도시하는 블록도다. 에지 강조부(71)는, 제2 실시 형태에 있어서의 에지 강조부(62)(도 14 참조) 대신에 적용된다. 제1 및 제2 실시 형태와 동일한 부분에는 동일한 부호를 부여하고, 중복하는 설명을 생략한다.
에지 강조부(71)는 휘도 레벨 판정부(54), 셀렉터(55) 및 파라미터 조정부(72)를 갖는다. 파라미터 조정부(72)는 Y 신호(35)의 신호 레벨에 연동하여, 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을 변화시킨다. 파라미터 조정부(72)는 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)이, 예를 들어 Y 신호(35)의 신호 레벨에 대하여 선형 함수의 관계에 있는 것으로서, 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을 각각 변화시킨다. 파라미터 조정부(72)는 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)이, Y 신호(35)의 신호 레벨에 대하여 비선형 함수의 관계에 있는 것으로서, 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66)을 각각 변화시키는 것으로 해도 된다.
파라미터 조정부(72)는 Y 신호(35)의 신호 레벨이 높을수록, 노이즈 캔슬용 임계값(64)이 낮은 값이 되도록, 노이즈 캔슬용 임계값(64)을 조정한다. 파라미터 조정부(72)는 Y 신호(35)의 신호 레벨이 낮을수록 진폭 제한 폭(65)이 낮은 값이 되도록, 진폭 제한 폭(65)을 조정한다. 파라미터 조정부(72)는 Y 신호(35)의 신호 레벨이 낮을수록, 진폭 조정용 게인(66)이 낮은 값이 되도록, 진폭 조정용 게인(66)을 조정한다.
노이즈 캔슬부(42)는 파라미터 조정부(72)로부터 입력된 노이즈 캔슬용 임계값(64)을 사용하는 노이즈 캔슬 처리를 실시한다. 진폭 제한부(43)는 파라미터 조정부(72)로부터 입력된 진폭 제한 폭(65)을 사용하는 진폭 제한 처리를 실시한다. 승산기(44)는 파라미터 조정부(72)로부터 입력된 진폭 조정용 게인(66)을 사용하는 진폭 조정을 실시한다.
제3 실시 형태에 있어서도, DSP는 제1 실시 형태의 경우와 마찬가지로, 효과적인 에지 강조와 노이즈의 억제를 가능하게 하고, 고품질의 화상을 얻을 수 있다. 본 실시 형태에서는, DSP는 노이즈 캔슬 처리, 진폭 제한 처리, 진폭 조정에 있어서의 각 파라미터를, 휘도 레벨의 고저에 따라서 조정하여 에지 추출을 실시함으로써, 더욱 효과적인 에지 강조와 노이즈의 억제를 실현 가능하게 한다.
파라미터 조정부(72)는 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66) 모두를 조정하는 것인 경우로 한정되지 않는다. 파라미터 조정부(72)는 노이즈 캔슬용 임계값(64), 진폭 제한 폭(65) 및 진폭 조정용 게인(66) 중, 적어도 어느 한쪽을 조정하는 것이면 된다.
파라미터 조정부(72)는 에지 강조부(71)에 내장된 것인 경우로 한정되지 않는다. 파라미터 조정부(72)는 예를 들어 에지 추출부(61)에 내장된 것이어도 된다. DSP는 파라미터 조정부(72)를, 에지 강조부(71) 및 에지 추출부(61) 중 어느 쪽에도 포함하지 않는 것으로 해도 된다.
본 발명의 몇가지 실시 형태를 설명했지만, 이들 실시 형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 신규의 실시 형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims (20)

  1. 피사체상의 촬상에 의해 취득된 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시하는 데이터 추출부와,
    상기 데이터 추출부에서 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시하는 노이즈 캔슬부와,
    상기 추출 데이터에 대해서, 진폭 제한 처리를 실시하는 진폭 제한부와,
    상기 화상 신호로부터 얻어진 휘도 신호에, 상기 노이즈 캔슬 처리 및 상기 진폭 제한 처리를 거친 상기 추출 데이터를 가산함으로써, 상기 휘도 신호에 대해서 에지 강조 처리를 실시하는 에지 강조부와,
    상기 휘도 신호의 신호 레벨의 고저를 판정하는 휘도 레벨 판정부를 갖고,
    상기 에지 강조부는, 상기 휘도 신호에 가산하는 상기 추출 데이터의 신호 레벨을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는, 화상 처리 장치.
  2. 제1항에 있어서, 상기 에지 강조부는, 상기 휘도 레벨 판정부에서의 비교 결과에 따라서 선택된 계수를 사용해서 상기 추출 데이터를 조정하는, 화상 처리 장치.
  3. 제2항에 있어서, 상기 에지 강조부는, 상기 피사체상의 촬상에 있어서의 아날로그 게인에 연동해서 상기 계수를 변화시키는, 화상 처리 장치.
  4. 제1항에 있어서, 상기 진폭 제한 처리가 이루어진 상기 추출 데이터에 대해서, 진폭 조정을 실시하는 진폭 조정부를 더 갖는, 화상 처리 장치.
  5. 제1항에 있어서, 상기 노이즈 캔슬 처리를 위해서 설정된 노이즈 캔슬용 임계값을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는 파라미터 조정부를 더 갖는, 화상 처리 장치.
  6. 제1항에 있어서, 상기 진폭 제한 처리를 위해서 설정된 진폭 제한 폭을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는 파라미터 조정부를 더 갖는, 화상 처리 장치.
  7. 제4항에 있어서, 상기 진폭 조정을 위해서 설정된 진폭 조정용 게인을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는 파라미터 조정부를 더 갖는, 화상 처리 장치.
  8. 제5항에 있어서, 상기 파라미터 조정부는, 상기 휘도 신호의 신호 레벨에 연동해서 상기 노이즈 캔슬용 임계값을 변화시키는, 화상 처리 장치.
  9. 제6항에 있어서, 상기 파라미터 조정부는, 상기 휘도 신호의 신호 레벨에 연동해서 상기 진폭 제한 폭을 변화시키는, 화상 처리 장치.
  10. 제7항에 있어서, 상기 파라미터 조정부는, 상기 휘도 신호의 신호 레벨에 연동해서 상기 진폭 조정용 게인을 변화시키는, 화상 처리 장치.
  11. 피사체상의 촬상에 의해 취득된 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시하고,
    상기 데이터 추출에 의해 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시하고,
    상기 추출 데이터에 대해서, 진폭 제한 처리를 실시하고,
    상기 화상 신호로부터 얻어진 휘도 신호에, 상기 노이즈 캔슬 처리 및 상기 진폭 제한 처리를 거친 상기 추출 데이터를 가산함으로써, 상기 휘도 신호에 대해서 에지 강조 처리를 실시하고,
    상기 휘도 신호의 신호 레벨의 고저를 판정하는 휘도 레벨 판정을 실시하는 것을 포함하고,
    상기 에지 강조 처리에 있어서 상기 휘도 신호에 가산하는 상기 추출 데이터의 신호 레벨을, 상기 휘도 레벨 판정의 결과에 따라서 조정하는, 화상 처리 방법.
  12. 제11항에 있어서, 상기 에지 강조 처리에 있어서의 상기 추출 데이터의 신호 레벨의 조정에 있어서, 상기 휘도 레벨 판정에 의한 비교 결과에 따라서 선택된 계수를 사용하는, 화상 처리 방법.
  13. 제12항에 있어서, 상기 피사체상의 촬상에 있어서의 아날로그 게인에 연동해서 상기 계수를 변화시키는, 화상 처리 방법.
  14. 제11항에 있어서, 상기 진폭 제한 처리가 이루어진 상기 추출 데이터에 대해서, 진폭 조정을 더 실시하는, 화상 처리 방법.
  15. 제11항에 있어서, 상기 노이즈 캔슬 처리를 위해서 설정된 노이즈 캔슬용 임계값과, 상기 진폭 제한 처리를 위해서 설정된 진폭 제한 폭 중 적어도 한쪽을, 상기 휘도 레벨 판정의 결과에 따라서 조정하는 파라미터 조정을 더 실시하는, 화상 처리 방법.
  16. 제14항에 있어서, 상기 진폭 조정을 위해서 설정된 진폭 조정용 게인을, 상기 휘도 레벨 판정의 결과에 따라서 조정하는 파라미터 조정을 더 실시하는, 화상 처리 방법.
  17. 제15항에 있어서, 상기 파라미터 조정에 있어서, 상기 휘도 신호의 신호 레벨에 연동하여, 상기 노이즈 캔슬용 임계값 및 상기 진폭 제한 폭 중 적어도 한쪽을 변화시키는, 화상 처리 방법.
  18. 제16항에 있어서, 상기 파라미터 조정에 있어서, 상기 휘도 신호의 신호 레벨에 연동해서 진폭 조정용 게인을 변화시키는, 화상 처리 방법.
  19. 피사체로부터의 광을 도입하고, 피사체상을 결상시키는 렌즈 유닛과,
    상기 피사체상을 촬상하여 화상 신호를 생성하는 이미지 센서와,
    상기 화상 신호의 신호 처리를 실시하는 화상 처리 장치를 갖고,
    상기 화상 처리 장치는,
    상기 화상 신호로부터, 신호 레벨에 따른 데이터 추출을 실시하는 데이터 추출부와,
    상기 데이터 추출부에서 추출된 추출 데이터에 대해서, 노이즈 캔슬 처리를 실시하는 노이즈 캔슬부와,
    상기 추출 데이터에 대해서, 진폭 제한 처리를 실시하는 진폭 제한부와,
    상기 화상 신호로부터 얻어진 휘도 신호에, 상기 노이즈 캔슬 처리 및 상기 진폭 제한 처리를 거친 상기 추출 데이터를 가산함으로써, 상기 휘도 신호에 대해서 에지 강조 처리를 실시하는 에지 강조부와,
    상기 휘도 신호의 신호 레벨의 고저를 판정하는 휘도 레벨 판정부를 갖고,
    상기 에지 강조부는, 상기 휘도 신호에 가산하는 상기 추출 데이터의 신호 레벨을, 상기 휘도 레벨 판정부에서의 판정 결과에 따라서 조정하는, 카메라 모듈.
  20. 제19항에 있어서, 상기 에지 강조부는, 상기 휘도 레벨 판정부에서의 비교 결과에 따라서 선택된 계수를 사용해서 상기 추출 데이터를 조정하고, 또한 상기 이미지 센서에 의한 상기 피사체상의 촬상에 있어서의 아날로그 게인에 연동해서 상기 계수를 변화시키는, 카메라 모듈.
KR1020120096037A 2012-01-31 2012-08-31 화상 처리 장치, 화상 처리 방법 및 카메라 모듈 KR101353863B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-018122 2012-01-31
JP2012018122A JP5743918B2 (ja) 2012-01-31 2012-01-31 画像処理装置

Publications (2)

Publication Number Publication Date
KR20130088711A true KR20130088711A (ko) 2013-08-08
KR101353863B1 KR101353863B1 (ko) 2014-01-20

Family

ID=48838136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120096037A KR101353863B1 (ko) 2012-01-31 2012-08-31 화상 처리 장치, 화상 처리 방법 및 카메라 모듈

Country Status (4)

Country Link
US (1) US8692911B2 (ko)
JP (1) JP5743918B2 (ko)
KR (1) KR101353863B1 (ko)
CN (1) CN103227891A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766121B2 (en) * 2012-09-28 2017-09-19 Intel Corporation Mobile device based ultra-violet (UV) radiation sensing
JP6335614B2 (ja) * 2014-04-25 2018-05-30 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
CN104917969B (zh) * 2015-05-30 2018-01-19 广东欧珀移动通信有限公司 一种图像处理的方法及移动终端
US10386792B2 (en) * 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
WO2020183698A1 (ja) * 2019-03-14 2020-09-17 株式会社Ｆｕｊｉ 対象体判定方法、対象体判定装置
CN110070508B (zh) * 2019-04-23 2020-11-10 西安交通大学 一种基于门限值和线性映射的反锐化增强方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2906975B2 (ja) 1994-01-14 1999-06-21 富士ゼロックス株式会社 カラー画像処理方法および装置
US5729360A (en) 1994-01-14 1998-03-17 Fuji Xerox Co., Ltd. Color image processing method and system
JP3697844B2 (ja) * 1997-07-25 2005-09-21 株式会社富士通ゼネラル 輪郭強調回路
JP2000059651A (ja) * 1998-08-07 2000-02-25 Hitachi Denshi Ltd 輪郭強調回路
JP2000209463A (ja) * 1999-01-12 2000-07-28 Fujitsu General Ltd 輪郭強調回路
JP2001167264A (ja) * 1999-09-30 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2001136413A (ja) * 1999-11-09 2001-05-18 Hitachi Kokusai Electric Inc 輪郭強調回路
JP2001346069A (ja) * 2000-06-02 2001-12-14 Fuji Photo Film Co Ltd 映像信号処理装置及び輪郭強調補正装置
JP4463400B2 (ja) * 2000-08-29 2010-05-19 三菱電機株式会社 輝度信号エンハンサ
JP3543774B2 (ja) * 2001-03-19 2004-07-21 ミノルタ株式会社 画像処理装置、画像処理方法および記録媒体
JP2002319020A (ja) * 2001-04-24 2002-10-31 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
US7260267B2 (en) * 2002-02-20 2007-08-21 Fujifilm Corporation Image processing apparatus, computer readable medium storing program, image processing method, image capturing apparatus, printing apparatus, and scanning apparatus
JP2004159148A (ja) 2002-11-07 2004-06-03 Fujitsu General Ltd 立体的表現回路
JP4369926B2 (ja) * 2003-12-25 2009-11-25 ノキア コーポレイション デジタル撮影装置、デジタル撮影装置に用いるエッジ強調度の調整方法、及びデジタル撮影装置に用いるエッジ強調度の調整用のプログラム
JP2005260517A (ja) * 2004-03-11 2005-09-22 Sanyo Electric Co Ltd 画像信号処理装置
JP4048440B2 (ja) 2004-03-26 2008-02-20 富士フイルム株式会社 画像処理装置、輪郭強調方法及びプログラム
KR100542365B1 (ko) * 2004-05-07 2006-01-10 삼성전자주식회사 영상 화질 개선 장치 및 그 방법
JP2006279812A (ja) * 2005-03-30 2006-10-12 Matsushita Electric Ind Co Ltd 輝度信号処理装置
CN2838184Y (zh) * 2005-10-19 2006-11-15 上海广电（集团）有限公司中央研究院 一种基于边界的直方图均衡装置
US8134646B2 (en) * 2006-05-24 2012-03-13 Kabushiki Kaisha Toshiba Video signal processing device and video signal processing method
JP2008052353A (ja) * 2006-08-22 2008-03-06 Kyocera Mita Corp 画像処理装置
JP4139430B1 (ja) * 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
KR100901354B1 (ko) * 2007-05-31 2009-06-05 주식회사 코아로직 영상의 에지 보정장치 및 그 방법
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP2009021905A (ja) * 2007-07-13 2009-01-29 Hoya Corp 輪郭強調装置
CN101188671A (zh) * 2007-12-18 2008-05-28 上海广电集成电路有限公司 视频图像的锐化方法
CN102067171B (zh) * 2008-06-19 2013-02-13 马维尔国际贸易有限公司 分割边缘增强方法和系统
JP5129685B2 (ja) * 2008-08-06 2013-01-30 キヤノン株式会社 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置
JP4875032B2 (ja) * 2008-08-11 2012-02-15 株式会社東芝 固体撮像装置
JP2010154298A (ja) * 2008-12-25 2010-07-08 Toshiba Corp 映像処理装置、映像処理方法及び映像表示装置
KR101114698B1 (ko) * 2010-01-29 2012-02-29 삼성전자주식회사 이미지 특성에 따라 에지를 강조하기 위한 이미지 생성 장치 및 방법
JP5242750B2 (ja) 2011-09-09 2013-07-24 オリンパス株式会社 画像処理装置

Also Published As

Publication number Publication date
CN103227891A (zh) 2013-07-31
JP2013157867A (ja) 2013-08-15
US20130194459A1 (en) 2013-08-01
JP5743918B2 (ja) 2015-07-01
KR101353863B1 (ko) 2014-01-20
US8692911B2 (en) 2014-04-08

Similar Documents

Publication Publication Date Title
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
KR101353863B1 (ko) 화상 처리 장치, 화상 처리 방법 및 카메라 모듈
JP4960309B2 (ja) 固体撮像装置
US8102445B2 (en) Solid-state image-capturing apparatus, camera, and method of processing signal
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
WO2014038685A1 (en) Image processor, imaging apparatus equipped with the same, and image processing method
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
US20120201454A1 (en) Signal processing device, signal processing method, imaging apparatus, and imaging processing method
US20140028879A1 (en) Image processing device, image processing method, and solid-state imaging device
EP2446414B1 (en) Lens roll-off correction operation using values corrected based on brightness information
JP2012175169A (ja) 画像処理装置
US8755622B2 (en) Image processing apparatus, image processing method, and program
US8345116B2 (en) Noise reduction filter processing circuit, image processing circuit, imaging device, and storage medium storing noise reduction program
US20060092174A1 (en) Color noise suppressing system
JP2006332732A (ja) 色むらノイズ抑制装置
JP5158239B2 (ja) 画像信号処理装置及びその方法
JP4867983B2 (ja) 画像信号処理装置及びその方法
JP2010193112A (ja) 画像処理装置およびディジタルスチルカメラ
JP2009164839A (ja) 撮像装置及び信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee