KR101372853B1 - 화상처리장치, 화상처리방법 및 촬상장치 - Google Patents

화상처리장치, 화상처리방법 및 촬상장치 Download PDF

Info

Publication number
KR101372853B1
KR101372853B1 KR1020070043807A KR20070043807A KR101372853B1 KR 101372853 B1 KR101372853 B1 KR 101372853B1 KR 1020070043807 A KR1020070043807 A KR 1020070043807A KR 20070043807 A KR20070043807 A KR 20070043807A KR 101372853 B1 KR101372853 B1 KR 101372853B1
Authority
KR
South Korea
Prior art keywords
pixel
value
image
correction
interpolation
Prior art date
Application number
KR1020070043807A
Other languages
English (en)
Other versions
KR20080059490A (ko
Inventor
마사유 히구치
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20080059490A publication Critical patent/KR20080059490A/ko
Application granted granted Critical
Publication of KR101372853B1 publication Critical patent/KR101372853B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0275—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using fuzzy logic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

잡음을 검출하지 않고, 화상의 잡음을 제거하는 것이 가능한 화상처리장치, 화상처리방법 및 촬상장치를 제공한다. 상기 화상처리장치는, 입력화상을 화소단위로 처리하는 화상처리장치로서, 입력화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부; 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부; 입력화상으로부터 화소마다 특징값을 산출하고, 특징값에 기초하여, 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부; 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부; 보간값 보정부에서 보정된 화소마다의 보간값에 기초하여, 입력화상을 보정하는 보정화상 생성부;를 구비하는 화상처리장치가 제공된다.

Description

화상처리장치, 화상처리방법 및 촬상장치{Image processing apparatus, image processing method and imaging device}
도 1은 촬상장치에서의 화상처리의 흐름의 일례를 나타내는 설명도이다.
도 2는 본 발명의 제1 실시예에 관한 화상처리장치를 나타내는 블록도이다.
도 3은 본 발명의 제1 실시예에 관한 색차신호의 산출을 설명하는 설명도이다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 관한 보간값의 산출을 설명하는 설명도이다.
도 5a 및 도 5b는 본 발명의 제1 실시예에 관한 특징값의 산출을 설명하는 설명도이다.
도 6a 내지 도 6d는 본 발명의 제1 실시예에 관한 멤버쉽 함수를 이용한 제1예를 나타내는 설명도이다.
도 7은 도 6a 내지 도 6d에 나타내는 제1예에 있어서, 본 발명의 실시예에 관한 보정값을 산출하기 위해 설정되는 값의 일례를 나타내는 설명도이다.
도 8a 내지 도 8d는 본 발명의 제1 실시예에 관한 멤버쉽 함수를 이용한 제2예를 나타내는 설명도이다.
도 9는 도 8a 내지 도 8d에 나타내는 제2예에 있어서, 본 발명의 실시예에 관한 보정값을 산출하기 위해 설정되는 값의 일례를 나타내는 설명도이다.
도 10은 본 발명의 제2 실시예에 관한 화상처리장치에서의 처리의 개요를 나타내는 블록도이다.
도 11은 본 발명의 실시예에 관한 화상처리방법을 나타내는 설명도이다.
도 12는 본 발명의 실시예에 관한 촬상장치의 개요를 나타내는 블록도이다.
<도면 주요 부분에 대한 부호의 설명>
100, 200 : 화상처리장치 102 : 특징화상 생성부
104 : 보간값 산출부 106 : 보정값 산출부
108 보간값 보정부 110 : 보정화상 생성부
112 제1 보간값 산출부 114 : 제2 보간값 산출부
116 특징값 산출부 118 : 보정값 설정부
120 제1 보정부 122 : 제2 보정부
300 촬상장치 302 : 촬상부
304 화상데이터 생성부 306 : 화상처리부
308 제어부 310 : 기억부
312 표시부 314 : 조작부
본 발명은 화상처리장치, 화상처리방법 및 촬상장치에 관한 것이다.
최근, 휴대전화 등의 휴대형 통신장치가 디지털 카메라(Digital Camera)의 기능을 구비하는 등, 디지털 카메라가 보급되어 있다. 상기와 같은 디지털 카메라는, 예를 들면 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상소자를 복수 이용한 이미지 센서를 이용하여 촬상을 행한다.
그러나 디지털 카메라의 고해상도화가 진행됨에 따라, SN비(Signal to Noise ratio)의 저하, 즉 촬상화상에 생기는 잡음이 문제가 되고 있다. 여기서, 잡음이 생기는 요인으로서는, 예를 들면 고해상도화에 따라 상기 촬상소자의 수가 늘어남으로써, 1 촬상소자 당 수광량이 저하하여 신호레벨이 내려가는 것 등을 들 수 있다.
이러한 중에, 촬상화상에 대해 보정을 행함으로써, 잡음을 저감하는 기술이 개발되어 있다. 예를 들면, 촬상화상의 엣지를 검출하고, 엣지로서 검출되지 않았던 화소에 대해 잡음 저감처리를 행하며, 엣지로서 검출된 화소에 대해 잡음 저감처리를 하지 않은 기술의 일례가 일본특허공개 2005-303731호 공보에 개시되어 있다.
또한, 화상데이터를 윤곽부, 잡음부, 비윤곽부로 분류하고, 잡음부에는 잡음 제거처리를, 윤곽부에는 강조처리를 실시하는 기술의 일례가 일본특허공개 2003-219180호 공보에 개시되어 있다.
그러나 촬상화상의 엣지를 검출하고, 엣지로서 검출되지 않았던 화소에 대해 잡음 저감처리를 행하며, 엣지로서 검출된 화소에 대해 잡음 저감처리를 하지 않는 기술 및 화상데이터를 윤곽부, 잡음부, 비윤곽부로 분류하고, 잡음부에는 잡음 제거처리를, 윤곽부에는 강조처리를 실시하는 기술 등 종래의 화상처리기술은, 잡음을 검출하고, 특정의 처리를 할 필요가 있기 때문에, 회로, 알고리즘이 복잡하게 된다. 또한, 엣지로서 검출된 화소에 대해서는, 잡음 제거처리를 하지 않기 때문에, 당해 엣지 상에 있는 잡음을 제거할 수 없다. 따라서, 종래의 화상처리기술에 의해 보정된 화상은, 엣지 상에 존재하는 잡음을 제거할 수 없으므로, 부자연스러운 화상이 되어 버린다. 여기서, 상기 엣지란, 화상에서의 휘도가 높은 부분과 휘도가 낮은 부분의 경계(즉, 화상의 농담의 경계)를 나타낸다.
그래서, 본 발명은, 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적으로 하는 바는, 잡음의 검출을 하지 않고 화상의 잡음을 제거하는 것이 가능한, 신규이면서 개량된 화상처리장치, 화상처리방법 및 촬상장치를 제공하는 데에 있다.
상기 목적을 달성하기 위해, 본 발명의 제1 관점에 의하면, 입력화상을 화소단위로 처리하는 화상처리장치로서, 상기 입력화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부; 상기 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부; 상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부; 상기 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부; 상기 보간값 보정부에서 보정된 화소마다의 보간값에 기초하여, 상기 입력화상을 보정하는 보정화상 생성부를 구비하는 화상처리장치가 제공된다.
상기 화상처리장치는, 예를 들면 특징화상 생성부, 보간값 산출부, 보정값 산출부, 보간값 보정부, 보정화상 생성부를 구비한다. 특징화상 생성부는, 화상처리장치에 입력되는 입력화상으로부터 소정의 특징화상을 생성할 수 있다. 여기서, 소정의 특징화상으로서는, 예를 들면 입력화상으로부터 휘도신호를 제거한 색차화상, 휘도차에 기초하여 엣지가 추출된 엣지화상 등을 들 수 있다. 보간값 산출부는, 화소값을 보간하는 보간값을 화소마다 복수 산출할 수 있다. 보정값 산출부는, 입력화상으로부터 화소마다 특징값을 산출하고, 특징값에 기초하여 보간값 산출부가 산출하는 화소마다의 복수의 보간값 각각을 보정하는 보정값을 산출할 수 있다. 여기서, 특징값으로서는, 예를 들면 보정값을 산출하는 화소에서의 수직방향의 변화량 및 수평방향의 변화량을 들 수 있다. 보간값 보정부는, 보정값 산출부가 산출한 보정값에 기초하여, 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정할 수 있다. 보정화상 생성부는, 보간값 보정부에서 보정된 화소마다의 보간값에 기초하여, 상기 입력화상을 보정할 수 있다. 이러한 구성에 의해, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 특징화상 생성부는, 상기 입력화상으로부터 색차화상을 생성하고, 상기 보간값 산출부는, 보간값을 산출하는 주목화소마다, 상기 주목화소에 인접하는 수직방향의 화소에서의 화소 값의 평균값을 산출하는 제1 보간값 산출부; 상기 주목화소에 인접하는 수평방향의 화소에서의 화소 값의 평균값을 산출하는 제2 보간값 산출부;를 구비하고, 상기 보정값 산출부는, 상기 주목화소에서의 수직방향의 변화량 및 수평방향의 변화량을 특징값으로서 산출하는 특징값 산출부; 상기 특징값 산출부가 주목화소마다 산출한 상기 수직방향의 변화량에 대응하는 보정값과 상기 수평방향의 변화량에 대응하는 보정값을 주목화소마다 산출하여 설정하는 보정값 설정부;를 구비하고, 상기 보간값 보정부는, 상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수직방향의 변화량에 대응하는 보정값에 기초하여, 상기 제1 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제1 보정부; 상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수평방향의 변화량에 대응하는 보정값에 기초하여, 상기 제2 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제2 보정부;를 구비하고, 상기 보정화상 생성부는, 상기 제1 보정부가 보정한 상기 주목화소마다의 보간값과 상기 제2 보정부가 보정한 상기 주목화소마다의 보간값의 평균값을 상기 주목화소마다 산출하고, 상기 주목화소 각각의 화소값을 치환한다고 해도 된다.
이러한 구성에 의해, 보간처리에 있어서, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 입력화상은, 단판식의 촬상소자를 개재하여 촬상된 촬상데이터 화상이라고 해도 된다.
이러한 구성에 의해, 베이어 배열에 기초하여, 촬상소자가 촬상한 촬상데이터 화상에 생기는 잡음을 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 제거할 수 있다.
또한, 상기 입력화상은 휘도화상이고, 상기 특징화상 생성부는, 상기 입력화상으로부터 휘도차에 기초하여 엣지화상을 생성한다고 해도 된다.
이러한 구성에 의해, 엣지 강조처리에 있어서, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 보정값 산출부는, 소정의 멤버쉽 함수를 이용한 퍼지 추론에 의해 상기 보정값을 산출한다고 해도 된다.
이러한 구성에 의해, 입력화상에 따르지 않고, 상기 보정값을 산출할 수 있으므로, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명의 제2 관점에 의하면, 입력화상을 화소단위로 처리하는 화상처리방법으로서, 상기 입력화상으로부터 소정의 특징화상을 생성하는 단계; 상기 생성하는 단계에서 생성된 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 단계; 상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 단계; 상기 보정값을 산출하는 단계에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값을 화소마다 산출하는 단계에서 산출된 화소마다 산출된 보간값을 보정하는 단계; 상기 보간값을 보정하는 단계에서 보정된 화소마다의 보간값에 기초하여, 상기 입력화상을 보정하는 단계;를 가지는 화상처리방법이 제공된다.
이러한 방법을 이용함으로써, 입력화상으로부터 산출된 특징값에 기초하여 보정값을 산출하고, 당해 보정값을 이용하여 화소마다 화소값을 보간하는 보간값을 보정할 수 있다. 따라서, 이러한 방법에 의해, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명의 제3 관점에 의하면, 촬상에 의해 얻어진 촬상화상을 화소단위로 보정하는 것이 가능한 촬상장치로서, 촬상을 행하는 촬상부; 상기 촬상부에서 촬상된 촬상결과로부터 촬상데이터 화상을 생성하는 화상데이터 생성부; 상기 촬상데이터 화상이 입력되고, 상기 촬상데이터 화상을 보정하는 화상처리부;를 구비하고, 상기 화상처리부는, 화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부; 상기 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부; 상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부; 상기 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부; 상기 보간값 보정부에서 보정된 화소마다의 보정값에 기초하여, 상기 입력화상을 보정하는 보정화상 생성부;를 구비하는 촬상장치가 제공된다.
상기 촬상장치는, 예를 들면 촬상부, 화상데이터 생성부, 화상처리부를 구 비한다. 촬상부는, 촬상을 행할 수 있다. 화상데이터 생성부는, 촬상부에서의 촬상결과에 상당하는 촬상데이터 화상을 생성할 수 있다. 화상처리부는, 화상데이터 생성부가 생성한 상기 촬상데이터 화상을 보정할 수 있다. 또한, 화상처리부는, 특징화상 생성부, 보간값 산출부, 보정값 산출부, 보간값 보정부, 보정화상 생성부를 구비할 수 있다. 이러한 구성에 의해, 촬상하여 얻어진 촬상데이터 화상에 대해, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 특징화상 생성부에는, 상기 촬상데이터 화상이 입력되고, 상기 입력화상으로부터 색차화상을 생성하며, 상기 보간값 산출부는, 보간값을 산출하는 주목화소마다, 상기 주목화소에 인접하는 수직방향의 화소에서의 화소값의 평균값을 산출하는 제1 보간값 산출부; 상기 주목화소에 인접하는 수평방향의 화소에서의 화소값의 평균값을 산출하는 제2 보간값 산출부;를 구비하고, 상기 보정값 산출부는, 상기 주목화소에서의 수직방향의 변화량 및 수평방향의 변화량을 특징값으로서 산출하는 특징값 산출부; 상기 특징값 산출부가 주목화소마다 산출한 상기 수직방향의 변화량에 대응하는 보정값과 상기 수평방향의 변화량에 대응하는 보정값을 주목화소마다 산출하여 설정하는 보정값 설정부;를 구비하고, 상기 보간값 보정부는, 상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수직방향의 변화량에 대응하는 보정값에 기초하여, 상기 제1 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제1 보정부; 상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수평방향의 변화량에 대응하는 보정값에 기초하여, 상기 제2 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제2 보정부;를 구비하고, 상기 보정화상 생성부는, 상기 제1 보정부가 보정한 상기 주목화소마다의 보간값과 상기 제2 보정부가 보정한 상기 주목화소마다의 보간값의 평균값을 상기 주목화소마다 산출하고, 상기 주목화소 각각의 화소값을 치환한다고 해도 된다.
이러한 구성에 의해, 보간처리에 있어서, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 특징화상 생성부에는, 휘도화상이 입력되고, 상기 휘도화상으로부터 휘도차에 기초하여 엣지화상을 생성한다고 해도 된다.
이러한 구성에 의해, 엣지 강조처리에 있어서, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 보정값 산출부는, 소정의 멤버쉽 함수를 이용한 퍼지 추론에 의해 상기 보정값을 산출한다고 해도 된다.
이러한 구성에 의해, 입력화상에 따르지 않고, 상기 보정값을 산출할 수 있으므로, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명의 제4 관점에 의하면, 촬상에 의해 얻어진 촬상화상을 화소단위로 보정하는 것이 가능한 촬상장치로서, 촬상을 행하는 촬상부; 상기 촬상부에서 촬상된 촬상결과로부터 촬상데이터 화상을 생성하는 화상데이터 생성부; 상기 촬상데이터 화상이 입력되고, 상기 촬상데이터 화상을 보정하는 화상처리부;를 구비하고, 상기 화상처리부는, 화소값의 보간을 행하는 보 간처리부를 가지고, 상기 보간처리부는, 화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부; 상기 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부; 상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부; 상기 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부; 상기 보간값 보정부에서 보정된 화소마다의 보정값에 기초하여, 상기 입력화상을 보정하는 보정화상 생성부;를 구비하는 촬상장치가 제공된다.
상기 촬상장치는, 예를 들면 촬상부, 화상데이터 생성부, 화상처리부를 구비한다. 촬상부는, 촬상을 행할 수 있다. 화상데이터 생성부는, 촬상부에서의 촬상결과에 상당하는 촬상데이터 화상을 생성할 수 있다. 화상처리부는, 화상데이터 생성부가 생성한 상기 촬상데이터 화상을 보정할 수 있다. 또한, 화상처리부는, 적어도 화소값의 보간을 행하는 보간처리부를 가질 수 있다. 여기서, 보간처리부는, 특징화상 생성부, 보간값 산출부, 보정값 산출부, 보간값 보정부, 보정화상 생성부를 구비할 수 있다. 이러한 구성에 의해, 촬상하여 얻어진 촬상데이터 화상에 대해, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
또한, 상기 촬상부는, 단판식의 촬상소자를 가진다고 해도 된다.
이러한 구성에 의해, 촬상장치의 구조를 간략화할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명의 제5 관점에 의하면, 촬상에 의해 얻어진 촬상화상을 화소단위로 보정하는 것이 가능한 촬상장치로서, 촬상을 행하는 촬상부; 상기 촬상부에서 촬상된 촬상결과로부터 촬상데이터 화상을 생성하는 화상데이터 생성부; 상기 촬상데이터 화상이 입력되고, 상기 촬상데이터 화상을 보정하는 화상처리부;를 구비하고, 상기 화상처리부는, 화상의 휘도차에 기초하여 추출되는 화상의 엣지를 강조하는 엣지 강조처리부를 가지며, 상기 엣지 강조처리부는, 화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부; 상기 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부; 상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부; 상기 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부; 상기 보간값 보정부에서 보정된 화소마다의 보정값에 기초하여, 상기 입력화상을 보정하는 보정화상 생성부;를 구비하는 촬상장치가 제공된다.
상기 촬상장치는, 예를 들면 촬상부, 화상데이터 생성부, 화상처리부를 구비한다. 또한, 화상처리부는, 적어도 화상의 휘도차에 기초하여 추출되는 화상의 엣지를 강조하는 엣지 강조처리부를 가진다. 여기서, 엣지 강조처리부는, 특징화상 생성부, 보간값 산출부, 보정값 산출부, 보간값 보정부, 보정화상 생성부를 구비할 수 있다. 이러한 구성에 의해, 잡음이 엣지 상에 있는지의 여부를 불문하고, 또한 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다.
이하에 첨부도면을 참조하면서, 본 발명의 매우 적합한 실시예에 대해서 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능구성을 가지는 구성요소에 대해서는, 동일한 부호를 부여함으로써 중복설명을 생략한다.
이하에서는, 촬상장치가 촬상소자를 이용하여 얻는 것이 가능한 촬상데이터 화상에 대해서, 단판식을 이용함으로써 얻어진 촬상데이터 화상(RAW 화상데이터가 나타내는 화상)이라고 하여 설명한다. 여기서, 단판식이란, CCD소자 각각에 대해, 베이어(Bayer) 배열로 규정되는 순서에 따라 평면형상으로 늘어놓은 적색, 청색, 녹색의 3원색의 어느 하나 단색의 필터를 걸쳐 하나의 색의 강도만 검지하고, 주위의 CCD소자의 신호와 종합하여 색정보를 얻는 방식이다. 또, 본원 발명의 실시예는, 상기에 한정되지 않는 것은 물론이다.
또한, 베이어 배열이란, 격자형상으로 적색, 청색, 녹색의 3원색이 배치되고, 2분의 1이 녹색, 4분의 1이 적색, 4분의 1이 청색으로 구성되는 배열이다. 여기서, 베이어 배열에 있어서, 적색 및 청색에 비해 녹색이 많이 배치되어 있는 것은, 녹색에는 휘도성분이 많이 포함되어 있고, 또한 인간의 눈은 휘도에 대한 감도가 높기 때문이다.
(촬상장치에서의 화상처리의 흐름)
본 발명의 실시예에 관한 화상처리장치에 대한 설명을 하기 전에, 우선, 디지털 카메라 등의 촬상장치에 있어서, 기록화상을 얻기 위해서 행해지는 화상처리의 흐름의 개요에 대해서 설명한다. 도 1은, 촬상장치에서의 화상처리의 흐름의 일례를 나타내는 설명도이다.
촬상장치에서의 화상처리로서는, 예를 들면 White Balance 보정처리(10), 보간처리(20), 색조 보정처리(30), 감마 보정처리(40), YCbCr 변환처리(50), 엣지 강조처리(60) 및 Jpeg 코딩처리(70)를 들 수 있다.
White Balance 보정처리(10)는, 예를 들면 RAW 화상데이터(화상처리 전의 촬상데이터 화상에 상당함.)에 대해, RGB(Red Green Blue)의 각 색마다 미리 설정된 게인을 걸치고, 각 화소(pixel)의 화소값을 증폭한다. 보간처리(20)는, 예를 들면 베이어 배열로부터 모든 화소의 RGB를 만들어 낸다. 색조 보정처리(30)는, 예를 들면 화상의 색조를 보정한다. 감마 보정처리(40)는, 예를 들면 RGB의 신호를 비선형 변환하고, 시각적인 리니어리티(linearity)를 확보한다. YCbCr 변환처리(50)는, 예를 들면 소정의 변환식에 기초하여 RGB를 YCbCr로 변환한다. 여기서, Y는 휘도(luminance), Cb는 색차(chrominance), 그리고 Cr은 색차(chrominance)를 각각 나타낸다. 엣지 강조처리(60)는, 예를 들면 화상으로부터 엣지부분을 검출하고, 검출된 엣지부분의 휘도를 높임으로써 화상의 농담을 강조한다. Jpeg 코딩처리(70)는, 화상을 Jpeg(Joint Photographic Experts Group)형식의 화상파일로 변환한다.
상기 처리를 거침으로써, 촬상장치는, 예를 들면 단판식 CCD 등의 촬상소자를 이용하여 촬상함으로써 생성된 RAW 화상데이터를 보정하고, Jpeg형식의 기록화상으로서 촬상한 화상을 유지할 수 있다. 또, 도 1에 나타내는 화상처리의 흐름은 일례이고, 본원 발명의 실시예에 관한 촬상장치가 도 1에 나타내는 화상처리의 흐름에 한정되는 것은 아니다.
(화상처리장치의 제1 실시예)
다음에, 본 발명의 제1 실시예에 관한 화상처리장치에 대해서 설명한다. 도 2는, 본 발명의 제1 실시예에 관한 화상처리장치(100)를 나타내는 설명도이다. 여기서, 화상처리장치(100)는, 도 1에 나타내는 보간처리(20)를 행하는 화상처리장치이다.
또한, 이하에서는, 보간을 행하는 화소를 「주목화소」라고 하고, 또한 주목화소로서 RGB를 나타내는 화소 중에서 「R(Red)의 화소」 또는 「B(Blue)의 화소」로서 설명한다. 이는, 예를 들면 베이어 배열에서는, 「G(Green)의 화소」는, 「R의 화소」 및 「B의 화소」 각각의 2배의 수배치되어 있고, 샘플링수가 많음으로써 색차신호의 산출(후술함), 특징값의 산출(후술함) 등의 각종 처리가 용이하게 행할 수 있기 때문이다. 따라서, 주목화소에 인접하는 화소는 「G의 화소」가 된다. 또, 본원 발명의 실시예에 관한 주목화소가 「R의 화소」 또는 「B의 화소」에 한정되지 않고, 예를 들면 「G의 화소」이어도 되는 것은 물론이다.
도 2를 참조하면, 본 발명의 제1 실시예에 관한 화상처리장치(100)는, 특징화상 생성부(102), 보간값 산출부(104), 보정값 산출부(106), 보간값 보정부(108), 보정화상 생성부(110)를 구비한다.
특징화상 생성부(102)는, 입력화상으로부터 휘도신호를 제거한 색차화상을 생성한다. 여기서, 특징화상 생성부(102)에서의 색차화상의 생성은, 화소단위로 색차신호를 산출함으로써 행할 수 있다. 이하에, 본 발명의 실시예에 관한 색차신호의 산출에 대해서 설명한다.
[본 발명의 제1 실시예에 관한 색차신호의 산출]
도 3은, 본 발명의 제1 실시예에 관한 색차신호의 산출을 설명하는 설명도이다. 여기서, 도 3에 나타내는 설명도는, 베이어 배열을 나타내고 있고, a~p까지의 각 부호는 각각 화소의 화소값을 나타낸다. 특히, 화소값(e)을 가지는 화소는 보간을 행하는 주목화소를 나타내고 있다. 또한, 화소값(e)을 가지는 화소에 인접하는 화소인, 화소값(b, d, h, f)을 가지는 화소는 각각 G의 화소이다.
본 발명의 제1 실시예에 관한 색차신호의 산출은, 수학식 1~수학식 4에 의해 행할 수 있다. 여기서, 수학식 1에 의해 산출되는 B는, 화소값(b)을 가지는 화소에서의 색차신호를 나타내고 있다. 마찬가지로, 수학식 2에 의해 산출되는 D는 화소값(d)을 가지는 화소에서의 색차신호, 수학식 3에 의해 산출되는 H는 화소값(h)을 가지는 화소에서의 색차신호 및 수학식 4에 의해 산출되는 F는 화소값(f)을 가지는 화소에서의 색차신호를 각각 나타내고 있다.
B=-b+(e+k)/2
D=-d+(e+p)/2
H=-h+(e+n)/2
F=-f+(e+m)/2
여기서, 수학식 1~수학식 4는, 「R의 화소의 화소값」에서 「G의 화소의 화 소값」을 감산하는 것 또는 「B의 화소의 화소값」에서 「G의 화소의 화소값」을 감산하는 것에 각각 상당한다.
특징화상 생성부(102)는, 주목화소를 변경함으로써, 색차신호를 산출 가능한 모든 화소에 대해서 색차신호를 산출한다. 또, 색차신호의 산출은, 상기 색차신호를 산출 가능한 모든 화소에 대해서 행하는 것에 제한되지 않고, 예를 들면 R의 화소만 또는 B의 화소만 또는 하나 뺀 화소 등에 대해 행할 수 있다. 또한, 주목화소는, 색차신호가 산출되는 화소가 중복되지 않도록 변경하는 것에 제한되지 않고, 예를 들면 색차신호가 산출되는 화소가 중복하여 적절히 색차신호를 덮어쓰기 갱신할 수도 있다.
또한, 특징화상 생성부(102)에서 산출된 색차신호는, 예를 들면 특징화상 생성부(102)가 가지는 기억수단에 유지되어도 된다. 여기서, 특징화상 생성부(102)가 가지는 기억수단으로서는, 예를 들면 하드 디스크(Hard Disk)나 자기 테이프 등의 자기기록매체나, 플래시 메모리(flash memory), MRAM(Magnetoresistive Random Access Memory), FeRAM(Ferroelectric Random Access Memory), PRAM(Phase change Random Access Memory) 등의 비휘발성 메모리(nonvolatile memory), 광 자기 디스크(Magneto Optical Disk) 등을 들 수 있는데, 상기에 한정되지 않는 것은 물론이다. 또, 상기 색차신호의 유지는, 상기에 한정되지 않고, 예를 들면 화상처리장치(100)가 기억부(도시생략)를 구비하고, 당해 기억부에 특징화상 생성부(102)에서 산출된 색차신호를 유지시킬 수도 있다.
보간값 산출부(104)는, 특징화상 생성부(102)가 생성한 색차화상, 즉 주목 화소를 변경함으로써 각각 산출된 각 화소에서의 색차신호를 이용하여 화소값을 보간하는 보간값을 주목화소마다 복수 산출한다.
여기서, 보간값 산출부(104)는, 예를 들면 차단 주파수 이하의 주파수의 색차신호만을 통과시키고, 차단 주파수보다 큰 주파수의 색차신호를 감쇠시키는 로우 패스·필터(Low-Pass Filter)나, 특정의 주파수대역의 색차신호만을 통과시키며, 그 밖의 대역의 색차신호를 감쇠시키는 밴드 패스·필터(Band-Pass Filter) 등의 필터를 구비할 수 있다. 또, 상기 필터는, 예를 들면 디지털 필터로 할 수 있다.
예를 들면, 본 발명의 제1 실시예에 관한 화상처리장치(100)에서는, 보간값 산출부(104)는, 제1 보간값 산출부(112)와 제2 보간값 산출부(114)를 구비하고, 2개의 보간값을 산출한다. 이하에, 본 발명의 제1 실시예에 관한 보간값의 산출에 대해서 설명한다.
[본 발명의 제1 실시예에 관한 보간값의 산출]
도 4a 및 도 4b는, 본 발명의 제1 실시예에 관한 보간값의 산출을 설명하는 설명도들이다. 여기서, 도 4a는, 제1 보간값 산출부(112)에서의 보간값의 산출을 설명하는 설명도이고, 도 4b는, 제2 보간값 산출부(114)에서의 보간값의 산출을 설명하는 설명도이다.
본 발명의 제1 실시예에 관한 보간값의 산출은, 특징화상 생성부(102)가 산출한 주목화소에 인접하는 화소의 색차신호를 이용하여 수학식 5, 수학식 6에 의해 행할 수 있다.
VV=(B+H)/2
VH=(D+F)/2
여기서, 수학식 5는, 제1 보간값 산출부(112)에서 산출되는 보간값(VV)을 나타내고 있다. 보간값(VV)은, 도 4a에 나타내는 바와 같이, 특징화상 생성부(102)가 주목화소마다 산출한 색차신호를 이용하여, 주목화소에 대해 수직방향으로 인접하는 화소의 색차신호의 평균값을 계산함으로써 도출할 수 있다.
또한, 수학식 6은, 제2 보간값 산출부(114)에서 산출되는 보간값(VH)을 나타내고 있다. 보간값(VH)은, 도 4b에 나타내는 바와 같이, 특징화상 생성부(102)가 주목화소마다 산출한 색차신호를 이용하여, 주목화소에 대해 수평방향으로 인접하는 화소의 색차신호의 평균값을 계산함으로써 도출할 수 있다.
또, 수학식 5 및 수학식 6은, 주목화소에 대해 수직방향 또는 수평방향으로 인접하는 화소의 색차신호의 상가평균의 산출을 나타내고 있는데, 본 발명의 제1 실시예에 관한 보간값의 산출은, 상기에 한정되지 않고, 예를 들면 상승평균이나 가중평균 등을 이용하여 산출할 수도 있다.
또한, 본 발명의 실시예에 관한 「수직방향」 및 「수평방향」은, 도 4a 및 도 4b 등에 나타나는 방향에 한정되는 것은 아니고, 예를 들면 하나의 방향을 「수직방향」이라고 정하고, 당해 하나의 방향을 기준으로 하여 「수평방향」을 결정할 수 있는 것은 물론이다.
보간값 산출부(104)는, 주목화소마다 상술한 수학식 5 및 수학식 6에 나타 내는 연산을 하고, 주목화소마다 보간값(VV) 및 보간값(VH)을 산출한다.
또한, 보간값 산출부(104)에서 산출된 주목화소마다의 보간값(VV) 및 보간값(VH)은, 예를 들면 보간값 산출부(104)가 가지는 기억수단에 유지할 수 있다. 여기서, 보간값 산출부(104)가 가지는 기억수단으로서는, 예를 들면 하드 디스크 등의 자기기록매체나, 플래시 메모리 등의 비휘발성 메모리, 광 자기디스크 등을 들 수 있는데, 상기에 한정되지 않는 것은 물론이다. 또, 주목화소마다의 보간값(VV) 및 보간값(VH)의 유지는, 상기에 한정되지 않고, 예를 들면 화상처리장치(100)가 기억부(도시생략)를 구비하고, 당해 기억부에 보간값 산출부(104)에서 산출된 주목화소마다의 보간값(VV) 및 보간값(VH)을 유지시킬 수도 있다.
보정값 산출부(106)는, 특징값 산출부(116)와 보정값 설정부(118)를 구비한다. 특징값 산출부(116)는, 입력화상으로부터 주목화소마다 특징값을 산출한다. 또한, 보정값 설정부(118)는, 특징값 산출부(116)가 산출한 특징값에 기초하여, 제1 보간값 산출부(112)에서 산출되는 주목화소마다의 보간값(VV) 및 제2 보간값 산출부(114)에서 산출되는 주목화소마다의 보간값(VH)을 각각 보정하는 보정값을 산출하고, 설정한다. 이하, 본 발명의 제1 실시예에 관한 특징값의 산출 및 본 발명의 제1 실시예에 관한 보정값의 산출에 대해서 각각 설명한다.
[본 발명의 제1 실시예에 관한 특징값의 산출]
우선, 본 발명의 제1 실시예에 관한 특징값의 산출에 대해서 설명한다. 도 5a 및 도 5b는, 본 발명의 제1 실시예에 관한 특징값의 산출을 설명하는 설명도들이다. 여기서, 도 5a는, 특징값 산출부(116)에서의 제1 특징값의 산출을 설명하는 설명도이고, 도 5b는, 특징값 산출부(116)에서의 제2 특징값의 산출을 설명하는 설명도이다.
본 발명의 제1 실시예에 관한 특징값의 산출은, 각 화소의 화소값을 이용하여 수학식 7, 수학식 8에 의해 행할 수 있다.
M1x=|b-h|
M2x=|d-f|
여기서, 수학식 7은, 특징값 산출부(116)에서 산출되는 제1 특징값(M1x)을 나타내고 있다. 제1 특징값(M1x)은, 도 5a에 나타내는 바와 같이, 주목화소에 대해 수직방향으로 인접하는 화소의 화소값의 변화량(Vertical Gradient)을 계산함으로써 도출할 수 있다.
또한, 수학식 8은, 특징값 산출부(116)에서 산출되는 제2 특징값(M2x)을 나타내고 있다. 제2 특징값(M2x)은, 도 5b에 나타내는 바와 같이, 주목화소에 대해 수평방향으로 인접하는 화소의 화소값의 변화량(Horizontal Gradient)을 계산함으로써 도출할 수 있다.
또, 수학식 7 및 수학식 8은, 주목화소에 대해 수직방향 또는 수평방향으로 인접하는 화소의 화소값의 변화량의 산출을 나타내고 있는데, 본 발명의 제1 실시예에 관한 특징값의 산출이 상기에 한정되지 않는 것은 물론이다.
[본 발명의 제1 실시예에 관한 보정값의 산출]
다음에, 본 발명의 제1 실시예에 관한 보정값의 산출에 대해서 설명한다. 본 발명의 제1 실시예에 관한 보정값의 산출은, 퍼지 추론(Fuzzy Inference)을 이용하여 행할 수 있다. 보다 엄밀하게는, 본 발명의 제1 실시예에 관한 보정값의 산출은, 소정의 멤버쉽 함수(Membership function)를 이용하여 추론의 결과를 수치로 치환하는 비퍼지화(Deffuzify)에 의해 산출된다. 여기서, 멤버쉽 함수란, 퍼지 집합(Fuzzy Set)의 요소가 당해 집합에 속하는 정도를 나타내는 함수이다. 멤버쉽 함수의 종축방향의 값을 그레이드라고 부르기로 한다. 또한, 퍼지 집합이란, 요소가 집합에 속하는 경우와 속하지 않는 경우의 중간상태를 허용하는 집합이다.
이하에, 본 발명의 제1 실시예에 관한 보정값의 산출의 구체예를 나타낸다. 또, 본 발명의 제1 실시예에 관한 보정값의 산출에 관한 멤버쉽 함수는, 임의로 설정 가능한 함수이고, 이하의 설명에 사용하는 멤버쉽 함수는, 본 발명의 제1 실시예에 관한 보정값의 산출을 한정하는 것은 아니다.
[본 발명의 제1 실시예에 관한 보정값의 제1 산출예]
도 6a 내지 도 6d는, 본 발명의 제1 실시예에 관한 멤버쉽 함수를 이용한 제1예를 나타내는 설명도들이다. 여기서, 도 6a 내지 도 6d에 나타내는 제1예는, 예를 들면 화상이 세로선을 나타내는 경우 등, 화상의 방향이 수직방향으로 특징을 가진 경우를 나타내고 있다.
도면들을 참조하면, 보정값 설정부(118)에서는, 수직방향의 변화량에 관한 제1 특징값(M1) 및 수평방향의 변화량에 관한 제2 특징값(M2) 각각에 대해, 각각 도 6a~도 6d의 4개의 룰이 설정되어 있다.
여기서, 도 6a~도 6d의 멤버쉽 함수의 관계는 이하와 같다.
(1) 도 6a의 멤버쉽 함수: 수직방향의 변화량(Vertical Gradient)과 수평방향의 변화량(Horizontal Gradient)이 모두 작은 경우
(2) 도 6b의 멤버쉽 함수: 수직방향의 변화량(Vertical Gradient)이 작고, 수평방향의 변화량(Horizontal Gradient)이 큰 경우
(3) 도 6c의 멤버쉽 함수: 수평방향의 변화량(Horizontal Gradient)이 작고, 수직방향의 변화량(Vertical Gradient)이 큰 경우
(4) 도 6d의 멤버쉽 함수: 수직방향의 변화량(Vertical Gradient)과 수평방향의 변화량(Horizontal Gradient)이 모두 큰 경우
이하에서는, 도 6a를 패턴 0, 도 6b를 패턴 1, 도 6c를 패턴 2 및 도 6d를 패턴 3으로서 설명한다.
또한, 도 6a~도 6d 각각의 멤버쉽 함수로 설정되는 KH_v, KL_v, KH_h 및 KL_h는, 도 6a~도 6d에서 동일한 값이다. 여기서, 상기 KH_v, KL_v, KH_h 및 KL_h는 임의로 설정할 수 있다. 본 발명의 제1 실시예에 관한 보정값 설정부(118)에서는, 상기 KH_v, KL_v, KH_h 및 KL_h를 임의로 설정함으로써 멤버쉽 함수를 임의로 설정할 수 있다. 또한, 보정값 설정부(118)에서는, 패턴 0~패턴 3 각각에 있어서, 수직방향에 대한 무게부여 계수(V_Rn) 및 수평방향에 대한 무게부여 계수(H_Rn)를 설정할 수 있다. 또, 이하에 나타내는 패턴 0~패턴 3 각각에 있어서 설정되는 무게부여 계수(V_Rn) 및 무게부여 계수(H_Rn)는 일례이고, 본 발명의 실시예에 관한 무게부여 계수(V_Rn) 및 무게부여 계수(H_Rn)를 한정하는 것이 아닌 것은 물론이다.
<패턴 0>
도 6a를 참조하면, 패턴 0에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=1이 되고, 제2 특징값(M2x)에서의 그레이드값(M2)은 M2=0이 된다. 따라서, 패턴 0에서의 그레이드값의 최소값(Rn)(여기서, n은 비음정수임. 이하, 동일하게 함.)은 R0=0이 된다.
또한, 패턴 0은, 수직방향의 변화량과 수평방향의 변화량이 모두 작은 경우이므로, 수직방향에 대한 무게부여 계수(V_R0) 및 수평방향에 대한 무게부여 계수(H_R0)는 각각 동일하게 설정하는 것이 바람직하다.
<패턴 1>
도 6b를 참조하면, 패턴 1에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=1이 되고, 제2 특징값(M2x)에서의 그레이드값(M2)도 M2=1이 된다. 따라서, 패턴 1에서의 그레이드값의 최소값(Rn)은 R1=1이 된다.
또한, 패턴 1은, 수직방향의 변화량이 작고, 수평방향의 변화량이 큰 경우이므로, 수직방향에 대한 무게부여 계수(V_R1) 및 수평방향에 대한 무게부여 계수(H_R1)는 수평방향보다도 수직방향을 크게 설정하는 것이 바람직하다.
<패턴 2>
도 6c를 참조하면, 패턴 2에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=0이 되고, 제2 특징값(M2x)에서의 그레이드값(M2)은 M2=1이 된다. 따라서, 패턴 2에서의 그레이드값의 최소값(Rn)은 R2=0이 된다.
또한, 패턴 2는, 수평방향의 변화량이 작고, 수직방향의 변화량이 큰 경우 이므로, 수직방향에 대한 무게부여 계수(V_R2) 및 수평방향에 대한 무게부여 계수(H_R2)는 수직방향보다도 수평방향을 크게 설정하는 것이 바람직하다.
<패턴 3>
도 6d를 참조하면, 패턴 3에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=0이 되고, 제2 특징값(M2x)에서의 그레이드값(M2)은 M2=1이 된다. 따라서, 패턴 3에서의 그레이드값의 최소값(Rn)은 R3=0이 된다.
또한, 패턴 3은, 수직방향의 변화량과 수평방향의 변화량이 모두 큰 경우이므로, 수직방향에 대한 무게부여 계수(V_R3) 및 수평방향에 대한 무게부여 계수(H_R3)는 각각 동일하게 설정하는 것이 바람직하다.
도 7은, 도 6a 내지 도 6d에 나타내는 제1예에 있어서, 본 발명의 실시예에 관한 보정값을 산출하기 위해 설정되는 값의 일례를 나타내는 설명도이다. 여기서, 도 7에서는, 수직방향에 대한 무게부여 계수(V_Rn) 및 수평방향에 대한 무게부여 계수(H_Rn)의 합이 16이 되도록 설정되어 있다. 이는, 예를 들면 비트(bit)로 표현함으로써, 보정값 설정부(118)에서의 보정값의 산출처리 등을 용이하게 하기 위해서이다. 따라서, 도 7은, 4비트로 표현하기 위해 16이 설정되어 있는데, 본 발명의 실시예에 관한 수직방향에 대한 무게부여 계수(V_Rn) 및 수평방향에 대한 무게부여 계수(H_Rn)의 설정이 상기에 한정되지 않는 것은 물론이다.
또, 보정값 설정부(118)는, 예를 들면 도 6a 내지 도 6d에 나타내는 멤버쉽 함수를 이용하여 설정한 값(R0~R3, V_R0~V_R3 및 H_R0~H_R3)을 이용함으로써, 제1 보간값 산출부(112)에서 산출되는 보간값(VV)을 보정하는 보정값(Wgt_v)을 수학식 9에 의해 산출할 수 있다.
Figure 112007033653304-pat00001
수학식 9로부터, 제1 산출예에서의 보간값(VV)을 보정하는 보정값(Wgt_v)은, 수학식 10에 나타내는 바와 같이 Wgt_v=16이 된다.
Figure 112007033653304-pat00002
또한, 보정값 설정부(118)는, 제2 보간값 산출부(114)에서 산출되는 보간값(VH)을 보정하는 보정값(Wgt_h)을 수학식 11에 의해 산출할 수 있다.
Figure 112007033653304-pat00003
수학식 11로부터, 제1 산출예에서의 보간값(VH)을 보정하는 보정값(Wgt_h)은, 수학식 12에 나타내는 바와 같이 Wgt_h=0이 된다.
Figure 112007033653304-pat00004
보정값 설정부(118)는, 도 6a 내지 도 6d에 나타내는 제1예에서는, 수학식 10에 나타내는 보정값(Wgt_v) 및 수학식 12에 나타내는 보정값(Wgt_h)을 산출할 수 있다. 다음에, 본 발명의 제1 실시예에 관한 보정값의 제2 산출예를 나타낸다.
[본 발명의 제1 실시예에 관한 보정값의 제2 산출예]
도 8a 내지 도 8d는, 본 발명의 제1 실시예에 관한 멤버쉽 함수를 이용한 제2예를 나타내는 설명도들이다. 여기서, 도 8a 내지 도 8d에 나타내는 제2예는, 화상의 방향이 불명확한 경우를 나타내고 있다.
도면들을 참조하면, 도 6a 내지 도 6d에 나타내는 제1예와 같이, 보정값 설정부(118)에서는, 수직방향의 변화량에 관한 제1 특징값(M1x) 및 수평방향의 변화량에 관한 제2 특징값(M2x) 각각에 대해, 각각 도 8a~도 8d의 4개의 룰이 설정되어 있다.
여기서, 도 8a~도 8d의 멤버쉽 함수의 관계는 이하와 같다.
(1) 도 8a의 멤버쉽 함수: 수직방향의 변화량(Vertical Gradient)과 수평방향의 변화량(Horizontal Gradient)이 모두 작은 경우
(2) 도 8b의 멤버쉽 함수: 수직방향의 변화량(Vertical Gradient)이 작고, 수평방향의 변화량(Horizontal Gradient)이 큰 경우
(3) 도 8c의 멤버쉽 함수: 수평방향의 변화량(Horizontal Gradient)이 작고, 수직방향의 변화량(Vertical Gradient)이 큰 경우
(4) 도 8d의 멤버쉽 함수: 수직방향의 변화량(Vertical Gradient)과 수평방향의 변화량(Horizontal Gradient)이 모두 큰 경우
이하에서는, 도 6a 내지 도 6d에 나타내는 제1예와 같이, 도 8a를 패턴 0, 도 8b를 패턴 1, 도 8c를 패턴 2 및 도 8d를 패턴 3으로 한다.
<패턴 0>
도 8a를 참조하면, 패턴 0에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=0.75가 되고, 제2 특징값(M2x)에서의 그레이드값(M2)은 M2=0.25가 된다. 따라서, 패턴 0에서의 그레이드값의 최소값(Rn)은 R0=0.25가 된다.
또한, 패턴 0은, 도 6a에 나타내는 제1예와 같이, 수직방향의 변화량과 수평방향의 변화량이 모두 작은 경우이므로, 수직방향에 대한 무게부여 계수(V_R0) 및 수평방향에 대한 무게부여 계수(H_R0)는 각각 동일하게 설정하는 것이 바람직하다.
<패턴 1>
도 8b를 참조하면, 패턴 1에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=0.75가 되고, 제2 특징값(M2x)에서의 그레이드값(M2)도 M2=0.75가 된다. 따라서, 패턴 1에서의 그레이드값의 최소값(Rn)은 R1=0.75가 된다.
또한, 패턴 1은, 도 6b에 나타내는 제1예와 같이, 수직방향의 변화량이 작고, 수평방향의 변화량이 큰 경우이므로, 수직방향에 대한 무게부여 계수(V_R1) 및 수평방향에 대한 무게부여 계수(H_R1)는 수평방향보다도 수직방향을 크게 설정하는 것이 바람직하다.
<패턴 2>
도 8c를 참조하면, 패턴 2에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=0.25가 되고, 제2 특징값(M2x)에서의 그레이드값(M2)은 M2=0.75가 된다. 따라서, 패턴 2에서의 그레이드값의 최소값(Rn)은 R2=0.25가 된다.
또한, 패턴 2는, 도 6c에 나타내는 제1예와 같이, 수평방향의 변화량이 작고, 수직방향의 변화량이 큰 경우이므로, 수직방향에 대한 무게부여 계수(V_R2) 및 수평방향에 대한 무게부여 계수(H_R2)는 수직방향보다도 수평방향을 크게 설정하는 것이 바람직하다.
<패턴 3>
도 8d를 참조하면, 패턴 3에서는, 제1 특징값(M1x)에서의 그레이드값(M1)은 M1=0.25가 되고, 제2 특징값(M2x)에서의 그레이드값(M2)은 M2=0.75가 된다. 따라서, 패턴 3에서의 그레이드값의 최소값(Rn)은 R3=0.25가 된다.
또한, 패턴 3은, 도 6d에 나타내는 제1예와 같이, 수직방향의 변화량과 수평방향의 변화량이 모두 큰 경우이므로, 수직방향에 대한 무게부여 계수(V_R3) 및 수평방향에 대한 무게부여 계수(H_R3)는 각각 동일하게 설정하는 것이 바람직하다.
도 9는, 도 8a 내지 도 8d에 나타내는 제2예에 있어서, 본 발명의 실시예에 관한 보정값을 산출하기 위해 설정되는 값의 일례를 나타내는 설명도이다. 여기서, 도 9에서는, 도 6a 내지 도 6d에 나타내는 제1예와 같이, 수직방향에 대한 무게부여 계수(V_Rn) 및 수평방향에 대한 무게부여 계수(H_Rn)의 합이 16이 되도록 설정되어 있다.
또, 보정값 설정부(118)는, 도 6a 내지 도 6d에 나타내는 제1예와 같이, 예를 들면 도 8a 내지 도 8d에 나타내는 멤버쉽 함수를 이용하여 설정한 값(R0~R3, V_R0~V_R3 및 H_R0~H_R3), 수학식 9 및 수학식 11에 의해, 보간값(VV)을 보정하는 보정값(Wgt_v) 및 보간값(VH)을 보정하는 보정값(Wgt_h)을 산출할 수 있다.
수학식 9로부터, 제2 산출예에서의 보간값(VV)을 보정하는 보정값(Wgt_v)은, 수학식 13에 나타내는 바와 같이 Wgt_v=11이 된다.
Figure 112007033653304-pat00005
또한, 수학식 11로부터, 제2 산출예에서의 보간값(VH)을 보정하는 보정값(Wgt_h)은, 수학식 14에 나타내는 바와 같이 Wgt_h=5가 된다.
Figure 112007033653304-pat00006
여기서, 수학식 13, 수학식 14에서는, 사사오입에 의해 보정값을 정수화하고 있는데, 본 발명의 실시예에 관한 보정값의 산출은, 상기에 한정되지 않고, 예를 들면 소수점 이하를 잘라 버려도 된다.
보정값 설정부(118)는, 도 8a 내지 도 8d에 나타내는 제2예에서는, 수학식 13에 나타내는 보정값(Wgt_v) 및 수학식 14에 나타내는 보정값(Wgt_h)을 산출할 수 있다.
상술한 바와 같이, 보정값 설정부(118)는, 주목화소 각각에서의 수직방향 및 수평방향의 2개의 방향에 대한 보정값의 산출을 퍼지 추론을 이용하여 행할 수 있다. 퍼지 추론을 이용함으로써, 보정값 설정부(118)는, 입력화상에 따르지 않고, 주목화소 각각에 있어서 수직방향 및 수평방향의 2개의 방향에 대한 최적의 보정값을 각각 산출할 수 있다.
또, 보정값 설정부(118)에서는, 상술한 제1예 및 제2예에 나타내는 바와 같이, 퍼지 추론의 적용 시에 4개의 룰을 이용하여 2개의 보정값을 도출하였다. 그러나, 본 발명의 실시예에 관한 보정값 설정부는 상기에 한정되지 않고, 예를 들면 퍼지 룰(Fuzzy Rule), 멤버쉽 함수 및 당해 멤버쉽 함수에 의해 산출하는 보정값의 수를 늘릴 수도 있다.
또한, 보정값 설정부(118)는, 주목화소 각각에서 산출한 수직방향 및 수평방향의 2개의 방향에 대한 보정값을, 예를 들면 보정값 설정부(118)가 가지는 기억수단에 유지할 수 있다. 여기서, 보정값 설정부(118)가 가지는 기억수단으로서는, 예를 들면 하드디스크 등의 자기기록매체나, 플래시 메모리 등의 비휘발성 메모리, 광 자기디스크 등을 들 수 있는데, 상기에 한정되지 않는 것은 물론이다. 또, 상기 보정값의 유지는, 상기에 한정되지 않고, 예를 들면 화상처리장치(100)가 기억부(도시생략)를 구비하고, 당해 기억부에 보정값 설정부(118)에서 산출하여 설정된 보정값을 유지시킬 수도 있다.
이상과 같이, 보정값 산출부(106)는, 특징값 산출부(116)와 보정값 설정부(118)를 구비함으로써, 입력화상으로부터 화소마다 특징값을 산출하고, 특징값에 기초하여, 주목화소마다 보간값(VV)을 보정하는 보정값(Wgt_v) 및 보간값(VH)을 보정하는 보정값(Wgt_h)을 산출하고, 설정할 수 있다.
보간값 보정부(108)는, 제1 보정부(120)와 제2 보정부(122)를 구비한다. 제1 보정부(120)는, 주목화소마다 제1 보간값 산출부(112)에서 산출되는 보간값(VV)을 보정값 산출부(106)에서 설정되는 보정값(Wgt_v)에 기초하여 보정한다. 여기서, 제1 보정부(120)에서는, 예를 들면 보간값(VV)에 보정값(Wgt_v)을 승산함으로써(이 때, 보정값(Wgt_v)은 계수가 됨.), 보간값(VV)의 보정을 행할 수 있다. 또, 제1 보정부(120)에서의 보간값(VV)의 보정의 수단은, 상기에 한정되지 않고, 예를 들면 보간값(VV)에 보정값(Wgt_v)을 가산, 감산해도 된다.
또한, 제2 보정부(122)는, 주목화소마다 제2 보간값 산출부(114)에서 산출되는 보간값(VH)을 보정값 산출부(106)에서 설정되는 보정값(Wgt_h)에 기초하여 보정한다. 여기서, 제2 보정부(122)에서는, 제1 보정부(120)와 같이, 예를 들면 보간값(VH)에 보정값(Wgt_h)을 승산함으로써(이 때, 보정값(Wgt_h)은 계수가 됨.), 보간값(VH)의 보정을 행할 수 있다. 또, 제2 보정부(122)에서의 보간값(VH)의 보정의 수단은, 상기에 한정되지 않는 것은 물론이다.
또한, 보간값 보정부(108)에서의 보간값(VV) 및 보간값(VH)의 보정은, 예를 들면 보간값 보정부(108)가 보간값 산출부(104)가 가지는 기억수단으로부터 보간값(VV) 및 보간값(VH)을 적절히 판독하고, 또한 보간값 보정부(108)가 보정값 산출부(106)가 가지는 기억수단으로부터 보정값(Wgt_v) 및 보정값(Wgt_h)을 적절히 판독함으로써 행할 수 있다.
또, 본 발명의 실시예에서의 보간값(VV) 및 보간값(VH)과 보정값(Wgt_v) 및 보정값(Wgt_h)의 판독수단은 상기에 한정되지 않는다. 예를 들면, 보간값 보정부(108)가 기억수단을 가지고, 보간값 산출부(104) 및 보정값 산출부(106) 각각이 주목화소마다의 보간값(VV) 및 보간값(VH)과 보정값(Wgt_v) 및 보정값(Wgt_h)을 보간값 보정부(108)가 가지는 기억수단에 기억시킬 수도 있다. 상기의 경우, 보간값 보정부(108)는, 보간값 보정부(108)가 가지는 기억수단으로부터, 주목화소마다의 보간값(VV) 및 보간값(VH)과 보정값(Wgt_v) 및 보정값(Wgt_h)을 판독하고, 주목화소마다 보간값(VV) 및 보간값(VH)을 보정할 수 있다.
여기서, 보간값 보정부(108)가 가지는 기억수단으로서는, 예를 들면 하드디스크 등의 자기기록매체나, 플래시 메모리 등의 비휘발성 메모리, 광 자기디스크 등을 들 수 있는데, 상기에 한정되지 않는 것은 물론이다.
또한, 예를 들면 화상처리장치(100)가 기억부(도시생략)를 구비하고 있는 경우에는, 보간값 보정부(108)는, 화상처리장치(100)가 구비하는 기억부(도시생략)로부터, 주목화소마다의 보간값(VV) 및 보간값(VH)과 보정값(Wgt_v) 및 보정값(Wgt_h)을 판독하고, 주목화소마다 보간값(VV) 및 보간값(VH)을 보정할 수도 있다.
보정화상 생성부(110)는, 보간값 보정부(108)가 보정한 보간값(VV´) 및 보간값(VH´)에 기초하여, 주목화소마다 입력화상을 보정한다. 보정화상 생성부(110)에서 주목화소마다 산출되는 보정 후의 화소값(Pout)은, 예를 들면 수학식 15로 나타낼 수 있다. 여기서, 수학식 15에 있어서, E는 주목화소의 화소값을 나타낸다. 또한, 수학식 15의 제2항의 분모에 설정되어 있는 「16」은, 비트에서의 표현을 용이하게 하기 위해 설정된 값으로, 임의로 설정할 수 있다.
Figure 112007033653304-pat00007
수학식 15에 나타내는 바와 같이, 보정화상 생성부(110)는, 주목화소의 화소값으로부터, 보정 후의 보간값(VV´)(즉, 「Wgt_v×VV」) 및 보간값(VH´)(즉, 「Wgt_h×VH」)의 평균값을 감산함으로써, 주목화소마다 화소값을 치환한다. 따라서, 보정화상 생성부(110)로부터 출력되는 화상은, 입력화상이 보정된 보정화상이 된다.
또, 수학식 15에서는, 보정 후의 보간값(VV´) 및 보간값(VH´)이라는 2개의 보간값에 관한 가중평균값을 이용하여 보정 후의 화소값(Pout)을 산출하였지만, 본 발명의 실시예에 관한 보정 후의 화소값(Pout)의 산출방법은, 상기에 한정되지 않고, 예를 들면 보정 후의 화소값(Pout)을 가중평균값이 3이상의 보간값으로부터 도출할 수도 있다. 가중평균값이 3이상의 보간값으로부터 도출되는 경우에는, 예를 들면 퍼지 룰, 멤버쉽 함수 및 당해 멤버쉽 함수에 의해 산출하는 보정값의 수를 늘리면 된다. 또한, 본 발명의 실시예에 관한 보정 후의 화소값(Pout)의 산출방법은, 수학식 15에 한정되지 않는 것은 물론이다.
이상과 같이, 본 발명의 제1 실시예에 관한 화상처리장치(100)는, 입력화상으로부터 색차화상을 생성하고, 주목화소마다 복수의 방향(수직방향 및 수평방향) 에서의 복수의 보간값을 산출한다. 또한, 화상처리장치(100)는, 주목화소마다 복수의 방향(수직방향 및 수평방향)에서의 복수의 특징값을 산출하고, 당해 특징값과 퍼지 추론에 기초하여, 당해 주목화소마다의 복수의 보간값을 보정하는 보정값을 설정한다. 그리고, 화상처리장치(100)는, 설정한 보정값을 이용하여 보간값을 주목화소마다 보정하고, 입력화상이 보정된 보정화상을 출력한다.
또한, 본 발명의 제1 실시예에 관한 화상처리장치(100)는, 퍼지 추론을 이용하여 주목화소마다의 복수의 보간값을 보정하는 보정값을 설정하는 것이 가능하므로, 입력화상에 따르지 않고 주목화소마다 적절한 보정값을 설정할 수 있다. 따라서, 본 발명의 실시예에 관한 화상처리장치(100)는, 비록 입력화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 주목화소마다 화소값을 치환하여 화상의 잡음을 제거할 수 있다.
또한, 본 발명의 제1 실시예에서는, 화상처리장치(100)를 들어 설명하였지만, 본 발명의 실시예는, 이러한 형태에 한정되지 않고, 예를 들면 디지털 카메라 등의 촬상장치 또는 디지털 카메라 기능부착 휴대전화 등의 촬상기능을 가지는 통신장치 등에 적용할 수 있다. 또, 촬상장치에의 적용에 대해서는 후술한다.
(화상처리장치의 제2 실시예)
본 발명의 실시예에 관한 화상처리장치로서, 제1 실시예에 관한 화상처리장치(100)에서는, 도 1에 나타내는 보간처리(20)를 행하는 화상처리장치에 대해서 설명하였다. 그러나, 본 발명의 실시예에 관한 화상처리장치가 행하는 것이 가능한 처리는, 보간처리에 한정되지 않는다. 그래서, 다음에, 본 발명의 제2 실시예에 관 한 화상처리장치에 대해서 설명한다.
도 10은, 본 발명의 제2 실시예에 관한 화상처리장치에서의 처리의 개요를 나타내는 블록도이다. 여기서, 화상처리장치(200)는, 도 1에 나타내는 엣지 강조처리(60)를 행하는 화상처리장치이다.
도 10을 참조하면, 화상처리장치(200)에서는, 잡음 리덕션·엣지 추출처리(202), 엣지 강조 게인 설정처리(204), 보정처리(206), 보정화상 생성처리(208)가 행해진다. 또한, 화상처리장치(200)에 입력되는 화상(입력화상)은, 예를 들면 도 1의 YCbCr 변환처리(50)로부터 출력되는 휘도화상이다.
잡음 리덕션·엣지 추출처리(202)는, 도 2에 나타내는 특징화상 생성부(102) 및 보간값 산출부(104)에서 행해지는 처리에 대응하는 처리로서, 입력되는 휘도화상으로부터 주목화소마다 엣지를 추출하고, 보간값을 산출한다. 여기서, 잡음 리덕션·엣지 추출처리(202)에서의 엣지 추출은, 예를 들면 라플라시안 필터(Laplacian Filter)에 의해 행할 수 있다.
엣지 강조 게인 설정처리(204)는, 도 2에 나타내는 보정값 산출부(106)에서 행해지는 처리에 대응하는 처리로서, 제1 실시예에 관한 화상처리장치(100)와 같이, 입력되는 휘도화상으로부터 주목화소마다 특징값을 산출하고, 퍼지 추론을 이용하여 주목화소마다의 보간값을 보정하는 보정값을 설정한다.
보정처리(206)는, 도 2에 나타내는 보간값 보정부(108)에서 행해지는 처리에 대응하는 처리로서, 제1 실시예에 관한 화상처리장치(100)와 같이, 주목화소마다의 보간값을 보정한다.
보정화상 생성처리(208)는, 도 2에 나타내는 보정화상 생성부(110)에서 행해지는 처리에 대응하는 처리로서, 제1 실시예에 관한 화상처리장치(100)와 같이, 주목화소마다 화소값을 치환한다. 따라서, 보정화상 생성처리(208)로부터는, 입력되는 휘도화상을 보정한 보정화상이 출력된다.
이상과 같이, 본 발명의 제2 실시예에 관한 화상처리장치(200)는, 퍼지 추론을 이용하여 주목화소마다의 복수의 보간값을 보정하는 보정값을 설정하는 것이 가능하므로, 입력화상에 따르지 않고 주목화소마다 최적의 보정값을 설정할 수 있다. 따라서, 본 발명의 제2 실시예에 관한 화상처리장치(200)는, 비록 입력화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 주목화소마다 화소값을 치환하여 화상의 잡음을 제거할 수 있다.
또한, 본 발명의 제2 실시예에서는, 화상처리장치(200)를 들어 설명하였지만, 본 발명의 실시예는, 이러한 형태에 한정되지 않고, 예를 들면 디지털 카메라 등의 촬상장치 또는 디지털 카메라 기능부착 휴대전화 등의 촬상기능을 가지는 통신장치 등에 적용할 수 있다.
(화상처리에 관한 프로그램)
상술한 본 발명의 제1 및 제2 실시예에 나타내는 화상처리장치를 컴퓨터로서 기능시키기 위한 프로그램에 의해, 처리하는 화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 주목화소마다 화소값을 치환하여 화상의 잡음을 제거하는 것이 가능하게 된다.
(화상처리방법)
다음에, 본 발명의 실시예에 관한 화상처리방법에 대해서 설명한다. 도 11은, 본 발명의 실시예에 관한 화상처리방법을 나타내는 흐름도이다. 또, 이하에서는, 처리를 행하는 화상이 베이어 배열에 규정되는 순서에 따른 촬상소자로부터 얻어진 화상이라고 하여 설명하지만, 본 발명의 실시예에 관한 화상처리방법은 상기에 한정되지 않는다.
우선, 주목화소를 결정한다(S100). 여기서, 단계 S100에서의 주목화소는, 예를 들면 B 또는 R의 화소라고 할 수 있다.
주목화소를 보간하는 보간값을 산출하고, 입력화상(처리하는 화상)의 특징에 기초하여 보간값을 보정한다(S102). 이하, 단계 S102에서 행해지는 처리를 보다 상세하게 설명한다.
[단계 S102에서의 처리 1]
특징신호를 생성한다(S104). 여기서, 특징신호란, 예를 들면 색차신호나 엣지신호 등을 들 수 있다.
단계 S104에서 생성된 특징신호를 이용하여, 주목화소에 대해 복수의 방향에서의 복수의 보간값을 산출한다(S106). 여기서, 단계 S106에서의 복수의 방향이란, 예를 들면 수직방향 및 수평방향의 2방향을 들 수 있다. 그러나, 단계 S106에서 산출되는 보간값은, 상기 수직방향 및 수평방향의 2방향에 의해 산출되는 것에 한정되지 않고, 예를 들면 수직방향, 수평방향 및 비스듬한 2방향의 합계 4방향에 의해 산출할 수도 있다.
[단계 S102에서의 처리 2]
주목화소에 대해, 복수의 방향에서의 특징값을 산출한다(S108). 여기서, 복수의 방향에서의 특징값이란, 예를 들면 수직방향의 화소값의 변화량, 수평방향의 변화량을 들 수 있다. 또, 단계 108에서 산출되는 특징값이 수직방향의 화소값의 변화량 및 수평방향의 변화량에 한정되지 않는 것은 물론이다.
단계 S108에서 산출된 특징값을 이용하여, 단계 S106에서 산출된 복수의 방향에서의 복수의 보간값 각각을 보정하는 보정값을 설정한다(S110). 여기서, 보정값의 설정은, 예를 들면 퍼지 추론을 이용하여 행할 수 있다. 보다 상세하게는, 단계 S110에서는, 예를 들면 단계 S108에서 산출된 특징값 및 미리 설정한 복수의 멤버쉽 함수 및 수학식 9, 수학식 11을 이용하여 보정값을 산출할 수 있다.
[단계 S102에서의 처리 3]
단계 S106에서 산출된 복수의 방향에서의 복수의 보간값과, 단계 S110에서 설정된 당해 복수의 보간값 각각을 보정하는 보정값에 기초하여, 당해 복수의 보간값 각각을 보정한다(S112). 여기서, 단계 S112에서의 보간값의 보정은, 예를 들면 단계 S106에서 산출된 보간값에 단계 S110에서 설정된 보정값을 승산함으로써 행할 수 있지만, 상기에 한정되지 않는다.
이상과 같이, 단계 S102에서는, 상술한 처리 1~3을 행함으로써, 주목화소를 보간하는 보간값을 산출하고, 입력화상의 특징에 기초하여 보간값을 보정한다.
보간 가능한 모든 화소에서 보간값의 보정이 행해졌는지의 여부를 판정한다(S114). 여기서, 단계 S114에서의 판정은, 예를 들면 미리 보간하는 화소와, 당해 보간하는 화소에 대응하는 화소수가 정해지고, 당해 화소수분 보간값의 보정이 행해졌는지의 여부로 행해도 된다. 또한, 단계 S114에서의 판정은, 상기에 한정되지 않고, 예를 들면 입력화상이 가지는 화소수분 보간값의 보정이 행해졌는지의 여부로 행할 수도 있다.
단계 S114에 있어서, 보간 가능한 모든 화소에서 보간값의 보정이 행해지지 않는다고 판정된 경우는, 주목화소를 변경하고(S116), 단계 S102~단계 S114의 처리를 반복한다.
또한, 단계 S114에 있어서, 보간 가능한 모든 화소에서 보간값의 보정이 행해진다고 판정된 경우에는, 보간값이 보정된 모든 화소의 화소값의 치환을 행하고, 입력화상의 보정을 행한다(S118).
이상과 같이, 본 발명의 실시예에 관한 화상처리방법은, 퍼지 추론을 이용하여 주목화소마다의 복수의 보간값을 보정하는 보정값을 설정하는 것이 가능하므로, 입력화상에 따르지 않고 주목화소마다 최적의 보정값을 설정할 수 있다. 따라서, 본 발명의 실시예에 관한 화상처리방법은, 비록 입력화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 주목화소마다 화소값을 치환하여 화상의 잡음을 제거할 수 있다.
(본 발명의 실시예에 관한 촬상장치)
다음에, 도 2, 도 10에 나타낸 본 발명의 실시예에 관한 화상처리장치를 적용한 촬상장치에 대해서 설명한다. 도 12는, 본 발명의 실시예에 관한 촬상장치(300)를 나타내는 블록도이다.
도 12를 참조하면, 본 발명의 실시예에 관한 촬상장치(300)는, 적어도 촬상 부(302), 화상데이터 생성부(304), 화상처리부(306)를 구비한다.
촬상부(302)는, 예를 들면 렌즈(Lens)와 CCD 등의 촬상소자로 구성할 수 있고, 촬상을 행한다.
화상데이터 생성부(304)는, 촬상부(302)가 촬상한 결과로부터 촬상데이터 화상을 생성한다. 여기서, 화상데이터 생성부(304)는, 예를 들면 AGC(Automatic Gain Control)회로, ADC(Analog to Digital Converter)를 구비하고, 촬상부(302)로부터 입력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 또한, 화상데이터 생성부(304)는, TG(Timing Generator)를 더 구비할 수 있고, 촬상부(302)로부터의 아날로그 신호의 판독 타이밍을 제어할 수도 있다. 여기서, 상기 AGC회로, ADC 및 TG는 총칭하여 AFE(Analog Front End)라고 불린다.
화상처리부(306)는, 화상데이터 생성부(304)가 생성한 촬상데이터 화상에 대해 화상처리를 행하고, 기록화상을 생성할 수 있다. 여기서, 화상처리부(306)에서 행해지는 화상처리로서는, 예를 들면 도 1에 나타내는 처리를 들 수 있다. 따라서, 촬상장치(300)는, 화상처리부(306)에서 본 발명의 제1 실시예에 관한 화상처리장치(100) 및/또는 제2 실시예에 관한 화상처리장치(200)를 구비할 수 있다.
따라서, 화상처리부(306)에서는, 보간처리를 행하는 부분에 본 발명의 제1 실시예에 관한 화상처리장치(100)가 적용됨으로써, 처리하는 화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 화상의 잡음을 제거할 수 있다. 또한, 화상처리부(306)에서는, 엣지 강조처리를 행하는 부분에 본 발명의 제2 실시예에 관한 화상처리장치(200)가 적용됨으로써, 처리하는 화상이 엣지 상에 잡 음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 화상의 잡음을 제거할 수 있다.
또한, 촬상장치(300)는, 제어부(308), 기억부(310), 표시부(312), 조작부(314)를 더 구비할 수 있다.
제어부(308)는, 예를 들면 MPU(Micro Processing Unit)로 구성되고, 촬상장치(300) 전체의 처리를 제어할 수 있다.
기억부(310)는, 화상처리부(306)가 생성한 기록화상을 기억할 수 있다. 여기서, 기억부(310)로서는, 예를 들면 하드디스크 등의 자기기록매체나, 플래시 메모리 등의 비휘발성 메모리, 광 자기디스크 등을 들 수 있다. 또한, 기억부(310)는, 예를 들면 메모리 카드 등 촬상장치(300)로부터 착탈가능한 부이어도 된다.
표시부(312)는, 화상처리부(306)가 생성한 기록화상 또는 기억부(310)에 기억되어 있는 화상을 표시한다. 표시부(312)로서는, 예를 들면 TFT(Thin Film Transistor) 등을 들 수 있다.
조작부(314)는, 여러가지 처리를 행하게 하기 위한 조작명령을 제어부(308)에 전달하기 위한 디바이스이다. 조작부(314)로서는, 예를 들면 누름버튼 스위치나 레버 스위치 등을 들 수 있다.
이상과 같이, 본 발명의 실시예에 관한 촬상장치(300)는, 화상데이터 생성부(304)에서 생성된 촬상데이터 화상을 화상처리부(306)에서 화상처리할 수 있다. 여기서, 촬상장치(300)는, 화상처리부(306) 내에 본 발명의 제1 실시예에 관한 화상처리장치(100) 및/또는 본 발명의 제2 실시예에 관한 화상처리장치(200)를 구비 할 수 있다.
따라서, 본 발명의 실시예에 관한 촬상장치(300)는, 화상처리부(306)에서 처리하는 화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 화상의 잡음을 제거할 수 있으므로, 종래의 화상처리기술에 의해 보정된 화상과 같이 부자연스러운 화상이 되는 일은 없다.
또한, 본 발명의 실시예에서는, 촬상장치(300)를 들어 설명하였지만, 본 발명의 실시예는, 이러한 형태에 한정되지 않고, 디지털 카메라나 카메라 기능부착 휴대전화 등 촬상기능을 가지는 장치에 적용할 수 있다.
이상, 첨부도면을 참조하면서 본 발명의 매우 적합한 실시예에 대해서 설명하였지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이다. 당업자이면, 특허청구범위에 기재된 범주 내에서, 각종의 변경예 또는 수정예에 상도할 수 있는 것은 명백하고, 그들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 도 2에 나타내는 본 발명의 제1 실시예에 관한 화상처리장치(100)에서는, 보간값 산출부(104)가 수직방향의 보간값을 산출하는 제1 보간값 산출부(112)와 수평방향의 보간값을 산출하는 제2 보간값 산출부(114)의 2개를 구비하는 구성을 나타냈지만, 이러한 형태에 한정되지 않고, 본 발명의 실시예에 관한 화상처리장치가 3이상의 보간값을 산출해도 된다. 이러한 구성이어도, 퍼지 룰, 멤버쉽 함수 및 당해 멤버쉽 함수에 의해 산출하는 보정값의 수를 적절히 설정함으로써(예를 들면, 퍼지 룰, 멤버쉽 함수, 보정값의 수를 늘림), 처리하는 화상이 엣 지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 화상의 잡음을 제거할 수 있다.
또한, 도 2에 나타내는 본 발명의 제1 실시예에 관한 화상처리장치(100)에서는, 보정화상 생성부(110)에 대해, 화상처리장치(100)에 입력되는 입력화상이 직접 입력되어 있지만, 이러한 형태에 한정되지 않고, 본 발명의 실시예에 관한 화상처리장치가 화상처리장치에 입력되는 입력화상(신호)을 지연시키는 입력화상 지연부를 보정화상 생성부의 전단에 더 구비해도 된다. 이러한 구성이어도, 본 발명의 제1 실시예에 관한 화상처리장치(100)와 같이, 처리하는 화상이 엣지 상에 잡음을 가지는 화상이라고 해도, 잡음을 검출하지 않고 화상의 잡음을 제거할 수 있다. 또, 상기 구성에서의 입력화상 지연부는, 예를 들면 RAM(Random Access Memory) 등의 메모리 또는 시프트 레지스터(shift register) 등을 이용하여 구성할 수 있지만, 상기에 한정되지 않는다.
상술한 구성은, 당업자가 용이하게 변경할 수 있을 정도의 것이고, 본 발명의 등가범위에 속하는 것으로 이해해야 한다.
본 발명에 의하면, 잡음의 검출을 하지 않고 화상의 잡음을 제거할 수 있다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이 다.

Claims (9)

  1. 입력화상을 화소단위로 처리하는 화상처리장치로서,
    상기 입력화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부;
    상기 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부;
    상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부;
    상기 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부; 및
    상기 보간값 보정부에서 보정된 화소마다의 보간값에 기초하여, 상기 입력화상을 보정하는 보정화상 생성부;를 구비하고,
    상기 보정값 산출부는, 소정의 멤버쉽 함수를 이용한 퍼지 추론에 의해 상기 보정값을 산출하는 것을 특징으로 하는 화상처리장치.
  2. 제1항에 있어서,
    상기 특징화상 생성부는, 상기 입력화상으로부터 색차화상을 생성하고,
    상기 보간값 산출부는,
    보간값을 산출하는 주목화소마다, 상기 주목화소에 인접하는 수직방향의 화소에서의 화소값의 평균값을 산출하는 제1 보간값 산출부;
    상기 주목화소에 인접하는 수평방향의 화소에서의 화소값의 평균값을 산출 하는 제2 보간값 산출부;를 구비하고,
    상기 보정값 산출부는,
    상기 주목화소에서의 수직방향의 변화량 및 수평방향의 변화량을 특징값으로서 산출하는 특징값 산출부;
    상기 특징값 산출부가 주목화소마다 산출한 상기 수직방향의 변화량에 대응하는 보정값과, 상기 수평방향의 변화량에 대응하는 보정값을 주목화소마다 산출하여 설정하는 보정값 설정부;를 구비하고,
    상기 보간값 보정부는,
    상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수직방향의 변화량에 대응하는 보정값에 기초하여, 상기 제1 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제1 보정부;
    상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수평방향의 변화량에 대응하는 보정값에 기초하여, 상기 제2 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제2 보정부;를 구비하고,
    상기 보정화상 생성부는, 상기 제1 보정부가 보정한 상기 주목화소마다의 보간값과 상기 제2 보정부가 보정한 상기 주목화소마다의 보간값의 평균값을 상기 주목화소마다 산출하고, 상기 주목화소 각각의 화소값을 치환하는 것을 특징으로 하는 화상처리장치.
  3. 제1항에 있어서,
    상기 입력화상은 휘도화상이고,
    상기 특징화상 생성부는, 상기 입력화상으로부터 휘도차에 기초하여 엣지화상을 생성하는 것을 특징으로 하는 화상처리장치.
  4. 삭제
  5. 입력화상을 화소단위로 처리하는 화상처리방법으로서,
    상기 입력화상으로부터 소정의 특징화상을 생성하는 단계;
    상기 생성하는 단계에서 생성된 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 단계;
    상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 단계;
    상기 보정값을 산출하는 단계에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값을 화소마다 산출하는 단계에서 산출된 화소마다 산출된 보간값을 보정하는 단계;
    상기 보간값을 보정하는 단계에서 보정된 화소마다의 보간값에 기초하여, 상기 입력화상을 보정하는 단계;를 포함하고,
    상기 보정값을 산출하는 단계는,
    소정의 멤버쉽 함수를 이용한 퍼지 추론에 의한 보정값으로 상기 보정값을 산출하는 것을 특징으로 하는 화상처리방법.
  6. 촬상에 의해 얻어진 촬상화상을 화소단위로 보정하는 것이 가능한 촬상장치로서,
    촬상을 행하는 촬상부;
    상기 촬상부에서 촬상된 촬상결과로부터 촬상데이터 화상을 생성하는 화상데이터 생성부;
    상기 촬상데이터 화상이 입력되고, 상기 촬상데이터 화상을 보정하는 화상처리부;를 구비하고,
    상기 화상처리부는,
    화상으로부터 소정의 특징화상을 생성하는 특징화상 생성부;
    상기 특징화상 생성부가 생성한 특징화상에 기초하여, 화소값을 보간하는 보간값을 화소마다 복수 산출하는 보간값 산출부;
    상기 입력화상으로부터 화소마다 특징값을 산출하고, 상기 특징값에 기초하여, 상기 화소마다 산출되는 복수의 보간값 각각을 보정하는 보정값을 산출하는 보정값 산출부;
    상기 보정값 산출부에서 산출된 화소마다의 보정값에 기초하여, 상기 보간값 산출부에서 화소마다 복수 산출된 보간값 각각을 보정하는 보간값 보정부;
    상기 보간값 보정부에서 보정된 화소마다의 보정값에 기초하여, 상기 입력화상을 보정하는 보정화상 생성부;를 구비하고,
    상기 보정값 산출부는, 소정의 멤버쉽 함수를 이용한 퍼지 추론에 의해 상기 보정값을 산출하는 것을 특징으로 하는 촬상장치.
  7. 제6항에 있어서,
    상기 특징화상 생성부에는, 상기 촬상데이터 화상이 입력되고, 상기 입력화상으로부터 색차화상을 생성하며,
    상기 보간값 산출부는,
    보간값을 산출하는 주목화소마다, 상기 주목화소에 인접하는 수직방향의 화소에서의 화소값의 평균값을 산출하는 제1 보간값 산출부;
    상기 주목화소에 인접하는 수평방향의 화소에서의 화소값의 평균값을 산출하는 제2 보간값 산출부;를 구비하고,
    상기 보정값 산출부는,
    상기 주목화소에서의 수직방향의 변화량 및 수평방향의 변화량을 특징값으로서 산출하는 특징값 산출부;
    상기 특징값 산출부가 주목화소마다 산출한 상기 수직방향의 변화량에 대응하는 보정값과 상기 수평방향의 변화량에 대응하는 보정값을 주목화소마다 산출하여 설정하는 보정값 설정부;를 구비하고,
    상기 보간값 보정부는,
    상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수직방향의 변화량에 대응하는 보정값에 기초하여, 상기 제1 보간값 산출부가 산출한 상기 주목화소마다의 보간값을 보정하는 제1 보정부;
    상기 보정값 설정부가 설정한 상기 주목화소마다의 상기 수평방향의 변화량에 대응하는 보정값에 기초하여, 상기 제2 보간값 산출부가 산출한 상기 주목화소 마다의 보간값을 보정하는 제2 보정부;를 구비하고,
    상기 보정화상 생성부는, 상기 제1 보정부가 보정한 상기 주목화소마다의 보간값과 상기 제2 보정부가 보정한 상기 주목화소마다의 보간값의 평균값을 상기 주목화소마다 산출하고, 상기 주목화소 각각의 화소값을 치환하는 것을 특징으로 하는 촬상장치.
  8. 제6항에 있어서,
    상기 특징화상 생성부에는, 휘도화상이 입력되고, 상기 휘도화상으로부터 휘도차에 기초하여 엣지화상을 생성하는 것을 특징으로 하는 촬상장치.
  9. 삭제
KR1020070043807A 2006-12-25 2007-05-04 화상처리장치, 화상처리방법 및 촬상장치 KR101372853B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00348369 2006-12-25
JP2006348369A JP4958538B2 (ja) 2006-12-25 2006-12-25 画像処理装置、画像処理方法、および撮像装置

Publications (2)

Publication Number Publication Date
KR20080059490A KR20080059490A (ko) 2008-06-30
KR101372853B1 true KR101372853B1 (ko) 2014-03-10

Family

ID=39660976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070043807A KR101372853B1 (ko) 2006-12-25 2007-05-04 화상처리장치, 화상처리방법 및 촬상장치

Country Status (2)

Country Link
JP (1) JP4958538B2 (ko)
KR (1) KR101372853B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271323A (ja) * 1997-03-21 1998-10-09 Sharp Corp 画像処理方法
JP2001245314A (ja) * 1999-12-21 2001-09-07 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
KR20050004096A (ko) * 2003-07-04 2005-01-12 소니 가부시끼 가이샤 화상 처리 장치 및 방법과 프로그램
KR20060036481A (ko) * 2003-11-19 2006-04-28 샤프 가부시키가이샤 화상 처리 장치, 화상 처리 프로그램 및 컴퓨터판독가능한 기록 매체

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583553A (ja) * 1991-09-24 1993-04-02 Ricoh Co Ltd 画像処理装置
JP3480234B2 (ja) * 1997-04-04 2003-12-15 ミノルタ株式会社 画像処理装置
JP2003023570A (ja) * 2001-07-06 2003-01-24 Sanyo Electric Co Ltd 画像データの修正方法及び画像信号処理装置
JP2004201207A (ja) * 2002-12-20 2004-07-15 Nikon Corp ノイズ低減装置、撮像装置、およびノイズ低減プログラム
JP4453332B2 (ja) * 2003-10-17 2010-04-21 ソニー株式会社 欠陥画素検出方法、検出装置および撮像装置
JP4307318B2 (ja) * 2004-04-30 2009-08-05 キヤノン株式会社 欠陥画素補正装置及び欠陥画素補正処理方法
JP2006338079A (ja) * 2005-05-31 2006-12-14 Nissan Motor Co Ltd 画像補正装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271323A (ja) * 1997-03-21 1998-10-09 Sharp Corp 画像処理方法
JP2001245314A (ja) * 1999-12-21 2001-09-07 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
KR20050004096A (ko) * 2003-07-04 2005-01-12 소니 가부시끼 가이샤 화상 처리 장치 및 방법과 프로그램
KR20060036481A (ko) * 2003-11-19 2006-04-28 샤프 가부시키가이샤 화상 처리 장치, 화상 처리 프로그램 및 컴퓨터판독가능한 기록 매체

Also Published As

Publication number Publication date
JP4958538B2 (ja) 2012-06-20
JP2008160586A (ja) 2008-07-10
KR20080059490A (ko) 2008-06-30

Similar Documents

Publication Publication Date Title
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP4977395B2 (ja) 画像処理装置及び方法
US8345127B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US8744206B2 (en) Image processing apparatus, image processing method, and program
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
CN111784603B (zh) 一种raw域图像去噪方法、计算机装置及计算机可读存储介质
US7525583B2 (en) Decreasing aliasing in electronic images
KR101225056B1 (ko) 이미지 센서 노이즈 저감 장치 및 방법
KR100548611B1 (ko) 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
CN103873836B (zh) 图像处理设备和图像处理方法
US8463034B2 (en) Image processing system and computer-readable recording medium for recording image processing program
KR100747719B1 (ko) 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
KR101372853B1 (ko) 화상처리장치, 화상처리방법 및 촬상장치
JP2012257265A (ja) 画像処理装置及び画像処理方法
JP4197821B2 (ja) 画像処理装置
JP2009017583A (ja) 画像処理装置
JP5290734B2 (ja) ノイズ低減装置及びノイズ低減方法
KR101299250B1 (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee