KR101548183B1 - 화상처리장치 및 그 제어 방법 - Google Patents

화상처리장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101548183B1
KR101548183B1 KR1020120132807A KR20120132807A KR101548183B1 KR 101548183 B1 KR101548183 B1 KR 101548183B1 KR 1020120132807 A KR1020120132807 A KR 1020120132807A KR 20120132807 A KR20120132807 A KR 20120132807A KR 101548183 B1 KR101548183 B1 KR 101548183B1
Authority
KR
South Korea
Prior art keywords
image
outline
contour
unit
subject
Prior art date
Application number
KR1020120132807A
Other languages
English (en)
Other versions
KR20130061066A (ko
Inventor
코타로 키타지마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20130061066A publication Critical patent/KR20130061066A/ko
Application granted granted Critical
Publication of KR101548183B1 publication Critical patent/KR101548183B1/ko

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

화상처리장치의 생성부는, 특정의 피사체를 포함한 화상의 윤곽신호를 생성한다. 검출부는, 상기 화상의 복수의 분할 영역 각각에 대해서, 상기 윤곽신호에 의거하여 대표 윤곽방향을 검출하고, 상기 검출부는, 상기 분할 영역에 포함된 윤곽부분 전체의 방향이 특정 정도이상으로 특정 방향으로 치우쳐 있는 경우에, 특정 방향을 상기 대표 윤곽방향으로서 검출한다. 판정부는 상기 검출된 대표 윤곽방향의 방향 기반 도수분포, 검출된 대표 윤곽방향의 수 등 중 적어도 하나에 근거하여, 상기 피사체의 종류를 판정한다. 보정부는, 상기 피사체의 종류에 대응한 보정방법에 따라 화상 데이터를 보정한다.

Description

화상처리장치 및 그 제어 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR CONTROLLING SAME}
본 발명은, 화상처리장치 및 그 제어 방법에 관한 것이다.
종래, 화상의 윤곽(엣지)을 검출하고, 그 윤곽의 특징에 따라 윤곽강조 처리를 행하는 화상처리장치가 있었다. 또한, 화상중의 피사체의 종류를 판별하고, 그 판별한 피사체의 종류에 따라 화상처리를 행하는 화상처리장치가 알려져 있다.
예를 들면, 일본국 공개특허공보 특개2000-59651호에는, 입력 신호의 휘도 레벨에 따라 윤곽강조의 강도를 제어하는 화상처리장치가 개시되어 있다. 일본국 공개특허공보 특개2000-59651호의 기술에서는, 휘도 레벨이 낮은 영상신호부분에 관해서는 윤곽강조의 강도를 약하게 하고, 휘도 레벨이 높은 영상신호부분에 관해서는 윤곽강조의 강도를 강하게 하고 있다. 또한, 일본국 공개특허공보 특개2002-190984호에는, 화상이 풍경화상인지 텍스트 화상인지를 판정하고, 텍스트 화상일 경우에는, 윤곽강조의 강도를 강하게 하는 제어를 행하는 화상처리장치가 개시되어 있다.
그렇지만, 일본국 공개특허공보 특개2000-59651호에 개시된 기술에서는, 보정해야 할 윤곽의 휘도에만 근거해 윤곽강조의 강도가 제어되기 때문에, 윤곽부분이 어떤 피사체이어도 휘도가 동일하면 같은 강도로 윤곽강조가 행해진다. 그 결과, 피사체에 따라서는, 윤곽강조가 지나치게 강해지거나, 반대로 윤곽강조가 불충분하여, 피사체에 대하여 충분하게 적절한 처리를 행할 수 없다고 하는 문제가 있었다.
일본국 공개특허공보 특개2002-190984호에 개시된 기술에서는, 휘도분포에 따라서 화상의 종류(텍스트 화상인지 또는 풍경화상인지)를 판정하고 있다. 그렇지만, 일본국 공개특허공보 특개2002-190984호는, 텍스트 화상과 풍경화상의 이외의 임의의 것의 판별(예를 들면, 건축물과 같은 인공물과 꽃이나 풍경과 같은 자연물의 판별)에 적합한 판별 기술을 개시하지 않고 있다. 일본국 공개특허공보 특개2002-190984호의 기술을 인공물과 자연물의 판별에 이용하려고 하는 경우에도, 인공물과 자연물 사이의 휘도분포에 관해서 명확한 특징차이를 얻지 못하기 때문에, 고정밀도로 판별하는 것이 그래도 곤란할 것이다. 따라서, 예를 들면, 건축물과 자연물 사이의 윤곽강조의 강도를 변화시키는 것이 곤란하다.
본 발명은, 이러한 상황을 감안하여 고안된 것으로서, 화상에 포함되는 피사체의 종류를 고정밀도로 판정 가능하게는 기술을 제공한다.
본 발명의 일 국면에 따른 화상처리장치는, 특정의 피사체를 포함한 화상을 표현하는 화상 데이터를 취득하는 취득부; 상기 화상에 포함된 윤곽부분을 표현하는 윤곽신호를 생성하는 생성부; 상기 화상을 분할해서 얻어진 복수의 분할 영역 각각에 대해서, 상기 윤곽신호에 의거하여 대표 윤곽방향을 검출하는 검출부로서, 상기 분할 영역에 포함된 상기 윤곽부분 전체의 방향이 특정 정도이상으로 특정 방향으로 치우쳐 있는 경우에, 특정 방향을 상기 대표 윤곽방향으로서 검출하는 상기 검출부; 상기 검출된 대표 윤곽방향의 방향 기반 도수분포, 소정의 방향의 대표 윤곽방향이 검출된 상기 분할 영역이 상기 화상에 있어서 상기 소정의 방향에 직교하는 방향으로 연속해서 정렬되어 있는 정도, 및 상기 검출된 대표 윤곽방향의 수 중 적어도 하나에 근거하여, 상기 피사체의 종류를 판정하는 판정부; 및 상기 피사체의 종류에 대응하는 화상 보정처리에 따라서 상기 화상 데이터를 보정하는 보정부를 구비한다.
본 발명의 다른 국면에 따른 화상처리장치의 제어방법은, 상기 화상처리장치의 취득부가, 특정의 피사체를 포함한 화상을 표현하는 화상 데이터를 취득하는 취득단계; 상기 화상처리장치의 생성부가, 상기 화상에 포함된 윤곽부분을 표현하는 윤곽신호를 생성하는 생성단계; 상기 화상처리장치의 검출부가, 상기 화상을 분할해서 얻어진 복수의 분할 영역 각각에 대해서, 상기 윤곽신호에 의거하여, 대표 윤곽방향을 검출하는 검출단계로서, 상기 분할 영역에 포함된 상기 윤곽부분 전체의 방향이 특정의 정도이상으로 상기 특정 방향으로 치우쳐 있는 경우에, 상기 특정 방향을 상기 대표 윤곽방향으로서 검출하는, 상기 검출단계; 상기 화상처리장치의 판정부가, 상기 검출된 대표 윤곽방향의 방향 기반 도수분포, 소정의 방향의 대표 윤곽방향이 검출된 상기 분할 영역이 상기 화상에 있어서 상기 소정의 방향에 직교하는 방향으로 연속해서 정렬되어 있는 정도, 및 상기 검출된 대표 윤곽방향의 수 중 적어도 하나에 근거하여, 상기 피사체의 종류를 판정하는 판정단계; 및 상기 화상처리장치의 보정부가, 상기 피사체의 종류에 대응하는 화상 보정처리에 따라서 상기 화상 데이터를 보정하는 보정단계를 포함한다.
본 발명의 상기 구성에 의해, 화상에 포함된 피사체의 종류를 고정밀도로 판정하는 것이 가능하다.
본 발명의 또 다른 특징들은 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은 제1의 실시예에 따른 디지털 카메라(100)의 구성 예의 블록도다.
도 2는 화상처리부(105)의 상세도다.
도 3a∼도 3g는, 윤곽강조 처리부(206)에 의해 윤곽강조 처리의 예들의 도면이다.
도 4a는 입력 신호의 예의 도면이다.
도 4b는 필터의 예의 도면이다.
도 4c는 수직B P F(221)의 예의 도면이다.
도 4d는 수평B P F(222)의 예의 도면이다.
도 4e는 우상(upper-right)B P F(223)의 예의 도면이다.
도 4f는 우하(lower-right)B P F(224)의 예의 도면이다.
도 5a는 제1의 실시예에서 신호 분할부250에 있어서의 화상의 분할 예를 도시한 도면이다.
도 5b는 줌이 망원측, 또는, 초점거리가 특정의 역치이하일 경우의 제2의 실시예에서의 신호 분할부(250)로 화상을 분할하는 예의 도면이다.
도 5c는 줌이 광각측일 경우의 신호 분할부(250)로 화상을 분할하는 예의 도면이다.
도 6a는 제1의 실시예에 있어서, 피사체의 종류의 판정 처리, 및 피사체의 종류에 따른 화상보정처리의 개요를 나타내는 흐름도다.
도 6b는 도 6a의 단계S602의 처리의 상세내용의 흐름도다.
도 7은 도 6b의 단계S611의 처리의 상세내용의 흐름도다.
도 8은 블록 분류의 예의 도면이다.
도 9a는 피사체, 및 블록 분할의 모양의 도면이다.
도 9b는 도 9a에 대응한 블록들의 대표 윤곽방향(윤곽부분)을 선으로 나타낸 도면이다.
도 9c는 윤곽방향 연결도의 예시도다.
도 10a 및 도 10b는 윤곽에 관한 각종의 특징을 도시하였을 때 피사체별의 분포의 그래프다.
도 11a 및 도 11b는 각종의 피사체에 대응하는 화상보정처리의 파라미터의 예들을 나타내는 표다.
도 12는 제1의 실시예의 변형 예에서의 도 6a의 단계S603의 처리의 상세내용을 나타내는 흐름도다.
도 13a∼도 13d는 블록의 그룹화(라벨링)를 설명하는 도면이다.
도 14는 제2의 실시예에 있어서의 도 6a의 단계S602의 처리의 상세내용을 나타내는 흐름도다.
도 15a∼도 15c는 제2의 실시예에 있어서의 디지털 카메라(100)의 기울기에 따른 윤곽방향의 보정의 개념도다.
도 16은 제3의 실시예에 있어서의 도 6b의 단계S611의 처리의 상세내용을 나타내는 흐름도다.
도 17은 제4의 실시예에 있어서의 도 6a의 단계S603의 처리의 상세내용을 나타내는 흐름도다.
도 18a∼도 18d는 제4의 실시예에 있어서의 얼굴의 배경에 건축물이 존재하는 것인가 아닌가를 판정하는 처리의 개념도다.
이제, 본 발명의 실시예들을 첨부도면을 참조하여 설명하겠다. 이때, 본 발명의 기술범위는 청구항으로 규정되고, 이하에 설명된 각 실시예에 의해 한정되지 않는다. 아울러, 상기 실시예들에 기재된 특징의 조합 전체는 본 발명을 실현하는데 반드시 필요하지는 않다.
[제1의 실시예]
이하, 도 1 내지 도 5a와 도 6a 내지 도 13d를 참조하여, 본 발명의 화상처리장치를 디지털 카메라에 적용한 실시예에 관하여 설명한다. 도 1은, 제1의 실시예에 따른 디지털 카메라(100)의 구성 예의 블록도다.
도 1에 있어서, 101은 줌렌즈 및 포커스 렌즈를 포함하는 렌즈 군, 102는 조리개 기능을 갖는 셔터, 103은 광학상을 전기신호로 변환하는 CCD나 CMOS소자등으로 구성된 촬상부다. 104는 아날로그 신호를 디지털 신호로 변환하는 A/D변환기, 105는 A/D변환기(104)로부터 출력된 화상 데이터에 대하여, 감마 처리, 색보정처리, 윤곽강조 처리 또는 노이즈 저감처리등의 각종의 화상보정처리를 행하는 화상처리부다. 106은 화상 메모리, 107은 화상 메모리(106)를 제어하는 메모리 제어부, 108은 입력된 디지털 신호를 아날로그 신호로 변환하는 D/A변환기, 109는 LCD등의 표시부, 110은 화상 데이터를 압축 부호화 및 복호화하는 코덱(codec)부다.
180은 메모리 카드나 하드 디스크 등의 기록 매체, 111은 기록 매체(180)와의 인터페이스, 50은 디지털 카메라(100)의 시스템 전체를 제어하는 시스템 제어부다.
120은 각종의 동작 명령을 입력하기 위한 조작부, 121은 전원 스위치, 122는 전원제어부, 123은 전원이다. 전원제어부(122)는, 전지검출 회로, DC-DC변환기, 및 통전하는 블록을 바꾸는 스위치회로 등으로 구성되어, 전지의 장착의 유무, 전지의 종류, 및 전지잔량의 검출을 행한다. 또한, 전원제어부(122)는, 이들의 검출 결과 및 시스템 제어부(50)의 명령에 의거하여 DC-DC변환기를 제어하고, 필요한 전압을 필요한 기간, 기록 매체(180)를 포함하는 디지털 카메라(100)의 각 부에 공급한다.
124는 전기적으로 소거 및 기록 가능한 불휘발성 메모리이며, 예를 들면, EEPROM등이다. 125는 디지털 카메라(100)의 기울기 및 가속도를 검출하는 자이로(gyro) 가속도 센서다. 126은 각종 제어에 사용된 시간이나, 내장된 클록의 시간을 계측하는 시스템 타이머, 127은 시스템 제어부(50)의 동작용의 정수와 변수뿐만 아니라, 불휘발성 메모리(124)로부터 판독된 프로그램 등을 전개하는 시스템 메모리다.
다음에, 상기한 바와 같이 구성된 디지털 카메라(100)로의 피사체 촬영시의 기본 동작에 관하여 설명한다. 촬상부(103)는, 렌즈 군(101) 및 셔터(102)를 통해 입사한 광을 광전변환하여, 입력 화상신호로서 A/D변환기(104)에 출력한다. A/D변환기(104)는 촬상부(103)로부터 출력된 아날로그 화상신호를 디지털 화상신호로 변환해서, 화상처리부(105)에 출력한다.
화상처리부(105)는, A/D변환기(104)로부터의 화상 데이터, 또는, 메모리 제어부(107)로부터의 화상 데이터에 대하여, 화이트 밸런스 처리등의 색 변환처리, 및, 후술하는 감마 처리, 윤곽강조 처리, 및 노이즈 저감처리등을 행한다. 또한, 화상처리부(105)는, 촬상한 화상 데이터를 사용해서 특정의 산출 처리를 행하고, 시스템 제어부(50)는 그 사출된 결과에 의거하여 노광 제어 및 측거 제어를 행한다. 이에 따라, TTL(스루 더 렌즈)방식의 AF(오토 포커스)처리, AE(자동노출)처리, EF(전자적 사전발광)처리가 행해진다. 화상처리부(105)는, 추가로, 촬상한 화상 데이터를 사용해서 특정의 산출 처리를 행하고, 이렇게 하여 얻어진 상기 산출된 결과에 의거하여 TTL방식의 AWB(오토 화이트 밸런스)처리도 행한다.
화상처리부(105)로부터 출력된 화상 데이터는, 메모리 제어부(107)를 거쳐서 화상 메모리(106)에 기록된다. 화상 메모리(106)는, 촬상부(103)로부터 출력된 화상 데이터와, 표시부(109)에 표시하기 위한 화상 데이터를 보유한다.
D/A변환기(108)는, 화상 메모리(106)에 보유된 표시용의 화상 데이터를 아날로그 신호로 변환해서 표시부(109)에 공급한다. 표시부(109)는, LCD등의 표시 디바이스 위에, D/A변환기(108)로부터의 아날로그 신호에 따라 표시를 행한다.
코덱부(110)는, 화상 메모리(106)에 기록된 화상 데이터를 MPEG등의 규격에 따라 압축 부호화한다. 시스템 제어부(50)는, 그 부호화된 화상 데이터를, 인터페이스(lll)를 거쳐서 기록 매체(180)에 격납한다.
이상은 피사체 촬영시의 기본 동작이다. 상술한 기본 동작과 아울러, 시스템 제어부(50)는, 전술한 불휘발성 메모리(124)에 기록된 프로그램을 실행함으로써 후술하는 본 실시예의 여러 가지의 처리도 실행한다. 본 실시예에서 사용된 것과 같은 프로그램이란, 후술하는 각종 흐름도의 처리를 실행하기 위한 프로그램을 의미한다. 시스템 제어부(50)는, 시스템 제어부(50)의 동작용의 정수, 변수와, 불휘발성 메모리(124)로부터 판독한 프로그램 등도, 시스템 메모리(127)에 전개한다.
다음에, 도 2를 참조하여, 화상처리부(105)를 상세하게 설명한다. 도 2에 있어서, 200은 휘도/색신호 생성부, 201은 WB증폭부, 202는 색 감마 처리부, 203은 색차 신호 생성부, 204는 색보정부, 230은 노이즈 저감부다. 205는 휘도 감마 처리부, 206은 윤곽강조 처리부다. 윤곽강조 처리부(206)에 있어서, 207은 밴드패스 필터(BPF), 208은 코어링(coring)부, 209는 게인(gain) 처리부, 210은 클립 처리부, 211은 가산 처리부다. 220은 방향별(direction-specific) 윤곽신호 생성부이며, 그 중에서, 221은 수직방향의 BPF, 222는 수평방향의 BPF, 223은 우상(경사)방향의 BPF, 224는 우하(경사)방향의 BPF다. 250 은 신호 분할부다.
다음에, 화상처리부(105)에서 행해진 처리에 관하여 설명한다. 도 1의 A/D변환기(104) 또는 메모리 제어부(107)로부터 입력된 화상 데이터가 화상처리부(105)에 입력된다. 화상처리부(105)에 입력된 화상 데이터는, 휘도/색신호 생성부(200)에 입력된다. 휘도/색신호 생성부(200)는 입력된 화상 데이터로부터 휘도신호Y 및 색신호R, G, B를 생성한다. 색신호R, G, B는 WB증폭부(201)에, 휘도신호Y는 휘도 감마 처리부(205) 및 방향별 윤곽신호 생성부(220)에 출력된다.
WB 증폭부(201)는, 시스템 제어부(50)가 산출한 화이트 밸런스 게인 값에 근거하여, 색신호R, G, B에 게인을 인가함으로써 화이트 밸런스를 조정한다. 색 감마 처리부(202)는, 색신호R, G, B에 대해 감마 보정을 행한다. 색차 신호 생성부(203)는, 색신호R, G, B로부터 색차신호R-Y, B-Y를 생성해서 색보정부(204)에 출력한다. 그 후, 색보정부(204)는, 색차신호R-Y, B-Y에 대하여 게인을 인가하는등 하여, 색상과 채도를 조정한다. 색보정부(204)는, 보정후의 색차신호R-Y, B-Y를 노이즈 저감부(230) 및 신호 분할부(250)에 출력한다.
한편, 휘도 감마 처리부(205)는, 휘도신호Y에 대하여 감마 보정을 행하고, 윤곽강조 처리부(206)에 출력한다. 도 3a∼도 3g는, 윤곽강조 처리부(206)에 있어서의 윤곽강조 처리의 예들의 도면이다. 도 3a는 윤곽강조 처리부(206)에 입력된 휘도신호(수평신호)의 일부분을 보이고 있다.
BPF(207)는 특정한 주파수 대역을 추출하는 밴드패스 필터다. 입력된 원신호(도 3a)에 대하여 밴드패스 필터링되어서 도 3b에 나타낸 윤곽신호를 얻는다. BPF(207)로부터의 출력 신호는 코어링부(208)에 출력된다. 코어링부(208)는, 도 3g에 나타나 있는 바와 같이, 입력 부분의 미소 부분에 대한 클립처리를 행한다. 그 결과, 입력 신호는, 도 3c에 나타낸 형상을 갖는다. 코어링부(208)로부터의 출력 신호는 게인 처리부(209)에 입력된다. 게인 처리부(209)는, 입력 신호에 대하여 게인을 인가한다. 도 3c의 신호에 게인을 인가하여 얻어진 신호는, 도 3d에 도시되어 있다. 게인 처리부(209)로부터의 출력 신호는 클립 처리부(210)에 입력된다. 클립 처리부(210)는, 특정의 리미트(limit) 레벨보다도 높은(혹은 낮은) 입력 신호를 그 리미트 레벨에 클립한다. 이 클립 처리의 일례를 도 3e에 나타낸다. 클립 처리부(210)로부터의 출력 신호는 가산부(211)에 출력된다. 가산부에서는, 원신호(도 3a)를 상기 클립 처리부(210)로부터 출력된 윤곽신호(도 3e)를 가산하고, 윤곽이 강조된 휘도신호(도 3f)를 생성한다. 윤곽 강조 처리부(206)는, 상기한 바와 같이 윤곽을 강조한 휘도신호Y를 노이즈 저감부(230) 및 신호 분할부(250)에 출력한다. 상기에서는, 수평방향의 윤곽강조에 관해서만 설명했지만, 수직방향으로 같은 윤곽강조 처리가 행해진다.
다음에, 노이즈 저감부(230)의 처리에 관하여 설명한다. 노이즈 저감부(230)는 공간 노이즈 저감 처리를 행한다. 더 구체적으로는, ε필터에 의한 처리를 행한다. ε필터는, 처리 대상의 주목 화소와 주변의 화소간의 차분을 국소정보로서 사용한다. 이 차분은 ε값보다 작은 경우에는, 로패스 필터를 적용한다. 그 ε필터가 1차원 신호로서 표현되면, 다음과 같다.
식 1:
Figure 112012096291183-pat00001
여기에서, x(n)는 화소위치n의 화소값이고, x'*(n)은 ε필터링후의 화소값이다. 또한, f(x)는 다음식으로 나타낸다.
식 2:
Figure 112012096291183-pat00002
여기에서, ak은, 로패스 필터의 필터 계수이며, 총 합계가 1이 되도록 설계된다.
노이즈 저감부(230)는, 상기한 바와 같이 노이즈 저감 처리를 행한 휘도신호Y 및 색차신호R-Y, B-Y를, 메모리 제어부(107)를 거쳐서, 화상 메모리(106)에 출력한다.
다음에, 방향별 윤곽신호 생성부(220)의 처리에 관하여 설명한다. 방향별 윤곽신호 생성부(220)는, 입력된 휘도신호Y에 대하여 4종류의 BPF를 병렬로 적용하고, BPF를 통과한 4종류의 화상신호(윤곽신호)를 신호 분할부(250)에 출력한다. 방향별 윤곽신호 생성부(220)에서는, 각 윤곽방향의 3×3화소의 윤곽검출 필터(BPF)를 사용하고, 휘도신호Y로부터 수평방향, 수직방향, 우상방, 및 우하방의 윤곽성분(윤곽신호)을 추출한다.
도 4a∼도 4f를 참조해서 윤곽검출 필터(BPF 221 내지 224)에 관하여 설명한다. 도 4a는 입력 신호f(i, j)를 나타내고, 도 4b는 입력 신호f(i, j)에 대하여 적용된 필터를 나타낸다. 필터링에 의해 생성된 출력 신호f'(i, j)는 하기의 식으로부터 산출된다.
식 3:
Figure 112012096291183-pat00003
상기 식에 있어서 필터 계수를 변경함으로써 각 방향의 윤곽성분을 추출하는 것이 가능하다. 도 4c∼도 4f는, 각 방향의 윤곽검출을 위한 필터계수의 예들을 보이고 있다. 도 4c는 수직BPF(221)에서 사용하는 수직윤곽(횡선)검출 필터의 예이고, 도 4d는 수평BPF(222)에서 사용하는 수평윤곽(종선)검출 필터의 예다. 도 4e는 우상BPF(223)에서 사용하는 경사(우하(lower-right) 선)검출 필터의 예이고, 도 4f는 우하BPF(224)에서 사용하는 경사(우상(upper-right) 선)검출 필터의 예이다.
전술한 바와 같이, 방향별 윤곽신호 생성부(220)는, 화상에 포함된 각 방향의 윤곽부분을 표현하는 화상신호(윤곽신호)를 생성하여, 신호 분할부(250)에 출력한다.
신호 분할부(250)는, 입력 화상신호를 도 5a에 나타낸 복수의 분할 영역(8×8블록)으로 분할하고, 블록마다 신호의 연산을 행한다. 본 실시예에서는, 신호 분할부(250)에는, 휘도신호Y, 색차신호R-Y, B-Y, 및 방향별 윤곽신호 생성부(220)로부터의 윤곽신호가 입력된다. 신호 분할부(250)는, 휘도신호Y 및 색차신호R-Y, B-Y로부터 블록마다의 평균치를 산출한다. 또한, 신호 분할부(250)는, 방향별 윤곽신호 생성부(220)로부터 출력된 윤곽신호로부터 블록마다의 합계 값을 산출한다. 블록에 포함된 윤곽성분이 많을수록 합계 값이 커져서, 합계 값은 블록에 포함된 윤곽성분의 양의 지표로서 이용될 수 있다. 방향별 윤곽신호 생성부(220)로부터 4개의 방향에 관련된 윤곽신호가 출력되기 때문에, 합계 값도 4개의 방향에 대해서 각각 산출된다. 신호 분할부(250)에서 산출된 데이터는 시스템 메모리(127)에 기억된다.
이상, 화상처리부(105)의 상세내용에 관하여 설명했다. 다음에, 도 6a, 도 6b, 및 도 7의 흐름도를 참조하여, 제1의 실시예에 따른 피사체의 종류에 따른 판정 처리, 및 피사체의 종류에 따른 화상보정처리에 관하여 설명한다. 디지털 카메라(100)의 전원이 온(on)이 되어 본 장치가 촬상의 준비가 되면, 도 6a의 흐름도의 처리가 시작한다.
단계S602에서, 시스템 제어부(50)는, 입력 화상에 포함된 피사체의 종류를 판정한다. 본 실시예에서는, 시스템 제어부(50)는, 피사체가 건축물인지 자연물(예를 들면, 꽃이나 풍경등)인지를 식별한다. 도 6b를 참조하여, 단계S602의 처리의 상세내용에 관하여 설명한다.
단계S610에서, 화상처리부(105)는, 상기의 방법으로 4방향(수직, 수평, 우상 및 우하) 각각에 대해서 상기 입력된 화상으로부터 윤곽신호를 생성하고, 블록마다 각 방향의 윤곽신호의 합계 값을 산출하여, 그 결과를 시스템 메모리(127)에 격납한다. 시스템 제어부(50)는, 이렇게 해서 산출된 블록 및 방향마다의 윤곽신호의 합계 값을 시스템 메모리(127)로부터 취득한다.
단계S611에서, 시스템 제어부(50)는, 단계S610에서 취득한 윤곽신호의 합계 값에 근거하여, 8×8블록을 윤곽의 특징에 따라서 분류하고, 각 블록에 대해서 대표 윤곽방향을 검출한다. "대표 윤곽방향"이란, 블록에 포함된 윤곽부분 전체에 관련된 대표적인 방향이며, 윤곽부분 전체의 방향이 소정정도 이상으로 특정 방향으로 치우쳐 있는 경우에, 이 특정 방향이 대표 윤곽방향으로서 검출된다. 따라서, 윤곽부분 전체의 방향으로 현저한 경사가 존재하지 않는 경우나, 윤곽부분이 그 정도 많이 포함되지 않는 경우(윤곽신호의 합계 값이 작은 경우)에는, 대표 윤곽방향은 검출되지 않는다. 도 7을 참조하여, 단계S611의 처리의 상세내용에 관하여 설명한다.
단계S701에서, 시스템 제어부(50)는, 8×8블록의 하나씩에 대한 루프 처리를 시작한다.
단계S702에서, 시스템 제어부(50)는, 처리 대상 블록의 4방향(수직, 수평, 우상, 우하)의 윤곽신호의 합계 값의 적어도 하나가 역치THl보다 큰 것인가 아닌가를 판정한다. 그 값이 THl보다 큰 경우, 처리는 단계S703에 진행되고, 그렇지 않은 경우, 처리는 단계S709에 진행된다.
단계S703에서, 시스템 제어부(50)는, 처리 대상 블록의 4방향(수직, 수평, 우상, 우하)의 윤곽신호의 합계 값의 적어도 2개가 역치TH2(여기서, TH2>THl)보다 큰 것인가 아닌가를 판정한다. 이들 값이 TH2보다도 큰 경우, 처리는 단계S707에 진행되고, 그렇지 않은 경우, 처리는 단계S704에 진행된다.
단계S704에서, 시스템 제어부(50)는, 처리 대상 블록의 4방향(수직, 수평, 우상, 우하)의 윤곽신호의 합계 값중에서 최대값을 검출한다. 이 최대값을 E1이라고 한다.
단계S705에서, 시스템 제어부(50)는, 단계S704에서 검출한 최대값의 방향에 대하여 직교하는 방향의 윤곽신호의 합계 값을 취득한다. 이 합계 값을 E2이라고 한다. 예를 들면, 그 최대값의 방향이 수평방향일 경우(즉, 수평방향(종선)의 윤곽이 현저할 경우), 그 직교하는 방향은 수직방향(횡선의 방향)이 된다. 마찬가지로, 최대값의 방향이 우상방일 경우(즉, 우상방(우하 선)의 윤곽이 현저할 경우), 그 직교하는 방향은 우하방(우상 선의 방향)이 된다.
단계S706에서, 시스템 제어부(50)는, 최대값의 방향의 윤곽강도가 직교하는 방향의 윤곽강도와 비교해서 충분하게 강한 것인가 아닌가를 판정한다. 보다 구체적으로는, 예를 들면, 시스템 제어부(50)는, El>k＊E2(k>1)인지의 여부를 판정한다. El>k＊E2일 경우, 처리는 단계S708에 진행되고, 그렇지 않은 경우, 처리는 단계S707에 진행된다.
단계S707에서, 시스템 제어부(50)는, 처리 대상 블록을 "방향이 없는 블록(복잡 블록)"으로 분류한다. "방향이 없는 블록"이란, 블록내에 많은 윤곽신호를 포함하지만, 윤곽신호가 특정 방향으로 치우치지 않은 블록이다. 방향이 없는 블록에 있어서는, 대표 윤곽방향은 검출되지 않는다. 도 8은, 블록의 분류를 예시하는 도면이다. 블록801과 같이 여러 가지 방향의 윤곽신호를 포함하는 블록이나, 블록802와 같이 직교하는 2방향의 윤곽신호를 포함하는 블록은, 방향이 없는 블록으로서 분류된다.
단계S708에서, 시스템 제어부(50)는 처리 대상 블록을 "윤곽 블록"으로서 분류하고, 또한, 단계S704에서 검출된 최대값의 방향을 상기 대표 윤곽방향으로서 검출한다. 시스템 제어부(50)는, 상기 검출된 대표 윤곽 방향을 시스템 메모리(127)에 기록한다. "윤곽 블록"은, 도 8의 블록803과 같이, 특정 방향에만 명확한 윤곽부분을 가지는 블록이다.
단계S709에서, 시스템 제어부(50)는, 처리 대상 블록을 "윤곽 없는 블록"으로서 분류한다. 윤곽 없는 블록은, 도 8의 블록804 및 805와 같이, 윤곽부분을 갖지 않는 평탄한 블록이다. 윤곽 없는 블록에서, 대표 윤곽방향은 검출되지 않는다.
이상과 같이, 8×8블록의 하나씩에 대하여, 블록의 분류, 및 대표 윤곽방향의 검출을 행한다. 또한, 상기한 바와 같이, "윤곽 블록"에 대해서는, 시스템 제어부(50)는 상기 검출된 대표 윤곽방향을 시스템 메모리(127)에 기록한다.
도 6b로 되돌아가면, 단계S612에서, 시스템 제어부(50)는, 8×8블록의 하나씩에 대한 루프 처리를 시작한다.
단계S613에서, 시스템 제어부(50)는, 처리 대상 블록이 "윤곽 블록" (대표 윤곽방향이 검출된 블록)인지의 여부를 판정한다. "윤곽 블록"일 경우, 처리는 단계S614에 진행되고, 그렇지 않은 경우("방향이 없는 블록" 또는 "윤곽 없는 블록"의 경우), 처리는 단계S612에 되돌아가서 다음 처리 대상 블록이 선택된다.
단계S614에서, 시스템 제어부(50)는, 특정 방향(여기에서는, 수평방향)의 윤곽(즉, 종선의 윤곽)의 윤곽방향 연결도를 산출한다. 도 9a∼도 9c를 참조하여, 윤곽방향 연결도의 산출에 대해서 상세하게 설명한다.
도 9a는, 피사체, 및 블록 분할의 모양의 도면이다. 여기에서는, 블록901의 윤곽방향 연결도를 산출하는 경우에 관하여 설명한다. 종선의 블록의 윤곽방향 연결도를 산출하기 위해서는, 우선, 시스템 제어부(50)는, 처리 대상 블록의 대표 윤곽방향이 수평방향(종선)인지의 여부를 판정한다. 수평방향(종선)일 경우, 시스템 제어부(50)는, 대표 윤곽방향과 직교하는 방향(즉, 그 블록의 상하의 방향)으로, 대표 윤곽방향이 수평방향(종선)인 블록이 연속해서 정렬된 수를 카운트하고, 이 카운트를 윤곽방향 연결도라고 한다. 도 9b는, 도 9a에 대응한 블록들의 대표 윤곽방향(윤곽부분)을 선으로 나타낸 도면이다(이들의 선은, 대표 윤곽방향에 직교하는 방향의 선이다). 여기서는 블록901(처리 대상 블록)의 윤곽방향 연결도를 산출하는 경우, 시스템 제어부(50)는, 블록901에 인접한 상하의 블록에 관해서, 수평방향(종선)의 대표 윤곽방향을 가지는 블록이 얼마나 연속해서 정렬되어 있는지를 카운트한다. 블록901의 예에서는, 위로 1개, 아래로 2개의 합계 3개의 블록이 연속해서 정렬되어 있으므로, 블록901의 윤곽방향 연결도는 3이다. 마찬가지로, 모든 블록에 대하여 수평방향(종선)의 윤곽방향 연결도를 산출하면, 그 결과는 도 9c에 도시된 것과 같다. 시스템 제어부(50)는, 최종적으로, 윤곽방향 연결도의 합계 값을 산출한다. 이 합계 값은, 특정의 대표 윤곽방향(여기에서는, 수평방향)이 검출된 블록들이 입력 화상에 있어서 이 대표 윤곽방향에 직교하는 방향(여기에서는, 수직방향)으로 연속해서 정렬되는 정도의 지표다.
단계S615에서, 시스템 제어부(50)는, 처리 대상 블록의 대표 윤곽방향의 카운터를 증분한다(단계S612이전에, 각 방향의 카운터는 0으로 초기화된다). 이 처리에 의해, 궁극적으로는, 대표 윤곽방향마다의 블록수를 얻는다.
이상과 같이, 8×8블록의 하나씩에 대하여, 블록이 "윤곽 블록"인지의 여부의 판정이 행해지고, 블록이 "윤곽 블록"일 경우, 윤곽방향 연결도의 산출, 및 대표 윤곽방향마다의 블록수의 카운트가 행해진다.
이 후에, 단계S616에서, 시스템 제어부(50)는, 대표 윤곽방향의 방향별 도수분포(즉, 단계S615에서 카운트한 대표 윤곽방향마다의 블록수), 윤곽방향 연결도의 합계 값, 및 검출된 대표 윤곽방향의 수(즉, "윤곽 블록"의 수) 중 적어도 하나에 근거하여, 피사체의 종류를 판정한다. 이 정보(윤곽에 관련된 특징)의 구체적인 조합은, 판정 대상의 피사체의 종류나, 요구하는 판정 정밀도등에 따라, 적당하게 변경 가능하다. 여기에서는, 일례로서, 도 10a 및 도 10b를 참조하여, 피사체가 건축물인지 자연물인지를 판정하는 경우에 관하여 설명한다.
도 10a 및 도 10b는, 윤곽에 관련된 각종의 특징을 도시하였을 때 피사체별의 분포의 그래프다. 본 실시예에서는, 건축물과 자연물(꽃이나 풍경)과의 식별을 행하여서, 건축물, 꽃 및 풍경의 분포를 보이고 있다. 도 10a에서, 가로축은 수평 또는 수직방향의 대표 윤곽방향을 가지는 블록의 수를 나타내고, 세로축은 경사 방향(우상방 또는 우하방)의 대표 윤곽방향을 가지는 블록의 수를 나타낸다. 도 10b에서, 가로축은 수평방향(종선)의 윤곽방향 연결도를 나타내고, 세로축은 "윤곽 블록"의 비율(또는 수)을 나타낸다.
시스템 제어부(50)는, 단계S614에서 산출한 윤곽방향 연결도의 합계 값과, 단계S615에서 카운트한 대표 윤곽방향마다의 블록수에 근거하여, 입력 화상에 포함된 피사체가 도 10a 및 도 10b의 그래프의 어느 위치에 존재하는지를 판단한다(대표 윤곽방향마다의 블록수는, 적당하게 가산된다). 예를 들면, 특정 피사체가, 도 10a의 특징점1001, 도 10b의 특징점1002의 위치에 존재하는 경우를 생각한다.
다음에, 도 10a를 참조하고, 2종류의 피사체(건축물과 그 이외)를 분리하는 특정의 축Al과, 그 축Al에 수직한 축X1에 대해서 생각하고, 피사체의 특징점1001을 X1 축에 투영한 점을 산출하고, 이 점을 X1p이라고 한다. 도 10b를 참조하여, 마찬가지로 피사체의 종류를 분리하는 특정의 축A2와 축A3에 대하여 수직한 축X2와 축X3에 대해서 생각한다. 특징점1002도 마찬가지로 축X2와 축X3 위에 투영한 점이 X2p 및 X3p이다.
이상과 같이 구한 X1p, X2p, X3p의 값으로부터 하기의 식에 근거해 평가 값을 산출한다.
평가 값=αX1p+βX2p+γX3p
여기에서, α, β, γ는 미리 설정된 가중 계수다.
시스템 제어부(50)는, 평가 값이 특정의 역치이상일 경우에, 피사체의 종류가 "건축물"이라고 판정하고, 그렇지 않은 경우에 피사체의 종류가 "자연물"이라고 판정한다.
이상, 도 6b의 처리(도 6a의 단계S602의 처리)에 관하여 설명했다. 도 6a에 되돌아가면, 단계S603에서, 화상처리부(105)는 시스템 제어부(50)의 제어하에, 피사체의 종류에 따른 화상보정처리(피사체의 종류에 대응한 보정방식에 의한 화상보정처리)를 행한다. 더 구체적으로는, 예를 들면, 시스템 제어부(50)는, 윤곽강조 처리부(206) 및 노이즈 저감부(230)의 파라미터를, 피사체의 종류에 대응한 값으로 설정한다. 윤곽강조 처리부(206) 및 노이즈 저감부(230)는, 상기 설정된 파라미터에 따라서 윤곽강조 처리 및 노이즈 저감 처리를 실행한다. 도 11a를 참조하여, 각종의 피사체에 대응한 화상보정처리의 파라미터의 예에 관하여 설명한다.
피사체의 종류가 "건축물"일 경우, 윤곽을 강하게 강조한 화질이 보다 좋은 것이 가능하다. 이를 고려하여, 도 11a에 나타나 있는 바와 같이, 윤곽검출의 중심 주파수를 중역과 저역 사이로 설정한다. 이것은, 도 2의 BPF(207)의 파라미터(계수)를 변경함으로써 행해진다. 또한, 코어링부(208)에서 코어링의 범위를 확장한다. 구체적으로는, 도 3g에 있어서, 입력값을 클립하는 범위를 확장한다. 또한, 게인 처리부(209)를 제어하고, 윤곽강조의 게인을 증가시킨다. 또한, 노이즈 저감부(230)에서 ε값을 증가시킨다.
한편, 피사체의 종류가 "자연물"일 경우, 윤곽을 지나치게 강조하면 묘하게 보이기 때문에, 윤곽을 아주 강하게 강조하지 않는 것이 좋다. 또한, 자연물에는 미세한 상세내용의 재현이 중요하므로, 코어링 및 노이즈 저감에서 상세내용에 대한 정보를 그다지 잃지 않으면 가장 좋다. 이를 고려하여, BPF(207)의 파라미터를 변경함에 의해, 윤곽검출의 중심주파수는 중역과 저역 사이로 설정된다. 코어링부(208)의 코어링의 범위를 좁게 설정하고, 게인 처리부(209)의 게인을 약하게 설정한다. 또한, 노이즈 저감부(230)에 있어서, ε값을 감소시킨다.
이상, 도 6a의 단계S603에 있어서의 처리(피사체의 종류에 따른 화상보정처리)에 관하여 설명했다. 다음에, 단계S604에서, 시스템 제어부(50)는, 처리를 종료해야 할 것인가 아닌가를 판정한다. 예를 들면, 디지털 카메라(100)의 전원이 꺼졌을 경우에, 처리를 종료해야 한다고 판정된다. 그 처리를 종료하지 않은 경우, 처리는 단계S601에 되돌아가고, 같은 처리가 반복된다.
이상에서 설명한 바와 같이, 제1의 실시예에서는, 디지털 카메라(100)는, 화상을 복수의 블록으로 분할하고, 블록마다 대표 윤곽방향을 검출하고, 그 검출 결과(도수분포, 윤곽방향 연결도, 대표 윤곽방향의 검출수등)에 의거하여 피사체의 종류를 판정한다. 또한, 디지털 카메라(100)는, 피사체의 종류에 대응한 보정방식에 따라 화상보정처리를 실행한다.
이와 같이 블록 단위로 대표 윤곽방향을 검출함으로써, 피사체의 윤곽에 관련된 특징을 검출 가능하고, 그 결과는 피사체의 노이즈나 세부 패턴에 영향을 받기 어렵다. 이에 따라, 화상에 포함된 피사체의 종류를 고정밀도로 판정하는 것이 가능하다. 그 결과, 피사체의 종류에 적합한 윤곽강조 처리, 노이즈 저감 처리등의 화상보정처리를 실행 가능하다. 또한, 블록 단위로 대표 윤곽방향을 검출하므로, 화소단위로 윤곽을 검출할 때와 비교하여 연산 부하가 저감된다.
또한, 본 실시예에서는 피사체의 종류에 따른 화상보정처리의 예로서, 윤곽강조 처리부(206)에서의 처리 및 노이즈 저감부(230)에서의 처리를 들었지만, 화상보정처리는 이것들에 한정되지 않는다. 예를 들면, 피사체의 종류에 따라 휘도 감마 처리나 색보정처리를 변경해도 좋다. 이 경우, "건축물"에 대해서, 시스템 제어부(50)는, 휘도 감마 처리부(205)를 제어해서 콘트라스트가 강해지도록 휘도 감마 처리를 실행한다. "자연물"에 대해서, 시스템 제어부(50)는, 색보정부(204)를 제어해서, 채도를 올리도록 색보정처리를 실행한다.
또한, 본 실시예에서는, 노이즈 저감부(230)의 처리로서 공간필터인 ε필터를 사용하는 처리만을 설명했지만, 노이즈 제거의 방법은 이것에 한정되지 않는다. 예를 들면, 시간방향의 로패스(low-pass) 처리를 행하는 시간 필터를 사용하여도 되고, 이 경우, 피사체의 종류에 따라 시간 필터의 파라미터를 변경해도 된다.
또한, 본 실시예에서는, "건축물"과 "자연물"을 식별하는 예에 대해서 서술했지만, 블록 단위로 대표 윤곽방향을 검출하고, 도수분포, 윤곽방향 연결도, 및 대표 윤곽방향의 검출수등을 이용해서 피사체의 종류를 판정하는 것이라면, 어떤 종류의 피사체를 판정 대상으로 해도 된다.
또한, 본 실시예에서는, 피사체의 종류를 "건축물"과 "자연물" 사이에서 2값 선택으로서 판정하였지만, 반드시 2값 판정일 필요는 없다. 예를 들면, 도 10a 및 도 10b의 예에서 산출한 평가 값이 클수록, 피사체가 "건축물"일 가능성이 높기 때문에, 평가 값이 상승함에 따라서 화상보정처리의 파라미터를 건축물로 향하여 설정하고, 평가 값이 하락함에 따라서 파라미터를 자연물로 향하여 설정해도 된다.
또한, 본 실시예에서는, 블록의 분류(윤곽을 가진 것인가 아닌가)를 처리 대상 블록의 방향별의 윤곽신호의 합계 값에 의거하여 결정했지만, 블록의 분류 방법을 이것에 한정하지 않는다. 예를 들면, 윤곽신호에 더해서, 휘도신호 및 색신호를 사용해서 블록을 분류하는 방법을 이용하여도 된다. 이 경우, 상기 시스템은, 휘도가 특정의 역치보다도 위의 경우나 아래의 경우에 윤곽 블록이라고 판정하지 않도록 제어된다. 또한, 색신호를 사용해서 윤곽 블록인가 아닌가의 판정이나 대표 윤곽방향의 검출을 행해도 된다. 이 경우, 블록내의 색상 및 채도에 대한 평균치가 특정의 조건을 충족시키는 경우에는, 그 블록이 윤곽 블록이 아니라고 판정된다(또는, 대표 윤곽방향의 판정 조건을 변화시킨다). 보다 구체적으로는, 채도가 높은 녹색신호를 많이 가지는 블록은, 건축물의 윤곽일 가능성은 낮기 때문에 윤곽 블록이라고 판정되지 않는다. 혹은, 윤곽 블록이라고 판정되는 경우에도, 수평 또는 수직의 윤곽을 가지는 블록이라고 판정하는 역치를 변경하여 수평 또는 수직의 방향을 가진다고 판정하기 어렵게 한다. 이에 따라, 피사체의 종류의 판정 정밀도를 더욱 상승시키는 것이 가능해진다.
또한, 처리 대상 블록을 주변 블록과 비교하고, 주변 블록에 대하여 윤곽신호의 합계 값이 큰 경우에 윤곽 블록이라고 판정해도 좋다. 여기서, 윤곽방향과 같은 방향의 인접 블록과 윤곽신호의 합계 값을 비교한다. 예를 들면, 수평방향(종선)의 윤곽 블록을 검출하는 경우에는, 같은 방향(수평방향)인 좌우의 인접 블록과 윤곽신호의 합계 값을 비교하고, 좌우의 블록과의 윤곽신호의 합계 값의 차분값의 큰쪽이 특정의 역치이상이면 윤곽 블록이라고 판정한다.
[변형 예]
제1의 실시예에서는 피사체의 종류에 따라 화상 보정방법이 변화되었지만, 화상 전체에 대하여 동일한 파라미터를 사용한 보정이 행해졌다. 그렇지만, 화상의 다른 영역의 특징에 대응한 파라미터를 사용하여 보정이 행해져도 된다. 이하, 도 11b, 도 12 및 도 13a∼도 13d를 참조하여, 이것에 관하여 설명하겠다.
도 12는, 제1의 실시예의 변형 예에서 도 6a의 단계S603의 처리의 상세내용의 흐름도다.
단계S1200에서, 시스템 제어부(50)는, 단계S602에서 판정된 피사체의 종류가 "건축물"인지의 여부를 판정한다. "건축물"일 경우, 처리는 단계S1201에 진행되고, 그렇지 않은 경우, 처리는 단계S1211에 진행된다.
단계S1201 내지 단계S1210은, 피사체가 "건축물"이라고 판정되었을 경우에 실행되고, 건축물의 위치 및 특징(사무실용 빌딩과 같이 평탄부분이 많은 건축물인지, 교회등과 같이 상세내용이 복잡한 건축물인가의 여부)이 판정된다. 보다 구체적으로는, 단계S1201에서, 시스템 제어부(50)는, 8×8블록에 대하여, 블록간의 유사도에 의거하여 라벨링을 함으로써, 그 블록들을 그룹화한다. 도 13a∼도 13d를 참조하여, 이 라벨링의 상세내용에 관하여 설명한다.
도 13a는, 블록들로 분할된 촬영 피사체 화상을 나타낸다. 시스템 제어부(50)는, 이것들의 블록에 대하여, 도 13b에 나타낸 탐색 범위를 래스터(raster) 스캔하면서 라벨링을 행한다. 도 13b에 있어서, 블록1301은 처리 대상 블록이며, 처리 대상 블록의 좌상, 위, 우상, 왼쪽을 참조 블록(사선부)이라고 한다.
시스템 제어부(50)는, 처리 대상 블록과 참조 블록의 휘도 및 색을 비교하고, 휘도 및 색이 가장 가까운 참조 블록의 라벨과 같은 라벨을 처리 대상 블록에 부여한다. 예를 들면, 도 13c에 있어서, 처리 대상 블록(1302)의 좌상 블록에는 라벨 "2"가 부여되고, 위, 우상, 왼쪽블록에는 라벨 "3"이 부여되어 있다. 이때, 휘도 및 색이 처리 대상 블록(1302)에 가장 가까운 참조 블록이 좌상 블록이었을 경우, 시스템 제어부(50)는, 처리 대상 블록(1302)에 라벨 "2"를 부여한다. 그렇지만, 참조 블록이 존재하지 않는 경우나, 처리 대상 블록과 모든 참조 블록간의 차이가 특정값을 초과하는 경우에는, 시스템 제어부(50)는, 새로운 라벨을 처리 대상 블록에 부여한다.
이와 같이, 시스템 제어부(50)는, 모든 블록에 대하여 유사한 영역마다 라벨을 부여한다. 도 13a의 피사체의 모든 블록에 대하여 라벨을 부여한 예가 도 13d이다. 이러한 라벨링의 결과, 그룹내의 블록간(분할 영역간)의 특정의 유사도 이상이 되도록, 8×8블록이 그룹화된다. 탐색 범위는 도 13b에 나타낸 것에 한정되지 않는다. 도 13d에 있어서, 그룹내의 블록들은, 연속해서 배치되어 있지만, 그 탐색 범위의 설정에 따라서는, 분리된 장소에 동일한 그룹에 소속하는 블록들이 존재되어도 된다.
도 12로 되돌아가서, 단계S1202에서, 시스템 제어부(50)는, 단계S1201에서 부여한 라벨의 하나씩에 대한 루프 처리를 시작한다(도 13d에 나타낸 예에서는, 라벨 "0"∼"3"이 순서적으로 처리된다).
단계S1203에서, 시스템 제어부(50)는, 처리 대상 라벨의 그룹의 크기(그룹내의 블록수)가 특정의 역치이상인지의 여부를 판정한다. 그 크기가 그 특정의 역치이상일 경우, 처리는 단계S1204에 진행되고, 그렇지 않은 경우, 처리는 단계S1209에 진행된다.
단계S1204에서, 시스템 제어부(50)는, 처리 대상 라벨의 그룹내의 모든 "윤곽 블록"에 대한, 수평 또는 수직방향(종횡선)의 대표 윤곽방향을 가지는 블록의 비율을 산출한다. 또한, 시스템 제어부(50)는, 처리 대상 라벨의 그룹내의 모든 블록에 대한 "윤곽 없는 블록"(도 7의 단계S702 및 단계S709로부터 이해할 수 있듯이, 윤곽신호가 특정량이하인 블록)의 비율을 산출한다.
단계S1205에서, 시스템 제어부(50)는, 단계S1204에서 산출한 수평 또는 수직방향(종횡선)의 대표 윤곽방향을 가지는 블록의 비율이 역치이상 인지의 여부를 판정한다. 역치이상일 경우, 처리는 단계S1206에 진행되고, 그렇지 않은 경우, 처리는 단계S1209에 진행된다
단계S1206에서, 시스템 제어부(50)는, 단계S1204에서 산출한 "윤곽 없는 블록"의 비율이 역치이상인지의 여부를 판정한다. 역치이상일 경우, 처리는 단계S1207에 진행되고, 그렇지 않은 경우, 처리는 단계S1208에 진행된다.
단계S1207에서, 시스템 제어부(50)는, 처리 대상 라벨에 대하여 평탄 건축물 플래그를 관련되게 만든다. 이 플래그는, 처리 대상 라벨의 그룹내의 피사체가 사무실용 빌딩과 같은 평탄한 면을 많이 가지는 건축물인 것을 나타낸다.
단계S1208에서, 시스템 제어부(50)는, 처리 대상 라벨에 대하여 복잡 건축물 플래그를 관련되게 만든다. 이 플래그는, 처리 대상 라벨의 그룹내의 피사체가 교회와 같은 복잡한 상세내용을 많이 가지는 건축물인 것을 나타낸다.
단계S1209에서, 시스템 제어부(50)는, 처리 대상 라벨에 대하여 비건축물 라벨을 관련되게 만든다.
단계S1210에서, 화상처리부(105)는, 시스템 제어부(50)의 제어하에, 그룹마다, 그룹내의 피사체의 종류에 따라 화상보정처리(그룹내의 피사체의 종류에 대응하는 보정방법에 의한 화상보정처리)를 행한다. 도 11b를 참조하여, 단계S1210의 처리를 구체적으로 설명한다. 도 11b는, 피사체의 종류와 대응한 윤곽강조 처리 및 노이즈 저감 처리의 파라미터의 예를 나타낸다는 점에서 도 11a와 같다. 또한, 도 11b는, 피사체의 종류가 "건축물"인 경우에는, 그룹내의 피사체의 종류마다, 파라미터가 규정되어 있다.
도 11b의 예에서는, 그룹내의 피사체가 평탄 건축물인 경우에는, 도 11a에 있어서의 "건축물"의 경우와 같은 파라미터가 사용된다. 한편, 복잡한 건축물의 경우, 윤곽검출의 중심주파수가 저역과 중역 사이로 설정된다. 또한, 코어링의 범위를 좁게 하고, 게인을 중간으로 하고, 노이즈 저감 처리의 ε값을 감소시킨다. 이에 따라 교회등의 복잡한 디자인을 가지는 건축물에 대하여는, 세부의 정보가 잃어버려지는 것을 최소화하면서 윤곽강조 처리 및 노이즈 저감 처리를 실행하는 것이 가능해진다. 또한, 비건축물 영역에 대해서는, 피사체가 "자연물"인 경우와 같은 파라미터가 설정된다.
도 12로 되돌아가서, 단계S1211에서, 화상처리부(105)는 시스템 제어부(50)의 제어하에, "자연물"에 대응한 화상보정처리를 실행한다. 이 처리는, 제1의 실시예의 단계S603에 있어서 피사체가 "자연물"인 경우와 같다.
이상, 그룹마다, 그룹내의 피사체의 종류에 따른 화상보정처리가 행해질 경우에 관하여 설명했다. 본 변형 예에서는, 블록단위의 그룹마다 화상처리 파라미터를 설정한 경우를 예로서 설명하였지만, 블록 단위로 화상처리 파라미터를 바꾸면, 그룹의 경계에서 화상처리 파라미터의 차이에 기인하는 단차가 보일 가능성도 있다. 이에 따라서, 그룹의 경계에서는 2개의 파라미터의 중간값을 사용하는 등, 이 단차를 저감하는 처리를 첨가해도 된다.
[제2의 실시예]
이하, 도 5b, 5c, 및 도 14∼도 15c를 참조하여, 본 발명의 제2의 실시예에 관하여 설명한다. 제2의 실시예에서는, 실질적으로 제1의 실시예와 같은 처리에 의해 피사체의 종류가 판정되지만, 그 판정처리도 화상의 촬상시에 디지털 카메라(100)의 상태(줌, 포커스, 자세등)도 포함한다. 제2의 실시예에 있어서의 디지털 카메라(100)의 구성 및 기본동작은, 제1의 실시예에서 설명한 것과 같기 때문에, 다시 상세하게 설명되지 않는다(도 1 및 도 2 참조).
제2의 실시예에 있어서는, 도 6a의 단계S602의 처리의 상세내용이 제1의 실시예와 다르고, 도 6b 대신에 도 14의 처리가 실행된다. 도 14에 있어서, 도 6b와 같은 처리가 이루어진 블록은 동일한 번호가 부착되고, 다시 설명되지 않는다.
단계S1401에서, 시스템 제어부(50)는, 렌즈 군(101)으로부터 현재의 줌 및 포커스의 상태를 나타내는 정보를 취득하여, 시스템 메모리(127)에 보존한다.
단계S1402에서, 시스템 제어부(50)는, 자이로 가속도 센서(125)의 출력으로부터 카메라의 경사 정보를 생성하여, 시스템 메모리(127)에 보존한다.
단계S1403에서, 시스템 제어부(50)는, 단계S1401에서 취득한 줌 정보 및 포커스 정보에 근거하여, 신호 분할부(250)(도 2 참조)에 있어서의 블록의 분할 사이즈 및 수를 변경한다. 더 구체적으로는, 시스템 제어부(50)는, 줌이 망원단을 향하는 경우(줌 배율이 큰 경우), 또는, 초점거리가 특정의 역치보다도 짧은 경우에는, 블록 사이즈를 크게 하고, 줌이 광각단을 향하는 경우에는, 블록 사이즈를 작게 한다. 구체적으로, 초점거리가 특정의 역치보다도 짧을 경우에는, 줌 배율에 상관없이, 블록 사이즈는 특정의 크기이상이 된다. 이 예를 도 5b 및 도 5c에 나타낸다. 도 5b는, 줌이 망원단을 향하는 경우나 또는 초점거리가 특정의 역치보다도 짧은 경우의 블록 분할을 보이고 있다(이 예에서는, 8×8블록). 한편, 도 5c는, 줌이 광각단을 향하는 경우의 블록 분할을 보이고 있다(이 예에서는, 16×16블록). 이 경우에는, 블록 사이즈를 작게 함과 아울러 화면 전체로부터 정보를 취득하기 때문에 블록수도 많다. 이렇게 시스템을 제어함으로써, 1개의 블록에 대한, 피사체의 형상등에 관한 정보량이, 줌에 의해 크게 변동하는 것을 막는 것이 가능하다.
단계S1405에서, 시스템 제어부(50)는, 단계S1402에서 생성한 경사 정보를 사용하여, 윤곽의 방향을 보정한다. 보다 구체적으로는, 시스템 제어부(50)는, 디지털 카메라(100)가 특정의 역치이상 기울어져 있는 경우에 윤곽방향을 보정한다. 도 15a는, 디지털 카메라(100)가 역치(예를 들면, 30도)이상 기운 상태에서 촬영된 화상을 보이고 있다. 여기에서는, 경사의 방향에 따라, 윤곽의 방향이 보정된다.
도 15b는 보정전의 윤곽방향을 나타내고, 도 15c는 보정후의 윤곽방향을 나타낸다. 즉, 시스템 제어부(50)는, 수평 윤곽(종선)(1501a)으로서 출력된 윤곽신호를 우하 윤곽(1501b)으로서 취급하고, 우상 윤곽(1502a)으로서 출력된 윤곽신호를 수평 윤곽(종선)(1502b)으로서 취급하도록, 보정한다. 마찬가지로, 시스템 제어부(50)는, 수직 윤곽(횡선)(1503a)으로서 출력된 윤곽신호를 우상 윤곽(1503b)으로서 취급하고, 우하 윤곽(1504a)으로서 출력된 윤곽신호를 수직 윤곽(횡선)(1504b)으로서 취급하도록, 보정한다. 이렇게, 경사에 따라 방향 정보만이 보정된다.
단계S1406의 처리는 도 6b의 단계S614와 같지만, 단계S1405에서 경사의 보정이 행해진 경우에는, 약간 다른 처리가 행해진다. 예를 들면, 도 15c와 같이 윤곽방향을 보정하는 경우에는, 수평 윤곽(종선)이 비스듬히 연결되기 때문에, 경사 방향으로 윤곽방향 연결도가 산출된다. 환언하면, 윤곽방향 연결도의 산출시에, 대상의 대표 윤곽방향(여기에서는, 수평방향)에 직교하는 방향으로의 연결이 평가되지만, 윤곽방향의 보정에 따라, 이 "직교하는 방향"도 보정된다.
단계S1407의 처리는 도 6b의 단계S616과 같지만, 피사체가 "건축물"인지 또는 "자연물"인지를 식별하는 역치(도 10a 및 도 10b의 Al∼A3)가, 포커스 정보에 근거해 변경된다. 더 구체적으로는, 초점거리가 특정의 거리미만이면, 피사체가 "건축물"이라고 판정되기 어렵게 하도록 역치(도 10a 및 도 10b의 Al∼A3)가 변경된다. 예를 들면, 축A2를 상측으로 쉬프트하고, 축A3을 오른쪽으로 쉬프트하는 처리가 행해진다.
이상에서 설명한 바와 같이, 제2의 실시예에서는, 디지털 카메라(100)는, 화상의 촬상시에 줌, 경사등의 상태를 포함함으로써, 피사체의 종류를 판정하는 처리를 행한다. 이에 따라, 화상만으로부터 피사체의 종류를 판정하는 경우보다도, 판정 정밀도를 높게 하는 것이 가능해진다.
본 실시예에서는, 본 발명의 화상처리장치를 디지털 카메라(100)에 적용했을 경우에 관하여 설명했지만, 화상처리를 행하는 장치이면, 촬상계를 가지고 있지 않은 장치에도 본 실시예를 적용 가능하다. 이 경우, 줌등의 카메라 정보를 화상 데이터에 미리 부가해두고, 이에 근거해서 화상처리 장치로 처리를 행한다.
또한, 본 실시예에서는, 줌 및 포커스의 상태에 따라서 제어를 포함하는 신호 분할의 블록 분할 수(사이즈)가 2종류의 예로 설명하였지만, 블록의 분할수를 2종류에 한정하지 않는다. 줌의 특성에 따라, 다단계에서 블록의 사이즈나 분할수를 제어하는 구성을 이용할 수 있다.
[제3의 실시예]
이하, 도 16을 참조하여, 본 발명의 제3의 실시예에 관하여 설명한다. 본 제3의 실시예는, 디지털 카메라(100) 및 피사체의 시간경과에 따른 움직임에 대한 특성을 사용해서 피사체의 종류를 판정하고 있는 점이 제1의 실시예와 다르다. 제3의 실시예에 있어서의 디지털 카메라(100)의 구성 및 기본동작은, 제1의 실시예에서 설명한 것과 같기 때문에, 다시 상세히 설명하지 않는다(도 1 및 도 2 참조).
제3의 실시예에 있어서는, 도 6b의 단계S611의 처리의 상세내용이 제1의 실시예와 다르고, 도 7 대신에 도 16의 처리가 실행된다. 도 16에 있어서, 도 7과 같은 처리가 행해진 블록들에는 동일한 번호를 부착하여, 다시 설명하지 않는다.
단계S1601에서, 시스템 제어부(50)는, 처리 대상 블록에 관해서, 프레임 차분값을 산출한다. 더 구체적으로는, 시스템 제어부(50)는, 후술하는 단계S1605에서 보존된, 이전의 화상신호(제2화상을 나타내는 제2화상 데이터)의 동일 위치의 블록 화상에 대한 화소 차분값을 산출하고, 그룹내에서의 이들 화소 차분값의 합계 값을 산출한다.
단계S1602에서, 시스템 제어부(50)는, 자이로 가속도 센서(125)의 출력으로부터 디지털 카메라(100)의 가속도를 취득한다. 시스템 제어부(50)는, 가속도가 특정의 역치TH3이상의 경우에, 디지털 카메라(100)가 움직이고 있다고 판정한다. 디지털 카메라(100)가 움직이고 있다고 판정되었을 경우, 처리는 단계S702에 진행되고, 그렇지 않은 경우, 처리는 단계S1603에 진행된다.
단계S1603에서, 시스템 제어부(50)는, 단계S1601에서 산출된 프레임 차분값의 합계 값이 역치TH4보다 큰 것인가 아닌가를 판정한다. 그 합계 값이 역치TH4보다 클 경우, 처리는 단계S1604에 진행되고, 그렇지 않은 경우, 처리는 단계S702에 진행된다.
단계S1604에서, 시스템 제어부(50)는, 처리 대상 블록이 비건축물 블록이라고 판정한다. 이것은, 디지털 카메라(100)가 움직이지 않을지라도 움직이고 있는 영역이 건축물이 아니라고 생각되기 때문이다. 달리 말하면, 움직이고 있는 영역은, 인물영역이나, 바람에 흔들리고 있는 식물등의 자연물의 영역이라고 생각된다. 이 경우에, 대표 윤곽방향은 검출되지 않는다.
단계S1605에서, 시스템 제어부(50)는, 현재 처리하고 있는 화상을 화상 메모리(106)에 기록한다. 이 화상은, 단계S1601에서, 상기 프레임 차분값을 산출할 때에 이용된다.
이상, 움직임 정보에 근거하는 블록의 분류 처리(대표 윤곽방향의 검출 처리)에 관하여 설명했다. 이외의 처리는, 제1의 실시예에서 도 6a 및 6b를 참조해서 설명한 처리와 같기 때문에, 다시 설명하지 않을 것이다.
본 실시예에서는, 제1의 실시예에 대해서, 시간의 경과에 따라 움직이고 있는 피사체 영역의 블록이 윤곽 블록이라고 간주되지 않는 처리를 첨가했다. 이에 따라, 보다 정확하게 원하는 피사체의 윤곽만을 검출할 수 있어, 피사체의 종류가 보다 정확하게 판정된다.
또한, 본 실시예에서는, 건축물과 자연물을 식별할 경우를 예로서 설명했지만, 피사체의 움직임에 의해, 식별에 이용하는 영역을 한정하는 것이면, 어떤 종류의 피사체도 식별될 수 있다.
또한, 본 실시예에서는, 피사체의 움직임 정보를 피사체의 종류의 판정 처리에만 이용했지만, 움직임에 근거해 화상처리부(105)의 화상보정처리의 파라미터를 변경해도 된다. 예를 들면, 피사체를 자연물이라고 판단했을 경우에, 정지하고 있는 영역과 비교하여 움직이고 있는 영역에 있어서, 윤곽강조 처리의 게인을 증가시키고, 중심주파수를 낮게 하도록, 처리를 첨가해도 된다. 이에 따라 움직임으로 인해 고주파수 정보가 잃어버려져 있는 피사체에 대하여 고주파성분의 윤곽강조 처리를 행함으로써 부자연스럽게 윤곽을 강조하는 것을 삼가하는 것이 가능해진다.
[제4의 실시예]
이하, 도 17 및 도 18a∼도 18d를 참조하여, 본 발명의 제4의 실시예에 관하여 설명한다. 제4의 실시예에서는, 실질적으로 제1의 실시예와 같은 화상보정처리가 이루어지지만, 그 화상보정처리는 인물과 피사체와의 위치 관계를 포함한다. 제4의 실시예에 있어서의 디지털 카메라(100)의 구성 및 기본동작은, 상기 제1의 실시예에서 설명한 것과 같기 때문에, 다시 상세하게 설명하지 않겠다(도 1 및 도 2 참조).
제4의 실시예는, 도 6a의 단계S603의 처리의 상세내용에 있어서 제1의 실시예와 다르고, 대신에 도 17의 처리가 실행된다. 단계S1701에서, 시스템 제어부(50)는, 도 12의 단계S1201∼단계S1209와 같은 처리에 의해, 블록을 그룹화하고(라벨을 부여하고), 그룹내의 피사체의 종류를 판정한다.
단계S1702에서, 시스템 제어부(50)는, 화상내에서 인물의 얼굴을 검출한다. 이 얼굴검출 처리에는, 기존의 어떤 방법을 사용해도 된다. 예를 들면, 화상중의 지정 영역의 특징량과 얼굴의 특징량과의 패턴매칭을 행하고, 매칭 정도가 특정의 역치이상인 경우 얼굴이라고 판정한다.
단계S1703에서, 시스템 제어부(50)는, 단계S1702에서 얼굴이 검출된 것인가 아닌가를 판정한다. 얼굴이 검출되었을 경우, 처리는 단계S1704에 진행되고, 그렇지 않은 경우, 처리는 단계S1707에 진행된다.
단계S1704에서, 시스템 제어부(50)는, 단계S602(도 6a)에서 판정된 피사체의 종류가 "건축물"인가 아닌가를 판정한다. "건축물"일 경우, 처리는 단계S1705에 진행되고, 그렇지 않은 경우, 처리는 단계S1707에 진행된다.
단계S1705에서, 시스템 제어부(50)는, 검출된 얼굴의 배경에 건축물이 존재하는 것인가 아닌가를 판정한다(배경 판정). 이 처리에 대해서, 도 18a∼도 18d를 참조해서 설명한다. 도 18a는 촬영한 화상을 나타내고, 도 18b는 도 18a에 대응한 라벨링의 예를 나타낸다. 여기에서, 라벨 "1"에는, 라벨링 처리에 의해, 건축물 영역의 플래그(단계S1207 또는 S1208에 있어서의 평탄 건물 플래그 또는 복잡 건물 플래그)가 관련되게 만들어져 있다. 또한, 라벨 "2"의 영역은, 단계S1702에 있어서 얼굴이 검출된 영역이다. 본 단계에서, 시스템 제어부(50)는, 얼굴영역을 포함하는 블록에 대하여, 건축물 영역의 라벨을 포함하는 블록이 인접하고 있는 것인가 아닌가를 판정한다. 도 18b의 예에서는, 라벨 "2"의 블록과 건물 라벨 "1"의 블록이 인접하여서, 얼굴의 배경에 건축물이 존재한다고 판정된다. 한편, 도 18c는 도 18a와 같이 촬영한 화상을 나타내고, 도 18d는 도 18c에 대응하는 라벨링의 예를 나타낸다. 라벨 "1"은 건축물 영역에 대응하고, 라벨 "2"는 얼굴영역에 대응한다. 도 18d에서, 라벨 "1"의 블록이 라벨 "2"의 블록에 인접하지 않고 있으므로, 얼굴의 배경에 건축물이 존재하지 않는다고 판정된다. 이러한 판정 처리에 의해 얼굴의 배경에 건축물이 존재한다고 판정되었을 경우, 처리는 단계S1706에 진행되고, 그렇지 않은 경우, 처리는 단계S1707에 진행된다.
단계S1706에서, 화상처리부(105)는, 시스템 제어부(50)의 제어하에, 배경 건축물용의 화상보정처리를 실행한다. 배경 건축물용의 화상보정처리에 있어서는, 도 11a에 나타낸 피사체의 종류에 따른 파라미터가 이용되는 것이 기본이다. 그렇지만, 윤곽강조 처리부(206)에 있어서의 게인은 낮추어 설정된다.
한편, 단계S1707에서는, 화상처리부(105)는 시스템 제어부(50)의 제어하에, 상기 제1의 실시예와 같이 도 11a에 나타낸 파라미터로 화상보정처리를 실행한다.
이상, 본 실시예에서는 디지털 카메라(100)는, 얼굴을 검출하고, 얼굴의 배경에 건축물이 포함된 것인가 아닌가에 따라 화상보정처리의 파라미터를 변경했다. 이에 따라, 배경의 피사체(이 경우, 건축물)의 윤곽이 지나치게 강조되어서, 얼굴보다도 더 강조되어버리는 것을 막는 것이 가능해진다.
또한, 본 실시예에서는, 배경 건축물용의 화상보정처리로서, 윤곽강조 처리의 게인만을 변경한 예에 대해서 서술했지만, 그 변경된 파라미터를 이것에 한정하지 않는다. 예를 들면, 얼굴의 배경에 건축물이 존재하는 경우에는, 노이즈 저감 처리의 ε값을 증가시키거나, 어떠한 다른 파라미터를 변경해도 된다.
상기 제어와 아울러, 카메라 정보를 사용해서 파라미터를 변경하는 구성을 갖는 것도 가능하다. 예를 들면, 렌즈 군(101)이 배경을 흐리게 할 상태(조리개 개방 등)로 설정되어 있는 경우에, 얼굴이외의 윤곽강조 처리를 끄고, 노이즈 저감을 강하게 하는 처리를 행해도 된다. 이에 따라 배경이 흐려질지라도 윤곽을 강조해버려 부자연스러운 화상을 생성해버리는 것을 피하는 것이 가능해진다. 또한, 본 실시예에서는 건축물을 예로서 설명하였지만, 테이블이나 다른 가구등의, 건축물과 유사한 윤곽의 특징을 가지는 인공물의 피사체이면, 본 발명을 마찬가지로 적용 가능하다.
[기타의 실시예]
또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 상기 시스템 또는 상기 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims (10)

  1. 특정의 피사체를 포함한 화상을 표현하는 화상 데이터를 취득하는 취득부;
    상기 화상에 포함된 윤곽부분을 표현하는 윤곽신호를 생성하는 생성부;
    상기 화상을 분할해서 얻어진 복수의 분할 영역 각각에 대해서, 상기 윤곽신호에 의거하여 대표 윤곽방향을 검출하는 검출부로서, 상기 분할 영역에 포함된 상기 윤곽부분 전체의 방향이 특정 정도이상으로 특정 방향으로 치우쳐 있는 경우에, 특정 방향을 상기 대표 윤곽방향으로서 검출하는 상기 검출부;
    상기 검출된 대표 윤곽방향의 방향 기반 도수분포, 소정의 방향의 대표 윤곽방향이 검출된 상기 분할 영역이 상기 화상에 있어서 상기 소정의 방향에 직교하는 방향으로 연속해서 정렬되어 있는 정도, 및 상기 검출된 대표 윤곽방향의 수 중 적어도 하나에 근거하여, 상기 피사체의 종류를 판정하는 판정부; 및
    상기 피사체의 종류에 대응하는 화상 보정처리에 따라서 상기 화상 데이터를 보정하는 보정부를 구비한, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 피사체의 종류가 건축물이라고 판정되었을 경우, 상기 판정부는,
    그룹내의 분할 영역간의 특정 유사도 이상이 되도록, 상기 복수의 분할 영역을 복수의 그룹으로 분류하고,
    상기 복수의 그룹 각각에 대해서, 상기 그룹내의 분할 영역의 수, 상기 그룹내에서 상기 대표 윤곽방향이 검출된 모든 분할 영역에 대한 수평방향 또는 수직방향의 대표 윤곽방향이 검출된 분할 영역의 비율, 및 상기 그룹내의 모든 분할 영역에 대한 상기 윤곽신호가 특정량이하인 분할 영역의 비율에 근거하여, 상기 그룹내의 상기 피사체의 종류를 판정하고,
    상기 보정부는, 상기 복수의 그룹 각각에 대해서, 상기 그룹내의 상기 피사체의 종류에 대응하는 화상 보정처리에 따라서 상기 그룹내의 각 분할 영역을 보정하는, 화상처리장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 취득부는, 상기 화상을 촬상한 촬상장치의 촬상시의 줌 정보를 추가로 취득하고,
    상기 검출부는, 상기 줌 정보로 나타낸 줌 배율이 클수록 상기 복수의 분할 영역 각각의 크기를 증가시키고, 상기 줌 정보로 나타낸 상기 줌 배율이 작을수록 상기 복수의 분할 영역 각각의 크기를 감소시키는, 화상처리장치.
  4. 제 3 항에 있어서,
    상기 취득부는, 상기 화상을 촬상한 촬상장치의 촬상시의 포커스 정보를 추가로 취득하고,
    상기 검출부는, 상기 포커스 정보로 나타낸 초점거리가 특정의 역치보다도 짧을 경우, 상기 줌 배율에 상관없이 상기 복수의 분할 영역 각각의 크기를 특정의 크기이상으로 설정하는, 화상처리장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 취득부는, 상기 화상을 촬상한 촬상장치의 촬상시의 경사 정보를 추가로 취득하고,
    상기 검출부는, 상기 경사 정보로 나타낸 경사에 따라, 상기 검출된 대표 윤곽방향을 보정하고,
    상기 판정부는, 상기 경사 정보로 나타낸 경사에 따라, 상기 직교하는 방향을 보정하는, 화상처리장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 취득부는, 상기 특정의 피사체를 포함한 상기 화상보다 이전에 촬상된 제2화상을 표현하는 제2화상 데이터를 추가로 취득하고,
    상기 검출부는, 상기 제2화상에 있어서 대응한 분할 영역과의 차분이 역치이상인 상기 화상의 상기 분할 영역에 대해서는, 상기 대표 윤곽방향을 검출하지 않는, 화상처리장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 화상에 포함된 얼굴을 검출하는 얼굴검출부; 및
    상기 검출된 얼굴의 배경에 인공물이 존재하는 것인가 아닌가를 판정하는 배경판정부를 더 구비하고,
    상기 보정부는, 상기 검출된 얼굴의 배경에 인공물이 존재하는 경우와 존재하지 않는 경우에, 다른 화상 보정처리에 따라서 상기 화상 데이터를 보정하는, 화상처리장치.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 보정부에 의한 보정은, 윤곽강조 또는 노이즈 저감을 포함하는, 화상처리장치.
  9. 화상처리장치의 제어방법으로서,
    상기 화상처리장치의 취득부가, 특정의 피사체를 포함한 화상을 표현하는 화상 데이터를 취득하는 취득단계;
    상기 화상처리장치의 생성부가, 상기 화상에 포함된 윤곽부분을 표현하는 윤곽신호를 생성하는 생성단계;
    상기 화상처리장치의 검출부가, 상기 화상을 분할해서 얻어진 복수의 분할 영역 각각에 대해서, 상기 윤곽신호에 의거하여, 대표 윤곽방향을 검출하는 검출단계로서, 상기 분할 영역에 포함된 상기 윤곽부분 전체의 방향이 특정의 정도이상으로 상기 특정 방향으로 치우쳐 있는 경우에, 상기 특정 방향을 상기 대표 윤곽방향으로서 검출하는, 상기 검출단계;
    상기 화상처리장치의 판정부가, 상기 검출된 대표 윤곽방향의 방향 기반 도수분포, 소정의 방향의 대표 윤곽방향이 검출된 상기 분할 영역이 상기 화상에 있어서 상기 소정의 방향에 직교하는 방향으로 연속해서 정렬되어 있는 정도, 및 상기 검출된 대표 윤곽방향의 수 중 적어도 하나에 근거하여, 상기 피사체의 종류를 판정하는 판정단계; 및
    상기 화상처리장치의 보정부가, 상기 피사체의 종류에 대응하는 화상 보정처리에 따라서 상기 화상 데이터를 보정하는 보정단계를 포함한, 화상처리장치의 제어 방법.
  10. 컴퓨터에 청구항 9에 따른 방법을 실행시키는 프로그램을 격납한 컴퓨터 판독 가능한 기억매체.
KR1020120132807A 2011-11-30 2012-11-22 화상처리장치 및 그 제어 방법 KR101548183B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011262657A JP5826001B2 (ja) 2011-11-30 2011-11-30 画像処理装置、及びその制御方法
JPJP-P-2011-262657 2011-11-30

Publications (2)

Publication Number Publication Date
KR20130061066A KR20130061066A (ko) 2013-06-10
KR101548183B1 true KR101548183B1 (ko) 2015-08-28

Family

ID=48466936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120132807A KR101548183B1 (ko) 2011-11-30 2012-11-22 화상처리장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US8983204B2 (ko)
JP (1) JP5826001B2 (ko)
KR (1) KR101548183B1 (ko)
CN (1) CN103139574B (ko)
RU (1) RU2542889C2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5826001B2 (ja) * 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
JP6402469B2 (ja) * 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム
JP6433177B2 (ja) * 2014-07-01 2018-12-05 キヤノン株式会社 画像処理装置および画像処理方法
WO2016031763A1 (ja) * 2014-08-29 2016-03-03 株式会社日立国際電気 固体撮像装置及び撮像方法
JP2016085628A (ja) 2014-10-27 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
CN105069453B (zh) * 2015-08-12 2019-03-05 青岛海信电器股份有限公司 一种图像校正方法及装置
US10911694B2 (en) * 2017-03-15 2021-02-02 Gvbb Holdings S.A.R.L. System and method for creating metadata model to improve multi-camera production

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215063A (ja) 2003-01-07 2004-07-29 Fuji Photo Film Co Ltd 撮像装置及び輪郭補正方法
JP2004318204A (ja) 2003-04-10 2004-11-11 Sony Corp 画像処理装置、画像処理方法及び撮影装置
JP2008116459A (ja) 1999-10-22 2008-05-22 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1746391A1 (ru) * 1989-05-10 1992-07-07 Научно-исследовательский институт телевизионной техники "Электрон" Устройство дл выделени контуров изображений объектов
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP2000059651A (ja) 1998-08-07 2000-02-25 Hitachi Denshi Ltd 輪郭強調回路
JP2002190984A (ja) 2000-12-21 2002-07-05 Toshiba Corp 撮像装置及び撮像方法
US7433535B2 (en) 2003-09-30 2008-10-07 Hewlett-Packard Development Company, L.P. Enhancing text-like edges in digital images
WO2007142227A1 (ja) * 2006-06-07 2007-12-13 Nec Corporation 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム
CN101126813B (zh) 2007-09-29 2010-11-24 北京交通大学 一种高分辨率卫星遥感影像中构筑物轮廓提取方法
CN101681555B (zh) * 2007-10-26 2012-11-28 松下电器产业株式会社 状况判定装置、状况判定方法、异常判定装置、异常判定方法
RU2362210C1 (ru) * 2007-11-29 2009-07-20 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Устройство выделения контуров объектов на изображении
RU2360289C1 (ru) * 2008-08-11 2009-06-27 Евгений Александрович Самойлин Способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях
JP4840426B2 (ja) * 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
JP5229575B2 (ja) * 2009-05-08 2013-07-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5826001B2 (ja) * 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116459A (ja) 1999-10-22 2008-05-22 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP2004215063A (ja) 2003-01-07 2004-07-29 Fuji Photo Film Co Ltd 撮像装置及び輪郭補正方法
JP2004318204A (ja) 2003-04-10 2004-11-11 Sony Corp 画像処理装置、画像処理方法及び撮影装置

Also Published As

Publication number Publication date
CN103139574A (zh) 2013-06-05
CN103139574B (zh) 2015-08-05
KR20130061066A (ko) 2013-06-10
JP2013115751A (ja) 2013-06-10
US20130136367A1 (en) 2013-05-30
JP5826001B2 (ja) 2015-12-02
RU2012151309A (ru) 2014-06-10
US8983204B2 (en) 2015-03-17
RU2542889C2 (ru) 2015-02-27

Similar Documents

Publication Publication Date Title
KR101548183B1 (ko) 화상처리장치 및 그 제어 방법
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
KR101142316B1 (ko) 화상 선택 장치 및 화상 선택 방법
US9854149B2 (en) Image processing apparatus capable of obtaining an image focused on a plurality of subjects at different distances and control method thereof
US8472671B2 (en) Tracking apparatus, tracking method, and computer-readable storage medium
JP4840426B2 (ja) 電子機器、ぼけ画像選別方法及びプログラム
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20120133797A1 (en) Imaging apparatus, imaging method and computer program
US20090102963A1 (en) Auto-focus image system
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
US8861843B2 (en) Image processing apparatus, image processing method and program
JPWO2008044524A1 (ja) 画像分類プログラム、画像分類装置および電子カメラ
KR20110023762A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체
CN112001853A (zh) 图像处理设备、图像处理方法、摄像设备和存储介质
JP5504990B2 (ja) 撮像装置、画像処理装置及びプログラム
JP2011134117A (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
JP2006074498A (ja) 画像処理装置及び撮像装置
JP5629562B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JPH06121214A (ja) 画像記録装置
JP5794413B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7475830B2 (ja) 撮像制御装置および撮像制御方法
JP5818571B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5631181B2 (ja) 画像処理装置及びその制御方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 4