KR101685885B1 - 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 Download PDF

Info

Publication number
KR101685885B1
KR101685885B1 KR1020167001240A KR20167001240A KR101685885B1 KR 101685885 B1 KR101685885 B1 KR 101685885B1 KR 1020167001240 A KR1020167001240 A KR 1020167001240A KR 20167001240 A KR20167001240 A KR 20167001240A KR 101685885 B1 KR101685885 B1 KR 101685885B1
Authority
KR
South Korea
Prior art keywords
image
component
filter
frequency
image processing
Prior art date
Application number
KR1020167001240A
Other languages
English (en)
Other versions
KR20160011239A (ko
Inventor
이사오 야마다
Original Assignee
어큐트로직 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어큐트로직 가부시키가이샤 filed Critical 어큐트로직 가부시키가이샤
Publication of KR20160011239A publication Critical patent/KR20160011239A/ko
Application granted granted Critical
Publication of KR101685885B1 publication Critical patent/KR101685885B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H04N9/045—
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Abstract

화상에 있어서의 색 성분과 휘도 성분의 차이에 따른 화상 처리를 행하면서, 처리하는 데이터량이 비교적 작다. 주파수 분해부(110)는, 촬상 소자(3)로부터의 베이어 화상 신호에 직접 주파수 분해를 실시한다. 이것에 의해, 색 정보를 나타내는 고주파 성분과 휘도 정보를 나타내는 저주파 성분이 취득된다. 보정 처리부(130)의 필터 계수 취득부(131)는, 고주파 성분과 저주파 성분에서 상이한 필터 계수를 취득한다. 필터 처리부는, 필터 계수 취득부(131)가 취득한 필터 계수에 의거하여, 고주파 성분과 저주파 성분에서 상이한 필터 처리를 성분 화상에 실시한다.

Description

화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}
본 발명은, 화상 처리 장치, 특히, 베이어 화상에 화상 처리를 실시하는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램에 관한 것이다.
종래, R(빨강)의 화소, G(초록)의 화소 및 B(파랑)의 화소로 이루어지는 화상에 다양한 처리를 실시한 후에 목적의 화상 처리를 실행하는 화상 처리 장치가 존재한다. 예를 들면, 특허 문헌 1은, 우선, R의 화소, G의 화소 및 B의 화소로 이루어지는 베이어 화상에 보간 처리를 실시하여, 각 화소에 있어서 R, G 및 B의 모든 성분을 가지는 RGB 화상을 생성한다. 그리고, 그 RGB 화상으로부터 휘도 성분 및 색차 성분을 생성하고 나서, 각 성분에 있어서 상이한 화상 처리를 행한다. 이와 같이, 휘도 성분인지 색 성분인지에 따라 상이한 화상 처리를 행하는 것은, 예를 들면, 성분마다 노이즈 특성이 상이하므로, 적절한 노이즈의 제거 처리를 위해서는 성분에 따라 처리를 실시하는 것이 좋기 때문이다.
또, 특허 문헌 1에서는, 휘도 성분 및 색 성분의 각각에 웨이브렛 변환을 실시하여, 서로 상이한 복수의 주파수 대역의 성분을 생성한 상태에서, 각 주파수 대역의 성분에 노이즈의 제거 처리를 실시한다. 이것에 의해, 저주파 성분과 고주파 성분 간의 노이즈 특성의 차이를 고려하면서 노이즈의 제거 처리를 적절히 실시할 수 있다.
국제 공개 제2006/106919호
특허 문헌 1과 같은 종래 기술에 의하면, 화상에 있어서의 색 성분과 휘도 성분의 특성의 차이에 주목하여 화상 처리를 행하기 위해서는, 각 화소 성분을 보간할 수 밖에 없었다. 이 경우, 화상 처리 시에, 원래의 베이어 화상보다 큰 데이터량의 데이터를 처리해야 한다. 처리하는 데이터량이 많아지면, 데이터를 저장하는 메모리의 용량이 커지거나, 처리에 시간이 걸린다.
본 발명의 목적은, 화상에 있어서의 색 성분과 휘도 성분의 차이에 따른 화상 처리를 행하면서, 처리하는 데이터량이 비교적 작은 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 제공하는 것에 있다.
본 발명의 제1 관점에 있어서의 화상 처리 장치는, R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 수단과, 상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 제1 주파수 분해 수단과, 상기 제1 주파수 분해 수단에 의한 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 및 정보 신장 처리로 이루어지는 한 쌍의 처리 중 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 수단과, 상기 화상 처리 수단이 처리를 실행한 후의 상기 성분 화상을 합성하여, 1개의 베이어 화상을 재생성하는 제1 분해 화상 합성 수단을 구비하고 있다.
제1 관점에 있어서의 화상 처리 방법은, R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 단계와, 상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 단계와, 상기 주파수 분해 단계에 있어서의 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 및 정보 신장 처리로 이루어지는 한 쌍의 처리 중 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 단계와, 상기 화상 처리 단계 후의 상기 성분 화상을 합성하여, 1개의 베이어 화상을 재생성하는 분해 화상 합성 단계를 구비하고 있다.
제1 관점에 있어서의 프로그램은, R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 단계와, 상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 단계와, 상기 주파수 분해 단계에 있어서의 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 및 정보 신장 처리로 이루어지는 한 쌍의 처리 중 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 단계와, 상기 화상 처리 단계 후의 상기 성분 화상을 합성하여, 1개의 베이어 화상을 재생성하는 분해 화상 합성 단계를 컴퓨터에 실행시킨다.
본 발명에 있어서의 프로그램은, 플렉서블 디스크 등의 자기 기록 매체, DVD-ROM 등의 광학 기록 매체, 하드 디스크나 USB 메모리 등의 컴퓨터 판독이 가능한 기록 장치 등에 기록하여 배포 가능한 것 외에, 인터넷을 통한 다운로드 등에 의해 배포 가능하다.
본 발명의 제2 관점에 있어서의 화상 처리 장치는, R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 수단과, 상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 수단과, 상기 주파수 분해 수단에 의한 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 중 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 수단과, 상기 화상 처리 수단이 상기 화상 처리를 실행한 후의 상기 성분 화상 및 상기 특징량 중 적어도 어느 하나를 출력하는 출력 수단을 구비하고 있다.
본 발명은, 베이어 화상에 주파수 분해를 실시함으로써 취득되는 복수의 주파수 대역의 성분 중, 저주파 성분이 휘도 정보를 나타내고, 고주파 성분이 색 정보를 나타낸다는 지견에 의거한다. 본 발명은, 이러한 지견에 의거하여, 베이어 화상에 주파수 분해를 실시함으로써, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리한 후, 각각에 상이한 화상 처리를 실시함으로써, 화상에 있어서의 색 성분과 휘도 성분의 각각에 따른 화상 처리를 실시하는 것이다. 이것에 의해, 성분에 따른 적절한 화상 처리를 실행하는 것이 가능하게 됨과 함께, 주파수 분해를 직접 베이어 화상에 실시하여 각 성분을 취득하므로, 보간에 의한 경우와 비교해서, 화상 처리 시에 처리하는 데이터량을 억제할 수 있다. 제1 관점에 의한 화상 처리 장치는, 화상 처리를 행한 후에 각 성분 화상을 합성함으로써, 원래의 화상을 재생성한다.
이상과 같이, 제1 관점에 있어서의 제1 주파수 분해 수단에 의한 주파수 분해는, 베이어 화상에 직접 실시함으로써 화상 데이터가 색 성분과 휘도 성분으로 분해되는 것에 주목한 것이다. 한편, 종래의 주파수 분해는, 베이어 화상의 화소를 보간하고 나서 주파수 분해를 실시한다는 점에 있어서도 본 발명과 상이하며, 저주파 성분인지 고주파 성분인지와 같은 점에만 주목하여 화상 처리를 행하는 것에 지나지 않는 점에 있어서도 본 발명과 상이하다.
제2 관점에 의하면, 제1 관점과 마찬가지로, 성분에 따른 적절한 화상 처리를 실행하는 것이 가능하게 됨과 함께, 주파수 분해를 직접 베이어 화상에 실시하여 각 성분을 취득하므로, 보간에 의한 경우와 비교해서, 화상 처리 시에 처리하는 데이터량을 억제할 수 있다. 제2 관점에 의한 화상 처리 장치는, 화상 처리를 행한 후에, 성분 화상을 합성하지 않고 그대로 출력하거나, 연산한 특징량을 출력한다.
도 1은 본 발명의 일실시의 형태인 제1 실시 형태에 관련된 촬상 장치의 구성을 나타내는 블럭도이다.
도 2는 도 1의 촬상 소자에 있어서의 컬러 필터의 베이어 배열을 나타내는 개념도이다.
도 3은 본 실시 형태에서 이용되는 이산 웨이브렛 변환에 있어서 채용되는 필터 계수와 베이어 배열의 화소의 관계를 나타내는 개념도이다.
도 4(a)는, 촬상 소자에 있어서 샘플링되기 전의 피사체상(像)에 있어서의 색 성분 및 휘도 성분의 주파수 분포를 개념적으로 나타내는 그래프이다. 도 4(b)는, 촬상 소자에 있어서 샘플링된 후의 피사체상에 있어서의 색 성분 및 휘도 성분의 주파수 분포를 개념적으로 나타내는 그래프이다. 도 4(c)는, 1레벨의 이산 웨이브렛 변환에 의해 생성된 성분 화상의 주파수 분포를 개념적으로 나타내는 그래프이다. 도 4(d)는, 도 4(c)의 각 성분 화상에 또한 2레벨의 이산 웨이브렛 변환이 실시됨으로써 생성된 성분 화상의 주파수 분포를 개념적으로 나타내는 그래프이다.
도 5(a)는, 각 성분 화상에 있어서의 횡방향 및 종방향에 관한 주파수 분포를 개념적으로 나타내는 그래프이다. 도 5(b)는, 각 성분 화상에 포함되는 색 성분 및 휘도 성분의 주파수 분포를 개념적으로 나타내는 그래프이다.
도 6은 1레벨의 이산 웨이브렛 변환에 의해 생성된 각 성분 화상과, 거기에 또한 2레벨의 이산 웨이브렛 변환이 실시됨으로써 생성된 각 성분 화상의 관계를 나타내는 개념도이다.
도 7은 본 실시 형태의 보정 처리에 있어서 이용되는 필터 계수를 나타내는 개념도이다.
도 8은 본 실시 형태의 화상 처리부의 일실시예에 관련된 회로 구성을 나타내는 블럭도이다.
도 9는 도 8의 주파수 분해부 중, W화상 및 U화상을 주파수 분해하는 회로 구성과, 주파수 분해에 의해 생성된 WHH1, UHH2 등의 성분 화상에 필터 처리를 실시하는 보정 처리부의 회로 구성을 나타내는 블럭도이다.
도 10은 도 8의 주파수 분해부 중, V화상 및 Y화상을 주파수 분해하는 회로 구성과, 주파수 분해에 의해 생성된 VHH1, YHH2 등의 성분 화상에 필터 처리를 실시하는 보정 처리부의 회로 구성을 나타내는 블럭도이다.
도 11은 도 8의 분해 화상 합성부 중, 보정 처리가 실시된 WHH1′, ULH2′ 등의 성분 화상을 합성하여 W′화상 및 U′화상을 생성하는 회로 구성을 나타내는 블럭도이다.
도 12는 도 8의 분해 화상 합성부 중, 보정 처리가 실시된 VHH1′, YLH2′ 등의 성분 화상을 합성하여 V′화상 및 Y′화상을 생성하는 회로 구성을 나타내는 블럭도이다.
도 13은 본 발명의 다른 일실시의 형태에 관련된 제2 실시 형태의 구성을 나타내는 블럭도이다.
[제1 실시 형태]
본 발명의 일실시의 형태인 제1 실시 형태에 관련된 촬상 장치(1)에 대해서, 도면을 참조하면서 설명한다. 촬상 장치(1)는, 도 1에 나타내는 바와 같이, 촬상 광학계(2), 촬상 소자(3)(화상 취득 수단) 및 화상 처리부(100)(화상 처리 수단)를 가지고 있다. 촬상 광학계(2)는, 각종의 렌즈를 가지며, 피사체로부터의 광을 촬상 소자(3)로 유도하여, 촬상 소자(3)에 있어서 결상시킨다. 촬상 소자(3)는, 결상된 피사체의 상을 광전 변환에 의해 전기 신호로 변환함과 함께, 그 전기 신호를 디지털 화상 신호로 변환하여 출력한다. 화상 처리부(100)는, 촬상 소자(3)로부터 출력된 디지털 화상 신호에 소정의 신호 처리를 실시함으로써, 피사체상에 대응하는 화상 데이터를 생성한다. 화상 처리부(100)가 생성한 화상 데이터는, 화상을 표시하는 디스플레이에, 표시해야 할 화상에 관련된 화상 신호로서 출력되거나, 컴퓨터 판독 가능한 기록 매체로 출력된다. 이하, 촬상 소자(3) 및 화상 처리부(100)에 대해서 보다 상세하게 설명한다.
촬상 소자(3)는, 베이어(Bayer) 배열로 배열된 컬러 필터와, 각 컬러 필터를 통해서 수광한 광의 강도에 따른 아날로그 신호를 출력하는 광전 변환 소자와, 광전 변환 소자로부터의 아날로그 신호를 디지털 신호로 변환하는 AD변환부를 구비하고 있다. 베이어 배열은, 도 2에 나타내는 바와 같이, R(빨강) 및 G(초록)가 횡방향으로 번갈아 늘어선 행과 G(초록) 및 B(파랑)가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 배열이다. 도 2에서는, R과 동일한 행에 속하는 G를 Gr, B와 동일한 행에 속하는 G를 Gb로 표기하고 있다. 촬상 소자(3)는, 이 베이어 배열에 따라서 각 화소가 늘어선 화상(이하, 베이어 화상이라고 칭한다)을 나타내는 화상 신호를 출력한다.
화상 처리부(100)는, 촬상 소자(3)로부터의 화상 신호를 고주파 성분과 저주파 성분으로 분해하는 2개의 주파수 분해부를 가지고 있다. 이러한 주파수 분해부(110 및 120)(제1 및 제2 주파수 분해 수단)는, 모두 이산 웨이브렛 변환에 따라서 화상 신호를 분해한다.
이산 웨이브렛 변환에 이용하는 필터에는 다양한 것이 채용될 수 있지만, 본 실시 형태에 있어서는, CDF 5/3 wavelet가 채용된다. 이것은, 저주파 성분을 탭수 5(1차원에 대해 5화소)의 로우패스 필터로 생성하고, 고주파 성분을 탭수 3(1차원에 대해 3화소)의 하이 패스 필터로 생성하는 방법이다. 또한, CDF 9/7 등이 채용되어도 된다. 또, Haar Wavelet 등, 가역성의 다중 해상도 변환이면, 어떠한 것이어도 된다. CDF 5/3 wavelet에 있어서의 1차원의 경우의 필터 계수는 이하 대로이다.
로우패스 필터：[-1/8, 2/8, 6/8, -1/8]
하이 패스 필터：[-1/2, 1, -1/2]
이것을 2차원으로 확장하면, 도 3에 나타내는 필터가 된다. 도 3(a)의 필터는, 화상의 횡방향 및 종방향의 양방향에 관해서 로우패스 필터이다. 도 3(a)에 있어서, 횡방향 및 종방향으로 매트릭스형상으로 배열된 수치는, 횡방향 및 종방향의 각 화소 위치에 있어서의 가중치이다. 또, 「/64」는, 각 화소 위치의 가중치를 64로 나눗셈한 것이 각 위치에 있어서의 필터 계수인 것을 나타낸다. 또한, 도 3(b)~도 3(d)에 있어서도 마찬가지이다. 이하, 도 3(a)의 필터를 LL이라고 표기한다.
도 3(b)의 필터는, 화상의 횡방향에 관해서는 하이 패스 필터, 종방향에 관해서는 로우패스 필터이다. 이하, 이 필터를 HL이라고 표기한다. 도 3(c)의 필터는, 화상의 횡방향에 관해서는 로우패스 필터, 종방향에 관해서는 하이 패스 필터이다. 이하, 이 필터를 LH라고 표기한다. 도 3(d)의 필터는, 화상의 횡방향 및 종방향의 양방향에 관해서 하이 패스 필터이다. 이하, 이 필터를 HH라고 표기한다.
이러한 필터를 화상에 실시할 때에는, 필터에 포함되는 각 필터 계수를 그 위치에 대응하는 화소에 곱셈함과 함께, 모든 곱셈 결과의 합을 필터 처리 후의 화소치로 한다. 도 3(a)~도 3(d)는, 이러한 필터 처리를 베이어 화상에 실시하는 경우의 일례를 나타내고 있다. 각 도에 있어서는, 베이어 화상에 포함되는 각 화소에 대해, 그 화소의 위치에 대응하는 필터 계수가 곱셈되게 된다. 이러한 필터 연산을, LL필터, HL필터, LH필터 및 HH필터의 각각에 대해서, 화상에 있어서의 횡방향 및 종방향의 각각 2화소마다 행한다. 이것에 의해, 필터 처리 결과로서, 필터 처리 후의 화소치로 이루어지는 4종류의 성분 화상을 얻는다. 이하, LL필터를 이용한 필터 처리에 의해 얻어지는 성분 화상을 LL화상으로 한다. 마찬가지로, HL필터, LH필터 및 HH필터를 이용한 필터 처리에 의해 얻어지는 성분 화상을 HL화상, LH화상 및 HH화상으로 한다.
LL화상은, 횡방향 및 종방향의 양방향에 대해서, 원래의 화상의 저주파 성분에 상당하는 성분 화상이다. HL화상은, 횡방향에 대해서는 원래의 화상의 고주파 성분에 상당하고, 종방향에 대해서는 원래의 화상의 저주파 성분에 상당하는 화상이다. LH화상은, 횡방향에 대해서는 원래의 화상의 저주파 성분에 상당하고, 종방향에 대해서는 원래의 화상의 고주파 성분에 상당하는 화상이다. HH화상은, 횡방향 및 종방향의 양방향에 대해서, 원래의 화상의 고주파 성분에 상당하는 성분 화상이다.
그런데, 다색의 컬러 필터가 배열된 촬상 소자가 아니라, 단색의 촬상 소자이면, 그 촬상 소자로부터 얻어진 화상 신호를 주파수 분해한 결과는, 단순하게 화상의 휘도 성분을 주파수 분해한 결과에 지나지 않는다. 그러나, 본 실시 형태와 같이, 다색의 컬러 필터가 배열된 촬상 소자(3)로부터 얻어진 베이어 화상에 상기와 같은 주파수 분해를 실시하는 경우, 그에 따라 얻어지는 성분 화상은, 단순한 휘도 성분의 분해 결과와는 상이한 성질을 나타내게 된다. 이하, 이것에 대해서 설명한다.
우선, 간단하게, 화상의 횡방향에 대해서만 생각한다. 피사체상은, 휘도 성분과 색 성분의 합성으로 표시된다. 도 4(a)는, 촬상 소자(3)에 입사하기 전의 피사체상에 있어서의 휘도 성분과 색 성분의 주파수 분포의 일례이다. 도 4(b)는, 촬상 소자(3)에 있어서 샘플링된 후의 화상 신호에 있어서의 휘도 성분과 색 성분의 주파수 분포의 일례이다. 또한, fs는 샘플링 주파수이다. 이와 같이, 촬상 소자(3)에 입사하기 전의 피사체상에 있어서의 휘도 성분과 색 성분이, 촬상 소자(3)에 있어서, 베이어 배열에 따라서 배열된 컬러 필터에 의해 직교 변조된다. 이것에 의해, 저주파측에 휘도 성분이, 고주파측에 색 성분이 배치된다.
본 실시 형태의 주파수 분해는, 우선, 도 4(b)와 같이 휘도 성분 및 색 성분이 배치된 화상에 실시되게 된다. 예를 들면, LL필터 및 HL필터를 이용한 필터 처리에 의해, 도 4(b)에 나타내는 베이어 화상이, 도 4(c)에 나타내는 바와 같이, 횡방향에 관해서 고주파 성분 및 저주파 성분으로 분해된다. 따라서, LL화상은 휘도 성분을 많이 포함하며, HL화상은 색 성분을 많이 포함하게 된다. 이와 같이, 베이어 화상에 주파수 분해를 실시하는 것은, 베이어 배열의 컬러 필터에 의해 직교 변조된 휘도 성분 및 색 성분을 복조하는 것에 상당한다.
이상의 논의를 2차원으로 확장하면, 이하와 같이 된다. 도 5(a)는, LL화상, HL화상, LH화상 및 HH화상의 각각의 주파수 분포를 횡방향 및 종방향에 관해서 나타내고 있다. 한편, 도 5(b)는, LL화상, HL화상, LH화상 및 HH화상 중의 휘도 성분과 색 성분의 분포를, 도 5(a)와 마찬가지로, 횡방향의 주파수 및 종방향의 주파수에 관해서 나타낸다. 도 5(a)와 도 5(b)를 비교하면 알 수 있는 바와 같이, LL화상은 주로 휘도 성분을 포함하며, HL, LH 및 HH의 각 화상은 주로 색 성분을 포함한다. 즉, LL화상은 원래의 화상에 있어서의 휘도 정보를 나타내고, HL, LH 및 HH의 각 화상은 원래의 화상에 있어서의 색 정보를 나타내게 된다.
본 실시 형태의 주파수 분해부(110)는, 촬상 소자(3)로부터 출력된 베이어 화상에 관련된 화상 신호에, 도 3에 나타내는 필터 계수를 이용하여 1레벨(1계층)의 이산 웨이브렛 변환을 실시한다. 즉, 주파수 분해부(110)는, 베이어 화상 신호로부터, LL, HL, LH 및 HH의 4개의 성분 화상을 생성한다. 이하, 주파수 분해부(110)가 생성한 4개의 성분 화상을, Y(=LL) 화상, U(=HL) 화상, V(=LH) 화상 및 W(HH) 화상이라고 칭한다.
도 3에 나타내는 필터 계수를 이용한 필터 처리에 의해, Y, U, V 및 W의 각 화소는 원래의 화상에 있어서의 R화소, B화소 및 G화소의 요소를 하기 식에 나타내는 바와 같이 도입하게 된다. Y화상은, 주로 화상의 휘도 성분을 나타낸다. 피사체가 고주파의 색 성분을 많이 포함하는 경우, 그러한 성분이 Y화상에 있어서 혼합되게 된다. U화상은, 주로 화상의 색 성분을 나타낸다. 피사체가 횡방향에 관해서 고주파의 휘도 성분을 많이 포함하는 경우, 그러한 성분이 U화상에 있어서 혼합되게 된다. V화상은, 주로 화상의 색 성분을 나타낸다. 피사체가 종방향에 관해서 고주파의 휘도 성분을 많이 포함하는 경우, 그러한 성분이 V화상에 있어서 혼합되게 된다. W화상은, 주로 화상의 색 성분을 나타낸다. 피사체가 고주파의 색 성분을 많이 포함하는 경우, 그러한 성분이 W화상에 있어서 혼합되게 된다.
Y=(2G+R+B)/4
U=(R-B)/2
V=(B-R)/2
W=2G-(R+B)
다음에, 주파수 분해부(120)는, 주파수 분해부(110)가 생성한 Y, U, V 및 W의 각 성분 화상에, 2레벨(2계층)의 이산 웨이브렛 변환을 실시한다. 즉, 주파수 분해부(120)는, 도 6에 나타내는 바와 같이, Y, U, V 및 W의 각 성분 화상을 LL, HL, LH 및 HH의 각 성분 화상으로 분해함과 함께, 그렇게 해서 생성한 LL화상을 또한 LL, HL, LH 및 HH의 각 성분 화상으로 분해한다. 이하, 주파수 분해부(120)에 의한 1회째의 분해로 생성된 성분 화상을 YHL1, YLH1 및 YHH1 등으로 표기한다. 또, 주파수 분해부(120)에 의한 2번째의 분해로 생성된 성분 화상을 YLL2, YHL2, YLH2 및 YHH2 등으로 표기한다. 이러한 표기에 있어서, 1문자째의 Y, U, V 및 W는, 각 성분 화상이 유래하는 것이 Y, U, V 및 W의 성분 화상 중 어느 것인지를 나타낸다.
주파수 분해부(120)가 생성한 YLL2, YHL2, YHL1, UHL1, UHL2, ULL2 등의 성분 화상에 있어서는, 주파수 분해부(110)가 생성한 Y, U, V 및 W의 각 성분 화상보다도, 휘도 성분과 색 성분으로의 분리도가 향상되어 있다. 도 4(d)는, 주파수 분해부(120)에 의해 생성된 각 성분 화상의 횡방향에 관한 주파수 분포를 나타내고 있다. 상술한 도 4(c)에 나타내는 Y화상 및 U화상은, 각각 휘도 성분 및 색 성분을 주로 포함하고 있지만, 도 4(b)와 비교하면 알 수 있는 바와 같이, 원래의 피사체상에 있어서의 고주파 성분을 혼합하여 포함하고 있는 경우가 있다. 한편, 도 4(d)에 의하면, ULL2 화상은, 고주파의 휘도 성분을 포함하지 않고, 원래의 피사체상에 있어서의 저주파의 색 성분 그 자체를 나타내게 된다. 또, YLL2 화상은, 고주파의 색 성분을 포함하지 않고, 원래의 피사체에 있어서의 저주파의 휘도 성분 그 자체를 나타내게 된다.
또, 화상 처리부(100)는, 도 1에 나타내는 바와 같이, 주파수 분해부(120)가 생성한 각 성분 화상에 보정 처리를 실시하는 보정 처리부(130)를 가지고 있다. 보정 처리부(130)의 보정 처리에서는, 각 성분 화상에 필터 처리가 실시됨으로써, 노이즈 성분이 저감된다. 본 실시 형태에서는, 엣지 보존 필터로서, 바이라테랄 필터가 이용된다.
우선, 바이라테랄 필터에 대해서 설명한다. 주목 화소를 중심으로 한, 가로：2N+1 픽셀(N：자연수), 세로：2N+1 픽셀의 정사각형의 영역에 포함되는 화소의 집합 Ω을 이하와 같이 나타낸다. 예를 들면, 필터 커널의 사이즈를 가로 3×세로 3으로 할 때는 N=1이며, 필터 커널의 사이즈를 가로 5×세로 5로 할 때는 N=2이다.
Ω=Ωp(N)
바이라테랄 필터의 연산은, Ω에 속하는 모든 화소 q∈Ω의 가중치 부여 가중 평균을 산출함으로써 행해진다. 각 화소에 할당되는 가중치는, 거리에 의한 가중치와, 주목 화소와의 화소치의 차분에 의한 가중치의 2개의 항에 의해 결정된다. 주목 화소를 p, Ω에 속하는 각 화소를 q로 한다. Δ(p, q)를 화소 p 및 화소 q들의 거리로 하면, 거리에 의한 가중치는, 이하와 같이 표시된다.
[수학식 3]
Figure 112016004727337-pct00001
또, Df(p, q)를 화소 p 및 화소 q 간의 화소치의 차분으로 하면, 주목 화소와의 화소치의 차분에 의한 가중치는, 이하와 같이 표시된다.
[수학식 4]
Figure 112016004727337-pct00002
그리고, 각 화소의 가중치는, 거리에 의한 가중치 및 화소치의 차분에 의한 가중치의 곱으로서, 이하와 같이 표시된다.
[수학식 5]
Figure 112016004727337-pct00003
화소 p의 화소치를 up, 화소 q의 화소치를 uq로 할 때, 바이라테랄 필터는, 이하의 연산에 의해 실시된다. 또한, u′는, 필터 처리 후의 화소치이다.
[수학식 6]
Figure 112016004727337-pct00004
본 실시 형태의 보정 처리부(130)는, 바이라테랄 필터에 의한 필터 처리를 위한 필터 계수를 취득하는 필터 계수 취득부(131)(필터 취득 수단)와, 필터 계수 취득부(131)가 취득한 필터 계수에 의거하여 필터 처리를 실시하는 필터 처리부(132)(필터 처리 수단)를 가지고 있다. 필터 계수 취득부(131)는, 필터 계수를 이하와 같이 취득한다.
본 실시 형태는, 주로, 저주파 성분(YLL2 등)에 있어서의 노이즈 저감을 목적으로 한다. 따라서, 필터의 참조 범위(필터 커널의 사이즈)는, 가로 3×세로 3~가로 5×세로 5 정도로 설정할 수 있다. YLL2 화상 등은, 주파수 분해를 거침으로써, 다운 샘플링되어 있기 때문에, 커널 사이즈가 작아도, 낮은 주파수까지 필터링하는 것이 가능하다.
필터 계수 취득부(131)는, 거리에 의한 가중치 ws에 관하여, 도 7(a) 및 도 7(b)에 나타내는 가로 3×세로 3의 가중치 ws1 및 ws2, 혹은, 도 7(c) 및 도 7(d)에 나타내는 가로 5×세로 5의 가중치 ws1 및 ws2를 유지하고 있다. 도 7(a)~도 7(d)는, 도 3과 마찬가지로, 각 화소 위치에 대응하는 필터 계수를 나타내고 있다. 이와 같이, ws1 및 ws2의 각 가중치를 정수로 함으로써, 연산량이 저감된다. 또한, ws1에 의거하여 얻어지는 필터 계수군이 본 발명에 있어서의 제1 계수군에 대응한다. 또, ws2에 의거하여 얻어지는 필터 계수군이 본 발명에 있어서의 제2 계수군에 대응한다.
ws1(제1 가중치)은, 화소들의 거리가 커질 수록 작은(즉, 거리에 대해 단조 감소의) 값을 가지며, 휘도 정보를 나타내는 YLL2 화상 등에 필터 처리를 실시할 때에 이용된다. 한편, 색 정보를 나타내는 ULL2, VLL2 및 WLL2의 각 성분 화상에 대해서는, ws2(제2 가중치)가 이용된다. ws2는, 화소 위치에 상관 없이 모두 1이며, 거리에 따른 것으로 되어 있지 않다. 이와 같이, 화소들의 거리에 따라 변화하지 않는 가중치를 이용하거나, 화소들의 거리에 따른 감소율이 비교적 작은 가중치를 이용하는 경우에는, 필터에 있어서의 노이즈를 저감하는 능력이 높아지는 반면, 필터 처리 후의 화상에 있어서의 해상도가 저하된다. 그러나, 사람의 시각은, 휘도의 해상도의 변화에 대한 경우와 비교하면, 색 해상도의 변화(색의 번짐 등)에 대해 민감하지 않다. 이 때문에, ws2를 색 정보를 나타내는 성분인 ULL2, VLL2 및 WLL2의 각 화상에 이용함으로써, 사람의 시각 특성에 따라 화상의 열화를 상대적으로 억제하면서, 색 성분의 약간의 번짐의 대가로, 색노이즈를 저감하는 것이 가능하다.
필터 계수 취득부(131)는, 화소치의 차분에 의한 가중치 wR에 관하여, σ2 R의 값을 유지하고 있다. σR은, 예를 들면, 촬상 장치(1)의 촬상 광학계(2) 및 촬상 소자(3)의 특성에 따라 미리 설정된다. 설정치의 취득 방법은 이하 대로이다. 촬상 광학계(2) 및 촬상 소자(3)에 의해, 피사체로서 일정한 밝기를 가지는 물체에 관련된 베이어 화상 신호를 생성한다. 다음에, 그 베이어 화상 신호에 대해, 주파수 분해부(110 및 120)에 상술한 주파수 분해를 실시하게 한다. 이것에 의해, YLL1, YHL2, YLH2, YHH2, ULL1의 각 성분 화상을 얻는다. 다음에, 이 성분 화상마다, 화소치의 표준 편차 σN을 산출한다. 그리고, σN에 적절한 계수 kN을 곱셈함으로써, 하기와 같이, σR을 얻는다.
[수학식 7]
Figure 112016004727337-pct00005
여기서, kN의 크기는, 처리 후의 화상 열화와 노이즈 억제의 능력의 밸런스를 고려하여 조정된다. 예를 들면, kN이 작을 수록 노이즈 억제의 능력이 낮아지는 한편 처리 후의 화상이 열화되기 어려워진다. 이 반대로, kN이 작을 수록 노이즈 억제의 능력이 높아지는 한편 처리 후의 화상이 열화되기 어려워진다. 화상의 열화란, 예를 들면, 휘도 정보에 관해서는 해상도의 열화를 나타내고, 색 정보에 관해서는 색번짐이 강해지는 것을 나타낸다. 본 실시 형태에서는, 상기와 마찬가지로, 휘도의 해상도의 변화에 대한 경우와 비교하면, 사람의 시각이 색 해상도의 변화(색의 번짐 등)에 대해 민감하지 않은 것을 이용하여 kN을 설정한다. 예를 들면, 고주파의 휘도 성분을 나타내는 YHL1 화상 등에 대해서는 kN을 작게 하고, 저주파의 색 성분을 나타내는 ULL2, VLL2의 성분 화상 등에 대해서는 kN을 크게 한다.
필터 계수 취득부(131)는, 이상과 같이, YLL2, YHL1 등의 각 화상 성분에 대해 미리 설정된 σ2 R을, 각 화상 성분에 관련지어 유지하고 있다. 이상을 정리하면, 필터 계수 취득부(131)는, 휘도 정보를 나타내는 YLL2 화상 등에 이용하는 가중치로서 ws1을, 색 정보를 나타내는 ULL2 화상 등에 이용하는 가중치로서 ws2를, 각 화상 성분에 대해 σ2 R을 각각 유지하고 있다. 필터 계수 취득부(131)는, 상기의 수학식 6에 나타내는 필터 연산에 이용하는 하기의 필터 계수 c(p, q)를, 수학식 4~6에 의거하여, σ2 R, ws1 및 ws2를 사용하여, 성분 화상마다 산출한다.
[수학식 8]
Figure 112016004727337-pct00006
그리고, 필터 처리부(132)는, 필터 계수 취득부(131)가 취득한 필터 계수를 이용하여, 상기 수학식 6에 의거하여, 각 화상 성분에 필터 처리를 실시한다.
또한, 화상 처리부(100)는, 도 1에 나타내는 바와 같이, 보정 처리부(130)가 보정 처리를 실시한 각 성분 화상을 모두 합성하여, 베이어 화상을 재생성하는 분해 화상 합성부(140 및 150)(제1 및 제2 분해 화상 합성 수단)를 가지고 있다. 분해 화상 합성부(140)는, 주파수 분해부(120)가 실시한 이산 웨이브렛 변환의 역변환을 YLL2, YHL1 등의 각 성분 화상에 실시함으로써, Y, U, V 및 W의 각 성분 화상을 재생한다. 그리고, 분해 화상 합성부(150)는, 주파수 분해부(110)가 실시한 이산 웨이브렛 변환의 역변환을 분해 화상 합성부(140)가 생성한 Y, U, V 및 W의 각 성분 화상에 실시함으로써, 베이어 화상을 재생성한다.
(실시예)
다음에, 주파수 분해부(110 및 120), 및, 분해 화상 합성부(140 및 150)의 일실시예에 관련된 회로 구성에 대해서, 도 8~도 12를 참조하면서 설명한다. 본 실시예에 있어서, 주파수 분해부(110) 등은, 라인 버퍼를 이용하여 화상을 처리하는 회로로서 구축된다. 주파수 분해부(110 및 120)를 구성하는 회로에는, 도 8~도 10에 나타내는 바와 같이, 입력 화상을 횡방향에 관해서 고주파 성분과 저주파 성분으로 분해하는 수평 DWT부(11)와, 입력 화상을 종방향에 관해서 고주파 성분과 저주파 성분으로 분해하는 수직 DWT부(12)가 포함된다. 1레벨의 이산 웨이브렛 변환에 대해, 1개의 수평 DWT부(11)와 2개의 수직 DWT부(12)로 이루어지는 회로 구성이 설치된다. 주파수 분해부(110)는, 상기 대로 1레벨의 이산 웨이브렛 변환을 실시한다. 따라서, 주파수 분해부(110)로서, 도 8에 나타내는 바와 같이, 1단 분의 회로 구성이 설치된다.
수평 DWT부(11)는, 입력 화상에 있어서 횡방향에 관해서 늘어선 0개째~2N+1개째의 화소에 대해, 하기의 수학식 9에 대응하는 연산을 실시함으로써, 하이 패스 성분 H(n)(n=0, 1, 2 N)을 취출한다. 또, 수평 DWT부(11)는, 입력 화상에 있어서 횡방향에 관해서 늘어선 0개째~2N+1개째의 화소에 대해, 수학식 10에 대응하는 연산을 실시함으로써, 로우 패스 성분 L(n)(n=0, 1, 2 N)을 취출한다. 또한, 수학식 8 및 9에 있어서, s(m)은, 횡방향으로 m개째의 화소의 화소치이다. 수직 DWT부(12)는, 입력 화상에 대해, 수학식 9 및 10을 이용한 수평 DWT부(11)와 동일한 연산을 종방향으로 행한다. 이 경우, s(m)는, 종방향으로 m개째의 화소의 화소치이다.
[수학식 9]
Figure 112016004727337-pct00007
[수학식 10]
Figure 112016004727337-pct00008
주파수 분해부(110)에 있어서의 수평 DWT부(11)는, 베이어 화상을 횡방향에 관해서 H성분 및 L성분으로 분해한다. 수직 DWT부(12)는, 수평 DWT부(12)로부터의 H성분을, 종방향에 관해서 고주파 성분 및 저주파 성분으로 분해한다. 이것에 의해, W(HH) 화상 및 U(HL) 화상이 생성된다. 다른쪽의 수직 DWT부(12)는, 수평 DWT부(12)로부터의 L성분을, 종방향에 관해서 고주파 성분 및 저주파 성분으로 분해한다. 이것에 의해, V(LH) 화상 및 Y(LL) 화상이 생성된다. 또한, 상기의 수학식 9 및 10에 의거하여 베이어 화상에 실시되는 이산 웨이브렛 변환은, 도 3에 나타내는 이산 웨이브렛 변환과 등가이다.
한편, 주파수 분해부(120)는, 상기 대로, 2레벨의 이산 웨이브렛 변환을 화상에 실시한다. 이 때문에, 주파수 분해부(120)에는, 도 9 및 도 10에 나타내는 바와 같이, 수평 DWT부(11)와 2개의 수직 DWT부(12)로 이루어지는 회로 구성이, Y, U, V 및 W의 각 성분 화상에 대해, 2단에 걸쳐서 설치되어 있다. 예를 들면, W화상에 관해서는, 도 9에 나타내는 바와 같이, 1단째의 수평 DWT부(11)가 W화상을 횡방향으로 H성분과 L성분으로 분해한다. 그리고, 2개의 수직 DWT부(12)가, H성분 및 L성분을, 각각 종방향으로 고주파 성분 및 저주파 성분으로 분해한다. 이것에 의해, WHH1, WHL1, WLH1 및 WLL1의 각 성분 화상이 생성된다. 이 중, 전 삼자가 보정 처리부(130)로 출력되고, 나머지의 WLL1 화상 만이 2단째의 수평 DWT부(11)로 출력된다. WLL1 화상은, 2단째의 수평 DWT부(11) 및 수직 DWT부(12)에 의해, WHH2, WHL2, WLH2 및 WLL2의 각 성분 화상으로 분해된다. 이들 성분 화상은, 보정 처리부(130)에 출력된다. 그 외의 Y, U 및 V의 각 성분 화상에 대해서도 마찬가지이다.
각 성분 화상은, 보정 처리부(130)로서 설치된 각 필터부(13)에 입력된다. 필터부(13)는, 성분 화상마다 설치되며, 필터 계수 취득부(131) 및 필터 처리부(132) 양쪽의 기능을 각각이 가지고 있다. 필터부(13)는, 각 성분 화상에 따른 가중치 ws1 또는 ws2 및 σ2 R을 유지하고 있다. 필터부(13)는, 입력되어 온 성분 화상에 의거하여 필터 계수를 취득함과 함께, 성분 화상에 필터 처리를 실시한다. 필터 처리(보정 처리)가 실시된 성분 화상은, 분해 화상 합성부(140)로 출력된다. 도 9 및 도 10에 있어서, 보정 처리 후의 각 성분 화상은, WHH1′, ULL2′등으로 표기되어 있다.
분해 화상 합성부(140 및 150)를 구성하는 회로에는, 도 8, 도 11 및 도 12에 나타내는 바와 같이, 횡방향에 관한 고주파 성분 및 저주파 성분으로 이루어지는 2개의 성분 화상을 합성하는 수평 IDWT부(21)와, 종방향에 관한 고주파 성분 및 저주파 성분으로 이루어지는 2개의 성분 화상을 합성하는 수직 IDWT부(22)가 포함된다. 수평 IDWT부(21)는, 수평 DWT부(11)가 행하는 변환의 역변환을 성분 화상에 실시함으로써, 성분 화상을 합성한다. 수직 IDWT부(22)는, 수직 DWT부(12)가 행하는 변환의 역변환을 성분 화상에 실시함으로써, 성분 화상을 합성한다. 1레벨의 이산 웨이브렛 역변환에 대해, 1개의 수평 IDWT부(21)와 2개의 수직 IDWT부(22)로 이루어지는 회로 구성이 설치된다. 분해 화상 합성부(140)는, WHH1′, UHL2′ 등의 성분 화상을 합성하여, Y′, U′, V′및 W′의 각 성분 화상을 생성한다. 이 때문에, 분해 화상 합성부(140)로서, 도 11 및 도 12에 나타내는 바와 같이, 주파수 분해부(120)에 대응한 2단의 회로 구성이 설치된다. 또한, Y′ 등의 표기는, 보정 처리 후의 성분 화상인 것을 나타낸다.
예를 들면, W′화상을 생성하는 회로 구성은 이하 대로이다. 도 11에 나타내는 바와 같이, WHH2′화상 및 WHL2′화상이 입력된 1단째의 한쪽의 수직 IDWT부(22)는, 이들을 합성하여 H성분을 생성한다. 한편, WLH2′화상 및 WLL2′화상이 입력된 1단째의 다른쪽의 수직 IDWT부(22)는, 이들을 합성하여 L성분을 생성한다. 그리고, 1단째의 수직 IDWT부(22)에 의해 생성된 H성분 및 L성분은, 1단째의 수평 IDWT부(21)에 입력된다. 이 수평 IDWT부(21)는, 이들을 합성하여 WLL1′화상을 생성한다. WHH1′화상 및 WHL1′화상이 입력된 2단째의 한쪽의 수직 IDWT부(22)는, 이들을 합성하여 H성분을 생성한다. WLH1′화상 및 WLL1′화상이 입력된 2단째의 다른쪽의 수직 IDWT부(22)는, 이들을 합성하여 L성분을 생성한다. 그리고, 2단째의 수직 IDWT부(22)에 의해 생성된 H성분 및 L성분은, 2단째의 수평 IDWT부(21)에 입력된다. 이 수평 IDWT부(21)는, 이들을 합성하여 W′화상을 생성한다. 그 외의 Y′, U′및 V′의 각 성분 화상에 대해서도 마찬가지로 생성된다.
분해 화상 합성부(150)는, Y′화상, U′화상, V′화상 및 W′화상을 합성하여, 1개의 베이어 화상을 재생성한다. 이 때문에, 분해 화상 합성부(150)로서, 도 8에 나타내는 바와 같이, 주파수 분해부(110)에 대응한 1단 분의 회로 구성이 설치된다. 한쪽의 수직 IDWT부(22)는, W′화상 및 U′화상을 합성하여, H성분을 생성한다. 다른쪽의 수직 IDWT부(22)는, V′화상 및 Y′화상을 합성하여, L성분을 생성한다. 수평 IDWT부(21)는, 수직 IDWT부(22)가 생성한 H성분 및 L성분을 합성하여, 베이어 화상을 재생성한다.
이상 설명한 제1 실시 형태에 의하면, 보정 처리부(130)는, 보정 처리로서 필터 처리를 화상에 실시함에 있어서, 성분 화상 중, 색 정보를 나타내는 고주파 성분과 휘도 정보를 나타내는 저주파 성분에서 상이한 필터 계수를 사용한다. 예를 들면, 화소들의 거리에 의한 가중치로서, 휘도 정보를 나타내는 YLL2 화상 등에는 ws1이, 색 정보를 나타내는 ULL2 화상 등에는 ws2가 이용된다. 또, 화소치의 차분에 의한 가중치로서, 휘도 정보를 나타내는 성분 화상과 색 정보를 나타내는 성분 화상에 서로 상이한 σR이 이용된다. 이와 같이, 색 정보를 나타내는 성분 화상과 휘도 정보를 나타내는 성분 화상의 각각에 상이한 필터 계수를 사용함으로써, 색 정보와 휘도 정보에 대해 사람의 시각 특성이 상이한 것에 따른 적절한 필터 처리가 성분 화상에 실시된다.
또, 제1 실시 형태에 의하면, 주파수 분해부(110 및 120)가, 이산 웨이브렛 변환에 의한 주파수 분해를 직접 베이어 화상에 실시한다. 따라서, 예를 들면, 색보간을 거친 후의 화상에 실시하는 경우와 비교해서, 처리하는 데이터량을 억제할 수 있다.
또, 제1 실시 형태에 있어서는, 주파수 분해부(110)와 주파수 분해부(120)에서, 각 레벨의 이산 웨이브렛 변환을 동일한 필터 계수를 이용해서 행하고 있다. 즉, 주파수 분해부(110 및 120)들은, 동일한 주파수 특성이다. 또, 이것에 수반하여, 분해 화상 합성부(140 및 150)들도 동일한 주파수 특성이다. 그 결과, 도 8~도 12에 나타내는 바와 같이, 주파수 분해부(110 및 120)의 각 단이 서로 동일한 회로 구성으로 구축 가능함과 함께, 분해 화상 합성부(140 및 150)도 각 단이 서로 동일한 회로 구성으로 구축 가능하다.
또한, 주파수 분해부(110 및 120)의 적어도 일부 또는 전부, 및, 분해 화상 합성부(140 및 150)의 적어도 일부 또는 전부를, 하드웨어 만으로 실현하는 것이 아니라 하드웨어와 소프트웨어의 조합에 의해 실현하는 것도 가능하다. 이 경우에는, 예를 들면, 이산 웨이브렛 변환의 소정의 알고리즘에 따른 프로그램을 CPU에 실행시키게 된다. 이 때, 주파수 분해부(110 및 120)들이나 분해 화상 합성부(140 및 150)들이 동일한 주파수 특성임으로써, 이산 웨이브렛 변환의 각 레벨의 연산을 행하는 프로그램을 동일한 알고리즘에 따라서 구축할 수 있다.
[제2 실시 형태]
다음에, 본 발명에 관련된 다른 일실시의 형태인 제2 실시 형태에 대해서 설명한다. 또한, 제2 실시 형태에 있어서, 제1 실시 형태와 공통되는 구성에는 동일한 부호를 붙이고, 그 설명을 절절히 생략한다. 제2 실시 형태에 관련된 촬상 장치(201)는, 도 13에 나타내는 바와 같이, 촬상 광학계(2), 촬상 소자(3), 주파수 분해부(110), 주파수 분해부(120) 및 화상 처리부(240)를 가지고 있다. 촬상 광학계(2), 촬상 소자(3), 주파수 분해부(110) 및 주파수 분해부(120)에 의한 신호 처리 또는 화상 처리는, 제1 실시 형태와 동일하다. 화상 처리부(240)는, 보정 처리부(130) 및 압축 처리부(210)를 가지고 있다. 보정 처리부(130)의 보정 처리는 제1 실시 형태와 동일하다. 압축 처리부(210)는, 보정 처리부(130)가 보정 처리를 실시한 후의 각 성분 화상에 압축 처리를 실시한다. 압축 처리는, 디지털 데이터에 관한 각종의 압축 방식에 따라서 행해진다. 압축 처리부(210)는, 성분 화상 중, 고주파 성분과 저주파 성분에서 상이한 압축 처리를 행하는 것이 바람직하다. 예를 들면, YLL2 화상에는 가역성의 압축 방식이 이용되지만, 색 해상도의 열화에는 민감하지 않은 사람의 시각 특성을 고려하여, ULL2 화상 등에는 압축율이 높은 불가역성의 압축 방식이 이용되어도 된다.
그리고, 촬상 장치(201)는, 제1 실시 형태와 달리, 압축 처리부(210)에 의해 압축된 압축 데이터를 그대로 출력한다. 압축 데이터는, 인터넷 등의 네트워크(203)를 통하여, 화상 표시 장치(202)로 송신된다. 화상 표시 장치(202)는, 신장 처리부(221), 분해 화상 합성부(140), 분해 화상 합성부(150), 색보간부(222) 및 디스플레이(223)를 가지고 있다. 신장 처리부(221)는, 촬상 장치(201)로부터 송신된 압축 데이터에 신장 처리를 실시한다. 신장 처리는, 압축 처리에 있어서 이용된 압축 방식과는 쌍이 되는 신장 방식에 따라서, 압축 데이터를 압축 전의 데이터로 복원하는 처리이다. 신장 처리부(221)가 복원한 데이터는, YHH1′화상 등의 성분 화상에 관련된 데이터이다. 이들 데이터가 나타내는 성분 화상은, 분해 화상 합성부(140 및 150)에 의해 합성되어, 베이어 화상이 재생성된다. 색보간부(222)는, 이 베이어 화상의 화소치를 보간함으로써, 각 화소에 대해서 R성분, G성분 및 B성분의 화소치를 가지는 화상을 생성한다. 디스플레이(223)는, 색보간부(222)가 생성한 화상을 표시한다.
본 실시 형태에 의하면, 촬상 장치(201)가 촬상한 화상이, 화상 표시 장치(202)로, 성분 화상인 채로 송신된다. 이 때문에, 데이터의 송신량이 적어도 된다. 또, 성분 화상이 압축되어 송신되므로, 데이터의 송신량이 보다 적어도 된다.
또한, 화상 처리부(240)에 보정 처리부(130)가 설치되지 않고, 압축 처리부(210) 만이 설치되어도 된다. 이 경우, 화상 표시 장치(202)에 보정 처리부(130)가 설치되며, 신장 처리부(221)가 복원한 데이터에 보정 처리부(130)가 보정 처리를 실시하면 된다. 또, 압축 데이터가 네트워크(203)가 아니라, 어떠한 다른 유선/무선 인터페이스를 통하여 다른 장치에 출력되어도 되고, 컴퓨터 판독 가능한 기록 매체에 출력되어도 된다.
[그 외의 변형예]
이하, 상술한 실시 형태에 관련된 변형예에 대해서 설명한다. 상술한 실시 형태에서는, 화상 처리부(100 또는 240)에, 보정 처리부(130)나 압축 처리부(210)가 설치되어 있다. 이들에 더하여, 또는, 대신하여, 이하에 설명하는 특징량 연산부가 화상 처리부에 설치되어도 된다.
특징량 연산부는, YHH1′, VLL2′ 등의 성분 화상에 의거하여, 화상의 특징량을 연산한다. 화상의 특징량이란, 예를 들면, 각종의 화상 처리에 이용되는 파라미터이다. 이러한 파라미터에는, 보정 처리나 화상의 엣지를 강조하기 위한 필터 처리 등에 이용되는 파라미터가 포함된다. 또, 화상의 특징량은, 성분 화상에 의거하여 각종의 통계 연산을 행함으로써 얻어지는 통계치여도 된다. 상술한 실시 형태에 있어서의 σN은, 이러한 통계치의 일례이다. 특징량 연산부는, 성분 화상 중, 고주파 성분과 저주파 성분에서 상이한 처리가 되도록 특징량을 연산하는 것이 바람직하다. 예를 들면, 색 정보에 관련된 보정 처리를 위한 특징량을 연산하기 위해, ULL2 화상 등에 의거하여 연산하지만, YLL2 화상에 관해서는 연산하지 않는다. 반대로, 휘도 정보에 관련된 보정 처리를 위한 특징량을 연산하기 위해, YLL2 화상에 의거하여 연산하지만, 그 외의 성분 화상에 관해서는 연산하지 않는다. 특징량 연산부에 의한 연산 결과는, 촬상 장치 자신에 있어서의 화상 처리에 이용되어도 되고, 다른 장치를 향해, 또는, 기록 매체를 향해 출력되어도 된다.
또, 상술한 실시 형태에서는, 주파수 분해부(110 및 120)의 2개가 설치되어 있지만, 주파수 분해부(110) 만이 설치되어 있어도 된다. 이 경우, 주파수 분해부(110)가 생성한 성분 화상에 화상 처리부(100)가 화상 처리를 실시한다. 이 때, 성분 화상 중, 고주파 성분(U화상 등)과 저주파 성분(Y화상)에서, 색 정보 및 휘도 정보의 차이에 따라 상이한 화상 처리가 실시되면 된다.
또, 상술한 실시 형태에서는, 주파수 분해부(120)가 2레벨(2계층)의 이산 웨이브렛 변환을 실시한다. 그러나, 주파수 분해부(120)가 1레벨이나 3레벨 이상의 이산 웨이브렛 변환을 실시해도 된다. 또, 주파수 분해부(110 및 120)들에서 동일한 주파수 특성이었지만, 이들이 서로 상이한 주파수 특성이어도 된다.
상술한 실시 형태에서는, 성분 화상이 저주파 성분인지 고주파 성분인지에 따라 보정 처리에 있어서의 필터 계수에 이용하는 가중치가 상이하다. 예를 들면, YLL2 화상에는 ws1이, ULL2 화상 등에는 ws2가 이용되어 있다. 이들 2종류의 가중치를 소정의 비율로 더한 것이 사용되어도 된다. 이 경우에도, 고주파측의 성분에 대해서는, 저주파측의 성분에 비해, 거리에 따른 감소율이 작아지는 가중치가 사용되면 된다. 상기 대로, 사람의 시각 특성은, 비교적, 색 정보(고주파 성분)의 열화에 민감하지 않기 때문이다.
또, 상술한 실시 형태에서는, 보정 처리부(130)(필터 계수 취득부(131))는, 미리 설정된 ws1, ws2, σR에 의거하여 필터 계수를 취득하고 있다. 그러나, 촬영 조건 등에 의거하여 필터 계수가 더 조정되어도 된다. 예를 들면, ISO 감도나 촬영 시의 온도 등의 촬영 조건에 따라서도 화상에 포함되는 노이즈의 양이 변화하는 경우에는, 보정 처리부(130)가 촬영 조건에 따라 필터 계수를 조정해도 된다. 이 경우, ISO 감도 등의 촬영 조건은, 촬상 장치의 외부로부터 입력되어도 되고, 촬상 장치 내에 촬상 광학계(2)나 촬상 소자(3)를 제어하는 제어 수단이 설치되어 있는 경우에는, 이러한 제어 수단으로부터 보정 처리부(130)로 촬영 조건이 출력되어도 된다.
또, 상술한 실시 형태에서는, 보정 처리부(130)가 필터 처리를 1회, 성분 화상에 실시하는 것이 상정되어 있다. 그러나, 필터 처리가 성분 화상에 복수회, 실시되어도 된다. 또, 바이라테랄 필터가 채용되어 있지만, 트리라테랄 필터 등, 그 외의 필터가 채용되어도 된다.
또, 상술한 실시 형태에서는, 촬상 광학계(2)나 촬상 소자(3)를 구비한 촬상 장치로서 본 발명이 실시되는 것이 상정되어 있다. 그러나, 촬상 광학계나 촬상 소자 등을 구비한 다른 촬상 장치에 있어서 생성된 베이어 화상에 화상 처리를 실시하는 화상 처리 장치로서 본 발명이 실시되어도 된다. 이 경우, 화상 처리 장치에는 촬상 광학계(2)나 촬상 소자(3)가 설치되지 않아도 된다. 또, 다른 장치로부터의 베이어 화상은, 네트워크나 각종의 유선/무선 인터페이스를 통하여 촬상 장치로부터 화상 처리 장치에 입력되어도 되고, 기록 매체를 통하여 입력되어도 된다. 이와 같은 화상 처리 장치에 있어서는, 외부로부터 베이어 화상을 취득하기 위한 인터페이스나 기록 매체로부터의 데이터 판독부가, 본 발명의 화상 취득 수단에 대응한다.
또, 상술한 제2 실시 형태에 있어서의 압축 처리부(210) 및 신장 처리부(221)가, 제1 실시 형태에 있어서의 화상 처리부(100)에 설치되어 있어도 된다. 데이터를 압축 및 신장하는 기능부를 가지고 있음으로써, 예를 들면, 일시적으로 데이터를 압축하여 보존할 수 있기 때문에, 데이터를 일시적으로 기억하는 기억부의 용량을 삭감할 수 있다.
상술한 실시 형태나 변형예는, 화상 처리로서, 보정 처리, 정보의 압축 신장 처리 및 특징량 연산 처리 중 적어도 어느 하나를 포함하고 있는 형태로 되어 있다. 그 중 적어도 어느 하나의 처리에 있어서, 고주파 성분과 저주파 성분에서 상이한 화상 처리로 되어 있으면, 본 발명의 범위이다.
본 발명의 그 외의 응용예로서는, 3차원 노이즈 리덕션에 대한 적용을 생각할 수 있다. 3차원 노이즈 리덕션은, 복수 프레임이 연속하는 촬상 화상으로 이루어지는 동영상의 경우에, 프레임들의 비교에 의거하여 노이즈를 제거하는 처리이다. 본 발명과 같이, 성분 화상에 3차원 노이즈 리덕션을 실시함으로써, 필요한 버퍼량이나 밴드폭을 큰 폭으로 저감할 수 있다. 예를 들면, RGB4：4：4나 YCbCr4：4：4와 비교하면 1/3로, YCbCr4：2：0과 비교하면 2/3로 저감할 수 있다.
또, 화상 처리로서, 휘도 정보를 나타내는 성분 화상(YLL2 화상)에만 휘도 쉐이딩을 없애는 게인으로 보정을 실시해도 된다. 이것에 의해, 화상 전체에 대해 효율적으로 휘도 쉐이딩의 보정 효과를 확보할 수 있다. 또, YLL2 화상에만 보정을 실시하기 때문에, 회로 규모를 억제할 수 있다. 또한, 화상 처리로서, 색 정보를 나타내는 성분 화상 중, 저주파 성분(ULL2 화상, VLL2 화상, WLL2 화상)에만, 색 쉐이딩을 없애는 게인으로 보정을 실시해도 된다. 이것에 의해, 화상 전체에 대해 효율적으로 휘도 쉐이딩의 보정 효과를 확보할 수 있다. 또, 성분 화상의 일부에만 보정을 실시하기 때문에, 회로 규모를 억제할 수 있다.
1: 촬상 장치 100: 화상 처리부
110: 주파수 분해부 120: 주파수 분해부
130: 보정 처리부 140: 분해 화상 합성부
150: 분해 화상 합성부 201: 촬상 장치
202: 화상 표시 장치 210: 압축 처리부
240: 화상 처리부

Claims (11)

  1. R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 수단과,
    상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 수단과,
    상기 주파수 분해 수단에 의한 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 및 정보 신장 처리로 이루어지는 한 쌍의 처리 중 적어도 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 수단과,
    상기 화상 처리 수단이 처리를 실행한 후의 상기 성분 화상을 합성하여, 1개의 베이어 화상을 재생성하는 분해 화상 합성 수단을 구비하고 있으며,
    상기 화상 처리 수단이,
    상기 화상 처리를 실시하기 전의 화상을 구성하는 각 화소의 화소치에 곱셈하는 필터 계수를 복수 포함하는 제1 및 제2 계수군을 취득하는 필터 취득 수단과,
    상기 필터 취득 수단이 취득한 상기 제1 계수군을 사용하여 상기 저주파 성분에 필터를 가함과 함께, 상기 필터 취득 수단이 취득한 상기 제2 계수군을 사용하여 상기 고주파 성분에 필터를 가하는 필터 처리 수단을 가지고 있으며,
    상기 제1 계수군이, 주목 화소로부터의 거리에 관해서 단조롭게 감소하는 제1 가중치에 의거하여 취득되며,
    상기 제2 계수군이, 주목 화소로부터의 거리에 관해서 상기 제1 가중치보다 작은 감소율로 단조롭게 감소하거나, 또는, 주목 화소로부터의 거리에 관해서 변화하지 않는 제2 가중치에 의거하여 취득되는 것을 특징으로 하는 화상 처리 장치.
  2. 청구항 1에 있어서,
    상기 제1 계수군에 있어서의 각 필터 계수가, 상기 계수에 대응하는 위치의 화소와 주목 화소 사이의 화소치의 차분 Df1에 관한 하기의 수학식 1에 의해 표시되는 함수 wR1과 상기 제1 가중치의 곱이며,
    상기 제2 계수군에 있어서의 각 필터 계수가, 상기 계수에 대응하는 위치의 화소와 주목 화소 사이의 화소치의 차분 Df2에 관한 하기의 수학식 2에 의해 표시되는 함수 wR2와 상기 제2 가중치의 곱이며,
    일정한 밝기에 대한 화소치의 편차를 나타내는 기준치를, 상기 저주파 성분에 관해서 σN1로 하고 상기 고주파 성분에 관해서 σN2로 할 때, 수학식 1, 2의 σR1, σR2가, 계수 kN1 및 kN2(kN1＜kN2)를 이용하여, σR1=kN1*σN1, σR2=kN2*σN2로 표시되는 것을 특징으로 하는 화상 처리 장치.
    [수학식 1]
    Figure 112016095990586-pct00024

    [수학식 2]
    Figure 112016095990586-pct00025
  3. R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 수단과,
    상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 수단과,
    상기 주파수 분해 수단에 의한 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 중 적어도 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 수단과,
    상기 화상 처리 수단이 상기 화상 처리를 실행한 후의 상기 성분 화상 및 상기 특징량 중 적어도 어느 하나를 출력하는 출력 수단을 구비하고 있으며,
    상기 화상 처리 수단이,
    상기 화상 처리를 실시하기 전의 화상을 구성하는 각 화소의 화소치에 곱셈하는 필터 계수를 복수 포함하는 제1 및 제2 계수군을 취득하는 필터 취득 수단과,
    상기 필터 취득 수단이 취득한 상기 제1 계수군을 사용하여 상기 저주파 성분에 필터를 가함과 함께, 상기 필터 취득 수단이 취득한 상기 제2 계수군을 사용하여 상기 고주파 성분에 필터를 가하는 필터 처리 수단을 가지고 있으며,
    상기 제1 계수군이, 주목 화소로부터의 거리에 관해서 단조롭게 감소하는 제1 가중치에 의거하여 취득되며,
    상기 제2 계수군이, 주목 화소로부터의 거리에 관해서 상기 제1 가중치보다 작은 감소율로 단조롭게 감소하거나, 또는, 주목 화소로부터의 거리에 관해서 변화하지 않는 제2 가중치에 의거하여 취득되는 것을 특징으로 하는 화상 처리 장치.
  4. R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 단계와,
    상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 단계와,
    상기 주파수 분해 단계에 있어서의 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 및 정보 신장 처리로 이루어지는 한 쌍의 처리 중 적어도 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 단계와,
    상기 화상 처리 단계 후의 상기 성분 화상을 합성하여, 1개의 베이어 화상을 재생성하는 분해 화상 합성 단계를 구비하고 있으며,
    상기 화상 처리 단계가,
    상기 화상 처리를 실시하기 전의 화상을 구성하는 각 화소의 화소치에 곱셈하는 필터 계수를 복수 포함하는 제1 및 제2 계수군을 취득하는 필터 취득 단계와,
    상기 필터 취득 단계에서 취득된 상기 제1 계수군을 사용하여 상기 저주파 성분에 필터를 가함과 함께, 상기 필터 취득 단계에서 취득된 상기 제2 계수군을 사용하여 상기 고주파 성분에 필터를 가하는 필터 처리 단계를 포함하고 있으며,
    상기 제1 계수군이, 주목 화소로부터의 거리에 관해서 단조롭게 감소하는 제1 가중치에 의거하여 취득되며,
    상기 제2 계수군이, 주목 화소로부터의 거리에 관해서 상기 제1 가중치보다 작은 감소율로 단조롭게 감소하거나, 또는, 주목 화소로부터의 거리에 관해서 변화하지 않는 제2 가중치에 의거하여 취득되는 것을 특징으로 하는 화상 처리 방법.
  5. R(빨강)의 화소 및 G(초록)의 화소가 횡방향으로 번갈아 늘어선 행과 G(초록)의 화소 및 B(파랑)의 화소가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 베이어 배열에 따른 베이어 화상을 취득하는 화상 취득 단계와,
    상기 베이어 화상을 종방향 및 횡방향의 각 방향에 대해서, 휘도 정보를 나타내는 저주파 성분과 색 정보를 나타내는 고주파 성분으로 분리하여, 복수의 성분 화상을 생성하는 주파수 분해 단계와,
    상기 주파수 분해 단계에 있어서의 주파수 분해 후의 성분 화상에 의거하여 그 화상에 관한 특징량을 연산하는 특징량 연산 처리, 상기 주파수 분해 후의 성분 화상에 대한 보정 처리, 및, 상기 주파수 분해 후의 성분 화상에 대한 정보 압축 처리 및 정보 신장 처리로 이루어지는 한 쌍의 처리 중 적어도 어느 하나의 화상 처리를, 상기 고주파 성분과 상기 저주파 성분에서 상이한 처리가 되도록 실행하는 화상 처리 단계와,
    상기 화상 처리 단계 후의 상기 성분 화상을 합성하여, 1개의 베이어 화상을 재생성하는 분해 화상 합성 단계를 컴퓨터에 실행시키는 프로그램으로서,
    상기 화상 처리 단계가,
    상기 화상 처리를 실시하기 전의 화상을 구성하는 각 화소의 화소치에 곱셈하는 필터 계수를 복수 포함하는 제1 및 제2 계수군을 취득하는 필터 취득 단계와,
    상기 필터 취득 단계에서 취득된 상기 제1 계수군을 사용하여 상기 저주파 성분에 필터를 가함과 함께, 상기 필터 취득 단계에서 취득된 상기 제2 계수군을 사용하여 상기 고주파 성분에 필터를 가하는 필터 처리 단계를 포함하고 있으며,
    상기 제1 계수군이, 주목 화소로부터의 거리에 관해서 단조롭게 감소하는 제1 가중치에 의거하여 취득되며,
    상기 제2 계수군이, 주목 화소로부터의 거리에 관해서 상기 제1 가중치보다 작은 감소율로 단조롭게 감소하거나, 또는, 주목 화소로부터의 거리에 관해서 변화하지 않는 제2 가중치에 의거하여 취득되는 것을 특징으로 하는 화상 처리 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020167001240A 2013-06-25 2014-06-19 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 KR101685885B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2013-132987 2013-06-25
JP2013132987A JP5668105B2 (ja) 2013-06-25 2013-06-25 画像処理装置、画像処理方法及び画像処理プログラム
PCT/JP2014/066233 WO2014208434A1 (ja) 2013-06-25 2014-06-19 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
KR20160011239A KR20160011239A (ko) 2016-01-29
KR101685885B1 true KR101685885B1 (ko) 2016-12-12

Family

ID=52141774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167001240A KR101685885B1 (ko) 2013-06-25 2014-06-19 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램

Country Status (5)

Country Link
US (1) US9542730B2 (ko)
JP (1) JP5668105B2 (ko)
KR (1) KR101685885B1 (ko)
CN (1) CN105340268B (ko)
WO (1) WO2014208434A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163192B2 (en) * 2015-10-27 2018-12-25 Canon Kabushiki Kaisha Image encoding apparatus and method of controlling the same
CN106067164B (zh) * 2016-05-26 2018-11-20 哈尔滨工业大学 基于自适应小波域处理的彩色图像对比度增强算法
JP6730916B2 (ja) * 2016-11-30 2020-07-29 日本放送協会 コントラスト補正装置及びプログラム
CN106651815B (zh) * 2017-01-18 2020-01-17 聚龙融创科技有限公司 用于处理Bayer格式视频图像的方法及装置
US11593918B1 (en) * 2017-05-16 2023-02-28 Apple Inc. Gradient-based noise reduction
KR102349376B1 (ko) 2017-11-03 2022-01-11 삼성전자주식회사 전자 장치 및 그의 영상 보정 방법
US11113796B2 (en) 2018-02-09 2021-09-07 Delta Electronics, Inc. Image enhancement circuit and method thereof
TWI707583B (zh) * 2019-07-17 2020-10-11 瑞昱半導體股份有限公司 應用於影像感測電路的像素通道不平衡補償方法與系統
JP2022082348A (ja) * 2020-11-20 2022-06-01 株式会社日立製作所 画像処理装置、画像処理方法および画像処理プログラム
US20220188985A1 (en) * 2020-12-11 2022-06-16 Samsung Electronics Co., Ltd. Method and apparatus for adaptive hybrid fusion
KR20220096624A (ko) * 2020-12-31 2022-07-07 엘지디스플레이 주식회사 표시 장치
CN113191210B (zh) * 2021-04-09 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242696A (ja) 2007-03-27 2008-10-09 Casio Comput Co Ltd 画像処理装置及びカメラ
JP2011130112A (ja) * 2009-12-16 2011-06-30 Sony Corp 表示支援装置及び撮像装置
JP2011239231A (ja) * 2010-05-11 2011-11-24 Canon Inc 画像処理装置、および、画像処理装置の制御方法
JP2013030191A (ja) 2006-03-31 2013-02-07 Nikon Corp 画像処理方法、画像処理プログラム、および画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059910B2 (en) 2005-03-31 2011-11-15 Nikon Corporation Image processing method for removing noise from an image
JP4182446B2 (ja) * 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US8009935B2 (en) * 2007-07-30 2011-08-30 Casio Computer Co., Ltd. Pixel interpolation circuit, pixel interpolation method, and recording medium
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
US8280185B2 (en) * 2008-06-27 2012-10-02 Microsoft Corporation Image denoising techniques
CN101783940A (zh) * 2009-05-11 2010-07-21 北京航空航天大学 一种基于小波框架变换的联合信源信道编码方法
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム
CN102646272A (zh) * 2012-02-23 2012-08-22 南京信息工程大学 基于局部方差和加权相结合的小波气象卫星云图融合方法
CN102663426B (zh) * 2012-03-29 2013-12-04 东南大学 一种基于小波多尺度分析和局部三值模式的人脸识别方法
CN102708553A (zh) * 2012-05-29 2012-10-03 飞依诺科技(苏州)有限公司 一种实时超声图像斑点噪声抑制方法
JP2014090359A (ja) * 2012-10-31 2014-05-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030191A (ja) 2006-03-31 2013-02-07 Nikon Corp 画像処理方法、画像処理プログラム、および画像処理装置
JP2008242696A (ja) 2007-03-27 2008-10-09 Casio Comput Co Ltd 画像処理装置及びカメラ
JP2011130112A (ja) * 2009-12-16 2011-06-30 Sony Corp 表示支援装置及び撮像装置
JP2011239231A (ja) * 2010-05-11 2011-11-24 Canon Inc 画像処理装置、および、画像処理装置の制御方法

Also Published As

Publication number Publication date
US20160140696A1 (en) 2016-05-19
WO2014208434A1 (ja) 2014-12-31
JP2015008414A (ja) 2015-01-15
CN105340268B (zh) 2017-06-16
KR20160011239A (ko) 2016-01-29
CN105340268A (zh) 2016-02-17
JP5668105B2 (ja) 2015-02-12
US9542730B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
KR101685885B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
EP1840830B1 (en) Image processing method
US8938121B2 (en) Method and apparatus for processing image
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
KR101872172B1 (ko) 화상 처리 장치, 화상 처리 방법, 기록 매체, 및 프로그램
KR101618298B1 (ko) 고감도 영상 생성 장치 및 방법
US9824424B2 (en) Image amplifying method, image amplifying device, and display apparatus
US7672528B2 (en) Method of processing an image to form an image pyramid
TWI387312B (zh) 影像雜訊消除方法以及影像處理裝置
US11388355B2 (en) Multispectral image processing system and method
US10789684B2 (en) Method, apparatus, and system for multilevel bilateral noise filtering
CN111709904B (zh) 一种图像融合方法及装置
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
US8396291B2 (en) Component extraction/correction device, component extraction/correction method, storage medium and electronic equipment
Khaire et al. Resolution Enhancement of images with interpolation and DWT–SWT Wavelet domain components
US8180169B2 (en) System and method for multi-scale sigma filtering using quadrature mirror filters
JP4866756B2 (ja) 撮像装置
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
JP6681774B2 (ja) コントラスト補正装置及びプログラム
Huebner et al. Simulation of atmospheric turbulence for a qualitative evaluation of image restoration algorithms with motion detection
JP6417938B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
Walia et al. Content based Adaptive Image Demosaicing using Random Forest Algorithm.
JP2016218502A (ja) 画像処理装置、制御方法およびプログラム
Whitehead et al. A low complexity method of color image demosaicing directly to YCbCr 4: 2: 0
Wang Image quality improvement for digital still cameras: demosaicking and de-ringing

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant