KR20150123738A - 화상처리장치 및 화상처리방법 - Google Patents

화상처리장치 및 화상처리방법 Download PDF

Info

Publication number
KR20150123738A
KR20150123738A KR1020150057668A KR20150057668A KR20150123738A KR 20150123738 A KR20150123738 A KR 20150123738A KR 1020150057668 A KR1020150057668 A KR 1020150057668A KR 20150057668 A KR20150057668 A KR 20150057668A KR 20150123738 A KR20150123738 A KR 20150123738A
Authority
KR
South Korea
Prior art keywords
image data
interpolation
pixel
unit
data
Prior art date
Application number
KR1020150057668A
Other languages
English (en)
Inventor
요헤이 야마나카
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20150123738A publication Critical patent/KR20150123738A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H04N9/07—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

디모자이킹부는 주변 화소들을 이용하는 보간에 의해 각 화소에서 결핍되어 있는 색들을 재생하도록 각 주목 화소의 모자이크 화상 데이터를 보간한다. 이 디모자이킹부에서는, 보간부는 복수의 규정 방향에 있어서 규정 방향의 주변 화소를 사용해서 보간 처리를 행한다. 평가부는, 그 보간부에 의하여 보간된 각 규정 방향의 화상 데이터를 평가한다. 의사 해상 영역 판정부는, 에지 성분을 보존하도록 보간 처리가 실행된 화상 데이터로부터 검출한 채도에 의거하여, 화소마다 의사 해상영역에 화소가 있는지를 판정한다. 화상 생성부는 평가부에 의한 평가 결과 및 의사 해상 영역 판정부에 의한 판정 결과에 의거하여 화소마다 보간하는 화상 데이터를 선택하고, 보간된 화상 데이터를 생성한다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은, 적어도 한 개의 화상처리장치, 적어도 한 개의 화상처리방법, 적어도 한 개의 프로그램, 및 적어도 한 개의 프로그램을 기억하는 적어도 한 개의 컴퓨터 판독가능한 기억매체에 관한 것으로, 특히 컬러 화상 신호의 보간 기술에 관한 것이다.
종래의 컬러 촬상 센서에 있어서는, 도 17에 나타나 있는 바와 같은 베이어 배열의 컬러 필터 어레이가 이용되고 있다. 컬러 필터 어레이로서는, 레드(R:Red), 그린(G:Green), 블루(B:Blue)의 3색의 어레이 소자를 포함하는 3원색의 필터 어레이나, 시안(Cyan), 마젠타(Magenta), 옐로우(Yellow)의 3색의 어레이 소자를 포함하는 보색 필터 어레이가 이용되고 있다.
그러나, 베이어 배열의 컬러 필터 어레이에서는, 각 화소가 3색 중의 1색의 신호밖에 취득할 수 없으므로, 다른 2색의 신호가 결핍되어 있다. 따라서, 각 화소에 있어서 결핍되어 있는 다른 2색의 신호를 재생하기 위해서, 디모자이킹(보간) 처리가 행해진다. 디모자이킹 처리의 공지된 기술의 구체적인 예는, 바이리니어 보간, 바이큐빅 보간 등을 포함하고 있다. 바이리니어나 바이큐빅 보간은, 저주파 성분이 우세한 화상에 대하여 양호한 보간을 달성한다. 그렇지만, 고주파 성분을 포함하는 화상에 대해서는, 바이리니어나 바이큐빅 보간이 의사 해상이나 가짜 색(색 무아레)이라고 불리는 실제의 피사체에는 존재하지 않는 선이나 색을 발생시킬 가능성이 있다. 이러한 의사 해상이나 가짜 색은, 피사체상의 에지가 연장되는 방향과 다른 방향의 화소를 사용해서 디모자이킹할 때 발생할 수도 있다.
상기의 관점에서, 피사체상의 에지 방향에 따른 화소를 사용해서 디모자이킹하는 방법이 제안되어 있다. 에지 방향에 따른 화소를 사용하는 디모자이킹법은, 2개의 방법으로 대별될 수 있다. 첫 번째 방법은 예를 들면, 일본국 공개특허공보 특개 2008-35470호에 개시되어 있다. 이 방법에서는, 에지 방향을 주위의 화소를 사용해서 검출하고, 에지를 지나지 않고 에지 방향을 따라 보간을 행한다. 또한, 일본국 공개특허공보 특개 2008-35470호에는, 두 번째의 보간 방법이 개시되어 있다. 이 두 번째의 방법에서는, 우선, 복수의 방향으로 따로따로 보간을 행해서 복수의 보간 결과를 얻는다. 그 후에, 보간 결과를 평가해서 보간을 행할 가장 좋은 방향을 선택한다. 보간 방향의 적절성을 평가해서, 주목 화소를 포함하는 주변 화소 중에서 균질성을 나타내는 평가값을 판정하는 것이 제안되어 있었다. 균질성이 높은 방향을 에지 방향이라고 판정하고, 이 방향을 보간 방향이라고 선택한다.
그렇지만, 일본국 공개특허공보 특개 2008-35470호에 기재된 방법에서는, 피사체의 미세 부분의 피치가 촬상 센서의 화소 피치와 가까운 해상 한계 부근의 구성요소를 화상이 가지고 있을 때, 균질성을 나타내는 평가값의 오산출에 의해 보간 에러가 발생해 의사 해상이 생길 가능성이 있다.
본 발명은, 화상 신호에 대하여 디모자이킹 처리를 고정밀하게 행하는 적어도 한 개의 기술을 제공한다.
본 발명의 한 개 이상의 실시예의 일 국면에 의하면, 복수의 색을 갖는 컬러필터를 포함한 촬상소자에 의해 피사체상의 광학상에 대한 광전 변환을 통해서 생성되고, 상기 컬러 필터의 복수의 색 중의 하나에 각각 대응하는 화소의 화상 데이터를 갖는, 모자이크 화상 데이터를 처리하도록 구성된 적어도 한 개의 화상처리 장치는, 주목 화소에서 결핍되어 있는 색의 화상 데이터를 재생하기 위해서, 복수의 규정 방향의 각각에서 주목 화소 주변의 화소들의 화상 데이터를 사용해서 주목 화소에 대해서 화소마다 보간 처리를 행하도록 구성된 제1 보간 유닛과, 상기 제1 보간 유닛에 의해 보간 처리가 실행된 각 규정 방향의 화상 데이터를 평가하도록 구성된 평가 유닛과, (예를 들면, 화상 데이터의, 피사체상의, 피사체상의 광학상의 등) 에지 성분을 보존하도록 보간 처리를 행하도록 구성된 제2 보간 유닛과, 상기 제2 보간 유닛에 의해 보간 처리가 실행된 화상 데이터로부터 채도를 검출하도록 구성된 채도 검출 유닛과, 상기 채도 검출 유닛에 의해 검출된 채도에 의거하여 화소마다 의사 해상이 발생하는 영역에 화소가 있는지 여부를 판정하도록 구성된 판정 유닛과, 상기 평가 유닛에 의한 평가 결과 및 상기 판정 유닛에 의한 판정 결과에 의거하여 화소마다 보간하는 화상 데이터를 선택해서, 복수의 색의 보간된 화상 데이터를 생성하는 화상 생성 유닛을 구비한다.
본 발명의 다른 측면에 의하면, 여기에는 한 개 이상의 화상처리장치, 한 개 이상의 화상처리방법, 한 개 이상의 프로그램 및 한 개 이상의 기억매체가 개시되어 있다. 본 발명의 추가 특징들은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 분명해질 것이다.
도 1은 적어도 한 개의 실시예에 따른 촬상장치의 구성 예를 도시한 도면이다.
도 2는 본 실시예에 따른 디모자이킹부의 구성 예를 도시한 도면이다.
도 3은 도 2에 나타낸 수평방향 보간부의 적어도 한 개의 실시예 및 수직방향 보간부의 적어도 한 개의 실시예의 구성 예를 도시한 도면이다.
도 4는 방향별 보간처리를 설명하기 위한 베이어 배열의 화소 배치를 도시한 도면이다.
도 5는 Gr/Gb 보간부에 의해 행해진 처리를 설명하기 위한 도면이다.
도 6은 도 2에 나타내는 채도 검출용 보간부의 적어도 한 개의 실시예 및 이차원 보간부의 적어도 한 개의 실시예의 구성 예를 도시한 도면이다.
도 7은 채도 검출용 G 보간부가 사용하는 한 세트의 필터 계수의 예를 도시한 도면이다.
도 8은 이차원 보간부가 행하는 처리를 설명하기 위한 도면이다.
도 9는 도 2에 나타내는 의사 해상 영역 판정부의 적어도 한 개의 실시예의 구성 예를 도시한 도면이다.
도 10은 의사 해상 영역 임계값 판정 처리의 예를 나타내는 플로차트다.
도 11은 평가값 산출 처리의 예를 나타내는 플로차트다.
도 12a는 G신호의 평가값 산출 처리를 설명하기 위한 3×3 화소 영역을 나타내는 도면이고, 도 12b는 R-G 신호의 평가값 산출 처리를 설명하기 위한 3×3 화소 영역을 나타내는 도면이고, 도 12c는 B-G 신호의 평가값 산출 처리를 설명하기 위한 3×3 화소 영역을 도시한 도면이다.
도 13a는 평가값을 산출할 때에 사용하는 3화소분의 로패스 필터의 한 세트의 필터 계수의 예를 나타내는 도면이며, 도 13b는 평가값을 산출할 때에 사용하는 5화소분의 로패스 필터의 한 세트의 필터 계수의 예를 나타내는 도면이다.
도 14는 화상 생성 처리의 예를 나타내는 플로차트다.
도 15는 제2 실시예에 있어서의 채도 검출용 보간부의 구성 예를 나타내는 도면이다.
도 16a는 채도 검출용 GH 보간부에서 사용하는 한 세트의 필터 계수의 예를 나타내는 도면이며, 도 16b는 채도 검출용 GV 보간부에서 사용하는 한 세트의 필터 계수의 예를 나타내는 도면이다.
도 17은 베이어 배열에 따른 화소 배치의 예를 나타내는 도면이다.
이하, 본 발명의 실시예에 대해서 도면을 참조하여 설명한다.
(제1 실시예)
이하, 제1 실시예에 관하여 설명한다.
도 1은, 제1 실시예에 따른 화상처리장치를 갖는 촬상장치의 구성 예를 나타내는 블럭도다. 피사체의 광학상(피사체상)은, 촬영 렌즈(101)를 통해 촬상소자(102) 위에 결상되어서 광학 신호로부터 전기 신호로 변환된다.
촬상소자(102)는, 복수색의 컬러 필터를 갖는 단판 컬러 촬상소자다. 컬러 필터는, 각각 650nm, 550nm, 및 450nm 근방에 투과 주파장대를 갖는 빨강(R:Red), 초록(G:Green), 파랑(B:Blue)의 3원색의 어레이 소자를 포함하는 3원색의 컬러 필터 어레이일 수 있고, 그 컬러 필터는 3원색에 각각 대응하는 컬러 플레인(color plane)을 생성할 수 있다. 단판 컬러 촬상소자에서는, 도 17에 나타나 있는 바와 같이 컬러 필터 소자가 공간적으로 배열되어 있어, 각 화소에서는 단일의 컬러 플레인에 있어서의 광강도를 취득하는 것밖에 할 수 없다. 이 때문에, 촬상소자(102)로부터 출력된 화상 신호는 모자이크 화상 신호이다. 즉 각 화소로부터 3원색 중의 2색이 결핍되어 있는 화상 신호가 출력된다.
A/D(아날로그-디지탈) 변환부(103)는, 촬상소자(102)로부터 출력된 모자이크 화상 신호를 변환해서 모자이크 화상 신호의 아날로그 신호를 디지털 화상 데이터로 변환한다. 화이트 밸런스부(104)는, 화이트 밸런스 처리를 행한다. 좀더 구체적으로는, 화이트 밸런스부(104)는, 색이 흰색이어야 하는 영역에서 R, G, B의 색 신호가 같은 신호 레벨을 갖도록 R, G, B의 색 신호를 얻는다.
디모자이킹부(105)는 각 화소에서 화상 데이터가 결핍되어 있는 3원색 중의 2색이 보간에 의해 재생되도록, 또 모든 화소 중 어느 것인가 3원색, 즉 R, G, B 색의 화상 데이터를 갖는 컬러 화상이 생성되도록 컬러 모자이크 화상 데이터를 보간한다. 각 화소의 컬러 화상 데이터에 대해서는, 매트릭스 변환부(106)에 의해 매트릭스 변환 처리가 실행되고, 그 다음 감마 변환부(107)에 의해 감마 보정 처리가 실행되어서, 기본적인 컬러 화상 데이터가 생성된다. 이 기본적인 컬러 화상 데이터에 대해서는, 색조정부(108)에 의해 화질을 개선하기 위한 각종의 처리가 실행된다. 좀더 구체적으로, 예를 들면, 색조정부(108)는, 노이즈 저감, 채도 강조, 색상보정, 에지 강조 등의 각종의 색 조정 처리를 행한다. 압축부(109)는, 색 조정된 컬러 화상 데이터를 JPEG 방식으로 압축하여, 기억될 데이터의 데이터 사이즈를 작게 한다.
촬상소자(102)로부터 압축부(109)까지의 각 기능부의 처리 동작은, 제어부(111)에 의해 버스(113)를 통해 제어된다. 제어부(111)가 상술한 처리 동작을 제어할 때, 제어부(111)가 메모리(112)를 적당하게 이용한다. 압축부(109)에 의해 압축된 디지털 화상 데이터는, 제어부(111)의 제어 하에 기억부(110)에 의해 플래시 메모리 등의 기억 매체에 기억된다.
다음에, 디모자이킹부(105)에서의 디모자이킹 처리에 대해서, 도 2를 참조해서 좀더 상세히 설명한다. 도 2는, 본 실시예에 있어서의 디모자이킹부(105)의 구성 예를 도시한 도면이다. 디모자이킹부(105)는, 우선 주목 화소 주변에 위치된 화소를 사용하여 복수의 규정 방향의 각각에서 주목 화소(혹은 적어도 한 개의 주목 화소, 예를 들면, 각 화소가 (각 처리 반복시의 주목 화소로서) 복수의 화소에 대해서 처리될 때, 적어도 한 개의 주목 화소 또는 복수의 주목 화소가 처리 또는 보간된다)에 대해서 보간을 행하고, 그 후에 디모자이킹부(105)는 방향 선택을 행한다. 보간 처리의 결과로서, 각 화소에 대해서 R, G, B의 3원색의 컬러 화상 데이터를 취득한다.
좀더 구체적으로는, 디모자이킹부(105)는, 수평방향 보간부(202)를 이용해서, 수평방향의 주변 화소의 화소 데이터로부터 각 화소의 결핍 색의 화소 데이터가 재생되도록 입력된 베이어 화상 데이터(201)에 대하여 보간을 행함으로써, 수평방향으로 보간된 각 화소의 RGB 화상 데이터를 생성한다. 베이어 화상 데이터에(201)에서는, 각 화소에서 3원색 중의 2색의 화상 데이터가 결핍되어 있다. 또한, 디모자이킹부(105)는 수직방향 보간부(203)를 이용해서 수직방향의 주변 화소의 화소 데이터로부터 각 화소의 결핍 색의 화소 데이터가 재생되도록 베이어 화상 데이터(201)에 대하여 보간을 행함으로써, 수직방향으로 보간된 각 화소의 RGB 화상 데이터를 생성한다.
다음에, 디모자이킹부(105)는, 수평방향 보간부(202)에 의해 생성된 수평방향으로 보간된 RGB 화상 데이터로부터 수평방향 분산도 산출부(207)를 이용해서 각 화소의 분산도를 산출한다. 또한, 디모자이킹부(105)는, 수직방향 보간부(203)에 의해 생성된 수직방향으로 보간된 RGB 화상 데이터로부터 수직방향 분산도 산출부(208)를 이용해서 각 화소의 분산도를 산출한다. 그 다음, 디모자이킹부(105)는, 평가값 산출부(210)를 이용해서, 수평방향 분산도 산출부(207) 및 수직방향 분산도 산출부(208)에 의해 각각 산출된 수평방향의 분산도 및 수직방향의 분산도로부터 수평방향 평가값과 수직방향 평가값, 즉 평가값을 산출한다.
또한, 의사 해상 영역을 검출 및 보정하기 위해서, 디모자이킹부(105)는, Gr/Gb 보간부(204), 채도 검출용 보간부(205), 및 이차원 보간부(206)를 이용해서, 각 색의 화소 데이터를 보간한다. 좀더 구체적으로, Gr/Gb 보간부(204)는, Gr 화상 데이터 및 Gb 화상 데이터를 생성하고, 채도 검출용 보간부(205) 및 이차원 보간부(206)는, RGB 화상 데이터를 생성한다. 디모자이킹부(105)는, 의사 해상 영역 판정부(209)를 이용해서, 화소가 Gr/Gb 보간부(204) 및 채도 검출용 보간부(205)로부터 각각 출력된 화상 데이터에 의거하여 의사 해상이 발생하는 의사 해상 영역인지의 여부를 화소마다 판정한다.
화상 생성부(211)는, 평가값 산출부(210)에 의해 산출된 수평방향의 평가값과 수직방향의 평가값을 비교하고, 어느 방향에서 더 높은 보간 평가값이 취득되는지를 판정하고, 즉 수평방향 보간의 평가값 혹은 수직방향 보간의 평가값 사이에서 어느 평가값이 더 높은지를 판정하고, 더 높은 평가값이 취득되는 방향을 선택한다. 이 선택 시에, 화상 생성부(211)는, 의사 해상 영역 판정부(209)에 의해 의사 해상 영역이라고 화소가 판정될 때는, 이 화소에 대한 이차원 보간을 선택한다. 그 다음, 화상 생성부(211)는, 선택한 방향에서 보간된 RGB 화상 데이터에 의거하여 보간된 화상 데이터를 생성하고, 그 결과를 보간된 RGB 화상 데이터(212), 즉 디모자이킹된 데이터로서 출력한다.
이하, 수평방향 보간부(202)의 적어도 한 개의 실시예 및 수직방향 보간부(203)의 적어도 한 개의 실시예에 의해 행해지는 방향별의 보간 처리에 대해서, 도 3을 참조해서 좀더 상세히 설명한다. 도 3은, 수평방향 보간부(202)의 적어도 한 개의 실시예 및 수직방향 보간부(203)의 적어도 한 개의 실시예의 구성 예를 도시한 도면이다. 도 3에 나타나 있는 바와 같이, 수평방향 보간부(202)는, 수평방향 G 보간부(202a) 및 수평방향 RB 보간부(202b)를 포함하고, 수직방향 보간부(203)는, 수직방향 G 보간부(203a) 및 수직방향 RB 보간부(203b)를 포함한다.
수평방향 보간부(202)에서는, 우선 수평방향 G 보간부(202a)가 주파수 대역이 높은 G 데이터를 보간한다. 다음에, 수평방향 RB 보간부(202b)는, R 데이터 및 B 데이터를 보간한다. 그 결과, 수평방향으로 보간된 RGB 화상 데이터(202c)를 생성한다. 마찬가지로, 수직방향 보간부(203)에서는, 우선 수직방향 G 보간부(203a)가 주파수 대역이 높은 Ｇ 데이터를 보간한다. 다음에, 수직방향 RB 보간부(203b)는, R 데이터 및 B 데이터를 보간한다. 그 결과, 수직방향으로 보간된 RGB 화상 데이터(203c)를 생성한다.
다음에, 구체적인 방향별 보간 처리의 방법을 도 4를 참조하여 설명한다. G 데이터의 보간에서, 주목 화소가 G 필터 색과 관련되어 있으면, 해당 화소의 G 데이터를 그대로 출력한다(이하에 나타낸 식(1)). G 데이터의 보간에서, 주목 화소가 R 필터 색 혹은 B 필터 색과 관련되어 있으면, 수평방향에 있어서는 하기의 식(2)을 사용해서 보간된 데이터를 산출하고, 수직방향에 있어서는 하기의 식(3)을 사용해서 보간된 데이터를 산출한다. 또한, 식(1), 식(2), 식(3)에 있어서, G33, G34, G43, G44은, 편의상 도 4에 나타낸 화소 부호에 대응하고 있다(이하의 설명에 있어서도 마찬가지다). 예를 들면, G33이 화소 R33의 보간 G 데이터를 나타내고, G44이 화소 B44의 보간 G 데이터를 나타낸다.
Figure pat00001
(1)
Figure pat00002
(2)
Figure pat00003
(3)
R 데이터의 보간에서는, 주목 화소가 R 필터 색와 관련되는 화소이면, 해당 화소의 R 데이터를 그대로 출력한다(이하에 나타낸 식(4)). 또한, R 데이터의 보간에서는, 주목 화소가 G 필터 색와 관련되는 화소이면, 하기의 식(5)을 사용해서 보간 데이터를 산출한다. 한편, R 데이터의 보간에서는, 주목 화소가 B 필터 색와 관련되는 화소이면, 하기의 식(6)에 따라 보간 데이터를 산출한다. R 데이터의 보간에서는, 수평방향과 수직방향에 대해서 같은 수식을 이용한다. B 데이터의 보간에서는, R 데이터의 보간과 같은 방법을 사용해도 된다. 좀더 구체적으로는, 하기의 식(4)∼식(6)에 있어서는, B 데이터의 산출을 위해서 R을 B로 대체해도 된다.
Figure pat00004
(4)
Figure pat00005
(5)
Figure pat00006
(6)
전술한 바와 같이, 본 실시예에 따른 디모자이킹부(105)에서는, 각각의 규정 방향에서의 보간 이외에, 의사 해상의 검출이나 보정을 행하기 위한 보간을 행한다. Gr/Gb 보간부(204)는, 입력된 각 화소의 베이어 화상 데이터(201)를 처리해서, Gr 화소만을 이용해서 보간된 Gr 데이터를 산출하고 Gb 화소만을 이용하여, 보간된 Gb 데이터를 산출한다. 여기에서, Gr 화소는 R 화소에 수평방향으로 인접하는 G 화소를 나타내고, Gb 화소는 B 화소에 수평방향으로 인접하는 G 화소를 나타낸다. Gr/Gb 보간부(204)는, 도 5에 나타나 있는 바와 같이 Gr 화소만을 포함하는 화상 데이터와 Gb 화소만을 포함하는 화상 데이터를 베이어 화상 데이터(201)로부터 추출한다. 이 처리시에, 주목 색 필터에 대응하지 않는 화소에 대하여는, 데이터 값으로서 0을 준다. 그 후에, Gr/Gb 보간부(204)는, 로패스 필터(LPF)를 이용한 보간 처리를 행하고, 모든 화소에 있어서 데이터를 갖는 보간된 Gr 데이터 및 보간된 Gb 데이터를 산출한다.
채도 검출용 보간부(205)는, 입력된 각 화소의 베이어 화상 데이터(201)로부터 각 화소의 RGB 화상 데이터를 생성한다. 채도 검출용 보간부(205)에 있어서의 보간 처리에 대해서, 도 6을 참조해서 좀더 상세히 설명한다. 도 6은, 채도 검출용 보간부(205)의 적어도 한 개의 실시예 및 이차원 보간부(206)의 적어도 한 개의 실시예의 구성 예를 도시한 도면이다. 도 6에 나타나 있는 바와 같이, 채도 검출용 보간부(205)는, 채도 검출용 G 보간부(205a) 및 채도 검출용 RB 보간부(205b)를 포함한다.
채도 검출용 보간부(205)는, 우선 채도 검출용 G 보간부(205a)를 이용해서 G 데이터를 보간하고, 다음에 채도 검출용 RB 보간부(205b)를 이용해서 R 데이터 및 B 데이터를 보간하여, 채도 검출용의 RGB 화상 데이터(205c)를 생성한다. 이 처리시에, 채도를 산출하기 위한 보간이 주변 화소의 평균 산출에 근거하면, 색 어긋남(color shifting)이나 색 프린징(color fringing)이 발생하여, 화상이 실제의 색과 다른 색을 갖게 될 가능성이 있다. 이것에 의해 국소 영역의 채도 판정에 오류를 일으킬 가능성이 있다. 본 실시예에서는, 상기 상황을 처리하기 위해서, 색 어긋남이나 색 프린징을 억제하면서 에지부(에지 성분)를 보존하도록 필터 계수를 사용해서 채도를 산출함으로써, 의사 해상 영역 판정부(209)가 행하는 채도를 검출할 때의 정밀도를 향상시킨다.
색상 검출용 G 보간부(205a)에 의한 Ｇ 데이터의 보간에서는, 주목 화소가 G 필터 색와 관련되는 화소이면, 해당 화소의 Ｇ 데이터를 그대로 출력한다. 또한, 채도 검출용 G 보간부(205a)에 있어서의 Ｇ 데이터의 보간에서는, 주목 화소가 R 필터 색와 관련되는 화소이면 또는 주목 화소가 B 필터 색와 관련되는 화소이면, 도 7에 나타나 있는 바와 같은 2차 미분 필터의 계수를 사용해서 하기의 식(7)과 같이 보간 데이터를 산출한다. 도 7에 있어서, C 화소는 R 화소 또는 B 화소다. 하기의 식(7)에 있어서, 편의상, 각 항은, 도 4에 나타낸 비슷한 부호로 나타낸 각 화소에 대응하고 있다.
Figure pat00007
(7)
또한, 에지 성분을 보존하는 한은 필터 계수가 상술한 예에 한정되지 않고, 다른 필터 계수를 사용해도 된다는 점에 유념한다. 본 실시예에서는, Laplacian 필터인 2차 미분 필터를 사용해서 보간을 행하고 있지만, 주변 화소로부터 연속성이 강하다고 판단되는 방향에 관해서 보간을 적절하게 행하고, 이 방향에서 보간을 행하여 에지 보존을 달성해도 된다. 예를 들면, 도 4에 나타낸 R33 화소의 경우에는, 하기의 식(8)에 따라 수직방향 및 수평방향의 화소값의 차의 절대값을 산출하고, 어느 방향에서 연속성이 강한지에 관해서 판단한다.
Figure pat00008
(8)
Hdiff < Vdiff이면, 수직방향보다 수평방향의 연속성이 더 강하여, 채도 검출용 G 보간부(205a)는, 수평방향의 화소의 화소 데이터를 이용해서 보간을 행한다. 반대의 경우에는, 채도 검출용 G 보간부(205a)는, 수직방향의 화소의 화소 데이터를 이용해서 보간을 행한다.
채도 검출용 RB 보간부(205b)는, 전술한 식(4)∼식(6)을 사용했을 경우와 같은 방법으로 R 및 B의 보간 데이터를 산출한다.
이차원 보간부(206)가 각 화소의 베이어 화상 데이터(201)를 수신하면, 이차원 보간부(206)는 의사 해상 영역 판정부(209)에 의해서 의사 해상 영역이라고 판정된 화소 영역에 적용하기 위한 각 화소의 RGB 화상 데이터를 생성한다. 이차원 보간부(206)에 있어서의 보간 처리에 대해서, 도 6을 참조해서 설명한다. 도 6에 나타나 있는 바와 같이, 이차원 보간부(206)는, 이차원 G 보간부(206a) 및 이차원 RB 보간부(206b)를 포함한다.
이차원 보간부(206)에 있어서, 이차원 G 보간부(206a)는, Gr/Gb 보간부(204)가 행하는 보간과 같은 방법을 이용해서 모든 화소에 있어서 데이터를 갖는 Gr 및 Gb의 각 보간 데이터를 산출한다. 한층 더, 이차원 보간부(206)에 있어서, 이차원 G 보간부(206a)는, 각 화소의 Gr, Gb 화상 데이터를 이용해서 도 8에 도시한 바와 같이, 각 화소에 있어서 Gr 데이터와 Gb 데이터의 가산 평균을 산출한다. 이에 따라, Gr 화소와 Gb 화소 간의 데이터 값의 차를 없앨 수 있다. 이 결과의 보간 데이터를 의사 해상 영역 판정부(209)에 의해 의사 해상 영역이라고 판정된 영역에 적용해서, 의사 해상을 보정할 수 있다.
이차원 보간부(206)는, 다음에 이차원 RB 보간부(206b)를 이용해서 R 데이터 및 B 데이터를 보간한다. 이차원 RB 보간부(206b)는, 전술한 식(4)∼식(6)을 사용했을 경우와 같은 방법으로 R 및 B의 보간 데이터를 산출한다. 이상과 같이, 적어도 다른 2개의 방향의 화소를 사용해서 보간 데이터를 산출하여, RGB 화상 데이터(206c)를 생성한다.
이하, 도 2에 나타낸 의사 해상 영역 판정부(209)에 있어서의 의사 해상 영역에 관한 판정 처리에 대해서, 도 9 및 도 10을 참조해서 설명한다. 도 9는, 의사 해상 영역 판정부(209)의 구성 예를 도시한 도면이다. 도 10은, 의사 해상 영역 임계값 판정 처리의 예를 나타내는 플로차트다. 도 9에 나타나 있는 바와 같이, 의사 해상 영역 판정부(209)는, GrGb 차분 산출부(차분 검출부)(209a), 채도 산출부(209b), 및 의사 해상 영역 임계값 판정부(209c)를 포함한다.
GrGb 차분 산출부(209a)는, Gr/Gb 보간부(204)로부터 출력된 Gr 데이터 및 Gb 데이터를 수신하고, 화소마다 Gr 데이터와 Gb 데이터와의 차분을 검출하여, 차분의 절대값 Gr -b을 하기의 식(9)에 의해 산출한다. 또한, GrGb 차분 산출부(209b)는, 채도 검출용 보간부(205)로부터 출력된 채도 검출용의 RGB 화상 데이터(205c)를 수신하고, 화소마다 하기의 식(10)을 사용해서 채도 C을 산출한다.
Figure pat00009
(9)
Figure pat00010
(10)
의사 해상 영역 임계값 판정부(209c)는, GrGb 차분 산출부(209a)로부터 출력된 값 Gr -b 및 채도 산출부(209b)으로부터 출력된 채도 C에 의거하여 화소마다 주목 화소가 의사 해상 영역에 있는지의 여부를 판정한다. 이하, 의사 해상 영역 임계값 판정부(209c)에 있어서의 의사 해상 영역 임계값 판정 처리를, 도 10에 나타내는 플로차트를 참조하여 설명한다.
의사 해상 영역 임계값 판정부(209c)는, 주목 화소에 대해서, Gr 데이터 및 Gb 데이터의 차분의 절대값 Gr -b과 정수의 임계값 THa를 비교하여, 차분의 절대값 Gr-b이 임계값 THa보다 큰지를 판별한다(S1001). 그 결과, 차분의 절대값 Gr -b이 임계값 THa보다 크면, 다음에 의사 해상 영역 임계값 판정부(209c)는, 채도 C와 정수의 임계값 Thb를 비교하여, 채도 C가 임계값 THb보다 큰지 아닌지를 판별한다(S1002). 그 결과, 채도 C가 임계값 THb보다 크면, 의사 해상 영역 임계값 판정부(209c)는, 주목 화소가 의사 해상 영역이라고 판정한다(S1003). 의사 해상 영역 임계값 판정부(209c)는, 전체 화소에 대해서, 스텝 S1001∼S1003의 처리를 행한다.
전술한 의사 해상 영역 임계값 판정 처리에서는, Gr 데이터 및 Gb 데이터의 차분의 절대값 Gr -b과 채도 C를 대응하는 정수의 임계값과 비교해서 상술한 판정을 행하지만, 임계값을 휘도나 색상 등에 따라 비선형으로 변경하는 것도 가능하다. 한층 더, 이들 임계값을 유저가 변경해도 된다. 또한, 의사 해상 영역에서는 채도가 높게 될 가능성이 높다. 의사 해상 영역 임계값 판정부(209c)는, 채도 산출부(209b)로부터 출력된 채도 C에만 의거하여 화소마다 주목 화소가 의사 해상 영역에 있는지의 여부를 판정해도 된다.
다음에, 본 실시예에 있어서의 평가값 산출 처리를, 도 11에 나타내는 플로차트를 참조하여 설명한다. 도 11은, 평가값 산출 처리의 예를 나타낸다.
평가값 산출 처리에 있어서, 도 2에 나타낸 수평방향 분산도 산출부(207)는, 각 화소에서 결핍 색의 화소 데이터를 보간한 수평방향으로 보간된 RGB 화상 데이터(202c)를, 균등 색 공간의 색 신호(값)로 변환한다(S1101). 본 실시예에서는, 균질성을 나타내는 척도로서 색차의 분산도를 산출하기 위해서, G, R-G, B-G의 색 공간을 사용한다. 여기에서, G, R-G, B-G의 색 공간 대신에, L＊a＊b＊ 균등 색 공간을 사용해도 되지만, L＊a＊b＊값으로의 변환 처리는 많은 계산량을 필요로 한다. 이 때문에, 본 실시예에 있어서는, L＊ 대신에 G 신호를 그대로 사용하고, a＊ 및 b＊대신에 R-G 및 B-G을 색차 신호로서 사용하고 있다.
다음에, 수평방향 분산도 산출부(207)는, G 신호의 분산도 σGh 2, R-G 신호의 분산도 σR- Gh 2, B-G 신호의 분산도 σB- Gh 2을 산출한다(S1102). 여기에서는, 주목 화소를 중심으로 한 3×3 영역의 화소를 이용해서 산출하는 것으로 한다. 또한, 5×5 영역이나 7×7 영역 등, 사이즈가 다른 영역의 화소를 사용해도 된다. 영역 내의 전체 화소를 사용하는 대신에, 영역 내의 화소의 일부분을 사용해도 된다. 예를 들면, 수평방향에 있어서의 G 신호의 분산도를 산출하여, 도 12a에 나타나 있는 바와 같이, h11∼h13를 사용해서 G신호의 분산도 σG1 2을 산출하고, h21∼h23을 이용해서 분산도 σG2 2을 산출하며, h31∼h33를 사용하여 분산도 σG3 2을 산출해도 된다. 그리고나서, 분산도 σG1 2, 분산도 σG2 2, 및 분산도 σG3 2로부터 가장 큰 분산도 σGh 2을 선택하고, 선택된 가장 큰 분산도를 G 신호의 분산도로서 사용한다. R-G 신호의 분산도 및 B-G 신호의 분산도를, 도 12b 및 도 12c에 나타나 있는 바와 같이, G 신호의 분산도의 산출과 같은 방식으로 산출해도 된다.
계속해서, 수평방향 분산도 산출부(207)는, 하기의 식(11)을 사용해서 수평방향의 분산도 σh 2을 산출한다(S1103). 수평방향 분산도 산출부(207)는, 수평방향으로 보간된 RGB 화상 데이터(202c)의 전체 화소에 대해서 화소마다 전술한 스텝S1101∼S1103의 처리를 행한다.
Figure pat00011
(11)
수직방향 분산도 산출부(208)는, 수직방향으로 보간된 RGB 화상 데이터(203c)를 사용하여, 스텝 S1101∼S1103의 처리와 같은 방식으로, 스텝 S1104∼S1106의 처리를 행하고, 하기의 식(12)을 사용해서 수직방향의 분산도 σv2을 산출한다. 수직방향 분산도 산출부(208)는, 수직방향으로 보간된 RGB 화상 데이터(203c)의 전체 화소에 대해서 화소마다 상술한 스텝 S1104∼S1106의 처리를 행한다.
Figure pat00012
(12)
다음에, 평가값 산출부(210)는, 상술한 방식으로 산출된 수평방향의 분산도 σh 2 및 수직방향의 분산도 σv 2를 이용해서 하기의 식(13)에 따라 수평방향의 평가값 Ch 및 수직방향의 평가값 Cv를 화소마다 산출한다. 이상의 처리에 의해, 화소마다 평가값 Ch 및 Cv가 산출되고, 평가값의 2차원 플레인이 생성된다(S1107).
Figure pat00013
(13)
최종적인 보간값은 평가값에 의해 결정되므로, 인접하는 화소 사이에서 평가값의 차가 크면, 톤 점프(tone jump) 등의 화질 열화의 요인이 될 가능성이 있다는 점에 유념해야 한다. 이러한 상황을 처리하기 위해서, 평가값 산출부(210)는, 생성한 평가값 플레인에 대하여 로패스 필터(LPF) 처리를 행한다(S1108). LPF의 필터 계수에 관해서는, 예를 들면, 도 13a에 나타낸 3화소의 필터 길이의 필터 계수 [1, 2, 1]을 사용해도 되고, 또는 도 13b에 나타낸 5화소의 필터 길이의 필터 계수 [1, 4, 6, 4, 1]을 사용해도 된다. 종횡의 양방향에서 필터 처리를 행하는 것이 바람직하다.
화상 생성부(211)는, 평갓값 산출부(210)에 의해 산출된 평가의 결과로서 취득된 평가값 Ch, Cv 및 의사 해상 영역 판정부(209)에서의 판정 결과에 의거하여 수평방향으로 보간된 화소 데이터, 수직방향 보간 화소 데이터, 및 이차원 보간 화소 데이터로부터 각 화소에 대한 화소 데이터를 선택한다. 이에 따라, 화상 생성부(211)는, 전체 화소의 각각에서 R, G, B의 색 성분을 갖는 보간된 RGB 화상 데이터를 생성하고, 그 결과를 보간된 RGB 화상 데이터(212)(디모자이킹된 데이터)로서 출력한다.
다음에, 화상 생성부(211)에 있어서의 화상 생성 처리에 대해서, 도 14를 참조해서 설명한다. 도 14는, 화상 생성 처리의 예를 나타내는 플로차트다. 화상 생성부(211)는, 우선 주목 화소가 의사 해상 영역이라고 판정되어 있는지 아닌지를 판별한다(S1401). 그 결과, 주목 화소가 의사 해상 영역이라고 판정되어 있으면, 화상 생성부(211)는, 이차원 보간부(206)에서의 보간 처리를 통해서 생성된 RGB 화상 데이터(206c)를 선택하고, 선택된 데이터를 보간된 RGB 화상 데이터(212)로서 출력한다(S1402).
한편, 주목 화소가 의사 해상 영역이라고 판정되지 않은 경우에는, 화상 생성부(211)는, 수평방향의 평가값 Ch와 수직방향의 평가값 Cv를 비교하여, 수평방향의 평가값 Ch가 수직방향의 평가값 Cv보다 작은지 아닌지를 판별한다(S1403). 그 결과, 수평방향의 평가값 Ch가 수직방향의 평가값 Cv보다 작다고 판정된 경우에는, 화상 생성부(211)는, 수평방향으로 보간된 RGB 화상 데이터(202c)를 선택하고, 보간된 RGB 화상 데이터(212)로서 출력한다(S1404). 한편, 수평방향의 평가값 Ch가 수직방향의 평가값 Cv보다 작지 않다고 판정된 경우에는, 화상 생성부(211)는, 수직방향으로 보간된 RGB 화상 데이터(203c)를 선택하고, 보간된 RGB 화상 데이터(212)로서 출력한다(S1405).
제1 실시예에 의하면, 색 어긋남이나 색 프린징을 억제하면서 에지부를 보존하도록 행해지는 보간 처리를 통해서 생성된 채도 검출용의 RGB 화상 데이터로부터 산출한 채도와, Gr 데이터 및 Gb 데이터 간의 차분에 의거하여 화소마다 의사 해상이 발생하는 영역에 주목 화소가 있는지에 관한 판정을 행한다. 주목 화소가 의사 해상이 발생하는 영역이라고 판정된 경우에는, 이차원 보간부에 의해 생성된 보간 데이터를 주목 화소에 대한 화소 데이터로서 선택한다. 상술한 바와 같이, 의사 해상이 발생하는 영역(화소)을 고정밀하게 검출함으로써, 디모자이킹 처리(색 보간 처리) 중에 발생하는 의사 해상을 보다 적절히 보정할 수 있고, 화상 신호에 대한 디모자이킹 처리를 고정밀하게 행하는 것이 가능하게 된다.
(제2 실시예)
다음에, 본 발명의 제2 실시예에 관하여 설명한다.
전술한 제1 실시예에서는, 채도 검출용 G 보간부(205)의 채도 검출용 G 보간부(205a)에 의해서 G 데이터의 보간이 행해진 경우에, 주목 화소가 R 필터 색 혹은 B 필터 색과 관련되는 화소이면, 도 7에 나타낸 것 등, 2차 미분 필터의 계수를 사용한다. 이에 대하여, 제2 실시예에서는, 1차 미분 필터를 G 데이터의 보간에 사용한다. 제2 실시예에 있어서는, 촬상장치의 구성 및 디모자이킹부(105)의 구성은 제1 실시예에 있어서 도 1 및 도 2를 참조해서 설명한 것과 거의 같으므로, 그것의 중복된 설명은 생략한다. 그렇지만, 제2 실시예에 따른 채도 검출용 보간부(205)의 내부 구성은 제1 실시예에 따른 것과 다르다.
도 15는, 제2 실시예에 있어서의 채도 검출용 보간부(205)의 적어도 하나의 실시예의 내부 구성의 예를 도시한 도면이다. 도 15에 나타나 있는 바와 같이, 채도 검출용 보간부(205)는, 채도 검출용 GH 보간부(205d), 채도 검출용 GV 보간부(205e), 채도 검출용 G 보간값 합성부(205f), 및 채도 검출용 RB 보간부(205b)를 포함한다.
제2 실시예에 있어서, 색상 검출용 GH 보간부(205d)에 의한 G 데이터의 보간에서는, 주목 화소가 G 필터 색과 관련되는 화소이면, 이 화소의 G 데이터를 그대로 출력한다. 채도 검출용 GH 보간부(205d)에 의한 G 데이터의 보간에서는, 주목 화소가 R 필터 색 혹은 B 필터 색과 관련되는 화소이면, 도 16a에 나타나 있는 바와 같은 수평방향의 기울기를 고려한 1차 미분 필터의 계수를 사용해서 하기의 식(14)에 따라 보간을 행한다. 또한, 하기의 식(14)에 있어서, 각 항은, 편의상 도 4에 나타낸 비슷한 부호로 표시된 각 화소에 대응하고 있다.
Figure pat00014
(14)
또한, 색상 검출용 GB 보간부(205e)에 의한 G 데이터의 보간에서는, 주목 화소가 R 필터 색 혹은 B 필터 색과 관련되는 화소이면, 도 16b에 나타나 있는 바와 같은 수직방향의 기울기를 고려한 1차 미분 필터 계수를 사용해서 하기의 식 (15)에 따라 보간을 행한다.
Figure pat00015
(15)
또한, 도 16a 및 도 16b에 있어서, C 화소는 R 화소 또는 B 화소다. 또한, 필터 계수는, 도 16a 및 도 16b에 나타낸 예에 한정되는 것은 아니다. 예를 들면, R 화소의 무게 인자(weighting factor)를 1이외의 값으로 설정해도 된다.
채도 검출용 G 보간값 합성부(205f)는, 채도 검출용 GH 보간부(205d)에 의해 생성된 보간 데이터와, 채도 검출용 GV 보간부(205e)에 의해 생성된 보간 데이터에 근거해서 보간된 R, B 화소의 위치에 있는 G 데이터의 가산 평균을 산출한다. 채도 검출용 RB 보간부(205b)는, 제1 실시예에 따른 식(4)∼식(6)을 사용해서 보간을 행하는 경우와 비슷한 방법으로 R 데이터 및 B 데이터의 보간을 행한다. 이후의 처리는, 제1 실시예와 비슷한 방법으로 수행되므로, 그것의 추가 설명은 생략한다.
제2 실시예에 의하면, 상기 설명한 것처럼, 채도 검출에 사용하는 보간 데이터를, 일차 미분 필터를 사용하여 생성하여, 에지 성분을 보존하고 있다. 이에 따라 제1 실시예와 마찬가지로, 색 프린징 및 색 어긋남을 억제하고 의사 해상이 발생하는 영역(화소)을 고정밀하게 검출하여, 디모자이킹 처리(색 보간 처리) 중에 발생하는 의사 해상을 보다 적절히 보정할 수 있다.
(그 밖의 실시예)
본 발명의 추가 실시 예들은, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체(예를 들면, 비일시 컴퓨터 판독가능한 기억매체) 상에 기록된 컴퓨터 실행가능한 명령들을 판독 및 실행하는 시스템 또는 장치의 컴퓨터에 의해서 실현될 수 있고, 또 예를 들면, 상술한 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체로부터 컴퓨터 실행가능한 명령들을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법에 의해서도 실현될 수 있다. 이 컴퓨터는 CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 다른 회로 중 하나 또는 그 이상을 구비할 수도 있고, 독립된 컴퓨터 또는 독립된 컴퓨터 프로세서의 네트워크를 포함할 수도 있다. 이 컴퓨터 실행가능한 명령들은 예를 들면, 네트워크 또는 기억매체로부터 컴퓨터에 제공될 수도 있다. 이 기억매체는 예를 들면, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산 컴퓨팅 시스템의 스토리지, 광디스크(컴팩트 디스크(CD), DVD(digital versatile disc), Blue-ray Disc(BD)TM 등), 플래시 메모리 디바이스, 메모리 카드 중 어느 하나 또는 그 이상을 포함할 수도 있다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims (12)

  1. 복수의 색을 갖는 컬러 필터를 포함하는 촬상소자에 의해 피사체상의 광학상에 대한 광전 변환을 통해서 생성되고, 상기 컬러 필터의 복수의 색 중의 하나에 각각 대응하는 화소들의 화상 데이터를 갖는, 모자이크 화상 데이터를 처리하는 화상처리장치로서,
    주목 화소에서 결핍되어 있는 색의 화상 데이터를 재생하기 위해서, 복수의 규정 방향의 각각에서 주목 화소 주변의 화소들의 화상 데이터를 사용해서 주목 화소에 대해서 화소마다 보간 처리를 행하도록 구성된 제1 보간 유닛과,
    상기 제1 보간 유닛에 의해 보간 처리가 실행된 각 규정 방향의 화상 데이터를 평가하도록 구성된 평가 유닛과,
    상기 피사체상의 에지 성분을 보존하도록 보간 처리를 행하도록 구성된 제2 보간 유닛과,
    상기 제2 보간 유닛에 의해 보간 처리가 실행된 화상 데이터로부터 채도를 검출하도록 구성된 채도 검출 유닛과,
    상기 채도 검출 유닛에 의해 검출된 채도에 의거하여 화소마다 의사 해상이 발생하는 영역에 화소가 있는지 여부를 판정하도록 구성된 판정 유닛과,
    상기 평가 유닛에 의한 평가 결과 및 상기 판정 유닛에 의한 판정 결과에 의거하여 화소마다 보간하는 화상 데이터를 선택해서, 상기 복수의 색의 보간된 화상 데이터를 생성하도록 구성된 화상 생성 유닛을 구비하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 화상 생성 유닛은, 주목 화상이 상기 판정 유닛에 의해 의사 해상이 발생하는 영역이라고 판정된 경우에는, 주목 화소에 대해서, 주목 화소 주변의 다른 2개의 방향의 화소들의 화상 데이터를 사용한 보간 처리를 통해서 취득된 화상 데이터를 선택하는, 화상처리장치.
  3. 제 1 항에 있어서,
    화상 데이터 간의 차분을 검출하도록 구성된 차분 검출 유닛을 더 구비하고,
    상기 모자이크 화상 데이터는 베이어 배열의 화상 데이터이며,
    상기 차분 검출 유닛은, 레드에 대응하는 화소가 위치되는 수평선에 위치된 그린에 대응하는 화소의 화상 데이터와, 블루에 대응하는 화소가 위치되는 수평선에 위치된 그린에 대응하는 화소의 화상 데이터 간의 차분을 검출하고,
    상기 판정 유닛은, 상기 차분 검출 유닛에 의해 검출된 차분 및 상기 채도 검출 유닛에 의해 검출된 채도에 의거하여 화소마다 의사 해상이 발생하는 영역에 주목 화소가 있는지 여부를 판정하도록 더 구성되는, 화상처리장치.
  4. 제 3 항에 있어서,
    상기 판정 유닛은, 상기 차분 검출 유닛에 의해 검출된 차분이 제1 임계값보다 크고, 상기 채도 검출 유닛에 의해 검출된 채도가 제2 임계값보다 큰 경우에, 의사 해상이 발생하는 영역에 주목 화소가 있다고 판정하는, 화상처리장치.
  5. 제 1 항에 있어서,
    상기 모자이크 화상 데이터에 대하여 화이트 밸런스 처리를 행하도록 구성된 보정 유닛을 더 구비하고,
    상기 제1 보간 유닛 및 상기 제2 보간 유닛 중의 적어도 하나는, 상기 보정 유닛에 의해 화이트 밸런스 처리가 실행된 모자이크 화상 데이터에 대하여, 보간 처리를 행하는, 화상처리장치.
  6. 제 1 항에 있어서,
    상기 제2 보간 유닛은, 이차 미분 필터를 사용해서 보간 처리를 행하는, 화상처리장치.
  7. 제 1 항에 있어서,
    상기 제2 보간 유닛은, Laplacian 필터를 사용해서 보간 처리를 행하는, 화상처리장치.
  8. 제 1 항에 있어서,
    상기 제2 보간 유닛은, 일차 미분 필터를 사용해서 보간 처리를 행하는, 화상처리장치.
  9. 제 1 항에 있어서,
    상기 제2 보간 유닛은, 주변의 화소들을 사용해서 방향의 연속성을 판단하고, 연속성이 낮다고 판단한 방향에 비해서 연속성이 높다고 판단한 방향에 위치된 화소들의 화상 데이터를 이용해서 보간 처리를 행하는, 화상처리장치.
  10. 제 1 항에 있어서,
    상기 모자이크 화상 데이터는 베이어 배열의 화상 데이터이며,
    상기 평가 유닛은, 상기 제1 보간 유닛에 의해 보간 처리가 실행된 화상 데이터로부터 취득된 G 신호, R-G 신호, 및 B-G 신호의 분산도를 이용해서 평가를 행하는, 화상처리장치.
  11. 제 1 항에 있어서,
    상기 복수의 규정 방향은, 수평방향 및 수직방향을 포함하는, 화상처리장치.
  12. 복수의 색을 갖는 컬러 필터를 포함하는 촬상소자에 의해 피사체상의 광학상에 대한 광전 변환을 통해서 생성되고, 상기 컬러 필터의 복수의 색 중의 하나에 각각 대응하는 화소들의 화상 데이터를 갖는, 모자이크 화상 데이터를 처리하는 화상처리방법으로서,
    주목 화소에서 결핍되어 있는 색의 화상 데이터를 재생하기 위해서, 복수의 규정 방향의 각각에서 주목 화소 주변의 화소들의 화상 데이터를 이용해서 주목 화소에 대해서 화소마다 제1 보간 처리를 수행하는 단계와,
    상기 제1 보간 처리에서 보간 처리가 실행된 각 규정 방향의 화상 데이터를 평가하는 단계와,
    상기 피사체상의 에지 성분을 보존하도록 보간 처리를 행하는 것을 포함하는 제2 보간 처리를 수행하는 단계와,
    상기 제2 보간 처리에서 보간 처리가 실행된 화상 데이터로부터 채도를 검출하는 단계와,
    상기 검출된 채도에 의거하여 화소마다 의사 해상이 발생하는 영역에 화소가 있는지 여부를 판정하는 단계와,
    상기 평가 단계의 결과 및 상기 판정 단계의 결과에 의거하여 화소마다 선택된 화상 데이터에 대해서 보간을 행하여, 상기 복수의 색의 보간된 화상 데이터를 생성하는 단계를 포함하는, 화상처리방법.
KR1020150057668A 2014-04-25 2015-04-24 화상처리장치 및 화상처리방법 KR20150123738A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-091875 2014-04-25
JP2014091875A JP6415093B2 (ja) 2014-04-25 2014-04-25 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
KR20150123738A true KR20150123738A (ko) 2015-11-04

Family

ID=54335240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150057668A KR20150123738A (ko) 2014-04-25 2015-04-24 화상처리장치 및 화상처리방법

Country Status (4)

Country Link
US (1) US9401006B2 (ko)
JP (1) JP6415093B2 (ko)
KR (1) KR20150123738A (ko)
CN (1) CN105046631B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6415094B2 (ja) 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN111340714B (zh) * 2019-08-29 2023-08-08 杭州海康慧影科技有限公司 一种摩尔纹处理方法、装置及电子设备
CN114930800A (zh) * 2020-01-09 2022-08-19 索尼集团公司 图像处理装置、图像处理方法和成像装置
KR20220063575A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886745A (en) 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
JP3717863B2 (ja) 2002-03-27 2005-11-16 三洋電機株式会社 画像補間方法
JP5006067B2 (ja) 2006-06-29 2012-08-22 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5169994B2 (ja) 2009-05-27 2013-03-27 ソニー株式会社 画像処理装置、撮像装置及び画像処理方法
JP5269718B2 (ja) * 2009-08-18 2013-08-21 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
KR101310858B1 (ko) * 2009-10-13 2013-09-25 캐논 가부시끼가이샤 촬상장치
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5899684B2 (ja) 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103179407B (zh) * 2013-03-11 2015-03-11 浙江大学 应用于去马赛克算法方向插值的实现装置及方法
CN103595980B (zh) * 2013-10-25 2015-08-05 西安电子科技大学 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法

Also Published As

Publication number Publication date
JP6415093B2 (ja) 2018-10-31
US20150310589A1 (en) 2015-10-29
US9401006B2 (en) 2016-07-26
JP2015211343A (ja) 2015-11-24
CN105046631B (zh) 2018-09-11
CN105046631A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5574615B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP5687676B2 (ja) 撮像装置及び画像生成方法
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20080062409A1 (en) Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera
TW200826655A (en) Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon
JP2009124598A (ja) 画像処理装置及び画像処理方法
WO2005112470A1 (ja) 画像処理装置および画像処理プログラム
CN104869380A (zh) 图像处理设备和图像处理方法
US20100086202A1 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5917048B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20150123738A (ko) 화상처리장치 및 화상처리방법
KR101810393B1 (ko) 화상처리장치, 촬상장치, 화상처리방법 및 기억매체
KR101699318B1 (ko) 화상처리장치 및 그 제어방법
US8675106B2 (en) Image processing apparatus and control method for the same
JP2010074826A (ja) 撮像装置および画像処理プログラム
US20130038773A1 (en) Image processing apparatus and control method for the same
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP4334150B2 (ja) 画像補間装置
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP4334152B2 (ja) 画像補間装置
JP4334151B2 (ja) 画像補間装置
JP4666786B2 (ja) 画像補間装置
JP4495355B2 (ja) 画像補間装置

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application