TWI516132B - An image processing apparatus, an image processing method, and a program - Google Patents

An image processing apparatus, an image processing method, and a program Download PDF

Info

Publication number
TWI516132B
TWI516132B TW100101306A TW100101306A TWI516132B TW I516132 B TWI516132 B TW I516132B TW 100101306 A TW100101306 A TW 100101306A TW 100101306 A TW100101306 A TW 100101306A TW I516132 B TWI516132 B TW I516132B
Authority
TW
Taiwan
Prior art keywords
pixel
edge
processing
information
unit
Prior art date
Application number
TW100101306A
Other languages
English (en)
Other versions
TW201143467A (en
Inventor
Yasushi Saito
Isao Hirota
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201143467A publication Critical patent/TW201143467A/zh
Application granted granted Critical
Publication of TWI516132B publication Critical patent/TWI516132B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Description

圖像處理裝置、及圖像處理方法以及程式
本發明係關於一種圖像處理裝置、及圖像處理方法以及程式。尤其係關於一種進行針對具有RGBW排列之攝像元件之輸出之信號處理的圖像處理裝置、及圖像處理方法以及程式。
例如攝像裝置中所使用之攝像元件(影像感測器)具有於元件表面貼附有以各像素單位使特定之波長成分光(R、G、B)透過之彩色濾光片的構成。例如，利用具有如圖1(a)所示之RGB排列之濾光片。於使用攝像元件之輸出信號之彩色圖像產生處理中，進行藉由複數個像素組而恢復必需之顏色成分之處理。彩色濾光片之顏色排列有各種類型，但較多利用圖1(a)中所示之由僅使紅(R)、綠(G)、藍(B)之特定波長光透過之三種濾光片所構成的拜耳排列。
近年來，攝像元件(影像感測器)之像素不斷微細化，伴隨於此，產生朝向各像素之入射光量減少且S/N比(Signal/Noise Ratio，信號雜訊比)劣化之問題。為解決該問題，如圖1(b)所示，提出有除僅使RGB等之特定波長光透過之濾光片以外，進而具有使可見光區之光廣泛透過之白色(W：White)的影像感測器(攝像元件)。圖1(b)中表示具有RGBW排列之濾光片之一例。圖1(b)中所示之RGBW排列中之W像素係使可見光區之光廣泛透過的濾光片。
關於此種搭載有具有白色(W：White)像素之彩色濾光片 之攝像元件，例如於專利文獻1(美國公開專利2007/0024879)、專利文獻2(美國公開專利2007/0024934)中有所記載。
藉由使用包含如圖1(b)中所示之具有白色(W：White)像素之彩色濾光片之攝像元件(影像感測器)，濾光片之透光率變高，可實現高感光度化。
但是，RGBW型之元件存在如下之問題。
圖1(a)中所示之RGB排列、或者圖1(b)中所示之RGBW排列均為將R、G、B、W任一者之濾光片排列成馬賽克狀之單片元件，即單板型影像感測器。因此，當產生彩色圖像時，必需進行作為產生對應於各像素之RGB像素值之顏色編碼的去馬賽克處理。
圖1(b)中所示之RGBW排列與圖1(a)中所示之RGB排列相比，R、G、B成分之取樣率下降。其結果，當進行彩色圖像產生處理時，於使用圖1(b)中所示之RGBW排列型之元件所取得之資料的情形時，存在與圖1(a)中所示之RGB排列相比，容易產生假色之問題。又，由於白色(W)之波長成分包含R、G、B之所有波長成分，因此若使用色差大之光學透鏡，則亦存在與單色成分者相比，RGB波長成分之聚光率降低，且導致解像度下降之問題。該問題伴隨像素不斷微細化而變得更顯著。
作為由光學透鏡之色差所引起之解像度劣化的防止方法，組合折射率不同之透鏡來抑制色差之產生較有效，但於此情形時，產生由光學透鏡之片數增加所引起之成本增 大的新問題。進而，若設定為此種構成，則亦產生由上述RGB成分之取樣率下降所引起之假色之問題變得更顯著的問題。
又，單板型影像感測器之各像素僅具有單一之顏色成分之資訊，因此為自離散地取得之R、G、B、W信號獲得彩色圖像，而進行求出所有像素所對應之RGB像素值之去馬賽克處理。於該去馬賽克處理時，進行假定於局部區域顏色比率被保持為大致固定或具有較強之顏色關聯性之內插處理。具體而言，廣泛使用當算出某像素之特定顏色之像素值時，利用周圍之像素值進行內插之方法。關於該方法，例如於專利文獻3(日本專利特開2009-17544號公報)中有所記載。然而，於邊緣附近，上述假定，即局部區域中之固定之顏色比率或具有較強之顏色關聯性這一假定不成立。其結果，存在邊緣附近容易產生假色之問題。
[先前技術文獻] [專利文獻]
[專利文獻1]美國公開專利2007/0024879
[專利文獻2]美國公開專利2007/0024934
[專利文獻3]日本專利特開2009-17544號公報
本發明之目的在於提供一種於應用具有包含白色(W：White)之例如RGBW型之彩色濾光片的攝像元件(影像感測器)所取得之資料之彩色圖像產生處理中，實現假色少且 品質高之彩色圖像之產生的圖像處理裝置、及圖像處理方法以及程式。
本發明之第1形態係一種圖像處理裝置，其包括資料轉換處理部，該資料轉換處理部對將成為亮度信號之主成分之像素配置成棋盤格狀，且將成為顏色資訊成分之複數種顏色之像素配置於剩餘之部分的二維像素排列信號進行分析並進行像素轉換，上述資料轉換處理部具有對上述二維像素排列信號進行分析並算出應用於像素轉換處理之參數之參數算出部，上述參數算出部於應用於像素轉換處理之參數之算出處理中，利用第1關聯資訊或第2關聯資訊中之至少任一關聯資訊進行上述參數之算出處理，上述第1關聯資訊係上述二維像素排列信號中所包含之成為亮度信號之主成分之像素與轉換後之像素之顏色資訊成分的關聯資訊，上述第2關聯資訊係選自上述顏色資訊成分中之一種選擇顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊。
進而，於本發明之圖像處理裝置之一實施態樣中，上述參數算出部使用上述顏色資訊成分中之分配比率最高之顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊作為上述第2關聯資訊。
進而，於本發明之圖像處理裝置之一實施態樣中，上述 資料轉換處理部具有對上述二維像素排列信號進行分析並產生邊緣資訊之邊緣檢測部，上述參數算出部根據上述邊緣檢測部所檢測出之邊緣方向，選擇性地利用上述第1關聯資訊、或上述第2關聯資訊中之任一者進行上述參數之算出處理。
進而，於本發明之圖像處理裝置之一實施態樣中，成為上述亮度信號之主成分之顏色為白色，上述分配比率最高之顏色資訊成分為綠色，上述參數算出部於應用於像素轉換處理之參數之算出處理中，根據上述邊緣檢測部所檢測出之邊緣方向，取得白色與轉換後之像素之顏色資訊成分的第1關聯資訊、或綠色與轉換後之像素之顏色資訊成分的第2關聯資訊中之任一者，並利用所取得之關聯資訊進行上述參數之算出處理。
進而，於本發明之圖像處理裝置之一實施態樣中，上述資料轉換處理部包括：紋理檢測部，其對上述二維像素排列信號進行分析並產生紋理資訊；以及混合處理部，其輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並進行混合處理，從而決定轉換像素值。
進而，於本發明之圖像處理裝置之一實施態樣中，上述邊緣檢測部對包含RGB像素與白色(W)像素之RGBW排列信號進行分析，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊，上述紋理檢測部對上述RGBW排列信號 進行分析，產生表示各像素所對應之紋理程度之紋理資訊，上述參數算出部係算出用於將RGBW排列轉換成RGB排列之參數之參數算出部，並產生藉由根據轉換像素所對應之邊緣方向而變更應用像素位置之內插處理所算出的相當於內插像素值之參數，上述混合處理部執行如下之處理：輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值。
進而，於本發明之圖像處理裝置之一實施態樣中，上述參數算出部之構成係藉由將應用於內插處理之像素位置設定為沿邊緣方向之像素位置的內插處理而產生參數。
進而，於本發明之圖像處理裝置之一實施態樣中，上述參數算出部之構成如下：藉由利用構成RGBW排列之W像素與其他RGB像素於局部區域之關聯、或構成RGBW排列之G像素與其他RGB像素於局部區域之關聯中之任一種關聯的內插處理而產生參數。
進而，於本發明之圖像處理裝置之一實施態樣中，上述圖像處理裝置更包括臨時像素設定部，該臨時像素設定部藉由利用構成RGBW排列之W像素與其他RGB像素於局部區域之關聯的內插處理，對W像素位置設定RGB任一者之像素之像素值，且上述參數算出部之構成係藉由應用上述臨時像素設定資料之內插處理而產生參數。
進而，於本發明之圖像處理裝置之一實施態樣中，上述 參數算出部根據上述邊緣檢測部所檢測出之縱、橫、左斜上、右斜上之四種邊緣方向，選擇利用構成RGBW排列之W像素與轉換後之像素之顏色資訊成分的第1關聯資訊、或構成RGBW排列之G像素與轉換後之像素之顏色資訊成分的第2關聯資訊中之任一個資訊。
進而，於本發明之圖像處理裝置之一實施態樣中，上述參數算出部將參照像素位置設定為沿邊緣方向之像素位置，並利用上述第1關聯資訊、或上述第2關聯資訊產生應用於像素轉換處理之複數個參數，上述混合處理部執行縱、橫、左斜上、右斜上之四種邊緣方向之強度比較，並執行根據比較結果變更上述複數個參數之混合比率之混合處理。
進而，於本發明之圖像處理裝置之一實施態樣中，上述混合處理部算出轉換像素所對應之縱橫方向邊緣與斜方向邊緣之邊緣方向程度(ratio Flat)，進而，根據邊緣方向程度(ratio Flat)算出表示值越大，縱橫方向邊緣越強於斜方向邊緣，值越小，斜方向邊緣越強於縱橫方向邊緣之縱橫方向邊緣方向權重(weight HV)，且執行如下之混合處理：於轉換像素所對應之縱橫方向邊緣較斜方向邊緣強之情形時，提高將邊緣方向設定為縱或橫方向所算出之參數之混合比率，於轉換像素所對應之縱橫方向邊緣較斜方向邊緣弱之情形時，提高將邊緣方向設定為斜方向所算出之參數之混合比率。
進而，於本發明之圖像處理裝置之一實施態樣中，上述 紋理檢測部算出對紋理少且平坦度高之像素區域顯示較高值，對紋理多且平坦度低之像素區域顯示較低值之各像素所對應的平坦度權重(weight Flat)作為上述紋理資訊，上述參數算出部算出已執行針對上述內插像素值之對比度強調處理之對比度強調處理應用參數、及未執行針對上述內插像素值之對比度強調處理之對比度強調處理非應用參數，上述混合處理部執行如下之混合處理：針對上述平坦度權重大之像素，將上述對比度強調處理非應用參數之混合比率設定得較大，針對上述平坦度權重小之像素，將上述對比度強調處理應用參數之混合比率設定得較大。
進而，於本發明之圖像處理裝置之一實施態樣中，上述邊緣檢測部之構成係藉由僅利用上述RGBW排列信號之白色(W)像素之分析處理而產生各像素所對應之邊緣資訊，且算出處理對象像素附近之W像素之信號值梯度，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊。
進而，於本發明之圖像處理裝置之一實施態樣中，上述紋理檢測部藉由僅利用上述RGBW排列信號之白色(W)像素之分析處理，產生表示各像素所對應之紋理程度之紋理資訊。
進而，本發明之第2形態係一種圖像處理方法，其係於圖像處理裝置中執行圖像信號處理者，其執行如下步驟：邊緣檢測步驟，邊緣檢測部對包含RGB像素與白色(W)像素之RGBW排列信號進行分析，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊； 紋理檢測步驟，紋理檢測部對上述RGBW排列信號進行分析，產生表示各像素所對應之紋理程度之紋理資訊；參數算出步驟，參數算出部算出用於將RGBW排列轉換成RGB排列之參數，產生藉由根據轉換像素所對應之邊緣方向而變更應用像素位置之內插處理所算出的相當於內插像素值之參數；以及混合處理步驟，混合處理部輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值；且上述參數算出步驟係於應用於像素轉換處理之參數之算出處理中，利用第1關聯資訊或第2關聯資訊中之至少任一關聯資訊進行上述參數之算出處理，上述第1關聯資訊係上述二維像素排列信號中所包含之成為亮度信號之主成分之像素與轉換後之像素之顏色資訊成分的關聯資訊，上述第2關聯資訊係上述顏色資訊成分中之分配比率最高之顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊。
進而，本發明之第3形態係一種使圖像處理裝置執行圖像信號處理之程式，其執行如下步驟：邊緣檢測步驟，使邊緣檢測部對包含RGB像素與白色(W)像素之RGBW排列信號進行分析，產生包含各像素所 對應之邊緣方向及強度資訊之邊緣資訊；紋理檢測步驟，使紋理檢測部對上述RGBW排列信號進行分析，產生表示各像素所對應之紋理程度之紋理資訊；參數算出步驟，使參數算出部算出用於將RGBW排列轉換成RGB排列之參數，產生藉由根據轉換像素所對應之邊緣方向而變更應用像素位置之內插處理所算出的相當於內插像素值之參數；以及混合處理步驟，使混合處理部輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值；且於上述參數算出步驟中，在應用於像素轉換處理之參數之算出處理中，利用第1關聯資訊或第2關聯資訊中之至少任一關聯資訊進行上述參數之算出處理，上述第1關聯資訊係上述二維像素排列信號中所包含之成為亮度信號之主成分之像素與轉換後之像素之顏色資訊成分的關聯資訊，上述第2關聯資訊係上述顏色資訊成分中之分配比率最高之顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊。
再者，本發明之程式係可藉由例如儲存媒體、通信媒體而提供之程式，上述儲存媒體、通信媒體係以電腦可讀之 形式對可執行各種程式．編碼之圖像處理裝置或電腦．系統提供程式者。藉由以電腦可讀之形式提供此種程式，而於圖像處理裝置或電腦．系統上實現對應於程式之處理。
本發明之其他目的、特徵或優點可藉由基於後述之本發明之實施例或隨附之圖式的更詳細之說明而變得明確。再者，於本說明書中，所謂系統，係指複數個裝置之邏輯性之集合構成，並不限定於各構成之裝置位於同一框體內者。
根據本發明之一實施例之構成，可輸入具有包含白色(W：White)之例如RGBW型之彩色濾光片的攝像元件(影像感測器)所取得之資料，而產生用於產生假色少且品質高之彩色圖像之RGB排列資料。具體而言，邊緣檢測部對RGBW排列之攝像元件之輸出信號進行分析而取得各像素所對應之邊緣資訊，紋理檢測部產生紋理資訊。進而，參數算出部執行根據轉換像素所對應之邊緣方向變更應用像素位置之內插處理，產生相當於內插像素值之參數。於混合處理部中，輸入參數算出部所產生之參數、以及邊緣資訊及紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值。藉由該等處理，可產生能夠產生假色少且品質高之彩色圖像之RGB排列資料。
以下，一面參照圖式，一面對本發明之圖像處理裝置、 及圖像處理方法以及程式進行說明。說明係按以下之順序進行。
1.關於本發明之處理之概要
2.關於攝像裝置及圖像處理裝置之構成例及處理例
3.關於資料轉換處理部之處理之詳細情況
3-1.關於雜訊去除部之處理
3-2.關於邊緣檢測部之處理
3-3.關於紋理檢測部之處理
3-4.關於像素內插參數算出部之處理
3-5.關於混合處理部之處理
4.圖像處理裝置之資料轉換處理部所執行之重新馬賽克處理之順序
[1.關於本發明之處理之概要]
首先，參照圖2對本發明之攝像裝置等圖像處理裝置所執行之處理的概要進行說明。本發明之圖像處理裝置對除具有使RGB各色之波長光選擇性地透過之RGB濾光片以外，亦具有包含使RGB各波長光全部透過之白色(W：White)之RGBW型之彩色濾光片的攝像元件(影像感測器)所取得之資料進行處理。具體而言，對將成為亮度信號之主成分之像素配置成棋盤格狀，且將成為顏色資訊成分之複數種顏色之像素配置於剩餘之部分的二維像素排列信號進行分析並進行像素轉換。再者，成為亮度信號之主成分之顏色為白色或綠色。
本發明之圖像處理裝置執行應用於如下處理之參數之算 出處理，該處理為將具有如圖2(1)中所示之包含白色(W：White)之例如RGBW型之彩色濾光片的攝像元件(影像感測器)所取得之資料轉換成圖2(2)中所示之RGB排列(例如拜耳排列)的處理。進而，於該轉換處理時，一併執行用於使假色之產生減少之處理。
具有如圖2(1)中所示之包含白色(W：White)之例如RGBW型之彩色濾光片的攝像元件(影像感測器)所取得之資料成為如下之二維像素排列信號，該二維像素排列信號係將成為亮度信號之主成分之W像素配置成棋盤格狀，且將成為顏色資訊成分之複數種顏色之像素配置於剩餘之部分者。
本發明之圖像處理裝置具有對該圖像信號進行分析並進行像素轉換之資料轉換處理部。資料轉換處理部使用例如二維像素排列信號中所包含之成為亮度信號之主成分之像素(例如W像素)與轉換後之像素之顏色資訊成分的關聯資訊，或者選自顏色資訊成分中之一種選擇顏色資訊成分，例如分配比率最高之顏色資訊(例如G)成分與轉換後之像素之顏色資訊成分的關聯資訊作為對輸入圖像信號進行分析並應用於像素轉換處理之參數，進行轉換參數之計算，並執行應用所算出之參數之轉換像素值的設定處理。
如圖2所示，本發明之圖像處理裝置進行將RGBW之顏色排列中所設定之RGBW之各像素的至少一部分轉換或修正成其他顏色(RGB之任一者)之處理。具體而言，於自RGBW排列轉換成RGB拜耳排列之轉換處理中，執行以下 之五種轉換或修正處理。
(a)將W像素位置轉換成G像素(推斷G像素值)=(G on W)
(b)將G像素位置轉換成R像素(推斷R像素值)=(R on G)
(c)將G像素位置轉換成B像素(推斷B像素值)=(B on G)
(d)將B像素位置轉換成R像素(推斷R像素值)=(R on B)
(e)將R像素位置轉換成B像素(推斷B像素值)=(B on R)
上述(a)~(e)之各轉換處理係作為用於將RGBW排列中之RGBW各像素向RGB排列轉換中之RGB像素之像素值推斷或修正處理而進行。藉由執行該等處理，自圖2(1)中所示之RGBW之顏色排列產生圖2(2)中所示之RGB排列。
以下，將此種顏色排列之轉換處理稱為重新馬賽克處理。
於以下之實施例中，對執行將具有白色(W)之RGBW型顏色排列轉換成RGB型顏色排列(拜耳排列)之重新馬賽克處理，且於該重新馬賽克處理時執行使假色之產生減少之處理的構成進行說明。
本發明之圖像處理裝置中之像素轉換處理係將n×n像素之矩形像素區域作為輸入像素單位而進行轉換處理。即，為決定位於n×n像素之中心之1個像素的轉換像素值，而利用n×n像素之矩形像素區域之像素資訊。具體而言，例如以圖像之7×7像素(寬度為7個像素，高度為7個像素)單位進行處理。例如，於進行將7×7像素作為處理單位之處理之情形時，圖像處理裝置以7×7像素單位輸入像素資訊並使用7×7像素之像素資訊決定中心像素之轉換像素值。7×7 像素之中心像素係RGBW任一者之像素，且根據上述(a)~(e)之轉換類型對該等RGBW進行轉換。
於以下之說明中，將作為像素轉換處理之單位之n×n像素之矩形像素稱為「輸入像素單位」而加以說明。當進行作為上述(a)~(e)之轉換類型之一的(a)之處理，即如下之轉換處理：
(a)將W像素位置轉換成G像素(推斷G像素值)=(G on W)
時，作為輸入像素單位之7×7像素之像素圖案存在圖3中所示之四種不同之圖案(a1)~(a4)。
圖3中，(a1)~(a4)表示W像素成為7×7像素之中心位置之輸入像素單位(處理單位)。左側係輸入像素單位，右側係成為最終之處理結果之RGB排列資料。
7×7像素之中心位置成為W像素之輸入存在圖3中(a1)~(a4)所示之四種不同之圖案。當輸入任一種圖案之7×7像素時，執行如下之處理：
(a)將W像素位置轉換成G像素(推斷G像素值)=(G on W)。
再者，圖3(a1)~(a4)之右側表示最終之變化結果，相對於圖3(a1)~(a4)之左側所示之輸入像素單位，僅執行將中心像素W轉換成G像素之處理。其後，使處理單位逐一移動，並執行轉換處理(上述(a)~(e)之任一種處理)而獲得圖3(a1)~(a4)之右側所示之最終之變化結果。
又，進行上述(a)~(e)之轉換類型之(b)~(e)之處理，即如下之轉換處理：
(b)將G像素位置轉換成R像素(推斷R像素值)=(R on G)
(c)將G像素位置轉換成B像素(推斷B像素值)=(B on G)
(d)將R像素位置轉換成B像素(推斷B像素值)=(B on R)
(e)將B像素位置轉換成R像素(推斷R像素值)=(R on B)
時之輸入像素單位(處理單位)與轉換處理之最終輸出的關係如圖4(b)~(e)所示。
圖4(b)表示將G像素位置轉換成R像素(推斷R像素值)=(R on G)之處理例。
圖4(c)表示將G像素位置轉換成B像素(推斷B像素值)=(B on G)之處理例。
圖4(d)表示將R像素位置轉換成B像素(推斷B像素值)=(B on R)之處理例。
圖4(e)表示將B像素位置轉換成R像素(推斷R像素值)=(R on B)之處理例。
[2.關於攝像裝置及圖像處理裝置之構成例及處理例]
參照圖5、圖6，對本發明之一實施例之攝像裝置及圖像處理裝置之構成例及處理例進行說明。
圖5係表示本發明之一實施例之攝像裝置100之構成例的圖。攝像裝置100包括：光學透鏡105、攝像元件(影像感測器)110、信號處理部120、記憶體130、控制部140。再者，攝像裝置係圖像處理裝置之一態樣。圖像處理裝置亦包括例如PC(Personal Computer，個人電腦)等裝置。PC等圖像處理裝置不具有圖3中所示之攝像裝置100之光學透鏡105、攝像元件110，而由其他構成要素構成，成為具有攝 像元件100所取得之資料之輸入部或儲存部之構成。具體而言，攝像裝置100係靜態相機、攝影機等，圖像處理裝置100中包含PC等可進行圖像處理之資訊處理裝置。
以下，將攝像裝置100作為本發明之圖像處理裝置之代表例進行說明。圖5中所示之攝像裝置100之攝像元件(影像感測器)110之構成係包含如下之濾光片，該濾光片具有參照圖1(b)或圖2(1)所說明之包含白色(W)之RGBW排列181。具體而言，對將成為亮度信號之主成分之像素配置成棋盤格狀，且將成為顏色資訊成分之複數種顏色之像素配置於剩餘之部分的二維像素排列信號進行分析並進行像素轉換。再者，成為亮度信號之主成分之顏色為白色或綠色。
攝像元件(影像感測器)110係包含具有如下之四種分光特性之濾光片的攝像元件：使紅色附近之波長透過之紅色(R)、使綠色附近之波長透過之綠色(G)、使藍色附近之波長透過之藍色(B)、以及使RGB全部透過之白色(W)。
該包含具有RGBW排列181之濾光片之攝像元件110係經由光學透鏡105而以各像素單位接收RGBW任一者之光，並藉由光電轉換而產生對應於受光信號強度之電信號後將其輸出。藉由該攝像元件110而獲得包含RGBW四種分光之馬賽克圖像。
攝像元件(影像感測器)110之輸出信號被輸入至信號處理 部120之資料轉換處理部200中。
資料轉換處理部200如先前參照圖2所說明般，執行自RGBW排列181向RGB排列轉換182之轉換處理。於該轉換處理時，如上所述，執行如下之五種轉換或修正處理：
將W像素位置轉換成G像素(推斷G像素值)=(G on W)
將G像素位置轉換成R像素(推斷R像素值)=(R on G)
將G像素位置轉換成B像素(推斷B像素值)=(B on G)
將B像素位置轉換成R像素(推斷R像素值)=(R on B)
將R像素位置轉換成B像素(推斷B像素值)=(B on R)。
於該轉換/修正處理時，一併執行用於抑制假色之處理。
資料轉換處理部200所產生之具有RGB排列182、即拜耳排列之資料為具有藉由先前之相機等攝像元件所獲得之顏色排列的資料。該顏色排列資料被輸入至RGB信號處理部250中。
RGB信號處理部250執行與先前之相機等中所包含之信號處理部相同之處理。具體而言，執行去馬賽克處理、白平衡調整處理、γ修正處理等而產生彩色圖像183。所產生之彩色圖像183被記錄於記憶體130中。
控制部140執行該等一系列之處理之控制。例如，將執行一系列之處理之程式儲存於記憶體130中，控制部140執行自記憶體130所讀出之程式而控制一系列之處理。
參照圖6對資料轉換處理部200之詳細構成進行說明。資料轉換處理部200執行自RGBW之顏色排列向RGB排列轉 換182之轉換處理。進而，於該處理時一併執行用於抑制假色之處理。
如圖6所示，資料轉換處理部200包括：雜訊去除部201、第1~第5像素內插參數算出部202~208、邊緣檢測部209、紋理檢測部210、混合處理部211。資料轉換處理部200自作為處理圖像之RGBW排列181，以n×n像素之處理單位依次輸入像素值，決定n×n像素之中央之像素之轉換像素值後將其輸出。若所有像素之轉換處理結束，則RGB排列182完成，並將其提供至圖5中所示之RGB信號處理部250中。
雜訊去除部201對位於輸入像素單位之中心之W像素執行雜訊去除。
第1像素內插參數算出部(G on W)202執行應用於將W像素轉換成G像素之處理之參數的算出處理。
第1臨時像素設定部(RB on W around G)203執行將G像素周圍之W像素轉換成R或B像素之臨時像素(R')(B')之處理，以作為將鄰接於G像素之W像素位置轉換成R像素或B像素之處理的事前處理。
第2像素內插參數算出部(RB on G of HV)204算出縱或橫邊緣所對應之參數等作為應用於將G像素轉換成R像素或B像素之處理的參數。
第3像素內插參數算出部(RB on G of AD)205算出斜邊緣所對應之參數等作為應用於將G像素轉換成R像素或B像素之處理之參數。
第2臨時像素設定部(RB on W around RB)206執行將R或B像素周圍之W像素轉換成R或B像素之臨時像素(R')(B')之處理，以作為將鄰接於R像素或B像素之W像素位置轉換成R像素或B像素之處理的事前處理。
第4像素內插參數算出部(RB on RB of HV)207算出縱或橫邊緣所對應之參數等作為應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理的參數。
第5像素內插參數算出部(RB on RB of AD)208算出斜邊緣所對應之參數等作為應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理的參數。
邊緣檢測部209使用W像素執行邊緣之方向檢測處理。
紋理檢測部210使用W像素執行紋理之檢測處理。
混合處理部211執行將上述各處理中所輸出之像素加以混合之處理。
[3.關於資料轉換處理部之處理之詳細情況]
其次，對構成圖6中所示之資料轉換處理部200之各處理部所執行之處理的詳細情況進行說明。
再者，如先前參照圖6所說明般，資料轉換處理部200自RGBW排列181，以n×n像素之處理單位依次輸入像素值，決定n×n像素之中央之像素之轉換像素值後將其輸出。於以下所說明之實施例中，基本上設定為n=7，對在資料轉換處理部200中將7×7像素之像素區域作為1個處理單位而輸入並進行處理之構成進行說明。
但是，於圖6中所示之處理部中，可設定為雜訊去除部 201、邊緣檢測部209、紋理檢測部210以7×7像素區域單位、或7×7像素之像素區域之中心部之5×5像素之區域單位的任一者進行處理。作為其他處理部之第1像素內插參數算出部202~第5像素內插參數算出部208係以7×7像素區域單位進行處理。
邊緣檢測或雜訊去除、或者紋理檢測處理產生用作像素值轉換中之輔助資訊之資訊。用於產生該等資訊之像素區域可進行各種設定。就處理負荷方面而言，處理單位越小，效率越佳。但是，於具有足夠之處理能力之情形時，亦可將較大之像素區域設定為處理單位。例如亦可設定為進行7×7像素單位之處理之構成。
如此，邊緣檢測、雜訊去除、紋理檢測處理之處理單位可進行各種設定。於以下之實施例中，對作為一例之具有以下之設定的處理例進行說明。
第1像素內插參數算出部202~第5像素內插參數算出部208係以輸入至資料轉換處理部200中之RGBW排列181之7×7像素區域單位進行處理。
邊緣檢測部209亦將輸入至資料轉換處理部200中之RGBW排列181之7×7之處理單位直接作為處理單位而進行邊緣檢測處理。
雜訊去除部201、紋理檢測部210抽出7×7像素之像素區域之中心部之5×5像素的區域，並將所抽出之5×5像素之區域作為處理單位而進行處理。
於各處理部中，設定此種處理單位而進行處理。以下， 依次對各處理部之處理之詳細情況進行說明。
(3-1.關於雜訊去除部之處理)
首先，參照圖7對雜訊去除部201之處理進行說明。雜訊去除部201對針對資料轉換處理部200之輸入像素單位(7×7像素)之中心像素為W像素的資料執行雜訊去除處理。如上所述，雜訊去除部201抽出資料轉換處理部200所輸入之7×7像素之像素區域之中心部的5×5像素之區域，並將所抽出之5×5像素之區域作為處理單位而進行處理。雜訊去除係作為針對位於輸入像素單位之中心之W像素之雜訊減少像素值的算出處理而進行。
作為雜訊去除之方法，可應用各種方法。此處，參照圖7對使用雙向濾光片之雜訊減少處理例進行說明。
圖7(a)係將作為輸入像素單位之7×7像素之中心部所設定的5×5像素區域表示為雜訊去除處理之處理對象資料301。圖7係說明對位於處理對象資料301之中心之W像素(像素p)應用雜訊去除之例的圖。
圖7中表示：
(a)處理對象資料
(b)雜訊減少像素值算出式
(c)函數(r)之線性近似例。
如(a)處理對象資料所示，雜訊去除部201於位於具有RGBW排列之輸入像素單位(7×7像素)之中心部之5×5像素的雜訊去除處理對象資料301之中心像素(p)為W像素之情形時進行處理。圖7(a)中所示之灰色部分為W像素，其他 白色部分為RGB像素之任一者。再者，於以下之說明中所使用之其他圖中，灰色部分亦為W像素，亦將其他白色部分設定為RGB像素之任一者。
雜訊去除部201使用作為處理對象資料301之中心像素(p)之W像素的像素值I(p)與處理對象資料301(5×5像素)中所包含之像素之像素值I(q)，根據圖7(2)中所示之雜訊減少像素值算出式而算出雜訊減少像素值INR(p)。即，根據以下之式(式1)而算出雜訊減少像素值INR(p)。
上述式中，Ωp係作為處理對象資料301之(5×5像素)中所包含之像素之集合，I(q)係其像素值，I(p)係中心像素p(=W像素)之像素值。
函數(r)一般使用指數函數。但是，為抑制運算量，如圖7(3)所示，亦可設定為線性近似之函數。
圖7(3)中所示之線性近似係設定Th1=2.0、Th2=3.0作為閥值，且為如下之設定之線性近似例：
r=0~Th1(2.0)→(r)=1.0
r=Th1(2.0)~Th2(3.0)→(r)=1.0~0(線性變化)
r=Th2以上→(r)=0。
如此，雜訊去除部201應用雙向濾光片，根據上述式(式1)算出雜訊去除處理單位(5×5像素)之中心之W像素的雜訊減少像素值INR(p)。所算出之雜訊減少W像素值(INR(p))被輸出至圖6中所示之第1像素內插參數算出部(G on W)202中。
再者，參照圖7所說明之應用雙向濾光片之處理係雜訊去除處理之一例，雜訊去除部201並不限定於參照圖7所說明之應用雙向濾光片之處理，亦可設定為使用其他雜訊去除方式之構成。
(3-2.關於邊緣檢測部之處理)
其次，對邊緣檢測部209之處理進行說明。邊緣檢測部209檢驗作為輸入信號之RGBW排列中所包含之離散的白色(W)信號，產生圖像中所包含之邊緣資訊，例如包含邊緣方向與邊緣強度之邊緣資訊並將其輸出至混合處理部211，進而輸出至複數個像素內插參數算出部中。
參照圖8及其以下之圖對邊緣檢測部209所執行之使用W像素之邊緣方向與邊緣強度的判定方法進行說明。
邊緣檢測部209僅利用所輸入之RGBW排列181之信號中的白色(W)信號，判定邊緣方向與邊緣強度。於本實施例中，邊緣檢測部209如上所述，將輸入至資料轉換處理部200中之RGBW排列181之7×7之處理單位直接作為處理單位而進行邊緣檢測處理。邊緣檢測部209一面使7×7像素之區域1像素1像素地移動，一面依次執行邊緣檢測處理。藉由針對1個7×7像素區域之處理，而取得對應於7×7像素區 域之中心像素之邊緣資訊(邊緣方向與邊緣強度)。各像素所對應之邊緣資訊被輸出至混合處理部211、及第1~第5像素內插參數算出部中。
邊緣檢測處理可應用各種方法。參照圖8、圖9對其中一種方法進行說明。於以下所說明之方法中，利用7×7像素區域之中心附近之4×4像素。
如圖8所示，作為處理對象之7×7像素之中心像素存在如下兩種情形：(a)中心像素為W像素之情形、(b)中心像素為W以外之像素之情形。
再者，圖8中以灰色表示之像素為W像素，其他對應於RGB任一者之像素。
針對該等(a)、(b)兩種情況，分別使用不同之算出式進行用於推斷邊緣方向為水平、垂直、右斜上、左斜上之四種方向之哪一者及邊緣強度之邊緣判定處理。
參照圖9對具體之處理進行說明。
圖9表示應用於如下之(a)、(b)之情形中之邊緣方向及邊緣強度之判定處理的算出式：(a)中心像素為W像素之情形、(b)中心像素為W以外之像素之情形。
所應用之算出式係算出圖像之特定方向之像素值之梯度的式，且為以下之各值之算出式：
gradH：水平方向之梯度絕對值平均
gradV：垂直方向之梯度絕對值平均
gradA：右斜上方向之梯度絕對值平均
gradD：左斜上方向之梯度絕對值平均。
該等gradH、gradV、gradA、gradD分別相當於不同方向之像素值之梯度(差分)之絕對值的平均值。以下，對具體之算出處理進行說明。
關於(a)中心像素為W像素之情形之處理
首先，參照圖9(a)對中心像素為W像素之情形之處理進行說明。於圖9(a)中，(a1)~(a4)表示中心像素為W像素之情形之gradH、gradV、gradA、gradD之算出處理例。
由雙重圓圈[◎]所表示之位置為7×7像素中之中心像素位置。
又，由圓圈[○]所表示之位置為邊緣重心位置。
於中心像素為W像素之情形時，gradH、gradV、gradA、gradD係藉由以下之算出式(式2)而算出。
再者，Wxy表示將水平方向設定為(x)，將垂直方向設定為(y)，將圖9中所示之4×4像素之左上端像素之座標設定為(0,0)，將右下端之像素座標設定為(3,3)的座標系中之xy 座標位置之W像素值。
gradH為水平方向之梯度絕對值平均，其與接近於水平方向之W像素之差分絕對值的平均值相對應。
如圖9(a1)所示，將接近於位於4×4像素區域之中央部之2條水平線之水平方向的2個W像素之差分絕對值之平均值作為gradH而算出。
gradV為垂直方向之梯度絕對值平均，其與接近於垂直方向之W像素之差分絕對值的平均值相對應。
如圖9(a2)所示，將接近於位於4×4像素區域之中央部之2條垂直線之垂直方向的2個W像素之差分絕對值之平均值作為gradV而算出。
gradA為右斜上方向之梯度絕對值平均，其與接近於右斜上方向之W像素之差分絕對值的平均值相對應。
如圖9(a3)所示，將接近於位於4×4像素區域之中央部之1條右斜上方向線之右斜上方向的2個W像素之差分絕對值之平均值作為gradA而算出。
gradD為左斜上方向之梯度絕對值平均，其與接近於左斜上方向之W像素之差分絕對值的平均值相對應。
如圖9(a4)所示，將接近於位於4×4像素區域之中央部之1條左斜上方向線之左斜上方向的2個W像素之差分絕對值之平均值作為gradD而算出。
水平方向之梯度絕對值平均gradH之值越大，垂直方向之邊緣強度越大之可能性較高。
垂直方向之梯度絕對值平均gradV之值越大，水平方向 之邊緣強度越大之可能性較高。
右斜上方向之梯度絕對值平均gradA之值越大，左斜上方向之邊緣強度越大之可能性較高。
左斜上方向之梯度絕對值平均gradD之值越大，右斜上方向之邊緣強度越大之可能性較高。
如此，可根據gradH、gradV、gradA、gradD之各值之算出值判定邊緣方向與邊緣強度。
關於(b)中心像素為W像素以外之情形之處理
其次，參照圖9(b)對中心像素為W像素以外之情形之處理進行說明。於圖9(b)中，(b1)~(b4)表示中心像素為W像素以外之情形之gradH、gradV、gradA、gradD之算出處理例。
由雙重圓圈[◎]所表示之位置為7×7像素中之中心像素位置。
又，由圓圈[○]所表示之位置為邊緣重心位置。
於中心像素為W像素以外之情形時，gradH、gradV、gradA、gradD係藉由以下之算出式(式3)而算出。
再者，Wxy表示將水平方向設定為(x)，將垂直方向設定為(y)，將圖9中所示之4×4像素之左上端像素之座標設定為(0,0)，將右下端之像素座標設定為(3,3)的座標系中之xy座標位置之W像素值。
gradH為水平方向之梯度絕對值平均，其與接近於水平方向之W像素之差分絕對值的平均值相對應。
如圖9(b1)所示，將接近於位於4×4像素區域之中央部之2條水平線之水平方向的2個W像素之差分絕對值之平均值作為gradH而算出。
gradV為垂直方向之梯度絕對值平均，其與接近於垂直方向之W像素之差分絕對值的平均值相對應。
如圖9(b2)所示，將接近於位於4×4像素區域之中央部之2條垂直線之垂直方向的2個W像素之差分絕對值之平均值作為gradV而算出。
gradA為右斜上方向之梯度絕對值平均，其與接近於右斜上方向之W像素之差分絕對值的平均值相對應。
如圖9(b3)所示，將接近於位於4×4像素區域之中央部之2條右斜上方向線之右斜上方向的2個W像素之差分絕對值之平均值作為gradA而算出。
gradD為左斜上方向之梯度絕對值平均，其與接近於左斜上方向之W像素之差分絕對值的平均值相對應。
如圖9(b4)所示，將接近於位於4×4像素區域之中央部之2條左斜上方向線之左斜上方向的2個W像素之差分絕對值之平均值作為gradD而算出。
水平方向之梯度絕對值平均gradH之值越大，垂直方向之邊緣強度越大之可能性較高。
垂直方向之梯度絕對值平均gradV之值越大，水平方向之邊緣強度越大之可能性較高。
右斜上方向之梯度絕對值平均gradA之值越大，左斜上方向之邊緣強度越大之可能性較高。
左斜上方向之梯度絕對值平均gradD之值越大，右斜上方向之邊緣強度越大之可能性較高。
如此，可根據gradH、gradV、gradA、gradD之各值之算出值推斷邊緣方向與邊緣強度。
如此，邊緣檢測部209根據gradH、gradV、gradA、gradD之各值取得各像素所對應之邊緣資訊(邊緣方向與邊緣強度)。所取得之邊緣資訊被輸出至混合處理部211中。
再者，上述之邊緣之方向．強度檢測方法係一例，亦可設定為使用其他邊緣檢測方法之構成。例如，參照圖9所說明之邊緣檢測方法使用極其狹小之範圍之特定的像素值資訊，預計當雜訊較大時，會產生誤判定。參照圖10對防止該誤判定之邊緣資訊之取得處理例進行說明。
圖10中所示之邊緣資訊取得處理例係利用對參照圖9所說明之算出值即梯度絕對值平均進行加權相加之處理的方法。圖10表示如下之各處理例：
(1)水平．垂直成分邊緣資訊取得處理例
(2)斜成分邊緣資訊取得處理例。
圖10(1)、(2)中表示7×7像素之圖像資料。該資料為作為 邊緣檢測部209之處理對象之資料，且與圖9中所示之資料相同，為僅將W像素值離散地排列之資料。求出與位於該7×7像素之中心之中心像素相對應的邊緣資訊(邊緣方向與邊緣強度)。
對圖10(1)中所示之水平．垂直成分邊緣資訊取得處理例進行說明。圖10(1)中表示16個邊緣重心。該等與圖9(a1)、(a2)、(b1)、(b2)中所示之邊緣重心相對應。即，與算出如下值時之邊緣重心相對應：
gradH：水平方向之梯度絕對值平均
gradV：垂直方向之梯度絕對值平均。
於圖10(1)中所示之7×7像素區域中，設定圖9(a1)、(a2)、(b1)、(b2)中所示之4×4像素區域。可設定之4×4像素區域自圖中所示之左上端之4×4像素區域302至右下端之4×4像素區域304為止有16個。圖10(1)中所示之16個邊緣重心係與該等16個4×4像素區域相對應之邊緣重心，即，係與圖9(a1)、(a2)、(b1)、(b2)中所示之位置相同之位置之邊緣重心。
於將水平軸設定為i，將垂直軸設定為j，設定圖中所示之0、1、2、3之範圍，並將邊緣重心之座標位置記作(i,j)之情形時，邊緣重心(0,0)301成為與4×4之像素區域302相對應之邊緣重心。於將4×4之像素區域302設定為圖9(a1)、(a2)、(b1)、(b2)中所示之4×4之像素區域之情形時，邊緣重心(0,0)301與圖9(a1)、(a2)、(b1)、(b2)中所示之重心相對應。
又，邊緣重心(3,3)303係對應於4×4之像素區域304而設定之邊緣重心。於將4×4之像素區域304設定為圖9(a1)、(a2)、(b1)、(b2)中所示之4×4之像素區域之情形時，邊緣重心(3,3)303與圖9(a1)、(a2)、(b1)、(b2)中所示之重心相對應。
於圖10(1)中所示之7×7像素區域中，設定16個4×4之像素區域與邊緣重心之組。針對該等16組，藉由使用參照圖9(a1)、(a2)、(b1)、(b2)所說明之算出式，可分別各算出16個如下之值：
gradH：水平方向之梯度絕對值平均
gradV：垂直方向之梯度絕對值平均。
將使用對應於邊緣重心(i,j)之4×4像素區域所算出之梯度絕對值平均(gradH)、(gradV)分別表示為：
gradHi,j
gradVi,j。
使用該等值，並利用以下之算出式(式4)算出梯度絕對值平均之加權相加值，即，
dirH：水平梯度資訊
dirV：垂直梯度資訊。
上述式中，wij為對應於(i,j)位置之邊緣重心之權重係數。例如圖10(1)中所示般，將權重係數設定為使中心部較大且使周邊部較小之係數。於圖10(1)中，表示使(4/36)~(1/36)之權重係數對應於16個邊緣重心之例作為權重係數之一例。
其次，對圖10(2)中所示之斜成分邊緣資訊取得處理例進行說明。圖10(2)中表示25個邊緣重心。該等與圖9(a3)、(a4)、(b3)、(b4)中所示之邊緣重心相對應。即，與算出如下值時之邊緣重心相對應：
gradA：右斜上方向之梯度絕對值平均
gradD：左斜上方向之梯度絕對值平均。
於7×7像素區域中設定圖9(a3)、(a4)、(b3)、(b4)中所示之4×4像素區域。可設定之4×4像素區域自圖中所示之左上端之4×4像素區域312至右下端之4×4像素區域314為止有16個。圖10(2)中所示之25個邊緣重心之中，圖10(2)中所示之虛線矩形框315內之16個邊緣重心係與該等16個4×4像素區域相對應之邊緣重心，即，係與圖9(a3)、(a4)、(b3)、(b4)中所示之位置相同之位置之邊緣重心。
於將水平軸設定為i，將垂直軸設定為j，設定圖中所示之0、1、2、3、4之範圍，並將邊緣重心之座標位置記作(i,j)之情形時，邊緣重心(1,1)311成為與4×4之像素區域312相對應之邊緣重心。於將4×4之像素區域312設定為圖9(a3)、(a4)、(b3)、(b4)中所示之4×4之像素區域之情形時，邊緣重心(1,1)311與圖9(a3)、(a4)、(b3)、(b4)中所示 之重心相對應。
又，邊緣重心(4,4)313係對應於4×4之像素區域314而設定之邊緣重心。於將4×4之像素區域314設定為圖9(a3)、(a4)、(b3)、(b4)中所示之4×4之像素區域之情形時，邊緣重心(4,4)313與圖9(a3)、(a4)、(b3)、(b4)中所示之重心相對應。
於圖10(2)中，於虛線矩形框315之外側亦表示邊緣重心。該邊緣重心係位於i=0、j=0之位置之如下之邊緣重心： (i,j)=(0,0)~(0,4)與(1,0)~(4,0)。
如圖9(a3)、(a4)、(b3)、(b4)所示：
gradA：右斜上方向之梯度絕對值平均
gradD：左斜上方向之梯度絕對值平均
算出如下值時所利用之像素位置僅為邊緣重心周圍之8個像素。因此，即便於圖10(2)中所示之i=0、j=0之位置設定有邊緣重心之情形時，亦可算出gradA、gradV。
因此，使用7×7像素區域，於不同位置設定有邊緣重心之可算出之gradA、gradD成為對應於圖10(2)中所示之25個邊緣重心位置的25個資料。
自圖10(2)中所示之7×7像素區域，藉由使用參照圖9(a3)、(a4)、(b3)、(b4)所說明之算出式，可分別各算出25個如下之值：
gradA：右斜上方向之梯度絕對值平均
gradD：左斜上方向之梯度絕對值平均。
將使用對應於邊緣重心(i,j)之4×4像素區域所算出之梯度絕對值平均(gradA)、(gradD)分別表示為：
gradAi,j
gradDi,j。
使用該等值，並利用以下之算出式(式5)算出梯度絕對值平均之加權相加值，即，
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
上述式中，wij為對應於(i,j)位置之邊緣重心之權重係數。例如圖10(2)中所示般，將權重係數設定為使中心部較大且使周邊部較小之係數。於圖10(2)中，表示使(16/100)~(1/100)之權重係數對應於25個邊緣重心之例作為權重係數之一例。
藉由參照圖10所說明之處理而算出之邊緣資訊，即如下之dirH、dirV、dirA、dirD係利用7×7像素區域中所包含之多個像素值(W像素值)所算出的邊緣資訊：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
因此，與參照圖9所說明之應用少數像素資訊所算出之邊緣資訊相比，產生由雜訊等所造成之錯誤之結果的可能性降低。
再者，上述式及圖10中所示之權重係數wij之設定例為一例，亦可使用其他平均化係數。
再者，參照圖10所說明之例係使用7×7像素之區域算出梯度絕對值平均之加權相加值(dirH、dirV、dirA、dirD)的處理例，但亦可設定為例如圖11中所示般，使用5×5像素之區域算出梯度絕對值平均之加權相加值(dirH、dirV、dirA、dirD)的構成。
即，亦可設定為抽出輸入至資料轉換處理部200中之7×7像素之像素區域之中心部的5×5像素之像素區域進行邊緣檢測之構成。參照圖11對該處理例進行說明。
於圖11中，與圖10相同，表示如下之各處理例：
(1)水平．垂直成分邊緣資訊取得處理例
(2)斜成分邊緣資訊取得處理例。
圖11(1)、(2)中表示5×5像素之圖像資料。該資料為作為邊緣檢測部209之處理對象之資料，且與圖9中所示之資料相同，為僅將W像素值離散地排列之資料。求出與位於該5×5像素之中心之中心像素相對應的邊緣資訊(邊緣方向與邊緣強度)。
對圖11(1)中所示之水平．垂直成分邊緣資訊取得處理例進行說明。於圖11(1)中所示之5×5像素區域中，設定4個 4×4像素區域與邊緣重心之組。針對該等4組，藉由使用參照圖9(a1)、(a2)、(b1)、(b2)所說明之算出式，可分別各算出4個如下之值：
gradH：水平方向之梯度絕對值平均
gradV：垂直方向之梯度絕對值平均。
將使用對應於邊緣重心(i,j)之4×4像素區域所算出之梯度絕對值平均(gradH)、(gradV)分別表示為：
gradHi,j
gradVi,j。
使用該等值，並利用上述之式(式4)算出梯度絕對值平均之加權相加值，即，
dirH：水平梯度資訊
dirV：垂直梯度資訊。
其次，對圖11(2)中所示之斜成分邊緣資訊取得處理例進行說明。圖11(2)中表示9個邊緣重心。該等與圖9(a3)、(a4)、(b3)、(b4)中所示之邊緣重心相對應。即，與算出如下值時之邊緣重心相對應：
gradA：右斜上方向之梯度絕對值平均
gradD：左斜上方向之梯度絕對值平均。
自圖11(2)中所示之5×5像素區域，藉由使用參照圖9(a3)、(a4)、(b3)、(b4)所說明之算出式，可分別各算出9個如下之值：
gradA：右斜上方向之梯度絕對值平均
gradD：左斜上方向之梯度絕對值平均。
將使用對應於邊緣重心(i,j)之4×4像素區域所算出之梯度絕對值平均(gradA)、(gradD)分別表示為：
gradAi,j
gradDi,j。
使用該等值，並利用上述之算出式(式5)算出梯度絕對值平均之加權相加值，即，
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
如此，於算出梯度絕對值平均之加權相加值(dirH、dirV、dirA、dirD)之處理中，可利用7×7像素區域或5×5像素區域等各種區域。
邊緣檢測部209將以上述方式所求出之邊緣資訊，即如下之邊緣資訊(dirH、dirV、dirA、dirD)輸出至混合處理部211、及複數個像素內插參數算出部中：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
(3-3.關於紋理檢測部之處理)
其次，對紋理檢測部210之處理進行說明。紋理檢測部210使用作為輸入信號之RGBW排列中所包含之離散的白色(W)像素執行紋理之檢測處理。即，檢測各像素所對應之紋理資訊並將檢測資訊輸出至混合處理部211中。
具體而言，檢測各像素之附近圖像區域是紋理多之(平 坦度低之)圖像，還是紋理少之(平坦度高之)圖像，並將該檢測資訊作為各像素所對應之紋理資訊輸出至混合處理部211中。
參照圖12及其以下之圖對紋理檢測部210之處理進行說明。
如上所述，紋理檢測部210抽出作為針對資料轉換處理部200之輸入單位之7×7像素之像素區域的中心部之5×5像素之區域，並將所抽出之5×5像素之區域作為處理單位而進行處理。對每個處理單位(5×5像素)算出W像素之平均值Wave。
於W像素平均值Wave之算出處理中，例如使用平滑化濾光片。於輸入像素單位之中心為W像素之情形時，藉由設定了如圖12中所示之係數之濾光片而求出W像素之平均值Wave，於輸入像素單位之中心不為W像素之情形時，藉由設定了如圖13中所示之係數之濾光片而求出W像素之平均值Wave。
參照圖12對輸入像素單位之中心為W像素之情形之處理進行說明。使中心像素成為W像素之5×5像素之處理單位321的以W像素位置為中心之9個像素中之W像素值、與濾光片322之對應像素位置之濾光片係數相乘。進而，算出各相乘結果之相加值。將該相加結果設定為W信號之平均值Wave。該平均值Wave係作為針對處理單位321之中心W像素之平均值Wave而算出。紋理檢測部210進而使用該像素所對應之平均值Wave，算出作為對應於中心W像素之紋 理程度之指標值之平坦度權重(weight Flat)。該算出處理將後述。
再者，圖12中所示之濾光片322之濾光片係數係針對5×5像素之處理單位321的中心W像素~周圍W像素而設定為(4/8~1/8)。該濾光片係數係一例，亦可為利用其他係數之構成，只要係所謂之低通濾光片，則係數並不限定於此。又，亦可設定為利用較9個像素更廣之區域之構成。
其次，參照圖13對輸入像素單位之中心為W像素以外之情形之處理進行說明。使中心像素成為W像素以外之5×5像素之處理單位331的以中心像素位置為中心之9個像素中之W像素值、與濾光片332之對應像素位置之濾光片係數相乘。進而，算出各相乘結果之相加值。將該相加結果設定為W信號之平均值Wave。所算出之平均值Wave係作為針對處理單位331之中心像素(RGB之任一者)之平均值Wave而算出。
再者，圖13中所示之濾光片332之濾光片係數係針對5×5像素之處理單位331的中心像素周圍之周圍W像素而分別設定為(1/4)。該濾光片係數係一例，亦可為利用其他係數之構成，只要係所謂之低通濾光片，則係數並不限定於此。又，亦可設定為利用較9個像素更廣之區域之構成。
如此，紋理檢測部210根據輸入像素單位之中心像素係W像素還是W像素以外之RGB像素，應用圖12中所示之濾光片322、或圖13中所示之濾光片332而算出輸入像素單位之中心像素所對應之W像素平均值Wave。
紋理檢測部210使用所算出之W像素平均值Wave，並利用以下之算出式(式6)算出與中心像素p=(x,y)相對應之紋理度：WTX(p)。
上述式(式6)中，Ωp係作為處理對象資料之處理單位(5×5像素)中所包含之像素之集合，I(q)係其像素值，Iave(p)係應用圖12或圖13之濾光片所算出之W像素平均值(與Wave相同之值)，(r)係預先規定之權重函數。
再者，函數(r)一般使用指數函數。但是，為抑制運算量，亦可利用如先前所說明之圖7(3)中所示之線性近似之函數。
圖7(3)中所示之線性近似係設定Th1=2.0、Th2=3.0作為閥值，且為如下之設定之線性近似例：
r=0~Th1(2.0)→(r)=1.0
r=Th1(2.0)~Th2(3.0)→(r)=1.0~0(線性變化)
r=Th2以上→(r)=0。
進而，紋理檢測部210應用根據上述式所算出之與中心像素p相對應之紋理度：WTX(p)，根據以下之式(式7)而算 出與中心像素p=(x,y)相對應之平坦度權重(weight Flat)。
weight Flat(x,y)=fflat(WTX(p))…(式7)
上述式(式7)中，fflat(r)可使用例如圖14中所示之線性近似函數。
圖14中所示之線性近似函數係設定0<Th0(FLAT_LIMIT0)<Th1(FLAT_LIMIT1)<1作為閥值，且為如下之設定之線性近似函數：
r=0~Th0→fflat(r)=0
r=Th0~Th1→fflat(r)=0~1.0(線性變化)
r=Th1以上→fflat(r)=1。
再者，表示平坦度權重(weight Flat)之值越小，圖像區域為平坦度低且紋理多之圖像區域之可能性越高，平坦度權重(weight Flat)之值越大，圖像區域為平坦度高且紋理少之圖像區域之可能性越高。
紋理檢測部210將以上述方式所算出之平坦度權重(weight Flat)輸出至混合處理部211中。
(3-4.關於像素內插參數算出部之處理)
其次，對圖6之資料轉換處理部200內之第1~第5像素內插參數算出部202、204、205、207、208，以及第1~第2臨時像素設定部203、206之處理進行說明。該等各部執行以下之處理。
第1像素內插參數算出部(G on W)202執行應用於將W像素轉換成G像素之處理之參數的算出處理。
第1臨時像素設定部(RB on W around G)203執行將G像素周圍之W像素轉換成R或B像素之臨時像素(R')(B')之處理，以作為將鄰接於G像素之W像素位置轉換成R像素或B像素之處理的事前處理。
第2像素內插參數算出部(RB on G of HV)204算出縱或橫邊緣所對應之參數等作為應用於將G像素轉換成R像素或B像素之處理的參數。
第3像素內插參數算出部(RB on G of AD)205算出斜邊緣所對應之參數等作為應用於將G像素轉換成R像素或B像素之處理的參數。
第2臨時像素設定部(RB on W around RB)206執行將R或B像素周圍之W像素轉換成R或B像素之臨時像素(R')(B')之處理，以作為將鄰接於R像素或B像素之W像素位置轉換成R像素或B像素之處理的事前處理。
第4像素內插參數算出部(RB on RB of HV)207算出縱或橫邊緣所對應之參數等作為應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理的參數。
第5像素內插參數算出部(RB on RB of AD)208算出斜邊緣所對應之參數作為應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理的參數。
(3-4-1.第1像素內插參數算出部(G on W)202之處理)
首先，對第1像素內插參數算出部(G on W)202之處理進行說明。第1像素內插參數算出部(G on W)202算出應用於設定在RGBW排列181之W像素位置上之G像素值之算出的 內插參數。
再者，第1像素內插參數算出部(G on W)202係將7×7之像素區域作為處理單位(輸入像素單位)而進行處理。
第1像素內插參數算出部(G on W)202首先求出處理單位之7×7像素區域中之W信號的低頻成分mW。
如圖15所示，針對7×7像素之輸入像素單位401，應用圖15中所示之濾光片411算出與7×7像素之輸入像素單位401相對應的低頻成分mW。此處，成為轉換成G像素之對象之W像素係位於7×7像素之輸入像素單位401之中心的轉換對象像素402。圖15中所示之輸入像素單位401中由灰色所表示之像素係W像素。其他係RGB像素。同樣地，圖15中所示之濾光片411中由灰色所表示之像素係W像素對應位置。其他係RGB像素對應位置。再者，於以下之圖式中，W像素或W像素對應位置亦由灰色表示，RGB像素位置或對應位置亦由白色表示。
濾光片411係將轉換對象像素對應位置412之濾光片係數設定得最高，伴隨朝周圍遠離而將係數設定得較低之濾光片。作為係數，設定有(16/128~1/128)之各係數。應用該濾光片411而算出低頻成分mW。使7×7像素之輸入像素單位401之W像素位置的像素值與濾光片411之對應像素位置之濾光片係數相乘，並將各相乘結果之相加值作為W信號之低頻成分mW而算出。
再者，圖15中所示之濾光片411之濾光片係數設定例為一例，亦可應用設定了其他濾光片係數之濾光片。除圖15 中所示之濾光片例以外，亦可應用例如具有低通特性之其他平滑化濾光片。
進而，第1像素內插參數算出部(G on W)202求出處理單位之7×7像素區域中之W信號的高頻成分w。
如圖16所示，針對7×7像素之輸入像素單位401，應用圖16中所示之濾光片415算出與7×7像素之輸入像素單位401相對應的高頻成分w。成為轉換成G像素之對象之W像素係位於7×7像素之輸入像素單位401之中心的轉換對象像素402。
濾光片415係僅將轉換對象像素對應位置416之濾光片係數設定為1之濾光片。應用該濾光片415而算出高頻成分w。使7×7像素之輸入像素單位401之W像素位置的像素值與濾光片415之對應像素位置之濾光片係數相乘，而算出W信號之高頻成分w。
其次，參照圖17對G信號之低頻成分mG之算出處理進行說明。於G信號之低頻成分mG之算出處理中，根據7×7像素之輸入像素單位401之構成及邊緣方向而應用不同之濾光片。
具體而言，如圖17所示，根據如下之兩種類型，分別使用圖17中所示之濾光片421、422：
(a)G像素位於輸入像素單位401之中心W像素之左側之情形
(b)G像素位於輸入像素單位401之中心W像素之右側之情形。
藉由應用該等濾光片，而算出與7×7像素之輸入信號401相對應之低頻成分mG。此處，成為轉換成G像素之對象之W像素係位於7×7像素之輸入信號401之中心的轉換對象像素402。
於(a)G像素位於輸入像素單位401之中心W像素之左側之情形時，應用如圖17(a)中所示之係數設定之濾光片421而算出G信號之低頻成分mG。顯示表示濾光片係數之數值之像素為G像素對應位置。濾光片421之中心係轉換對象像素對應位置423。於G像素位於輸入像素單位401之中心W像素之左側之情形時，設定為如下之構成：將離轉換對象像素對應位置423最近之左側之G像素位置之濾光片係數的權重設定得較大，提高對於該等G像素之像素值之轉換值的影響度。
於(b)G像素位於輸入像素單位401之中心W像素之右側之情形時，應用如圖17(b)所示之係數設定之濾光片422而算出G信號之低頻成分mG。顯示表示濾光片係數之數值之像素為G像素對應位置。濾光片422之中心係轉換對象像素對應位置424。於G像素位於輸入像素單位401之中心W像素之右側之情形時，設定為如下之構成：將離轉換對象像素對應位置423最近之右側之G像素位置之濾光片係數的權重設定得較大，提高對於該等G像素之像素值之轉換值的影響度。
所應用之濾光片均設定為如下之濾光片：將靠近轉換對象像素對應位置之G像素對應位置之濾光片係數設定得最 高，伴隨朝周圍遠離而將係數設定得較低。作為係數，設定有(1/64~12/64)之各係數。應用該等濾光片421、422之任一者，算出低頻成分mG。使7×7像素之輸入像素單位401之G像素位置的像素值與濾光片421、422之任一者之濾光片係數相乘，並將各相乘結果之相加值作為G信號之低頻成分mG而算出。
再者，圖17中所示之濾光片421、422之濾光片係數設定例為一例，亦可應用設定了其他濾光片係數之濾光片。
如此，第1像素內插參數算出部202將具有成為轉換成G像素之轉換對象之W像素作為中心像素之7×7像素區域設為處理單位，而算出W信號與G信號之低頻成分mW及mG、以及W信號之高頻成分w。
假定於圖像內之局部區域內保持以上述方式所算出之mW與mG之比率。若依照該假定，則局部區域內之W與G之像素值比率之對應關係成為圖18之圖表中所示的對應關係。圖18之圖表係橫軸為W像素值，縱軸為G像素值。可假定於圖像之特定之狹小的局部區域內，若將該W像素值與G像素值之比率設為固定，則處於如圖18中所示之直線(線L1)之比例關係。
若依照該假定，則於將輸入像素單位401之中心W像素，即轉換對象像素位置之W信號之像素值設定為w(=高頻成分)的情形時，應設定於該轉換對象像素位置之G信號之像素值G on W可根據以下之式算出：G on W=(mG/mW)w。
該方法係已假定W像素值與G像素值之比率於局部區域內固定之像素值推斷方法。
再者，mW係藉由參照圖15所說明之處理所算出之W信號的低頻成分mW。
mG係藉由參照圖17所說明之處理所算出之G信號的低頻成分mG。mG係根據輸入像素單位401之構成、邊緣方向而應用不同之值。
圖18中所示之直線(線L1)係基於W像素值與G像素值之比率於局部區域內固定之假定的線。於在像素值轉換處理時執行對比度強調處理之情形時，亦可應用如圖18中所示之直線(線L2)之線。k係對比度強調處理調整參數。
應用對比度強調處理之情形之轉換對象W像素位置上所設定之G像素的像素值係如下般算出。
將轉換對象像素位置之W信號之像素值設定為w，將應設定於轉換對象像素位置上之G信號之像素值設定為G on W。轉換後之G像素值G on W可根據以下之式算出：G on W=fcontrast(mG，mW，w，k)
fcontrast(mG，mW，w，k)=k(mG/mW)(w-mW)+mG)…(≧0)=0…(<0)。
再者，k為對比度強調處理調整參數(若k=1，則無對比度強調)。
mW為藉由參照圖15所說明之處理所算出之W信號的低 頻成分mW。
mG為藉由參照圖17所說明之處理所算出之G信號的低頻成分mG。再者，mG於G像素位於中心W像素之左側之情形時、及G像素位於中心W像素之右側之情形時，係應用圖17(a)、(b)中所示不同之濾光片而算出。
如此，第1像素內插參數算出部202算出以下之參數作為用於將RGBW排列中之W像素轉換成G像素的內插參數：W信號之低頻成分mW、W信號之高頻成分w、G信號之低頻成分mG。
該等參數為與作為處理對象之7×7像素之中心部之1個像素之W像素相對應的參數。第1像素內插參數算出部202對所輸入之RGBW排列中所包含之W像素執行相同之處理，算出針對各W像素之上述參數。該等所算出之參數被輸出至圖6中所示之混合處理部211中。
混合處理部利用該等參數、以及自紋理檢測部210等所輸出之資料，根據以下之式算出RGBW排列中所包含之W像素之位置上所設定之G像素值(G on W)：G on W=(weight Flat)(mG/mW)w+(1-weight Flat)(k(mG/mW)(w-mW)+mG)。
再者，上述式中，mW：W信號之低頻成分mW、w：W信號之高頻成分w、mG：G信號之低頻成分mG、 weight Flat：平坦度權重、k：對比度強調處理調整參數(若k=1，則無對比度強調(參照圖18))。
再者，weight Flat為紋理檢測部210所檢測出之平坦度權重，平坦度權重(weight Flat)之值越小，圖像區域為平坦度低且紋理多之圖像區域之可能性越高，平坦度權重(weight Flat)之值越大，圖像區域為平坦度高且紋理少之圖像區域之可能性越高。
對比度強調處理調整參數(k)使用已預先設定之值、或者使用由使用者所輸入之輸入值等，可進行各種設定。
(3-4-2.第1臨時像素設定部(RB on W around G)203之處理)
其次，對第1臨時像素設定部(RB on W around G)203之處理進行說明。第1臨時像素設定部(RB on W around G)203如根據圖6中所示之構成圖可理解般，係設定於第2像素內插參數算出部(RB on G of HV)204、及第3像素內插參數算出部(RB on G of AD)205之前段。
第2像素內插參數算出部(RB on G of HV)204、及第3像素內插參數算出部(RB on G of AD)205均算出用於將G像素轉換成R或B像素之參數。第1臨時像素設定部(RB on W around G)203於該等處理之前，先執行將鄰接於RB像素之W像素位置轉換成臨時之R像素(R')或B像素(B')的處理。
第1臨時像素設定部(RB on W around G)203首先求出處理單位之7×7像素區域中之W信號的低頻成分mW、R信號 之低頻成分mR、B信號之低頻成分mB。
如圖19所示，針對7×7像素之輸入像素單位501，應用圖19中所示之濾光片511求出與7×7像素之輸入像素單位501相對應之W信號的低頻成分mW。
進而，如圖20所示，針對7×7像素之輸入像素單位501，應用圖20中所示之濾光片513、515求出與7×7像素之輸入像素單位501之中央之轉換對象像素502相對應的R信號之低頻成分mR、B信號之低頻成分mB。
圖19、圖20中所示之7×7像素之輸入像素單位501之中心像素為轉換對象像素502。於此情形時，輸入像素單位501係針對第2像素內插參數算出部(RB on G of HV)204、及第3像素內插參數算出部(RB on G of AD)205之輸入，該等內插參數算出部係算出用於將G像素轉換成R或B像素之參數之處理部，因此作為輸入像素單位501之中心像素之轉換對象像素502為G像素。
圖19中所示之求出W信號之低頻成分mW的濾光片511為將轉換對象像素對應位置512作為中心之7×7像素之濾光片，係數設定部為W像素對應位置。於濾光片511之W像素對應位置上設定有(2/128~12/128)之各係數作為係數。使7×7像素之輸入像素單位501之W像素位置之各像素值、與濾光片511之對應像素位置之濾光片係數相乘，並將各相乘結果之相加值作為W信號之低頻成分mW而算出。
圖20上段所示之求出R信號之低頻成分mR的濾光片513為將轉換對象像素對應位置514作為中心之7×7像素之濾光 片，係數設定部為R像素對應位置。於濾光片513之R像素對應位置上設定有(1/32~9/32)之各係數作為係數。使7×7像素之輸入像素單位501之R像素位置之各像素值、與濾光片513之對應像素位置之濾光片係數相乘，並將各相乘結果之相加值作為R信號之低頻成分mR而算出。
圖20下段所示之求出B信號之低頻成分mB的濾光片515為將轉換對象像素對應位置516作為中心之7×7像素之濾光片，係數設定部為B像素對應位置。於濾光片515之B像素對應位置上設定有(1/32~9/32)之各係數作為係數。使7×7像素之輸入像素單位501之B像素位置之各像素值、與濾光片515之對應像素位置之濾光片係數相乘，並將各相乘結果之相加值作為B信號之低頻成分mB而算出。
其次，如圖21所示，第1臨時像素設定部(RB on W around G)203推斷鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的R像素值與B像素值。
如圖21所示，鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置存在4個。推斷該等W像素位置之R像素值與B像素值。推斷處理如先前參照圖18所說明般，係基於將mW與mR、或mW與mB之比率保持於圖像內之局部區域內之假定而進行。
若基於此種過程，則圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的R像素值(Rxy'=R23'、R32'、R43'、R34')可如下般 推斷：R23'=(mR/mW)w23、R32'=(mR/mW)w32、R43'=(mR/mW)w43、R34'=(mR/mW)w34。
再者，w23、w32、w43、w34為圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的W像素值。
同樣地，圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的B像素值(Bxy'=B23'、B32'、B43'、B34')可如下般推斷：B23'=(mB/mW)w23、B32'=(mB/mW)w32、B43'=(mB/mW)w43、B34'=(mB/mW)w34。
再者，w23、w32、w43、w34為圖中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的W像素值。
如此，第1臨時像素設定部(RB on W around G)203推斷鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的R像素值與B像素值，並將該等像素值提供至第2像素內插參數算出部(RB on G of HV)204、及第3像素內插參數算出部(RB on G of AD)205中。
(3-4-3.第2像素內插參數算出部(RB on G of HV)204之處理)
其次，對第2像素內插參數算出部(RB on G of HV)204之處理進行說明。第2像素內插參數算出部(RB on G of HV)204算出縱或橫邊緣所對應之參數等作為應用於將G像素轉換成R像素或B像素之處理的參數。
邊緣檢測部209如上所述，產生如下之邊緣資訊(dirH、dirV、dirA、dirD)作為各像素所對應之邊緣資訊：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
第2像素內插參數算出部(RB on G of HV)204輸入作為轉換對象之G像素所對應之該等邊緣資訊。
第2像素內插參數算出部(RB on G of HV)204對作為轉換對象之G像素所對應之4個方向之邊緣資訊(dirH、dirV、dirA、dirD)的dirH與dirV進行比較，並根據比較結果而算出縱或橫邊緣所對應之參數。所算出之參數為將G像素轉換成R像素或B像素之內插參數。
第2像素內插參數算出部(RB on G of HV)204根據7×7像素之輸入像素單位501之邊緣方向，算出與位於7×7像素之輸入像素單位501之中央位置之轉換對象像素502相對應的高頻成分。邊緣方向資訊係自邊緣檢測部209輸入。
對自邊緣檢測部209輸入之dirH(水平梯度資訊)與 dirV(垂直梯度資訊)之大小進行比較，辨別7×7像素之輸入像素單位501之邊緣方向係橫方向、還是縱方向、還是邊緣方向無法確定之平坦區域。例如利用預先設定之閥值進行辨別處理。再者，位於7×7像素之輸入像素單位501之中央位置之轉換對象像素502原本為G像素。
參照圖22、圖23，對推斷與位於7×7像素之輸入像素單位501之中央位置之轉換對象像素502相對應的高頻成分之處理進行說明。
於7×7像素之輸入像素單位501之邊緣方向為橫方向的情形時， 如圖22(a)所示，應用濾光片531而算出鄰接於中央位置之轉換對象像素502之橫向兩側的2個W像素之像素值之平均。
該平均值係作為與具有橫方向之邊緣方向之轉換對象像素502相對應的高頻成分(w_h)而算出。
濾光片531係在與邊緣方向(橫方向)平行之線上設定有濾光片係數之濾光片。即，濾光片531為僅使被推斷為像素值之變化少之方向之像素值反映的濾光片。
於7×7像素之輸入像素單位501之邊緣方向為縱方向之情形時， 如圖22(b)所示，應用濾光片532而算出鄰接於中央位置之轉換對象像素502之縱向兩側的2個W像素之像素值之平均。
將該平均值係作為與具有縱方向之邊緣方向之轉換對象 像素502相對應的高頻成分(w_v)而算出。
濾光片532係在與邊緣方向(縱方向)平行之線上設定有濾光片係數之濾光片。即，濾光片532為僅使被推斷為像素值之變化少之方向之像素值反映的濾光片。
再者，圖22之右端表示表現成為處理對象之7×7像素之輸入像素單位501之邊緣例的影像圖。
進而，第2像素內插參數算出部(RB on G of HV)204不論7×7像素之輸入像素單位501之邊緣方向，針對所有像素，如圖23(c)所示，均應用濾光片533而算出鄰接於中央位置之轉換對象像素502之縱橫兩側的4個W像素之像素值之平均，並算出與轉換對象像素502相對應之高頻成分(w_n)。
濾光片533為設定為於所有方向上均等地設定有濾光片係數之濾光片。
其次，第2像素內插參數算出部(RB on G of HV)204算出縱或橫邊緣所對應之參數作為應用於將G像素轉換成R像素或B像素之處理之參數。
具體而言，算出以下之參數作為應用於將G像素轉換成R像素之處理之參數：
R on G(H)=(mR'/mW)(w_h)
R on G(V)=(mR'/mW)(w_v)
R on Gn=(mR'/mW)(w_n)。
又，算出以下之參數作為應用於將G像素轉換成B像素之處理之參數：
B on G(H)=(mB'/mW)(w_h)
B on G(V)=(mB'/mW)(w_v)
B on Gn=(mB'/mW)(w_n)。
再者，R on G(H)、B on G(H)係針對邊緣方向被判定為橫方向、且已算出橫方向邊緣對應高頻成分(w_h)之像素所算出之參數。
又，R on G(V)、B on G(V)係針對邊緣方向被判定為縱方向、且已算出縱方向邊緣對應高頻成分(w_v)之像素所算出之參數。
R on Gn、B on Gn係不論邊緣方向，均作為與所有像素相對應之參數而算出。
再者，於上述參數算出式中，mR'係利用如下之R像素值所算出之與7×7像素之輸入像素單位501相對應的R信號之低頻成分mR之修正值mR'，上述R像素值為先前所說明之第1臨時像素設定部(RB on W around G)203所算出之鄰接於位於輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置之像素值。
即，mR'係應用如下之R像素值(Rxy'=R23'、R32'、R43'、R34')所算出之與7×7像素之輸入像素單位501相對應的R信號之低頻成分修正值mR'，上述R像素值(Rxy'=R23'、R32'、R43'、R34')係圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置之像素值。
同樣地，mB'係利用如下之B像素值所算出之與7×7像素 之輸入像素單位501相對應的B信號之低頻成分mB之修正值mB'，上述B像素值為先前所說明之第1臨時像素設定部(RB on W around G)203所算出之鄰接於位於輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置之像素值。
即，mB'係應用如下之B像素值(Bxy'=B23'、B32'、B43'、B34')所算出之與7×7像素之輸入像素單位501相對應的B信號之低頻成分修正值mB'，上述B像素值(Bxy'=B23'、B32'、B43'、B34')係圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置之像素值。
參照圖24，對與7×7像素之輸入像素單位501相對應之R信號的低頻成分修正值mR'、及B信號之低頻成分修正值mB'之算出處理例進行說明。
圖24上段所示之求出R信號之修正低頻成分mR'的濾光片551為將轉換對象像素對應位置552作為中心之7×7像素之濾光片，係數設定部為所輸入之RGBW排列圖像之原始之R像素對應位置、及先前所說明之第1臨時像素設定部(RB on W around G)203算出R像素值(Rxy'=R23'、R32'、R43'、R34')之位置。
如先前參照圖21所說明般，第1臨時像素設定部(RB on W around G)203推斷與位於轉換對象像素對應位置502之周圍(上下左右)之4個W像素之位置相對應的R像素值(Rxy'=R23'、R32'、R43'、R34')。
與7×7像素之輸入像素單位501相對應之R信號之低頻成分修正值mR'的算出處理係除利用RGBW排列中原本所包含之R像素以外，亦利用第1臨時像素設定部(RB on W around G)203所推斷之R像素值(Rxy'=R23'、R32'、R43'、R34')而算出mR'。
當算出低頻成分修正值mR'時進行如下之處理：使7×7像素之輸入像素單位501之原本之R像素位置的各R像素值、及第1臨時像素設定部(RB on W around G)203所推斷之R像素值(Rxy'=R23'、R32'、R43'、R34')分別與濾光片551之對應像素位置之濾光片係數相乘。各相乘結果之相加值係作為R信號之修正低頻成分mR'而算出。
同樣地，當算出低頻成分修正值mB'時進行如下之處理：使7×7像素之輸入像素單位501之原本之B像素位置的各B像素值、及第1臨時像素設定部(RB on W around G)203所推斷之B像素值(Bxy'=B23'，B32'，B43'，B34')分別與濾光片553之對應像素位置之濾光片係數相乘。各相乘結果之相加值係作為B信號之修正低頻成分mB'而算出。
第2像素內插參數算出部(RB on G of HV)204所算出之參數，即，
R on G(H)=(mR'/mW)(w_h)
R on G(V)=(mR'/mW)(w_v)
R on Gn=(mR'/mW)(w_n)
B on G(H)=(mB'/mW)(w_h)
B on G(V)=(mB'/mW)(w_v)
B on Gn=(mB'/mW)(w_n)
可利用如下值而算出：藉由與參照圖19所說明之處理相同之處理所算出之W信號的低頻成分mW，參照圖22~圖23所說明之與轉換對象像素502相對應之高頻成分(w_h)、(w_v)、(w_n)，參照圖24所說明之R信號之修正低頻成分mR'、B信號之修正低頻成分mB'。
再者，參照圖19所說明之W信號之低頻成分mW為第1臨時像素設定部(RB on W around G)203中所算出之值，第2像素內插參數算出部(RB on G of HV)204可直接利用該算出值，亦可設定為再次執行與參照圖19所說明之處理相同之處理而再次算出該值的構成。
第2像素內插參數算出部(RB on G of HV)204將所算出之上述參數輸出至混合處理部211中。混合處理部211根據邊緣狀態而執行混合處理，決定將位於7×7像素之輸入像素單位501之中央位置的轉換對象像素502即G像素位置轉換成R像素時之R像素值。混合處理部211之處理將於後段中說明。
(3-4-4.第3像素內插參數算出部(RB on G of AD)205之處理)
其次，對第3像素內插參數算出部(RB on G of AD)205之處理進行說明。第3像素內插參數算出部(RB on G of AD)205算出斜邊緣所對應之參數等作為應用於將G像素轉 換成R像素或B像素之處理之參數。
邊緣檢測部209如上所述，產生如下之邊緣資訊(dirH、dirV、dirA、dirD)作為各像素所對應之邊緣資訊：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
第3像素內插參數算出部(RB on G of AD)205輸入作為轉換對象之G像素所對應之該等邊緣資訊。
第3像素內插參數算出部(RB on G of AD)205對作為轉換對象之G像素所對應之4個方向之邊緣資訊(dirH、dirV、dirA、dirD)的dirA與dirD進行比較，並執行對應於比較結果之不同之處理而算出斜邊緣所對應之參數。所算出之參數為將G像素轉換成R像素或B像素之內插參數。
第3像素內插參數算出部(RB on G of AD)205首先根據7×7像素之輸入像素單位501之邊緣方向，推斷與位於7×7像素之輸入像素單位501之中央位置之轉換對象像素502相對應的高頻成分。邊緣方向資訊係自邊緣檢測部209輸入。
對自邊緣檢測部209輸入之dirA(右斜上方向梯度資訊)與dirD(左斜上方向梯度資訊)之大小進行比較，辨別7×7像素之輸入像素單位501之邊緣方向係右斜上方向、還是左斜上方向。例如利用預先設定之閥值進行辨別處理。再者，位於7×7像素之輸入像素單位501之中央位置之轉換對象像 素502原本為G像素。
於7×7像素之輸入像素單位501之邊緣方向為右斜上方向之情形與為左斜上方向之情形時，處理不同。
首先，對7×7像素之輸入像素單位501之邊緣方向為右斜上方向之情形的處理進行說明。
於7×7像素之輸入像素單位501之邊緣方向為右斜上方向之情形時，第3像素內插參數算出部(RB on G of AD)205推斷與位於7×7像素之輸入像素單位501之中央位置之轉換對象像素502相對應的高頻成分。參照圖25對該處理進行說明。
於7×7像素之輸入像素單位501之邊緣方向為右斜上方向之情形時，如圖25所示，應用濾光片571，並應用自中央位置之轉換對象像素502之右斜上至左斜下方向之12個W像素的像素值，算出與轉換對象像素502相對應之高頻成分(W_a)。濾光片571為在與邊緣方向(右斜上)平行之線上設定濾光片係數且使中心部之系數值較高之濾光片。 即，濾光片571為僅使被推斷為像素值之變化少之方向之像素值反映的濾光片。
第3像素內插參數算出部(RB on G of AD)205使用應用例如圖25中所示之濾光片571所算出之高頻成分(W_a)， 算出以下之參數作為應用於將G像素轉換成R像素之處理之參數：R on G(A)=(mR'/mW)(w_a)。
又，算出以下之參數作為應用於將G像素轉換成B像素 之處理之參數：B on G(A)=(mB'/mW)(w_a)。
該等參數係作為如下之參數而算出，並被輸出至混合處理部211中，上述參數係指與將轉換對象像素設定為中心像素之7×7像素之輸入像素單位501之邊緣方向被判定為右斜上方向的轉換對象像素相對應之參數。
再者，於上述參數算出式中，mW為藉由與參照圖19所說明之處理相同之處理所算出之W信號的低頻成分mW，w_a為參照圖25所說明之與轉換對象像素502相對應之高頻成分(w_a)，mR'、mB'為參照圖24所說明之R信號之修正低頻成分mR'、B信號之修正低頻成分mB'。
該等各值可使用第1臨時像素設定部(RB on W around G)203中所算出之值、第2像素內插參數算出部(RB on G of HV)204中所算出之值，亦可於第3像素內插參數算出部(RB on G of AD)205中重新算出。
其次，參照圖26，對7×7像素之輸入像素單位501之邊緣方向為左斜上方向的情形時，第3像素內插參數算出部(RB on G of AD)205所執行之參數算出處理進行說明。
於7×7像素之輸入像素單位501之邊緣方向為左斜上方向的情形時，如圖26所示，第3像素內插參數算出部(RB on G of AD)205算出與位於7×7像素之輸入像素單位501之中央位置之轉換對象像素502相對應的G信號之低頻成分 mG、及高頻成分g。
當算出G信號之低頻成分mG時，應用例如圖26中所示之濾光片581。濾光片581為於7×7像素之G信號像素部分設定有濾光片係數之濾光片，且將中心部之係數設定得較高。
當算出G信號之高頻成分g時，應用例如圖26中所示之濾光片582。濾光片582為設定有取得轉換對象像素502之像素值之濾光片係數的濾光片。
第3像素內插參數算出部(RB on G of AD)205使用應用例如圖26中所示之濾光片581、582所算出之G信號之低頻成分mG、及高頻成分g，算出以下之參數作為應用於將G像素轉換成R像素之處理之參數：R on G(D)=(mR'/mG)g。
又，算出以下之參數作為應用於將G像素轉換成B像素之處理之參數：B on G(D)=(mB'/mG)g。
該等參數係作為如下之參數而算出，並被輸出至混合處理部211中，上述參數係指與將轉換對象像素設定為中心像素之7×7像素之輸入像素單位501之邊緣方向被判定為左斜上方向的轉換對象像素相對應之參數。
再者，於上述參數算出式中，mG為參照圖26所說明之G信號之低頻成分mG，g為參照圖26所說明之G信號之高頻成分g，mR'、mB'為參照圖24所說明之R信號之修正低頻成分 mR'、B信號之修正低頻成分mB'。
如此，第3像素內插參數算出部(RB on G of AD)205算出應用於將斜邊緣上之G像素轉換成R像素或B像素之處理的參數，即如下之參數，並將該等參數輸出至混合處理部211中：
R on G(A)=(mR'/mW)(w_a)
R on G(D)=(mR'/mG)g
B on G(A)=(mB'/mW)(w_a)
B on G(D)=(mB'/mG)g。
再者，於本實施例中，於7×7像素之輸入像素單位501之邊緣方向為左斜上方向之情形的G像素位置之R像素值推斷處理時，應用下述式：R on G(D)=(mR'/mG)g，於G像素位置之B像素值推斷處理時，應用下述式：B on G(D)=(mB'/mG)g。
該等式係根據G像素與R像素之關聯而推斷R on G(D)或B on G(D)之式。其理由在於：相對於左斜上方向，G像素與R像素之位相一致，因此防止假色之產生之效果提高。
(3-4-5.第2臨時像素設定部(RB on W around RB)206之處理)
其次，對第2臨時像素設定部(RB on W around RB)206之處理進行說明。第2臨時像素設定部(RB on W around RB)206如根據圖6中所示之構成圖可理解般，係設定於第4像素內插參數算出部(RB on RB of HV)207與第5像素內插 參數算出部(RB on RB of AD)208之前段。
第4像素內插參數算出部(RB on RB of HV)207、及第5像素內插參數算出部(RB on RB of AD)208均算出用於將R或B像素轉換(修正)成相同之R或B像素之參數。第2臨時像素設定部(RB on W around RB)206於該等處理之前，先執行將鄰接於RB像素之W像素位置轉換成臨時之R像素(R')或B像素(B')的處理。
第2臨時像素設定部(RB on W around RB)206首先求出處理單位之7×7像素區域中之W信號的低頻成分mW、R信號之低頻成分mR、B信號之低頻成分mB。
W信號之低頻成分mW之算出處理係作為與先前參照圖19所說明之第1臨時像素設定部(RB on W around G)203之處理相同的處理而進行。
進而，如圖27所示，針對7×7像素之輸入像素單位601，應用濾光片611、613求出與7×7像素之輸入像素單位601之中央之轉換對象像素602相對應的R信號之低頻成分mR、B信號之低頻成分mB。
圖27上段所示之求出R信號之低頻成分mR的濾光片611為將轉換對象像素對應位置612作為中心之7×7像素之濾光片，係數設定部為R像素對應位置。於濾光片611之R像素對應位置上設定有(1/32~9/32)之各係數作為係數。使7×7像素之輸入像素單位601之R像素位置的各像素值與濾光片611之對應像素位置之濾光片係數相乘，並將各相乘結果之相加值作為R信號之低頻成分mR而算出。
圖27下段所示之求出B信號之低頻成分mB的濾光片613為將轉換對象像素對應位置614作為中心之7×7像素之濾光片，係數設定部為B像素對應位置。於濾光片613之B像素對應位置上設定有(1/32~9/32)之各係數作為係數。使7×7像素之輸入像素單位601之B像素位置的各像素值與濾光片613之對應像素位置之濾光片係數相乘，並將各相乘結果之相加值作為B信號之低頻成分mB而算出。
其次，第2臨時像素設定部(RB on W around RB)206推斷鄰接於位於7×7像素之輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置之R像素值與B像素值。
該處理為與先前參照圖21所說明之第1臨時像素設定部(RB on W around G)203之處理相同之處理，省略說明。
第2臨時像素設定部(RB on W around RB)206如下般推斷圖27中所示之鄰接於位於7×7像素之輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置之R像素值(Rxy'=R23'、R32'、R43'、R34')、及B像素值(Bxy'=B23'、B32'、B43'、B34')：R23'=(mR/mW)w23、R32'=(mR/mW)w32、R43'=(mR/mW)w43、R34'=(mR/mW)w34、B23'=(mB/mW)w23、B32'=(mB/mW)w32、B43'=(mB/mW)w43、 B34'=(mB/mW)w34。
再者，w23、w32、w43、w34為圖中所示之鄰接於位於7×7像素之輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置的W像素值。
如此，第2臨時像素設定部(RB on W around RB)206推斷鄰接於位於7×7像素之輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置的R像素值與B像素值，並將該等像素值提供至第4像素內插參數算出部(RB on RB of HV)207、及第5像素內插參數算出部(RB on RB of AD)208中。
(3-4-6.第4像素內插參數算出部(RB on RB of HV)207之處理)
其次，對第4像素內插參數算出部(RB on RB of HV)207之處理進行說明。第4像素內插參數算出部(RB on RB of HV)207算出縱或橫邊緣所對應之參數等作為應用於將R像素轉換成B像素、或將B像素轉換成R係素之處理的參數。
邊緣檢測部209如上所述，產生如下之邊緣資訊(dirH、dirV、dirA、dirD)作為各像素所對應之邊緣資訊：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
第4像素內插參數算出部(RB on RB of HV)207輸入作為轉換對象之R或B像素所對應之該等邊緣資訊。
第4像素內插參數算出部(RB on RB of HV)207對作為轉換對象之R/B像素所對應之4個方向之邊緣資訊(dirH、dirV、dirA、dirD)的dirH與dirV進行比較，並根據比較結果而算出縱或橫邊緣所對應之參數等。所算出之參數係應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理的參數。
第4像素內插參數算出部(RB on RB of HV)207首先根據7×7像素之輸入像素單位601之邊緣方向，算出與位於7×7像素之輸入像素單位601之中央位置之轉換對象像素602相對應的高頻成分。邊緣方向資訊係自邊緣檢測部209輸入。
對自邊緣檢測部209輸入之dirH(水平梯度資訊)與dirV(垂直梯度資訊)之大小進行比較，辨別7×7像素之輸入像素單位601之邊緣方向係橫方向、還是縱方向、還是邊緣方向無法確定之平坦區域。例如利用預先設定之閥值進行辨別處理。再者，位於7×7像素之輸入像素單位601之中央位置之轉換對象像素602原本為R或B像素。
上述推斷與位於7×7像素之輸入像素單位601之中央位置之轉換對象像素602相對應的高頻成分之處理係與先前參照圖22~圖23所說明之第2像素內插參數算出部(RB on G of HV)204之處理相同的處理，省略說明。
第4像素內插參數算出部(RB on RB of HV)207所算出之高頻成分資料如下。
於7×7像素之輸入像素單位601之邊緣方向為橫方向的情 形時，應用例如圖22(a)中所示之濾光片531而算出與具有橫方向之邊緣方向之轉換對象像素602相對應的高頻成分(w_h)。
於7×7像素之輸入像素單位601之邊緣方向為縱方向的情形時，應用例如圖22(b)中所示之濾光片532而算出與具有縱方向之邊緣方向之轉換對象像素602相對應的高頻成分(w_v)。
進而，針對與邊緣方向無關之所有像素，應用例如圖23(c)中所示之濾光片533而算出與轉換對象像素602相對應之高頻成分(w_n)。
其次，第4像素內插參數算出部(RB on RB of HV)207算出應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理之參數。
具體而言，算出以下之參數作為應用於將B像素轉換成R像素之處理之參數：
R on B(H)=(mR'/mW)(w_h)
R on B(V)=(mR'/mW)(w_v)
R on Bn=(mR'/mW)(w_n)。
又，算出以下之參數作為應用於將R像素轉換成B像素之處理之參數：
B on R(H)=(mB'/mW)(w_h)
B on R(V)=(mB'/mW)(w_v)
B on Rn=(mB'/mW)(w_n)。
再者，R on B(H)、B on R(H)為針對邊緣方向被判定為 橫方向、且已算出橫方向邊緣對應高頻成分(w_h)之像素所算出之參數。
又，R on B(V)、B on R(V)係針對邊緣方向被判定為縱方向、且已算出縱方向邊緣對應高頻成分(w_v)之像素所算出之參數。
R on Bn、B on Rn係不論邊緣方向，均作為與所有像素相對應之參數而算出。
再者，於上述參數算出式中，mR'為利用如下之R像素值所算出之與7×7像素之輸入像素單位601相對應的R信號之低頻成分mR之修正值mR'，上述R像素值為先前所說明之第2臨時像素設定部(RB on W around RB)206所算出之鄰接於位於輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置之像素值。
同樣地，mB'為利用如下之B像素值所算出之與7×7像素之輸入像素單位601相對應的B信號之低頻成分mB之修正值mB'，上述B像素值為先前所說明之第2臨時像素設定部(RB on W around RB)206所算出之鄰接於位於輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置之像素值。
參照圖28，對與7×7像素之輸入像素單位601相對應之R信號之低頻成分修正值mR'、及B信號之低頻成分修正值mB'之算出處理例進行說明。
圖28上段所示之求出R信號之修正低頻成分mR'的濾光片621為將轉換對象像素對應位置622作為中心之7×7像素 之濾光片，係數設定部為所輸入之RGBW排列圖像之原始之R像素對應位置、及先前所說明之第2臨時像素設定部(RB on W around RB)206算出R像素值(Rxy'=R23'、R32'、R43'、R34')之位置。
第2臨時像素設定部(RB on W around RB)206推斷與位於轉換對象像素對應位置602之周圍(上下左右)之4個W像素之位置相對應的R像素值(Rxy'=R23'、R32'、R43'、R34')。
與7×7像素之輸入像素單位601相對應之R信號之低頻成分修正值mR'的算出處理係除利用RGBW排列中原本所包含之R像素以外，亦利用第2臨時像素設定部(RB on W around RB)206所推斷之R像素值(Rxy'=R23'、R32'、R43'、R34')而算出mR'。
當算出低頻成分修正值mR'時進行如下之處理：使7×7像素之輸入像素單位601之原本之R像素位置的各R像素值、及第2臨時像素設定部(RB on W around RB)206所推斷之R像素值(Rxy'=R23'、R32'、R43'、R34')分別與濾光片621之對應像素位置之濾光片係數相乘。各相乘結果之相加值係作為R信號之修正低頻成分mR'而算出。
同樣地，當算出低頻成分修正值mB'時進行如下之處理：使7×7像素之輸入像素單位601之原本之B像素位置的各B像素值、及第2臨時像素設定部(RB on W around RB)206所推斷之B像素值(Bxy'=B23'，B32'，B43'，B34')分別與濾光片623之對應像素位置之濾光片係數相乘。各相乘結果之相加值係作為B信號之修正低頻成分mB'而算出。
第4像素內插參數算出部(RB on RB of HV)207所算出之參數，即，
R on B(H)=(mR'/mW)(w_h)
R on B(V)=(mR'/mW)(w_v)
R on Bn=(mR'/mW)(w_n)
B on R(H)=(mB'/mW)(w_h)
B on R(V)=(mB'/mW)(w_v)
B on Rn=(mB'/mW)(w_n)
可利用如下值而算出：藉由與參照圖19所說明之處理相同之處理所算出之W信號的低頻成分mW，藉由與參照圖22~圖23所說明之處理相同之處理所算出之高頻成分(w_h)、(w_v)、(w_n)，參照圖28所說明之R信號之修正低頻成分mR'、B信號之修正低頻成分mB'。
再者，當可應用W信號之低頻成分mW等於其他處理部中已算出之值時，亦可利用該已算出之值。
第4像素內插參數算出部(RB on RB of HV)207將所算出之上述參數輸出至混合處理部211中。混合處理部211根據邊緣狀態而執行混合處理，決定位於7×7像素之輸入像素單位601之中央位置的轉換對象像素602即R或B像素之轉換像素值。混合處理部211之處理將於後段中說明。
(3-4-7.第5像素內插參數算出部(RB on RB of AD)208之處理)
其次，對第5像素內插參數算出部(RB on RB of AD)208之處理進行說明。第5像素內插參數算出部(RB on RB of AD)208算出斜邊緣所對應之參數等作為應用於將R像素轉換成B像素、或將B像素轉換成R像素之處理之參數。
邊緣檢測部209如上所述，產生如下之邊緣資訊(dirH、dirV、dirA、dirD)作為各像素所對應之邊緣資訊：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
第5像素內插參數算出部(RB on RB of AD)208輸入作為轉換對象之R或B像素所對應之該等邊緣資訊。
第5像素內插參數算出部(RB on RB of AD)208對作為轉換對象之R或B像素所對應之4個方向之邊緣資訊(dirH、dirV、dirA、dirD)的dirA與dirD進行比較，並執行對應於比較結果之不同之處理而算出斜邊緣所對應之參數。所算出之參數為將R像素轉換成B像素、或將B像素轉換成R像素之內插參數。
第5像素內插參數算出部(RB on RB of AD)208首先根據例如圖27、圖28中所示之7×7像素之輸入像素單位601之邊緣方向，推斷與位於7×7像素之輸入像素單位601之中央位置之轉換對象像素602相對應的高頻成分。邊緣方向資訊係自邊緣檢測部209輸入。
對自邊緣檢測部209輸入之dirA(右斜上方向梯度資訊)與 dirD(左斜上方向梯度資訊)之大小進行比較，辨別7×7像素之輸入像素單位601之邊緣方向係右斜上方向、還是左斜上方向。例如利用預先設定之閥值進行辨別處理。再者，位於7×7像素之輸入像素單位601之中央位置之轉換對象像素602原本為R或B像素。
於7×7像素之輸入像素單位601之邊緣方向為右斜上方向之情形與為左斜上方向之情形時，處理不同。
首先，對7×7像素之輸入像素單位601之邊緣方向為右斜上方向之情形的處理進行說明。
於此情形時，第5像素內插參數算出部(RB on RB of AD)208藉由與先前參照圖25所說明之第3像素內插參數算出部(RB on G of AD)205之處理相同的處理，而算出與位於7×7像素之輸入像素單位之中央位置之轉換對象像素相對應的高頻成分(W_a)。
第5像素內插參數算出部(RB on RB of AD)208使用應用例如圖25中所示之濾光片571所算出之高頻成分(W_a)，算出以下之參數作為應用於將B像素轉換成R像素之處理之參數：R on B(A)=(mR'/mW)(w_a)。
又，算出以下之參數作為應用於將R像素轉換成B像素之處理之參數：B on R(A)=(mB'/mW)(w_a)。
該等參數係作為如下之參數而算出，並被輸出至混合處理部211中，上述參數係指與將轉換對象像素設定為中心 像素之7×7像素之輸入像素單位601之邊緣方向被判定為右斜上方向的轉換對象像素相對應之參數。
再者，於上述參數算出式中，mW係藉由與參照圖19所說明之處理相同之處理所算出之W信號的低頻成分mW，w_a係參照圖25所說明之與轉換對象像素502相對應之高頻成分(w_a)，mR'、mB'係參照圖28所說明之R信號之修正低頻成分mR'、B信號之修正低頻成分mB'。
該等各值可應用其他處理部中已算出之值，亦可於第5像素內插參數算出部(RB on RB of AD)208中重新算出。
其次，參照圖29，對7×7像素之輸入像素單位601之邊緣方向為左斜上方向的情形時，第5像素內插參數算出部(RB on RB of AD)208所執行之參數算出處理進行說明。
於7×7像素之輸入像素單位601之邊緣方向為左斜上方向的情形時，如圖29所示，第5像素內插參數算出部(RB on RB of AD)208算出與位於7×7像素之輸入像素單位601之中央位置之轉換對象像素602相對應的G信號之低頻成分mG、及高頻成分g。
當算出G信號之低頻成分mG時，應用例如圖29中所示之濾光片661。濾光片661係於7×7像素之G信號像素部分設定有濾光片係數之濾光片，且將中心部之係數設定得較高。
當算出G信號之高頻成分g時，應用例如圖29所示之濾光片662。濾光片662為設定有取得轉換對象像素602之左上 與右下之像素值之平均，即邊緣方向之像素值之平均的濾光片係數之濾光片。
第5像素內插參數算出部(RB on RB of AD)208使用應用例如圖29所示之濾光片661、662所算出之G信號之低頻成分mG、及高頻成分g， 算出以下之參數作為應用於將B像素轉換成R像素之處理之參數：R on B(D)=(mR'/mG)g。
又，算出以下之參數作為應用於將R像素轉換成B像素之處理之參數：B on R(D)=(mB'/mG)g。
該等參數係作為如下之參數而算出，並被輸出至混合處理部211中，上述參數係指與將轉換對象像素設定為中心像素之7×7像素之輸入像素單位601之邊緣方向被判定為左斜上方向的轉換對象像素相對應之參數。
再者，於上述參數算出式中，mG為參照圖29所說明之G信號之低頻成分mG，g為參照圖29所說明之G信號之高頻成分g，mR'、mB'為參照圖28所說明之R信號之修正低頻成分mR'、B信號之修正低頻成分mB'。
如此，第5像素內插參數算出部(RB on RB of AD)208算出應用於將斜邊緣上之B像素轉換成R像素、或將R像素轉換成B像素之處理的參數，即如下之參數，並將該等參數輸出至混合處理部211中：
R on B(A)=(mR'/mW)(w_a)
R on B(D)=(mR'/mG)g
B on R(A)=(mB'/mW)(w_a)
B on R(D)=(mB'/mG)g。
再者，於本實施例中，於7×7像素之輸入像素單位601之邊緣方向為左斜上方向之情形的R像素位置之R像素值、或B像素位置之B像素值之推斷(修正)處理時，應用下述式：
R on B(D)=(mR'/mG)g
B on R(D)=(mB'/mG)g。
該等式係根據G像素與R像素之關聯而推斷R on B(D)或B on R(D)之式。其理由在於：相對於左斜上方向，G像素與R像素、B像素之位相一致，因此防止假色之產生之效果提高。
(3-5.關於混合處理部之處理)
其次，對混合處理部211之處理進行說明。混合處理部211輸入第1~第5像素內插參數算出部所產生之像素內插參數，進而輸入邊緣檢測部209所檢測出之邊緣資訊與紋理檢測部210所檢測出之紋理資訊，而算出最終之轉換像素值。
自邊緣檢測部209輸入之邊緣資訊係以下之資訊：
dirH：水平梯度資訊
dirV：垂直梯度資訊
dirA：右斜上方向梯度資訊
dirD：左斜上方向梯度資訊。
輸入該等邊緣資訊(dirH、dirV、dirA、dirD)。
又，自紋理檢測部210輸入之紋理資訊係根據先前所說明之式(式7)所算出之以下之平坦度權重(weight Flat)資訊：weight Flat(x,y)=fflat(WTX(p))…(式7)。
再者，如上所述，於上述式(式7)中，fflat(r)可使用例如圖14中所示之線性近似函數。圖14中所示之線性近似函數係設定0<Th0<Th1<1作為閥值，且為如下之設定之線性近似函數：
r=0~Th0→(r)=0
r=Th0~Th1→(r)=0~1.0(線性變化)
r=Th1以上→(r)=1。
其表示平坦度權重(weight Flat)之值越小，圖像區域為平坦度低且紋理多之圖像區域之可能性越高，平坦度權重(weight Flat)之值越大，圖像區域為平坦度高且紋理少之圖像區域之可能性越高。
混合處理部211輸入該等資訊，並決定用於將RGBW排列向RGB排列轉換之最終之轉換像素值。
參照圖30、圖31中所示之流程圖對混合處理部211所執行之處理順序進行說明。
混合處理部211首先於圖30中所示之步驟S11中，判定像素單位之邊緣方向屬性。
混合處理部211係使用自邊緣檢測部209輸入之像素單位 之邊緣資訊(dirH、dirV、dirA、dirD)，並根據以下之判定式而判定像素單位之邊緣方向屬性。
首先，如下般定義dirHV。
於dirH≦dirV之情形時，dirHV=H
於dirH>dirV之情形時，dirHV=V
dirHV成為H(橫方向)或V(縱方向)之任一者。
進而，如下般定義dirAD。
於dirA≦dirD之情形時，dirAD=A
於dirA>dirD之情形時，dirAD=D
dirAD成為A(右斜上方向)或D(左斜上方向)之任一者。
該等dirHV、dirAD係表示各像素之邊緣方向之屬性資訊。
其次，混合處理部211於圖30中所示之步驟S12中，根據以下之式，自該等dirHV、dirAD求出縱橫方向邊緣與斜方向邊緣之邊緣方向程度(ratio HV)。
於dirA≦dirD之情形時，ratio HV=(dirD+offset)/(dirA+offset)
於dirA>dirD之情形時，ratio HV=(dirA+offset)/(dirD+offset)
再者， 上述式中之(offset)為非負之值，且為用於避免被零除與調整檢測感光度之參數。
進而，上述式中所算出之邊緣方向程度(ratio HV)藉由利用例如圖32中所示之函數fratio(ratio HV)之非線性化處理，而算出縱橫方向邊緣方向權重(weight HV)。再者，閥值Th0(HV_LIMIT0)、Th1(HV_LIMIT1)係作為應用於非線性處理之閥值之調整用參數。
圖32中所示之線性近似函數fratio(r)係設定0<Th0(HV_LIMIT0)<Th1(HV_LIMIT1)<1作為閥值，且為如下之設定之線性近似函數：
r=0~Th0(HV_LIMIT0)→fratio(r)=0
r=Th0(HV_LIMIT0)~Th1(HV_LIMIT1)→fratio(r)=0~1.0(線性變化)
r=Th1(HV_LIMIT1)以上→fratio(r)=1。
再者，縱橫方向邊緣方向權重(weight HV)表示縱橫方向邊緣相對於斜方向邊緣之強度，且表示縱橫方向邊緣方向權重(weight HV)之值越大，縱橫方向邊緣越強於斜方向邊緣，縱橫方向邊緣方向權重(weight HV)之值越小，斜方向邊緣越強於縱橫方向邊緣。
其次，混合處理部211於圖31中所示之步驟S13中，決定用於將RGBW排列向RGB排列轉換之最終之轉換像素值(RGB像素值)。
本發明之圖像處理裝置之資料轉換處理部200如先前參 照圖2所說明般，執行自RGBW排列181向RGB排列轉換182之轉換處理。於該轉換處理時，如上所述，執行如下之五種轉換或修正處理：
將W像素位置轉換成G像素(推斷G像素值)=(G on W)
將G像素位置轉換成R像素(推斷R像素值)=(R on G)
將G像素位置轉換成B像素(推斷B像素值)=(B on G)
將B像素位置轉換成R像素(推斷R像素值)=(R on B)
將R像素位置轉換成B像素(推斷B像素值)=(B on R)。
混合處理部211決定該等之最終之轉換像素值。
於將W像素位置轉換成G像素之轉換處理中所設定的G像素值(G on W)係藉由以下之式(式11)而算出：G on W=(weight Flat)(mG/mW)w+(1-weight Flat)(k(mG/mW)(w-mW)+mG)……(式11)。
再者，於上述式中，mW：W信號之低頻成分mW、w：W信號之高頻成分w、mG：G信號之低頻成分mG、weight Flat：平坦度權重、k：對比度強調處理調整參數(若k=1，則無對比度強調(參照圖18))。
如此，算出將RGBW排列之W像素位置轉換成G像素之情形時的G像素值(G on W)。
再者，上述之式(式11)中所示之G像素值(G on W)算出式為根據轉換對象像素之平坦度權重(weight Flat)，變更如下之值之混合比率而算出最終之轉換G像素值的式：
(G on W(dirHV))：應用對比度強調所算出之轉換G像素值
(G on Wn(dirHV))：不應用對比度強調所算出之轉換G像素值。
於為轉換對象像素之平坦度權重(weight Flat)大且平坦之區域的情形時，相當於無對比度強調之轉換G像素值之(G on Wn(dirHV))的混合比率變高，於為平坦度權重(weight Flat)小、平坦度低且紋理多之區域之情形時，相當於對比度強調後之轉換像素值之(G on W(dirHV))的混合比率變高。
如此，根據轉換對象像素之平坦度，變更混合比率而決定最終之G像素值(G on W)。
其次，對將RGBW排列中之G像素位置轉換成R像素之處理中之R像素值(R on G)的算出處理進行說明。
首先，根據以下之式(式21)、(式22)求出縱橫方向邊緣所對應之轉換像素值(R on G_hv)、斜方向邊緣所對應之轉換像素值(R on G_ad)：R on G_hv=(1-weight Flat)．(R on G(dirHV))+(weight Flat)．(R on Gn)……(式21)
R on G_ad=(R on G(dirAD))……(式22)。
進而，根據以下之式(式23)對上述式(式21)、(式22)中所算出之(R on G_hv)與(R on G_ad)執行混合處理，算出最終之R像素值(R on G)：R on G=(weight HV)．(R on G_hv)+(1-weight HV)R on G_ad……(式23)。
如此，進行將RGBW排列中之G像素位置轉換成R像素之情形時之R像素值(R on G)的算出處理。
對上述式進行說明。
於上述式(式21)中，R on G(dirHV)、R on Gn為先前所說明之第2像素內插參數算出部(RB on G of HV)204所算出之內插參數，且為應用於將縱或橫邊緣上之G像素轉換成R像素之處理的以下之參數：
R on G(H)=(mR'/mW)(w_h)
R on G(V)=(mR'/mW)(w_v)
R on Gn=(mR'/mW)(w_n)。
於dirH≦dirV之情形時，如步驟S11所示，dirHV=H，R on G(dirHV)=R on G(H)=(mR'/mW)(w_h)，又，於dirH>dirV之情形時，如步驟S11所示，dirHV=V，R on G(dirHV)=R on G(V)=(mR'/mW)(w_v)。
又，於上述式(式22)中，R on G(dirAD)為第3像素內插參數算出部(RB on G of AD)205所算出之內插參數，且為應用於將斜方向邊緣上之G像素轉換成R像素之處理的以下之參數：
R on G(A)=(mR'/mW)(w_a)
R on G(D)=(mR'/mG)g。
於dirA≦dirD之情形時，如步驟S11所示，dirAD=A，R on G(dirAD)=R on G(A)=(mR'/mW)(w_a)，又，於dirA>dirD之情形時，如步驟S11所示，dirAD=D，R on G(dirAD)=R on G(D)=(mR'/mG)g。
式(式21)為根據轉換對象像素之縱橫方向邊緣資訊與平坦度權重(weight Flat)而算出依存於縱橫方向邊緣之R像素值(R on G_hv)的算出式。
於為轉換對象像素之平坦度權重(weight Flat)大且平坦之區域的情形時，使利用應用先前所說明之圖23(c)中所示之濾光片533所算出的W像素值(w_n)進行推斷而得之R像素值，即如下之值之權重變大：R on Gn=(mR'/mW)(w_n)。
另一方面，於為轉換對象像素之平坦度權重(weight Flat)小、平坦度低且紋理多之區域的情形時，使利用應用先前所說明之圖22(a)、(b)中所示之濾光片531、532所算出的W像素值(w_h)或(w_v)進行推斷而得之R像素值， 即如下之值之權重變大：
R on G(H)=(mR'/mW)(w_h)
R on G(V)=(mR'/mW)(w_v)。
再者，於橫方向邊緣之情形時，變成dirH≦dirV，R on G(dirHV)之值係應用R on G(dirHV)=R on G(H)=(mR'/mW)(w_h)，即利用應用先前所說明之圖22(a)中所示之濾光片531所算出之W像素值(w_h)進行推斷而得之R像素值。
又，於縱方向邊緣之情形時，變成dirH>dirV，R on G(dirHV)之值係應用R on G(dirHV)=R on G(H)=(mR'/mW)(w_v)，即利用應用先前所說明之圖22(b)所示之濾光片532所算出之W像素值(w_v)進行推斷而得之R像素值。
如此，式(式21)為根據轉換對象像素之縱橫方向邊緣資訊與平坦度權重(weight Flat)而算出依存於縱橫方向邊緣之R像素值(R on G_hv)之算出式。
式(式22)係R on G_ad=(R on G(dirAD))，且為如下之式，該式選擇第3像素內插參數算出部(RB on G of AD)205所算出之應用於將內插參數斜方向邊緣上之G像素轉換成R像素之處理的以下之參數，即，
R on G(A)=(mR'/mW)(w_a)
R on G(D)=(mR'/mG)g。
於dirA>dirD之情形時，選擇利用應用先前所說明之圖26中所示之濾光片581、582所算出之W像素值(mG)、(g)進行推斷而得之R像素值，即， R on G(dirAD)=R on G(D)=(mR'/mG)g，於dirA≦dirD之情形時，選擇利用應用先前所說明之圖25中所示之濾光片571所算出之W像素值(w_a)進行推斷而得之R像素值，即，R on G(dirAD)=R on G(A)=(mR'/mW)(w_a)。
如此，式(式22)為根據轉換對象像素之斜方向之邊緣方向資訊而算出依存於斜方向邊緣之R像素值(R on G_hv)的算出式。
混合處理部211進而根據以下之式(式23)對上述式(式21)、(式22)中所算出之(R on G_hv)與(R on G_ad)執行混合處理，算出最終之R像素值(R on G)：R on G=(weight HV)．(R on G_hv)+(1-weight HV)R on G_ad。
上述式(式23)為根據步驟S12中所算出之縱橫方向邊緣方向權重(weight HV)，混合如下之值而算出最終之R像素值(R on G)的式：
式21中所算出之依存於縱橫方向邊緣之R像素值(R on G_hv)
式22中所算出之依存於斜方向邊緣之R像素值(R on G_ad)。
縱橫方向邊緣方向權重(weight HV)如先前所說明般，表示縱橫方向邊緣相對於斜方向邊緣之強度，且表示縱橫方向邊緣方向權重(weight HV)之值越大，縱橫方向邊緣越強於斜方向邊緣，縱橫方向邊緣方向權重(weight HV)之值越 小，斜方向邊緣越強於縱橫方向邊緣。
因此，式(式23)於縱橫方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較大之情形時，將式21中所算出之依存於縱橫方向邊緣之R像素值(R on G_hv)的權重設定得較大。
又，於斜方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較小之情形時，將式22中所算出之依存於斜方向邊緣之R像素值(R on G_ad)的權重設定得較大。
如此，根據轉換對象像素之邊緣方向，變更混合比率而決定最終之R像素值(R on G)。
其次，對將RGBW排列中之G像素位置轉換成B像素之處理中之B像素值(B on G)的算出處理進行說明。
混合處理部211首先根據以下之式(式31)、(式32)求出縱橫方向邊緣所對應之轉換像素值(B on G_hv)、斜方向邊緣所對應之轉換像素值(B on G_ad)：B on G_hv=(1-weight Flat)．(B on G(dirHV))+(weight Flat)．(B on Gn)……(式31)
B on G_ad=(B on G(dirAD))……(式32)。
進而，根據以下之式(式33)對上述式(式31)、(式32)中所算出之(B on G_hv)與(B on G_ad)執行混合處理，算出最 終之B像素值(B on G)：B on G=(weight HV)．(B on G_hv)+(1-weight HV)B on G_ad……(式33)。
如此，進行將RGBW排列中之G像素位置轉換成B像素之情形時之B像素值(B on G)的算出處理。
該等式31~33係將上述之式21~23，即應用於將RGBW排列中之G像素位置轉換成R像素之情形時之R像素值(R on G)的算出處理之式中之R變更為B的式，處理除將R變更為B以外，成為相同之處理。
於上述式(式31)中，B on G(dirHV)、B on Gn為先前所說明之第2像素內插參數算出部(RB on G of HV)204所算出之內插參數，且為應用於將縱或橫邊緣上之G像素轉換成B像素之處理的以下之參數：
B on G(H)=(mB'/mW)(w_h)
B on G(V)=(mB'/mW)(w_v)
B on Gn=(mB'/mW)(w_n)。
又，於上述式(式32)中，B on G(dirAD)為第3像素內插參數算出部(RB on G of AD)205所算出之內插參數，且為應用於將斜方向邊緣上之G像素轉換成R像素之處理的以下之參數：
B on G(A)=(mB'/mW)(w_a)
B on G(D)=(mB'/mW)(w_d)。
上述式(式33)為根據步驟S12中所算出之縱橫方向邊緣方向權重(weight HV)，混合如下之值而算出最終之B像素值(B on G)的式：
式31中所算出之依存於縱橫方向邊緣之B像素值(B on G_hv)
式32中所算出之依存於斜方向邊緣之B像素值(B on G_ad)。
式(式33)於縱橫方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較大之情形時， 將式31中所算出之依存於縱橫方向邊緣之B像素值(B on G_hv)的權重設定得較大。
又，於斜方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較小之情形時， 將式32中所算出之依存於斜方向邊緣之B像素值(B on G_ad)的權重設定得較大。
如此，根據轉換對象像素之邊緣方向，變更混合比率而決定最終之B像素值(B on G)。
其次，對將RGBW排列中之B像素位置轉換成R像素之處理中之R像素值(R on B)的算出處理進行說明。
混合處理部211首先根據以下之式(式41)、(式42)求出縱橫方向邊緣所對應之轉換像素值(R on B_hv)、斜方向邊緣所對應之轉換像素值(R on B_ad)： R on B_hv=(1-weight Flat)．(R on B(dirHV))+(weight Flat)．(R on Bn)……(式41)
R on B_ad=(R on B(dirAD))……(式42)。
進而，根據以下之式(式43)對上述式(式41)、(式42)中所算出之(R on B_hv)與(R on B_ad)執行混合處理，算出最終之R像素值(R on B)：R on B=(weight HV)．(R on B_hv)+(1-weight HV)R on B_ad……(式43)。
如此，進行將RGBW排列中之B像素位置轉換成R像素之情形時之R像素值(R on B)的算出處理。
該等式41~43係將上述之式21~23，即應用於將RGBW排列中之G像素位置轉換成R像素之情形時之R像素值(R on G)的算出處理之式中之G變更為B的式，處理除將G變更為B以外，成為相同之處理。
於上述式(式41)中，R on B(dirHV)、R on Bn為先前所說明之第4像素內插參數算出部(RB on RB of HV)207所算出之內插參數，且為應用於將縱或橫邊緣上之B像素轉換成R像素之處理的以下之參數：
R on B(H)=(mR'/mW)(w_h)
R on B(V)=(mR'/mW)(w_v)
R on Bn=(mR'/mW)(w_n)。
又，於上述式(式42)中，R on B(dirAD)為第5像素內插參數算出部(RB on RB of AD)208所算出之內插參數，且為應用於將斜方向邊緣上之B像素轉換成R像素之處理的以下之參數。
於dirA≦dirD之情形時，選擇利用W像素值(w_a)進行推斷而得之R像素值，即，R on B(dirAD)=R on B(A)=(mR'/mW)(w_a)。
又，於dirA>dirD之情形時，選擇R on B(dirAD)=R on B(D)=(mR'/mG)g。
上述式(式43)為根據步驟S12中所算出之縱橫方向邊緣方向權重(weight HV)，混合如下之值而算出最終之R像素值(R on B)的式：
式41中所算出之依存於縱橫方向邊緣之R像素值(R on B_hv)
式42中所算出之依存於斜方向邊緣之R像素值(R on B_ad)。
式(式43)於縱橫方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較大之情形時，將式41中所算出之依存於縱橫方向邊緣之R像素值(R on B_hv)的權重設定得較大。
又，於斜方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較小之情形時，將式42中所算出之依存於斜方向邊緣之R像素值(R on B_ad)的權重設定得較大。
如此，根據轉換對象像素之邊緣方向，變更混合比率而決定最終之R像素值(R on B)。
其次，對將RGBW排列中之R像素位置轉換成B像素之處理中之B像素值(B on R)的算出處理進行說明。
混合處理部211首先根據以下之式(式51)、(式52)求出縱橫方向邊緣所對應之轉換像素值(B on R_hv)、斜方向邊緣所對應之轉換像素值(B on R_ad)：B on R_hv=(1-weight Flat)．(B on R(dirHV))+(weight Flat)．(B on Rn)……(式51)
B on R_ad=(B on R(dirAD))……(式52)。
進而，根據以下之式(式53)對上述式(式51)、(式52)中所算出之(B on R_hv)與(B on R_ad)執行混合處理，算出最終之B像素值(B on R)：B on R=(weight HV)．(B on R_hv)+(1-weight HV)B on R_ad……(式53)。
如此，進行將RGBW排列中之R像素位置轉換成B像素之情形時之B像素值(B on R)的算出處理。
該等式51~53係將上述之式41~43，即應用於將RGBW排列中之B像素位置轉換成R像素之情形時之R像素值(R on B)的算出處理之式中之R變更為B的式，處理除將R變更為B以外，成為相同之處理。
於上述式(式51)中，B on R(dirHV)、B on Rn為先前所說明之第4像素內插參數算出部(RB on RB of HV)207所算出之內插參數，且為應用於將縱或橫邊緣上之R像素轉換成B像素之處理的以下之參數：
B on R(H)=(mB'/mW)(w_h)
B on R(V)=(mB'/mW)(w_v)
B on Rn=(mB'/mW)(w_n)。
又，於上述式(式52)中，B on R(dirAD)為第5像素內插參數算出部(RB on RB of AD)208所算出之內插參數，且為應用於將斜方向邊緣上之R像素轉換成B像素之處理的以下之參數。
於dirA≦dirD之情形時，選擇利用W像素值(w_a)進行推斷而得之B像素值，即，B on R(dirAD)=B on R(A)=(mB'/mW)(w_a)。
又，於dirA>dirD之情形時，選擇B on R(dirAD)=B on R(D)=(mB'/mG)g。
上述式(式53)係根據步驟S12中所算出之縱橫方向邊緣方向權重(weight HV)，混合如下之值而算出最終之B像素值(B on R)的式：
式51中所算出之依存於縱橫方向邊緣之B像素值(B on R_hv)
式52中所算出之依存於斜方向邊緣之B像素值(B on R_ad)。
式(式53)於縱橫方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較大之情形時，將式51中所算出之依存於縱橫方向邊緣之B像素值(B on R_hv)的權重設定得較大。
又，於斜方向邊緣較強且縱橫方向邊緣方向權重(weight HV)之值較小之情形時，將式52中所算出之依存於斜方向邊緣之B像素值(B on R_ad)的權重設定得較大。
如此，根據轉換對象像素之邊緣方向，變更混合比率而決定最終之B素值(B on R)。
如上所述，混合處理部211輸入第1~第5像素內插參數算出部所產生之像素內插參數，進而輸入邊緣檢測部209所檢測出之邊緣資訊與紋理檢測部210所檢測出之紋理資訊，而算出最終之轉換像素值。即，於自RGBW排列向RGB排列轉換之轉換處理中決定以下之轉換像素值： 將W像素位置轉換成G像素(推斷G像素值)時之G像素值(G on W)
將G像素位置轉換成R像素(推斷R像素值)時之R像素值(R on G)
將G像素位置轉換成B像素(推斷B像素值)時之B像素值(B on G)
將B像素位置轉換成R像素(推斷R像素值)時之B像素值(R on B)
將R像素位置轉換成B像素(推斷B像素值)時之R像素值(B on R)。
決定上述5個轉換或修正像素值。
混合處理部211根據與轉換對象像素相對應之邊緣資訊，即邊緣強度與邊緣方向，決定第1~第5像素內插參數算出部所產生之像素內插參數之混合比率，而算出最終之像素值。以下，將各像素值之算出式匯總表示。
G on W=(1-weight Flat)．(G on W(dirHV))+(weight Flat)．(G on Wn(dirHV))
R on G=(weight HV)．(R on G_hv)+(1-weight HV)R on G_ad
B on G=(weight HV)．(B on G_hv)+(1-weight HV)B on G_ad
R on B=(weight HV)．(R on B_hv)+(1-weight HV)R on B_ad
B on R=(weight HV)．(B on R_hv)+(1-weight HV)B on R_ad
[4.圖像處理裝置之資料轉換處理部所執行之重新馬賽克 處理的順序]
其次，參照圖33中所示之流程圖，對圖像處理裝置之資料轉換處理部所執行之重新馬賽克處理的順序進行說明。圖33中所示之流程圖係表示於圖5中所示之圖像處理裝置中所執行之自RGBW排列向RGB排列轉換之轉換處理，即重新馬賽克處理之整體順序的流程圖。上述順序係目前為止所說明之整個處理之順序。再者，圖33中所示之流程例如可藉由如下方式執行：圖5中所示之圖像處理裝置之控制部140執行儲存於記憶體130中之程式，而控制各處理部。
對圖33中所示之流程圖之各步驟進行說明。
首先，於步驟S101中，應用RGBW排列中所包含之W像素判定邊緣方向。
該處理為圖6中所示之邊緣檢測部209所執行之處理。如先前所說明般，邊緣檢測部209利用所輸入之RGBW排列之信號中的白色(W)信號，判定邊緣方向與邊緣強度。
邊緣檢測部209藉由邊緣檢測處理，而算出像素所對應之邊緣資訊(dirH、dirV、dirA、dirD)，並將該邊緣資訊輸出至混合處理部211、及複數個像素內插參數算出部中。
其次，於步驟S102中，應用RGBW排列中所包含之W像素進行紋理檢測處理。
該處理為圖6中所示之紋理檢測部210所執行之處理。如先前所說明般，紋理檢測部210利用所輸入之RGBW排列之信號中的白色(W)信號，算出像素所對應之紋理資訊， 具體而言，算出平坦度權重(weight Flat)。
weight Flat(x,y)=fflat(WTX(p))
fflat(r)例如為圖14中所示之線性近似函數，
r=0~Th0→fflat(r)=0
r=Th0~Th1→fflat(r)=0~1.0(線性變化)
r=Th1以上→fflat(r)=1
算出上述設定之平坦度權重(weight Flat)，並將其輸出至混合處理部211中。
其次，於步驟S103中，執行針對輸入像素單位之中心之W像素的雜訊去除。
該處理為圖6中所示之雜訊去除部201之處理。如先前所說明般，雜訊去除部201對位於輸入像素單位之中心之W像素執行雜訊去除。
如先前參照圖7所說明般，雜訊去除部201於例如應用雙向濾光片而將W像素設定在處理單位(7×7像素之中央之5×5像素)之中心之情形時，根據上述之式(式1)，算出雜訊減少像素值INR(p)。所算出之雜訊減少W像素值(INR(p))被輸出至圖6中所示之第1像素內插參數算出部(G on W)202中。
其次，於步驟S104中，算出用於將RGBW排列中之W像素轉換成G像素之內插參數。
該處理為圖6中所示之第1像素內插參數算出部(G on W)202之處理。
第1像素內插參數算出部(G on W)202如先前所說明般， 算出以下之參數作為用於將RGBW排列中之W像素轉換成G像素之內插參數：W信號之低頻成分mW(參照圖15)、W信號之高頻成分w(參照圖16)、G信號之低頻成分mG(參照圖17)。
其次，於步驟S105中，根據R/W、B/W關聯對G像素所鄰接之W位置之R、B進行內插。
該處理為圖6中所示之第1臨時像素設定部(RB on W around G)203之處理。
第1臨時像素設定部(RB on W around G)203如參照圖21所說明般，推斷鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的R像素值與B像素值。圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的R像素值(Rxy'=R23'、R32'、R43'、R34')可如下般推斷：R23'=(mR/mW)w23、R32'=(mR/mW)w32、R43'=(mR/mW)w43、R34'=(mR/mW)w34。
再者，w23、w32、w43、w34為圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的W像素值。
同樣地，圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的 B像素值(Bxy'=B23'、B32'、B43'、B34')可如下般推斷：B23'=(mB/mW)w23、B32'=(mB/mW)w32、B43'=(mB/mW)w43、B34'=(mB/mW)w34。
再者，w23、w32、w43、w34為圖21中所示之鄰接於位於7×7像素之輸入像素單位501之中心的轉換對象像素502之周圍之W像素位置的W像素值。
再者，
mW：輸入像素單位之W信號之低頻成分
w：輸入像素單位之中心之W像素之像素值
mR'：應用鄰接於RB像素之W像素位置上所設定之臨時的R像素(R')所算出之R信號之低頻成分
mB'：應用鄰接於RB像素之W像素位置上所設定之臨時的B像素(B')所算出之B信號之低頻成分。
其次，於步驟S106中，利用R/W、B/W關聯對縱橫方向之G位置之R、B進行內插。
該處理為圖6中所示之第2像素內插參數算出部(RB on G of HV)204之處理。第2像素內插參數算出部(RB on G of HV)204主要執行應用於將縱或橫邊緣上之G像素轉換成R像素、或者B像素之處理之參數的算出處理。
第2像素內插參數算出部(RB on G of HV)204算出應用於將縱或橫邊緣上之G像素轉換成R像素、或者B像素之處理之參數，即如下之參數，並將該等參數輸出至混合處理部 211中：
R on G(H)=(mR'/mW)(w_h)
R on G(V)=(mR'/mW)(w_v)
R on Gn=(mR'/mW)(w_n)
B on G(H)=(mB'/mW)(w_h)
B on G(V)=(mB'/mW)(w_v)
B on Gn=(mB'/mW)(w_n)。
再者，
mR'：輸入像素單位之R信號之修正低頻成分
mB'：輸入像素單位之BR信號之修正低頻成分
mW：輸入像素單位之W信號之低頻成分
(w_h)、(w_v)、(w_n)如參照圖22、圖23所說明般，係應用根據邊緣方向而選擇之濾光片所算出之輸入像素單位之中心像素位置的高頻成分值。
其次，於步驟S107a中，利用R/W、B/W關聯對具有右斜上方向邊緣之G位置之R、B進行內插。
該處理為圖6中所示之第3像素內插參數算出部(RB on G of AD)205之處理。第3像素內插參數算出部(RB on G of AD)205執行應用於將斜邊緣上之G像素轉換成R像素或B像素之處理之參數的算出處理。
第3像素內插參數算出部(RB on G of AD)205算出應用於將具有右斜上方向邊緣之G像素轉換成R像素、或者B像素之處理之參數，即如下之參數，並將該等參數輸出至混合處理部211中：
R on G(A)=(mR'/mW)(w_a)
B on G(A)=(mB'/mW)(w_a)。
其次，於步驟S107b中，利用R/W、B/W關聯對具有左斜上方向邊緣之G位置之R、B進行內插。
該處理為圖6中所示之第3像素內插參數算出部(RB on G of AD)205之處理。第3像素內插參數算出部(RB on G of AD)205執行應用於將斜邊緣上之G像素轉換成R像素或B像素之處理之參數的算出處理。
第3像素內插參數算出部(RB on G of AD)205算出應用於將具有左斜上方向邊緣之G像素轉換成R像素、或者B像素之處理之參數，即如下之參數，並將該等參數輸出至混合處理部211中：
R on G(D)=(mR'/mG)g
B on G(D)=(mB'/mG)g。
其次，於步驟S108中，利用R/W、B/W關聯對R、B像素所鄰接之W位置之R、B進行內插。
該處理為圖6中所示之第2臨時像素設定部(RB on W around RB)206之處理。
其次，第2臨時像素設定部(RB on W around RB)206如參照圖28所說明般，推斷鄰接於位於7×7像素之輸入像素單位601之中心的轉換對象像素602之周圍之W像素位置的R像素值與B像素值。
與步驟S105之處理相同，算出鄰接於位於輸入像素單位之中心之轉換對象像素之周圍的W像素位置之R像素值 (Rxy'=R23'、R32'、R43'、R34')、及B像素值(Bxy'=B23'、B32'、B43'、B34')。
其次，於步驟S109中，利用R/W、B/W關聯對縱橫方向之R、B位置之R、B進行內插。該處理為圖6中所示之第4像素內插參數算出部(RB on RB of HV)207之處理。第4像素內插參數算出部(RB on RB of HV)207執行作為應用於將縱或橫邊緣上之R像素轉換成B像素、將B像素轉換成R像素之處理之參數的以下之參數之算出處理：
R on B(H)=(mR'/mW)(w_h)
R on B(V)=(mR'/mW)(w_v)
R on Bn=(mR'/mW)(w_n)
B on R(H)=(mB'/mW)(w_h)
B on R(V)=(mB'/mW)(w_v)
B on Rn=(mB'/mW)(w_n)。
算出該等參數並輸出至混合處理部211中。
其次，於步驟S110a中，利用R/W、B/W關聯對具有右斜上方向邊緣之R、B位置之R、B進行內插。
該處理為圖6中所示之第5像素內插參數算出部(RB on RB of AD)208之處理。第5像素內插參數算出部(RB on RB of AD)208執行應用於將斜邊緣上之R像素轉換成經修正之R像素、將B像素轉換成經修正之B像素的處理之參數之算出處理。
如此，第5像素內插參數算出部(RB on RB of AD)208算出應用於將具有右斜上方向邊緣之邊緣上之R像素轉換成 經修正之R像素、將B像素轉換成經修正之B像素的處理之參數，即如下之參數，並將該等參數輸出至混合處理部211中：
R on B(A)=(mR'/mW)(w_a)
B on R(A)=(mB'/mW)(w_a)。
其次，於步驟S110b中，利用R/W、B/W關聯對具有左斜上方向邊緣之R、B位置之R、B進行內插。
該處理為圖6中所示之第5像素內插參數算出部(RB on RB of AD)208之處理。第5像素內插參數算出部(RB on RB of AD)208執行應用於將斜邊緣上之R像素轉換成B像素、將B像素轉換成R像素的處理之參數之算出處理。
第5像素內插參數算出部(RB on RB of AD)208算出應用於將具有左斜上方向邊緣之R像素轉換成經修正之R像素、將B像素轉換成經修正之B像素的處理之參數，即如下之參數，並將該等參數輸出至混合處理部211中：
R on B(D)=(mR'/mG)g
B on R(D)=(mB'/mG)g。
其次，於步驟S111中，根據邊緣方向屬性執行混合處理，並決定構成RGBW排列之轉換後之RGB排列的RGB像素值。該處理為圖6中所示之混合處理部211之處理。
混合處理部211輸入第1~第5像素內插參數算出部所產生之像素內插參數，進而輸入邊緣檢測部209所檢測出之邊緣資訊與紋理檢測部210所檢測出之紋理資訊，而算出最終之轉換像素值。
混合處理部211根據與轉換對象像素相對應之邊緣資訊，即邊緣強度與邊緣方向，決定第1~第5像素內插參數算出部所產生之像素內插參數之混合比率，而算出最終之像素值。該處理為參照圖30、圖31中所示之流程所說明之處理。以下，將各轉換像素值之算出式匯總表示：
G on W=(weight Flat)(mG/mW)w+(1-weight Flat)(k(mG/mW)(w-mW)+mG)
R on G=(weight HV)．(R on G_hv)+(1-weight HV)R on G_ad
B on G=(weight HV)．(B on G_hv)+(1-weight HV)B on G_ad
R on B=(weight HV)．(R on B_hv)+(1-weight HV)R on B_ad
B on R=(weight HV)．(B on R_hv)+(1-weight HV)B on R_ad。
如此，於本發明之圖像處理裝置中，各個內插參數算出部執行根據轉換像素所對應之邊緣方向變更應用像素位置之內插處理，產生相當於內插像素值之參數。進而，混合處理部輸入各內插參數算出部所產生之參數、以及邊緣資訊及紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值。藉由該等處理，可產生能夠產生假色少且品質高之彩色圖像之RGB排列資料。
以上，一面參照特定之實施例，一面對本發明進行了詳 細說明。但是，本領域從業人員當然可於不脫離本發明之主旨之範圍內完成實施例之修正或代用。即，以例示之形態對本發明進行了揭示，而不應限定性地進行解釋。為判斷本發明之主旨，應參考專利申請範圍一欄。
又，說明書中所說明之一系列之處理可藉由硬體、或軟體、或者兩者之複合構成而執行。於執行利用軟體之處理之情形時，將記錄有處理順序之程式安裝入組裝於專用之硬體中之電腦內之記憶體中而執行、或者將程式安裝入可執行各種處理之通用電腦中而執行。例如，程式可預先記錄於記錄媒體中。除自記錄媒體安裝入電腦中以外，亦可經由LAN(Local Area Network，區域網路)、網際網路之類的網路接收程式，然後將該程式安裝入內置之硬碟等記錄媒體中。
再者，說明書中所記載之各種處理不僅可根據記載而以時間序列執行，亦可根據執行處理之裝置之處理能力或需要而並列地或者個別地執行。又，本說明書中之系統係指複數個裝置之邏輯性的集合構成，並不限定於各構成之裝置位於同一框體內者。
[產業上之可利用性]
如以上所說明般，根據本發明之一實施例之構成，可輸入具有包含白色(W：White)之例如RGBW型之彩色濾光片的攝像元件(影像感測器)所取得之資料，而產生用於產生假色少且品質高之彩色圖像之RGB排列資料。具體而言，邊緣檢測部對RGBW排列之攝像元件之輸出信號進行分析 而取得各像素所對應之邊緣資訊，紋理檢測部產生紋理資訊。進而，參數算出部執行根據轉換像素所對應之邊緣方向變更應用像素位置之內插處理，產生相當於內插像素值之參數。於混合處理部中，輸入參數算出部所產生之參數、以及邊緣資訊及紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值。藉由該等處理，可產生能夠產生假色少且品質高之彩色圖像之RGB排列資料。
100‧‧‧攝像裝置
105‧‧‧光學透鏡
110‧‧‧攝像元件(影像感測器)
120‧‧‧信號處理部
130‧‧‧記憶體
140‧‧‧控制部
181‧‧‧RGBW排列
182‧‧‧RGB排列
183‧‧‧彩色圖像
200‧‧‧資料轉換處理部
201‧‧‧雜訊去除部
202‧‧‧第1像素內插參數算出部(G on W)
203‧‧‧第1臨時像素設定部(RB on W around G)
204‧‧‧第2像素內插參數算出部(RB on G of HV)
205‧‧‧第3像素內插參數算出部(RB on G of AD)
206‧‧‧第2臨時像素設定部(RB on W around RB)
207‧‧‧第4像素內插參數算出部(RB on RB of HV)
208‧‧‧第5像素內插參數算出部(RB on RB of AD)
209‧‧‧邊緣檢測部
210‧‧‧紋理檢測部
211‧‧‧混合處理部
250‧‧‧RGB信號處理部
301‧‧‧處理對象資料
302、304、312、314‧‧‧4×4像素區域
303、311、313‧‧‧邊緣重心
315‧‧‧虛線矩形框
321、331‧‧‧處理單位
322、332、411、415、421、422、511、513、515、531、532、533、551、553、571、581、582、611、613、621、623、 661、662‧‧‧濾光片
401、501、601‧‧‧輸入像素單位
402、502、602‧‧‧轉換對象像素
412、416、423、424、512、514、516、552、554、612、614、622、624‧‧‧轉換對象像素對應位置
圖1(a)、(b)係對作為一般之彩色濾光片中所使用之顏色排列之拜耳排列、及本發明中所應用之RGBW排列之例進行說明的圖。
圖2(1)、(2)係對作為本發明之一實施例中之處理即自RGBW排列向RGB排列轉換之轉換處理而進行之重新馬賽克處理進行說明的圖。
圖3(a1)-(a4)係對作為本發明之自RGBW排列向RGB排列轉換之轉換處理而進行之重新馬賽克處理之個別之處理進行說明的圖。
圖4(b)-(e)係對作為本發明之自RGBW排列向RGB排列轉換之轉換處理而進行之重新馬賽克處理之個別之處理進行說明的圖。
圖5係對本發明之圖像處理裝置之一實施例之攝像裝置之構成例進行說明的圖。
圖6係對資料轉換處理部之構成與處理進行說明的圖。
圖7(a)-(c)係對圖6中所示之雜訊去除部201所執行之處理進行說明的圖。
圖8(a)、(b)係對圖6中所示之邊緣檢測部209所執行之邊緣檢測處理進行說明的圖。
圖9(a1)-(a4)、(b1)-(b4)係對圖6中所示之邊緣檢測部209所執行之邊緣檢測處理進行說明的圖。
圖10(1)、(2)係對圖6中所示之邊緣檢測部209所執行之邊緣檢測處理進行說明的圖。
圖11(1)、(2)係對圖6中所示之邊緣檢測部209所執行之邊緣檢測處理進行說明的圖。
圖12係對圖6中所示之紋理檢測部210所執行之紋理檢測處理進行說明的圖。
圖13係對圖6中所示之紋理檢測部210所執行之紋理檢測處理進行說明的圖。
圖14係對圖6中所示之紋理檢測部210所執行之紋理檢測處理進行說明的圖。
圖15係對圖6中所示之第1像素內插參數算出部(G on W)202所執行之處理進行說明的圖。
圖16係對圖6中所示之第1像素內插參數算出部(G on W)202所執行之處理進行說明的圖。
圖17、17(a)、17(b)係對圖6中所示之第1像素內插參數算出部(G on W)202所執行之處理進行說明的圖。
圖18係對圖6中所示之第1像素內插參數算出部(G on W)202所執行之處理進行說明的圖。
圖19係對圖6中所示之第l臨時像素設定部(RB on W around G)203所執行之處理進行說明的圖。
圖20係對圖6中所示之第1臨時像素設定部(RB on W around G)203所執行之處理進行說明的圖。
圖21係對圖6中所示之第1臨時像素設定部(RB on W around G)203所執行之處理進行說明的圖。
圖22、22(a)、22(b)係對圖6中所示之第2像素內插參數算出部(RB on G of HV)204所執行之處理進行說明的圖。
圖23、23(c)係對圖6中所示之第2像素內插參數算出部(RB on G of HV)204所執行之處理進行說明的圖。
圖24係對圖6中所示之第2像素內插參數算出部(RB on G of HV)204所執行之處理進行說明的圖。
圖25、25(a)係對圖6中所示之第3像素內插參數算出部(RB on G of AD)205所執行之處理進行說明的圖。
圖26係對圖6中所示之第3像素內插參數算出部(RB on G of AD)205所執行之處理進行說明的圖。
圖27係對圖6中所示之第2臨時像素設定部(RB on W around RB)206所執行之處理進行說明的圖。
圖28係對圖6中所示之第4像素內插參數算出部(RB on RB of HV)207所執行之處理進行說明的圖。
圖29係對圖6中所示之第5像素內插參數算出部(RB on RB of AD)208所執行之處理進行說明的圖。
圖30係對圖6中所示之混合處理部211所執行之處理進行 說明的圖。
圖31係對圖6中所示之混合處理部211所執行之處理進行說明的圖。
圖32係對圖6中所示之混合處理部211所執行之處理進行說明的圖。
圖33係表示說明圖6中所示之資料轉換處理部200所執行之處理之順序之流程圖的圖。
110‧‧‧攝像元件(影像感測器)
181‧‧‧RGBW排列
182‧‧‧RGB排列
200‧‧‧資料轉換處理部
201‧‧‧雜訊去除部
202‧‧‧第1像素內插參數算出部(G on W)
203‧‧‧第1臨時像素設定部(RB on W around G)
204‧‧‧第2像素內插參數算出部(RB on G of HV)
205‧‧‧第3像素內插參數算出部(RB on G of AD)
206‧‧‧第2臨時像素設定部(RB on W around RB)
207‧‧‧第4像素內插參數算出部(RB on RB of HV)
208‧‧‧第5像素內插參數算出部(RB on RB of AD)
209‧‧‧邊緣檢測部
210‧‧‧紋理檢測部
211‧‧‧混合處理部

Claims (17)

  1. 一種圖像處理裝置，其包括資料轉換處理部，該資料轉換處理部係對將成為亮度信號之主成分之像素配置成棋盤格狀，將成為顏色資訊成分之複數種顏色之像素配置於剩餘之部分的二維像素排列信號進行分析並進行像素轉換；上述資料轉換處理部包括對上述二維像素排列信號進行分析並算出應用於像素轉換處理之參數的參數算出部；上述參數算出部係於應用於像素轉換處理之參數之算出處理中，利用第1關聯資訊或第2關聯資訊中之至少任一關聯資訊進行上述參數之算出處理，上述第1關聯資訊係上述二維像素排列信號中所包含之成為亮度信號之主成分之像素與轉換後之像素之顏色資訊成分的關聯資訊，上述第2關聯資訊係選自上述顏色資訊成分中之一種選擇顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊。
  2. 如請求項1之圖像處理裝置，其中上述參數算出部係使用上述顏色資訊成分中之分配比率最高之顏色資訊成分與轉換後之像素之顏色資訊成分之關聯資訊作為上述第2關聯資訊。
  3. 如請求項1或2之圖像處理裝置，其中上述資料轉換處理部包括對上述二維像素排列信號進 行分析並產生邊緣資訊之邊緣檢測部；上述參數算出部係根據上述邊緣檢測部所檢測出之邊緣方向，選擇性地利用上述第1關聯資訊、或上述第2關聯資訊中之任一者進行上述參數之算出處理。
  4. 如請求項3之圖像處理裝置，其中成為上述亮度信號之主成分之顏色為白色，上述分配比率最高之顏色資訊成分為綠色；上述參數算出部係於應用於像素轉換處理之參數之算出處理中，根據上述邊緣檢測部所檢測出之邊緣方向，取得白色與轉換後之像素之顏色資訊成分的第1關聯資訊、或綠色與轉換後之像素之顏色資訊成分的第2關聯資訊中之任一者，並利用所取得之關聯資訊進行上述參數之算出處理。
  5. 如請求項3之圖像處理裝置，其中上述資料轉換處理部包括：紋理檢測部，其係對上述二維像素排列信號進行分析並產生紋理資訊；及混合處理部，其係輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值。
  6. 如請求項5之圖像處理裝置，其中上述邊緣檢測部係對包含RGB像素與白色(W)像素之RGBW排列信號進行分析，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊；上述紋理檢測部係對上述RGBW排列信號進行分析，產生表示各像素所對應之紋理程度之紋理資訊；上述參數算出部為算出用於將RGBW排列轉換成RGB排列之參數的參數算出部，並產生藉由根據轉換像素所對應之邊緣方向而變更應用像素位置之內插處理所算出的相當於內插像素值之參數；上述混合處理部係執行如下之處理：輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值。
  7. 如請求項6之圖像處理裝置，其中上述參數算出部為如下構成：藉由將應用於內插處理之像素位置設為沿邊緣方向之像素位置的內插處理而產生參數。
  8. 如請求項6之圖像處理裝置，其中上述參數算出部為如下構成：藉由利用構成RGBW排列之W像素與其他RGB像素於局部區域之關聯、或構成RGBW排列之G像素與其他RGB像素於局部區域之關聯中之任一種關聯的內插處理而產 生參數。
  9. 如請求項6之圖像處理裝置，其中上述圖像處理裝置更包括臨時像素設定部，該臨時像素設定部係藉由利用構成RGBW排列之W像素與其他RGB像素於局部區域之關聯的內插處理，對W像素位置設定RGB任一者之像素之像素值；上述參數算出部為如下構成：藉由應用上述臨時像素設定資料之內插處理而產生參數。
  10. 如請求項6之圖像處理裝置，其中上述參數算出部係根據上述邊緣檢測部所檢測出之縱、橫、左斜上、右斜上之四種邊緣方向，選擇利用構成RGBW排列之W像素與轉換後之像素之顏色資訊成分之第1關聯資訊、或構成RGBW排列之G像素與轉換後之像素之顏色資訊成分之第2關聯資訊中之任一個資訊。
  11. 如請求項10之圖像處理裝置，其中上述參數算出部係將參照像素位置設定為沿邊緣方向之像素位置，並利用上述第1關聯資訊或上述第2關聯資訊產生應用於像素轉換處理之複數個參數；上述混合處理部係執行縱、橫、左斜上、右斜上之四種邊緣方向之強度比較，並執行根據比較結果變更上述複數個參數之混合比率之混合處理。
  12. 如請求項11之圖像處理裝置，其中上述混合處理部係算出轉換像素所對應之縱橫方向邊 緣與斜方向邊緣之邊緣方向程度(ratio Flat)，進而，根據邊緣方向程度(ratio Flat)算出邊緣方向權重(weight HV)，該邊緣方向權重(weight HV)係表示值越大則縱橫方向邊緣越強於斜方向邊緣，值越小則斜方向邊緣越強於縱橫方向邊緣；且執行如下之混合處理：於轉換像素所對應之縱橫方向邊緣較斜方向邊緣強之情形時，提高將邊緣方向設定為縱或橫方向所算出之參數之混合比率，於轉換像素所對應之縱橫方向邊緣較斜方向邊緣弱之情形時，提高將邊緣方向設定為斜方向所算出之參數之混合比率。
  13. 如請求項6之圖像處理裝置，其中上述紋理檢測部係算出對紋理少且平坦度高之像素區域顯示較高值、對紋理多且平坦度低之像素區域顯示較低值之各像素所對應的平坦度權重(weight Flat)作為上述紋理資訊；上述參數算出部係算出已執行針對上述內插像素值之對比度強調處理之對比度強調處理應用參數、及未執行針對上述內插像素值之對比度強調處理之對比度強調處理非應用參數；上述混合處理部係執行如下之混合處理：針對上述平坦度權重大之像素，將上述對比度強調處理非應用參數之混合比率設定得較大，針對上述平坦度權重小之像素，將上述對比度強調處 理應用參數之混合比率設定得較大。
  14. 如請求項3之圖像處理裝置，其中上述邊緣檢測部為如下構成：藉由僅利用上述RGBW排列信號之白色(W)像素之分析處理而產生各像素所對應之邊緣資訊；算出處理對象像素附近之W像素之信號值梯度，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊。
  15. 如請求項5之圖像處理裝置，其中上述紋理檢測部係藉由僅利用上述RGBW排列信號之白色(W)像素之分析處理，產生表示各像素所對應之紋理程度之紋理資訊。
  16. 一種圖像處理方法，其係於圖像處理裝置中執行圖像信號處理者，且執行如下步驟：邊緣檢測步驟，邊緣檢測部對包含RGB像素與白色(W)像素之RGBW排列信號進行分析，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊；紋理檢測步驟，紋理檢測部對上述RGBW排列信號進行分析，產生表示各像素所對應之紋理程度之紋理資訊；參數算出步驟，參數算出部算出用於將RGBW排列轉換成RGB排列之參數，產生藉由根據轉換像素所對應之邊緣方向而變更應用像素位置之內插處理所算出的相當於內插像素值之參數；及混合處理步驟，混合處理部輸入上述參數算出部所算 出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值；且上述參數算出步驟係於應用於像素轉換處理之參數之算出處理中，利用第1關聯資訊或第2關聯資訊中之至少任一關聯資訊進行上述參數之算出處理，上述第1關聯資訊係上述二維像素排列信號中所包含之成為亮度信號之主成分之像素與轉換後之像素之顏色資訊成分的關聯資訊，上述第2關聯資訊係上述顏色資訊成分中之分配比率最高之顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊。
  17. 一種使圖像處理裝置執行圖像信號處理之程式，且執行如下步驟：邊緣檢測步驟，使邊緣檢測部對包含RGB像素與白色(W)像素之RGBW排列信號進行分析，產生包含各像素所對應之邊緣方向及強度資訊之邊緣資訊；紋理檢測步驟，使紋理檢測部對上述RGBW排列信號進行分析，產生表示各像素所對應之紋理程度之紋理資訊；參數算出步驟，使參數算出部算出用於將RGBW排列轉換成RGB排列之參數，產生藉由根據轉換像素所對應之邊緣方向而變更應用像素位置之內插處理所算出的相 當於內插像素值之參數；及混合處理步驟，使混合處理部輸入上述參數算出部所算出之參數、以及上述邊緣資訊及上述紋理資訊，根據轉換像素所對應之邊緣資訊與紋理資訊，變更上述參數算出部所算出之參數之混合比率並執行混合處理，從而決定轉換像素值；且於上述參數算出步驟中，在應用於像素轉換處理之參數之算出處理中，利用第1關聯資訊或第2關聯資訊中之至少任一關聯資訊進行上述參數之算出處理，上述第1關聯資訊係上述二維像素排列信號中所包含之成為亮度信號之主成分之像素與轉換後之像素之顏色資訊成分的關聯資訊，上述第2關聯資訊係上述顏色資訊成分中之分配比率最高之顏色資訊成分與轉換後之像素之顏色資訊成分的關聯資訊。
TW100101306A 2010-03-04 2011-01-13 An image processing apparatus, an image processing method, and a program TWI516132B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010047369A JP5724185B2 (ja) 2010-03-04 2010-03-04 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
TW201143467A TW201143467A (en) 2011-12-01
TWI516132B true TWI516132B (zh) 2016-01-01

Family

ID=44542673

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100101306A TWI516132B (zh) 2010-03-04 2011-01-13 An image processing apparatus, an image processing method, and a program

Country Status (6)

Country Link
US (1) US8948506B2 (zh)
EP (1) EP2544452A4 (zh)
JP (1) JP5724185B2 (zh)
CN (1) CN103238335B (zh)
TW (1) TWI516132B (zh)
WO (1) WO2011108290A2 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN104247409B (zh) 2012-04-24 2016-10-12 索尼公司 图像处理装置、图像处理方法以及程序
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
DE112013004198T5 (de) * 2012-08-27 2015-05-07 Fujifilm Corporation Bildverarbeitungsvorrichtung, Verfahren, Programm, Aufzeichnungsmedium und Bildaufnahmevorrichtung
KR20140028959A (ko) * 2012-08-31 2014-03-10 삼성전자주식회사 화상형성장치 및 화상형성방법
JP6188448B2 (ja) * 2013-06-26 2017-08-30 オリンパス株式会社 画像処理装置
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
TWI690209B (zh) * 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
JP6302272B2 (ja) 2014-02-06 2018-03-28 株式会社東芝 画像処理装置、画像処理方法及び撮像装置
US9219896B1 (en) * 2014-06-12 2015-12-22 Himax Imaging Limited Method of color processing using a color and white filter array
CN104077997B (zh) * 2014-07-17 2016-10-12 深圳市华星光电技术有限公司 Rgb到rgbw的颜色转换系统和方法
WO2016031764A1 (ja) * 2014-08-28 2016-03-03 株式会社日立国際電気 撮像装置及び撮像方法
CN104485064B (zh) * 2014-12-31 2017-03-15 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
JP6598507B2 (ja) 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US9947258B2 (en) * 2015-08-28 2018-04-17 Novatek Microelectronics Corp. Image processing method and image processing apparatus
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
CN108702494B (zh) * 2016-03-09 2020-12-04 索尼公司 图像处理装置、成像装置、图像处理方法和存储介质
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
JP6980492B2 (ja) * 2017-11-13 2021-12-15 キヤノン株式会社 撮像装置及び撮像システム
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
CN111757182B (zh) * 2020-07-08 2022-05-31 深圳创维－Rgb电子有限公司 图像花屏检测方法、设备、计算机设备和可读存储介质
CN111899178B (zh) * 2020-08-18 2021-04-16 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN114449231B (zh) * 2020-10-31 2023-11-24 荣耀终端有限公司 一种图像转换方法及设备
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117507A1 (en) * 2001-12-21 2003-06-26 Nasser Kehtarnavaz Color filter array interpolation
EP2280376B1 (en) * 2002-02-12 2015-10-28 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4600011B2 (ja) * 2004-11-29 2010-12-15 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
KR100992362B1 (ko) * 2008-12-11 2010-11-04 삼성전기주식회사 컬러 보간 장치
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5454075B2 (ja) * 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
EP2544452A4 (en) 2017-05-10
JP2011182354A (ja) 2011-09-15
US8948506B2 (en) 2015-02-03
EP2544452A2 (en) 2013-01-09
CN103238335B (zh) 2015-09-30
JP5724185B2 (ja) 2015-05-27
US20130216130A1 (en) 2013-08-22
CN103238335A (zh) 2013-08-07
TW201143467A (en) 2011-12-01
WO2011108290A2 (ja) 2011-09-09

Similar Documents

Publication Publication Date Title
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
JP5454075B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5326943B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9179113B2 (en) Image processing device, and image processing method, and program
US8131067B2 (en) Image processing apparatus, image processing method, and computer-readable media for attaining image processing
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP5904213B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8131110B2 (en) Reducing signal overshoots and undershoots in demosaicking
JP5847471B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2013066157A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
KR20060078646A (ko) 디지털 촬영장치의 색상 보간법
JP2005012479A (ja) データ処理装置、画像処理装置、カメラおよびデータ処理方法
US8068145B1 (en) Method, systems, and computer program product for demosaicing images
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees