TWI225940B

TWI225940B - Image taking apparatus and method

Info

Publication number: TWI225940B
Application number: TW092134391A
Authority: TW
Inventors: Takami Mizukura; Naoya Katoh; Ken Nakajima; Hiroki Nagahama
Original assignee: Sony Corp
Priority date: 2002-12-25
Filing date: 2003-12-05
Publication date: 2005-01-01
Also published as: WO2004059987A1; US7489346B2; JP3861808B2; EP1578139A4; TW200424569A; CN1732694B; US20060082665A1; EP1578139A1; KR20050088335A; CN1732694A; JP2004208079A

Description

(1) 1225940 玖、發明說明【發明所屬之技術領域】本發明係關於攝取被攝體之攝像裝置及方法，尤其是，和可對應攝像感度實施良好攝取之攝像裝置及方法相關。

又，本專利申請係依據日本國2002年12月25曰申請之日本專利申請號碼2002-3 75423爲基礎主張優先權，本專利申請可參照該申請並沿用。【先前技術】

近年來，以消費者爲對象之影像攝像裝置（數位攝影機、彩色掃描機等）及影像處理軟體十分普及，而利用影像處理軟體自行編輯以該影像攝像裝置攝取之被攝體而產生之影像的使用者亦逐漸增加。又，對於以影像攝像裝置攝取之影像畫質的要求亦愈來愈高，購入影像攝像裝置時，將良好畫質列爲主要條件之使用者的比率亦正在增加中。此處，針對影像攝像裝置之一般構成說明如下。影像攝像裝置會採用例如第1圖所示之RGB之3原色濾色器1。此例中，如第1圖之一點虛線所示，以2個只可透射綠色（G)光之G濾色器、1個只可透射紅色（R)光之R濾色器、以及1個只可透射藍色（B)光之B濾色器合計爲4個之最小單位，利用所謂拜耳配列（Bayer配列）構成濾色器1。第2圖係針對以具有RGB濾色器1之CCD(Charge -5- 1225940 (2)

Coupled Device)攝像元件取得之RGB信號實施各種處理之信號處理部1 1之構成例方塊圖。

偏移補償處理部21會除去由對CCD攝像元件取得之信號實施特定處理之前端1 3所供應之影像信號內含有之偏移成分，並將得到之影像信號輸出至白平衡補償處理部 22。白平衡補償處理部22會依據偏移補償處理部2 1供應之影像信號之色溫度、及濾色器1之各濾色器之感度差異，實施各色之平衡補償。白平衡補償處理部22會實施補償，並將取得之色信號輸出至伽馬補償處理部23。伽馬補償處理部23會對白平衡補償處理部22供應之信號實施伽馬補償，並將取得之信號輸出至垂直方向同步化處理部24。垂直方向同步化處理部24設有延遲元件，可使伽馬補償處理部23供應之信號之垂直方向之時間誤差同步化。

RGB信號產生處理部25會實施將垂直方向同步化處理部24供應之色信號內插至同一空間之相位之內插處理、去除信號之雜訊成分之雜訊去除處理、限制信號頻帶之濾波處理、以及補償信號頻帶之高頻成分之高頻補償處理等，並將得到之RGB信號輸出至亮度信號產生處理部 26及色差信號產生處理部27。亮度信號產生處理部26會以特定合成比合成RGB信號產生處理部25供應之RGB信號，產生亮度信號（Y)。色差信號產生處理部2 7亦相同，會以特定合成比合成 RGB信號產生處理部25供應之RGB信號，產生色差信號 -6- 1225940 (3) (Cb、Cr)。亮度信號產生處理部26產生之亮度信號（γ)、及色差信號產生處理部27產生之色差信號（Cb、Cr)，會輸出至例如配設於信號處理部1 1外部之監視器。如此，一般會對原始信號實施伽馬處理後，再利用線形轉換實施影像處理（線性矩陣處理）。

如上面所述之影像攝像裝置在攝取被攝體並產生影像時，因觀察時之視覺環境而有不同之視覺感覺，故有時無法重現期望之色彩。這是在攝像時之光源（以下稱爲攝像光源。）及觀察時之光源（以下稱爲觀察光源。）之演色性有很大差異時所產生之現象。因此，日本特開 2002-1 422 3 1號公報等提出以具有和攝像光源不同之演色性之觀察光源重現影像時可獲得良好色重現之方法。又，第3 圖及第4圖係分光感度之特性。第3圖之曲線L 1係R之分光感度，曲線L2係G之分光感度，曲線L3係B之分光感度。又，第4圖之曲線L1 1係R之分光感度，曲線 L12係G之分光感度，曲線L13係B之分光感度。另一方面，在上述影像攝像裝置追加線性矩陣處理、及攝像元件之濾色器，可大幅提升色重現性。此時，若單純以色差爲最小之方式來決定使用之線性矩陣之係數，則雜訊反而比傳統更大。【發明內容】本發明之目的係在提供一種攝像裝置及攝像方法，可對應攝像環境及條件等，利用考慮色重現性及雜訊減少性 1225940 (4) 之係數來實施線性矩陣處理。本發明之攝像裝置係由分光特性不同之濾色器所構成’在具有用以攝取被攝體之攝像元件部之攝像裝置上，具有用以調整色重現値及代表雜訊感之雜訊値之調整手段、依據上述調整手段之調整來決定矩陣係數之矩陣係數決定手段、以及依據上述矩陣係數對上述攝像元件部攝取之影像實施矩陣轉換處理之矩陣轉換處理手段。又’本發明之攝像方法係由分光特性不同之濾色器所構成’在利用具有用以攝取被攝體之攝像元件部之攝像裝置攝取被攝體之攝像方法上，具有用以調整色重現値及代表雜訊感之雜訊値之第1步驟、依據上述第1步驟之調整來決定矩陣係數之第2步驟、以及依據上述矩陣係數對上述攝像元件部攝取之影像實施矩陣轉換處理之第3步驟。本發明之其他目的、及本發明可得到之具體優點，可由以下說明之實施例獲得進一步了解。【實施方式】第5圖係應用本發明之攝像裝置之構成例方塊圖。第 5圖所示之攝像裝置，係在由 CCD(Charge C 〇 u p 1 e d D e v i c e)等影像感測器4 5之前面（和透鏡4 2相對之面），配設著用以識別4種色（光）之濾色器。又，攝像裝置上，配設於第5圖之影像感測器45之濾色器係第6 圖所示之4色濾色器61。 4色濾色器61如第6圖之1點虛線所示’由只可透 -8- (5) 1225940 射紅光之R濾色器、只可透射藍光之B濾色器、只可透射第1頻帶綠色光之G1濾色器、以及只可透射和G1濾色器具有高相關性之第2頻帶綠色光之G2濾色器之合計爲4個濾色器之最小單位所構成。又，G 1濾色器及G2濾色器係配置於該最小單位內之對角位置。

如後面之詳細說明所示，以影像感測器45取得之影像爲4種色，因爲取得之色資訊增加，和只取得3種色 (RGB)時相比，可以更正確地表現色，眼睛看成不同色者會重現成不同色，看成相同色者會重現成相同色，而可提高重現性（「色判別性」）。

又，由第7圖所示之視感度曲線可知，人眼對亮度很敏感。因此，第6圖所示之4色濾色器61時，因爲可取得更正確之亮度資訊，而可提高亮度之灰階標度，而且，爲了使影像以接近眼睛所見之方式重現，追加了具有接近視感度曲線之分光感度特性之G2濾色器（針對對應於第1 圖之R、G、B之R、G1、B濾色器，追加新決定之綠G2 濾色器）。又，決定4色濾色器61時所使用之濾色器評估係數，係採用例如考慮「色重現性」及「雜訊減少性」之雙方之係數 UMG(Unified Measureof Goodness)。利用UMG之評估時，若評估對象之濾色器只滿足選路器條件，其評估値不高，故亦應考慮各濾色器之分光感度分布之重疊。因此，和利用 q因子、#因子，或 F0M(Figure of Merit)實施評估之濾色器時相比，可進一 -9 - (6) 1225940 步減少雜訊。亦即，因係採用U M G之評估，各濾色器之分光感度特性會有某程度之重疊，然而，因爲選擇並非如第4圖所示之R特性及G特性大致爲全部重疊之濾色器，即使爲了色之分離而放大各色信號時，放大率亦無需太大，而可抑制雜訊成分之放大。第8圖係各濾色器評估係數之特徴圖。又，第8圖係表示是否針對各評估係數考慮一次可評估之濾色器數及物體之分光反射率、以及是否考慮雜訊之減少的相關事項。如第8圖所示，q因子（q-factor)之一次可評估之濾色器數只有^ 1個」，未考慮物體之分光反射率及雜訊之減少。又，//因子（μ -fact or)雖然一次可評估複數濾色器，然而，未考慮物體之分光反射率及雜訊之減少。其次， F0M雖然一次可評估複數濾色器且考慮物體之分光反射率，然而，並未考慮雜訊之減少。相對於此，決定4色濾色器61時所使用之UMG，不但一次可評估複數濾色器，尙可考慮物體之分光反射率、以及雜訊之減少。

又，「Η· E. J. Neugebauer “Quality Factor for Filters Whose Spectral Transmittances are Different from Color Mixture Curves, and Its Application to Color Photography” JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46，NUMBER 10」中針對 q 因子有詳細說明’ 「P. L. Vora and H. J. Trussell，“Measure of Goodness of a set of color-scanning filters，，，JOURNAL •10- 1225940 (7) OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 1 0, NUMBER 7」中則針對//因子有詳細說明。又，「G. Sharma and Η. J. Trussell，Figures of Merit for Color Scanners，IEEE TRANSACTION ON IMAGE PROCESSING, VOLUME 6」中針對 FOM有詳細說明，「S. Quan，Ν· Ohta，and N. Katoh, “Optimal Design of Camera Spectral Sensitivity Functions Based on Practical Filter Components”，CIC，2001」中則對UMG有詳細說明。回到第5圖之說明。微電腦4 1會依據特定控制程式控制整體之動作。例如，微電腦4 1實施光圈43之曝光控制、快門 44之開關控制、TG(Timing Generator)46之電子快門控制、前端47之增益控制、攝影機系統LSI(Large Scale Integrated Circuit)48之模式控制、以及參數控制等。光圈43會調整以透鏡42進行集光之光的通過，控制利用影像感測器45取得之光量。快門44會依據微電腦 4 1之指示，控制以透鏡42進行集光之光的通過。影像感測器 45 會進一步具有由 CCD 或 CMOS(Complementary Metal Oxide Semiconductor)戶斤構成之攝像元件，將經由形成於該攝像元件之前面之4色濾色器6 1射入之光換成電性信號，並將4種色信號（R信號、 G1信號、G2信號、以及B信號），輸出至前端47。影像感測器45配設著第6圖之4色濾色器61 ’從經由透鏡42 射入之光析出尺、〇1、02、以及8之各頻帶之成分。 -11 - 1225940 (8) 又，其詳細情形請參照第1 5圖並參考後述說明。前端47會針對影像感測器45供應之色信號，實施以去除雜訊成分爲目的之相關二重抽樣處理、增益控制處理、以及數位轉換處理等。經過前端47之各種處理後，所得到之影像資料會輸出至攝影機系統LS 148。攝影機系統LS 148如後面之詳細說明所示，會對前端 47供應之影像資料實施各種處理，例如，產生亮度信號及色信號並輸出至影像監視器5 0，對應信號顯示影像。影像記憶體 4 9係由例如 D R A M (D y n a m i c R a n d 〇 m Access Memory)或 SDRAM(Synchronous Dynamic Random Access Memory)等所構成，攝影機系統LSI48被適度應用於各種處理上。由半導體記憶體或碟片等所構成之外部記憶媒體5 1之構成上，例如，可對第5圖之攝像裝置實施裝卸，儲存著利用攝影機系統 LSI48以 JPEG(Joint Photographic Expert Group)格式實施壓縮之影像資料。影像監視器50係由例如LCD(Liquid Crystal Display) 等所構成，用以顯示攝取之影像或各種選單畫面等。第9圖係第5圖所示之攝影機系統LSI48之構成例方塊圖。構成攝影機系統LS 148之各方塊，係經由微電腦介面（I/F) 73而由第5圖所示之微電腦41所控制。信號處理部7 1會對前端4 7供應之4種色資訊實施內插處理、濾波處理、矩陣演算處理、亮度信號產生處理、以及色差信號產生處理等各種處理，並經由例如監視器介面7 7將產生之影像信號輸出至影像監視器5 0。 -12- 1225940 Ο) 影像檢波部72會依據前端47之輸出’實施自動調焦、自動曝光、以及自動白平衡等檢波處理，並將其結果適度地輸出至微電腦4 1。記憶體控制器75會控制處理方塊間之資料的傳送及接收、及特定處理方塊及影像記憶體49間之資料的傳送及接收’例如，將信號處理部7 1供應之影像資料經由記憶體介面74輸出至影像記憶體49並儲存。影像壓縮□解壓縮部76會對例如信號處理部7 1供應之影像資料以JPEG格式實施壓縮，並將得到之資料經由微電腦介面7 3輸出至外部記憶媒體5 1並儲存。影像壓縮 •解壓縮部76尙會對從外部記憶媒體5 1讀取之壓縮資料實施解壓縮（伸展），並經由監視器介面7 7輸出至影像監視器5 0。第1 〇圖係第9圖所示之信號處理部7 1之詳細構成例方塊圖。構成信號處理部7 1之各方塊，係經由微電腦介面7 3而由微電腦4 1所控制。偏移補償處理部9 1會去除前端47供應之影像信號所含有之雜訊成分（偏移成分），並將得到之影像信號輸出至白平衡補償處理部92。白平衡補償處理部92會依據偏移補償處理部9 1供應之影像信號之色溫度、及4色濾色器 61之各濾色器之感度差異，實施各色之平衡補償。以白平衡補償處理部92實施補償所取得之色信號，會輸出至垂直方向同步化處理部93。垂直方向同步化處理部93設有延遲元件，可使白平衡補償處理部92輸出之信號（以下 -13- 1225940 (10) 稱爲RG1G2B信號。）之垂直方向之時間償）。信號產生處理部94會實施將垂直7 93供應之RG1G2B信號之最小單位之2 ：內插至同一空間之相位之內插處理、去1¾ 之雜訊去除處理、限制信號頻帶之濾波虔號頻帶之高頻成分之高頻補償處理I RG1 G2B信號輸出至線性矩陣處理部95。線性矩陣處理部95會依據特定線性 4之行列）以式（1)實施RG1G2B信號之演 RGB信號。

• R- -R- a b c d G1 G = e f 8 h • G2 Β i j k l B •⑴ 線性矩陣處理部9 5所產生之R信號馬補償處理部96-1，G信號會被輸出至 9 6-2，B信號會被輸出至伽馬補償處理部伽馬補償處理部9 6 -1至9 6 - 3會針韵 95輸出之RGB信號之各信號實施伽馬補 RGB信號輸出至亮度（Y)信號產生處理部號產生處理部9 8。亮度信號產生處理部9 7則會例如利之誤差同步化（補向同步化處理部【2圖素之色信號 •信號之雜訊成分理、以及補償信 ^ ，並將得到之矩陣係數Μ (3 X 算，產生3色之 :，會被輸出至伽伽馬補償處理部 9 6-3 ° 線性矩陣處理部償，並將取得之 97及色差（C)信用式（2)，以特定 -14- 1225940 (11) 合成比合成伽馬補償處理部96-1至96-3供應之RGB信號，產生亮度信號（Y)。 Y = 0.2126R + 0.7152G + 0.0722B ...(2) 色差信號產生處理部98亦相同，會以特定合成比合成伽馬補償處理部96-1至96-3供應之RGB信號，產生色差信號（C)，並將其輸出至頻帶限制時間進位處理部 99。頻帶限制時間進位處理部9 9會依據色差信號（C)產生色差信號（Cb、Cr)。又，單板2 X 2色編碼所得到之信號，一般而言，色資訊之頻帶沒有亮度信號那麼多。因此，頻帶限制時間進位處理部9 9會針對色差信號產生處理部98供應之色差信號（C)實施頻帶限制處理及時間進位處理，刪減色資訊資料並產生色差信號（Cb、Cr)。亮度信號產生處理部97產生之亮度信號（Y)、以及色差信號產生處理部98產生之色差信號（C)或頻帶限制時間進位處理部99產生之色差信號（Cb、Cr)，會經由例如第 9圖所示之監視器介面77輸出至影像監視器50。具有如以上所示構成之攝像裝置在接收到攝取影像之指示時，微電腦4 1會控制TG 46並以影像感測器45取得影像。亦即，4色光會透射形成於用以構成影像感測器45 之CCD等攝像元件（以下稱爲CCD攝像元件。）之前面之 4色濾色器61，CCD攝像元件會取得透射之光。CCD攝像元件取得之光，會被轉換成4色之色信號，並將其輸出 -15- 1225940 (12) 至前端47。前端47會針對影像感測器45供應之色信號，實施以去除雜訊成分爲目的之相關二重抽樣處理、增益控制處理、以及數位轉換處理等，並將得到之影像資料輸出至攝影機系統L S 14 8。攝影機系統LS148之信號處理部71，會以偏移補償處理部9 1去除色信號之偏移成分，並會以白平衡補償處理部92依據影像信號之色溫度及4色濾色器6 1之各濾色器之感度差異實施各色之平衡補償。又’垂直方向同步化處理部93會實施以白平衡補償處理部92實施補償之信號之垂直方向之時間誤差的同步化（補償），信號產生處理部94會實施將垂直方向同步化處理部93供應之RG1G2B信號之最小單位之2 X 2圖素之色信號內插至同一空間之相位之內插處理、去除信號之雜訊成分之雜訊去除處理、限制信號頻帶之濾波處理、以及補償信號頻帶之高頻成分之高頻補償處理等。其次，線性矩陣處理部95會依據特定線性矩陣係數 M(3 X 4之行列）實施信號產生處理部94產生之信號 (RG1 G2B信號）的轉換，產生3色之RGB信號。線性矩陣處理部95產生之R信號會被輸出至伽馬補償處理部96_ 1，G信號會被輸出至伽馬補償處理部9 6 - 2，B信號則會被輸出至伽馬補償處理部96-3。以伽馬補償處理部96-1至96-3對經由線性矩陣處理部95之處理所得到之RGB信號之各信號實施伽馬補償， •16- 1225940 (13) 取得之RGB信號則會被輸出至亮度信號產生處理部97及色差信號產生處理部98。亮度信號產生處理部97及色差信號產生處理部9 8會以特定合成比合成伽馬補償處理部 96-1至96-3供應之R信號、G信號、B信號之各信號，並產生亮度信號（Y)及色差信號（C)。亮度信號產生處理部 97產生之亮度信號（γ)、及色差信號產生處理部98產生之色差信號（C)會被輸出至第9圖之影像壓縮•解壓縮部 76，例如，以JPEG格式進行壓縮。經過壓縮後之影像資料會經由微電腦介面73輸出至外部記憶媒體5 1並儲存。如以上所示，1個影像資料係依據4種色信號來形成，故其重現性接近人眼所見。另一方面，指示實施儲存於外部記憶媒體5 1之影像資料之再生（顯示）時，以微電腦4 1讀取儲存於外部記憶媒體51之影像資料，並將其輸出至攝影機系統LSI48之影像壓縮•解壓縮部76。影像壓縮•解壓縮部76會對壓縮之影像資料實施伸展，並經由監視器介面7 7將對應所得到之資料之影像顯示於影像監視器5 0上。其次，參照第1 1圖所示之流程圖，針對用以製作具有如上所示之構成之攝像裝置的處理（步驟）進行說明。步驟S 1中，會執行用以決定配設於第5圖所示之影像感測器45之4色濾色器6 1之分光感度特性的4色濾色器決定處理，步驟S2中，則會執行用以決定設定於第i 〇圖所示之線性矩陣處理部95之矩陣係數Μ的線性矩陣係數Μ決定處理。步驟S1中執行之4色濾色器決定處理之 -17- 1225940 (14) 詳細情形，參照第1 2圖所示之流程圖，又，步驟S2中執行之線性矩陣係數Μ決定處理之詳細情形，則參照第】6 圖所示之流程圖，分別如後面所述。決定4色濾色器61及矩陣係數後，步驟S3中，會製作第1 〇圖所示之信號處理部7 1，其次，進入步驟S4，製作第9圖所示之攝影機系統LSI48。又，步驟S5中，製作第5圖所示之攝像裝置（例如，數位攝影機）整體。步驟 S6中，會評估步驟S5中製作之攝像裝置之畫質（「色重現性」、「色判別性」），並結束處理。此處，針對實施「色重現性」、「色判別性」等評估時參照之物體色進行說明。物體色之計算上，係利用對「物體之分光反射率」、「標準照明之分光能量分布」、以及「感測物體之感測器（濾色器）之分光感度分布（特性）」之積實施可見光區域（例如，400至700nm)之範圍之積分所得的値。亦即，以式（3)計算物體色。物體色=(物體之分光反射率）·（照明之分光能量分布）·（感測物體之感測器之分光感度分布）d λ…（3) λ :波長 vis:可見光區域（通常爲400nm〜700nm) 例如，以眼睛觀察特定物體時，式（3)之「感測器之分光感度特性」以色彩匹配函數表示，其物體之物體色則以X、Y、Z之三色系數來表示。具體而言，X之値以式 -18 - 1225940 (15) (4-1)計算，Y之値以式（4-2)計算’ Z之値以式（4_3)計算。又，式（4-1)至（4-3)之常數k之値則以式（4-4)計算。

Jvis Y^k\ 7?μ)·Ρ(Λ)·^μ)^·--(4-2)

Jvis Z^k[ Κ(λ)·Ρ(λ)·ζ(Λ)άλ·-(4-3)

Jvis

/?(；!):物體之分光反射率办)Jw JW:色彩匹配函數 k^l/jP(A)^y(A)dA-· (4-4)

又，以數位攝影機等之攝像裝置取得特定物體之影像時，式（3 )之「感測器之分光感度特性」係以濾色器之分光感度特性來表示，該物體之物體色則會計算濾色器之數之色値（例如，RGB濾色器（3種）時之RGB値（3値））之物體色。攝像裝置配設著用以檢測3種色之RGB濾色器時，具體而言，R之値以式（5-1)計算，G之値以式（5-2)計算，B之値以式（5-3)計算。又’式（5-1)之常數kr之値以式（5-4)計算，式（5-2)之常數kg之値以式（5-5)計算，式（5_ 3)之常數kb之値以式（5-6)計算。 R^kT R(A) ·Ρ(λ)· 7(λ)άλ ---(5-1) G^kg R(A) · Ρ(λ) ^{λ)άλ- -(5 - 2) B^kb R(A) · Ρ(λ) . 1{λ)άλ ---(5- 3) K’UW細··濾色器之分光感度分布 -19- 1225940 (16) kr=l/\ Ρ(λ)·Γ(λ)άλ-· (5-4)

Jvis ^ =1/Jv. ρμ)·^(λ)^··· (5-5) ^=l/f Ρ(λ)·1(Λ)άλ·- (5-6)

Jvis 其次，參照第1 2圖所示之流程圖，針對第1 1圖所示之步驟S 1中執行之4色濾色器決定處理進行說明。又，4色濾色器之決定方法有各種方法，然而，此處係針對以RGB濾色器爲基調（將既存之（第1圖之）G濾色器之一方視爲G1濾色器）來選取並追加可透射和透射G1 濾色器之色具有高相關性之色的G2濾色器之方式來4色濾色器之處理進行說明。步驟S21中’選取以計算UMG値爲目的之色靶選擇。例如，步驟S2 1中，會選取含有眾多代表現存色之色標且含有眾多重視人類之記憶色（肌膚色、植物之綠、天空之藍等）之色標之色靶。色靶例如IT8.7、Macbeth Color Checker GretagMacbethDigital Camera Color Checker ' CIE、Color Bar 等。又’亦可封應目的’以 SOCS(Standard Object Color Spectra Database)等資料製作標準色標並使用。又，「田島讓二、“利用標準物體色分光資料庫（s 〇 C S )實施統計學上之色重現評估”、COLOR FORUM JAPAN 99」中對 SOCS有詳細說明。以下，針對選取Macbeth Color Checker做爲色靶時進行說明。步驟S22中’決定G2濾色器之分光感度特性。分光感度特性可以使用可以實際材料製作之物，亦可以使用如 -20- 1225940 (17) 下所不之物亦即’以弟13圖所不之cubic spline曲線（3 次平滑曲線函數）假設虛擬曲線C ( λ )，使用虛擬曲線 C( λ )之峰値λ 〇、値w(將wi及w2之和除以2所得之値）、値△ w (將w】減去w 2再除以2所得之値）在圖中所示之範圍內變化者。又’ w、△ w之値係以半値寬度之値爲基礎之値。又〇、w、△ w之變化方法，例如，爲每5 n m。虛擬曲線C(A)在各範圍可以下式（6-1)至（6-5)表示。 4+3w22(w2 -丨2 - Λ)丨)+3w2 (w2 - |λ -功2 - 3(w2 - μ -々|)3 6wl Λ Ο $ 乂一 Λ0 S >ν2· · 乂6 — 1) wi3+3wi2(wi -\λ-Λ0\)3 c W = ^- Λ - Wj ^ λ - λ0 ^ 〇· · *(6 - 2) λ0^ 2w2· · -(6 - 3) -2wj ^ /¾ - ^ -wf · -(6 - 4) 2-ιί 6w23 6wj C(A)-0 Λ上述範圍以外_··(6-5) 又，此例中，係只追加濾色器G2，然而，亦可只使用第1圖所示之濾色器（R、G、G、Β)之R濾色器及Β濾色器，其餘2個之G 1、G 2濾、色器則定義成接近綠色附近之上式（6-1)至（6-5)之虛擬曲線。又，同樣的’亦可只使用第i圖所示之濾色器當中之R及G、或G及B。此外，亦可將4色濾色器當中之3色定義成虛擬曲線、或將4色都定義成虛擬曲線。步驟S23中，會將追加之濾色器（G2濾色器）、及現 -21 - (18) 1225940 存之濾色器（R濾色器、G1濾色器、B濾色器）進行組合，製作4色濾色器之最小單位（組）。又，步驟S24中，以 UMG做爲濾色器評估係數，針對步驟S23中製作之4色濾色器計算UMG値。如參照第8圖之說明所示，使用U M G時，一次即可對4色之各濾色器實施評估。又，不但可在考慮物體之分光反射率下進行評估，亦可在考慮雜訊減少性下進行評估。使用UMG之評估時，對各濾色器之分光感度特性有適度重疊之濾色器會有較高之評估，而可抑制對例如具有 R之特性及G之特性跨越較廣頻帶而重複之特性之濾色器 (分離各色信號時雜訊被放大之濾色器）之過高評估。第1 4圖係3色灑色器計算所得之U M G値之例圖。例如，RGB特性皆未重複之第14圖（Α)所示之特性之濾色器時，計算之UMG値爲「0.7942」，而具有R之特性及G 之特性跨越較廣頻帶而重複之第14圖（B)所示之特性之濾色器時，計算之UMG値爲「0.8211」。又，具有RGB之各特性有適度重疊之第14圖（C)所示之特性之濾色器時，計算之UMG値爲「0.8879」。亦即，對具有RGB之各特性有適度重疊之第14圖（C)所示之特性之濾色器有最高之評估。此點在4色濾色器亦同。又，第1 4圖（A)所示之曲線L31、第14圖（B)所示之曲線L41、以及第14圖（C)所示之曲線L51係R之分光感度，第14圖（A)所示之曲線 L32、第14圖（B)所示之曲線L42、以及第14圖（C)所示之曲線L52係G之分光感度，第14圖（A)所示之曲線 -22- (19) 1225940 L33、第14圖（B)所示之曲線L43、以及第14圖（C)所示之曲線L53係B之分光感度。步驟S 2 5中，會判定步驟s 2 4中計算所得之U M G値是否爲特定閾値「0.95」以上，判定成低於「0.95」時，進入步驟S26，廢棄製作之4色濾色器（不使用）。步驟 S26中，廢棄4色濾色器時，其後，會結束處理（不實施第1 1圖所示之步驟S 2以後之處理）。另一方面，步驟S25中，判定步驟S24中計算所得之 UMG値爲「0.95」以上時，步驟S27中，會將該4色濾色器當做供數位攝影機使用之候補濾色器。步驟S28中，會判定在步驟S27被列爲候補濾色器之 4色濾色器是否可以現存材料及染料實現。材料及染料等之取得上有困難時，判定成無法實現，進入步驟S26，廢棄該4色濾色器。另一方面，步驟S2 8中，判定成可取得材料及染料等而可實現時，進入步驟S29，決定以製作之4色濾色器做爲數位攝影機使用之濾色器。其後，執行第1 1圖所示之步驟S 2以後之處理。第15圖係步驟S29中決定之4色濾色器之分光感度特性的例圖。第1 5圖中，曲線L 61係R之分光感度，曲線L 6 2係 G1之分光感度。又，曲線L63係G2之分光感度，曲線 L64係Β之分光感度。如第15圖所示，G2之分光感度曲線（曲線L 6 3 )和G 1之分光感度曲線（曲線L 6 2 )有高相關 -23- 1225940 (20) 性。又，R之分光感度、G(G1、G2)之分光感度、以及B 之分光感度會分別在適度範圍內重複。利用以如上所示之方式決定之4色濾色器’尤其可改善「色重現性」當中之「色判別性」。又，從光之利用效率觀點而言，應以如上所示之和現存RGB濾色器之G濾色器具有高相關性之濾色器當做追加之濾色器（G2濾色器）。此時，以經驗而言’追加之濾色器之分光感度曲線之鋒値應爲495至5 3 5nm之範圍（接近現存G濾色器之分光感度曲線之鋒値）。又，追加和現存G濾色器有高相關性之濾色器時，因爲只需將構成第1圖所示之最小單位（R、G、G、B)之2 個G濾色器之其中任一方當做追加色之濾色器即可製作4 色濾色器，製作過程無需太大之變更。如以上所示製成4色濾色器並將其配設於數位攝影機上時，因信號產生處理部94會對第1 0圖所示之信號處理裝置71供應4種色信號，線性矩陣處理部95會實施從4 色（R、Gl、G2、B)信號產生3色（R、G、B)信號之轉換處理。此轉換處理因係針對亮度線性之（以線形轉換來表示亮度値）輸入信號値之矩陣處理，以下，有時亦會將線性矩陣處理部9 5實施之轉換處理稱爲線性矩陣處理。其次，參照第1 6圖所示之流程圖，針對第1 1圖所示之步驟S 2中執行之線性矩陣係數μ決定處理進行說明。又’線性矩陣係數Μ決定處理所使用之色靶係Macbeth Color Checker，又，使用之4色濾色器係具有第15圖所 -24 - (21) 1225940 示之分光感度特性者。步驟S41中’例如，選擇被當做ciE(Commisi〇n

Internationale del’Eclairange)之標準光源之一般晝光 D65(照明光L(又））做爲照明光。又，亦可將照明光變更成預估影像處理裝置頻繁被使用之環境之照明光等。又，^ ，假設照明環境爲複數時，亦可準備複數之線性矩陣。以下係針對選取晝光D65做爲照明光時進行說明。步驟S42中，會計算參照値Xr、Yr、Zr。具體而育參照値Xr以式（7-1)計算，Yr以式（7-2)計算，Zr以式 3) 計算。

Xr^k{ R(A)^L(A)^x(A)dA-il-l)

Jvis

Yr = R(A) · L(A) · γ(λ)άλ · · -(7 - 2)

Zr=k\ Κ(λ)·1(λ)·ζ(λ)άλ·

Jvis 物體之分光反射率 :色彩匹配函數又，常數k以式（8)計算。 k^H^L{X)^y{X)dA-i%) 例如，色祀爲Macbeth Color Checker時’計算24& 份之參照値。其次，步驟S 4 3中’計算4色濾色器之輸出値、 Glf、G2f、Bf。具體而言，Rf係以式（9-1)計算，Glf係以 -25- 1225940 (22) 式（9-2)計算，G2f係以式（9-3)計算，Bf係以式（9-4)計算。

Rf = kr R(A) · L(A) · r(A)dA---(9-1)

Glf = · Κλ)^Υκλ)άλ· · -(9 - 2) G2/ = k82L ^ · -(9 - 3)

Bf =kb^R(A)^LWb(A)dA--(9-4) h)，ii(;i)，：^(;i)，^a):濾色器之分光感度分布又，常數kr以式（10-1)計算，常數kgl以式（10-2)計算，常數kg2以式（10-3)計算，常數kb以式（10-4)計算。 it =l/f L(A)^r(A)dA·- (10-l) r Jvis kgl =ι/£^(λ)·ΪΊ(/ΐ)^··· do-2) kg2-l/jviLWj2(A)dA·- (10-3) *b=l/f 1{λ)·1{λ)άλ·- (10-4)

Jvis 例如，色靶爲Macbeth Color Checker時，計算24色份之輸出値Rf、Glf、G2f、Bf。步驟S44中，使步驟S43中計算所得之濾色器輸出値轉換成近似步驟S42中計算所得之參照値（χγζ ref)之矩陣’可以利用例如XYZ色空間之誤差最小平方法來計算。例如，計算之3 X 4矩陣爲以式（η)表示之a時，矩陣轉換（XYZexp)可以下述式（12)表示。 -26- •(11)1225940 (23)

aO a2 di a4 a4 a5 a6 al a8 a9 alO all XYZexp aO al ah a4 A Y a4 a5 a6 al a8 a9 alO all % G2f _ V • .(12) 又，針對參照値之矩陣轉換（式（12))之誤差之平方 (E2)，可以下式（13)表示，可依據此來計算針對參照値之矩陣轉換之誤差爲最小之矩陣A。 E2 = \XYZref - XYZexp|2· · -(13) 又，誤差最小平方法所使用之色空間亦可變更成 XYZ色空間以外者。例如，變換成對人類知覺而言爲均等之Lab、Luv、Lch色空間（知覺均等色彩匹配空間）後，實施相同之演算，即可計算出可重現知覺誤差較少之色之線性矩陣。又，這些色空間之値因利用XYZ値以非線形轉換計算所得，故誤差最小平方法亦可採用非線形計算法則。利用如上述所示之演算，可以計算出例如針對具有第 1 5圖所示之分光感度特性之濾色器之以式（1 4)表示之矩陣係數。 -27- 1225940 (24) • 0.476 0.905 0.261 -0.69Γ A = 0.2 1.154 -0.061 - 0.292 • · .(14) -0.004 0.148 0.148 -0.481 步驟 S45中會決定線性矩陣。例如，製成之最終 RGB影像資料以下述式（15)表示時，線性矩陣（LinearM) 可以如下所示之方式計算。 ΚΟΒουΐ = [Κ〇?0〇9Β〇]'...(15) 亦即，照明光爲D 6 5時，將s R G Β色空間轉換成X Υ Ζ 色空間之轉換式以含有ITU_R709.BT矩陣之式（16)表示’ 而可以該ITU-R709.BT矩陣之逆矩陣來計算式（17)° X" '0.4124 0.3576 0.1805" RSRGB Y = 0.2126 0.7152 0.0722 • GSRGB Z 0.0193 0.1192 0.9505_ J^sRGB _ •••(16)

RsRGB Gsrgb _ _ 3.2406 -0.9689 -1.5372 1.8758 -0.4986 0.0415 X • Y ….(17) BsRGB - • 0.0557 -0.204 1.057 z 利用式（12)之矩陣轉換式及式（15)及式（17)之ITU-R709.BT矩陣之逆矩陣計算’得到式（18)。式（18)之右邊含有ITU-R709.BT矩陣之逆矩陣、及乘以上述之矩陣値所得之線性矩陣在內。 -28- •••(18) 1225940 (25) * 3.2406 -1.5372 -0.4986' a0 α2 α3 α4 • Rf· Go = - 0.9689 1.8758 0.0415 * aA α5 α6 αΐ . Λ- 0.0557 -0.204 1.057 α8 α9 αΙΟ all Jf - 亦即，3 X 4之線性矩陣（LinearM)係以式（19-1)袠示，例如，針對利用式（14)之矩陣係數而爲具有第15 ® 所示之分光分布特性之4色濾色器，其線性矩陣係以@ (19-2)來表示。 la 12 13 14 LinearM = /4 15 16 11 18 19 no /11 α0 α2 α3 α4 • α4 α5 αβ α7 ."(19-1) aS α9 alO all 3.2406 -0.9689 0.0557 -1.5372 1.8758 一 0.204 -0.4986" 0.0415 1.057 1.238 1.084

LinearM = -0.087 1.295 一0.018_0.029 0.228 -1.55 一 0.309 0.101 ---(19-2) 1.535 -0·485_ 如以上所示之方法計算所出之線性矩陣，會提供給第 1 〇圖所示之線性矩陣處理部95。因此，可針對可以線形轉換表示亮度之信號（R、Gl、G2、Β)實施矩陣處理，和如第2圖所示之信號處理部1 1之處理相比，亦即，和實施伽馬處理後再對得到之信號實施矩陣處理時相比，在色彩工學上可重現更忠實之色。其次，針對第1 1圖所示之步驟S6所實施之評估進行說明。 -29- (26) 1225940 將以上述方法製成之例如配設著具有第1 5圖所示之分光感度特性之4色濾色器之攝像裝置的色重現性、及配設著第1圖所示之3色濾色器之影像處理裝置的色重現性進行比較時，會出現如下所示之差異。將以2種類之影像輸入裝置（配設著4色濾色器之攝像裝置、及配設著3色濾色器之攝像裝置）實施Macbeth 圖之攝像時之輸出値及參照値之Lab色空間之色差可分別以下述式（20)計算。 = 7(1丨-12)2 + (七12)2 + %-&2)2· · .(20) L】_L2係2種試料之明度差，a】-a2、brh係2種試料之色相•彩度之成分差。第17圖係利用式（20)計算之結果圖。如第17圖所示，配設3色濾色器之攝像裝置時，色差爲^ 3 .3 2」，相對於此，配設 4色濾色器之攝像裝置時，色差爲「1.39」，「色之感覺」方面，配設4色濾色器之攝像裝置較佳（色差較小）。第18圖中，物體R1之R値爲「49.4」、G値爲「64.1」、B 値爲「149.5」，物體 R2 之 R値爲「66.0」、G値爲「63.7」、B値爲「155.6」。因此，4 色濾色器時，物體R1及物體R2之RGB値爲不同之値，故和以眼睛觀看時相同，可識別各物體之色。亦即，配設可識別4種色之濾色器，可改善「色判別性」。 -30- 1225940 (27) 以上之4色濾色器61，如第6圖所不’係由在G1濾色器之左右配設B濾色器、及在G2濾色益之左右配1^ R 濾色器之配列所構成，然而，亦可以爲第1 9圖所示之配列所構成。第1 9圖所示之4色濾色器61時’ G1濾色器之左右配設著R濾色器，且G2濾色器之左右配設著8濾色器。以此方式構成4色濾色器6 1時’亦和第6圖所示者相同，可提高「色判別性」、「色重現性」、以及「雜訊減少性」。然而，以色差（△ E値）爲最小之方式決定線性矩陣係數Μ時，若形成於影像感測器45前段部之濾色器之分光感度如第4圖所示之重疊時，如式（2 1 )所示，線性矩陣係數Μ之差會變大。 '6.56 -5.54 1.18 ' 8\λ) = -2.01 3.12 -0.16 * gW W). _ 0.12 -0.28 1.07 ΗΛ) 因爲攝像元件之輸出信號含有微小雜訊成分，故使用此線性矩陣係數Μ實施色分離處理時，微小雜訊成分亦會放大。因此，爲了避免線性矩陣係數Μ之差變大，考慮雜訊減少性之程度必須重於色重現性。然而，以該攝像裝置實際攝取被攝體時，依據攝像場景及環境，有時需以雜訊減少性重於色重現性之方式來決定線性矩陣係數Μ，實施適當之線性矩陣處理來提高畫質，相反的，有時則需以色重現性重於雜訊減少性之方式來決定線性矩陣係數 -31 - (28) 1225940 Μ，實施適當之線性矩陣處理來提高畫質。又，因爲攝像裝置之用途會因使用者而不同，故有時會希望使用者可以自由決定線性矩陣係數Μ。因此’本專利發明之攝像裝置爲了解決如上述之問題，而依第20圖所示之流程圖決定線性矩陣係數Μ。首先’決定使用之圖及照明光（步驟S50)，其次，定義色重現性指標△ Ε(Μ)(步驟S51)，接著，定義雜訊減少性指標〇Ν(Μ)(步驟S52)，再定義評估指數EEV(M)(Err0r Evaluation Value)(步驟 S53)，其次，依據評估指數 EEV(M)決定線性矩陣係數Μ(步驟 S54)。又，步驟 S5 中，會適度依據攝像條件等改變評估指數EEV(M)，決定對應之線性矩陣係數Μ。以下，針對各步驟進行詳細說明。針對使用之圖及照明光之決定（步驟S50)進行說明。爲了決定線性矩陣係數Μ，必須決定色圖、及照射該色圖之光源。色圖可以考慮由 Macbeth Color Checker、 Digital Camera Color Checker、ΙΤ8·7 等具有複數均一色平面之色標所構成之各種反射圖及透射圖。照明光則可考慮攝像裝置經常使用之具有接近環境光之分光感度者（例如’ D55及光源等）。又，攝像裝置因係考慮可依使用者之使用目的而在各種光源下使用，故照明光並未限定爲經常使用之環境光。其次，針對色重現性指標△ Ε(Μ)之定義（步驟S51)進行說明。色重現性係以目標色、及代表在攝像裝置之線性 -32- 1225940 (29) 矩陣處理部95實施線性矩陣處理後之信號値之色（以下稱爲輸出色。）之差來進行定義。又，色之値可以考慮RGB 値、YCbCr値、或X YZ値等之各種値，然而，利用相對於人眼視覺而爲知覺均等之色空間之値（L*a*b*値、 L*u*v*値等）來進行定義，可以更正確地表現色之差異。例如，色圖中之第 k 個色標之目標色爲 Labref_k(L*ref__k，a*ref_k，b*ref_k)、攝像裝置之輸出色爲 1^&*13*511。1_“[*5^1。1_1^，&*511。1_1{，1)%11。1_1〇時，此色標之色差 △ Ek如式（22)所示。

-L shot ：)2+(α3 ref. ^shot^k)2 + ^^ref^k •h* D shot _k ) •••(2 2) 又，色重現性指標△ E(M)可以考慮色圖之各色標之平均△ E値、或重視對各色標實施加權之特定色的色重現性之値等。

TotalPatchNum 1 TotalPatchNum

ΔΕ 其中，Wk係對各色標之加權係數，TotalPatchNum係色標之總數。又，實際上之攝像裝置之輸出色因經過線性矩陣處理，故L*a*b*sh()t_k爲線性矩陣係數μ之函數値，因此， -33- 1225940 (30) △ Ek、ΔΕ皆爲Μ之函數値。 Δ£(Μ):

TotalPatchNum 1 TotalPatchNum AEk(M)

TotalPatchNum (M))2Hb*re/ k-b*shol k(M))2 .· (24) 其次，針對雜訊減少性指標σ N(M)之定義（步驟S52) 進行說明。雜訊減少性指標σ N(M)係以經過攝像裝置之線性矩陣處理部9 5實施線性矩陣處理之信號値之標準偏差來進行定義。信號値可考慮 RGB値、YCbCr値、或 XYZ値等，然而，利用相對於人眼之感覺而爲知覺均等之色空間之値（L * a * b *値、L * u * v *値）等來定義信號値，可得到和人可感覺到之雜訊感具高相關性之雜訊値σ Nk。又，雜訊値係對應信號値之色空間而爲色空間之各成分之標準偏差。例如，RGB空間時，雜訊値爲Σ r、σ G、σ Β，XΥΖ空間時’雜訊値爲σ χ、σ γ、σ ζ。雜訊減少性指標σ Ν(Μ)之定義上，係利用這些雜訊値來決定1個雜訊指標。例如’在照明光下攝取某色標時，若明度雜訊爲 σ L * k、色雜訊爲σ a * k、σ b * k，，則 L * a * b *空間之雜訊値 σ N k可以這些値來定義，例如，以考慮如式（2 5 )之明度及色雜訊來定義。

σΐ* wL*

+ ob* wb^) -34- 1225940 其中，wl/k、wa\、wb#k係各標準偏差値之加權係數，可以和人眼可感覺之雜訊感之相關性進行適當設定。又，雜訊値σ Nk可考慮使用其他色空間之分散値者等。雜訊減少性指標σ N(M)可考慮色圖之各色標之平均σ N 値、或重視對各色標實施加權之特定色之雜訊減少性之値等。

實際上，因爲攝像裝置之信號値經過線性矩陣處理，故σ Nk及σ Ν爲線性矩陣係數Μ之函數値。 oN(M)

其次，針對評估指數EEV(M)之定義（步驟S53)進行說明。利用上述步驟S 5 1及步驟S 5 2之定義，考慮線性矩陣係數Μ之函數値之色重現性指標△ E(M)、及雜訊減少性指標σ N(M)之二値的評估指數 EEV(Error Evaluation Value)(M)，可定義成如式（28)所示。 EEV(M) = /L/1wc-/i(A£(M))) + fc{wn ^(^)))] -35- (32) 1225940 其中’ h、1、j、k、1係代表函數，wc係代表對色差之加權係數，wn係對雜訊値之加權係數。以改變wc及 wn使評估指數EEV(M)成爲最小之方式來決定線性矩陣係數Μ，而可在考慮色重現性及雜訊減少性之雙方下決定線性矩陣係數Μ。又，重視色重現性時，以wc>wn來設定加權即可’重視雜訊減少性時，以w c < w η來設定加權即可。其次，針對線性矩陣係數Μ ‘之決定手段（步驟S54)進行說明。針對步驟S53中定義之評估指數EEV(M)以誤差最小平方法決定線性矩陣係數Μ。又，步驟S 5 4中，適度決疋 wc 及 wn，例如，將 Newton 法、Steepest Descent 法、或Conjugate Gradient法等當做回歸法則使用，應用誤差最小平方法決定線性矩陣係數Μ。又’步驟S54中，針對依據攝像裝置攝取被攝體時之環境或條件等而在步驟S53中定義之評估指數EEV(M)，適度改變其色差之加權係數wc、及其雜訊値之加權係數 wn ’以誤差最小平方法決定線性矩陣係數μ。第2 1圖係雜訊値減少性指標σ Ν(Μ)在色重現性指標△ Ε(Μ)變化時之變化情形。如第2 1圖所示，1個攝像元件亦會因爲線性矩陣係數Μ而存在色重現性指.標△ Ε(Μ)及雜訊減少性指標σ Ν(Μ)之折衷。利用此結果，可適度對應各種攝像環境及條件等來決定線性矩陣係數Μ。又，亦可預先準備數組線性矩陣係數Μ之組合，使用者可在必要時選擇線 -36- 1225940 (33) 性矩陣係數Μ來調節色重現性指標△ E(M)及雜訊減少性指標σ N(M)。此處，假設攝像裝置係具有由第2 2圖所示之特性之 4色濾色器所構成之C C D攝像元件，針對依據上述步驟 S 5 0〜步驟S 5 4來決定線性矩陣係數Μ之具體實例進行說明。首先，決定使用之圖及照明光（步驟S50)。色圖使用 Macbeth Color Checker(含有 24色之色標），照明光則使用D55光源（CIE疋義之5500k標準晝光）。又，各分光資料係例如以分光放射亮度計檢測者。其次，定義色重現性指標△ E(M)(步驟S5i)。將目標色視爲人眼之感覺，而以Lab空間之色差△ E做爲指標。一般而言，物體色係將「物體之分光反射率」、「照明之分光能量分布」、及「感測物體之感測器之分光感度分布」之積在可見光區域vis(通常爲40〇nm〜700nm)之範圍實施積分，再利用所得之値以式（2 9)之方式來進行定義。物體色=$ vis(物體之分光反射率）·（照明之分光亮度） •(感測物體之感測器之分光感度）...（29) 其次，若採用代表人眼之分光感度之等色函數，則色圖之第 k 個色標之目標色 XYZref_k(Xref_k、Yref_k、Zref—k) 可利用式（29)而以式（30)來表示。 -37· 1225940 (34)

Xref^-rnjvisRk(A)L(A)x(A)dA Yref^-rnj^R^ L^ ^dA t ... (3〇)

Zref_k = m\ vis Rk (^) * LW * Ζ{λ)άλ ^ 其中，RkU): Macbeth圖中之某第k個色標之分光反射率 L( λ )：照明光D55分光放射亮度

色彩匹配函數 m-l/jvisL(A)-y(A)dA 又，通常會使用式（31)將 XYZ空間之色轉換成 L * a * b *空間之色。 L* = ii6(y/yj1/3-i6 ’ a* = 5〇o-|(x/xj1/3-(y/yj1/3) ， ···（31) = 2〇〇 · |(y / yn )1/3 - (z / zn )1/3 j

其中，（χη、γη、zn)係完全擴散反射面（白點）之XYZ 値。其次，以式（31)將目標色 XYZref_k轉換成 L*a*b*ref k(L*ref一k、a*ref k、b*ref_k)。又，攝像元件輸出之信號値 raw 資料 RGBXraw_k(Rraw_k、Graw_k、Braw_k、Xraw_k)，若採用式 (2 9)，則會如式（3 2)所示。 -38- …（32) (35) 1225940

^raw^k = mrj vi sRk{A)L{A)r{X)dA G , raw^k = mgjv isRk(A)L(A)^(A)dA ^raw_k sRk(A)L(A)b^)dA y ^ raw = mxjv isRk(A)L(A)x(A)dA 其中，攝影機之CCD濾色器之分光感度分布 mg = l/jvisL(A)g(A)dA mb^l/j^LWbWdA mx = 1/J vii L{X) ·χ{λ)άλ 因爲攝像裝置之線性矩陣處理部9 5會利用線性矩陣係數 M(m0 〜mil)對 raw 資料 RGBXraw_k(Rraw_k、Graw_k、 Braw_k、Xraw_k)實施線性矩陣處理，故線性矩陣處理後之攝像資料會如式（33)所示。 [Ra ,1 -R / Λ raw cam^k ^ cam _ k =M · ^ raw B , B v raw^k cam X 八 raw_k • R m0 ml m2 m3 Kraw^k ^raw^k B row _k m4 m5 m6 ml • m8 m9 mlO mil Y /raw 人

其次，將上述 RGB 轉換成XYZ値。又，轉換 -39- 1225940 (36) 時，如式（3 4)所示，係採用一般使用之709系矩陣Mm。 -χ- 'R "0.4124 0.3576 0.1805" Υ =Λί709 * G = - 0.9689 1.8758 0.0415 ζ Β _ 0.0557 - 0.204 1.057 _

R

G

B 其次，利用式（34)求取 Xeam_k、Yeam_k、及 Zcamj。

又，利用式 (L*a*b*cam_k(L*cam k、a*cam (31)轉 k、b*c 換成 L*a*b* 値 m一k))，以式（36)之方 r · X cam_k •0.4124 0.3576 0.1805' V x cam _ k = -0.9689 1.8758 0.0415 ZCam_k _ 0.0557 -0.204 1.057 式定義色圖之第k個色標之色差AEk。瑪=yl(L*refk-L*camk)2 心k-a*camk)2 +(b*ref_k-b*camJc)2 •••(3 6) 又，因使用L*a*b*eam_k之値，故△ Ek爲線性矩陣係數Μ之函數値，而可以ΔΕ^Μ)來表示。如式（37)所示，係以各色標之色差之平均値來定義色重現性指標△ Ε(Μ)。 Δ£(Μ)

TotalPatchNum

ToalPatchNum；K (Μ) -40- (37)1225940 其中，TotalPatchNum = 24:色標之,'| 其次，定義雜訊減少性指標σ Ν (Μ)(步驟s 5 2)。此處係依據含有經過攝像裝置之線性矩陣處ί里部9 5 處理後之信號値在內之σ L(M)成分來定義σ Ν(Μ)。一般而言，CCD攝像元件本身輸出之信號cv c 含有之雜訊N〇ise_raw可以式（38)來定義。又，實施 C D所

Noise raw - 4ShotNoiseCoef · CV_CCD + DarkNoise=ylShotNoise + DarkNoise m · #(38) 又，ShotNoiseCoef 及 DarkNoise 係依據 CCD 攝件之裝置特性而決定之値。DarkNoise爲不受信號値之雜訊成分（Fixed Pattern Noise 等），ShotNoise 係會號値影響之雜訊成分（Sensor Dark Noise，Photon N o i s e 等）。使用式（3 1)的話，評估攝像裝置之第k個色標之資料所含有之雜訊成分可以式（3 9)來定義。像元影響受信 Shot raw

NoiseRraw k = ^ShotNoiseCoef * Rraw k + DarkNoise NoiseGrowth = ^ShotNoiseCoef · Graw k + DarkNoise Noise Braw k = ^hotNoiseCoef. Braw k + DarkNoise Noise Xraw k = ^ShotNoiseCoef · Xraw k + DarkNoise ··· (39) 又，文獻（P· D· Burns and R. S. Berns， “Error -41 - 1225940 (38)

Propagation Analysis in Color Measurement and Imaging，， Color Research and Application, 1997)中，記載著以下所示之雜訊傳播理論。若以（m X η)矩陣 A將特定輸入信號 X’ = [Xi、 X2、…、Xn]線形轉換成Y’ = [Yl、Y2、…、Ym]，則可以式 (40)表以。 Y，=A · X，...（40) 此時，若輸入信號X’之分散共分散行列Σχ如式（41) 所示，則對角成分爲輸入信號之Noise分散値。 σ\\ ση …〜 σ21 σ22

若輸入信號値間並無相關，則行列成分中之共分散成分（亦即，非對角成分）爲0。此時，輸出信號Υ之分散共分散行列Σ y定義成式（4 2 )。 Σγ =Α · ΣΧΑ? ...(42) 又’式（42)係可以線形轉換實施轉換之色空間之間之 N 〇 i s e分散値的傳播理論式。 -42- 1225940 (39) 又’爲了將攝像裝置之線性矩陣處理部9 5貫施線性矩陣處理後之信號RGBeam_k轉換成L*a*b*eam_k，必須實施從 RGB空間至 χγζ空間之轉換處理（以下稱爲 RGB + XYZ轉換處理。），然後，再實施從χγζ空間至 L*a*b*空間之轉換處理（以下稱爲 XYZ->L*a*b*轉換處理。）。RGB+ XYZ轉換處理可以使用式（3 4)所示之709系矩陣M7G9來實施線形轉換，然而，χγζ今L*a*b*轉換處理則必須爲式（31)所示之非線形轉換。然而，XYZ + L*a*b* 轉換處理因爲雜訊量只爲微小量，故可使用Jacobian矩陣 JL*a*b_k實施線形近似，而和 RGB + XYZ轉換處理相同，可以線形轉換來實施。將線性矩陣後之信號値轉換成XYZ値後，若其値爲 XYZcam_k(Xeam_k、Yeam_k、Zeam — k) ’ 則可以式（43)表示。】L*a*b 一 k = J〇D(XYZcam — k)··· (43) 其中，爲式（44)。 J〇 0 116 0 · 500 - 500 0 0 200 -200 又，若 • ••(44) -43- _2 (40)1225940 一'a ^mb ^ 一 >0.008856 3 b 7.787 ·ίΓ】 b < 0.008856 則成爲式（45)。 D(XYZcam k) 0 0

v(U) 00 v(u) 0 〇 v(Zcflm_^ZJ •(45) 其中，完全擴散反射面（白色）之χγζ値爲XYZn(xn、 Υη ' Ζη) 因此，用以將CCD攝像元件輸出之raw資料線形轉換成Lab値之近似矩陣Mt〇tal_k如式（46)所示。 (4 6) ^total k = ^L*a*b* k * ^709 ' ^ 應用式（46)之矩陣及式（42)所示之雜訊傳播理論式，則色標之明度雜訊σ Lk可以利用式（4 7)進行計算。

^L*e*fc*_* = ^total_k ' ^RGBraw_k ' ^total' σ2ΙΛ aL*b*k" Λ** aa*b*k =Mtotal_k ob^L*k σΰ*α' a2b*t J

NoiseRawR^k 0 0 0 0 NoiseRawG 一 k 0 〇 M ' 〇〇 NoiseRawB _k 0 ,〇(* 0 0 0 NoiseRawX _ k • · · (47) 因此，可利用式（47)導出式（48)。 -44- 1225940 (41) y[a2L\ ...(48) 又，式（4 8)因係線性矩陣係數M之函數，故可以σ L*k(M)表示。雜訊減少性指標σ Ν(Μ)因係色標之各明度雜訊之平均値，故可定義成式（49)。 24 = (1/24)· JVl'(Μ) …（4 9) 其次，考慮以上述方法定義之色重現性指標△ E(M)及雜訊減少性指標σ N(M)之評估指數EEV(M)，可以定義成式（5 〇)(步驟 S 5 3 )。 EEV(M) = ^(wc -AE(M))2 ^(wn aN(M))2 · · -(50) 其中， wc :色重現性之加權係數 wn :雜訊減少性之加權係數其次，以誤差最小平方法求取式（50)之解，決定線性矩陣係數Μ。例如，若w c = 1、w η = 2，則評估指數E E V (Μ) 可以式（5 1 )表示。 EEV(M) = ^ΔΕ(Μ)2 + (2·σΝ(Μ))2 …（5 1) 45- (42)1225940 以誤差最小平方法求取式（51)之解係數Μ可以式（52)表示（步驟S54)。決之線性矩陣 •1.57 -0.43 -0.01 -0.12' Μ = -0.14 1.25 -0.37 0.26 -0.01 -0.27 1.68 -0.40 (52) 另一方面，若wc=l、wn = 0，亦即，只針之色差最小矩陣會成爲式（53)。 '1.48 0.56 0.35 -1.39 Μ - - 0.22 2.19 -0.01 -0.96 -0.06 0.27 1.93 -1.14 將式（52)及式（53)進行比較，很明白可知係數大小差異較大、雜訊增強之矩陣。此處’針對依據攝像裝置之I S Ο感度設定性矩陣係數Μ之具體實例進行說明。攝像裝置感度之設定來放大或減縮CCD攝像元件輸入；稱爲輸入信號。）。將攝像裝置之ISO感ί IS0100變更成IS0200時，輸入信號會被放j 時之2倍並被輸入至攝像裝置。然而，攝像裝感度之設定狀態爲何，對全部輸入信號以同一數Μ實施線性矩陣處理，故ISO感度之設定輸入信號含有之雜訊成分會隨著輸入信號之放對色重現性道式（53)係適度決定線係依據I S 0 匕信號（以下 I之設定從 :成 ISO 1 00 置不論I S 0 線性矩陣係爲較高時，大而放大。 -46- (43) 1225940 因此，即使將ISO感度設定成較高來得到高解析度之影像，結果卻會產生含有放大之雜訊成分在內之影像。因此，本專利發明之攝像裝置時，係考慮依據ISO感度設定而放大或減縮之輸入信號所含有之雜訊成分的減少性來決定線性矩陣係數Μ，並使用該線性矩陣係數Μ實施線性矩陣處理。如表1所示，對應I S Ο感度設定改變對應雜訊減少性之加權係數（wn)，將wc及wn代入式（50)針對每次I S 0感度設定來決定線性矩陣係數Μ。因此，攝像裝置可以利用依據ISO感度之設定狀態而決定之線性矩陣係數Μ來實施線性矩陣處理，故即使設定較高之IS Ο感度，亦不會導致雜訊成分隨之放大，而可得到高解析度之影像。表1 ISO感度設定 WC wn 100 1 1 200 1 2 400 1 4 800 1 6 此處，係針對依據以攝像裝置攝取被攝體之環境來適度決定線性矩陣係數Μ之實例進行說明。例如，攝像裝置攝取夜景等被攝體時，產生之影像的大部份係較暗之部份（暗部），此暗部若產生雜訊，則會非常明顯。此時，雜 -47- 1225940 (44) 訊成分之減少性應重於色重現性。

因此，本發明之攝像裝置時，依據攝取被攝體之場景在考慮雜訊減少性及色重現性之情形下決定線性矩陣係數 Μ，並使用該線性矩陣係數Μ實施線性矩陣處理。如第 2 3圖之直方圖所示，攝像裝置之亮度動態範圍之一半以下之區域含有產生之影像之亮度成分之70 %以上時，應以重視雜訊減少性之方式來決定線性矩陣係數Μ，其餘則應考慮色重現性及雜訊減少性來決定線性矩陣係數Μ。具體而言，如表2所不，對應攝像場景改變雜訊減少性之加權係數（wn)，將wc及wn代入式（50)，針對各攝像場景決定線性矩陣係數Μ。因此，攝像裝置因可利用依據攝像場景而決定之線性矩陣係數Μ來實施線性矩陣處理，故即使產生之影像之大半爲暗部，雜訊成分亦不會太明顯。表2 攝像場景 W C w η 夜景 1 8 其餘 1 2

此處，係依據使用攝像裝置之使用者的要求來適度決定線性矩陣係數Μ之具體實例進行說明。以攝像裝置攝取被攝體所產生之影像，會因爲使用者之用途，往往會有要求雜訊較少更重於要求色重現性之情形。事實上，攝像裝置之製作公司並無法獲得使用者之用途，只有使用者自 -48- 1225940 (45) 己才會知道。

因此’本專利發明之攝像裝置係依據使用者期望之條件來決定線性矩陣係數Μ，並使用該線性矩陣係數Μ來貫施線性矩陣處理。如表3所示，對應雜訊量調節變數來改變雜訊減少性之加權係數（wn)，將wn及wc代入式 (5 〇) ’可針對雜訊量調整變數來決定線性矩陣係數μ，若儲存決定之線性矩陣係數Μ，當使用者利用該攝像裝置之介面改變雜訊量調節變數時，即可決定特定之線性矩陣係數Μ ’並以該線性矩陣係數μ實施線性矩陣處理。因此’因爲攝像裝置可利用對應使用者要求而決定之線性矩陣係數Μ來實施線性矩陣處理，故可實施對應使用者之使用狀況來調節雜訊量。表3 雜訊量調節變數 WC wn 0 1 1 1 1 2 2 1 3 3 1 4 4 1 5 5 1 6

又’表3中，雜訊量調節變數之數値愈大，即代表雜訊量會愈少。又，亦可在攝取前不實施雜訊量調節變數之 -49 - (46) 1225940 設定’而在按下攝像裝置之攝取開始按鈕時，將經過使用數個線性矩陣係數Μ實施線性矩陣處理後之影像儲存於複數記憶體上。具有此構成之攝像裝置因會依據第i 2圖所示之流程圖決定形成於影像感測器4 5前段部之4色濾色器6 1，故可改善「色重現性」當中之「色判別性」，又，信號處理部7 1會對亮度實施線形轉換，因爲會對所得到之信號 (R、Gl、G2、B)實施矩陣處理，和第2圖所示之信號處理部Η之處理相比，亦即，和對實施伽馬處理後所得到之信號實施矩陣處理時相比，在色彩工學上可重現更忠實之色，其次，信號處理部71之線性矩陣處理部9 5實施線性矩陣處理時，因會對應攝像條件等決定線性矩陣係數 Μ，故可提高攝像影像之色重現性及雜訊減少性。又，本發明並未受限於參照圖面實施說明之上述實施例，只要未背離附錄之申請專利範圍及其主旨，相關業者應可實施各種變更、置換、或等效取代。本發明之攝像裝置因爲具有：用以調整代表針對人眼之感覺可忠實重現色之色重現値、及代表人可感覺之雜訊感之雜訊値的調整部；依據上述調整部之調整來決定矩陣係數之矩陣係數決定部；以及以上述矩陣係數對以該攝像裝置具有之攝像元件部攝取之影像實施矩陣轉換處理之矩陣轉換處理部；因此，可對應攝像環境及條件適度決定線性矩陣係數Μ，並使用該線性矩陣係數Μ實施線性矩陣處理。 -50- (47) 1225940 又，本發明之攝像方法係利用分光特性不同之濾色器，因爲具有：用以調整代表針對人眼之感覺可忠實重現色之色重現値、及代表人可感覺之雜訊感之雜訊値的第1 步驟；依據上述第1步驟之調整來決定矩陣係數之第2步驟；以及以上述矩陣係數對以攝取被攝體之攝像元件部攝取之影像實施矩陣轉換處理之第3步驟；因此，可對應攝像環境及條件適度決定線性矩陣係數Μ，並使用該線性矩陣係數Μ實施線性矩陣處理。【圖式簡單說明】第1圖係傳統RGB濾色器例圖。第2圖係配設於傳統攝像裝置之信號處理部構成例方塊圖。第3圖係分光感度特性例圖。第4圖係分光感度特性之其他例圖。第5圖係應用本發明之攝像裝置之構成例方塊圖。第6圖係應用本發明之攝像裝置之4色濾色器例圖。第7圖係視感度曲線例圖。第8圖係評估係數特徵圖。第9圖係具有應用本發明之攝像裝置之攝影機系統 LSI構成例之方塊圖。第1 0圖係第9圖之信號處理部構成例方塊圖。第1 1圖係影像處理裝置之作成處理之說明流程圖。第12圖係第11圖之步驟S1之4色濾色器決定處理 -51 - 1225940 (48) 之詳細說明流程圖。第1 3圖係虛擬曲線之例圖。第14圖（A)至第14圖（C)係各濾色器之UMG値例圖。第1 5圖係4色濾色器之分光感度特性例圖。第1 6圖係第1 1圖之步驟S 2之線性矩陣決定處理之詳細說明流程圖。第1 7圖係色差之評估結果例圖。第18圖係4色濾色器之特定物體之色度圖。第1 9圖係配設於應用本發明之攝像裝置之4色濾色器之其他例圖。第2 0圖係以可調適方式決定線性矩陣係數Μ之流程圖。第2 1圖係改變色重現性指標時之雜訊減少性指標變化圖。第22圖係4色濾色器之分光感度特性例圖。第23圖係影像之直方圖。 [元件符號之說明]

96-3伽馬補償處理部 96-2伽馬補償處理部 96-1伽馬補償處理部 25 RGB信號產生處理部 46 TG -52- (49) (49)1225940 51外部記憶媒體 22白平衡補償處理部 92白平衡補償處理部 43 光圈 27色差（C)信號產生處理部 98色差（C)信號產生處理部 23伽馬補償處理部 44快門 26亮度（Y)信號產生處理部 97亮度（Y)信號產生處理部 94信號產生處理部 1 1信號處理部 71信號處理部 13前端 47前端

24垂直方向同步化處理部 93垂直方向同步化處理部 74記憶體介面 75記億體控制器 21偏移補償處理部 91偏移補償處理部 42透鏡 41微電腦 12微電腦I/F -53 1225940 (50) 73微電腦介面 7 7監視器介面 49影像記憶體 45影像感測器 5 0影像監視器 72影像檢波部 95線性矩陣處理部 28頻帶限制時間進位處理部 99頻帶限制時間進位處理部· 76壓縮•解壓縮部

48攝影機系統LSI -54

Claims

1225940 (1) 拾、申請專利範圍 1. 一種攝像裝置，係由分光特性不同之濾色器所構 $ ’具有用以攝取被攝體之攝像元件部，其特徵爲具有：調整手段，用以調整色重現値、及代表雜訊感之雜訊値；矩陣係數決定手段，用以依據上述調整手段之調整決定矩陣係數；矩陣轉換處理手段，用以以上述矩陣係數對上述攝像元件部攝取之影像實施矩陣轉換處理。 2 ·如申請專利範圍第1項之攝像裝置，其中上述調整手段可對應該攝像裝置之攝像感度適度調整上述色重現値及上述雜訊値。 3 ·如申請專利範圍第〗項之攝像裝置，其中上述調整手段可對應該攝像裝置之攝像環境適度調整上述色重現値及雜訊値。 4 ·如申請專利範圍第1項之攝像裝置，其中上述調整手段可任意調整上述色重現値及上述雜訊値。 5 . —種攝像方法，係以攝像裝置攝取被攝體，前述攝像裝置係由分光特性不同之濾色器所構成，具有用以攝取被攝體之攝像元件部，其特徵爲具有：第1步驟，用以調整色重現値、及代表雜訊感之雜訊値；第2步驟，用以依據上述第1步驟之調整決定矩陣係 -55- 1225940 (2) 數；以及第3步驟，用以以上述矩陣係數對上述攝像元件部攝取之影像實施矩陣轉換處理。 -56-