TWI428025B - Image processing apparatus and image processing method, image capturing apparatus and computer program product - Google Patents

Image processing apparatus and image processing method, image capturing apparatus and computer program product Download PDF

Info

Publication number
TWI428025B
TWI428025B TW099113905A TW99113905A TWI428025B TW I428025 B TWI428025 B TW I428025B TW 099113905 A TW099113905 A TW 099113905A TW 99113905 A TW99113905 A TW 99113905A TW I428025 B TWI428025 B TW I428025B
Authority
TW
Taiwan
Prior art keywords
crosstalk
correction
evaluation value
calculation unit
correction coefficient
Prior art date
Application number
TW099113905A
Other languages
English (en)
Other versions
TW201106705A (en
Inventor
Masanori Kasai
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201106705A publication Critical patent/TW201106705A/zh
Application granted granted Critical
Publication of TWI428025B publication Critical patent/TWI428025B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Description

圖像處理裝置及圖像處理方法、攝像裝置及電腦程式產品
本發明係關於一種將來自具有色彩編碼之彩色濾光器的攝像元件之輸出信號進行處理之圖像處理裝置及圖像處理方法、攝像裝置及電腦程式，尤其係處理將來自白像素用於色彩編碼之攝像元件的輸出信號之處理裝置及圖像處理方法、攝像裝置及電腦程式。
相機作為記錄視覺資訊之器件有很長的歷史。最近，代替軟片或感光板攝像之銀鹽相機，而使用CCD(Charge Coupled Device，電荷耦合元件)及CMOS(Complementary Metal-Oxide Semiconductor，互補式金氧半導體)等固體攝像元件將捕捉到之圖像數位編碼之數位相機正廣泛普及。數位相機具有以下優點：可將經數位編碼之圖像記憶於記憶體，而利用電腦進行圖像處理及圖像管理，且無軟片壽命問題。而今，數位靜態相機、數位攝影機、或搭載於行動電話或PDA(Personal Digital Assistants，個人數位助理機)之數位相機、監視用相機大多使用固體攝像元件而構成。
CCD及CMOS之任一者之攝像元件皆係由呈二維排列之各像素(光電二極體)利用光電效應使光轉換為電荷之機制而構成。於各像素表面設置有例如R(紅)、綠(G)、藍(B)三色中任一者之彩色濾光器，使與通過各彩色濾光器之入射光量相對應之信號電荷蓄積於各像素中。彩色濾光器係為通過期望波長之光之帶通濾波器。且，該彩色濾光器可自各像素讀取對應於各色的入射光量之信號電荷，而根據3色之各信號電荷量再現各像素位置上之入射光的色彩。
進來，隨著微細化技術之進步，攝像元件之高解像度化亦有所進展。但，伴隨高解像度而使像素微細化，會導致每個像素中所蓄積之電荷量降低，而有感度減低之疑慮。作為一種實現高感度之方法，已提案有一種顏色編碼，其係由含有於像素上不含光學帶通濾波器之[白(White)像素]之排列而構成(例如參照非專利文獻1)。如白像素之高感度像素相較於有色像素具有對入射光之感度高之特徵，例如於低照度之環境中，可提高感度特性(例如參照專利文獻1)。
圖12A係顯示原色系之代表性濾光器排列、即拜爾(Bayer)排列。又，圖12B係顯示含有白像素之濾光器排列之一例。惟圖中之R為Red(紅)色濾光器、G為Green(綠)色濾光器、B為Blue(藍)色濾光器，W為White(白)色濾光器。在圖示之例中，於RGB原色系之各色濾光器間間歇地插設有白像素。
又，伴隨著像素之微細化，於鄰接之間會產生光學‧電氣串訊，即發生混色(以下略稱為「串訊」)之虞。串訊之要因可例舉的是：由原本應聚光於相鄰進像素之光漏出，或是在像素間電子外洩等。
串訊會引起解像度降低或色彩資訊遺失，因此有必要進行修正。在此，串訊並非僅限於使用在排列中含有白像素之彩色濾光器的攝像元件之問題。但，由於自白像素有較多量的光洩漏，故相對於使用排列中不含白像素之彩色濾光器的攝像元件，其由串訊所導致之圖像劣化會格外顯著。
即使同樣是攝像元件，串訊量亦會因各自的微透鏡等之光學條件不同而有種種變化。這是因為串訊量依存於光之入射角度之故。由此，即使是在元件之晶片面內，也會因位置不同而導致串訊量不同。又，由於光朝向構成攝像元件之矽(Si)基板侵入之深度會因光之波長而不同，因此攝影時之光源之色溫亦會使串訊量發生變化。
例如，已有提案一種信號處理方法(例如參照專利文獻2)，其藉由使用與攝像元件之矚目像素鄰接之複數個周圍像素之各信號，及針對該各信號分別獨立設定之修正參數，對矚目像素之信號進行修正處理，來對應起因於光學條件之串訊量變化。但，根據該信號處理方法，修正參數值係根據將來自被攝物之光引導至攝像元件之光學系統所含有之光圈的數值口徑而設定。換言之，即為預先決定所使用之透鏡，事先測量對應透鏡之串訊量，然後對此進行修正者。因此，對於使用者可自由更換透鏡之更換透鏡型等，在透鏡資訊未知之狀況下，難以進行串訊量之修正。
[先行技術文獻] [專利文獻]
[專利文獻1]日本特開2007-288490號公報
[專利文獻2]日本特開2007-142697號公報
[非專利文獻]
[非專利文獻1]Y. Egawa,「A White-RGB CFA-Patterened CMOS Image Sensor with Wide Dynamic Range」(2008 IEEE International Solid-State Circuits Conference(ISSCC) p.52-53)
本發明之目的在於提供一種能夠將來自在色彩編碼中使用白像素之攝像元件的輸出信號進行適宜處理之優質圖像處理裝置及圖像處理方法、攝像裝置及電腦程式。
本發明之另一目的在於提供一種能夠將來自在色彩編碼中使用白像素之攝像元件的輸出信號中所含之串訊量進行適宜處理之優質圖像處理裝置及圖像處理方法、攝像裝置及電腦程式。
本發明之又一目的在於提供一種即使在所使用之透鏡等之光學條件為未知之狀況下，亦能將來自在色彩編碼中使用白像素之攝像元件的輸出信號中所含之串訊量進行適宜修正處理之優質圖像處理裝置及圖像處理方法、攝像裝置及電腦程式。
本發明係參酌上述課題而進行完成者，技術方案1所述之發明係為一種圖像處理裝置，具備：計算來自攝像元件之修正對象像素的輸出信號中所含之串訊量的評估值之串訊量計算部；基於自前述串訊量計算部輸出之評估值，計算串訊修正係數之串訊修正係數計算部；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正部。
依照本發明技術方案2所述之發明，技術方案1所述之圖像處理裝置之串訊量計算部係構成為，基於來自攝像元件之輸出信號，而計算前述修正對象像素之輸出信號中所含之串訊量的評估值。
依照本發明技術方案3所述之發明，技術方案1所述之圖像處理裝置之串訊量計算部係構成為，基於鄰接像素間之輸出信號的關係，而計算來自前述修正對象像素之輸出信號中所含之串訊量的評估值。
依照該申請案技術方案4所述之發明，係於技術方案1所述之圖像處理裝置中構成為，攝像元件使用含有白像素之色彩編碼。串訊並非限定於使用在排列中含有白像素之彩色濾光器之攝像元件所會產生之問題，但由於較多的光會從白像素中洩漏，故相較於使用排列中未含白像素之彩色濾光器的攝像元件，因串訊所導致之圖像劣化較為顯著。此情形下，如技術方案5所述，技術方案4所述之圖像處理裝置之串訊量計算部，在構造上亦可基於白像素以外之各像素信號量的總和與白像素之信號量之比率，而計算修正對象像素之串訊量的評估值。
更具體而言，如本發明技術方案6所述，技術方案4所述之圖像處理裝置之串訊量計算部，在構造上可基於對RGB各像素之信號量分別乘以特定係數(α、β、γ)所得的數值之總和、與對白像素之信號量乘以特定係數(ε)所得的數值之比率，而計算修正對象像素之相對串訊量之評估值。
依照本發明技術方案7所述之發明，技術方案4所述之圖像處理裝置串訊量計算部，在構造上係以N×N像素為處理單位(惟N為正整數)，計算串訊量之評估值。
依照本發明技術方案8所述之發明，技術方案7所述之圖像處理裝置之串訊量計算部，在構成上更具備儲存針對每個處理單位所計算之串訊量的評估值之記憶體；且串訊修正係數計算部及串訊修正部係使用前述記憶體中儲存之使用先前的訊框所計算之評估值，分別進行修正係數之計算及串訊之修正。
依照本發明技術方案9所述之發明，技術方案1所述之圖像處理裝置之串訊修正係數計算部，在構成上係預先計算由前述串訊量計算部計算出之串訊量評估值與修正係數之關係式，而於由前述串訊量計算部輸出之評估值被輸出時，參照前述關係式而計算對應於該評估值之修正係數。
依照本發明技術方案10所述之發明，技術方案1所述之圖像處理裝置之串訊修正部，在構成上係自修正對象像素之輸出信號中，減去對與修正對象像素鄰接之像素的輸出信號乘以前述修正係數所得之值，而去除串訊量。
依照本發明技術方案11所述之發明，技術方案1所述之圖像處理裝置之攝像元件，係於不含白像素之排列中，複數配置有含有白像素之評估值計算用排列。
依照本發明技術方案12所述之發明，技術方案11所述之圖像處理裝置之串訊量計算部，在構成上係使用各自之評估值計算用之排列，分別計算於該當位置上發生之串訊量的評估值。又，串訊修正係數計算部在構成上係於每個評估值計算用之排列所配置之位置，基於自前述串訊量計算部輸出之評估值，計算串訊修正係數。又，串訊修正部在構成上係於評估值計算用排列內，使用該修正係數進行串訊之修正，於評估值計算用排列外之區域，使用基於自鄰近評估值計算用之排列而獲得之串訊量評估值所決定之串訊修正係數，進行串訊之修正。
再者，本發明技術方案13所述之發明，係一種圖像處理方法，具有如下步驟：計算自攝像元件之修正對象像素輸出之信號中所含之串訊量的評估值之串訊量計算步驟；基於前述串訊量計算步驟中獲得之評估值，計算串訊修正係數之串訊修正係數計算步驟；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正步驟。
再者，本發明技術方案14所述之發明係一種攝像裝置，具備：具有色彩編碼之彩色濾光器之攝像元件，及處理前述攝像元件之輸出信號之信號處理部；前述信號處理部含有：計算自前述攝像元件之修正對象像素之輸出信號中所含之串訊量的評估值之串訊量計算部；基於自前述串訊量計算部輸出之評估值，計算串訊修正係數之串訊修正係數計算部；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正部。
再者，本發明技術方案15所述之發明，係一種電腦程式，其係以電腦可讀形式記述，而於電腦上實行自具有色彩編碼的彩色濾光器之攝像元件的輸出信號之處理者，且使前述電腦發揮如下功能：計算來自攝像元件之修正對象像素的輸出信號中所含之串訊量的評估值之串訊量計算部；基於自前述串訊量計算部輸出之評估值，計算串訊修正係數之串訊修正係數計算部；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正部。
本發明技術方案15之電腦程式，其定義為：為於電腦上實施特定處理，而以電腦可讀取形式記述之電腦程式。換言之，藉由將本發明技術方案15之電腦程式安裝於電腦上，而於電腦上發揮協同作用，可獲得與本發明技術方案1之圖像處理裝置相同之作用效果。
根據本發明，可提供一種即使在所使用之透鏡等之光學條件為未知之狀況下，亦能將在色彩編碼中使用白像素之攝像元件之輸出之信號中所含的串訊量進行適宜地修正處理之優質圖像處理裝置及圖像處理方法、攝像裝置及電腦程式。
依照本發明技術方案1、13至15之發明，即使無攝影中之光學資訊，僅自攝影資料亦可計算用以得知串訊量之評估值，可使用適於該評估值之修正係數進行串訊修正處理。
依照本發明技術方案2、3之發明，基於來自攝像元件之輸出信號計算串訊量，既便於所使用之透鏡等之光學條件為未知之狀況下，亦可進行串訊修正，又，可藉由數位信號處理進行串訊之修正。
依照本發明技術方案4至6之發明，使用白像素及RGB等其他色彩像素相鄰接之色彩編碼之情形，可利用自縱向及橫向之串擾現象之優先性，基於鄰接之RGB各像素之信號量之總和與白像素之信號量之比率，而計算修正對象像素之串訊量之評估值。
依照本發明技術方案7之發明，例如以N=4即4×4像素為最小單位，可即時計算串訊量之評估值。此情形下，因於處理單位內同一色之像素具有兩個以上之輸出，故針對每個色彩使用信號量之平均值即可。又，在無需以微細之粒度計算修正係數之情形，及應用於動畫等未必要由一張攝像圖像計算修正係數之情形下，只要將N=100即100×100像素程度之較大區塊作為處理單位即可。
依照本發明技術方案8之發明，因係使用利用先前之訊框計算出之評估值而分別進行修正係數之計算及串訊之修正，故可對應動畫處理。
依照本發明技術方案9之發明，基於預先計算之串訊量之評估值與修正係數之關係式，可由串訊量計算部所輸出之評估值計算修正係數。
依照本發明技術方案10之發明，可自修正對象像素之輸出信號中，減去對與修正對象像素鄰接之像素的輸出信號乘以修正係數所得之值，而去除串訊量。
依照本發明技術方案11、12之發明，藉由使用各自之評估值計算用之排列分別評估串訊量，可得知攝像元件面整體之串訊之情況。且，於各自之區域中，可藉由基於鄰近之評估值計算用之排列所獲得之串訊量的評估值決定串訊修正係數，而進行適應地修正串訊。
本發明更進一步之其他目的、特徵及優點，當可由基於後述之本發明實施形態及附圖進之更詳細說明而瞭解。
以下參照圖示，就本發明之實施形態進行詳細說明。
圖1係供本發明實施之攝像裝置10的硬體構成之模式圖。惟此處所言之攝像裝置係含有以下者：攝像元件；含有於該攝像元件之攝像面(受光面)上使被攝物之像光結像之光學系統及該攝像元件之信號處理電路之照相機模組；及搭載該照相機模組之數位靜態相機或數位攝像機等之照相裝置、行動電話等之電子機器。
圖1中，來自被攝物(未圖示)之像光係藉由光學系統，例如攝像透鏡11於攝像元件12之攝像面上結像。作為攝像元件12，使用將含有轉換元件之像素呈矩陣狀多數二維配置、且於像素之表面上配置含有在生成亮度成份上成為主成份之顏色成份與其他顏色成份之彩色濾光器而成之攝像元件。彩色濾光器係為通過期望波長之光之帶通濾波器。
作為具有彩色濾光器之攝像元件，可以是以CCD為代表之電荷傳送型攝像元件或以MOS為代表之×-Y位址型攝像元件等中任一者。
又，彩色濾光器分別含有在生成亮度(Y)成份上成為主成份之顏色成份、例如綠色(G)，及作為其他顏色成份、例如紅色(R)、藍色(B)，且進行再現各像素位置之入射光的顏色之色彩編碼。在本實施形態中以高感度化等為目的，將彩色濾光器設定為由含有白像素之排列所組成且進行色彩編碼者。惟像素排列非限定於圖12B所揭示者。又亦可為，作為在生成Y成份上成為主成份之顏色成份，例如使用白色、青色及黃色等，作為其他顏色成份，例如使用洋紅、青色、黃色等。
在攝像元件12中，入射之像光中僅各顏色成份之光會透過彩色濾光器而入射至各像素，入射至各像素之光藉由光電二極體等之光電轉換元件予以光電轉換，然後，自各像素中讀取作為類比圖像信號，藉由A/D轉換器(ADC)13轉換為數位圖像信號後，輸入到相當於本發明之圖像處理裝置之照相機信號處理電路14。
照相機信號處理電路14係由光學系統修正電路21、WB(白平衡)電路22、內插處理電路23、伽馬(γ)修正電路24、Y(亮度)信號處理電路25、C(色度)信號處理電路26、頻帶限制LPF(低通濾波器)27及次取樣處理電路28等構成。
光學系統修正電路21針對被輸入到照相機信號處理電路14之數位圖像信號，進行配合黑色位準之數位鉗、修正攝像元件12之缺陷之缺陷修正、及修正攝像透鏡11之周邊光量衰減之陰影修正等，進行攝像元件12或光學系統之修正。
如上所述，在本實施形態中，於攝像元件中使用之彩色濾光器含有白像素，因此串訊問題會變得顯著，必須進行其修正。本發明之主要特徵在於數位信號處理階段進行串訊量計算與修正，但可將其功能安裝於例如光學系統修正電路21內。關於串訊量計算及修正處理之詳情容後說明。
WB電路22針對經由光學系統修正電路21處理之圖像信號施行調整白平衡之處理，針對白色被攝物使RGB相同。內插處理電路23藉由內插而生成空間相位不同之像素，即自各自在空間上相位偏離之RGB信號生成3個平面(相同空間位置之RGB信號)。
伽馬(γ)修正電路24針對相同空間位置之RGB信號施以伽馬修正後，將其提供給Y信號處理電路25及C信號處理電路26。伽馬修正係為正確表現被攝物之色階，以使含有攝像元件12及後段之影像再生機構等之系統整體之光電轉換特性設為1之方式，對於自WB電路22輸出之R、G、B之彩色信號各自施以特定增益之處理。
Y信號處理電路25係由R、G、B之彩色信號而生成亮度(Y)信號，又，C信號處理電路26係由R、G、B之彩色信號而生成色差信號Cr(R-Y)、Cb(B-Y)。
頻帶限制LPF27係例如截止頻率fc 為抽樣頻率fs之1/8之濾光器，針對色差信號Cr及Cb使通帶自(1/2)fs下降到(1/8)fs。惟這只是配合TV信號格式之輸出，在未進行頻帶限制而輸出之情形下，會將1/8fs以上之頻率信號作為假彩色信號而輸出。次取樣處理電路28進行色差信號Cr及Cb之抽樣之次取樣。
在圖1所示之攝像裝置10中，攝像元件所使用之彩色濾光器中含有白像素，因此串訊問題會變得顯著。在本實施形態中，則為於數位信號處理階段進行串訊量計算與修正之構成。於圖2中顯示修正串訊而進行之圖像信號處理之功能性構成。圖示之圖像信號處理係由串訊量計算部1、串訊修正係數計算部2及串訊修正部3而構成，並安裝於例如光學系統修正電路21內。
首先，就串訊量計算部1進行說明。串訊量計算部1以自攝像元件12所輸出之攝像資料為基準，將串訊程度作為串訊量加以定量化。
於圖3顯示攝像元件12之每個色彩像素之光譜特性例。在圖示之例中，串訊程度以圖3A、圖3B、圖3C之順序遞增。藍色(B)像素係通過450奈米附近之彩色濾光器，綠色(G)像素係穿透550奈米附近之彩色濾光器，紅色(R)像素係穿透650奈米附近之彩色濾光器。又，白色(W)像素無彩色濾光器，等同於黑白攝像元件。若串訊量增加，則在本來不可有感度之頻率區域會增加輸出。例如在圖3C中，關於藍色(B_3)像素之波形中，因串訊故於波長550~650奈米頻帶增加輸出。
但，如圖12B所示之彩色過濾器排列中，白像素及RGB各像素各自鄰接。通常，如圖4A所示，串訊係支配來自縱向及橫向之現象。從而，圖12B所示之彩色濾光器之排列中，串訊可大致區分為兩種：如圖4B所示，白色信號對鄰接之RGB信號混色者；及如圖4C所示，RGB之各信號對白色信號混色者。
利用圖4所示之性質可相對地了解串訊量，其方法係計算RGB各像素之信號量之總和與白色像素之信號量之比率(後述)。
但，在以數位相機為首之彩色成像領域，色彩再現性評估通常採用「馬克貝校色卡(Macbeth Color Checker，馬克貝色卡)」。例如於日本色彩學會編著之『Color Imaging(彩色成像)』(29~33頁)中記述有：作為支配色彩再現性之要因例舉有光譜感度、色調再現及三原色；於色彩再現性評估上一般不採用個別評估該等要因之方法，而是藉由最終獲得之再現色彩進行評估；作為評估方法，將標準色卡進行圖像輸入，藉由光譜反射(透過)率比較所輸出之再現顏色與原始色卡之顏色；而作為色卡則廣泛使用馬克貝色卡。馬克貝色卡由含有6階灰色之24色組成，各色卡表面經過亞光處理，且為45 mm×45 mm之大小。又，於同文獻中的附錄表A.1、A.2中記述有馬克貝色卡之反射光譜特性(光譜反射率)，以下利用該光譜資料進行說明。
圖5A~圖5F中分別顯示有關於馬克貝校色卡之藍色(色票編號13)、綠色(色票編號14)、紅色(色票編號15)、黃色(色票編號16)、洋紅色(色票編號17)及藍綠色(色票編號18)之各色票之反射光譜特性。另，於此在24色之馬克貝色卡中僅採取上述6色，係由於該等6色為多數之彩色成像系統所使用之主要顏色成份。
將該等各馬克貝色卡之反射光譜特性(圖5A~圖5F)與圖3A~圖3C所示之攝像元件12之各彩色濾光器之光譜特性的每個波長成份相乘並取其總和，即進行積分，而得出來自攝像元件12之各色之輸出。
於圖6A~圖6C中分別顯示積分圖5A~圖5F所示之各馬克貝色票之反射光譜特性、及圖3A~圖3C所示之攝像元件12之每個色彩像素的光譜特性之結果。總之，圖6A~圖6C相當於與攝像元件12各色彩像素串訊量對應之輸出。
基於自與攝像元件12之各色彩像素之串訊量對應的光譜特性(參照圖3A~圖3C)而得的攝像元件12之每個色彩像素(R、G、B、W)之輸出(參照圖6A~圖6C)，使用例如下列方程式(1)，可計算評估串訊量之評估值(K)。
[數1]
上述方程式(1)中，R、G、B、W係各色彩像素之輸出值(參照圖6A~圖6C)，α、β、γ、及ε為任意係數，評估值(K)相當於計算RGB之各色彩像素的輸出總和及白像素的輸出比率之結果。同方程式係根據例如圖12B所示之色彩編碼中，將串訊大致分為兩種(前述)：白色信號對鄰接之RGB信號混色者，及如圖4C所示RGB之各信號對白色信號混色者。
針對對應於攝像元件12的各色彩像素之串訊量之輸出(參照圖6A~圖6C)，對每個馬克貝色卡色票進行上述方程式(1)所示之評估值(K)計算，藉此針對對應於串訊量之各自之光譜特性(圖3A~圖3C)，可獲得每個馬克貝顏色色票之評估值。
於圖7A中顯示針對對應於串訊量之各自的光譜特性(圖3A~圖3C)，依每個馬克貝顏色色票所求得之評估值。又，就圖示之每個光譜特性1~3所獲得之評估值K_1、K_2、K_3，將全6色色票之平均與標準偏差匯整如下表所示。
由上表可知，評估值(K)無論被攝物(每個顏色)之反射光譜如何均為幾乎固定。即，這意味著自上述方程式(1)計算出之評估值(K)可使用於串訊量之評估。
另，各係數α、β、γ及ε之值於例如圖3A所示之串訊量小的理想光譜特性中，為使評估值(K)固定而進行最佳化。實際上係使用最小平方法等之近似手法。且，亦可將所獲得之值套用於圖3B、圖3C等其他光譜特性。圖7A中使用於下列方程式(2)所示之係數值進行評估值(K)之計算。
[數2]
α=β=γ=ε=1　…(2)
上述說明中，24色之馬克貝色卡中僅採取上述6色，係由於該等6色為多種彩色成像系統所使用之主要顏色成份(前述)。本發明人等為慎重起見，使用24色之全部的馬克貝色卡，同樣針對各光譜特性進行評估值之計算，並於圖7B顯示其結果。又，針對依圖示之每個光譜特性1~3所獲得之評估值K_1、K_2、K_3，將全24色色票之平均與標準偏差匯整如下表所示。由於評估值(K)無論被攝物(每個顏色)之反射光譜如何皆幾乎固定，由此可再次確認由上述方程式(1)計算出之評估值(K)可使用於串訊量之評估。
藉由以上說明可理解，利用自使用於RGB像素中加入白像素之色彩編碼的攝像元件12所輸出之信號，藉由評估值(K)之計算可檢測出串訊量之相對變化。即，不必如以往(例如參照專利文獻2)事先測量晶片內之串訊量，而僅需自攝像元件12之輸出信號即可檢知串訊量之程度。因而，即使在所使用的透鏡等之光學條件為未知之狀況下，亦可於數位信號處理階段將串訊程度定量化。
在串訊量計算部1中，如自上述方程式(1)可知，需要含有白像素之所有色彩像素之輸出信號。為此，針對具有如圖12B所示之濾光器排列之攝像元件12而即時計算評估值(K)之情形，期望以4×4程度之像素之值作為最小單位進行處理。由於在最小單位中，同一色彩的像素具有兩個以上之輸出，因此亦可使用平均值計算上述方程式(1)。
接著，就串訊修正係數計算部2進行說明。串訊修正係數計算部2中，根據自串訊量計算部1輸出之串訊量、事前求得之串訊修正係數及串訊量之關係式，計算對應於目前串訊量之串訊修正係數。
首先，就通常之串訊修正處理方法，參照圖8進行說明。如圖4A所示，串訊係以來自縱向及橫向之現象為優先。略言之，只要將上下及左右各自之鄰接像素信號之若干比例作為串訊量，而自修正對象像素之信號中減去即可。修正對象像素之輸出信號可藉由下列方程式(3)進行修正。
[數3]
S _crct (i ,j )
=S (i ,j )-a ‧S (i ,j -1)-b ‧S (i -1,j )-c ‧S (i +1,j )-d ‧S (i ,j +1)
　…(3)
上述方程式(3)中，S_crct係修正後之信號，S係修正前之信號，括弧內分別表示像素之座標位置。(I,j)係修正對象像素之一座標。又，a、b、c及d係相對於上、左、右及下各自之鄰接像素之修正係數，a、b、c及d亦為顯示各鄰接像素之信號成為串訊量之比例之值。
串訊量無論攝影條件或晶片內之像素位置為何只要為固定，上述之修正係數a、b、c及d亦可為固定。但，實際上會因光源之色溫或光學條件、晶片內之像素位置，使得串訊量有所變化。通常，若串訊量增大則修正係數亦變大。
對此，在本實施形態中，改變光學條件或照明色溫條件等進行攝影，計算自串訊量計算部1之輸出、即對應於評估值(K)之修正係數，而預先作成圖9之曲線圖所示之關係式。在串訊修正係數計算部2中，若自串訊量計算部1輸出評估值(K)，則參照此種關係式求得實際上對應於在攝影中之區域的串訊量之修正係數。
最後，就串訊修正部3進行說明。如上所述，串訊係以來自縱向及橫向之現象為優先(參照圖4A)。因而，在串訊修正部3中，使用由串訊修正係數計算部2所計算之各鄰接像素之修正係數a、b、c及d，依據例如上述方程式(3)所示之修正公式，將上下及左右各自之鄰接像素的信號之若干比例作為串訊量並自修正對象像素之信號中減去，藉此對修正對象像素之信號進行修正。
至此，已針對將4×4像素程度之大小作為最小單位計算修正對象像素之串訊之修正係數的方法進行說明。但，實際上亦有無需以如此微細之粒度計算修正係數之情形。於是，以下作為動畫處理對應，就於事前之圖像、及以某種程度之大小計算修正係數之方法進行說明。
於圖10顯示以某種程度之大小計算修正係數之區域(區塊)之一例。圖示之例中，設各區塊由100×100像素構成，1張攝像圖像由6×8區塊構成。
在串訊量計算部1中，作為每個區塊之處理，計算RGB及白色之各色像素值之平均，然後依照上述方程式(1)計算評估值(K)。且，於後段之串訊修正係數計算部2、串訊修正部3中，分別進行修正係數之計算與像素值之修正處理。
於此，如圖11所示，假設具備用以儲存由串訊量計算部1所計算之評估值(K)之記憶體4。且，將由串訊量計算部1所計算之評估值(K)儲存於記憶體4，以某種程度之時間常數更新評估值(K)，而對所攝像之資料進行修正處理。將100×100像素之區塊作為處理單位，則因處理單位中同一色彩之像素具有兩個以上之輸出，因此只需如下列方程式(4)所示使用平均值計算評估值(K)即可。由於用來計算評估值(K)之像素數多，故即使於資料中所含之雜訊多，亦可藉由平均化而獲得正確的評估值(K)。
[數4]
又，在進行串訊之修正後之圖像中，若修正之差異於區塊之邊界部份明顯，則在上述邊界部份藉由在與鄰接之區塊之間求取與修正係數之平均，可避免修正之差異明顯。
至此之說明中，作為含有白像素之濾光器排列，使用圖12所示之例就本發明之實施形態進行了說明，但本發明之主旨並非限定於色彩編碼。即使例如圖13A、圖13B所示RGB之排列不同者，或如圖13C所示不使用原色而是使用補色系之彩色濾光器之排列，亦可與上述內容相同，僅根據攝影資料即可計算用以得知串訊量之評估值，而可利用套用了該評估值之修正係數進行串訊之修正處理。
又，本發明係基於對白色信號之鄰接的RGB信號之串訊量(參照圖4B)、與對RGB各信號之白色信號之串訊量(參照圖4C)的評估結果進行各像素之串訊修正者，換言之，欲評估串訊量則需要白像素。
但，無需對攝像元件面整體均一排列白像素，即使僅部分配置白像素，亦可計算出串訊之評估值。於圖14顯示於未含白像素之拜爾(Bayer)排列(參照圖12A)中，使含有如圖12B所示之白像素之排列分散於其中的濾光器排列之一例。該情形下，可自圖12B所示之排列求得串訊量，基於利用該串訊量所計算出之串訊修正係數，可修正拜爾(Bayer)排列內之串訊。
於圖15模式化顯示於以拜爾(Bayer)排列(參照圖12A)為基礎之攝像元件面上複數配置如圖12B所示之評估值計算用之排列之情形之圖。使用各自之評估值計算用之排列分別評估串訊量，藉此可遍及攝像元件面整體而得知串訊情況。且，於各自之區域中，基於自鄰近之評估值計算用之排列所獲得的串訊量之評估值來決定串訊修正係數，藉此可適配地修正串訊。
於此，串訊量之評估值與修正係數之關係，係如同圖9所示而預先求得。亦可針對各自之評估值計算用之排列求得評估值與修正係數之關係。
每個區域之串訊修正可使用上述方程式(3)進行，或者亦可藉由內插處理電路23(參照圖1)進行內插處理後，依據下列方程式(5)所示之行列運算進行串訊修正。
[数5]
R'、G'、B'：修正後之信號
R、G、B：修正前之信號
R11 、G12 、B13 、R21 、G22 、B23 、R31 、G32 、B33 ：修正係數
i：攝像元件陣列中之像素之位置
攝像元件之像素之排列為如圖15所示部分改變之情形，則需要對內插處理電路23進行變更。此時只要於事先決定之像素位置，進行如切換內插方法之變更即可。於圖16顯示因應像素位置切換內插方法之攝像裝置之構成例。惟於同圖中僅擷取有關聯之處進行描述。於依據拜爾(Bayer)排列之像素位置，利用內插處理電路23A進行內插處理，於成為評估值計算用之排列(參照圖12B)之像素位置，切換為利用內插處理電路23B之內插處理即可。
[產業上之可利用性]
以上參照特定之實施形態就本發明進行了詳細說明。但，相關業者當可於未脫離本發明之主旨之範圍內，實施該實施形態之修正或代用。對於例如數位靜態相機或數位攝像機之相機裝置、行動電話等之搭載相機模組之各種電子機器，亦可適用本發明。
本說明書中，作為含有白像素之濾光器排列，使用圖12所示之例就本發明之實施形態進行了說明，但本發明之主旨並未限定於此。即使為例如圖13A、圖13B所示RGB之排列不同者，或圖13C所示不使用原色而使用補色系之彩色濾光器之排列，亦與上述相同，僅需自攝影資料計算出用以得知串訊量之評估值，利用套用於該評估值之修正係數即可進行串訊之修正處理。
總之，以上係為利用示例之形態揭示本發明者，不應狹義解釋本說明書之記述內容，為判斷本發明之主旨應參酌專利申請範圍。
1．．．串訊量計算部
2．．．串訊修正係數計算部
3．．．串訊修正部
10．．．攝像裝置
11．．．攝像透鏡
12．．．攝像元件
13．．．A/D轉換器
14．．．照相機信號處理電路
21．．．光學系統修正電路
22．．．WB(白平衡)電路
23．．．內插處理電路
24．．．伽馬(γ)修正電路
25．．．Y(亮度)信號處理電路
26．．．C(濃度)信號處理電路
27．．．頻帶限制LPF(低通濾波器)
28．．．次取樣處理電路
Cr,Cb．．．色差信號
R,G,B．．．彩色信號
圖1係供本發明實施之攝像裝置10的硬體構成之模式圖。
圖2係為實施串訊修正而進行圖像信號處理之功能構成圖。
圖3A係顯示攝像元件12之每個色彩像素之光譜特性例(串訊程度小)(光譜特性1)之圖。
圖3B係顯示攝像元件12之每個色彩像素之光譜特性例(串訊程度中等)(光譜特性2)之圖。
圖3C係顯示攝像元件12之每個色彩像素之分光特性例(串訊程度大)(光譜特性3)之圖。
圖4A係串訊於縱向及橫向發生之狀況之示意圖。
圖4B係圖12B所揭示之色彩像素排列中，向白色信號鄰接之RGB信號混色的狀況之示意圖。
圖4C係圖12B所揭示之色彩像素排列中，向RGB之各信號鄰接之白色信號混色的狀況之示意圖。
圖5A係顯示馬克貝校色卡圖(Macbeth Color Checker Chart)之藍色色票(色票編號13)的反射光譜特性之圖。
圖5B係顯示馬克貝校色卡圖(Macbeth Color Checker Chart)之綠色色票(色票編號14)的反射光譜特性之圖。
圖5C係顯示馬克貝校色卡圖(Macbeth Color Checker Chart)之紅色色票(色票編號15)的反射光譜特性揭示圖。
圖5D係顯示馬克貝校色卡圖(Macbeth Color Checker Chart)之黃色色票(色票編號16)的反射光譜特性之圖。
圖5E係顯示馬克貝校色卡圖(Macbeth Color Checker Chart)之洋紅色色票(色票編號17)的反射光譜特性之圖。
圖5F係顯示馬克貝校色卡圖(Macbeth Color Checker Chart)之藍綠色色票(色票編號18)的反射光譜特性之圖。
圖6A係圖5A~圖5F所示之各馬克貝顏色色票的反射光譜特性，及圖3A所示之與攝像元件12每個色彩像素串訊量對應之光譜特性(光譜特性1)的積分結果圖。
圖6B係圖5A~圖5F所示之各馬克貝顏色色票的反射光譜特性，及圖3B所示之與攝像元件12每個色彩像素串訊量對應之光譜特性(光譜特性2)的積分結果圖。
圖6C係圖5A~圖5F所示之各馬克貝顏色色票的反射光譜特性，及圖3C所示之與攝像元件12每個色彩像素串訊量對應之光譜特性(光譜特性3)的積分結果圖。
圖7A係顯示關於與串訊量相對應之各光譜特性(圖3A~圖3C)，就主要6色之每個馬克貝顏色色票所求得之評估值之圖。
圖7B係顯示關於與串訊量相對應之各光譜特性(圖3A~圖3C)，就所有馬克貝顏色色票所求得之評估值之圖。
圖8係一般串訊值修正處理方法之說明圖。
圖9係顯示串訊量之評估值(K)與修正係數之關係式之一例之圖。
圖10係以某種程度之大小顯示計算之修正係數的區域(區塊)之一例之圖。
圖11係顯示用以儲存由串訊量計算部1計算之評估值(K)之記憶體4之圖。
圖12A係顯示原色系之代表性濾光器排列之拜爾(Bayer)排列之圖。
圖12B係顯示含有白像素之濾光器排列的一例之圖。
圖13A係顯示含有白像素之濾光器排列的其他例之圖。
圖13B係顯示含有白像素之濾光器排列的其他例之圖。
圖13C係顯示利用補色系之彩色濾光器之濾光器排列的其他例之圖。
圖14係顯示於未含白像素之拜爾(Bayer)排列(參照圖12A)中，使如圖12B所示之含有白像素之排列分散存在的濾光器排列之一例之圖。
圖15係顯示於以如圖12A所示之拜爾(Bayer)排列為基礎之攝像元件面，複數配置如圖12B所示之評估值計算用排列之狀況之模式圖。
圖16係顯示於以如圖12A所示之拜爾(Bayer)排列為基礎之攝像元件面，複數配置如圖12B所示之評估值計算用排列之狀況之模式圖。
10‧‧‧攝像裝置
11‧‧‧攝像透鏡
12‧‧‧攝像元件
13‧‧‧A/D轉換器
14‧‧‧照相機信號處理電路
21‧‧‧光學系統修正電路
22‧‧‧WB(白平衡)電路
23‧‧‧內插處理電路
24‧‧‧伽馬(γ)修正電路
25‧‧‧Y信號處理電路
26‧‧‧C信號處理電路
27‧‧‧LPF(低通濾波器)
28‧‧‧次取樣處理電路
Cr,Cb‧‧‧色差信號
R,G,B‧‧‧彩色信號

Claims (14)

  1. 一種圖像處理裝置，具備：計算來自攝像元件之修正對象像素的輸出信號中所含之串訊量的評估值之串訊量計算部；基於自前述串訊量計算部輸出之評估值，計算串訊修正係數之串訊修正係數計算部；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正部；且前述串訊修正部係自修正對象像素之輸出信號中，減去對與修正對象像素鄰接之像素的輸出信號乘以前述修正係數所得之值，而去除串訊量。
  2. 如請求項1之圖像處理裝置，其中前述串訊量計算部係基於來自攝像元件之輸出信號，而計算前述修正對象像素之輸出信號中所含之串訊量的評估值。
  3. 如請求項1之圖像處理裝置，其中前述串訊量計算部係基於鄰接像素間之輸出信號的關係，而計算來自前述修正對象像素之輸出信號中所含之串訊量的評估值。
  4. 如請求項1之圖像處理裝置，其中前述攝像元件使用含有白像素之色彩編碼。
  5. 如請求項4之圖像處理裝置，其中前述串訊量計算部係基於白像素以外之各像素之信號量之總和與白像素之信號量之比率，而計算修正對象像素之串訊量的評估值。
  6. 如請求項4之圖像處理裝置，其中前述串訊量計算部係基於對RGB各像素信號量分別乘以特定係數(α、β、γ)所 得的數值之總和、與對白像素之信號量乘以特定係數(ε)所得的數值之比率，而計算修正對象像素之相對串訊量的評估值。
  7. 如請求項4之圖像處理裝置，其中前述串訊量計算部係以N×N像素為處理單位(惟N為正整數)，計算串訊量的評估值。
  8. 如請求項7之圖像處理裝置，其中前述串訊量計算部更具備儲存針對每個處理單位所計算之串訊量的評估值之記憶體；且前述串訊修正係數計算部及前述串訊修正部係使用前述記憶體中儲存之使用先前的訊框所計算之評估值，分別進行修正係數之計算及串訊之修正。
  9. 如請求項1之圖像處理裝置，其中前述串訊修正係數計算部係預先計算由前述串訊量計算部計算出之串訊量的評估值與修正係數之關係式，而於由前述串訊量計算部輸出之評估值被輸出時，參照前述關係式而計算對應於該評估值之修正係數。
  10. 如請求項1之圖像處理裝置，其中前述攝像元件於不含白像素之排列中，複數配置含有白像素之評估值計算用排列。
  11. 如請求項10所述之圖像處理裝置，其中前述串訊量計算部係使用各自之評估值計算用之排列，分別計算於該當位置上發生之串訊量的評估值；前述串訊修正係數計算部於每個評估值計算用之排列 所配置之位置，基於自前述串訊量計算部輸出之評估值，計算串訊修正係數；前述串訊修正部於評估值計算用排列內，使用該修正係數進行串訊之修正，於評估值計算用之排列外之區域，使用基於自鄰近評估值計算用之排列而獲得之串訊量評估值所決定之串訊修正係數，進行串訊之修正。
  12. 一種圖像處理方法，具有：計算自攝像元件之修正對象像素輸出之信號中所含之串訊量的評估值之串訊量計算步驟；基於前述串訊量計算步驟中獲得之評估值，計算串訊修正係數之串訊修正係數計算步驟；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正步驟；且前述串訊修正步驟係自修正對象像素之輸出信號中，減去對與修正對象像素鄰接之像素的輸出信號乘以前述修正係數所得之值，而去除串訊量。
  13. 一種攝像裝置，具備：包含色彩編碼之彩色濾光器之攝像元件，及處理前述攝像元件之輸出信號之信號處理部；前述信號處理部含有：計算自前述攝像元件之修正對象像素輸出之信號中所含之串訊量的評估值之串訊量計算部；基於自前述串訊量計算部輸出之評估值，計算串訊修正係數之串訊修正係數計算部；及 使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正部；且前述串訊修正部係自修正對象像素之輸出信號中，減去對與修正對象像素鄰接之像素的輸出信號乘以前述修正係數所得之值，而去除串訊量。
  14. 一種電腦程式產品，其係記載於一非暫時性之電腦可讀取之記錄媒體，而於至少一處理器執行時，使前述電腦作為以下構件發揮如下功能：計算來自攝像元件之修正對象像素的輸出信號中所含之串訊量的評估值之串訊量計算部；基於自前述串訊量計算部輸出之評估值，計算串訊修正係數之串訊修正係數計算部；及使用前述串訊修正係數，去除前述修正對象像素之輸出信號中所含之串訊量之串訊修正部；且前述串訊修正部係自修正對象像素之輸出信號中，減去對與修正對象像素鄰接之像素的輸出信號乘以前述修正係數所得之值，而去除串訊量。
TW099113905A 2009-06-30 2010-04-30 Image processing apparatus and image processing method, image capturing apparatus and computer program product TWI428025B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009154676A JP5152114B2 (ja) 2009-06-30 2009-06-30 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム

Publications (2)

Publication Number Publication Date
TW201106705A TW201106705A (en) 2011-02-16
TWI428025B true TWI428025B (zh) 2014-02-21

Family

ID=43410822

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099113905A TWI428025B (zh) 2009-06-30 2010-04-30 Image processing apparatus and image processing method, image capturing apparatus and computer program product

Country Status (7)

Country Link
US (2) US8890981B2 (zh)
EP (1) EP2323408A4 (zh)
JP (1) JP5152114B2 (zh)
KR (1) KR20120106921A (zh)
CN (1) CN102124744B (zh)
TW (1) TWI428025B (zh)
WO (1) WO2011001738A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350934B2 (en) * 2010-10-21 2013-01-08 Taiwan Semiconductor Manufacturing Co., Ltd. Color image sensor array with color crosstalk test patterns
FR2968879A1 (fr) * 2010-12-10 2012-06-15 St Microelectronics Sa Procede de caracterisation de pixels d'un capteur d'image
CN103380450B (zh) * 2011-02-15 2016-07-06 三菱电机株式会社 图像处理装置、图像显示装置以及图像处理方法
JP5787856B2 (ja) * 2012-09-24 2015-09-30 株式会社東芝 固体撮像装置
NO342734B1 (no) * 2012-11-01 2018-08-06 Vision Io As Sensordeksel for en rørinspeksjonskonstruksjon
JP5777825B2 (ja) * 2012-12-05 2015-09-09 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
WO2014185209A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
US9154750B2 (en) * 2013-05-28 2015-10-06 Omnivision Technologies, Inc. Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern
JP6013284B2 (ja) * 2013-06-26 2016-10-25 オリンパス株式会社 撮像装置及び撮像方法
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
US9491377B2 (en) * 2013-08-07 2016-11-08 Trimble Navigation Limited Methods of extracting 4-band data from a single CCD; methods of generating 4×4 or 3×3 color correction matrices using a single CCD
KR102240020B1 (ko) * 2014-08-29 2021-04-14 삼성전자주식회사 컬러 필터를 포함하는 전자 장치
EP3240289B1 (en) 2014-12-26 2021-07-21 Canon Kabushiki Kaisha Image pickup apparatus driving method
CN104637465B (zh) * 2014-12-31 2017-04-05 广东威创视讯科技股份有限公司 显示设备局部亮色度补偿方法和系统
CN106341617B (zh) * 2016-11-16 2019-08-02 信利光电股份有限公司 一种摄像头串扰补偿的方法及装置
KR102303764B1 (ko) * 2017-04-24 2021-09-17 삼성전자주식회사 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법
CN111406402B (zh) * 2017-11-24 2021-11-30 华为技术有限公司 光敏成像系统和设备
CN110475115B (zh) * 2019-08-15 2020-09-22 昆山国显光电有限公司 屏体画面串扰测试方法和装置、存储介质
CN113140257A (zh) * 2020-01-20 2021-07-20 赛纳生物科技(北京)有限公司 一种基因测序信号去除串扰的方法
KR20210094253A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 이미지 센서의 캘리브레이션 모듈, 이미지 센서 및 크로스토크를 캘리브레이션하는 방법
KR20220165407A (ko) * 2021-06-08 2022-12-15 삼성전자주식회사 이미지 장치, 이미지 센서, 및 이미지 센서의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080180557A1 (en) * 2007-01-26 2008-07-31 Yoshitaka Egawa Solid-state image pickup device
TW200849978A (en) * 2007-05-17 2008-12-16 Sony Corp Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330081B1 (en) * 1998-11-20 2001-12-11 Agfa Corporation Crosstalk cancellation in a multi-color CCD signal processor
JP2000188761A (ja) * 1998-12-21 2000-07-04 Toshiba Corp 混色低減回路
US6806856B2 (en) * 2001-08-09 2004-10-19 Microsoft Corporation Reflective displays with color filter cross-talk compensation
JP4059686B2 (ja) * 2002-02-08 2008-03-12 富士通株式会社 白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ
EP1512537B1 (en) * 2003-08-11 2008-09-17 Canon Kabushiki Kaisha Method of forming image, image forming apparatus and program for carrying out the method
US7561194B1 (en) * 2003-10-17 2009-07-14 Eastman Kodak Company Charge diffusion crosstalk reduction for image sensors
JP3792246B2 (ja) * 2004-05-13 2006-07-05 シャープ株式会社 クロストーク解消回路、液晶表示装置、及び表示制御方法
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP5134768B2 (ja) * 2005-05-19 2013-01-30 株式会社ジャパンディスプレイイースト 画像表示装置
JP4389865B2 (ja) 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
US7271380B2 (en) * 2005-12-13 2007-09-18 Xerox Corporation Color input scanner calibration system
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
JP2008113236A (ja) * 2006-10-30 2008-05-15 Kyocera Corp 撮像装置におけるシェーディング補正方法と装置
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP4803156B2 (ja) * 2007-10-16 2011-10-26 ソニー株式会社 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP5190731B2 (ja) * 2007-10-23 2013-04-24 Ｎｌｔテクノロジー株式会社 画像表示装置、該画像表示装置に用いられる画像表示方法、及び液晶表示装置
US20110031418A1 (en) * 2007-10-31 2011-02-10 Ben Gurion Univesity of the Negev Research and Development Authority Optical sensor measurement and crosstalk evaluation
JP5045380B2 (ja) * 2007-11-13 2012-10-10 ソニー株式会社 撮像装置および撮像データ補正方法並びにプログラム
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP5163319B2 (ja) * 2008-06-30 2013-03-13 ソニー株式会社 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080180557A1 (en) * 2007-01-26 2008-07-31 Yoshitaka Egawa Solid-state image pickup device
TW200849978A (en) * 2007-05-17 2008-12-16 Sony Corp Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals

Also Published As

Publication number Publication date
JP2011014966A (ja) 2011-01-20
US10015424B2 (en) 2018-07-03
TW201106705A (en) 2011-02-16
JP5152114B2 (ja) 2013-02-27
CN102124744A (zh) 2011-07-13
US8890981B2 (en) 2014-11-18
US20110134288A1 (en) 2011-06-09
CN102124744B (zh) 2014-04-02
US20150009370A1 (en) 2015-01-08
EP2323408A4 (en) 2012-08-29
EP2323408A1 (en) 2011-05-18
WO2011001738A1 (ja) 2011-01-06
KR20120106921A (ko) 2012-09-27

Similar Documents

Publication Publication Date Title
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
US11962902B2 (en) Image sensor and electronic apparatus
KR101012537B1 (ko) 고체 이미지 센서
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US9287316B2 (en) Systems and methods for mitigating image sensor pixel value clipping
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
EP3038356B1 (en) Exposing pixel groups in producing digital images
US8818085B2 (en) Pattern conversion for interpolation
US8115825B2 (en) Electronic device with two image sensors
JP5817301B2 (ja) 撮像素子、並びに、撮像装置および方法
US8305459B2 (en) Image processing apparatus and camera module
US8982236B2 (en) Imaging apparatus
KR20120114021A (ko) 불량 픽셀 보정 방법
US8704925B2 (en) Image sensing apparatus including a single-plate image sensor having five or more brands
JP2009147762A (ja) 画像処理装置、画像処理方法、プログラム
JP2014158165A (ja) 画像処理装置、画像処理方法およびプログラム
JP7442990B2 (ja) 信号処理装置及び信号処理方法
US20120062763A1 (en) Image processing apparatus, image processing method, and camera module
JP2008153834A (ja) 画像処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees