TWI462577B - 影像處理裝置及車載相機裝置 - Google Patents

影像處理裝置及車載相機裝置 Download PDF

Info

Publication number
TWI462577B
TWI462577B TW098143666A TW98143666A TWI462577B TW I462577 B TWI462577 B TW I462577B TW 098143666 A TW098143666 A TW 098143666A TW 98143666 A TW98143666 A TW 98143666A TW I462577 B TWI462577 B TW I462577B
Authority
TW
Taiwan
Prior art keywords
filter
impulse response
image
noise level
line buffer
Prior art date
Application number
TW098143666A
Other languages
English (en)
Other versions
TW201119359A (en
Inventor
Ryosuke Kasahara
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of TW201119359A publication Critical patent/TW201119359A/zh
Application granted granted Critical
Publication of TWI462577B publication Critical patent/TWI462577B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Description

影像處理裝置及車載相機裝置
本發明大致上係有關於影像處理裝置及車載相機裝置，影像處理裝置處理藉由使用例如電荷耦合裝置(CCD)之成像裝置所取得的影像，而車載相機裝置包含該影像處理裝置。
近年來對於車上用於死角監測及後視監測的車載相機裝置之需求增加。用於此種車載相機裝置的影像拍攝環境並非一直是明亮的；亦即，影像拍攝環境有時相當暗。因為在相當暗的影像拍攝環境中所拍攝之影像框的亮度不足夠，所以，須要某些反制之道。
在包含例如CCD之成像裝置的相機裝置中，當影像框的亮度不足夠時，典型上採用增加成像裝置的自動增益控制電路(AGC)的增益之設計，藉以取得較明亮的影像。此技術已揭示於例如日本專利申請案公開號H4-247777中。同時，增益的增加不利地導致雜訊增加。關於此的反制之道，習知上一般使用亮度不足時在影像框的暗部中使低通濾波器賦能的設計，藉以降低雜訊。通常在相當小規模的電路中使用無限脈衝響應(IIR)濾波器以實施低通濾波器。此技術已揭示於例如日本專利申請案公開號2005-184786中。
因此，在車載相機裝置等等上使用IIR濾波器導致暗部中的增益可能增加，以使影像的亮度維持在所需亮度而不會增加雜訊。
車載相機裝置等等典型上使用廣角光學系統，並且，在其影像處理單元包含例如有限脈衝響應(FIR)濾波器之高頻增強濾波器，用於校正導因於光學系統的解析度劣化。但是，具有數行之容量的線緩衝器對此高頻增強濾波器是必不可少的。同時，藉由使用IIR濾波器以實施低通濾波器來抑制雜訊之設計需要額外的線緩衝器。但是，在線緩衝器所需的容量因為成像裝置中的像素數目增加而大幅增加之近來的情況中，設置額外的線緩衝器以用於IIR濾波器，會造成電路規模上的增加。
本發明之目的在於提供影像處理裝置，其能夠增強被光學系統使之衰減之影像的高頻成分以及降低暗部中的雜訊，但不會增加電路規模，而且，是低成本及低功耗，以及，提供包含影像處理裝置之車載相機裝置。
根據本發明的態樣，提供有一處理由成像裝置取得的影像資料之影像處理裝置。該影像處理裝置包含：線緩衝器，暫時地且依序地儲存影像資料於其中；有限脈衝響應(FIR)濾波器，藉由使用線緩衝器以實施影像資料的空間頻率特徵之整形；以及，無限脈衝響應(IIR)濾波器，使用由FIR濾波器所使用之相同的線緩衝器作為用於處理過的影像資料之回饋中的線緩衝器。
因此，IIR濾波器不再需要額外的線緩衝器，其導致電路規模的縮小。
具體而言，處理藉由使用成像裝置所取得的影像之影像處理裝置及包含影像處理裝置之車載相機裝置能夠增強被光學系統所衰減之影像的高頻成分以及降低暗部中的雜訊，但不會增加電路規模。
於下，將參考附圖來說明本發明之代表性的實施例。本發明的一個實施例提供影像拍攝裝置，藉由使用具有大放大色差及高失真的廣視角光學系統以拍攝物體的影像。影像拍攝裝置包含影像處理系統，影像處理系統除了實施MTF校正之外，也實施放大色差校正、失真校正、等等。無須多言，其配置並不限於此。
此外，在下述說明中，假定影像係由加於三原色(亦即，紅色(R)、綠色(G)、及藍色(B))所構成。無須多言，本發明可以應用至影像由減於三原色(亦即，黃色(Y)、洋紅色(M)、及青綠色(C))所組成之情況。
圖1是根據本發明的實施例之影像拍攝裝置中影像處理系統的功能性方塊圖。影像拍攝裝置又外部地包含未顯示於圖1中的操作單元、影像儲存單元、及影像顯示單元(監視器)。假定使用影像拍攝裝置作為車載相機裝置。無須多言，可以以其它方式使用影像拍攝裝置。
影像拍攝裝置包含控制單元100。控制單元100供應控制訊號(時脈、橫向/縱向同步訊號、等等)給影像拍攝裝置之所有的其它單元。亦即，控制單元100管線化地控制所有其它單元的操作。控制單元100包含雜訊位準偵測單元102、及切換訊號產生單元104，雜訊位準偵測單元102根據AGC電路120的增益及在MTF校正單元160處所取得的亮度訊號來偵測影像的雜訊位準，並且，切換訊號產生單元104根據由雜訊位準偵測單元102所實施的偵測結果而產生切換訊號，使IIR濾波器及FIR濾器賦能(enabling)及禁能(disabling)，以便在MTF校正單元160中提供稍後說明之它們的功能。
影像拍攝裝置包含成像裝置110。成像裝置110包含例如電荷耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)感測器之元件，並且，將藉由使用廣角光學系統(未顯示出)所拍攝到的光學影像轉換成電訊號(像素訊號)。廣角光學系統具有大的放大像差及失真。成像裝置110又包含貝爾(Bayer)陣列濾色器，並且，根據自控制單元100所饋出的座標值(x,y)，依序地輸出貝爾陣列中的RGB像素訊號。控制單元100也將饋送至成像裝置110之座標值(x,y)，以預定的時間落後，依序地饋送至配置在控制單元100的後續級之單元。
在另一配置中，取代控制單元100，成像裝置110產生座標值(x,y)，以回應接收到時脈及橫向/縱向同步訊號，並且，將它們依序地饋送給配置在控制單元100的後續級之單元。
影像拍攝裝置包含設於成像裝置110的後續級之AGC電路120。AGC電路120將像素訊號放大至預定位準，像素訊號為自成像裝置110輸出的類比訊號。藉由在所需要的影像框亮度與雜訊位準之間作交易，將AGC電路120的增益設定於適當值。如同稍後將說明般，控制單元100中的雜訊位準偵測單元根據此AGC電路120的增益來偵測影像的雜訊位準。
影像拍攝裝置包含設於AGC電路120的後續級之類比到數位(A/D)轉換器130。從AGC電路120輸出的貝爾陣列RGB影像訊號是類比訊號。A/D轉換器130將類比貝爾陣列RGB影像訊號轉換成數位訊號(像素資料)。舉例而言，每一個數位訊號是GRB的每一個顏色具有8位元的訊號。
影像拍攝裝置包含設於A/D轉換器130的後續級之貝爾內插單元140。貝爾內插單元140接收數位的貝爾陣列RGB影像訊號(像素資料)，並且，以RGB的個別顏色為基礎，實施線性內插，以產生所有座標位置的像素資料。
雖然，在本實施例中，已將成像裝置解說為包含貝爾陣列濾光器，但是，本實施例對於包含例如CMYG陣列或RGB及紅外線(Ir)陣列之其它配置的濾光器之成像裝置也是有效的。特別是，相較於例如RGB之三個顏色的類型，如同先前所述之包含具有四個顏色陣列之此濾光器的成像裝置需要具有較低潛時的記憶體或四埠隨機存取記憶體(RAM)，以供放大色差校正用。
影像拍攝裝置包含設於貝爾內插單元140的後續級之放大色差校正單元150。放大色差校正單元150接收經貝爾內插的R、G、B像素資料，藉由使用預定的多項式，以RGB的個別色度成分為基礎，實施座標轉換(放大色差座標轉換)，並且，輸出具有已進行放大色差校正的RGB像素資料。如同稍後將說明般，藉由使用具有相當小容量及低潛時的記憶體或具有相當小容量及多個埠的記憶體(例如，靜態隨機存取記憶體(SRAM))，實施用於校正放大色差之座標轉換。
影像拍攝裝置包含設於放大色差校正單元150的後級之MTF校正單元160。如同稍後將說明般，MTF校正單元160包含用作為邊緣增強濾波器的FIR濾波器以及用作為雜訊降低濾波器的IIR濾波器。MTF校正單元160接收已進行放大色差校正之RGB像素資料的輸入，將RGB像素資料轉換成亮度訊號及色度訊號Cb和Cr，之後，在正常條件下，使用FIR濾波器，以實施Y訊號的高頻增強(邊緣增強)；但是，在影像的雜訊位準增加的條件之下，藉由使用FIR濾波器以實施YCbCr的雜訊降低，將己進行邊緣增強或雜訊降低的YCbCr訊號轉換成RGB訊號(RGB像素資料)，並且輸出RGB像素訊號。本發明係有關於此MTF校正單元160的FIR濾波器及IIR濾波器。如同稍後將說明般，依據本實施例，控制單元100中的雜訊位準偵測單元102根據由MTF校正單元160所取得的亮度訊號Y而取得影像的平均亮度，藉以偵測雜訊位準。
影像拍攝裝置包含設於MTF校正單元160的後續級之失真校正單元170。失真校正單元170接收已進行放大色差校正及MTF校正的RGB像素資料，藉由使用預定的多項式等以共同地實施RGB色度成分的座標轉換(失真座標轉換)，並且，輸出已進行失真校正的RGF像素資料。如同稍後將說明般，失真校正之座標轉換中使用的記憶體希望具有比放大色差校正中使用的記憶體之容量還大的容量(最多大一個影像框)；但是，使用於校正之記憶體所需的埠的數目為1。因此，做為此記憶體，可以使用高潛時的記憶體(動態隨機存取記憶體(DRAM)等等)。
影像拍攝裝置包含設於失真校正單元170的後續級之伽瑪校正單元180。伽瑪校正單元180接收從失真校正單元170輸出的RGB像素資料，藉由以RGB的個別顏色為基礎而使用查詢表等以對資料實施預定的伽瑪校正，並且，輸出已進行伽瑪校正的RGB像素資料。從伽瑪校正單元170輸出的像素資料係監視器顯示於顯示單元上(未顯示出)。
具有圖1中所示的配置之影像拍攝裝置可以提供高影像品質的成像系統，即使當系統使用發生放大色差及失真的高視角光學系統時，仍然能夠提供電路規模小及低成本之高影像品質的成像系統。即使當影像的雜訊位準因暗部中的增益增加而增加時，仍然可以抑制雜訊位準。同時，放大色差校正單元150可以用同時校正放大色差及失真的放大色差及失真校正單元來予以取代。當使用此放大色差及失真校正單元時，失真校正單元170變成不需要。伽瑪校正單元180可以被配置在正好在貝爾內插單元140的後續級處。
於下，將詳述放大色差校正單元150、MTF校正單元160、及失真校正單元170的特定代表性配置。
在詳細說明放大色差校正單元150及失真校正單元170之前，將先說明放大色差校正及失真校正的原理。
如圖2中所示般，當使用光學系統來拍攝影像時，並且，當放大色差及失真發生時，以1來予以標示之影像框的右上方之原始位置(像素)有關的像素資料因為失真而從此原始位置偏移，又因為放大色差而在不同的RGB色度成分中不同地偏移。因此，由成像裝置所真正成像的R成分、G成分、及B成分分別以2(R)、3(G)、及4(B)而被顯示於圖2中。藉由將與2(R)、3(G)、及4(B)的位置(像素)之RGB色度成分有關的像素資料複製至原始位置的位置(像素)1；亦即，藉由實施座標轉換，以實施放大色差校正及失真校正。在實施座標轉換時，使用位置2、3、及4作為座標轉換源座標，而使用位置1作為座標轉換標的座標。
可以從光學系統的設計資料取得失真量及放大色差量；因此，能夠計算與原始位置有關的RGB色度成分的偏移量。
圖3是用以同時說明校正放大色差及失真的方法。具體而言，藉由將與2(R)、3(G)、及4(B)的位置(像素)之RGB色度成分有關的像素資料複製至原始位置的位置(像素)1；換言之，藉由實施座標轉換，以同時校正放大色差及失真。但是，此方法之缺點在於需要提供具有相當大容量以及低潛時與用於RGB中的每一個顏色的多個埠中之任一者的記憶體。舉例而言，在圖3中所示的實施例中，對於RGB中的每一個顏色，需要快速的6線記憶體以實施座標轉換。
圖4A及4B用以單獨說明用於校正放大色差及失真之方法。雖然放大色差發生於不同的色度成分之間不同的偏移量，但是，偏移量相當小。相反地，失真發生有相當大的偏移量，但是，對於不同的色度成分，偏移量是相同的。著重於此，以RGB的個別色度成分為基礎，實施像素資料的座標轉換(在稍後說明的實施例中，RG色度成分接受座標轉換以及複製至G成分的位置)，以校正放大色差；之後，已進行放大色差校正的RGB像素資料作為一組資料而接受失真校正之座標轉換。此方法允許分別地使用放大色差校正座標轉換及失真校正座標轉換中使用的記憶體。更具體而言，能夠使用用於放大色差校正座標轉換中用於RGB之快速(低潛時或具有多埠)、小容量記憶體，以及使用由RGB共用及用於失真校的緩慢(高潛候性或具有單一埠)、大容量記憶體。分別的記憶體之使用導致成本降低。圖1的系統配置說明此點。
圖4A是放大色差校正的圖形，參考圖4A，在與位置(像素)2(R)及4(B)的RB色度成分有關的像素資料接受要複製至3(G)的座標轉換，3(G)是G成分的位置(像素)。藉由實施此操作，以取得放大色差校正。圖4B是失真校正圖，參考圖4B，已進行放大色差校正及與位置(像素)3的RGB色度成分有關之像素資料作為一組資料接受要被複製至位置(像素)1的座標轉換，位置1是原始位置。藉由實施此操作以取得失真校正。
在圖4A及4B中所示的實例中，個別地處理RGB之3線、快速的記憶體可以令人滿意地使用於放大色差校正。另一方面，額外地需要用於失真校正之5線記憶體；但是，此記憶體可以是為RGB所共用的緩慢記憶體，相較於圖3，其造成總成本降低。
此處所討論的失真代表要被使用之投射設計中的透鏡失真。要被使用之投射設計的實例包含從相機上方觀視而取得影像之投射設計以及以放大方式顯示部份影像的放大設計。
圖5是放大色差校正單元150的示意配置圖。放大色差校正單元150包含座標轉換記憶體(線緩衝器)(SRAM)，用以校正放大色差，其中，1510(R)、1510(G)、及1510(B)係分別用於R色度成分、G色度成分、及B色度成分；座標轉換單元1520，根據預定的座標轉換演算法，以個別的顏色為基礎來計算放大色差校正的轉換座標；以及，座標轉換係數表1530，其中儲存有用於座標轉換演算法的係數。
以具有相當小容量及具有用於RGB的3埠或低潛時的記憶體作為線緩衝器，可以令人滿意地實施放大色差校正。在此實例中，在導因於放大色差的最大偏移量為20線之假設下，將每一個座標轉換記憶體1510(R)、1510(G)、及1510(B)均假定為具有容量20線的SRAM。在X方向上之記憶體的大小視解析度而定。舉例而言，當解析度等於視頻圖形陣列(VGA)的解析度(640×480)時，在X方向之640點的大小是足夠的。色彩深度是RGB的每一個顏色為8位元，並且，以8位元為單位，實施每一個座標轉換記憶體1510(R)、1510(G)、及1510(B)的寫入及讀出。
因而，每一個座標轉換記憶體1510(R)、1510(G)、及1510(B)的容量小；因此，每一個記憶體希望包含設於影像處理晶片中的3埠SRAM以確保記憶體區含有20線。當記憶體是例如SRAM之低潛時的記憶體時，可以以時間分享的方式，使用1埠記憶體作為3埠記憶體。
已進行放大色差的RGB的個別顏色的像素資料根據對應的座標值(x,y)，從其第一線依序地寫至座標轉換記憶體1510(R)、1510(G)、及1510(B)中對應的一個。當20線的像素資料已被寫至每一個記憶體時，從第一線依序地放棄像素資料，並且，後續的像素資料線係依序地新近寫入以佔據被放棄的資料的地方。因而，實施校正放大色差之座標轉換所需的每一個記憶體最多20線的RGB像素資料係依序地儲存於每一個座標轉換記憶體1510(R)、1510(G)、及1510(B)中。
座標值(x,y)表示一個框拍攝影像的讀出位置。同時，每一個座標轉換記憶體1510(R)、1510(G)、及1510(B)是20線緩衝器，其中，要被寫入的線循環地改變；因此，直接使用座標值(x,y)作為座標轉換記憶體1510(R)、1510(G)、及1510(B)上的寫入位址是沒用的。因此，需要將座標值(x,y)轉換成座標轉換記憶體1510(R)、1510(G)、及1510(B)上的真實位址；但是，用於此之配置並未顯示於圖5中。同理可用於稍後說明之後轉換座標值(X,Y)與座標轉換記憶體1510(R)、1510(G)、1510(B)上的讀取位址之間的讀取操作關係。
座標轉換單元1520接收座標轉換標的座標之座標值(x,y)，藉由使用例如多項式之預定的座標轉換演算法而以RGB的個別顏色為基礎來計算放大色差校正的轉換座標，並且輸出座標值(X,Y)，座標值(X,Y)是以RGB的個別顏色為基礎之座標轉換源座標。如圖4A所示，在本實施例中，R及B色度成分接受要被複製至G成分的位置之座標轉換。因此，關於G成分，接收輸入座標值(x,y)的座標轉換單元1520將它們作為座標值(X,Y)輸出而不實施轉換，關於R及B色度成分，座標轉換單元1520藉由使用預定的座標轉換演算法，以個別顏色為基礎，將如此輸入的座標值(x,y)轉換成座標值(X,Y)，並且輸出座標值(X,Y)。對每一組座標值(x,y)重複此操作。
當假定原點在影像框的中心時，可以以下述等式(1)來表示座標轉換演算法：
X=x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2 ]×x
Y=y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2 ]×y　(1)
其中，abs()是()中的參數的絕對值，並且，a(1)至a(4)及b(1)至b(4)是座標轉換係數。座標轉換係數被預先儲存於座標轉換係數表1530中。
與上述對座標轉換記憶體1510(R)、1510(G)、1510(B)的寫入相平行地(事實上，以預定時間週期延遲)，根據座標轉換單元1520輸出的座標值(X,Y)(事實上，座標值(X,Y)的位址轉換值)，從座標轉換記憶體1510(R)、1510(G)、1510(B)依序地讀出RGB像素資料。在此情況中，從與G成分像素資料被寫入的位置相同的位置之座標轉換記憶體1510(G)中讀出G成分像素資料。相反地，從與色度像素資料寫入之位置以預定距離(亦即，以放大色差量)偏移的位置之座標轉換記憶體1510(R)及1510(B)中之對應的一個讀出R成分像素資料及B成分像素資料中的每一個資料。
藉由實施上述操作，已進行放大色差校正之RGB像素資料從座標轉換記憶體1510(R)、1510(G)、及1510(B)中被輸出。具體而言，在座標轉換源座標值(X,Y)的RGB像素資料作為在座標轉換標的座標值(x,y)之RGB像素資料被輸出。
圖6A至6C顯示座標轉換單元1520之不同的代表性配置。圖6A是代表性配置，其中，G色度成分並未接受座標轉換，並且，輸入值的座標值(x,y)作為G座標值(X,Y)被輸出，而R及B色度成分分別接受將輸入值之座標值(x,y)轉換之座標轉換計算單元1521實施的R座標轉換以及座標轉換計算單元1522實施的B座標轉換，以輸出R座標值(X,Y)及B座標值(X,Y)。因為僅提供用於R及B色度成分的座標轉換計算單元，所以，能夠抑制電路規模。
圖6B及6C顯示其它代表性配置，這些配置著重於R及B色度成分通常以放大色差偏移而繞著G色度成分呈實質上對稱(圖2)。圖6B顯示代表性配置，其中，一個座標轉換計算單元1523計算座標值(x,y)的校正量，減法單元1524將校正量從座標值(x,y)中減掉以取得B座標值(X,Y)，而加法單元1525將校正量加至座標值(x,y)以取得R座標值(X,Y)。另一方面，以同於圖6A中所示的方式，將輸入的G座標值(x,y)照原狀地輸出，作為G座標值(X,Y)。
圖6C顯示代表性配置，其中，設置增益電路1526以調整R校正量，而允許對稱位置之間的偏差。圖6B及6C中所示的代表性配置，僅以一個座標轉換計算單元來予以具體實施，導致進一步縮減電路規模。
提供儲存用於R及B色度成分中的每一者之輸入座標值(x,y)及輸出座標值(X,Y)之間的對應性之查詢表(LUT)，以取代圖6A中所示的座標轉換計算單元1521及1522，使得藉由使用LUT，可以直接取得對應於座標轉換標的座標值(x,y)之座標轉換源座標值(X,Y)。類似地，可以設置儲存輸入座標值(x,y)與校正量之間的對應性之查詢表(LUT)，以取代圖6B及6C中所示的座標轉換計算單元1523，使得藉由使用LUT，可以直接取得對應於座標值(x,y)之校正量。這允許省略座標轉換的計算，藉以使放大色差校正基本上可以僅在記憶體晶片上實施。
圖7是失真校正單元170的詳細配置圖。失真校正單元170包含：RGB結合單元1710，將個別對應於一個顏色的三筆RGB像素資料結合成一筆；座標轉換記憶體1720(RAM)，由RGB像素資料的多個色度成分所共用並且用於失真校正；RGB分開單元1730，將組合的RGB像素資料分開成原始色度成分；校正失真座標轉換計算單元1740，藉由使用預定的座標轉換演算法，計算用於組合的RGB像素資料的失真校正之轉換座標；以及，座標轉換係數表1750，儲存要與座標轉換演算法一起使用的係數。
由於失真發生有相當大的偏移量，所以，希望使用最多儲存一個影像框的像素資料之緩衝記憶體，以實施失真校正。同時，由於RGB色度成分偏移單一偏移量，所以，可以令人滿意地使用位元寬度等於RGB像素資料的總位元數之單一緩衝器記憶體。假定解析度為VGA(640×480)，則RGB像素資料的位元數(色彩深度)是RGB的每一個顏色為8位元，並且，座標轉換記憶體1720是DRAM，以640×480點、24位元為單元，實施對DRAM的寫入及讀出。
以成本觀點而言，在影像處理晶片中，難以用SRAM的形式，實施如上所述要求相當大的容量之座標轉換記憶體1720，並且，可以令人滿意地使用1埠記憶體來處理RGB；因此，希望藉由使用設置於影像處理晶片外部之DRAM來實施座標轉換記憶體1720。
RGB結合單元1710接收已進行放大色差校正之RGB像素資料(各自為8位元)，將RGB像素資料依序地結合成一筆像素資料(24位元)，並且，輸出像素資料。如此結合的RGB像素資料根據座標轉換標的座標值(x,y)，從其第一線被依序地寫至座標轉換記憶體1720。
同時，校正失真座標轉換計算單元1740接收座標轉換標的座標值(x,y)，藉由使用例如多項式之預定的座標轉換演算法，計算用於失真校正之RGB共同的轉換座標，並且，輸出座標轉換源座標值(X,Y)。座標轉換演算法可以表示成等式(1)，與先前所述放大色差校正中使用的等式相同。當然，不同的座標轉換係數是要被使用的。座標轉換係數係預先儲存於座標轉換係數表1750中。
與先前所述之結合的RGB像素資料(24位元)對座標轉換記憶體1720的寫入相平行地(精確而言，以預定時間週期的延遲)，根據從校正失真座標轉換計算單元1740輸出的座標值(X,Y)，從座標轉換記憶體1720依序地讀出結合的RGB像素資料。RGB分開單元1730將讀自座標轉換記憶體1720之結合的RGB像素資料(24位元)分開成其個別的R、G、及B成分的原始像素資料(各為8位元)。
由於這些操作的結果，已進行失真校正的R像素資料、G像素資料、及B像素資料從RGB分開單元1730被輸出。換言之，R像素資料、G像素資料、及B像素資料被複製至座標值(x,y)或它們的原始位置。
也是在失真校正的情況中，提供儲存輸入座標值(x,y)與輸出座標值(X,Y)之間的對應性之LUT，使得藉由使用LUT而直接取得對應於座標轉換標的座標值(x,y)之座標轉換源座標值(X,Y)。這允許省略座標轉換的計算，藉以使失真校正基本上也僅可以在記憶體晶片上實施。
於下，將說明MTF校正單元160。如圖8所示，MTF校正單元160包含RGB/YCbCr轉換單元1610、濾波單元1620、及YCbCr/RGB轉換單元1630。
RGB/YCbCr轉換單元1610接收RGB像素資料的輸入，並且，藉由使用例如下述等式而將RGB像素資料分開成為亮度訊號Y及色度訊號Cb和Cr：
Y=0.299R+0.587G+0.114B　(2)
Cr=0.500R-0.419G-0.081B　(3)
Cb=-0.169R-0.332G+0.500B　(4)
濾波單元1620包含邊緣增強濾波器(FIR濾波器)及雜訊降低濾波器(IIR濾波器)，並且，在一般條件下，藉由使用FIR濾波器來實施亮度訊號Y的高頻增強(邊緣增強)；但是，當影像中的雜訊位準增加時，藉由使用IIR濾波器來實施YCbCr的雜訊降低。本發明的特徵在於濾波單元1620的配置。稍後將詳述濾波單元1620的特定配置及操作。
YCbCr/RGB轉換單元1630接收已進行高頻增強及雜訊降低中的任一者之YCbCr訊號的輸入，藉由使用例如下述等式以將這些訊號轉換回至RGB像素資料，並且，輸出RGB像素資料：
R=Y+1.402Cr　(5)
G=Y-0.714Cr-0.344Cb　(6)
B=Y+1.772Cb　(7)
當亮度訊號Y及色度訊號YCbCr而非RGB訊號希望輸出至後續級時，可以省略YCbCr/RGB轉換單元1630。
圖9是MTF校正單元160中的濾波單元1620的特定配置之示意圖。如圖9所示，濾波單元1620包含用作為雜訊降低濾波器的IIR濾波器1621、用作為邊緣增強濾波器的FIR濾波器1622、被IIR濾波器1621及FIR濾波器1622兩者所使用的線緩衝器1623、以及開關SW1和SW2。
同時，切換訊號從控制單元100中的切換訊號產生單元104(圖1)被饋送至每一個開關SW1和SW2。稍後將說明如何產生切換訊號。在影像的雜訊位準相當低的一般條件下，開關SW1使IIR濾波器1621失能，使得輸入的YCbCr訊號直接被傳送至線緩衝器1623，而開關SW2使FIR濾波器1622賦能，使得YCbCr訊號從FIR濾波器1622經過輸出端而被輸出。相反地，當影像的雜訊位準相當高時，開關SW2使IIR濾波器1621賦能，使得YCbCr訊號從IIR濾波器1621被傳送至線緩衝器1623，而開關SW2使FIR濾波器1622失能，使得YCbCr訊號直接從線緩衝器1623經過輸出端而被輸出。
線緩衝器1623被用於雜訊降低的IIR濾波器及用於邊緣增強的FIR濾波器1622所使用。對於分接頭的數目被設定為例如5×5的FIR濾波器1622，容量為5線或更大的線緩衝器可以令人滿意地用作為線緩衝器1623。同時，線緩衝器1623在每一個位址儲存1像素的YCbCr訊號(YCbCr資料)，例如24位元(1個字元)被指定給每一個位址，在每一個位址處，24位元訊號由色彩深度均為8位元(亦即，均為8位元的YCbCr成分)的RGB成分所形成。
在AGC電路120的增益相當低的一般條件下，亦即，在影像具有相當低的雜訊之一般條件下，FIR濾波器1622將被光學系統衰減的影像的高頻成分增強(邊緣增 強)，藉以實施空間頻率特徵的整形。
圖10顯示設定給FIR濾波器1622的係數實例。FIR濾波器1622從線緩衝器1623依序地讀出第(N-2)至第(N+2)條線上、位於標的像素的中心處之5×5像素的YCbCr訊號，並且，對標的像素的Y訊號實施邊緣增強濾波。這防止色度訊號CbCr的雜訊位準增加。
圖11是FIR濾波器1620的詳細配置圖。分開單元16221自線緩衝器1623讀出YCbCr訊號作為輸入，並且，將YCbCr訊號分成Y訊號及CbCr訊號。濾波器16222藉由使用圖10中所給定的這些係數，實施Y訊號的邊緣增強。結合單元16223將已進行邊緣增強的訊號與CbCr訊號結合在一起以輸出YCbCr訊號。
回到圖9，當影像中的雜訊位準因為暗部中的AGC電路120的增益增加等而增加時，IIR濾波器1621實施雜訊降低。可以使用如下所述的等式(8)至(10)，設定用於IIR濾波器1621的係數：
Cb(x,y)=0.25*Cb(x,y)+0.375*Cb(x,y-1)+0.375*Cb(x-1,y)(8)
Cr(x,y)=0.25*Cr(x,y)+0.375*Cr(x,y-1)+0.375*Cr(x-1,y)(9)
Y(x,y)=0.5*Y(x,y)+0.25*Y(x,y-1)+0.25*Y(x-1,y)(10)
Cb(x,y)及Cr(x,y)是在第N條線上座標(x,y)的標的像素的色度訊號；並且，Y(x,y)是在相同的座標(x,y)處之亮度訊號。Cb(x,y-1)及Cr(x,y-1)是在第(N-1)條線上座標(x,y-1)的色度訊號，第(N-1)條線是正好在標的像素所處的第N條線之前的線；並且，Y(x,y-1)是在相同的座標(x,y-1)處之亮度訊號。Cb(x-1,y)及Cr(x-1,y)是在第(N)條線上座標(x-1,y)的色度訊號，座標(x-1,y)是正好在標的像素的座標之前的座標；並且，Y(x-1,y)是在相同的座標(x-1,y)處之亮度訊號。
IIR濾波器1621從線緩衝器1623依序地讀取第(N-1)條線上的座標(x,y-1)及第N條線上的(x-1,y)之YCbCr訊號以及對這些訊號及輸入之標的像素的座標(x,y)處的YCbCr訊號實施雜訊降低濾波。如此處理過的YCbCr訊號被寫至線緩衝器1623，且在未來當標的像素被處理時的時機，被回饋至IIR濾波器1621。
圖12是IIR濾波器1621的詳細配置圖。分開單元16211將輸入的YCbCr訊號與從線緩衝器1623回饋的YCbCr訊號之中的每一個訊號分開成Y、Cb、及Cr。濾波器16213、濾波器16214、及濾波器16212分別藉由應用等式(8)、等式(9)、及等式(10)，實施Cb訊號、Cr訊號、及Y訊號的濾波。等式(8)、(9)及(10)對CbCr訊號施加相當強力的雜訊抑制，但對Y訊號施加相當弱的雜訊抑制。注意，以等式(8)、(9)及(10)為例來說明，但是，可以替代地使用對Y訊號不實施濾波的配置。結合單元16215將已進行雜訊降低的Cb、Cr、及Y訊號結合在一起。
參考圖13及圖14，於下說明濾波單元1620的處理程序的概要。
圖13顯示IIR濾波器1621、線緩衝器1623、及FIR濾波器1622為了ACG電路120的增益相當低的情況(亦即，影像的雜訊位準相當低)，如何被連接在一起。在此情況中，IIR濾波器1621被禁能(輸出：開路)，並且FIR濾波器1622被賦能。
開關SW1使從RGB/YCbCr轉換單元1610輸出的YCbCr訊號繞過IIR濾波器1621而被依序地寫至線緩衝器1623。FIR濾波器1622從線緩衝器1623依序地讀取第(N-2)至第(N+2)條線上5×5像素的YCbCr訊號(在座標(x-2,y-2)至(x+2,y+2)的像素)，並且，應用圖10中所給定的係數，使用這些訊號的Y訊號以實施在座標(x,y)的標的像素之亮度訊號Y的邊緣增強濾波。Y訊號已進行邊緣增強的YCbCr訊號藉由開關SW2而被依序地傳送至YCbCr/RGB訊號轉換單元1630而被轉換回至RGB訊號。
圖14顯示在影像中的雜訊位準因為ACG電路120的增益增加而增加的情況，濾波器1621、線緩衝器1623、及FIR濾波器1622如何被連接在一起。在此情況中，IIR濾波器1621被賦能，並且FIR濾波器1622被禁能(輸出：開路)。
從RGB/YCbCr轉換單元1610輸出之YCbCr訊號(在座標(x,y)之YCbCr訊號)依序地被輸入至IIR濾波器1621。從線緩衝器1623依序地讀取第(N-1)條線上座標(x,y-1)處經過處理的YCbCr訊號及第N條線上座標(x-1,y)處經過處理的YCbCr訊號，並且，將這些訊號回饋至IIR濾波器1621。IIR濾波器接收從線緩衝器1623回饋的座標(x,y)處的YCbCr訊號及座標(x,y-1)及(x-1,y)處經過處理的YCbCr訊號之輸入，並且，藉由使用等式(8)、(9)、及(10)，實施標的像素的座標(x,y)處之YCbCr訊號的雜訊降低濾波。已進行雜訊降低的YCbCr訊號經由開關SW1而依序地寫至線緩衝器1623。同時，線緩衝器1623依序地讀取座標(x,y)處經過處理的YCbCr訊號以及座標(x,y-1)及座標(x-1,y)處經過處理的YCbCr訊號。從線緩衝器1623讀出的座標(x,y)處的YCbCr訊號經由開關SW2而依序地被傳送至YCbCr/RGB轉換單元1630，並繞過FIR濾波器1622而被轉換回至RGB訊號。從線緩衝器1623讀出的座標(x,y-1)及座標(x-1,y)處的YCbCr訊號被回饋至IIR濾波器1621而被使用於後續的標的像素之雜訊降低。
如早先所述般，取決於從控制單元100之切換訊號產生單元104饋送的切換訊號，濾波單元1620採取圖13中所示的配置(IIR濾波器1621被禁能及FIR濾波器1622被賦能)或圖14中所示的配置(IIR濾波器1621被賦能及FIR濾波器1622被禁能)，圖13中所示的配置是用於一般的情況，以解析度為優先，對亮度訊號執行邊緣增強，圖14中所示的配置是用於影像中的雜訊位準因為暗部中的AGC電路120的增益等增加而增加的情況，實施YCbCr訊號的雜訊降低。同時，IIR濾波器1621藉由使用線緩衝器以實施經過處理的YCbCr訊號的回饋。使用由FIR濾波器1622使用且以共用方式也作為回饋中使用的線緩衝器之線緩衝器1623，可以不需要設置增加的線緩衝器以供IIR濾波器用，其造成電路規模縮小。
於下，將說明影像的雜訊位準的偵測及切換訊號的產生。舉例而言，控制單元100的雜訊位準偵測單元102採用偵測影像的雜訊位準之下述方法其中之一。當然，這些方法僅為說明之用，可以使用任何偵測雜訊位準的方法。
(i)成像裝置110的輸出訊號在接受A/D轉換器130實施的A/D轉換之前，於AGC電路120中被放大。藉由在影像框的所需亮度與雜訊位準之間進行交易，將AGC電路120的增益設定於適當值；但是，當暗部中的亮度降低而使得增益為某一值或更高時，雜訊位準非如所需地增加至等於或在可允許範圍之上。具體而言，當以增加對暗部的靈敏度之增加的增益來實施影像拍攝時，雜訊在拍攝影像時成為主要的。藉由使用此事實，雜訊位準偵測單元102可以根據AGC電路120的增益來決定雜訊位準。
(ii)一般而言，AGC電路120控制其增益以便使影像裝置110拍攝的影像的亮度維持固定。因此，在一般條件下，平均亮度固定；但是，假使即使增益增加至其最大值時靈敏度仍然不足時，影像的平均亮度降低。因此，藉由偵測影像框的平均亮度，可以決定增益是否到達其最大值，亦即，是否到達雜訊位準。藉由使用此事實，根據由MTF校正單元160所取得的亮度訊號Y、自整個影像框取得的亮度值的總合、或是某些情況中加權亮度值的總合，以計算雜訊位準偵測單元102，藉以決定雜訊位準，在加權亮度值中，權重指定給對應於影像框中心處的物體等之訊號。
(iii)亮度通常與雜訊位準成反比。藉由使用此事實，可以設置亮度感測器，使得雜訊位準偵測單元102可以根據亮度感測器的輸出而決定雜訊位準。
切換訊號產生單元104根據雜訊位準偵測單元102的偵測結果而產生切換訊號。具體而言，當影像的雜訊位準相當低時，產生使開關SW1將IIR濾波器1621禁能以及使開關SW2將FIR濾波器1622賦能之切換訊號；相反地，當雜訊位準相當高時，產生使開關SW1將FIR濾波器1621賦能以及使開關SW2將FIR濾波器1622禁能之切換訊號。
已說明本發明的實施例。當然，藉由將圖1中所示的影像處理裝置的處理功能規劃成電腦程式以及使電腦執行電腦程式，以實施本發明。或者，藉由規劃其處理程序成為電腦程式以及使電腦執行電腦程式，以實施本發明。用以使電腦執行處理功能的電腦程式可以被儲存於電腦可讀取的記憶媒體中及/或是藉由記錄電腦程式於電腦可讀取的記憶媒體中而提供、以及/或經由例如網際網路等網路散佈，舉例而言，電腦可讀取的記憶媒體可為軟碟(FD)、磁光碟(MO)、唯讀記憶體(ROM)、記憶卡、光碟、數位影音光碟(DVD)、及可移式碟片。
100．．．控制單元
102．．．雜訊位準偵測單元
104．．．切換訊號產生單元
110．．．成像裝置
120．．．自動增益控制電路
130．．．A/D轉換器
140．．．貝爾內插單元
150．．．放大色差校正單元
160．．．MTF校正單元
170．．．失真校正單元
180．．．伽瑪校正單元
1510(R)．．．座標轉換記憶體
1510(G)．．．座標轉換記憶體
1510(B)．．．座標轉換記憶體
1520．．．座標轉換單元
1521．．．座標轉換計算單元
1522．．．座標轉換計算單元
1523．．．座標轉換計算單元
1524．．．減法單元
1525．．．加法單元
1526．．．增益電路
1530．．．座標轉換係數表
1610．．．RGB/YCbCr轉換單元
1620．．．濾波單元
1621．．．雜訊降低濾波器
1622．．．邊緣增強濾波器
1623．．．線緩衝器
1630．．．YCbCr/RGB轉換單元
16211．．．分開單元
16212．．．濾波器
16213．．．濾波器
16214．．．濾波器
16215．．．結合單元
16221．．．分開單元
16222．．．濾波器
16223．．．結合單元
1710．．．RGB結合單元
1720．．．座標轉換記憶體
1730．．．RGB分開單元
1740．．．校正失真座標轉換計算單元
1750．．．座標轉換係數表
圖1是方塊圖，顯示根據本發明的實施例之影像拍攝裝置的整體配置；
圖2是說明放大色差及失真；
圖3用以說明放大色差及失真之同時校正；
圖4A及4B說明放大色差及失真的單獨校正；
圖5是方塊圖，說明圖1中所示的放大色差校正單元的詳細配置；
圖6A至6C是方塊圖，顯示圖5中所示的代表性座標轉換單元的配置；
圖7是方塊圖，顯示圖1中所示的失真校正單元的詳細配置；
圖8是方塊圖，顯示圖1中所示的調變轉換函數(MTF)校正單元的配置；
圖9是方塊圖，顯示舉例說明之圖8中所示的濾波單元的配置；
圖10顯示用於圖9中所示的FIR濾波器之係數實例；
圖11是方塊圖，說明FIR濾波器的配置；
圖12是方塊圖，顯示圖9中所示的IIR濾波器之配置；
圖13是方塊圖，顯示IIR濾波器、線緩衝器、及FIR濾波器如何為了相當低的雜訊位準而被連接在一起；
圖14是方塊圖，顯示IIR濾波器、線緩衝器、及FIR濾波器如何為了相當高的雜訊位準而被連接在一起。
1621．．．雜訊降低濾波器
1622．．．邊緣增強濾波器
1623．．．線緩衝器

Claims (7)

  1. 一種影像處理裝置，其處理由成像裝置所取得的影像資料，該影像處理裝置包含：線緩衝器，其暫時地及依序地儲存該影像資料於其中；有限脈衝響應(FIR)濾波器，其藉由使用該線緩衝器來實施該影像資料的空間頻率特徵之整形；無限脈衝響應(IIR)濾波器，其使用由該有限脈衝響應濾波器所使用之該相同的線緩衝器，作為處理過的影像資料之回饋中使用的線緩衝器；雜訊位準偵測機構，其偵測該影像資料的雜訊位準；切換訊號產生機構，其根據由該雜訊位準偵測機構所偵測到的該雜訊位準，以產生切換訊號；以及切換機構，其根據由該切換訊號產生機構所產生的該切換訊號，將該有限脈衝響應(FIR)濾波器及該無限脈衝響應(IIR)濾波器獨立地賦能及禁能，其中，當影像的雜訊位準相當低時，該切換機構使該無限脈衝響應(IIR)濾波器失能，使得輸入的該影像資料被直接傳送至該線緩衝器，而該切換機構使該有限脈衝響應(FIR)濾波器賦能，使得該影像資料從該有限脈衝響應(FIR)濾波器經由輸出端而被輸出，並且當該影像的雜訊位準相當高時，該切換機構使該無限脈衝響應(IIR)濾波器賦能，使得該影像資料從該無限脈衝響應(IIR)濾波器被傳送至該線緩衝器，而該切換機構使該 有限脈衝響應(FIR)濾波器失能，使得該影像資料直接從該線緩衝器經由該輸出端而被輸出。
  2. 如申請專利範圍第1項之影像處理裝置，其中，該有限脈衝響應(FIR)濾波器是邊緣增強濾波器，其增強該影像資料的高頻成分。
  3. 如申請專利範圍第1項之影像處理裝置，其中，該無限脈衝響應(IIR)濾波器是降低雜訊之低通濾波器。
  4. 如申請專利範圍第1項之影像處理裝置，其中，該雜訊位準偵測機構根據該成像裝置的自動增益控制電路的增益，以偵測該雜訊位準。
  5. 如申請專利範圍第1項之影像處理裝置，其中，該雜訊位準偵測機構根據影像的平均亮度，以偵測該雜訊位準。
  6. 如申請專利範圍第1項之影像處理裝置，其中，當該雜訊位準相當低時，使該有限脈衝響應(FIR)濾波器賦能及使該無限脈衝響應(IIR)濾波器禁能而且該線緩衝器的輸出端子係連接至該有限脈衝響應(FIR)濾波器的輸入端子；以及當該雜訊位準相當高時，使該有限脈衝響應(FIR)濾波器禁能及使該無限脈衝響應(IIR)濾波器失能，而且該無限脈衝響應(IIR)濾波器的輸出端子係連接至該線緩衝器的輸入端子以及該線緩衝器的該輸出端子係連接至該無限脈衝響應(IIR)濾波器的輸入端子。
  7. 一種車載相機裝置，包括：廣角光學系統；成像裝置，其讀取由該廣角光學系統所拍攝的影像；如申請專利範圍第1至6項中任一項之影像處理裝置，其中，該影像處理裝置處理由該成像裝置所拍攝的該影像資料；以及顯示裝置，顯示由該影像處理裝置所處理的影像資料。
TW098143666A 2008-12-26 2009-12-18 影像處理裝置及車載相機裝置 TWI462577B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008333451A JP5267794B2 (ja) 2008-12-26 2008-12-26 画像処理装置及び車載カメラ装置

Publications (2)

Publication Number Publication Date
TW201119359A TW201119359A (en) 2011-06-01
TWI462577B true TWI462577B (zh) 2014-11-21

Family

ID=42287569

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098143666A TWI462577B (zh) 2008-12-26 2009-12-18 影像處理裝置及車載相機裝置

Country Status (7)

Country Link
US (1) US8854421B2 (zh)
EP (1) EP2382770A4 (zh)
JP (1) JP5267794B2 (zh)
KR (1) KR101265005B1 (zh)
CN (1) CN102265600B (zh)
TW (1) TWI462577B (zh)
WO (1) WO2010073954A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130019639A (ko) * 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
KR20140086632A (ko) 2012-12-28 2014-07-08 삼성디스플레이 주식회사 영상 처리 장치 및 그것을 포함하는 표시 장치
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP6417666B2 (ja) 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6416712B2 (ja) * 2015-08-06 2018-10-31 株式会社Ｓｏｋｅｎ ピッチ角推定装置
US9747514B2 (en) * 2015-08-31 2017-08-29 Apple Inc. Noise filtering and image sharpening utilizing common spatial support
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
US10692191B2 (en) * 2018-08-10 2020-06-23 Apple Inc. Per-pixel photometric contrast enhancement with noise control
US11387790B2 (en) 2019-01-24 2022-07-12 Analog Devices International Unlimited Company Power semiconductor device with charge trapping compensation
WO2021124921A1 (ja) * 2019-12-19 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117251A1 (en) * 1999-12-29 2001-07-18 Eastman Kodak Company Automated stabilization method for digital image sequences
US20070248166A1 (en) * 2006-04-19 2007-10-25 Hong Chen Image stabilization method
US20080240203A1 (en) * 2007-03-29 2008-10-02 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3258318B2 (ja) * 1990-08-10 2002-02-18 カシオ計算機株式会社 音声制御電子楽器
US5157215A (en) 1989-09-20 1992-10-20 Casio Computer Co., Ltd. Electronic musical instrument for modulating musical tone signal with voice
JP2807928B2 (ja) 1991-02-04 1998-10-08 シャープ株式会社 ビデオカメラ用感度アップ回路
JPH05153547A (ja) * 1991-11-28 1993-06-18 Sony Corp テレビジヨン信号の記録再生装置
JPH05304622A (ja) * 1992-04-24 1993-11-16 Toshiba Corp ノイズ検出装置及びノイズリダクション装置
EP0669598B1 (en) 1994-02-28 1999-10-27 STMicroelectronics S.r.l. Filter for reducing noise and exalting image digital signals edges according to fuzzy logic
JP3226799B2 (ja) * 1996-09-06 2001-11-05 日本電気株式会社 ノイズリデューサー回路
JP4062793B2 (ja) * 1998-11-02 2008-03-19 ソニー株式会社 画素数変換装置
JP4094256B2 (ja) 2001-07-30 2008-06-04 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
CA2387627A1 (en) * 2002-05-27 2003-11-27 Andrew Elias A system and method for reducing noise in images
JP4414661B2 (ja) * 2003-02-25 2010-02-10 オリンパス株式会社 ステレオアダプタ及びそれを用いた距離画像入力装置
JP4385278B2 (ja) * 2003-06-24 2009-12-16 ソニー株式会社 映像信号処理装置及び方法
JP2005184786A (ja) 2003-11-28 2005-07-07 Victor Co Of Japan Ltd ノイズ抑圧回路
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
US7388621B2 (en) 2004-11-30 2008-06-17 Mediatek Inc. Systems and methods for image processing providing noise reduction and edge enhancement
JP2006180200A (ja) * 2004-12-22 2006-07-06 Matsushita Electric Ind Co Ltd 監視装置
US7570829B2 (en) * 2005-02-17 2009-08-04 Eastman Kodak Company Selection of alternative image processing operations to maintain high image quality
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
US7639309B2 (en) * 2005-12-20 2009-12-29 Broadcom Corporation Method and system for analog video noise reduction by blending FIR and IIR filtering
JP5008139B2 (ja) 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP4911628B2 (ja) 2008-01-28 2012-04-04 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5008578B2 (ja) 2008-01-28 2012-08-22 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5049155B2 (ja) 2008-02-07 2012-10-17 株式会社リコー プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置
JP5080305B2 (ja) 2008-02-13 2012-11-21 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP5078147B2 (ja) 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP5078148B2 (ja) 2008-03-10 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP2009218909A (ja) 2008-03-11 2009-09-24 Ricoh Co Ltd 画像撮像装置
JP4966894B2 (ja) 2008-03-18 2012-07-04 株式会社リコー 画像撮像装置
JP5062846B2 (ja) 2008-07-04 2012-10-31 株式会社リコー 画像撮像装置
US9088715B2 (en) * 2010-06-11 2015-07-21 Panasonic Intellectual Property Corporation Of America Image processing apparatus and image processing method for image correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117251A1 (en) * 1999-12-29 2001-07-18 Eastman Kodak Company Automated stabilization method for digital image sequences
US20070248166A1 (en) * 2006-04-19 2007-10-25 Hong Chen Image stabilization method
WO2007124360A2 (en) * 2006-04-19 2007-11-01 Nethra Imaging Inc. Image stabilization method
US20080240203A1 (en) * 2007-03-29 2008-10-02 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system

Also Published As

Publication number Publication date
US8854421B2 (en) 2014-10-07
CN102265600B (zh) 2014-08-20
TW201119359A (en) 2011-06-01
JP5267794B2 (ja) 2013-08-21
EP2382770A1 (en) 2011-11-02
EP2382770A4 (en) 2013-11-13
KR20110092324A (ko) 2011-08-17
US20110261152A1 (en) 2011-10-27
CN102265600A (zh) 2011-11-30
KR101265005B1 (ko) 2013-05-15
WO2010073954A1 (en) 2010-07-01
JP2010157791A (ja) 2010-07-15

Similar Documents

Publication Publication Date Title
TWI462577B (zh) 影像處理裝置及車載相機裝置
US8106973B2 (en) Image processing method, image processing device, and image capturing device
TWI486062B (zh) 攝像設備
JP5008578B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP4911628B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP5078147B2 (ja) 画像処理装置及び画像撮像装置
JP4966894B2 (ja) 画像撮像装置
JP5273371B2 (ja) 画像処理装置及び方法、並びに車載カメラ装置
US8368968B2 (en) Imaging apparatus and image correction method
JP2009218909A (ja) 画像撮像装置
JP2009194573A (ja) 画像処理方法及び装置、並びに画像撮像装置
JP2009188840A (ja) プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees