TWI486062B - 攝像設備 - Google Patents
攝像設備 Download PDFInfo
- Publication number
- TWI486062B TWI486062B TW097144710A TW97144710A TWI486062B TW I486062 B TWI486062 B TW I486062B TW 097144710 A TW097144710 A TW 097144710A TW 97144710 A TW97144710 A TW 97144710A TW I486062 B TWI486062 B TW I486062B
- Authority
- TW
- Taiwan
- Prior art keywords
- coordinate conversion
- memory
- chromatic aberration
- coordinate
- distortion
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 claims description 105
- 230000015654 memory Effects 0.000 claims description 75
- 230000004075 alteration Effects 0.000 claims description 65
- 238000012937 correction Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000003321 amplification Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 239000000872 buffer Substances 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000010981 turquoise Substances 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本發明關於一種使用校正獲得影像之放大的色差與失真的技術的攝像設備。
近年來，用於車輛等等之後視監測的廣角攝像設備需求日增。然而，隨著視角加寬，放大的色差與失真增加。因此，設計出結合最小色差的光學系統是困難的，便有與影像處理一起改善性能之需求。
一般來說，雖然失真對於每個色彩元素：紅、綠與藍(RGB)是相同的，但放大的色差則視色彩元素而不同。此外，相較於放大的色差，失真具有相當大的影響。
使用具有放大的色差與失真之光學系統的典型攝像設備使用一種色差校正方法，其中，可在後續階段中使用由像是：電荷耦合裝置(COD)與互補金氧半導體(CMOS)感應器之攝像設備獲得之紅、綠、與藍色彩訊號，藉由個別轉換RGB的每個色彩元素座標而同時校正放大的色差與失真，或是其中，僅藉由同時轉換RGB每個色彩元素座標而校正失真，而忽略放大的色差。
由獨立轉換RGB每個色彩元素座標而同時校正放大的色差與失真的方法需要獨立指定用於RGB元素位址之記憶體，而導致需要具有三晶片結構之三連接埠昂貴記憶體。此外，對於座標轉換而言，需要隨機存取，因此，需要三連接埠隨機存取記憶體以校正放大的色差。因此，甚至當為了分時，典型單一連接埠外部DRAM藉由提升DRAM驅動頻率而作用為三連接埠RAM時，為了改善解析度，像素速率是必要，而由於存取延遲，故訊框速率不會增加。
此外，需要具有大處理容量之像是：訊框緩衝器的記憶體以儲存一整個影像資料以校正失真。
那就是說，當進行隨機存取時，此一藉由獨立座標轉換RGB每個色彩元素而同時校正放大的色差與失真的典型方法需要具有低延遲、大處理容量之記憶體，像是：SRAM或具有多重連接埠。然而，具有大處理容量之SRAM或具有多重連接埠之記憶體極昂貴，而此顯著地提高需要大處理容量之高解析度裝置成本。
另一方面，僅藉著由RGB每個色彩元素所分享之座標轉換而校正失真的方法需要大處理容量記憶體，但可使用低廉單一晶片結構記憶體，像是：DARM。然而，因為所產生之放大的色差無法忽略，故此一方法無法應用於需要廣角的情況下。
由於這些原因，故本發明人體認到攝像設備存在一種需求，該需求為：即使對於具有高訊框速率之高解析度影像而言，校正放大的色差與失真的功能可以具成本效益方式進行安裝。
於是，本發明之目的為設置一種攝像設備，其中，甚至對於具有高訊框速率之高解析度影像而言，校正放大的色差與失真之功能可以具成本效益方式進行安裝。在下文中簡短描述之本發明的此目的與其他目的將變得更加清楚明顯，並且其個別或結合目的係由一種攝像設備達成，該設備包含放大的色差校正裝置，其使用對應多重色彩元素的多重第一座標轉換記憶體，藉由轉換影像多重色彩元素像素資料的座標而校正影像放大的色差；以及失真校正裝置，其使用由多重色彩元素所分享之第二座標轉換記憶體，藉由在一次轉換影像多重色彩元素像素資料的座標而校正已校正放大的色差之影像失真。
較佳的是，在上述攝像設備中，第一座標轉換記憶體為具有低延遲、低處理容量或具有多重連接埠、低處理容量之記憶體，而第二座標轉換記憶體相較於為用於第一座標轉換記憶體之記憶體為具有高延遲、高處理容量或具有單一連接埠、高處理容量記憶體。
更佳的是，在上述攝像設備中，第一座標轉換記憶體為SRAM，而第二座標轉換記憶體為DRAM。
更佳的是，在上述攝像設備中，放大的色差校正裝置轉換除了用於特定色彩元素的像素資料以外的多重色彩元素的像素資料的座標。
更佳的是，在上述攝像設備中，放大的色差校正裝置根據特定色彩元素座標而獲得校正量，並且可根據校正量，而計算非特定色彩元素之每個色彩元素的轉換座標。
更佳的是，在上述攝像設備中，多重色彩元素包含有紅色(R)訊號，綠色(G)訊號，與藍色(B)訊號，而特定色彩元素為綠色。
更佳的是，上述攝像設備更包含遠紅外線(FIR)濾波器，其構形成過濾亮度訊號並位在放大的色差校正裝置與失真校正裝置間。
本發明的這些與其他目的、特徵與優點將在考量下列與隨附圖示結合之本發明較佳具體實施例的描述下變得明顯。
下文中將參考數個具體實施例與隨附圖示而詳細描述本發明。在下列描述中，係使用加法三原色：紅色(R)，綠色(G)與藍色(B)之色彩元素，但在其中亦使用減法三原色：黃色(Y)、品紅色(M)與青綠色(C)。
圖1為說明根據本發明攝像設備影像處理系統具體實施例的功能方塊示圖。攝像設備包含其他裝置，像是：操作單元(未顯示)、影像儲存單元(未顯示)與影像顯示部位(未顯示)。
在圖1中，控制單元100以管道方式藉由傳送用於在攝像設備中之每個單元的控制訊號而控制每個單元。
攝像元件110可形成為，舉例來說：CCD或CMOS感應器，該元件可將由具有大放大的色差與大失真之廣角光學系統(未顯示)所攝取之光學影像轉換成電氣訊號(像素資料)。攝像元件110包含根據拜爾配置而配置的濾色器。根據由控制單元100所提供之座標資料(x，y)，可連續地輸出根據拜爾配置而配置的RGB像素資料。控制單元100亦在特定時間間隔下，連續地將提供至攝取元件110的座標資料(x，y)提供至後續階段。
A/D整流器120將從攝像110輸出之類比訊號(亦即：在拜爾配置上之RGB像素資料)轉換成傳輸至拜爾互補單元130的數位訊號。在此具體實施例中，可使用8位元格式化RGB每個色彩元素之數位訊號。
拜爾互補單元130輸入在拜爾配置上已轉換成數位訊號之RGB像素資料，並獨立地藉由線性互補產生對於RGB每個色彩元素而言之所有座標位置的像素資料，並且將像素資料傳遞至放大的色差校正單元140。
圖2說明拜爾配置濾色器的示圖。G0
可藉由下列關係式而獲得：
G0
=(G2
+G4
+G5
+G8
)/4 (1)
R2
、R4
、R6
、R8
與R0
藉由下列關係式而獲得：
R2
=(R1
+R3
)/2 (2)
R4
=(R3
+R5
)/2 (3)
R6
=(R5
+R7
)/2 (4)
R8
=(R1
+R7
)/2 (5)
R0
=(R1
+R3
+R5
+R7
)/4 (6)
B2
、B4
、B6
、B8
、B0
與R2
、R4
、R6
、R8
與R0
的情況相同。
在此具體實施例中，係描述具有拜爾配置之濾色器的攝取影像。此外，其他具有像是：CMYG配置與RGB+Ir(紅外線)配置之不同濾色器配置的攝像元件亦是有效的。由於四色種類需要具有更低延遲之記憶體或具有4埠的RAM，故相較於像是：RGB之三色種類，本發明在攝像元件具有此四色過濾器配置的情況下更加有效。
放大的色差校正單元140輸入拜爾互補RGB像素元素，並根據特定多項式，獨立轉換RGB每個色彩元素之座標(放大的色差之座標轉換)，並且輸出已校正放大的色差之RGB像素資料。可使用具有低延遲、低處理容量之記憶體或具有多埠之低處理容量(例如：SRAM)記憶體以用於校正放大的色差之座標轉換。在下文中放大的色差校正單元140係與失真校正單元160一起進行詳述。
調變傳送函數(MTF)校正150輸入已校正放大的色差之RGB像素資料，並使用FIR濾波器而執行MTF校正，以及輸出MTF之已校正RGB像素資料。
圖3為說明MTF校正單元150結構的概略示圖。轉換單元152根據下列關係式將RGB像素資料轉換成YCbCr像素資料：
Y=0.299R+0.587G+0114B (7)
Cr=0.500R-0.419G-0.081B (8)
Cb=-0.169R-0.332G+0.500B (9)
FIR過濾器(5x5)154僅輸入在YCbCr中之亮度訊號Y與執行特定MTF校正。可藉由僅過濾Y訊號(MTF校正)而獲得高解析度影像，同時降低色彩雜訊增幅。由於過濾Y訊號，故應在校正放大的色差後執行MTF校正。然而，當在失真校正後執行MTF校正時，用於失真校正之座標轉換的轉換距離為如後述般的大，如此使得易於發生計算誤差。此誤差為MTF校正所放大。因此，較佳的是，在此具體實施例中，MTF校正配置在放大的色差校正後與在失真校正前。
反向轉換單元156輸入CbCr訊號，而MTF在反向轉換後根據下列關係式校正Y訊號並輸出RGB像素資料。
R=Y+1.402Cr (10)
G=Y-0.714Cr-0.344Cb (11)
B=Y+1.772Cb (12)
失真校正單元160輸入在MTF校正後已校正放大的色差之RGB像素資料，並根據特定多項式，執行RGB每個色彩元素之座標轉換(用於失真校正)以及輸出已校正失真之RGB像素資料。由於需要僅具有一個連接埠之記憶體，故相較於用於放大的色差之記憶體，可使用具有高延遲之相當大處理容量(最大可儲存一整個影像)之像是：DRAM的記憶體以用於在失真校正單元160中之座標轉換。如上述，係在下文中詳述失真校正單元160。
從失真校正單元160輸出之RGB資料可輸入至γ校正單元170，而γ校正單元170可使用用於每個RGB之查詢表而執行特定γ校正，並且輸出已校正γ之RGB像素資料。
此為說明於圖1之具體實施例的全部操作。
下文為關於放大的色差校正單元140與失真校正單元160之詳細描述。
在下文中係描述放大的色差與失真的校正原理。
如圖4之概略說明，當由具有放大的色差與失真之光學系統捕捉到一影像時，在右頂側邊上由1所代表之像素資料位置(像素)由於失真而從該原始位置1偏移，此外每個RGB元素根據放大的色差而具有不同偏移。結果，對於RGB而言，攝像元件所成像之實際位置為2(R)，3(G)與4(B)。放大的色差與失真之校正為：在2(R)，3(G)與4(B)(像素)位置之RGB的每個元素像素資料係複製到原始位置1(像素)，那就是說：每個元素像素資料座標係轉換至其原始位置。
由於可藉由光學系統之設計資料而測定放大的色差程度與失真程度，故可計算RGB每個色彩元素相對原始位置偏移之位置。
圖5為說明校正放大的色差與失真之典型方法的概略示圖。在2(R)，3(G)與4(B)之RGB每個色彩元素的像素資料係複製到原始位置1，而此意謂同時轉換其座標以校正放大的色差與失真。然而，對於RGB每個色彩元素而言，此典型方法需要具有低延遲或多重連接埠之大處理容量記憶體。舉例來說：在說明於圖5之情況下，對於每個RGB座標轉換而言，具有6列之高速記憶體是必要的。
圖6為說明本發明校正放大的色差與失真方法之概略示圖。放大的色差視每個色彩元素不同而有小量偏移。另一方面，失真具有大量偏移，但對於每個色彩元素則是相同的。本發明人關注此事實並且藉由轉換RGB每個色彩元素像素資料座標而校正放大的色差(在具體實施例中，轉換RB色彩元素並將其複製到位置G)，並且藉由在一次轉換已校正彩色放大的色差之RGB像素資料而修正失真。藉以，就功能論，可分別使用具有高速性能(低延遲或多重連接埠)以校正每個RGB放大的色差之小處理容量記憶體，以及具有低速性能(高延遲或單一連接埠)以校正由RGB所分享之失真的大處理容量記憶體為座標轉換記憶體，而此導致降低整體成本。
圖6A為說明本發明中放大的色差之校正以及對在RB色彩元素之位置2(R)與4(B)處的像素資料進行座標轉換並複製到G之3(G)的概略示圖。藉以，可校正放大的色差。圖6B為說明本發明失真校正，以及在位置3處已校正RGB每個色彩元素之放大色差的像素資料一次進行座標轉換並且複製到原始位置1(像素)之概略示圖。藉以，校正失真。
在圖6示例中，可處理每個RGB之三列記憶體作為用於校正放大的色差之高速記憶體是足夠的。需要另一五列記憶體以校正失真，但可使用由RGB所分享之低速記憶體。相較於圖5所說明之典型示例，此可減少整體成本。
本發明所指之失真代表透鏡相對目標投射系統之失真。此目標投射系統之示例為一種可從攝影機上方獲得下向影像之投射系統，以及一種為了顯示，可部分放大影像之投射系統。
圖7為說明放大的色差校正單元140示例之組態圖。142代表用於校正放大的色差之座標轉換記憶體(列緩衝器)，而142(R)、142(G)與142(B)則對應RGB每個色彩元素。144代表用於校正放大的色差以根據特定座標轉換關係式而計算用於校正每個RGB放大的色差之轉換座標的座標轉換計算單元。146代表座標轉換係數表，其包含使用在座標轉換關係式中的係數。
需要用於RGB之具有三埠或低延遲的小處理容量記憶體作為列緩衝器以校正放大的色差。舉例來說：當在Y方向中放大的色差之最大偏移量假定為20列時，每個座標轉換記憶體142(R)、142(G)與142(B)可形成為20列SRAM。可藉由解析度測定在X方向中之尺寸。舉例來說：當解析度為VGA(640x480)時，在X方向中之尺寸為640點。色彩深度為RGB8位元，且座標轉換記憶體142(R)、142(G)與142(B)以8位元操作讀寫動作。
如上述，由於用於校正放大的色差之座標轉換記憶體(列緩衝器)142(R)、142(G)與142(B)具有小處理容量，故較佳的是，每個這些座標轉換記憶體具有使用在攝像設備影像處理晶片中所製備之三埠SRAM以保證有可容納20列之記憶體區域的組態。此外，像是：具有單一連接埠之SRAM的低延遲記憶體可藉由分時技術而使用為三連接埠記憶體。
具有放大的色差與失真之影像的每個RGB像素資料係連續地根據座標資料(x，y)而從前列寫入座標轉換記憶體142(R)、142(G)與142(B)。在各自寫入20列像素資料後，可在新寫入連續列之像素資料時，連續地從前列拋棄像素資料。每個座標轉換記憶體142(R)、142(G)與142(B)連續地儲存對應校正放大的色差座標轉換所需之最大20列數量的RGB像素資料。
座標資料(x，y)指示一訊框之影像讀取位置。另一方面，座標轉換記憶體142(R)、142(G)與142(B)為用於20列之列緩衝器。由於寫入列以循環方式變化，故座標資料(x，y)無法直接作為用於座標轉換記憶體142(R)、142(G)與142(B)之寫入位址。因此，座標資料(x，y)之數值係轉換至座標轉換記憶體142(R)、142(G)與142(B)之真實位址。用於此轉換之組態未顯示於圖7中。這可應用至在後述讀取操作中於轉換後的座標資料(x，y)與座標轉換記憶體142(R)、142(G)與142(B)讀取位址間之關係式。
用於校正放大的色差之座標轉換計算單元144根據像是：多項式之特定座標轉換關係式，使用作為輸入資料之座標資料(x，y)而計算用於校正用於每個RGB放大的色差之轉換座標，並且在轉換每個RGB後輸出座標資料(X，Y)。如說明於圖6A般，在此具體實施例中，RB色彩元素進行座標-轉換並且被複製到色彩元素G之位置。因此，在轉換後，用於校正放大的色差之座標轉換計算單元144直接將用於元素G之座標資料(x，y)輸入輸出成為座標資料(X，Y)。另一方面，用於校正放大的色差之座標轉換計算單元144使用特定座標轉換方程式而將分別用於RB色彩元素的座標資料(x，y)輸入轉換成座標資料(X，Y)，並且在轉換後，輸出所獲得之座標資料(X，Y)。對於每個座標資料(x，y)而言，可重複此操作。
當原點設定在影像中央時，座標轉換方程式舉例來說為：
X=x+[a(1)+a(2)*abs(x)+a(3)*abs(y)+a(4)*y2
]*x
Y=y+[b(1)+b(2)*abs(y)+b(3)*abs(x)+b(4)*x2
]*y (13)。
在關係式(13)中，abs()代表絕對值，a(1)至(4)與b(1)至b(4)代表座標轉換係數。座標轉換係數預先保存在座標轉換係數表146中。
座標轉換記憶體142(R)、142(G)與142(B)與上述寫入操作同時(實際晚一特定時間)而根據從用於校正放大的色差之座標轉換計算單元144輸出之座標資料(X，Y)(實際上從座標資料(X，Y)所轉換的數值位址)連續地讀取RGB像素資料。可從座標轉換記憶體142(G)讀取在寫入時於該位置之色彩元素G的像素資料。當寫入特定數量(亦即：對應放大的色差之數量)時，可從座標轉換記憶體142(R)與142(B)讀取在該位置而從該位置偏移之RB色彩元素像素資料。
根據上述處理，可從座標轉換記憶體142(R)、142(G)與142(B)輸出已校正放大的色差之RGB像素資料。
圖8說明用於校正放大的色差之座標轉換計算單元144的組態示例。圖8A為一示例，其中，色彩元素G並不進行座標-轉換，且輸入座標資料(x，y)則直接輸出成G之座標資料(X，Y)，座標轉換計算單元1441與1442僅分別轉換R與B色彩元素之座標資料(x，y)輸入，而在轉換後，輸出R之座標資料(X，Y)與B之座標資料(X，Y)。座標轉換計算單元僅處理R與B元素，而此能減少電路尺寸。
一般來說，由圖8B與8C所呈現之示例反映關於放大的色差R與B色彩元素幾乎相對色彩元素G進行對稱偏移(參見圖4)的事實。圖8B代表一示例，其中，座標轉換計算單元1443獲得關於座標資料(x，y)之校正量，減法單元1444從座標資料(x，y)減去校正值以獲得B之座標資料(X，Y)，而加法單元1445則將校正值加入座標資料(x，y)以獲得R之座標資料(X，Y)。如在圖8A之情況下，可輸出用於G之座標資料(X，Y)的座標資料(x，y)。
圖8C為一示例，其中，更可由考量從對稱位置偏移的增益電路1446調整R之校正量。此一增益電路可設置在B側而非R側。根據圖8B與8C之示例，僅需要一個座標轉換計算單元，如此使得可更加減少電路尺寸。
此外，可製備儲存每個色彩元素R與B之輸入座標資料(x，y)與輸出座標資料(X，Y)間之關係式的查表(LUT)而非圖8A之座標轉換計算單元1441與1442，以在座標資料(x，y)轉換後，直接獲得座標資料(X，Y)。同樣地，可製備儲存輸入座標資料(x，y)與校正量間之關係式的查表(LUT)而非座標轉換計算單元1443，以直接獲得座標資料(x，y)之校正量。藉由此組態，可省略座標轉換之計算，因此，基本上可僅藉由一記憶體晶片校正放大的色差。
接下來，圖9為說明失真校正單元160示例之組態圖。代表RGB合成單元之161可合成RGB像素資料的三個片斷。162代表校正由RGB像素資料所分享之失真的座標轉換記憶體(訊框記憶體)，代表RGB分離單元之163係將合成之RGB像素資料分離為每個原始色彩元素。164代表根據特定座標轉換方程式計算轉換座標以校正失真的失真校正座標轉換計算單元。165代表保存在座標轉換方程式中使用之係數的座標轉換係數表。
由於關於失真，像素偏移量是大的，故為了處理失真校正，需要最大能夠儲存在一整個影像量中之像素資料的訊框緩衝器。另一方面，由於偏移量對於RGB每個色彩元素是相同的，故僅一個具有RGB像素資料之全數寬度的訊框緩衝器就已足夠。在此具體實施例中，解析度為VGA(640x480)，而個別RGB像素資料之位元數(色彩深度)為8位元。座標轉換記憶體162可形成為以24位元進行讀寫而具有640x480點之DRAMs。
如上述，由於用於校正失真之座標轉換記憶體(訊框記憶體)162具有極大處理容量，故就成本而言，難以具有如在影像理晶片中之SRAM的座標轉換記憶體，而且對於RGB而言，單一連接埠記憶體就已足夠。因此，希望的是，使用在影像處理晶片外製備之DRAM。
RGB合成單元161合成已校正放大的色差之RGB每個輸入像素資料(每個8位元)，並且輸出一像素資料(24位元)之片斷。根據座標資料(x，y)，可連續地從前列將這些合成RGB資料寫入座標轉換記憶體162。
另一方面，失真校正座標轉換計算單元164根據像是：多項式的特定座標轉換關係式方程式而使用輸入座標資料(x，y)計算轉換座標以校正RGB所分享之失真，並且在轉換後輸出座標資料(X，Y)。可藉由用於放大的色差校正之關係式(13)而呈現出座標轉換關係。自然地，在關係式(13)中之係數彼此不同。座標轉換係數可包含在座標轉換係數表165中。
如上述，用於校正失真之座標轉換關係式，舉例來說為：與用於校正放大的色差之關係式(13)相同。用於校正放大的色差之計算結果可儲存在記憶體等等，並且指定成在校正失真關係式(13)中之x2
，y2
，abs(x)與abs(y)項次。因此，不需要重複計算，而此減少失真校正座標轉換計算單元164之電路尺寸。
座標轉換記憶體162與寫入RGB合成像素資料(24位元)同時(確切的說，在寫入後的一特定時間開始讀取)，根據從失真校正座標轉換計算單元4輸出之座標資料(X，Y)而連續地讀取RGB合成像素資料。RGB分離單元163將從座標轉換記憶體162讀出之RGB合成像素資料(24位元)分離成RGB每個原始色彩元素像素資料(8位元)。
根據上述處理，RGB分離單元163輸出已校正放大的色差與失真之每個RGB像素資料。那就是說，每個RGB像素資料可複製到其原始位置(x，y)。
亦可製備儲存輸入座標資料(x，y)與輸出座標資料(X，Y)間之關係式的查表(LUT)以從使用關於放大的色差之LUT的座標資料(x，y)直接獲得座標資料(X，Y)。藉以，可省略座標轉換之計算，因此，基本上可僅藉由一記憶晶片校正放大的色差。
本文件主張於西元2007年11月26日提申之日本專利申請號2007-304417之優先權並包含其標的，而其全部內容在此合倂作為參考。
現已完全描述本發明，明顯的是：其中一位習知技藝者可在無背離上述本發明精神與範疇的情況下，進行許多改變與校正。
100．．．控制單元
110．．．攝像元件
120．．．A/D整流器
130．．．拜爾互補單元
140．．．放大校正單元
142．．．放大校正單元
144．．．RGB
146．．．RGB
150．．．調變傳送函數(MTF)校正
152．．．轉換單元
154．．．FIR過濾器
156．．．反向轉換單元
160．．．失真校正單元
161．．．失真校正單元
162．．．座標轉換記憶體
163．．．RGB分離單元
164．．．失真校正座標轉換計算單元
165．．．特定座標轉換方程式
170．．．γ校正單元
1441．．．座標轉換計算單元
1442．．．座標轉換計算單元
1443．．．座標轉換計算單元
1444．．．減法單元
1445．．．加法單元
1446．．．增益電路
如同由實施方式而有較佳之了解般，當考量隨附圖示時，將可更加完全體會本發明其他不同目的、特徵與伴隨優點，在圖式中，相同元件符號指定在本說明書中之相同對應部件，其中：
圖1為說明本發明攝像設備具體實施例之方塊圖；
圖2為說明在拜爾配置上之濾色器的示圖；
圖3為說明MTF校正單元之概略示圖；
圖4為說明放大的色差與失真的示圖；
圖5為說明以典型方式校正放大的色差與失真的示圖；
圖6為說明本發明校正放大的色差與失真的示圖；
圖7為說明放大的色差校正單元具體實施例的示圖；
圖8為說明用於校正放大的色差之座標轉換計算單元具體實施例的結構示圖；以及
圖9為說明失真校正單元具體實施例的示圖。
100．．．控制單元
110．．．攝像元件
120．．．A/D整流器
130．．．拜爾互補單元
140．．．放大校正單元
150．．．調變傳送函數(MTF)校正
160．．．失真校正單元
170．．．γ校正單元
Claims (7)
- 一種攝像設備，包含有：放大的色差校正裝置，其組態以藉由使用各自儲存多色彩元素之多重第一座標轉換記憶體，藉由轉換影像之像素資料的多色彩元素之座標，且將在與該像素資料相關的各自第一座標轉換記憶體內的該等多色彩元素的至少二者移到與該像素資料的原始像素位置不同的一共同像素位置而使得該等第一座標轉換記憶體包含放大的色差校正值而校正影像之放大的色差；以及失真校正裝置，其組態以使用由該等多色彩元素所分享之第二座標轉換記憶體，藉由同時轉換該影像之多色彩元素的該像素資料的座標且將在該共同像素位置的該等色差校正值移到該原始像素位置而校正已校正放大的色差之影像失真，其中，該第一座標轉換記憶體為具有第一延遲、第一處理容量或具有多埠、第一處理容量之記憶體，而該第二座標轉換記憶體相較於用於該第一座標轉換記憶體之記憶體為具有高於該第一延遲的第二延遲、高於該第一處理容量的第二處理容量或單一埠、第二處理容量之記憶體。
- 如申請專利範圍第1項所述之攝像設備，其中，該第一座標轉換記憶體為SRAM而該第二座標轉換記憶體為DRAM。
- 如申請專利範圍第1項所述之攝像設備，更包含有 遠紅外線(FIR)濾波器，其組態以過濾亮度訊號並位在該放大的色差校正裝置與該失真校正裝置間。
- 如申請專利範圍第1項所述之攝像設備，其中，該共同像素位置對應該像素資料的綠色元素。
- 如申請專利範圍第1項所述之攝像設備，其中，該放大的色差校正裝置轉換除了用於特定色彩元素的像素資料之外的多色彩元素的像素資料的座標。
- 如申請專利範圍第5項所述之攝像設備，其中，該放大的色差校正裝置根據該特定色彩元素的座標而獲得校正量，並且根據該校正量，計算非特定色彩元素之每個色彩元素的轉換座標。
- 如申請專利範圍第5項所述之攝像設備，其中，該等多色彩元素包含有紅色(R)訊號，綠色(G)訊號，與藍色(B)訊號，而該特定色彩元素為綠色。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007304417A JP5008139B2 (ja) | 2007-11-26 | 2007-11-26 | 画像撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200939794A TW200939794A (en) | 2009-09-16 |
| TWI486062B true TWI486062B (zh) | 2015-05-21 |
Family
ID=40380163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW097144710A TWI486062B (zh) | 2007-11-26 | 2008-11-19 | 攝像設備 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8120666B2 (zh) |
| EP (1) | EP2063389B1 (zh) |
| JP (1) | JP5008139B2 (zh) |
| CN (1) | CN101448168B (zh) |
| TW (1) | TWI486062B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5240453B2 (ja) * | 2008-02-14 | 2013-07-17 | 株式会社リコー | 画像処理方法、画像処理装置及び画像撮像装置 |
| JP5078147B2 (ja) * | 2008-03-04 | 2012-11-21 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
| JP5273371B2 (ja) | 2008-12-24 | 2013-08-28 | 株式会社リコー | 画像処理装置及び方法、並びに車載カメラ装置 |
| JP5267794B2 (ja) | 2008-12-26 | 2013-08-21 | 株式会社リコー | 画像処理装置及び車載カメラ装置 |
| JP5152102B2 (ja) | 2009-03-27 | 2013-02-27 | 富士電機機器制御株式会社 | 熱動形過負荷継電器 |
| JP2010245814A (ja) * | 2009-04-06 | 2010-10-28 | Renesas Electronics Corp | 画像処理方法、及び画像処理装置 |
| JP2011061444A (ja) * | 2009-09-09 | 2011-03-24 | Hitachi Information & Communication Engineering Ltd | 収差補正装置及び収差補正方法 |
| JP5607911B2 (ja) * | 2009-10-21 | 2014-10-15 | オリンパスイメージング株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
| JP5553579B2 (ja) * | 2009-11-09 | 2014-07-16 | 三星電子株式会社 | デジタルカメラ、画像処理方法及びコンピュータプログラム |
| US8624999B2 (en) | 2009-12-01 | 2014-01-07 | Ricoh Company, Ltd. | Imaging apparatus |
| JP5505135B2 (ja) * | 2010-06-30 | 2014-05-28 | ソニー株式会社 | 画像処理装置、画像処理方法、および、プログラム |
| JP5669556B2 (ja) * | 2010-12-15 | 2015-02-12 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5585885B2 (ja) | 2011-03-18 | 2014-09-10 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| JP5929567B2 (ja) * | 2012-07-03 | 2016-06-08 | ソニー株式会社 | 画像信号処理装置、および画像信号処理方法、並びにプログラム |
| JP6417666B2 (ja) | 2013-05-15 | 2018-11-07 | 株式会社リコー | 画像処理システム |
| CN103426149B (zh) * | 2013-07-24 | 2016-02-03 | 玉振明 | 大视角图像畸变的校正处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060115163A1 (en) * | 2004-11-30 | 2006-06-01 | Honda Motor Co., Ltd. | Apparatus for and method of extracting image |
| US20060274170A1 (en) * | 2005-06-07 | 2006-12-07 | Olympus Corporation | Image pickup device |
| TW200704157A (en) * | 2005-01-12 | 2007-01-16 | Eastman Kodak Co | Four color digital cinema system with extended color gamut and copy protection |
| US20070103564A1 (en) * | 2005-11-09 | 2007-05-10 | Sony Corporation | Image processing device, image processing method, and program |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0746610A (ja) * | 1993-07-27 | 1995-02-14 | Tochigi Nikon:Kk | 画像入力装置 |
| JP3133702B2 (ja) * | 1997-05-30 | 2001-02-13 | 三洋電機株式会社 | ディジタルスチルカメラ |
| US6903733B1 (en) * | 1997-11-24 | 2005-06-07 | Pixelworks, Inc. | Ultra-high bandwidth multi-port memory system for image scaling applications |
| US7245319B1 (en) * | 1998-06-11 | 2007-07-17 | Fujifilm Corporation | Digital image shooting device with lens characteristic correction unit |
| JP2000069343A (ja) * | 1998-06-11 | 2000-03-03 | Fuji Photo Film Co Ltd | デジタル撮像装置 |
| JP2000134483A (ja) * | 1998-10-26 | 2000-05-12 | Minolta Co Ltd | 画像読取装置 |
| US6747702B1 (en) * | 1998-12-23 | 2004-06-08 | Eastman Kodak Company | Apparatus and method for producing images without distortion and lateral color aberration |
| US6538691B1 (en) * | 1999-01-21 | 2003-03-25 | Intel Corporation | Software correction of image distortion in digital cameras |
| EP1175101B1 (en) | 2000-07-14 | 2013-11-13 | Texas Instruments Incorporated | Digital still camera system and method. |
| EP1368970B1 (de) * | 2001-03-05 | 2005-08-10 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme |
| US7433089B2 (en) * | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
| JP4378994B2 (ja) * | 2003-04-30 | 2009-12-09 | ソニー株式会社 | 画像処理装置、画像処理方法ならびに撮像装置 |
| JP4104571B2 (ja) * | 2004-03-29 | 2008-06-18 | 三洋電機株式会社 | 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 |
| JP4596987B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP4553798B2 (ja) | 2005-06-07 | 2010-09-29 | オリンパス株式会社 | 画像撮像装置 |
| JP4596988B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP4596986B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP2007304417A (ja) | 2006-05-12 | 2007-11-22 | Ricoh Co Ltd | 光走査装置、光走査装置の製造方法および画像形成装置 |
| JP4709084B2 (ja) * | 2006-07-07 | 2011-06-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2007
- 2007-11-26 JP JP2007304417A patent/JP5008139B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-28 US US12/259,561 patent/US8120666B2/en active Active
- 2008-11-11 EP EP08168825A patent/EP2063389B1/en active Active
- 2008-11-19 TW TW097144710A patent/TWI486062B/zh not_active IP Right Cessation
- 2008-11-21 CN CN2008101786251A patent/CN101448168B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060115163A1 (en) * | 2004-11-30 | 2006-06-01 | Honda Motor Co., Ltd. | Apparatus for and method of extracting image |
| TW200704157A (en) * | 2005-01-12 | 2007-01-16 | Eastman Kodak Co | Four color digital cinema system with extended color gamut and copy protection |
| US20060274170A1 (en) * | 2005-06-07 | 2006-12-07 | Olympus Corporation | Image pickup device |
| US20070103564A1 (en) * | 2005-11-09 | 2007-05-10 | Sony Corporation | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20090135277A1 (en) | 2009-05-28 |
| EP2063389A1 (en) | 2009-05-27 |
| TW200939794A (en) | 2009-09-16 |
| CN101448168A (zh) | 2009-06-03 |
| US8120666B2 (en) | 2012-02-21 |
| JP5008139B2 (ja) | 2012-08-22 |
| CN101448168B (zh) | 2011-03-09 |
| JP2009130687A (ja) | 2009-06-11 |
| EP2063389B1 (en) | 2011-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI486062B (zh) | 攝像設備 | |
| JP5078148B2 (ja) | 画像処理装置及び画像撮像装置 | |
| JP4911628B2 (ja) | 画像処理方法、画像処理装置及び画像撮像装置 | |
| JP5008578B2 (ja) | 画像処理方法、画像処理装置及び画像撮像装置 | |
| JP5078147B2 (ja) | 画像処理装置及び画像撮像装置 | |
| TWI462577B (zh) | 影像處理裝置及車載相機裝置 | |
| JP5080305B2 (ja) | 画像処理方法及び装置、並びに画像撮像装置 | |
| JP4966894B2 (ja) | 画像撮像装置 | |
| JP5062846B2 (ja) | 画像撮像装置 | |
| JP5273371B2 (ja) | 画像処理装置及び方法、並びに車載カメラ装置 | |
| JP2009218909A (ja) | 画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |