TWI458342B - Camera device and image processing device - Google Patents
Camera device and image processing device Download PDFInfo
- Publication number
- TWI458342B TWI458342B TW100115500A TW100115500A TWI458342B TW I458342 B TWI458342 B TW I458342B TW 100115500 A TW100115500 A TW 100115500A TW 100115500 A TW100115500 A TW 100115500A TW I458342 B TWI458342 B TW I458342B
- Authority
- TW
- Taiwan
- Prior art keywords
- blur
- correction coefficient
- correction
- image
- processing unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 136
- 238000012937 correction Methods 0.000 claims description 118
- 238000003384 imaging method Methods 0.000 claims description 73
- 230000015654 memory Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 18
- 230000008030 elimination Effects 0.000 claims description 16
- 238000003379 elimination reaction Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 4
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Description
本發明係關於一種例如可較好地搭載於攜帶電子機器上之攝像裝置及圖像處理裝置。
近年來，對QR(Quick response)編碼等之2維條形碼、或名片用之OCR(Optical Character Recognition)等，利用近景攝影進行資料辨識或資料輸入之攝像機，隨著附加有攝像機之行動電話之普及，需求也日益增高。
如上所述之攝像機中，在辨識資料時，須拉近物體距離(至被攝體之距離)進行攝影(近景攝影)。因此，為進行一般攝影(拍攝處於遠方之物體)與近景攝影之兩種拍攝，係使用作為攝像光學系之自動聚焦鏡頭、或可將焦點轉換成2階段之鏡頭等。
然而，使用如上所述之自動聚焦鏡頭或焦點轉換鏡頭之情形下，還另外需要致動器或合焦判定電路等，導致零件數量增加，且費用亦增高。另，此外，亦存在擴展拍攝範圍深度之技術(EDOF：Extended depth of field：擴展景深技術)，但根據利用該EDOF之方法，要達到讀取條形碼或可利用OCR辨識之程度，於近點聚焦很困難。因此，不止是一般攝影(向遠點之聚焦)，亦期望以低成本且簡單之構成實現用以進行條形碼讀取或OCR辨識之近景攝影(向近點之聚焦)。
本發明係鑒於該問題點而完成者，其目的在於提供一種可以低成本且簡單之構成實現遠方攝影及近景攝影之攝像裝置及圖像處理裝置。
本發明之攝像裝置，包含：攝像鏡頭；基於攝像鏡頭之通過光線取得攝像資料之攝像元件；及基於攝像資料對攝像圖像實施圖像處理之圖像處理部。圖像處理部包含：對攝像圖像實施模糊修正之模糊消除處理部；及修正係數選擇部，其從各自根據攝像鏡頭至被攝體之物體距離而設定之複數個模糊修正係數中選擇其一，並將其輸出至模糊消除處理部。
本發明之圖像處理裝置，包含：模糊消除處理部，其對藉由攝像元件取得且基於攝像鏡頭之通過光線之攝像圖像實施模糊修正；及修正係數選擇部，其從各自根據攝像鏡頭至被攝體之物體距離而設定之複數個模糊修正係數中選擇其一，並將其輸出至模糊消除處理部。
本發明之攝像裝置及圖像處理裝置中，修正係數選擇部從根據物體距離而設定之複數個模糊修正係數中選擇其一；模糊消除處理部使用該所選擇之修正係數進行攝像資料之模糊修正。藉由可從複數個修正係數(例如近景物體或遠方物體之修正係數)中選擇其一，可對於物體距離不同之各攝像資料(例如遠方物體及近景物體之攝像資料)實施適當之模糊修正。
根據本發明之攝像裝置及圖像處理裝置，由於使用從根據物體距離而設定之複數個模糊修正係數中選擇其一而完成模糊修正，因此可相對例如近景物體或遠方物體等之物體距離不同之各攝像資料，進行適當之模糊修正。藉此，無須使用自動聚焦鏡頭或焦點轉換鏡頭等之特殊攝像光學系統，即可實現向遠點及近點之聚焦。因此，可以低成本且簡單之構成實現遠方攝影及近景攝影。
以下，茲參照附加圖式詳細說明本發明之實施形態。另，說明按以下之順序進行。
1.實施形態(切換遠點用與近點用之修正濾光器進行模糊消除處理之攝像裝置之例)
2.變形例1(於縮減列而取得之攝像資料實施模糊消除處理之例)
3.變形例2(於特定之顏色成分(G、B)實施模糊消除處理之例)
4.其他之變形例
圖1係本發明之一實施形態之攝像裝置(攝像裝置1)之功能方塊圖。攝像裝置1包含：攝像鏡頭10、攝像元件11、圖像處理部12、攝像元件驅動部13、資訊檢測部14、及控制部15。該攝像裝置1係例如搭載於附加有攝像機之行動電話上者，能夠切換接近QR編碼等之2維條形碼進行攝影之模式(微距攝影模式)、與拍攝處於遠方之物體之模式(通常攝影模式)。在本實施形態中，一般攝影模式係假設為被攝體係處於遠方之情形之遠方攝影。另一方面，微距攝影模式係假設為被攝體處於近景之狀態下之近景攝影。
攝像鏡頭10係用以拍攝物體(被攝體)之主要鏡頭，例如視訊攝像機或靜態攝像機等所使用之一般性之固定焦點鏡頭。該攝像鏡頭10之瞳面附近配設有未圖示之開口光圈或快門。
攝像元件11係基於受光光線進行蓄電之光電轉換元件，其基於攝像鏡頭10之通過光線取得攝像資料(後述之攝像資料D0)，將該攝像資料向圖像處理部12輸出。該攝像元件11例如包含CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)或CCD(Charge Coupled Device：電荷耦合器件)等之固體攝像元件，該攝像元件11上以陣列狀排列有複數個單位像素。另，以下，舉攝像元件11按列依序進行讀取之CMOS感應器之情形為例進行說明。
該攝像裝置11，於像素排列之各列(row)佈線有傳送選擇線、復位線、選擇線，於像素排列之各行(column)佈線有信號線。圖2顯示該攝像元件11中單位像素之電路構成。單位像素110例如具有：光電二極體111、傳送電晶體112、放大電晶體113、選擇電晶體114、復位電晶體115、及浮動節點ND116。
光電二極體111係將入射光光電轉換成對應其光量之電荷量之信號電荷並蓄積。傳送電晶體112係將源極、汲極分別連接於光電二極體111之陰極與浮動節點ND116，將閘極連接於傳送選擇線TRFL上。傳送電晶體112具有藉由導通(接通)而將蓄積於光電二極體111中之信號電荷傳送至浮動節點ND116之功能。放大電晶體113與選擇電晶體114係以串聯之方式連接於電源電位VDD與信號線SGNL之間。放大電晶體113係將閘極連接於浮動節點ND116，且放大浮動節點ND116之電位並經由選擇電晶體114而輸出至信號線SGNL。選擇電晶體114之閘極係連接於選擇線SELL。復位電晶體115係將源極連接於浮動節點ND116，將汲極連接於特定電位線，將閘極連接於復位線RSTL，且具有將浮動節點ND116之電位復位之功能。
如上所述之攝像元件11之受光面側，配設有具有特定之顏色排列之彩色濾光器。圖3顯示作為其一例之拜耳(Bayer)排列之彩色濾光器。如此，本實施形態在3原色中係使用綠色(G：Green)2組，紅色(R：red)、藍色(B：Blue)各1組之拜耳排列。該拜耳排列係較顏色更加重視亮度之解像度之排列。
另，攝像元件11之輸出段上可設置有未圖示之前處理部。該情形下，前處理部係對自攝像元件11讀取之類比信號進行標本化處理、量子化處理，再自類比信號轉換(A/D轉換)至數位信號並輸出至圖像處理部12。該前處理部之功能亦可令攝像元件11本身所具有。
圖像處理部12係對自攝像元件11供給之攝像資料(攝像資料D0)，實施包含模糊修正處理(模糊消除處理)之特定之圖像處理者。關於該圖像處理部12之具體構成將予以後述。
攝像元件驅動部13係進行攝像元件11之受光及讀取動作等之驅動控制者。
資訊檢測部14係檢測攝像裝置1中攝影模式之設定信號(模式設定信號)者。該模式設定信號係例如通過行動電話機等按鈕、鍵、開關等之操作，由例如使用者輸入。本實施形態中，作為攝影模式，係由使用者來選擇(切換)用以遠方攝影之一般攝影模式、與用以近景攝影之微距攝影模式之何者。資訊檢測部14係將其檢測結果作為模式設定信號Dm而輸出至控制部15，並因應控制部15所選擇之攝影模式而控制圖像處理部12之圖像處理動作。根據攝影模式，攝像鏡頭至被攝體之物體距離會不同，但藉由如上所述之控制，圖像處理部12可選擇(切換)因應物體距離之適當之修正係數。
控制部15係分別驅動控制攝像元件驅動部13、圖像處理部12及資訊檢測部14者，例如微型電腦等。
圖4係顯示該圖像處理部12之一例。圖像處理部12例如具備：前處理部120、記憶部121、模糊消除處理部122、修正係數選擇部123、及保持部124。另，該圖像處理部12相當於本發明之圖像處理裝置之一具體例。
前處理部120係對攝像資料D0實施例如缺陷修正處理、雜訊除去處理、白平衡調整處理、陰影修正處理、Y/C分離處理等之各種圖像處理，並將該等處理後之攝像資料(圖像資料D1)輸出至記憶部121者。
記憶部121係為了實施後段之模糊消除處理，而將自前處理部120輸出之圖像資料D1暫時予以保存之記憶體。作為該記憶部121之記憶機構，可使用固定磁碟或可移動磁碟，又，作為其種類，可使用磁碟或光碟、磁光碟、半導體記憶體等之各種構件。保存於記憶部121中之圖像資料係根據修正係數選擇部123之控制，作為圖像資料D2而輸出至模糊消除處理部122。
本實施形態中，該記憶部121具有複數個列記憶體121a，該等複數個列記憶體121a中以特定之列而儲存有基於攝像資料D0之圖像資料。列記憶體121a之個數(列數)係根據在模糊消除處理部122中所使用之修正係數之尺寸而設定。細節將予以後述，因修正係數係PSF之反函數，故根據物體距離(攝影模式)其尺寸(2維性擴張)不同。即，每個修正係數，後述之模糊消除處理時之濾光器尺寸不同，列記憶體121a之列數係設定為因應其模糊消除處理時之濾光器尺寸之個數。
模糊消除處理部122係對自記憶部121供給之攝像資料，實施修正模糊之處理(模糊消除處理)者。具體而言，模糊消除處理部122係藉由使用自修正係數選擇部123供給之修正係數(修正係數k1或修正係數k2)之過濾，進行模糊消除處理，並將模糊消除處理後之圖像資料Dout輸出。
修正係數選擇部123係基於控制部15之控制，自複數個模糊修正用之修正係數中選擇其一，並將所選之修正係數輸出至模糊消除處理部122。該等複數之修正係數係為每個相互不同之複數種攝影模式而準備，根據物體距離不同而不同。本實施形態中，作為如此之修正係數，係使用一般攝影模式用之修正係數k1、與微距攝影模式用之修正係數k2之2個修正係數。修正係數k1係用以針對遠方物體之攝像資料實施適當之模糊消除處理之修正係數，修正係數k2係用以針對近景物體之攝像資料實施適當之模糊消除處理之修正係數。該等修正係數k1、k2分別係例如點擴散函數(PSF：Point spread function)之反函數。
此處，將攝像元件11之受光面上之聚焦位置設為f(x，y)，將實際之成像位置設為g(x，y)之情形下，PSF函數係由以下之式(1)所賦與之函數h(x，y)。即，修正係數k1、k2係由以下之式(2)所賦與之函數。
f(x，y)×h(x，y)=g(x，y) ........(1)
1/h(x，y) ........(2)
保持部124係保持如上所述之修正係數k1、k2之記憶體，作為記憶機構可使用與記憶部121同樣者。另，修正係數k1、k2可以該方式預先保持於電路內之記憶體中，但亦可經由資訊檢測部14，自外部輸入。
圖5(A)係模式性顯示一般攝影模式中光線取得之樣子。如此，攝像裝置1，例如在一般攝影模式中，來自物體(被攝體)之光線L1在通過攝像鏡頭10後，會到達至攝像元件11。攝像元件11根據攝像元件驅動部13之控制，按列依序讀取受光信號，藉此取得攝像資料D0(遠方物體之攝像資料)。取得之攝像資料D0被供給至圖像處理部12，圖像處理部12會對該攝像資料D0實施特定之圖像處理，並作為圖像資料Dout輸出。
此處，根據本實施形態，圖像處理部12基於經由資訊檢測部14輸入之模式設定信號Dm，而對攝像資料D0進行如下之模糊消除處理。
具體而言，首先，作為模糊消除處理之前處理，前處理部120實施例如缺陷修正處理、雜訊消除處理、白平衡調整處理、陰影修正處理、Y/C分離處理等之各種圖像處理。具體而言，缺陷修正處理係修正攝像資料D0中所含之缺陷(攝像元件11之元件自身之異常所引起之缺陷)之處理。雜訊去除處理係去除攝像資料中所含之雜訊(例如，在昏暗場所或感度不足之場所進行攝像時所發生之雜訊)之處理。白平衡調整處理係對彩色濾光器之通過特性或攝像元件11之分光感度等之器件之個體差異或照明條件所引起之色平衡失衡加以調整之處理。陰影修正處理係修正攝像圖像面內亮度等級之不均勻之處理。Y/C分離處理係分離亮度信號(Y)與色度信號(C)之處理。另，其他亦可實施設定各像素資料之黑階之處理(鉗位處理)、或去馬賽克處理等之色彩內插處理。該等之處理後之攝像資料係作為圖像資料D1而輸出至記憶部121。
記憶部121係將自前處理部120輸入之圖像資料D1，對應使用後段之修正係數k1、k2之模糊消除處理時之濾光器尺寸，儲存並暫時保持於特定列數之列記憶體121a中。
此時，設置於記憶部121之列記憶體121a之列數係根據所使用之修正係數k1、k2之尺寸，以可對應於使用任一之修正係數之模糊消除處理之方式，例如如下設定。即，如圖5(A)所示，在一般攝影模式下，由於物體之成像點ff
位於攝像元件11之受光面S1之附近，故該PSF函數(遠點PSF)中2維性擴張較小(圖5(B))。因此，在使用其反函數即修正係數k1之模糊消除處理中，濾光器尺寸比較小(例如圖5(C)所示之3×3之核心)。換言之，在一般攝影模式下，由於攝像圖像中「模糊」之程度比較小，故濾光器尺寸亦可較小。
另一方面，圖6(A)係模式性顯示微距攝影模式中光線取得之樣子，該情形下，由於物體之成像點fn
自攝像元件11之受光面S1離開，故其PSF函數(近點PSF)中，2維性擴張比遠點PSF更大(圖6(B))。因此，使用其反函數即修正係數k2之模糊消除處理中，濾光器尺寸較大(例如圖6(C)所示之5×5之核心)。換言之，在微距攝影模式下，由於攝像圖像中「模糊」之程度比較大，故濾光器尺寸也以同樣程度增大。因此，於此處設置有考慮微距攝影模式中模糊消除處理(使用修正係數k2之模糊消除處理)之5根列記憶體121a。
本實施形態中，修正係數選擇部123係因應基於上述之模式設定信號Dm之控制部15之控制，自保持於保持部124之修正係數k1、k2中，選擇因應其物體距離之適當之修正係數，並將其輸出至模糊消除處理部122。具體而言，在模式設定信號Dm選擇一般攝影模式之情形下，係選擇遠方物體用之修正係數k1。另一方面，在模式設定信號Dm選擇微距攝影模式之情形下，係選擇近景物體用之修正係數k2。藉此，例如，在一般攝影模式下，當檢測出用於設定微距攝影模式之主要之模式設定信號時，修正係數k1會被切換為修正係數k2。同樣地，在微距攝影模式下，當檢測出用於設定一般攝影模式之主要之模式設定信號時，修正係數k2會被切換為修正係數k1。所選擇之修正係數k1(或修正係數k2)將被輸出至模糊消除處理部122。
另一方面，修正係數選擇部123係以將成為選擇對象之因應修正係數(因應模糊消除處理時之濾光器尺寸)之列數之圖像資料D2輸出至模糊消除處理部122的方式，而控制記憶部121。具體而言，如圖7(A)所示，一般攝影模式之情形下，係對應3×3之濾光器尺寸，將3列(a1~a3)之像素資料D2a作為圖像資料D2，輸出至模糊消除處理部122。另一方面，如圖7(B)所示，微距攝影模式之情形下，係對應5×5之濾光器尺寸，將5列(b1~b5)之像素資料D2b作為圖像資料D2，輸出至模糊消除處理部122。
模糊消除處理部122係使用根據修正係數選擇部123所供給之修正係數，對自記憶部121供給之特定之列之圖像資料D2實施模糊消除處理。具體而言，在一般攝影模式之情形下，藉由對3列之圖像資料D2乘以修正係數k1，實行模糊修正。另一方面，在微距攝影模式之情形下，藉由對5列之圖像資料D2乘以修正係數k2，實行模糊修正。根據如此之模糊消除處理，使對應圖像資料D2之攝像圖像中之模糊得以良好改善，且輸出聚焦於被攝體(焦距對準)之圖像資料Dout
。
如上所述，根據本實施形態，圖像處理部12係針對攝像資料D0，基於模式設定信號Dm，選擇遠方物體用之修正係數k1與近景物體用之修正係數k2中之任一者，並基於所選擇之修正係數實行模糊消除處理。如此，作為模糊消除處理所使用之修正係數，只要選擇(切換)修正係數k1、k2之任一者，即可對遠方物體及近景物體之雙方之攝像資料分別實施適當之模糊修正。因此，無須使用例如自動聚焦鏡頭或焦點切換鏡頭等之特殊的攝像光學系統，即可實現向遠點及近點之聚焦。藉此，可以低成本且簡易之構成實現遠方攝影及近景攝影。
例如，在搭載有攝像裝置1之電子機器中，由使用者設定為一般攝影模式之情形下，例如拍攝風景等，可進行使用修正係數k1之模糊消除處理。另一方面，設定為微距攝影模式之情形下，拍攝QR編碼等之2維條形碼，可進行使用修正係數k2之模糊消除處理。圖8(A)係顯示模糊消除處理前之QR編碼之攝像圖像，圖8(B)係顯示模糊消除處理後之QR編碼之攝像圖像之一例。如此，藉由模糊消除處理，使模糊得以良好修正，能夠獲得聚焦於近點之圖像。
繼而，說明關於上述實施形態之變形例(變形例1、2)。下述中，關於與上述實施形態相同之構成要件，係附註同一符號且適宜省略說明。
圖9係用以說明變形例1之模糊消除處理動作之模式圖。根據上述實施形態，係使列記憶體之列數適合因應修正係數之濾光器尺寸而予以設定。即，為亦可適用於使用修正係數k1、k2之任一者之模糊消除處理，而配合需要較大濾光器尺寸之修正係數k2，將列數設為5列，然而亦可減少列記憶體之列數，減小濾光器尺寸。
例如，可使列記憶體之列數適合一般攝影模式(使用修正係數k1之情形)之濾光器尺寸(3×3)，設其為3。該情形下，在微距攝影模式中，原本如上述需要5列，但藉由縮減其中2列，可對應3列之列記憶體。具體而言，如圖9所示，藉由縮減5列(b1~b5)之像素資料中特定之列(b2、b4)(每隔1列進行一次向列記憶體之寫入動作)，將3列(b1、b3、b5)之像素資料作為模糊消除處理對象。藉此，因垂直方向上縮減去2列(不縮減水平方向(列方向)之像素)，因此可以3×5之濾光器尺寸實行模糊消除處理。
如此，無須使記憶部121之列記憶體之列數適合濾光器尺寸較大之微距攝影模式。由於微距攝影模式主要係為QR編碼之寫入等之資料識別而使用之攝影模式，故在攝像圖像中只要能確保可識別如此之資料之程度的解像度便可。因此，如本變形例，亦可縮減特定之列而將其保持於記憶部121之列記憶體中。根據如此構成，亦能夠獲得與上述實施形態同等之效果，且與上述實施形態相比能夠縮小模糊消除處理時之濾光器尺寸。
另，記憶部121中列記憶體之列數並不限定於上述之「5個」或「3個」，亦可是其他之列數。可根據所使用之修正係數之PSF之尺寸等，予以適當設定。
又，列記憶體之列數之削減(濾光器尺寸之縮小)，除如上所述之縮減像素資料之方法之外，亦可藉由例如在攝像元件11中混合像素資料彼此，或在數位處理中將像素資料彼此相加而實現。
又，根據上述實施形態，由於攝像元件11之受光面上設置有排列有R、G、B之3原色之濾光器而成之彩色濾光器，故3色全部之像素資料均成為模糊消除處理之對象，但如下所述，亦可僅將特定之色成分作為模糊消除處理之對象。例如，在彩色濾光器之色排列係拜耳排列之情形下，可僅將可獲取解像度之綠色成分作為模糊消除處理之對象。該情形下，例如，如圖10所示，按照彩色濾光器之色排列而排列之像素資料中，藉由以成為僅G資料之資料排列之方式實行排列替換，能夠減少列數(減少1/2)。
或，如圖11所示，在近景攝影之情形下，藍色光LB
、綠色光LG
、紅色光LR
之每個色光會於成像位置(fB
、fG
、fR
)發生差異，其中藍色光LB
最容易聚焦。因此，在攝像資料D0中亦可僅將藍色成分作為模糊消除處理之對象。另，該情形與僅使用上述綠色成分之情形相同，亦可藉由以僅B資料之資料排列實行排列替換，減少列數。
又，亦可將該等之藍色成分與綠色成分作為模糊消除處理對象。該情形下，拜耳排列之彩色濾光器，可在資料排列為「R、G、R、G...」之列、與資料排列為「G、B、G、B...」之列中，選擇性地僅將後者之列儲存於列記憶體中。
雖已例舉上述實施形態及變形例說明本發明，但本發明並不限定於上述實施形態等，可予以各種變形。例如，根據上述實施形態等，作為攝影模式，可實行一般攝影模式與微距攝影模式之2種模式轉換，而切換因應各攝影模式之2個之修正係數，但攝影模式及與之對應之修正係數之數亦可為3個以上。
又，根據上述變形例1、2，已說明攝像資料D0中，縮減特定之列而進行模糊消除處理之情形、或在R、G、B之像素資料中僅將特定之色成分作為模糊消除處理對象之情形，其他，亦可將Y/C分離後之亮度信號作為模糊消除處理對象。該情形下，例如，可在圖像處理部12之前處理部120中進行Y/C分離處理而將亮度信號(Y)與顏色信號(C)分離後，僅將其亮度成分以特定之列數儲存於記憶部121之列記憶體中。
10．．．攝像鏡頭
11．．．攝像元件
12．．．圖像處理部
13．．．攝像元件驅動部
14．．．資訊檢測部
15．．．控制部
110．．．單位像素
111．．．光電二極體
112．．．傳送電晶體
113．．．放大電晶體
114．．．選擇電晶體
115．．．復位電晶體
120．．．前處理部
121．．．記憶部
121a．．．列記憶體
122．．．模糊消除處理部
123．．．修正係數選擇部
124．．．保持部
a1．．．列
a2．．．列
a3．．．列
b1．．．列
b2．．．列
b3．．．列
b4．．．列
b5．．．列
D0．．．攝像資料
D1．．．圖像資料
D2．．．圖像資料
D2a．．．像素資料
D2b．．．像素資料
Dm．．．模式設定信號
Dout
．．．圖像資料
fB
．．．成像位置
ff
．．．成像點
fG
．．．成像位置
fn
．．．成像點
fR
．．．成像位置
k1．．．修正係數
k2．．．修正係數
L1．．．光線
LB
．．．藍色光
LG
．．．綠色光
LR
．．．紅色光
ND116．．．浮動節點
RSTL．．．復位線
S1．．．受光面
SELL．．．選擇線
SGNL．．．信號線
TRFL．．．傳送選擇線
VDD．．．電源電位
圖1係表示本發明之一實施形態之攝像裝置之概略構成之功能方塊圖。
圖2係顯示圖1所示之攝像元件中單位像素之一例之電路圖。
圖3係顯示彩色濾光器中色排列之一例之模式圖。
圖4係表示圖1所示之圖像處理部之詳細構成之功能方塊圖。
圖5(A)係表示遠方攝影時之光線取得之樣子，(B)係表示遠點PSF函數，(C)係表示遠點用修正濾光器之核心尺寸。
圖6(A)係表示近景攝影時之光線取得之樣子，(B)係表示近點PSF函數，(C)係表示近點用修正濾光器之核心尺寸。
圖7(A)、(B)係用以說明圖1所示之圖像處理部中模糊消除處理動作之一部分之模式圖。
圖8係表示所攝影之QR編碼之一例，(A)係顯示模糊消除處理前，B係顯示模糊消除處理後。
圖9係用以說明變形例1之模糊消除處理動作之模式圖。
圖10係用以說明變形例2之每個色光之成像位置之不同之模式圖。
圖11係用以說明變形例2之模糊消除處理動作之模式圖。
12．．．圖像處理部
120．．．前處理部
121．．．記憶部
121a．．．列記憶體
122．．．模糊消除處理部
123．．．修正係數選擇部
124．．．保持部
D0．．．攝像資料
D1．．．圖像資料
D2．．．圖像資料
Dout．．．圖像資料
k1．．．修正係數
k2．．．修正係數
Claims (4)
- 一種攝像裝置，其包含：攝像鏡頭；基於上述攝像鏡頭之通過光線取得包含紅(R)、綠(G)、藍(B)之三色信號之攝像資料之攝像元件；及基於上述攝像資料對攝像圖像實施圖像處理之圖像處理部；且，上述圖像處理部包含：對上述攝像圖像實施模糊修正之模糊消除處理部；修正係數選擇部，其從各自根據上述攝像鏡頭至被攝體之物體距離而設定之至少包含近景物體用之第1修正係數及遠方物體用之第2修正係數之複數個模糊修正係數中選擇其一，並將所選擇之模糊修正係數輸出至上述模糊消除處理部；及記憶部，其包含複數個列記憶體，且於上述複數個列記憶體中儲存並保持上述攝像資料；上述記憶部之上述複數個列記憶體具有上述修正係數之二維尺寸以下之列數；上述模糊消除處理部對上述攝像圖像中排列替換為僅有藍色信號之排列之信號排列實施模糊修正。
- 如請求項1之攝像裝置，其中上述複數個修正係數分別係點擴散函數(PSF：Point spread function)之反函數。
- 如請求項1之攝像裝置，其中上述修正係數選擇部基於 從外部輸入之模式設定信號，選擇上述1個修正係數。
- 一種圖像處理裝置，其包含：模糊消除處理部，其對基於藉由攝像元件取得且基於攝像鏡頭之通過光線之包含紅(R)、綠(G)、藍(B)之三色信號之攝像資料之攝像圖像實施模糊修正；修正係數選擇部，其從各自根據上述攝像鏡頭至被攝體之物體距離而設定之至少包含近景物體用之第1修正係數及遠方物體用之第2修正係數之複數個模糊修正係數中選擇其一，並將所選擇之模糊修正係數輸出至上述模糊消除處理部；及記憶部，其包含複數個列記憶體，且於上述複數個列記憶體中儲存並保持上述攝像資料；且上述記憶部之上述複數個列記憶體具有上述修正係數之二維尺寸以下之列數；上述模糊消除處理部對上述攝像圖像中排列替換為僅有藍色信號之排列之信號排列實施模糊修正。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110368A JP5454348B2 (ja) | 2010-05-12 | 2010-05-12 | 撮像装置および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201204020A TW201204020A (en) | 2012-01-16 |
| TWI458342B true TWI458342B (zh) | 2014-10-21 |
Family
ID=44914338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100115500A TWI458342B (zh) | 2010-05-12 | 2011-05-03 | Camera device and image processing device |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8937680B2 (zh) |
| EP (1) | EP2571247A1 (zh) |
| JP (1) | JP5454348B2 (zh) |
| KR (1) | KR20130069612A (zh) |
| CN (1) | CN103039067A (zh) |
| TW (1) | TWI458342B (zh) |
| WO (1) | WO2011142282A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5746795B2 (ja) * | 2012-09-27 | 2015-07-08 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| KR102390980B1 (ko) * | 2015-07-24 | 2022-04-26 | 엘지디스플레이 주식회사 | 영상 처리 방법, 영상 처리 회로와, 그를 이용한 표시 장치 |
| EP3396938B1 (en) * | 2015-12-22 | 2021-09-15 | Kyocera Corporation | Imaging device and method for determining foreign matter |
| US10244180B2 (en) * | 2016-03-29 | 2019-03-26 | Symbol Technologies, Llc | Imaging module and reader for, and method of, expeditiously setting imaging parameters of imagers for imaging targets to be read over a range of working distances |
| CN108076266A (zh) * | 2016-11-11 | 2018-05-25 | 株式会社东芝 | 处理装置以及摄像装置 |
| CN107302632A (zh) * | 2017-06-28 | 2017-10-27 | 努比亚技术有限公司 | 一种移动终端拍摄方法、移动终端及计算机可读存储介质 |
| WO2021245982A1 (ja) | 2020-06-02 | 2021-12-09 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003287505A (ja) * | 2002-03-27 | 2003-10-10 | Toshiba Corp | 欠陥検査装置 |
| WO2006022373A1 (ja) * | 2004-08-26 | 2006-03-02 | Kyocera Corporation | 撮像装置および撮像方法 |
| JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3630169B2 (ja) * | 1993-10-25 | 2005-03-16 | コニカミノルタホールディングス株式会社 | 画像処理装置 |
| US20010013895A1 (en) * | 2000-02-04 | 2001-08-16 | Kiyoharu Aizawa | Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein |
| JP2005286536A (ja) * | 2004-03-29 | 2005-10-13 | Fujinon Corp | 撮像装置 |
| JP2007206738A (ja) * | 2006-01-30 | 2007-08-16 | Kyocera Corp | 撮像装置およびその方法 |
| US8036481B2 (en) * | 2006-07-14 | 2011-10-11 | Eastman Kodak Company | Image processing apparatus and image restoration method and program |
| JP4453734B2 (ja) * | 2007-09-21 | 2010-04-21 | ソニー株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置 |
| JP5235642B2 (ja) * | 2008-12-15 | 2013-07-10 | キヤノン株式会社 | 画像処理装置およびその方法 |
-
2010
- 2010-05-12 JP JP2010110368A patent/JP5454348B2/ja not_active Expired - Fee Related
-
2011
- 2011-04-28 US US13/695,946 patent/US8937680B2/en not_active Expired - Fee Related
- 2011-04-28 EP EP11780539A patent/EP2571247A1/en not_active Withdrawn
- 2011-04-28 CN CN2011800323248A patent/CN103039067A/zh active Pending
- 2011-04-28 KR KR1020127028746A patent/KR20130069612A/ko not_active Application Discontinuation
- 2011-04-28 WO PCT/JP2011/060467 patent/WO2011142282A1/ja active Application Filing
- 2011-05-03 TW TW100115500A patent/TWI458342B/zh not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003287505A (ja) * | 2002-03-27 | 2003-10-10 | Toshiba Corp | 欠陥検査装置 |
| WO2006022373A1 (ja) * | 2004-08-26 | 2006-03-02 | Kyocera Corporation | 撮像装置および撮像方法 |
| JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011142282A1 (ja) | 2011-11-17 |
| TW201204020A (en) | 2012-01-16 |
| JP2011239292A (ja) | 2011-11-24 |
| US20130050543A1 (en) | 2013-02-28 |
| KR20130069612A (ko) | 2013-06-26 |
| EP2571247A1 (en) | 2013-03-20 |
| CN103039067A (zh) | 2013-04-10 |
| JP5454348B2 (ja) | 2014-03-26 |
| US8937680B2 (en) | 2015-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI458342B (zh) | Camera device and image processing device | |
| JP5744263B2 (ja) | 撮像装置及びその合焦制御方法 | |
| JP5026951B2 (ja) | 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子 | |
| US8482618B2 (en) | Reduction of motion-induced blur in images | |
| JP5468177B2 (ja) | 撮像装置及びその合焦制御方法 | |
| JP5331945B2 (ja) | 撮像装置及びその駆動方法 | |
| JP5493011B2 (ja) | 撮像装置及びその合焦位置検出方法 | |
| JP4747154B2 (ja) | 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置 | |
| US20100194958A1 (en) | Imaging pickup apparatus and image pickup method | |
| JP2010020055A (ja) | 撮像装置とその制御方法 | |
| CN102892008A (zh) | 双图像捕获处理 | |
| JP5657184B2 (ja) | 撮像装置及び信号処理方法 | |
| JP2009065478A (ja) | 固体撮像素子の駆動方法及び撮像装置 | |
| JP2006237245A (ja) | マイクロレンズ搭載型単板式カラー固体撮像素子及び画像入力装置 | |
| TWI390972B (zh) | The autofocus method in the high noise environment and its application of the digital acquisition device of the method | |
| JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JP6594048B2 (ja) | 撮像装置及びその制御方法 | |
| JP5550333B2 (ja) | 撮像装置、現像方法及びプログラム | |
| WO2021192176A1 (ja) | 撮像装置 | |
| JP5629568B2 (ja) | 撮像装置及びその画素加算方法 | |
| JP2009303020A (ja) | 撮像装置及び欠陥画素補正方法 | |
| JP2010251855A (ja) | 撮像装置 | |
| JP2011030203A (ja) | デジタルカメラ | |
| JP2011114474A (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
| JP2011030202A (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GD4A | Issue of patent certificate for granted invention patent | ||
| MM4A | Annulment or lapse of patent due to non-payment of fees |