TWI373965B - Solid state photographing device - Google Patents
Solid state photographing device Download PDFInfo
- Publication number
- TWI373965B TWI373965B TW097102636A TW97102636A TWI373965B TW I373965 B TWI373965 B TW I373965B TW 097102636 A TW097102636 A TW 097102636A TW 97102636 A TW97102636 A TW 97102636A TW I373965 B TWI373965 B TW I373965B
- Authority
- TW
- Taiwan
- Prior art keywords
- signal
- pixel
- pixels
- signals
- solid
- Prior art date
Links
- 239000007787 solid Substances 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 239000000654 additive Substances 0.000 claims 1
- 230000000996 additive effect Effects 0.000 claims 1
- 210000004556 brain Anatomy 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000007792 addition Methods 0.000 description 55
- 238000010586 diagram Methods 0.000 description 12
- 238000003672 processing method Methods 0.000 description 12
- 238000003708 edge detection Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 241000282376 Panthera tigris Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 240000006394 Sorghum bicolor Species 0.000 description 1
- 235000011684 Sorghum saccharatum Nutrition 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 235000021251 pulses Nutrition 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
1373965 27038pif 九、發明說明： 本申請案係基於2007年1月26日申請的先前曰本專 利申請案第2007-016893號且主張其優先權的權益，該申 請案的全文以引用的方式併入本文。 【發明所屬之技術領域】 本發明是關於一種CCD ( charge-coupled device，電荷 耦合元件）影像感測器或CMOS ( complementary metal oxide semiconductor，互補金屬氧化物半導體）型影像感測 益等固態攝影裝置，例如可用於附有影像感測器的行動電 話、數位攝影機、視訊攝影機等之中。 【先前技術】 ,Βί„ΛΤ —〜风㈣儿必歹孭逛，z 代的影傅
^已祕到實用化’目前正在進—步開發175 ^ 1.4 urn像素的影像感測器。在2 _以下的微知 ’、丄由於入射光量大幅度減少，故而S/N變差。此外 來杉色攝影機存在著藉由色彩假信號或色彩 =『趋的問題。關於抑制色彩假信號或 有各Γ案（例如，參照日本專利特開 直心生報、日本專利特開2002_10⑽號公報、日 號專報平， :=未提‘：9號公報)。但是 本發明__影衫騎像素部、料部、比州 6 1373965 27038pif 算部以及RGB生成部，苴中上 維配置著分別在光電轉換元件中至少配置有陣狀二 (綠）、B (藍）的彩色遽光片而形成的像素去G 用於將人射至與上述彩色遽光#相對應的^^素部 像素、B像素喊分別進行光電轉換而獲得=、G 信號、B錢扣輸出；上述加法部在上述像^^ 以某像素作為中心像素的預起域，對來、、疋 與配置在上述預定區域内的上述預定沾 像素 的上述預定區域的信號進行相加，、而生成二法邊
來自上述預定區域内的像二述1 ^號、G域、Β信號各自的平均值與將上述R 信號、B信號的各平均值進行相加而獲得的加^ 數’·上述RGB生成部是利訂述加法信號以$ 3 =异：而算出的上述比例係數，以生成新的1 仏號、G k唬、B信號。 【實施方式】
、=下’參照圖式’對本發明的實施職的固態攝影裝 置進行說明。此處’以CMQS影像感測器作為固態攝影裂 置的不例。說明時，在所有圖中’對共同的部分附以相 的參照符號。 [第1實施形態] 首先，對包括本發明第1實施形態的CM〇s影像感測 器的固態攝影裝置進行說明。 圖1是表示第1實施形態的固態攝影裝置的概略結構 7 965 27〇38pif 的方塊圖。如圖1所示，固態攝影裝置具備感測器部u、 直=(Une)記憶體Π、色彩相關RGB生成電路13、信號處 理電路14、系統時序產生電路（SG) 15、命令解碼器&、 以及串列介面（串列I/F) 17。 感測器部11中’配置有像素部111、以及管柱(c〇lumn) 型類比數位轉換器（ADC，Analog/Digital Converter ) 112。 像素部ill中，像素（cell)呈矩陣狀二維配置在半導體基 板上。各像素包括光電轉換手段（例如，發光二極體）及 形色濾光片，在發光二極體的上部，分別配置有R(紅）、 G (綠）、B (藍）三色彩色濾光片。彩色濾光片排列呈rGb 原色的拜耳(Bey er)排列。 在感測器部11中，利用RGB三色彩色濾光片，將藉 由透鏡18所聚集的光信號分離成RGB光信號，再藉由二 維配置的發光二極體陣列，且利用光電轉換而將RGB光 仏號轉換成信號電荷。該信號電荷藉由管柱型類比數位轉 換器（ADC) 112而轉換成數位信號（R信號、G信號、B k號）。轉換後的數位信號輸出至直列記憶體12，分成垂 直的五列而記憶至直列記憶體12内的記憶體1〜記憶體5 中。δ己憶於该記憶體1〜記憶體5内的數位信號分別並列 地輸入至色彩相關RGB生成電路13。 在色彩相關RGB生成電路13中，藉由加法部131 , 對自直列記憶體12輸入的R信號、G信號、B信號進行 相加而生成信號s。並且，在比例計算部132中，計算出 R信號、G信號、B信號的各個平均值與將加以平均後的 8 1373965 2703 8pif 信號相加而得的信號Save的比例係數。繼而，在RGB生 成部133中’根據加法信號5與算出的比例係數，生成新 • 的#號Rs、Gs、Bs，作為與像素排列之位置相同的信號。 該處理將取代先前的色彩分離内插電路。 其後’將藉由RGB生成部133而處理的信號Rs、Gs、 BS輸入至後段的信號處理電路14。輸入至信號處理電路 14的“號藉由白平衡（white balance)、輪廓增強、伽瑪 φ (gamma)校正、以及RGB矩陣電路（matrix circuit)等處 理’變成YUV信號或RGB信號之後，作為數位信號D〇UT〇 〜DOUT7而輸出。又，上述感測器部〗卜直列記憶體12、 色彩相關RGB生成電路13、以及信號處理電路μ根據自 系統時序產生電路（SG) 15輸出的時脈信號而動作。又， 亦可利用自外部輸入的資料DATA來控制命令。於命令解 碼森16中，資料DATA經由串列介面（串列1/F) 17而輸 入，且將解碼後的信號輸入至各電路。 其次，說明第1實施形態中的色彩相關RGB生 _ 路13的處理方法。 • 圖2是表示色彩相關RGB生成電路13的處理方法的 • 圖。以5x5的像素排列的中心像素（目標像素）為中心， 實施3x3像素的過濾運算。藉由加法部ι31，將中心像素 的信號設為4倍，將上下左右的像素信號以及角點的像素 信號設為1倍，將對該些信號進行相加而得的信號位準1 為1/3。將如此而獲得的信號設為3χ3像素的加法信號 其次’利用比例計算部132’算出在圖2所示的由Urgb 9 1373965 27〇38pif 拜耳（Beyer)排列所構成的5χ5的像素信號中相同顏色的 像素信號的平均值，即，R平均值Rave、G平均值Owe、 B平均值Bave以及將該些平均值相加而得的加法平均值 Save。繼而，藉由RGB生成部133,利用加法信號兕與 比例係數 “Rave/Save”、“Gave/Save”、“Bave/Save” ， 根據下式而生成新的信號Rs、Gs、Bs。
Rs = SO* ( Rave/Save )
Gs = S0* (Gave/Save)
Bs = S0* (Bave/Save) 此處，藉由生成加法彳5號SO ’從而可利用加法作號 SO來減少隨機(random)雜訊。並且，自加法信號s〇生成 信號RS、Gs、Bs以作為位置相同的像素信號，藉此，可 抑制先前由邊緣所引起的假色。此外，在先前，因r、G、 B信號單獨的隨機雜訊而產生色彩雜訊，但是藉由自加法 信號SO生成Rs、GS、Bs信號，由於各rs、Gs、Bs信號 的隨機雜訊成分相同，故而不會產生色彩雜訊。即，只會 產生亮度雜訊（雜訊中沒有顏色）。 圖3表示色彩相關RGB生成電路13的加法部131中 的其他加法處理方法。 藉由加法部131，將5x5的像素排列分割成以中心像 素（目標像素）為角點的由2x2的4像素構成的4個區塊 AZ、BZ、CZ、DZ。在4個區塊的各區塊中，將2χ2的$ 像素的信號相加，以生成信號sa、Sb、Sc、Sd。繼而，藉 由將該4個信號Sa、Sb、Sc、Sd平均化，即，藉由將信 10 27038pif t後的處Sd相加後除以4，而生成加法信號so。 斑比^丨& Γ與上述相同的方式進行，彻加法信號so ^ ^ Rave/Save , ^ , Gaye/save „ ^
Bave/Sav^、’而生成新的信號Rs、&、&。 η ’根據此第1實施職，藉由將像素信號 古 、的加法信號，可以減少隨機雜訊，從而可以提 ΓS/t!此外’藉由自加法信號同時生成新的r、g、b信 號，攸而’無需利用彩色影像内插（Demosaicking)的假 ^抑制電路’便可消除R、G、B信號的色偏或RGB單個 :素所引起崎機雜訊的影響，因而可抑制單色的色彩雜 訊此外，即使藉由用以改善色彩再現性的彩色矩陣運算 =生成新M、G、B信號，亦是自1個加法信號來生成 ^5就1^、〇5、；63’故而，各信號中所包含的隨機雜訊成為 同相位。因此，即使利用彩色矩陣運算而對信號進行減法 處理’亦不會增加雜訊。 [弟2實施形態] 其次，說明本發明第2實施形態的包含CMOS影像感 /則态的固態攝影裝置。第2實施形態中，附加了用以改善 圖像邊緣析像度（resolution)的結構。其他結構以及效果 與第1實施形態相同，故對相同部分附以相同的符號，並 且省略了相對應的說明。 圖4是表示第2實施形態的固態攝影裝置的概略結構 的方塊圖。在第2實施形態中，為了改善圖像邊緣的析像 度，在色彩相關RGB生成電路13内設置有邊緣檢測電路 1373965 27038pif 134。此外’為了判定邊緣的信號，設置臨限值位準設定電 路19 ’將設定雜訊位準的臨限值位準LevN發送至邊緣檢 測電路134。生成加法信號的加法處理、以及計算比例係 • 數的比例计具處理’是將5x5的像素排列分離成3x3像素 • 的4個區塊來進行處理。 圖5(A)、圖5(B)、圖5(C)、圖5(D)、圖5(E)以及圖 5F是表示色彩相關rGB生成電路13的邊緣檢測電路134 的處理方法的圖。如圖5(A)所示，自直列記憶體12至邊 緣檢測電路134，輸入有5X5的像素信號。邊緣檢測電路 134中’當5x5的中心像素為R信號時，將該r信號設為 R0，如圖5(B)所示，5χ5的像素信號分離成以中心像素的 R0信號作為角點的4個區塊。此處，將左上設為區塊ΑΖ， 將右上設為區塊ΒΖ，將左下設為區塊Cz，將右下設為區 塊DZ。 其次，如圖5(F)所示，藉由邊緣檢測電路134的差分 判定部來實施1個像素差分判定方法。當中心像素為R〇 _ 4 ’以R0為中心、，分別計算出差分信號RO-IU、R0-R2、 R0_R3、R〇-R4、R〇-R5、R0-R6、R〇-R7、R〇_R8 的絕對值。 • 此外，判定各個絕對值是否小於臨限值位準設定電路19 所設定的臨限值位準LevN。繼而，獲取屬於各區塊的三個 j定的邏輯和（OR)，作為區塊岐否存在邊緣的最終判 定。即’田各區塊的二個判定中所有絕對值均小於臨限值 位準LevN時，判定為該區塊中不存在邊緣，即使豆中有 -個絕對值等於或大於臨限值位準UvN時，^定; 12 1373965 2703 8pif 區塊存在邊緣。對該區塊内是否存在邊緣的判定，是藉由 邊緣檢測電路134内的邊緣判定部來進行的。 9 又，當5x5的中心像素為B信號時，於邊緣檢測電路 134中，將中心像素的b 號設為B0，如圖5(c)所示，將 的像素信號分離成以中心像素的B〇信號作為角點的 四個區塊AZ、BZ、CZ、DZ。繼而，同樣地’藉由邊緣檢 =電路134的差分判定部，實施！個像素差分判定方法。 S中G像素為B0時，以B0為中心，分別計算出差分信號 Β0-Β卜 Β0-Β2、Β0-Β3、Β0-Β4、Β0-Β5、B〇_B6、B〇_B7 t B0-B8的絕對值。此外，判定各絕對值是否小於臨限值位 準LevN ^繼而，獲取屬於各區塊的三個判定的邏輯和 (OR )，作為區塊内是否存在邊緣的最終判定。 又’當5x5的中心像素為Gr信號時，於邊緣檢測電 路134中’如圖5(D)所示，將5X5的像素信號分離成以中 心像素的Gr信號作為角點的四個區塊az、BZ、CZ、DZ。 又’當5x5的中心像素為Gb信號時，於邊緣檢測電路134 中’如圖5(E)所示，將5x5的像素信號分離成以中心像素 的Gb信號作為角點的四個區塊AZ、BZ、CZ、DZ。其後 的處理與上述相同。 圖6(A)、圖6(B)、圖6(C)、圖6(D)以及圖6(E)是表 =區塊内的差分判定的其他處理方法的圖。該差分判定是 藉由邊緣檢測電路134的差分判定部來進行。此處，如圖 6(A)所示’以左上方的3x3像素的區塊AZ為例，將3x3 像素的像素信號設成 D1〜D9來說明。 13 1373965 27038pif 以2個像素差分判定方法。如® ’所示， 擇的久ίΐί 選擇各2個像素作為對象，判定所選 準θ 素的各自的加法信號的減去差分後的信號位 和限值位準LeVN。繼而，獲取四個判定的邏輯 和（〇R)’作為區塊的最終判定。
示，二二^ 3個像素條狀差分判定方法。如圖6(C)所 為對象，判定所呈條狀排列的各3個像素作 去差分後的= = 加法信號的Ϊ *工加、—认、 疋贪J於臨限值位準LevN。繼而’獲 \卜^疋乂避輯和（〇R)，作為區塊的最終判定。 所示，以〇^^^字狀差分判定方法中’如圖_ 對象mit ’選擇L字狀的各3個像素作為 差分後 = ==素的各自的加法信娜 兩個判定的邏輯和值位準UvN。繼而’獲取
於4個像素差分敏方乍為區塊的最終欺。此外， 去中，如圖ό(Ε)所示，選擇各4個 差乂後的二，的各4個像素的各自的加法信號的減去 ί 是否小於臨限值位準繼而，獲取 上述剌：方5Φ和（0R) ’作為區塊的最終判定。可利用 利：上2判二方t多個判定方法來進行區塊的判定，亦可 ==中的—個判定方法來進行區塊的判定， 定的電路。如此，藉由利用2個或2個 的加法信號，可減少隨機雜訊，從而可實施高精 14 27038pif
圖7表示利用邊緣檢測電路13 的實例。當差分信號位準小於臨 ^^區塊AZ〜DZ 即’區塊内不存在邊緣之時， 位準之情形（YES)， 等於或大於臨限值位準之情形（Ν〇^，當差分信號位準 緣之時，用X表示。如圖7所示，料即，區塊内存在邊 進行判定。若利用上述判定，則即^四個區塊Μ〜Μ 内的圖像的親僅存在於㈣n 部=
者斜向之情形時，亦可判定是否存在邊緣條狀之十月形、或 其次，根據對四個區塊的邊緣判1 _B生成電路13,對由圖4戶=== 選擇的區塊實施以下處理。 匕仏擇。P 135所 圖8是以左上方區塊AZ為代 的生成比例係數以及生成R、G、B信號的處^法t圖 =3x3的像素排列的右下方的中心像素（目標像素）為基 準，進仃2x2的像素信號的加法處理，以生成加法信號， 其，，在圖/所示的由RGB拜耳排列構成的3χ3的像素 信號中，算出相同顏色的像素信號的各自的平均值即 Rave、Gave、Bave，以及將該些平均值相加而得的加法平 均值Save。再者，根據像素位置，亦存在包含i個像素的 情況，此處’B像素的信號即為丨個。繼而，根據下式， 生成新的信號Rs、Gs、Bs。
Rs = SO* (Rave/Save) Gs=SO* (Gave/Save) Bs = SO* (Bave/Save) 15 1373965 27038pif 同“地’亦可對右上方、左下方、右下方的區塊泣、 CZ、DZ進行計算。當圖7所示的判定結果表示不存在邊 緣的區塊為一個區塊時，進行上述處理，輸出上述
Rs、Gs、Bs。 万儿
圖9是表示選擇圖5(A)中的三個區塊Az、Bz、Dz 時的處理例的圖。以5x5的像素排列的中心像素作為某 準，進行Μ的像素錢的加法處理，以生成三個加法二 號SO。又’在圖9所示的由RGB拜耳排列構成的的的 像素信號中，算出有效的呈L字狀配置的相的像素 信號的平均值’即，Rave、Gave、Bave，以及將該些平均 值相加而得的加法平均值Save。由於生成有三個信號s〇， 故而將三個平均值設為信號s。繼而，根據下式，生 的信號 Rs、GS、Bs。 ’
Rs = ( Rave/Save)
Gs=S* (Gave/Save)
Bs = S^ (Bave/Save)
同樣地，亦可對其他的L字狀區塊的情況進行計算。 圖1〇疋表示選擇圖5(A)中的兩個區塊時的 處理例的圖。以5x5的像素排列的中心像素作為其進 行2x2的像素信號的加法處理，以生成兩個加法^號s〇。 又，在圖10所示的由RGB拜耳排列構成的5x5的像素信 號中，算出有效的相同顏色的像素信號的平均值，即， Rave、Gave、Bave ’以及將該些平均值相加而得的加法平 均值Save。由於生成有兩個信號s〇，故而將兩個平均值設 16 1373965 27038pif 為信繼而，根據下式，生成新的信號Rs、Gs、Bs Rs — S* ( Rave/Save )
Gs=S* (Gave/Save)
Bs = S* (Bave/Save) 同樣地，亦可對其他的兩個區塊的情況進 。 圖11是表示選擇圖5⑷中的斜向 : 時的處理例的圖心5的像_
素信號的加法處理，以生成兩ί 5x“二”的由⑽拜耳排列構成的 均佶，:的相同顏色的像素信號的平 :正’以及將該些平均值相加而 ^加法平均值S·。由於生成有兩個信號SQ，故而將兩 個平均值設為信號S。繼而，根據下式，生成新的信號Rs、
Gs、Bs。
Rs = S>k (Rave/Save)
Gs=S>k (Gave/Save)
Bs=S* (Bave/Save) 同樣地，亦可對反向斜向配置的區塊的情況進行計算。 圖12是表示選擇圖5(A)中的四個區塊az、BZ、CZ、 DZ時的處理例的圖。以5x5的像素排列的中心像素作為 基準，進行2x2的像素信號的加法處理，以生成四個加法 乜號SO。其次，在圖12所示的由RGB拜耳排列構成的5 x5的像素#號中’具出相同顏色的像素信號的平均值即 Rave、Gave、Bave’以及將該些平均值相加而得的加法平 17 1373965 27038pif 均值Save。由於生成有四個信號s〇，故而將四個平 為信號s。繼而，根據下式，生成新的信號Rs、gs、b二 , Rs=S* (Rave/Save)
Gs = S* (Gave/Save) «
Bs=S* (Bave/Save) 圖12所示的處理方法亦可適用於邊緣檢測電路 中的判疋結果為〇個區塊的情況，即，亦可適用於 # 邊緣的區塊為零的情況。當判定結果為0個區塊時， 像素的各信號位準各自不同。因此，將各個2x2的1 象素2 號相加而得的加法信號s亦很散亂。但是， Μ 5 Φ , t \精田异出5x5 像素中相同顏色的像素信號的平均值，並且算出該平均 與加法信號S的比例而生成R、G、B信號，則不會產生 色彩雜訊。由於亮度信號會對應於2x2的像素信號&加法 信號S而變化’因此可獲得析像度資訊。 [其他例] 鲁在上述實施形態中，利用5x5的像素排列進行了說 明，但是作為7x7的像素排列，若將區塊内的加法信號的 - 生成以及比例係數的計算增加至4x4像素來實施，則可^實 ‘ 現更高的S/N以及更高的圖像品質。 、 又’在選擇區塊數為2個區塊〜4個區塊以及零個區 塊時’對應於選擇區塊數量而變更了處理方法，但是為了 減少電路’亦可針對每個區塊來算出藉由圖8所示的一個 區塊的處理而獲得的各信號Rs、GS、Bs，根據選擇區塊數 量’求出上述各信號Rs、Gs、Bs的平均值。或者，亦可 18 1373965 27038pif 根據四個區塊的各信號SO以及Rave、Gave、Bave的平均 值’而生成新的信號Rs、Gs、Bs並加以處理。又，當區 塊選擇部135選擇不存在邊緣的區塊時，亦可對*個區塊 各自的差分信號進行比較後，僅選擇差分信號最小的一個 區塊’而生成信號Rs、Gs、Bs。
又’彩色攝影機的S/N劣化的主要原因 陣電路。該電路用於實施RGB的矩陣運算， 的色彩再現性。 ’有RGB矩
以改善RGB
心巾’在自身顏色巾減去其他兩軸色。即， 身曰顏色的g兩種顏色混入於自身顏色中的量，來提高自 因在於，$ ^ Ϊ改#色彩再現性。該顏色現人的主要原 光二極體身的分光特性、至影像感測器的發 散等。先騎，；以及石夕基板内的信號擴 訊是隨機的：由於R、G、B信號的雜 式中，由钤118、。5、°广，加。另一方面’在本實施方 而藉由減^ =信號的隨機雜訊為相同成分，故 R信號時，告D 減少隨機雜訊的效果。例如，生成 亦會增大。誠變济錢 BS成分，故而會減去，R信號會自RS信號減去Gs、 較大的信I因此，^ =訊成分較大的部分，即，減去 Rs信號鸲機雜訊:二會減去更大號。相反地， 矩陣運算，以言號合自只 信!虎&，亦變小。藉由 去隨機雜訊較小的；八信號減去GS、BS成分，從而減
〇刀’即’減去較小的信號。因此，R ^/3965 27〇38pif L琥中信制減少程度較小。其結果為，R信號具有減小 隨機雜訊的效果。同樣地，G、B信號的隨機雜訊亦變小。 ^又，作為彩色攝影機的問題，存在著因光學透鏡的色 节像差而導致在像的邊緣帶有假色的問題。該色彩像差b 因，學透鏡所導致的RGB光的折射率不同而產生的。於 本貝施形態中的區塊判定中，僅利用G信號的差分信 實施判定，藉此可忽略邊緣的R、B信號，並且藉:周b邊 像素的比例係數的計算而生成Rs、GS、Bs信號，故而 抑制邊緣的假信號。
又於色攝影機的問通在於，拍攝細小的高頻圖案時 會因低頻而產生帶有顏色的莫耳紋（m〇ire)。其原因在於、， 2於RGB像素的像素間距與被攝體的信號間距的相位不 一致，故而入射至像素的信號量會發生變化，而產生脈衝 f beat)狀的假色信號。但是，在本實施形態中生成加法 ^號時，由於會減少高頻成分，而自加法信號生成Rs、Gs、 Bs信號，故而不會產生僅R信號或B信號增強（假色） 的信號’而是Rs、Gs、Bs信號同時產生變化，於是僅亮 度k號會產生變化。因此’可抑制先前的問題，即，因莫 耳紋而導致的假色著色。 、 又’本實施形態中’對於彩色濾光片排列不同的影像 感剛器，在生成R、G'B信號之後，亦生成相同的加法 信號’並藉由算出R、G、B信號的比例、且生成新的Rs、 Gs、Bs信號’藉此，亦可獲得同樣的效果。又，本實施形 態並不限定為應用於CMOS影像感測器’而亦可應用於其 20 1373965 27〇38pif 他CCD影像感測器或積層有光電轉換膜的積層型影像感 測器。又，亦可_專用的ISp ( Image Ργ〇_〇γ， • 影像信號處理器）來進行處理。 • 又’以下’對本發明的實施形態巾所使㈣色彩相關 、 雜訊減少方法的概要進行說明。圖13是表示色彩相關雜訊 ，少方法的圖。此處，選取自三種被攝體而獲得的輸出信 號為例。若將自三種被攝體而獲得的信號分別用r、g、b _ 信號表示’則如圖13中之(A)所示。其次，如圖13中之(B) 所示，在各被攝體中，將R信號、Gr信號、B信號、冼 信號相加而生成加法信號S。又，如圖13之((：)所示，將 各被攝體中多個相同顏色像素加以平均，算出Rave信號、
Gave信號、Bave信號與將各個平均值相加而得的加°法°平 均值Save的比例係數。繼而，將圖13所示之(B)中所獲得 的加法信號S額13所示之(c)中所獲得的比 乘，以生成新的r、g、b信號。藉由上述處理，可^ • 隨機雜訊，從而可提高S/N。此外，可減少色彩假信號以 及色彩雜訊。 & 又，以下，說明上述實施形態中藉由臨限值位準設定 ' 電路19來設定臨限值位準LevN的方法。圖14是表示威 ’則杰部11的光電轉換特性與臨限值位準的圖。當入射^ 測器部11的光量變大時，.來自感測器部u的^出信號^ 大。隨著該輸出信號的增加，光照射雜訊亦增加。光 雜訊是以光量的平方根而產生。又，當入射至感測器部、n 的入射光為低光量時，電路雜訊較光照射雜訊更占支配地 1373965 27〇38pif 位。因此，對於假定為雜訊位準的臨限值位準乙⑺”的值， 在低，量時設為假定電路雜訊紐，而在高光量時則控制 為隨著光照射雜訊一同增大。藉由上述控制，可有效地抑 制隨機雜訊。又，根據Y=0.59G + a3R+0 llB的比，生 成焭度彳§5虎。因此，若在進行對有助於亮度信號的效果較 小的R與B的雜訊抑制處理時，將臨限值位準匕⑺^^設定 得較大，則可增大對R與B的隨機雜訊的抑制效果。 又右對應於RGB的各信號量，配合白平衡的增益 (gain)比來設定臨限值位準LevN，則將獲得更好的效果。 又，因透鏡的光學特性而實施陰影(shading)校正時，相對 於晝面中心而越在位於上下左右以及角點的位置，則藉由 數位增益越對信號進行擴增。由此，上下左右、角點的隨 機雜訊將增加。因此，配合該增益，對臨限值位準LevN 在上下左右以及角點的位置進行擴增，可以增加抑制雜訊 的效果，從而可改善圖像質量。如此，藉由根據信號量、 晝面位置、顏色資訊、增益資訊等來對臨限值位準LevN 進行適當變更，可獲得更高的圖像品質。 如上所述，藉由本發明的實施形態，可提供一種能夠 抑制R信號、G信號、B信號的色彩假信號，並且可以減 少，訊的固態攝影裝置。具體而言，在本實施形態中，將 R L號、G彳5號、b信號相加而生成加法信號。並且，根 據加法像素的周邊像素的色彩資訊而算出色彩比例，且自 =法信號生成新的R、G、B信號，藉此可同時實施彩色 影像内插處理。如此，藉由將像雜號相加而生成加法信 22 1373965 27038pif 高Μ。此外，可提供-種高圖像品質的㈣ % :自加法信號同時生成新的號、^ 號1抑制R、G、B信號的色偏差或色彩雜訊^ 錯由本發明的實施形態，可提 號、G信號、B作聲的色卿2 夠抑制R信 固態攝職置 ，亚且可以減少雜訊的 、，又，上述各實施形態’不僅可分別單獨實施，亦可適 當加以組合來實施。此外，在上述各實施縣中包含有多 種階段的發明，藉由適當組合各實施形態巾所揭示的多個 構成要件，亦可抽取出多種階段的發明。 熟習此項技術者將易想到另外的優點及改質體。因 此，本發明在其更廣闊的態樣中並不限於本文所示及所描 述之特定細節及代表性實施例。為此，可進行各種修改= 不偏離藉由隨附申請專利範圍及其等效體所界定的一般發 明概念的精神或範曹。
【圖式簡單說明】 圖1是表示本發明第1實施形態的固態攝影裝置的概 略結構的方塊圖。 圖2是表示第1實施形態的色彩相關RGB生成電路 中的處理方法的圖。 圖3是表示弟1實施形態的色彩相關RGB生成電路 的加法部中的其他加法處理方法的圖。 圖4是表示本發明第2實施形態的固態攝影裝置的概 略結構的方塊圖。 23 1373965 27038pif 圖5(A)至圖5(F)是表示第2實施形態的色彩相關Rgb 生成電路_緣檢測電路中的處理方法的圖。 • _ 6(A)至圖6(E)是表示第2實施形態的區塊内的差分 、判定中的其他處理方法的圖。 、 目7是絲藉㈣2實施職的邊緣檢測電路來判定 區塊AZ〜DZ的實例的圖。 圖8是表示對第2實施形態中的左上方區塊AZ實施 • 的加法信號的生成、比例係數的計算以及R、G、B信號 的生成的處理方法的圖。 圖9是表示第2實施形態中選擇三個區塊AZ、BZ、 DZ時的處理例的圖。 圖10疋表示第2實施形態中選擇兩個區塊Az、Bz 時的處理例的圖。 圖11是表不第2實施形態中選擇傾斜配置著的兩個區 塊AZ、DZ時的處理例的圖。 圖12是表示第2實施形態中選擇四個區塊az、BZ、 CZ、DZ時的處理例的圖。 . 圖13(A)至圖13(D)是表示本發明實施形態中所使用 . 的色彩相關雜訊的減少方法的概要的圖。 圖14是表示本發明實施形態中的感測器部的光電轉 換特性與臨限值位準的圖。 【主要元件符號說明】 11 :感測器部 12 :直列記憶體 24 1373965 27038pif
13 :色彩相關RGB生成電路 14 :信號處理電路 15 :系統時序產生電路 16 :命令解碼器 17 :串列介面 18 :透鏡 19 :臨限值位準設定電路 111 :像素部 112 :類比數位轉換器 131 :加法部 132 :比例計算部 133 : RGB生成部 134 :邊緣檢測電路 135 :區塊選擇部 DOUTO〜DIUT7 :數位信號 25
Claims (1)
1373965 27038pif 爲第97102636號中文專利範圍無劃線修 修正日期:100年10月27日
十、申請專利範圍： 1 "" 1.一種固態攝影裝置，其包括： 像素部，呈矩陣狀二維g 至少配置有R (紅）、G (綠）、置C在光電轉換元件中 成的像素，上述像素部用於輸色遽光片而形 片相對應的至少R像素、（j# 、， 一上述衫色濾光 電轉換而獲得的光分別進行光 像素部中決定以某像素作為中心像辛 的預疋£域’對來自上述中心像素 内的上述預定像素周邊的周邊像素的上述預定 進行相加，而生成加法信號； 域的乜旒 R信=:=自述：_的像素的上述 比例係數；以及 ]值相加而仔的加法平均值的 RGB生成部’利用上述加法 上述比例係數，以生成對應:該二： 的新的R#唬、G信號、B信號。 豕京 It申利範圍第1項所述之固態攝影裝置，苴中 乘，相 3·如申請專利制第2項所述之固態攝影裝置，^ 的9像自呈矩陣狀配置的2X2的4像素 的像素或者5X5的25像素的信號進行相加。 26 1373965 27038pif 修正日期:100年10月27曰 爲第971〇2636號中文專利範圍無劃線修正本 4·如申請專利範圍第3項所述之固態攝影裝置，其中 上述加法部對3x3的9像素或者5x5的25像素中的 中心像素的預定係數進行累加。 5. 如申請專利範圍第1項所述之固態攝影裝置，其中 上述加法部以使RGB的信號比例為r : : b = 1 : 1 : 1的方式’將各RGB信號乘以係數後將各個信號進行相加。 6. 如申請專利範圍第2項所述之固態攝影裝置，其中 更包括邊緣檢測部，用以檢測入射至上述圖像部的圖 像的邊緣信號。 7. 如申請專利範圍第6項所述之固態攝影裝置其中 上述邊緣檢測部包括差分判定部，將上述預定區域分 割成由包含上述中心像素的複數個像素構成的4個區塊， 對上述4個區塊的各區塊内包含上述中心像素 豆 他相同顏色像素的信號的好、以及預定值進行;匕較^ 判斷大小。 8. 如申請專利範圍第7項所述之固態攝影裝置，其中 更包括區塊選擇部，根據上述差分判定部中的判定結 果，自上述4個區塊中選擇區塊以作為上述預定區域。 9. 如申請專利範圍第1項所述之固態攝影裝置，其中 、上述加法部對以呈矩陣狀配置的5x5的像素排列的中 心像素為中心的3x3的像素排列進行過遽運算，以求出加 法信號，且 异出配置於上述中心像素的周邊的5x5的像素排列中 的上述R信號、G信號、B信號各自的平均值。 27 1373965 27038pif 修正日期:1〇〇年10月27曰 爲第97102636號中文專利範圍無劃線修正本 10.如申請專利範圍第9項所述之固態攝影裝置，其中 主處運异’在上述3x3的像素排列中，將中心像 ”的^:號。又為4倍’將相對於上述中心像素而配置在列方 向向上的像素的信號設為2倍，將配置於角點的像 素的仏號&為1倍，將對該些上述信號加以合計而獲得的 信號設為1/4。 11.如申δ月專利範圍帛9項所述之固態攝影裝置，其中 上述過/處運异在上述3χ3的像素排列中，將中心像素 ^信號設為4倍’將配置於上述中心像素周邊的8像素的 L號》又為1倍’將對該些上述信號加以合計而獲得的信號 設為1/3。 12·如申請專利範圍第丨項所述之㈣攝影裝置，其中 、、上述加法部將呈矩陣狀配置# 5x5的像素排列 ，分割 成U崎素作為角關由3x3的像素排列構成的 4個 區塊， 選擇上述4個區塊中的至少i個區塊，將包含中心像 素的2x2的4像素的信號進行相加。 13·如申$專利範圍第u項所述之固態攝影裝置，盆 中 '、 —.、使上述中心像素的2x2的信號比例為R : G : B —1 . 1 · 1的方式，乘以係數後進行相加。 14·如申μ專利範圍第1項所述之固態攝影裝置，其中 更包括信號處理電路，其接受到藉由上述腦^ 部而生成的R信號、G信號、B信號之後，進行白平衡、 28 1373965 2703 8pif 爲第97102636號中文專利範圍無劃線修正本修正曰期:100年10月27日 輪廓增強、伽瑪校正、以及RGB矩陣電路中的至少任一 種處理。 15.如申請專利範圍第1項所述之固態攝影裝置，其中 上述光電轉換元件包括發光二極體。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007016893A JP4966035B2 (ja) | 2007-01-26 | 2007-01-26 | 固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200836555A TW200836555A (en) | 2008-09-01 |
| TWI373965B true TWI373965B (en) | 2012-10-01 |
Family
ID=39667495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW097102636A TWI373965B (en) | 2007-01-26 | 2008-01-24 | Solid state photographing device |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8228407B2 (zh) |
| JP (1) | JP4966035B2 (zh) |
| CN (1) | CN101291437B (zh) |
| TW (1) | TWI373965B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100976284B1 (ko) | 2007-06-07 | 2010-08-16 | 가부시끼가이샤 도시바 | 촬상 장치 |
| JP2010288150A (ja) * | 2009-06-12 | 2010-12-24 | Toshiba Corp | 固体撮像装置 |
| TWI420124B (zh) * | 2009-09-23 | 2013-12-21 | Realtek Semiconductor Corp | 邊緣檢測裝置以及應用於邊緣檢測裝置的運算電路 |
| JP4881987B2 (ja) * | 2009-10-06 | 2012-02-22 | キヤノン株式会社 | 固体撮像装置および撮像装置 |
| CN102129678A (zh) * | 2010-01-12 | 2011-07-20 | 鸿富锦精密工业（深圳）有限公司 | 影像特征模型建立系统及方法以及应用其的影像处理系统 |
| WO2011118071A1 (ja) * | 2010-03-25 | 2011-09-29 | 富士フイルム株式会社 | 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体 |
| JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP5895195B2 (ja) | 2012-03-13 | 2016-03-30 | パナソニックＩｐマネジメント株式会社 | ノイズ削減装置およびノイズ削減方法 |
| JP6014349B2 (ja) * | 2012-04-10 | 2016-10-25 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
| CN104412581B (zh) * | 2012-07-06 | 2016-04-13 | 富士胶片株式会社 | 彩色摄像元件及摄像装置 |
| JP5702896B2 (ja) * | 2012-07-06 | 2015-04-15 | 富士フイルム株式会社 | カラー撮像素子及び撮像装置 |
| KR102025184B1 (ko) * | 2013-07-31 | 2019-09-25 | 엘지디스플레이 주식회사 | 데이터 변환 장치 및 이를 이용한 디스플레이 장치 |
| JP6287058B2 (ja) * | 2013-10-24 | 2018-03-07 | 株式会社リコー | 縮小光学系用の光電変換素子、画像読取装置、画像形成装置及び画像読取方法 |
| JP6316043B2 (ja) * | 2014-03-19 | 2018-04-25 | キヤノン株式会社 | 装置、方法、及びプログラム |
| CN105245864A (zh) * | 2015-09-09 | 2016-01-13 | 南京理工大学 | 一种摄像机白平衡的处理方法 |
| CN106920217B (zh) * | 2015-12-25 | 2020-06-02 | 展讯通信（上海）有限公司 | 图像矫正的方法及装置 |
| JP2018093284A (ja) * | 2016-11-30 | 2018-06-14 | マクセル株式会社 | 可視近赤外同時撮像装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US200773A (en) * | 1878-02-26 | Improvement in book-shelves | ||
| US134713A (en) * | 1873-01-07 | Improvement in compounds for use in tobacco-pipes | ||
| US16205A (en) * | 1856-12-09 | Machine eoe | ||
| US114526A (en) * | 1871-05-09 | Improvement in stalk-pullers | ||
| JPH04235472A (ja) | 1991-01-09 | 1992-08-24 | Canon Inc | 撮像装置 |
| JP2951461B2 (ja) | 1991-12-16 | 1999-09-20 | 日本電気ホームエレクトロニクス株式会社 | カラービデオカメラ |
| JP3503372B2 (ja) | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JPH11220751A (ja) * | 1998-02-02 | 1999-08-10 | Mitsubishi Electric Corp | 撮像装置 |
| JP4239234B2 (ja) * | 1998-04-16 | 2009-03-18 | 株式会社ニコン | 電子スチルカメラ |
| JP2000197067A (ja) * | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
| JP3803950B2 (ja) * | 1999-03-04 | 2006-08-02 | 株式会社リコー | 画像合成処理方法、画像合成処理装置及び記録媒体 |
| JP2001036809A (ja) * | 1999-07-16 | 2001-02-09 | Fuji Photo Film Co Ltd | 固体撮像装置および画像処理方法 |
| US6628330B1 (en) * | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
| JP2001245307A (ja) | 2000-03-01 | 2001-09-07 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP4210021B2 (ja) | 2000-06-21 | 2009-01-14 | 富士フイルム株式会社 | 画像信号処理装置および画像信号処理方法 |
| US7196724B2 (en) * | 2000-12-08 | 2007-03-27 | Nikon Corporation | Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas |
| JP3850241B2 (ja) | 2001-07-19 | 2006-11-29 | シャープ株式会社 | 照明装置およびそれを用いた液晶表示装置 |
| JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
| JP4235472B2 (ja) | 2002-04-08 | 2009-03-11 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、プログラム及び記憶媒体 |
| JP2004172859A (ja) * | 2002-11-19 | 2004-06-17 | Sony Corp | 撮像装置および撮像方法 |
| JP2005167874A (ja) * | 2003-12-05 | 2005-06-23 | Sanyo Electric Co Ltd | 固体撮像素子及び画像信号処理装置 |
| US7440016B2 (en) | 2003-12-22 | 2008-10-21 | Hewlett-Packard Development Company, L.P. | Method of processing a digital image |
| US7502505B2 (en) | 2004-03-15 | 2009-03-10 | Microsoft Corporation | High-quality gradient-corrected linear interpolation for demosaicing of color images |
| JP4167200B2 (ja) | 2004-04-13 | 2008-10-15 | 富士フイルム株式会社 | 信号処理装置、信号処理方法及びデジタルカメラ |
| JP4840740B2 (ja) | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
| US8049789B2 (en) * | 2006-12-15 | 2011-11-01 | ON Semiconductor Trading, Ltd | White balance correction using illuminant estimation |
-
2007
- 2007-01-26 JP JP2007016893A patent/JP4966035B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-24 US US12/019,173 patent/US8228407B2/en not_active Expired - Fee Related
- 2008-01-24 TW TW097102636A patent/TWI373965B/zh not_active IP Right Cessation
- 2008-01-25 CN CN200810100394.2A patent/CN101291437B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101291437A (zh) | 2008-10-22 |
| TW200836555A (en) | 2008-09-01 |
| US20080180556A1 (en) | 2008-07-31 |
| CN101291437B (zh) | 2015-04-08 |
| JP4966035B2 (ja) | 2012-07-04 |
| US8228407B2 (en) | 2012-07-24 |
| JP2008187274A (ja) | 2008-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI373965B (en) | Solid state photographing device | |
| JP6725613B2 (ja) | 撮像装置および撮像処理方法 | |
| KR101012537B1 (ko) | 고체 이미지 센서 | |
| JP4846608B2 (ja) | 固体撮像装置 | |
| EP2022258B1 (en) | Image sensor with improved light sensitivity | |
| TWI354487B (en) | Image processing apparatus, image capturing appara | |
| KR101007754B1 (ko) | 에지 검출 및 보정항을 이용하여 컬러 필터 어레이의 색보간을 제공하는 방법 및 장치 | |
| JP5106256B2 (ja) | 撮像装置 | |
| JP4536072B2 (ja) | 撮像装置 | |
| RU2556022C2 (ru) | Устройство формирования цветного изображения | |
| JP5075795B2 (ja) | 固体撮像装置 | |
| JP5663564B2 (ja) | 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム | |
| EP1389771A2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
| TW200849978A (en) | Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals | |
| JP2008306379A (ja) | 固体撮像素子 | |
| JP2008078922A (ja) | 固体撮像装置 | |
| JP6059359B2 (ja) | 画像処理方法および装置ならびにイメージングデバイス | |
| JPH0823543A (ja) | 撮像装置 | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
| JP2008289090A (ja) | 撮像信号処理装置 | |
| US8077234B2 (en) | Image pickup device and method for processing an interpolated color signal | |
| JP5948167B2 (ja) | 撮像装置 | |
| JP6640555B2 (ja) | カメラシステム | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |