TWI573464B - An image processing apparatus, an image processing method, an image processing program, and a recording medium - Google Patents

An image processing apparatus, an image processing method, an image processing program, and a recording medium Download PDF

Info

Publication number
TWI573464B
TWI573464B TW104112524A TW104112524A TWI573464B TW I573464 B TWI573464 B TW I573464B TW 104112524 A TW104112524 A TW 104112524A TW 104112524 A TW104112524 A TW 104112524A TW I573464 B TWI573464 B TW I573464B
Authority
TW
Taiwan
Prior art keywords
pixel value
pixel
processing
noise
image
Prior art date
Application number
TW104112524A
Other languages
English (en)
Other versions
TW201545558A (zh
Inventor
Michihiro Kobayashi
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of TW201545558A publication Critical patent/TW201545558A/zh
Application granted granted Critical
Publication of TWI573464B publication Critical patent/TWI573464B/zh

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Description

圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
本發明之一態樣係關於圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體者。
先前以來，作為圖像處理裝置，已知有對輸入圖像進行雜訊去除處理之裝置。專利文獻1之圖像處理裝置係將拜耳信號之局部成分作為特徵量向量處理。而且，該圖像處理裝置係基於周邊之向量差量算出加權係數與向量範數(vector norm)。專利文獻2之圖像處理裝置係對以YUV信號表示之輸入圖像進行雜訊去除處理。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2007-110338號公報
[專利文獻2]日本特開2010-157163號公報
不過，以YUV信號表示之輸入圖像係經過空間修補處理後之圖像。因此，以YUV信號表示之輸入圖像，因像素間之空間相關較高，故而難以去除雜訊成分。因此，本技術領域中，期望可發揮優異之雜訊去除效果之圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體。
本發明之一態樣之圖像處理裝置係對輸入圖像進行去除雜訊之處理者，且包含：濾波器設定部，其係使用成為處理對象之雜訊處理對象像素所具有之第1對象像素值及雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第2濾波器係數；及雜訊去除部，其係以第1濾波器係數對參考像素值之亮度成分進行加權和計算，並以第2濾波器係數對參考像素值之色差成分進行加權和計算，而算出修正像素值，使用修正像素值，去除雜訊處理對象像素之雜訊；輸入圖像係以拜耳圖案形式保持像素值。
該圖像處理裝置係對以拜耳圖案形式保持像素值之輸入圖像執行濾波處理。該濾波處理中，首先，將輸入圖像之像素值分離為亮度成分與色差成分。又，利用第1濾波器係數對亮度成分進行加權和計算，利用第2濾波器係數對色差成分進行加權和計算。該輸入圖像因以拜耳圖案形式保持像素值，故不同像素間之空間相關較低，因雜訊之產生等而導致之異常之像素值之影響不會及於周邊之像素值。因此，可發揮優異之雜訊去除效果。
一實施形態中，圖像處理裝置亦可進而包含輸入緩衝器，其係以拜耳圖案形式儲存構成輸入圖像之輸入像素值。進而，濾波器設定部亦可具有：縮小圖像產生部，其係使用儲存於輸入緩衝器之像素值產生縮小圖像；縮小圖像緩衝器，其係儲存構成縮小圖像之縮小像素值；及參考像素選擇部，其係自儲存於縮小圖像緩衝器之縮小圖像選擇參考像素。執行濾波處理時係使用存在於作為濾波處理對象之像素周邊之參考像素進行處理。基於雜訊去除效果之觀點，期望自大範圍選擇多個參考像素。然而，根據此種參考像素之選擇，有處理負荷增大之虞。另一方面，根據該構成，選擇構成縮小圖像之像素作為參考像素。根據該縮小圖像之參考像素之選擇，可獲得與既可抑制處理負荷之增加，亦可自大範圍選擇多個參考像素之情形所獲得之效果近似 之效果。
一實施形態中，濾波器設定部具有：對象像素值產生部，其係利用輸入緩衝器中儲存之輸入像素值，產生第1對象像素值；差量算出部，其係使用由參考像素選擇部選擇之參考像素之參考像素值、與由對象像素值產生部產生之第1對象像素值，算出像素值差量；及係數算出部，其係使用像素值差量，算出第1濾波器係數及第2濾波器係數；像素值差量與第1濾波器係數之關係、及像素值差量與第2濾波器係數之關係亦可對應於第1對象像素值而動態變化。重疊於輸入圖像之雜訊之強度係依存於情景(scene)之像素值。根據該構成，濾波器係數根據成為雜訊處理對象之像素之像素值而動態變化。因此，可藉由濾波器設定部，適當去除重疊於輸入圖像之雜訊。
一實施形態中，參考像素選擇部係亦可選擇縮小圖像緩衝器中儲存之縮小圖像中之一部分縮小像素作為參考像素。根據該構成，可進一步抑制雜訊處理所需之處理負荷之增加。
一實施形態中，進而包含：後段緩衝器，其係以拜耳圖案形式儲存修正像素值；及異常像素處理部，其係處理圖像之異常像素；異常像素處理部亦可具有：異常判定部，其係藉由對後段緩衝器中儲存之複數個修正像素值中，異常處理對象像素所具有之第2對象像素值、與自異常處理對象像素周邊之周邊像素所具有之周邊像素值而推定之異常處理對象像素之推定像素值進行比較，而判定第2對象像素值是否異常；及置換處理部，其係於由異常判定部判定第2對象像素值異常之情形時，將第2對象像素值置換為推定像素值。根據該構成，藉由將異常之像素值置換為推定像素值，可排除濾波對象圖像所含之異常像素。因此，可發揮更優異之雜訊去除效果。
本發明之另一態樣之圖像處理裝置係對輸入圖像進行去除雜訊之處理者，且包含：後段緩衝器，其係以拜耳圖案形式儲存構成輸入 圖像之像素值；及異常像素處理部，其係處理圖像之異常像素；異常像素處理部亦可具有：異常判定部，其係藉由對後段緩衝器中儲存之複數個像素值中，異常處理對象像素所具有之第2對象像素值、與自異常處理對象像素周邊之周邊像素所具有之周邊像素值推定之異常處理對象像素之推定像素值進行比較，而判定第2對象像素值是否異常；及置換處理部，其係於由異常判定部判定第2對象像素值異常之情形時，將第2對象像素值置換為推定像素值。根據該構成，藉由將異常之像素值置換為推定像素值，可排除濾波對象圖像所含之異常像素。因此，可發揮更優異之雜訊去除效果。
本發明之另一態樣之圖像處理方法係使用電腦對輸入圖像進行去除雜訊之處理者，且包含如下步驟：濾波器設定步驟，其係使用成為處理對象之雜訊處理對象像素所具有之第1對象像素值、及雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第2濾波器係數；及雜訊去除步驟，其係將參考像素值分離為亮度成分與色差成分，以第1濾波器係數對亮度成分進行加權和計算，並以第2濾波器係數對色差成分進行加權和計算，而算出修正像素值，且使用修正像素值，去除雜訊處理對象像素之雜訊；輸入圖像係以拜耳圖案形式保存像素值。
本發明之進而另一態樣之圖像處理程式係以使用電腦對輸入圖像進行去除雜訊之處理之方式使電腦發揮功能者，且使電腦作為如下各部發揮功能：濾波器設定部，其係使用成為處理對象之雜訊處理對象像素所具有之第1對象像素值、及雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第2濾波器係數；及雜訊去除部，其係將參考像素值分離為亮度成分與色差成分，以第1濾波器係數對亮度成分進行加權和計算，且以第2濾波器係數對色差成分進行加權和計算，而算出修正像素值，並使用修正像素值， 去除雜訊處理對象像素之雜訊；輸入圖像係以拜耳圖案形式保存像素值。
本發明之進而另一態樣之記錄媒體，其可由電腦讀取，並記錄有以使用電腦對輸入圖像進行去除雜訊之處理之方式使電腦發揮功能之圖像處理程式，且使電腦作為如下各部發揮功能：濾波器設定部，其係使用成為處理對象之雜訊處理對象像素所具有之第1對象像素值、及雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第2濾波器係數；及雜訊去除部，其係將參考像素值分離為亮度成分與色差成分，以第1濾波器係數對亮度成分進行加權和計算，且以第2濾波器係數對色差成分進行加權和計算，而算出修正像素值，並使用修正像素值，去除雜訊處理對象像素之雜訊；輸入圖像係以拜耳圖案形式保存像素值。
根據上述圖像處理方法、圖像處理程式及記錄媒體，可發揮與上述本發明之一態樣之圖像處理裝置相同之效果。
根據本發明之各態樣及實施形態，可提供發揮優異之雜訊去除效果之圖像處理裝置、圖像處理方法、圖形處理程式及記錄媒體。
1‧‧‧圖像處理裝置
2‧‧‧雜訊處理部
3‧‧‧異常像素處理部
4‧‧‧輸入線緩衝器(輸入緩衝器、輸入緩衝部)
6‧‧‧濾波器設定部
7‧‧‧雜訊去除部
8‧‧‧縮小圖像產生部
9‧‧‧縮小圖像線路緩衝器(縮小圖像緩衝器)
11‧‧‧參考像素選擇部
12‧‧‧對象像素值產生部
13‧‧‧差量算出部
14‧‧‧閾值決定部
16a‧‧‧空間濾波器係數決定部
16b‧‧‧亮度濾波器係數決定部
16c‧‧‧色差濾波器係數決定部
17a‧‧‧濾波器係數決定部(第1濾波器係數決定部)
17b‧‧‧濾波器係數決定部(第2濾波器係數決定部)
18‧‧‧修正像素值算出部
18a‧‧‧像素值加法部
18b‧‧‧濾波器係數加法部
18c‧‧‧除法部
19‧‧‧後段線路緩衝器
20‧‧‧係數算出部
21‧‧‧異常判定部
22‧‧‧置換處理部
23‧‧‧統計量算出部
24‧‧‧連續性判定部
25‧‧‧第1閾值決定部
26‧‧‧第2閾值決定部
27‧‧‧差量算出部
28‧‧‧偏離率判定部
29‧‧‧像素值置換部
31‧‧‧輸出線路緩衝器
41‧‧‧照相機
42‧‧‧顯示部
100‧‧‧CPU
101‧‧‧RAM
102‧‧‧ROM
103‧‧‧輸入設備
104‧‧‧輸出設備
105‧‧‧輔助記憶裝置
Borg‧‧‧對象像素值之B成分
Bref‧‧‧參考像素值之B成分
Diff‧‧‧差分
Diffthre(i，j)‧‧‧閾值
Diffluma‧‧‧亮度成分之差量
Diffchroma‧‧‧色差成分之差量
f1‧‧‧函數
f2‧‧‧函數
f3‧‧‧函數
f4‧‧‧函數
Gorg‧‧‧對象像素值之G成分
Gref‧‧‧參考像素值之G成分
Rorg‧‧‧對象像素值之R成分
Rref‧‧‧參考像素值之R成分
P1‧‧‧像素中心
P2‧‧‧周邊像素
S10‧‧‧雜訊處理
S11‧‧‧對輸入線路緩衝器之儲存處理
S12‧‧‧縮小圖像之產生處理
S13‧‧‧對縮小圖像線路緩衝器之儲存處理
S14‧‧‧濾波處理對象像素值之產生處理
S15‧‧‧濾波器係數設定處理(濾波器設定步驟)
S15a‧‧‧參考像素之選擇處理
S15b‧‧‧空間濾波器係數之決定處理
S15c‧‧‧像素值差量之算出處理
S15d‧‧‧閾值決定處理
S15e‧‧‧亮度濾波器係數及色差濾波器係數之決定處理
S15f‧‧‧應用於亮度之濾波器係數之決定處理
S15g‧‧‧應用於色差之濾波器係數之決定處理
S16‧‧‧雜訊去除處理(雜訊去除步驟)
S17‧‧‧後段線路緩衝器之儲存處理
S17‧‧‧對後段線路緩衝器之儲存處理
S18‧‧‧執行異常圖像處理
S20‧‧‧異常像素處理
S21‧‧‧統計量之算出處理
S22‧‧‧連續性之判定處理
S23‧‧‧第1閾值決定處理
S24‧‧‧第2閾值決定處理
S25‧‧‧差量算出處理
S26‧‧‧偏離率之判定處理
S27‧‧‧像素值之轉換處理
S28‧‧‧對輸出線路緩衝器之儲存處理
T‧‧‧行動終端
Yorg‧‧‧雜訊處理對象像素之亮度成分
‧‧‧亮度成分之加權平均值
‧‧‧色差成分之加權平均值
‧‧‧色差成分之加權平均值
Yref‧‧‧參考像素之亮度成分
Uref‧‧‧參考像素之色差成分
ωsp‧‧‧空間濾波器係數
ωY‧‧‧亮度濾波器係數
ωUV‧‧‧色差濾波器係數
圖1係搭載有實施形態之圖像處理裝置之行動終端之功能方塊圖。
圖2係搭載有實施形態之圖像處理裝置之行動終端之硬體構成圖。
圖3係實施形態之圖像處理裝置所包含之雜訊處理部之功能方塊圖。
圖4係實施形態之圖像處理裝置所包含之異常圖像處理部之功能方塊圖。
圖5係說明實施形態之圖像處理裝置之動作之流程圖。
圖6係說明實施形態之圖像處理裝置之動作之詳細之流程圖。
圖7係選擇參考像素之處理之說明圖。
以下，參考隨附圖式對實施形態進行說明。另，各圖中，對相同或相當之部分附加相同符號而省略重複之說明。
本實施形態之圖像處理裝置係例如輸出已去除雜訊之訊框圖像。圖像處理裝置係例如適合採用於複數個圖像之連續攝影或動態圖像拍攝之場合。本實施形態之圖像處理裝置適合搭載於例如行動電話、數位相機、PDA(Personal Digital Assistant：個人數位助理)等之資源(resource)存在限制之移動終端。但圖像處理裝置並非限定於該等移動終端，例如亦可搭載於通常之電腦系統。圖像處理裝置包含組裝於攝像裝置之所謂晶載ISP(Image Signal Processor：圖像信號處理器)等。另，以下，考慮到說明理解之容易性，作為一例，對搭載於行動終端之圖像處理裝置進行說明。
圖1所示之行動終端T係例如由使用者攜帶之移動終端。行動終端T具有圖2所示之硬體構成。如圖2所示，行動終端T物理上包含：CPU(Central Processing Unit：中央處理單元)100、RAM(Random Access Memory：隨機存取記憶體)101及ROM(Read Only Memory：唯讀記憶體)102等主記憶裝置；照相機或鍵盤等輸入設備103；顯示器等輸出設備104；及硬碟等輔助記憶裝置105等。後述之行動終端T及圖像處理裝置1之各功能係藉由對CPU100、RMA101、ROM102等硬體上讀取特定之電腦軟體，在CPU100之控制下，使輸入設備103及輸出設備104動作，並進行主記憶裝置或輔助記憶裝置105之資料之讀取及寫入而實現。另，行動終端T亦可包含通信模組等。上述說明係作為行動終端T之硬體構成而說明，但圖像處理裝置1亦可構成為通常之 電腦系統。通常之電腦系統包含：CPU100、RAM101及ROM102等主記憶裝置、輸入設備103、輸出設備104、及輔助記憶裝置105等。
如圖1所示，行動終端T包含：照相機41、圖像處理裝置1、及顯示部42。照相機41拍攝靜態圖像或動態圖像。動態圖像包含以時間順序連續之複數個訊框圖像。另，照相機41亦可具有自藉由使用者操作等而指定之時機，以特定間隔反復進行拍攝之連續拍攝功能。照相機41係將訊框圖像輸入至圖像處理裝置1。
圖像處理裝置1係藉由處理由照相機41獲取之輸入圖像而產生輸出圖像。例如，圖像處理裝置1係去除輸入圖像之雜訊及異常像素。所謂雜訊，係指例如於所拍攝之影像上產生之不均。雜訊係例如於訊框圖像間隨時間經過而隨機變更之像素值。雜訊亦可為同一訊框內與周邊像素之像素值極端差異之像素值。所謂像素值係指與像素有關連之資訊，例如包含RGB成分、亮度成分、色差值、彩度等。所謂異常像素，係指具有包含相對於由周邊像素所推定之像素值為特定閾值以上之差量之像素值的像素。
圖像處理裝置1係例如包含雜訊處理部2與異常像素處理部3。雜訊處理部2去除自照相機41輸入之訊框圖像之雜訊。雜訊處理部2輸出雜訊處理後之處理圖像。更詳細而言，雜訊處理部2係對自照相機41輸出後不久之拜耳圖案形式之圖像資料實施雜訊去除處理。又，雜訊處理部2輸出已去除雜訊之拜耳圖案形式之圖像資料。
如圖3所示，雜訊處理部2具有：輸入線路緩衝器(輸入緩衝器、輸入緩衝部)4、濾波器設定部6、及雜訊去除部7。雜訊處理部2係利用所謂雙向濾波器執行雜訊處理。雙向濾波器係具有保存邊緣而去除雜訊之功能的濾波器；雙向濾波器處理係保存邊緣並將該邊緣平滑化。雙向濾波器處理係利用雜訊處理對象像素、與存在於雜訊處理對象像素周邊之其他像素之距離、及雜訊處理對象像素所具有之像素 值，調整作為雜訊處理對象之像素。
以下說明之濾波器係數有應用於亮度之濾波器(第1濾波器係數)、與應用於色差之濾波器(第2濾波器係數)。應用於亮度之濾波器係基於空間濾波器係數與亮度濾波器係數而決定。空間濾波器係數係由關於空間之值算出之係數。空間濾波器係數例如設定為：作為雜訊處理對象之像素與周邊像素之距離越小則越大，距離越大則越小。亮度濾波器係數係基於作為雜訊處理對象之像素之亮度成分、與周邊像素之亮度成分之差量而設定。應用於色差之濾波器係基於空間濾波器係數與色差濾波器係數而決定。色差濾波器係數係基於作為雜訊處理對象之像素之色差成分、與周邊像素之色差成分之差量而設定。
輸入線路緩衝器4儲存自照相機41輸出之輸入圖像之輸入像素值。自照相機41輸出之輸入圖像具有所謂拜耳圖案形式之圖像格式。該照相機41係利用彩色濾波器等，將入射之光進行色分解為紅(R)、綠(G)、藍(B)之三原色。又，分解後之光各者係由以格子狀排列之受光元件檢測出。
濾波器設定部6係利用輸入線路緩衝器4中儲存之像素值，設定用於去除訊框圖像之雜訊之應用於亮度之濾波器係數，及應用於色差之濾波器係數。濾波器設定部6係將所設定之濾波器係數輸出至雜訊去除部7。
濾波器設定部6具有：縮小圖像產生部8、縮小圖像線路緩衝器(縮小圖像緩衝器)9、參考圖像選擇部11、對象像素值產生部12、差量算出部13、閾值決定部14、及係數輸出部20。
縮小圖像產生部8係將輸入線緩衝器4中儲存之拜耳圖案形式之像素值縮小及全彩化。由該縮小圖像產生部8所產生之縮小圖像之縮小像素值被用作雜訊處理之參考像素值。
縮小圖像線路緩衝器9儲存自縮小圖像產生部8輸出之縮小像素 之像素值。縮小圖像線路緩衝器9之一像素係相當於輸入線路緩衝器4之一區塊(例如4像素×4像素之區域)。縮小圖像線路緩衝器9可設定所期望之儲存區域。縮小圖像線路緩衝器9係構成為可由參考像素選擇部11參考。
參考像素選擇部11係自構成縮小圖像線路緩衝器9中儲存之縮小圖像之像素，選擇一個或複數個參考像素。參考像素選擇部11將縮小圖像線路緩衝器9之參考像素之位置資訊輸出至空間濾波器係數決定部16a。參考像素選擇部11將參考像素之像素值輸出至差量算出部13及雜訊去除部7。
對象像素值產生部12產生雜訊處理對象像素之像素值。所謂雜訊處理對象像素，係指自輸入線路緩衝器4中儲存之像素選出者。因此，雜訊處理對象像素具有R成分、G成分、B成分之任一個像素值。其他成分則係利用雜訊處理對象像素周邊之像素之像素值而算出。因此，對象像素值具有：經選擇之像素所具有之1個色成分、及自雜訊處理對象像素周邊之像素之像素值算出之其他2個色成分。對象像素值產生部12係對輸入線路緩衝器4之所有像素執行雜訊處理。對象像素值產生部12係依序選擇輸入線路緩衝器4之像素作為雜訊處理對象像素。
差量算出部13係算出雜訊處理對象像素之像素值與參考像素之像素值之差量。差量算出部13將所算出之差量輸出至係數算出部20。
閾值決定部14利用雜訊處理對象像素之像素值，而決定用於決定亮度濾波器係數與色差濾波器係數之閾值。閾值決定部14將鎖決定之閾值輸出至係數算出部20。
係數算出部20算出應用於亮度之濾波器係數、及應用於色差之濾波器係數。係數算出部20具有：空間濾波器係數決定部16a、亮度濾波器係數決定部16b、色差濾波器係數決定部16c、應用於亮度之濾 波器係數決定部(第1濾波器係數決定部)17a、應用於色差之濾波器係數決定部(第2濾波器係數決定部)17b。
空間濾波器係數決定部16a係利用自參考像素選擇部11輸出之縮小圖像線路緩衝器9之參考像素之位置資訊，決定空間濾波器係數。空間濾波器係數決定部16a保持參考像素之位置資訊，更詳細而言，保持與中心像素至參考像素之距離及空間濾波器係數有關連之資訊。例如，該資訊係例如空間濾波器係數對於距離單調減少之函數。另，該資訊亦可為空間濾波器係數與距離相互對應關連之資料庫。中心像素至參考像素之距離只要滿足距離之定義者即可。例如，亦可將曼哈頓距離(Manhattan Distance)或歐基里德距離之定義用作距離之定義。空間濾波器係數決定部16a將所決定之空間濾波器係數輸出至濾波器係數決定部17a、17b。
亮度濾波器係數決定部16b利用自差量算出部13輸出之差量與自閾值決定部14輸出之閾值，決定亮度濾波器係數。亮度濾波器係數決定部16b將所決定之亮度濾波器係數輸出至濾波器係數決定部17a。
色差濾波器係數決定部16c利用自差量算出部13輸出之差量，與自閾值決定部14輸出之閾值，而決定色差濾波器係數。色差濾波器係數決定部16c將所決定之色差濾波器係數輸出至濾波器係數決定部17b。
濾波器係數決定部17a利用自空間濾波器係數決定部16a輸出之空間濾波器係數、及自亮度濾波器係數決定部16b輸出之亮度濾波器係數，算出應用於亮度之濾波器係數。濾波器係數決定部17a將應用於亮度之濾波器係數輸出至雜訊去除部7。
濾波器係數決定部17b利用自空間濾波器係數決定部16a輸出之空間濾波器係數、及自色差濾波器係數決定部16c輸出之色差濾波器係數，算出應用於色差之濾波器係數。濾波器係數決定部17b將應用於 色差之濾波器係數輸出至雜訊去除部7。
雜訊去除部7具有：修正像素值算出部18、及後段線路緩衝器19。雜訊去除部7利用自參考像素選擇部11輸出之參考像素之像素值、自濾波器係數決定部17a輸出之應用於亮度之濾波器係數、及自濾波器係數決定部17b輸出之應用於色差之濾波器係數，而算出修正像素值。
修正像素值算出部18具有：像素值加法部18a、濾波器係數加法部18b、及除法部18c。
像素值加法部18a算出亮度成分之累計相加值。所謂亮度成分之累計相加值，係指將自參考像素選擇部11輸出之亮度值、自係數算出部20輸出之空間濾波器係數、及應用於亮度之濾波器係數相乘所得之值，依序相加而得之值。像素值加法部18a算出色差成分之累計相加值。所謂色差成分之累計相加值，係指將自參考像素選擇部11輸出之色差值、自係數算出部20輸出之空間濾波器係數、及應用於色差之濾波器係數相乘所得之值，依序相加而得之值。
濾波器係數加法部18b利用自係數算出部20輸出之空間濾波器係數、應用於亮度之濾波器係數、應用於色差之濾波器係數，而算出關於亮度濾波器係數之累計相加值(加權和值)、及關於色差濾波器係數之累計相加值(加權和值)。
除法部18c係藉由將由修正像素值算出部18算出之亮度成分之累計相加值除以關於亮度濾波器係數之累計相加值，而算出修正像素值之亮度成分。除法部18c係藉由將由修正像素值算出部18算出之色差成分之累計相加值除以關於色差濾波器係數之累計相加值，而算出修正像素值之色差成分。
修正像素值係由亮度成分與色差成分表示。修正像素值之亮度成分係藉由將加權後之亮度值之累計相加值除以濾波器係數之累計相 加值而算出。修正像素值之色差成分係藉由將加權後之色差值之累計值除以濾波器係數之累計相加值而算出。除法部18c將所算出之修正像素值輸出至後段線路緩衝器19。
後段線路緩衝器19以拜耳圖案形式儲存修正像素值。後段線路緩衝器19具有與輸入線路緩衝器4等效之資料儲存區域。因此，後段線路緩衝器19之特定位址之像素與輸入線路緩衝器4之特定位址之像素相對應。又，後段線路緩衝器19中儲存已經過雜訊去除處理之像素值，而替代輸入線路緩衝器4之像素值。
另，圖像處理裝置1亦可將儲存於後段線路緩衝器19之像素值，不經過後述之異常像素處理部3而直接輸出至顯示部42。
異常像素處理部3係去除自雜訊處理部2輸出之處理圖像所包含之異常像素。如圖4所示，異常像素處理部3具有：異常判定部21與置換處理部22。
異常判定部21係判定後段線路緩衝器19中儲存之修正像素值是否異常。更詳細而言，異常判定部21係藉由將後段緩衝器中儲存之複數個修正像素值中，異常處理對象像素所具有之對象像素值(第2對象像素值)，與由異常處理對象像素周邊之周邊像素所具有之周邊像素值所推定之異常處理對象像素之推定像素值進行比較，而判定對象像素值是否異常。異常判定部21具有：統計量算出部23、連續性判定部24、第1閾值決定部25、差量算出部27、第2閾值決定部26、及偏離率判定部28。
統計量算出部23算出異常判定所使用之統計量。統計量算出部23係藉由自後段線路緩衝器19中儲存之修正像素選擇異常處理對象像素，而取得異常處理對象像素所具有之對象像素值。更詳細而言，統計量算出部23擷取異常處理對象像素周圍之特定範圍(例如5像素×5像素)作為1個區塊。
連續性判定部24具有判定由統計量算出部23擷取之區塊所構成之圖像是否連續之功能。連續性判定部24係於中心像素值接近區塊內之像素值之平均之情形時，跳過其後之處理。更詳細而言，連續性判定部24首先算出區塊內之像素值之平均與中心像素值之差量之絕對值。其次，連續性判定部24將絕對值與預設之閾值進行比較。於絕對值小於閾值時，連續性判定部24判定中心像素並非異常像素，而跳過後段之處理。於絕對值大於閾值時，連續性判定部24判定中心像素為異常像素，而實施後段之處理。因此，連續性判定部24係基於將異常像素處理效率化之目的而設。
第1閾值決定部25決定差量算出部13之處理所使用之第1閾值。第1閾值決定部25利用自統計量算出部23輸出之方差決定第1閾值。該方差係表示由統計量算出部23擷取之區塊所包含之像素值之偏差。因此，根據利用該方差決定第1閾值，第1閾值將根據該方差而動態變化。
差量算出部27算出對象像素值與周邊像素值之差量(平方誤差)，並取得差量超過第1閾值之次數。又，差量算出部27將差量超過第1閾值之次數作為偏離率輸出。
第2閾值決定部26決定偏離率判定部28之處理所使用之第2閾值。第2閾值決定部26係基於由統計量算出部23所擷取之區塊內之圖像是否包含邊緣，而決定第2閾值。第2閾值決定部26係將第2閾值輸出至偏離率判定部28。
偏離率判定部28藉由將自差量算出部13輸出之偏離率、與自第2閾值決定部26輸出之第2閾值進行比較，而判定異常處理對象像素之對象像素值是否異常。
像素值置換部29係於判定異常處理對象像素之對象像素值異常之情形時，將儲存於異常處理對象像素之對象像素值置換為利用推定 像素值獲取之修正像素值。而且，像素值置換部29將置換後之修正像素值輸出至輸出線路緩衝器31。
輸出線路緩衝器31係以拜耳圖案形式儲存經異常像素處理之修正像素值或後段線路緩衝器19中儲存之像素值。亦即，輸出線路緩衝器31具有與輸入線路緩衝器4及後段線路緩衝器19等效之資料儲存區域。對由異常判定部21判定為異常之像素，儲存由置換處理部22算出之修正像素值替代對象像素值。異常判定部21未判定為異常之像素則儲存有對象像素值。
儲存於輸出線路緩衝器31之修正像素值於經過全彩化之特定資料處理後，顯示於顯示部42。
其次，對本實施形態之圖像處理裝置1之動作進行說明。圖5及圖6係表示本實施形態之圖像處理裝置1之動作之流程圖。圖5及圖6所示之控制處理係於例如啟動行動終端T之拍攝功能之時點開始，並以特定週期反復執行。
如圖5所示，執行雜訊處理S10。雜訊處理S10中，藉由實施對輸入緩衝器之儲存處理S11，而自照相機41之受光元件依序讀取像素值，並將所讀取之像素值儲存至輸入線路緩衝器4。
濾波器設定部6之縮小圖像產生部8執行縮小圖像之產生處理S12。產生處理S12中，縮小圖像產生部8擷取輸入線路緩衝器4之4像素×4像素之區塊，作為1個縮小像素。又，縮小圖像產生部8係利用該區塊所包含之R成分之像素值、G成分之像素值、B成分之像素值各者進行平均化處理。藉由該平均化處理，將儲存於輸入線路緩衝器4之像素值縮小化及全彩化。又，產生處理S12中，將藉由平均化處理而獲得之R成分(Rref)、G成分(Gref)、B成分(Bref)作為縮小像素之像素值而輸出。
濾波器設定部6之縮小圖像線路緩衝器9執行對縮小圖像線路緩 衝器9之儲存處理S13。圖像處理裝置1係反復執行於執行產生處理S12後執行儲存處理S13之步驟。
濾波器設定部6之對象像素值產生部12執行對象像素值之產生處理S14。藉由產生處理S14，而獲得對象像素值(Rorg、Gorg、Borg)(第1對象像素值)。產生處理S14中，於輸入線路緩衝器4，選擇成為雜訊處理對象之雜訊處理對象像素。產生處理S14係將存在於雜訊處理對象像素周圍之複數個像素選擇為取樣用像素。產生處理S14係例如擷取以雜訊處理對象像素為中心之5像素×5像素之區塊。產生處理S14係利用構成該區塊之像素之像素值，進行圖像之縮小化及全彩化。產生處理S14係對取樣用像素之像素值進行平均處理，而獲得雜訊處理對象像素不具有之其他色成分之像素值。
參考像素選擇部11執行濾波器係數之設定處理(濾波器設定步驟)S15。如圖6所示，設定處理S15中，執行參考像素之選擇處理S15a。選擇處理S15a係自儲存於縮小圖像線路緩衝器9之縮小圖像之像素，選擇1個或複數個像素。選擇處理S15a並非依序選擇縮小圖像之所有像素。選擇處理S15a係對於與雜訊處理對象像素對應之中心像素，選擇根據縮小圖像線路緩衝器9之尺寸預設之位置的像素。選擇處理S15a係例如如圖7所示，將對於像素中心P1之周邊像素P2選擇作為參考像素。選擇處理S15a中，選擇1個像素時(1像素取樣)，則輸出所選擇之像素之像素值、及中心像素至所選擇之像素之距離。該距離只要為滿足距離定義者即可，例如可為曼哈頓距離，亦可為歐基里德距離。於選擇處理S15a中選擇複數個像素時(範圍內平均取樣)，則輸出將複數個像素各者之像素值平均化而得之值，作為參考像素值(Rref、Gref、Bref)。於選擇處理S15a中選擇複數個像素時(範圍內平均取樣)，則輸出將中心像素至複數個像素各者之距離平均化而得之距離。
空間濾波器係數決定部16a執行空間濾波器係數之決定處理S15b。決定處理S15b係利用參考像素之選擇處理S15a所取得之中心像素至參考像素之距離，決定空間濾波器係數(ωSP)。決定處理S15b中，當規定空間濾波器係數(ωSP)係以距離為變數之函數時，將距離輸入該函數，而算出空間濾波器係數(ωSP)。另，決定處理S15b係使用預設之值作為中心像素之空間濾波器係數(ωSP)。
差量算出部13執行像素值差量(diff)之算出處理S15c。算出處理S15c係如式(1)所示，使用對象像素值(Rorg、Gorg、Borg)與參考像素之參考像素值(Rref、Gref、Bref)。更詳細而言，算出處理S15c中，分別算出對象像素值(Rorg、Gorg、Borg)與參考像素值(Rref、Gref、Bref)，作為亮度成分(Y)之差量(diffluma)、與色差成分(UV)之差量(diffchroma)。算出處理S15c中，利用亮度成分(Y)之差量(diffluma)與色差成分(UV)之差量(diffchroma)，算出對象像素值(Rorg、Gorg、Borg)與參考像素之參考像素值(Rref、Gref、Bref)之像素值差量(diff)。
[數1]diff=f 1(diff luma ,diff chroma )diff luma =f 2[(R org -R ref ),(G org -G ref ),(B org -B ref )]diff chroma =f 3[(R org -R ref ),(G org -G ref ),(B org -B ref )]...(1)
diff：差量
diffluma：亮度成分之差量
diffchroma：色差成分之差量
Rorg：對象像素值之R成分
Gorg：對象像素值之G成分
Borg：對象像素值之B成分
Rref：參考像素值之R成分
Gref：參考像素值之G成分
Bref：參考像素值之B成分
f1、f2、f3：函數
閾值決定部14執行閾值決定處理S15d。決定處理S15d中，決定用於決定亮度濾波器係數(ωY)及色差濾波器係數(ωUV)之一個或複數個閾值(diffthre)。決定處理S15d係利用雜訊處理對象像素之像素值決定閾值(diffthre)。更詳細而言，決定處理S15d，係利用作為像素值之以YUV形式表現之雜訊處理對象像素之亮度成分(Y)，藉由將亮度成分(Y)代入式(2)算出閾值(diffthre)。亦即，閾值(diffthre)係隨亮度成分(Y)而動態變化。決定處理S15d中，可設定為亮度成分(Y)較大時(明亮時)，則容許之差量(diff)變大，亦可設定為亮度成分(Y)較小時(較暗時)，則容許之差量(diff)變小。決定處理S15d係如式(2)所示利用將亮度成分(Y)作為變數之函數而算出閾值(diffthre)。藉由適當選擇該函數之種類或係數，可將亮度成分(Y)與閾值(diffthre)之關係控制在所期望之關係，可控制去除雜訊之濾波器處理之程度。
[數2]diff thre(i,j)=f 4(Y org )(i=n j=Y,UV)...(2)
diffthre(i，j)：閾值
Yorg：雜訊處理對象像素之亮度成分
f4：函數
例如，決定處理S15d係決定閾值(diffthfe(i=n，j=Y)作為亮度成分(Y)之閾值。決定處理S15d係決定閾值(diffthre(i=n，j=UV)作為色差成分(UV)之閾值。n係1以上之整數。n係將亮度成分(Y)之差量(diff)根據其大小而區分之數值。另，決定處理S15d中，使用預設之值作為中心像素之亮度濾波器係數(ωY)及色差濾波器係數(ωUV)。
已例舉決定處理S15d中之於閾值(diffthre)算出中僅使用亮度成分(Y)之情形進行說明，但決定處理S15d中，於閾值(diffthre)算出中亦可 使用色差成分(UV)。上述式(2)中，變數不僅包含亮度成分(Y)，亦可包含色差成分(UV)，亦可僅為色差成分(UV)。
亮度濾波器係數決定部16b及色差濾波器係數決定部16c執行亮度濾波器係數(ωY)及色差濾波器係數(ωUV)之決定處理S15e。決定處理S15e係將像素值差量之算出處理S15c中獲得之像素值差量(diff)、與閾值決定處理S15d中獲得之閾值(diffthre)進行比較，從而決定亮度濾波器係數(ωY)及色差濾波器係數(ωUV)。
決定步驟S15e中，例如於像素值之差量(diff)大於閾值(diffthre(i=0，j=Y)時，決定亮度濾波器係數(ωY)為第1值。另一方面，決定處理S15e中，於為閾值(diffthre(i=1，j=Y)以下時，決定亮度濾波器係數(ωY)為第2值。第1值大於第2值。決定處理S15e中，於像素值之差量(diff)大於閾值(diffthre(i=0，j=UV)時，決定色差濾波器係數(ωUV)為第3值。另一方面，決定處理S15e中，例如於像素值之差量(diff)為閾值(diffthre(i=1，j=UV)以下時，決定色差濾波器係數(ωUV)為第4值。第3值大於第4值。
濾波器係數決定部17a執行應用於亮度之濾波器係數之決定處理S15f。所謂應用於亮度之濾波器係數係指於後段之雜訊去除處理中，與參考像素值之亮度成分(Y)相乘之加權。應用於亮度之濾波器係數(ωSP×ωY)係對空間濾波器係數(ωSP)乘以亮度濾波器係數(ωY)而得者。
濾波器係數決定部17b執行應用於色差成分之濾波器係數之決定處理S15g。所謂應用於色差成分之濾波器係數，係指於後段之雜訊去除處理中，與參考像素值之色度成分(UV)相乘之加權。應用於色差成分之濾波器係數(ωSP×ωUV)係對空間濾波器係數(ωSP)乘以色差濾波器係數(ωUV)而得者。
如式(2)所示，閾值(diffthre)係根據構成第1對象像素值之亮度成分(Y)而動態變化。因此，像素值之差量(diff)與亮度濾波器係數(ωY)之 關係係根據構成第1對象像素值之亮度成分(Y)而動態變化。因此，像素值之差量(diff)與應用於亮度之濾波器係數之關係係根據構成第1對象像素值之亮度成分(Y)而動態變化。同樣的，像素值之差量(diff)與色差濾波器係數(ωUV)之關係係根據構成第1對象像素值之亮度成分(Y)而動態變化。因此，像素值之差量(diff)與應用於色差成分之濾波器係數之關係係根據構成第1對象像素值之亮度成分(Y)而動態變化。
修正像素值算出部18執行雜訊去除處理(雜訊去除步驟)S16。雜訊去除處理S16中，利用參考像素之於選擇處理S15a中獲得之像素值(YUV)、應用於亮度之濾波器係數(ωSP×ωY)、應用於色差之濾波器係數(ωSP×ωUV)，執行式(3)所示之加權平均處理。雜訊去除處理S16中，將參考像素值作為亮度成分(Y)與色差成分(UV)處理。於執行上述參考像素之選擇處理S15a後，雜訊去除處理S16係對設定為預先選擇之參考像素各者，執行雜訊去除處理。又，藉由雜訊去除處理S16，獲得執行雜訊處理後之修正像素值。
：亮度成分之加權平均值
：色差成分之加權平均值
：色差成分之加權平均值
Yref：參考像素之亮度成分
Uref：參考像素之色差成分
Vref：參考像素之色差成分
ωsp：空間濾波器係數
ωY：亮度濾波器係數
ωUV：色差濾波器係數
另，圖6係於應用於色差成分之濾波器係數之決定處理S15g之前執行應用於亮度之濾波器係數之決定處理S15f。然而亦可於與決定處理S15f之前實施決定處理S15g。亦可同時並行執行決定處理S15g與決定處理S15f。
後段線路緩衝器19執行儲存處理S17。該儲存處理S17，係利用雜訊去除處理S16中獲得之修正像素值(YUV)，將修正像素值儲存於後段線路緩衝器19之與雜訊處理對象像素之產生處理S14中被選擇為雜訊處理對象像素之像素對應之位置。儲存處理S17係將修正像素值(YUV)轉換為修正像素值(RGB)。儲存處理S17係於雜訊處理對象像素之像素值為R成分時，擷取修正像素值(RGB)之R成分，並將R成分儲存於後段線路緩衝器19。另一方面，儲存處理S17係於雜訊處理對象像素之像素值為G成分時，擷取修正像素值(RGB)之G成分，並將G成分儲存於後段線路緩衝器19。儲存處理S17係於雜訊處理對象像素之像素值為B成分時，擷取修正像素值(RGB)之B成分，並將B成分儲存後段線路緩衝器19。
圖像處理裝置1係對輸入線路緩衝器4中儲存之所有像素，執行自上述雜訊處理S10之對象像素值之產生處理S14至對後段線路緩衝器19之儲存處理S17為止之處理。
圖像處理裝置1係於對所有像素執行雜訊處理S10後，執行判定是否執行異常像素處理之步驟S18。步驟S18中，當判定執行異常像素處理S20時(S18：是)，則執行下一異常像素處理S20。另一方面，步驟S18中，判定不執行異常像素處理S20時(S18：否)，則跳至下一異常像素處理S20。
如圖5所示，於雜訊處理S10結束後，執行異常像素處理S20。首先，統計量算出部23執行統計量之算出處理S21。算出處理S21，係自 後段線路緩衝器19選擇異常處理對象像素，作為進行異常處理之對象像素。算出處理S21係擷取異常處理對象像素周圍之數像素之範圍，作為1個區塊。又，算出處理S21係自構成該區塊之複數個像素，擷取具有與異常處理對象像素為相同色成分之像素。接著，算出步驟S21係對於所擷取之像素所具有之像素值(例如G成分)，算出最大值、最小值、單純平均值、方差(σ2)等統計量。
連續性判定部24執行連續性之判定處理S22。判定處理S22中，算出自統計量算出部23輸出之像素值之平均值、與對象像素值(第2對象像素值)之差量。判定處理S22中，於該差量小於預設之閾值時，因判定為異常處理對象像素之對象像素值並非異常，故而跳過後段之處理(S23~S27)，執行對輸出線路緩衝器之儲存處理S28。另一方面，判定處理S22中，於差量大於預設之閾值時，因判定為異常處理對象像素之對象像素值異常之可能性高，故而執行第1閾值之決定處理S23。
第1閾值決定部25執行第1閾值之決定處理S23。決定處理S23，係利用統計量算出步驟S21中獲得之像素值之方差(σ2)，決定後段之差量算出處理S25所使用之第1閾值(square_diffthre)。決定處理S23中所使用之像素值係亮度成分(Y)之方差(σ2)及色差成分(UV)之方差(σ2)。決定處理S23係藉由將該等方差(σ2)應用於式(4)，而決定第1閾值。式(4)係設定為方差(σ2)越大則第1閾值(square_diffthre)越大。根據式(4)，藉由用於亮度成分(Y)之值與用於色差成分(UV)之值，而決定第1閾值(square_diffthre)。
[數4]square_diff thre(j)=f 5(σ2)(j=Y,UV)...(4)
第2閾值決定部26執行第2閾值之決定處理S24。決定處理S24中決定後段之剝離數判定處理S26所使用之第2閾值。決定處理S24，係以與後述之差量算出處理S25中算出之推定像素值之數值對應之方 式，決定第2閾值。決定處理S24係根據區塊內之圖像是否包含邊緣，而使第2閾值動態變化。更詳細而言，決定處理S24中，將由統計量算出部23擷取之區塊內之圖像包含邊緣時之第2閾值設定為大於區塊內之圖像不包含邊緣時之第2閾值之值。
另，決定處理S24亦可於統計量算出處理S21之後且連續性之判定處理S22之前執行。決定處理S24亦可與連續性之判定處理S22並行執行。
差量算出部13執行差量算出處理S25。差量算出處理S25，係利用連結存在於異常處理對象像素周圍之像素與異常處理對象像素之線段上所存在之像素，算出異常處理對象像素之位置之推定像素值。算出處理S25中，算出異常處理對象像素之對象像素值與推定像素值之差量。算出處理S25係將該差量與自第1閾值決定部25輸出之第1閾值進行比較。算出處理S25中，於朝向異常處理對象像素之特定方向，執行複數次推定像素值之算出、對象像素值與推定像素值之差量算出、差量及第1閾值之比較。差量及閾值之比較僅進行推定像素值之數。算出處理S25中，計數差量及超過第1閾值之次數作為偏離率，並將偏離率輸出至偏離率判定部28。
偏離率判定部28執行偏離率判定處理S26。偏離率判定處理S26係將差量算出處理S25中獲得之偏離率與第2閾值決定處理S24中獲得之第2閾值進行比較。判定處理S26中，於偏離率為第2閾值以上時，因判定為異常處理對象像素之對象像素值異常，故而實施後段之像素值之置換處理S27。另一方面，判定處理S26中，於偏離率低於第2閾值時，因判定為異常處理對象像素之對象像素值正常，故而跳過後段之像素值之置換處理S27，實施對輸出線路緩衝器31之儲存處理S28。
像素值置換部29執行像素值置換處理S27。置換處理S27將儲存於異常處理對象像素之對象像素值，置換為使用推定像素值獲得之修 正像素值。修正像素值係利用由差量算出部13算出之複數個推定像素值而算出。修正像素值，例如修正像素值亦可為複數個推定像素值之單純平均值，亦可為自複數個推定像素值除去最大值與最小值而得之值之單純平均值。
輸出線路緩衝器31執行儲存處理S28。及至儲存處理S28之狀態，可包含自連續性判定處理S26移行之第1狀態、自偏離率判定處理S26移行之第2狀態、及自像素值置換處理S27移行之第3狀態之3個狀態。及至儲存處理S28之狀態為第1狀態或第2狀態時，係判定為異常處理對象像素之對象像素值為正常之結果。因此，儲存處理S28中，將對象像素值直接儲存於輸出線路緩衝器31。另一方面，及至儲存處理28之狀態為第3狀態時，係判定為異常處理對象像素之對象像素值異常之結果。因此，儲存處理S28中，將修正像素值儲存於輸出線路緩衝器31。換言之，第3狀態時之儲存處理S28係藉由將儲存於後段線路緩衝器19之特定位置之像素值置換為修正像素值，而將修正像素值儲存於與後段線路緩衝器19之特定位置對應之輸出線路緩衝器31之位置。
圖像處理裝置1結束圖5及圖6所示之控制處理。因利用如圖5及圖6所示之控制處理，以拜耳圖案形式之狀態執行去除雜訊之處理與去除異常像素值之處理，故可較好地去除重疊於濾波對象圖像之雜訊。亦即，根據上述圖像處理方法，作為進行雜訊處理之信號係以拜耳信號為對象。因此，因不同像素間之相關較低，而可有效去除雜訊。因此，於雜訊處理S10中，因無須檢測邊緣，故可省略邊緣檢測處理，並可提高畫質。
接著，針對用於使行動終端(電腦)T作為上述圖像處理裝置1發揮作用之圖像處理程式進行說明。
圖像處理程式包含：主模組、輸入模組及運算處理模組。主模 組係統一控制圖像處理之部分。輸入模組係為取得訊框圖像而使行動終端T動作。運算處理模組具有雜訊處理部2及異常像素處理部3。藉由使主模組、輸入模組及運算處理模組執行而實現之功能分別與上述圖像處理裝置1之雜訊處理部2及異常像素處理部3之功能相同。
圖像處理程式係例如由ROM等記錄媒體或半導體記憶體提供。圖像處理程式亦可作為資料信號經由網路提供。
以上，根據本實施形態之圖像處理裝置1、圖像處理方法及圖像處理程式，對以拜耳圖案形式排列之像素值，執行用於去除雜訊之濾波處理。以拜耳圖案形式排列之像素值因不同像素間之空間相關較低，故異常像素值之影響不會及於周邊之像素值。因此，可發揮優異之雜訊去除效果。
更詳細而言，本實施形態之圖像處理裝置1、圖像處理方法及圖像處理程式與專利文獻1所記載之技術方法其不同之處在於：將拜耳信號分離為亮度成分(Y)與色差成分(UV)，基於差量對亮度成分(Y)與色差成分(UV)進行加權因數之算出。根據本實施形態之圖像處理裝置1、圖像處理方法及圖像處理程式，可藉由亮度成分(Y)與色差成分(UV)，將加權因數設為互不相同之值。於專利文獻1所記載之技術中，因周邊參考區域較窄，故低頻雜訊去除性能存在界限，但本實施形態之圖像處理裝置1、圖像處理方法及圖形處理程式，係藉由將縮小圖像用作參考像素，可一面抑制所需之線路緩衝器之個數，一面參考實質大範圍之像素，從而可實現更高精度之雜訊去除。
根據本實施形態之圖像處理裝置1、圖像處理方法及圖像處理程式，藉由將異常像素值置換為推定像素值，可排除濾波對象圖像之異常像素。因此，可發揮更優異之雜訊去除效果。
另，上述實施形態係顯示本發明之圖像處理裝置之一例者。本發明之圖像處理裝置並非限定於實施形態之圖像處理裝置1，而可於 不變更各請求項所記載之主旨之範圍內，對實施形態之圖像處理裝置進行變化，或亦可應用於他者。
例如，圖像處理裝置亦可為僅包含雜訊處理部2，不包含異常像素處理部3之構成。圖像處理裝置亦可為將異常像素處理部3配置於雜訊處理部2之前段之構成。亦即，因可對以拜耳圖案形式保持像素值之圖像執行異常像素處理20，故可先實施異常像素處理S20，其後實施雜訊處理S10。
例如，上述實施形態中，作為使像素值差量與第1及第2濾波器係數之關係對應於第1對象像素值而動態變化之一例，已說明使用與亮度(第1對象像素值)對應之閾值之情形。作為其他例，例如亦可使用與空間濾波器同樣，對應於像素值差量而單調減少(例如正規分佈函數)或單調增加之函數。具體而言，亦可對應於對象像素值使正規分佈之方差參數動態變化。
例如，亦可將輸入線路緩衝器4、縮小圖像線路緩衝器9、後段線路緩衝器19、輸出線路緩衝器31之尺寸設定為所期望之尺寸。
例如，於縮小圖像之產生處理S12及雜訊處理像素值之產生處理S14中，亦可選擇具有所期望之像素數之區塊。
例如，本實施例係將拜耳圖案設為加色系(RGB)濾波器，但並非限定於此，而亦可將其應用於減色系(CMYK)濾波器等不同之彩色濾波器。各感測器之形狀與排列並非限定於長方形之格子型，亦可設為六角形感測器之蜂窩型構造等。
1‧‧‧圖像處理裝置
2‧‧‧雜訊處理部
3‧‧‧異常圖像處理部
4‧‧‧輸入線路緩衝器(輸入緩衝器、輸入緩衝部)
6‧‧‧濾波器設定部
7‧‧‧雜訊去除部
21‧‧‧異常判定部
22‧‧‧置換處理部
41‧‧‧照相機
42‧‧‧顯示部
T‧‧‧行動終端

Claims (18)

  1. 一種圖像處理裝置，其係對輸入圖像進行去除雜訊之處理者，且包含：濾波器設定部，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；及輸入緩衝器，其係以拜耳圖案形式儲存構成上述輸入圖像之輸入像素值；且上述輸入圖像係以拜耳圖案形式保持像素值；上述濾波器設定部具有：縮小圖像產生部，其係使用上述輸入緩衝器中儲存之上述像素值，產生縮小圖像；縮小圖像緩衝器，其係儲存構成上述縮小圖像之縮小像素值；及參考像素選擇部，其係自上述縮小圖像緩衝器中儲存之上述縮小圖像選擇上述參考像素。
  2. 如請求項1之圖像處理裝置，其中上述濾波器設定部具有：對象像素值產生部，其係使用上述輸入緩衝器中儲存之上述輸入像素值，產生上述第1對象像素值； 差量算出部，其係使用由上述參考像素選擇部所選擇之上述參考像素之上述參考像素值、與由上述對象像素值產生部產生之上述第1對象像素值，算出像素值差量；及係數算出部，其係使用上述像素值差量，算出上述第1濾波器係數及上述第2濾波器係數；且上述像素值差量與上述第1濾波器係數之關係、及上述像素值差量與上述第2濾波器係數之關係對應於上述第1對象像素值而動態變化。
  3. 如請求項1或2之圖像處理裝置，其中上述參考像素選擇部係選擇上述縮小圖像緩衝器中儲存之縮小圖像中之一部分縮小像素作為上述參考像素。
  4. 一種圖像處理裝置，其係對輸入圖像進行去除雜訊之處理者，且包含：濾波器設定部，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；後段緩衝器，其係以拜耳圖案形式儲存上述修正像素值；及異常像素處理部，其係處理上述圖像之異常像素；且上述輸入圖像係以拜耳圖案形式保持像素值；上述異常像素處理部具有：異常判定部，其係藉由對上述後段緩衝器中儲存之複數個上 述修正像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值而推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理部，其係於由上述異常判定部判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  5. 一種圖像處理裝置，其係對輸入圖像進行去除雜訊之處理者，且包含：濾波器設定部，其係將上述輸入圖像之保存形式針對上述輸入圖像之每個像素自拜耳圖案形式變換至RGB形式，使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；及雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；且上述輸入圖像係以拜耳圖案形式保持像素值。
  6. 一種圖像處理裝置，其係對輸入圖像進行去除雜訊之處理者，且包含：後段緩衝器，其係以拜耳圖案形式儲存構成上述輸入圖像之像素值；及異常像素處理部，其係處理上述圖像之異常像素；上述異常像素處理部具有：異常判定部，其係藉由對上述後段緩衝器中儲存之複數個上 述像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理部，其係於由上述異常判定部判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  7. 一種圖像處理方法，其係使用電腦對輸入圖像進行去除雜訊之處理者，且包含如下步驟：濾波器設定步驟，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值、及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第2濾波器係數；雜訊去除步驟，其係以上述第1濾波器係數對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；及輸入緩衝步驟，其係以拜耳圖案形式儲存構成上述輸入圖像之輸入像素值；且上述輸入圖像係以拜耳圖案形式保持像素值；上述濾波器設定步驟具有：縮小圖像產生步驟，其係使用上述輸入緩衝步驟中儲存之上述像素值，產生縮小圖像；縮小圖像緩衝步驟，其係儲存構成上述縮小圖像之縮小像素值；及參考像素選擇步驟，其係自上述縮小圖像緩衝步驟中儲存之 上述縮小圖像選擇上述參考像素。
  8. 一種圖像處理方法，其係使用電腦對輸入圖像進行去除雜訊之處理者，且包含如下步驟：濾波器設定步驟，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；雜訊去除步驟，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；後段緩衝步驟，其係以拜耳圖案形式儲存上述修正像素值；及異常像素處理步驟，其係處理上述圖像之異常像素；且上述輸入圖像係以拜耳圖案形式保持像素值；上述異常像素處理步驟具有：異常判定步驟，其係藉由對上述後段緩衝步驟中儲存之複數個上述修正像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值而推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理步驟，其係於由上述異常判定步驟判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  9. 一種圖像處理方法，其係使用電腦對輸入圖像進行去除雜訊之 處理者，且包含如下步驟：濾波器設定步驟，其係將上述輸入圖像之保存形式針對上述輸入圖像之每個像素自拜耳圖案形式變換至RGB形式，使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；及雜訊去除步驟，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；且上述輸入圖像係以拜耳圖案形式保持像素值。
  10. 一種圖像處理方法，其係使用電腦對輸入圖像進行去除雜訊之處理者，且包含如下步驟：後段緩衝步驟，其係以拜耳圖案形式儲存構成上述輸入圖像之像素值；及異常像素處理步驟，其係處理上述圖像之異常像素；上述異常像素處理步驟具有：異常判定步驟，其係藉由對上述後段緩衝步驟中儲存之複數個上述像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理步驟，其係於由上述異常判定步驟判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  11. 一種圖像處理程式，其係以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能者，且使上述電腦作為如下各部發揮功能：濾波器設定部，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值、及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第2濾波器係數；雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，且以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；及輸入緩衝器，其係以拜耳圖案形式儲存構成上述輸入圖像之輸入像素值；且上述輸入圖像係以拜耳圖案形式保存像素值；上述濾波器設定部具有：縮小圖像產生部，其係使用上述輸入緩衝器中儲存之上述像素值，產生縮小圖像；縮小圖像緩衝器，其係儲存構成上述縮小圖像之縮小像素值；及參考像素選擇部，其係自上述縮小圖像緩衝器中儲存之上述縮小圖像選擇上述參考像素。
  12. 一種圖像處理程式，其係以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能者，且使上述電腦作為如下各部發揮功能：濾波器設定部，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之 複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；後段緩衝器，其係以拜耳圖案形式儲存上述修正像素值；及異常像素處理部，其係處理上述圖像之異常像素；且上述輸入圖像係以拜耳圖案形式保持像素值；上述異常像素處理部具有：異常判定部，其係藉由對上述後段緩衝器中儲存之複數個上述修正像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值而推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理部，其係於由上述異常判定部判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  13. 一種圖像處理程式，其係以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能者，且使上述電腦作為如下各部發揮功能：濾波器設定部，其係將上述輸入圖像之保存形式針對上述輸入圖像之每個像素自拜耳圖案形式變換至RGB形式，使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；及 雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；且上述輸入圖像係以拜耳圖案形式保持像素值。
  14. 一種圖像處理程式，其係以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能者，且使上述電腦作為如下各部發揮功能：後段緩衝器，其係以拜耳圖案形式儲存構成上述輸入圖像之像素值；及異常像素處理部，其係處理上述圖像之異常像素；上述異常像素處理部具有：異常判定部，其係藉由對上述後段緩衝器中儲存之複數個上述像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理部，其係於由上述異常判定部判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  15. 一種記錄媒體，其可由電腦讀取，並記錄有以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能之圖像處理程式，且使上述電腦作為如下各部發揮功能：濾波器設定部，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值、及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，設定第1濾波器係數及第 2濾波器係數；雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，且以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；及輸入緩衝器，其係以拜耳圖案形式儲存構成上述輸入圖像之輸入像素值；且上述輸入圖像係以拜耳圖案形式保持像素值。上述濾波器設定部具有：縮小圖像產生部，其係使用上述輸入緩衝器中儲存之上述像素值，產生縮小圖像；縮小圖像緩衝器，其係儲存構成上述縮小圖像之縮小像素值；及參考像素選擇部，其係自上述縮小圖像緩衝器中儲存之上述縮小圖像選擇上述參考像素。
  16. 一種記錄媒體，其可由電腦讀取，並記錄有以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能之圖像處理程式，且使上述電腦作為如下各部發揮功能：濾波器設定部，其係使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊； 後段緩衝器，其係以拜耳圖案形式儲存上述修正像素值；及異常像素處理部，其係處理上述圖像之異常像素；且上述輸入圖像係以拜耳圖案形式保持像素值；上述異常像素處理部具有：異常判定部，其係藉由對上述後段緩衝器中儲存之複數個上述修正像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值而推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理部，其係於由上述異常判定部判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
  17. 一種記錄媒體，其可由電腦讀取，並記錄有以使用電腦對輸入圖像進行去除雜訊之處理之方式使上述電腦發揮功能之圖像處理程式，且使上述電腦作為如下各部發揮功能：濾波器設定部，其係將上述輸入圖像之保存形式針對上述輸入圖像之每個像素自拜耳圖案形式變換至RGB形式，使用成為上述處理對象之雜訊處理對象像素所具有之第1對象像素值，及上述雜訊處理對象像素周邊之複數個參考像素所具有之參考像素值，而設定第1濾波器係數及第2濾波器係數；及雜訊去除部，其係以上述第1濾波器係數，對上述參考像素值之亮度成分進行加權和計算，並以上述第2濾波器係數，對上述參考像素值之色差成分進行加權和計算，而算出修正像素值，且使用上述修正像素值，去除上述雜訊處理對象像素之雜訊；且上述輸入圖像係以拜耳圖案形式保持像素值。
  18. 一種記錄媒體，其可由電腦讀取，並記錄有以使用電腦對輸入 圖像進行去除雜訊之處理之方式使上述電腦發揮功能之圖像處理程式，且使上述電腦作為如下各部發揮功能：後段緩衝器，其係以拜耳圖案形式儲存構成上述輸入圖像之像素值；及異常像素處理部，其係處理上述圖像之異常像素；上述異常像素處理部具有：異常判定部，其係藉由對上述後段緩衝器中儲存之複數個上述像素值中，異常處理對象像素所具有之第2對象像素值、與自上述異常處理對象像素周邊之周邊像素所具有之周邊像素值推定之上述異常處理對象像素之推定像素值進行比較，而判定上述第2對象像素值是否異常；及置換處理部，其係於由上述異常判定部判定為上述第2對象像素值異常之情形時，將上述第2對象像素值置換為上述推定像素值。
TW104112524A 2014-04-17 2015-04-17 An image processing apparatus, an image processing method, an image processing program, and a recording medium TWI573464B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014085642 2014-04-17

Publications (2)

Publication Number Publication Date
TW201545558A TW201545558A (zh) 2015-12-01
TWI573464B true TWI573464B (zh) 2017-03-01

Family

ID=54322430

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104112524A TWI573464B (zh) 2014-04-17 2015-04-17 An image processing apparatus, an image processing method, an image processing program, and a recording medium

Country Status (5)

Country Link
US (1) US10043244B2 (zh)
JP (2) JP6342360B2 (zh)
KR (1) KR101661850B1 (zh)
CN (1) CN105049679B (zh)
TW (1) TWI573464B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9716889B2 (en) * 2014-12-09 2017-07-25 Sony Corporation Intra and inter-color prediction for Bayer image coding
CN106920216B (zh) * 2015-12-25 2020-04-21 展讯通信（上海）有限公司 一种消除图像噪声的方法及装置
JP6630432B2 (ja) * 2016-03-31 2020-01-15 富士フイルム株式会社 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
RU2646358C2 (ru) * 2016-04-07 2018-03-02 Николай Дмитриевич Егоров Способ устранения избыточности при сжатии последовательности изображений
KR102587865B1 (ko) * 2016-11-30 2023-10-10 엘지디스플레이 주식회사 표시장치 및 그의 영상 처리방법
JP6998156B2 (ja) * 2017-09-04 2022-01-18 株式会社ミツトヨ 画像処理装置、及びプログラム
CN109660807A (zh) * 2017-10-10 2019-04-19 优酷网络技术（北京）有限公司 一种视频图像转码方法及装置
JP7317655B2 (ja) * 2019-09-26 2023-07-31 富士フイルムヘルスケア株式会社 医用画像処理装置および医用画像処理方法
CN114202496A (zh) * 2020-09-02 2022-03-18 苏州科瓴精密机械科技有限公司 图像阴影检测方法、系统、图像分割设备及可读存储介质
US11816858B2 (en) * 2021-02-10 2023-11-14 Apple Inc. Noise reduction circuit for dual-mode image fusion architecture
CN113284133B (zh) * 2021-06-16 2022-04-12 北京瑞莱智慧科技有限公司 一种光伏电池片间距的确定方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079956A (zh) * 2006-05-22 2007-11-28 富士通株式会社 图像处理装置及图像处理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US6525723B1 (en) * 1998-02-17 2003-02-25 Sun Microsystems, Inc. Graphics system which renders samples into a sample buffer and generates pixels in response to stored samples at different rates
JP4057216B2 (ja) 2000-03-07 2008-03-05 富士フイルム株式会社 固体撮像装置および画素欠陥検出方法
GB0212367D0 (en) * 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
JP2004135313A (ja) * 2002-09-18 2004-04-30 Canon Inc 画像処理装置およびその方法
US7508550B2 (en) * 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
JP4460368B2 (ja) * 2004-06-17 2010-05-12 富士フイルム株式会社 画像補正装置および方法，ならびに画像補正プログラム
JP3926813B2 (ja) 2004-08-23 2007-06-06 富士フイルム株式会社 ノイズ低減装置および方法ならびにノイズ低減プログラム
US8477173B2 (en) * 2004-10-15 2013-07-02 Lifesize Communications, Inc. High definition videoconferencing system
KR100652408B1 (ko) * 2005-04-27 2006-12-01 삼성전자주식회사 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP4660342B2 (ja) 2005-10-12 2011-03-30 オリンパス株式会社 画像処理システム、画像処理プログラム
JP5055588B2 (ja) * 2007-02-07 2012-10-24 株式会社ニコン 画像処理装置および画像処理方法
JP2008301142A (ja) * 2007-05-31 2008-12-11 Fujitsu Microelectronics Ltd 固体撮像素子および画素補正方法
JP5165300B2 (ja) * 2007-07-23 2013-03-21 オリンパス株式会社 映像処理装置および映像処理プログラム
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
JP5157678B2 (ja) 2008-06-25 2013-03-06 Ｎｋワークス株式会社 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
US8165394B2 (en) * 2008-09-18 2012-04-24 Microsoft Corporation Reconstruction of image in a Bayer pattern
US8098959B2 (en) * 2008-10-29 2012-01-17 Aptina Imaging Corporation Method and system for frame rotation within a JPEG compressed pipeline
JP2010154024A (ja) 2008-12-24 2010-07-08 Olympus Corp 画像処理装置、および画像処理方法
JP4727720B2 (ja) 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置
JP5197414B2 (ja) 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP5523802B2 (ja) * 2009-11-25 2014-06-18 株式会社東芝 画像処理装置
JP5393245B2 (ja) * 2009-05-12 2014-01-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、ｘ線画像撮影装置およびｘ線画像撮影装置の制御方法
KR20110029001A (ko) * 2009-09-14 2011-03-22 삼성전자주식회사 베이어 영상에서의 이미지 처리 방법 및 장치
JP5455611B2 (ja) 2009-12-24 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5316811B2 (ja) * 2010-01-18 2013-10-16 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP5370345B2 (ja) 2010-11-25 2013-12-18 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US20120008017A1 (en) * 2010-07-07 2012-01-12 Jeong Yeon-U Image sensor and pixel correction method
JP2013218393A (ja) 2012-04-05 2013-10-24 Intellectual Ventures Fund 83 Llc 撮像装置
JP6016423B2 (ja) 2012-04-10 2016-10-26 キヤノン株式会社 信号処理装置、撮像装置及び信号処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079956A (zh) * 2006-05-22 2007-11-28 富士通株式会社 图像处理装置及图像处理方法

Also Published As

Publication number Publication date
JP2017091582A (ja) 2017-05-25
US20150302558A1 (en) 2015-10-22
TW201545558A (zh) 2015-12-01
JP6342360B2 (ja) 2018-06-13
US10043244B2 (en) 2018-08-07
KR101661850B1 (ko) 2016-09-30
CN105049679A (zh) 2015-11-11
CN105049679B (zh) 2019-02-22
KR20150120316A (ko) 2015-10-27
JP2015212938A (ja) 2015-11-26

Similar Documents

Publication Publication Date Title
TWI573464B (zh) An image processing apparatus, an image processing method, an image processing program, and a recording medium
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
KR101460688B1 (ko) 화상처리장치 및 그 제어 방법
JP4861667B2 (ja) 画像処理装置及び画像処理方法
US8233710B2 (en) Image processing device and image processing method
KR101389562B1 (ko) 이미지 처리 장치 및 방법
JPWO2005101854A1 (ja) 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
KR20110029001A (ko) 베이어 영상에서의 이미지 처리 방법 및 장치
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
US9569816B2 (en) Debanding image data using bit depth expansion
US9495731B2 (en) Debanding image data based on spatial activity
KR101699318B1 (ko) 화상처리장치 및 그 제어방법
US10699385B2 (en) Image processing apparatus, image processing method, and storage medium
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
KR20140006751A (ko) 이미지 처리 장치 및 방법
JP2006237748A (ja) ホワイトバランス補正装置及び方法、及び撮像装置
US9635330B2 (en) Image processing device, image processing method, and program
JP4889391B2 (ja) 画像処理装置および画像処理方法
JP2014086957A (ja) 画像処理装置及び画像処理方法
JP2005064853A (ja) 撮像装置、プログラム、および色バランス補正方法