TWI609351B - Image processing apparatus, camera apparatus, image processing method, and program for executing the method on a computer - Google Patents

Image processing apparatus, camera apparatus, image processing method, and program for executing the method on a computer Download PDF

Info

Publication number
TWI609351B
TWI609351B TW103115422A TW103115422A TWI609351B TW I609351 B TWI609351 B TW I609351B TW 103115422 A TW103115422 A TW 103115422A TW 103115422 A TW103115422 A TW 103115422A TW I609351 B TWI609351 B TW I609351B
Authority
TW
Taiwan
Prior art keywords
unit
frequency component
frequency components
component
frequency
Prior art date
Application number
TW103115422A
Other languages
English (en)
Other versions
TW201506847A (zh
Inventor
Naoya Satoh
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of TW201506847A publication Critical patent/TW201506847A/zh
Application granted granted Critical
Publication of TWI609351B publication Critical patent/TWI609351B/zh

Links

Classifications

    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

圖像處理裝置、攝像裝置、圖像處理方法及於電腦上執行該方法之程式
本技術係關於一種圖像處理裝置、攝像裝置、圖像處理方法及於電腦上執行該方法之程式。詳言之係關於一種修正灰階之圖像處理裝置、攝像裝置、圖像處理方法及於電腦上執行該方法之程式。
自先前以來，為了於逆光之狀態中以較高之畫質進行攝像等，而存在藉由攝像裝置攝像與通常相比動態範圍更寬之圖像之情形。此種圖像之動態範圍較顯示裝置對應之動態範圍更寬之情形較多。因此，於使動態範圍狹窄之顯示裝置顯示圖像時，對該圖像進行用以縮小動態範圍之灰階修正。
於進行灰階修正之情形時，較理想為以不損害修正前之圖像之對比度感之方式處理。例如，提案有如下圖像處理裝置：於圖像中分離空間頻率相對較高之高頻率成分與相對較低之低頻率成分，且一方面放大高頻率成分一方面壓縮低頻率成分，並合成該等成分(例如，參照專利文獻1)。藉由放大高頻率成分，圖像處理裝置可不損害修正前之圖像之對比度感地進行灰階修正。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2000-278529號公報
然而，於上述先前技術中，有畫質降低之虞。例如，若於高頻率成分之放大中增益過高，則有合成該高頻率成分之圖像之亮度超過顯示裝置之最大亮度之虞、或未達顯示裝置之最小亮度之虞。圖像之亮度超過顯示裝置之最大亮度係稱為過衝，未達最小亮度係稱為下衝。於過衝之情形時，較亮之部分中產生灰階丟失之現象(所謂之過曝)。又，於下衝之情形時，較暗之部分中產生灰階丟失之現象(所謂之欠曝)。該結果，導致圖像之畫質降低。另一方面，若降低相對於高頻率成分之增益，則雖不易產生過衝等，但會丟失修正前之圖像之對比度感而損害修正後之圖像之畫質。因此，難以於灰階修正中抑制畫質之降低。
本技術係鑑於此種狀況而產生者，目的在於在灰階修正中抑制圖像之畫質之降低。
本技術係為解除上述問題點而完成者，其第1態樣係一種圖像處理裝置、圖像處理方法、及用以於電腦上執行該方法之程式，其中上述圖像處理裝置包含：成分分離部，其於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者；壓縮部，其壓縮上述3個頻率成分中空間頻率最低之低頻率成分；限制部，其將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內並供給經限制上述一者之強度之2個頻率成分；放大部，其放大上述所供給之2個頻率成分；及合成部，其合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分。藉此，帶來放大已將一者之強度限制於限制範圍內之2個頻率成分，且合成經壓縮之低頻率成分與經放大之2個頻率成分之作用。
又，於該第1態樣中，上述限制部亦可將上述2個頻率成分中空 間頻率較低之頻率成分之強度限制於上述限制範圍內。藉此，帶來將2個頻率成分中空間頻率較低之頻率成分之強度限制於限制範圍內之作用。
又，於該第1態樣中，上述成分分離部亦可分離上述3個頻率成分之各者，且將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者進而分離成複數個頻率成分，上述限制部亦可藉由不同之限制範圍而限制上述經分離之複數個頻率成分之各者。藉此，帶來藉由不同之限制範圍限制複數個頻率成分之各者之作用。
又，於該第1態樣中，亦可進而包含相加部，該相加部將上述一者之頻率成分之限制前之強度與限制後之強度之間之差分與上述低頻率成分相加，且上述壓縮部亦可壓縮已加上上述差分之上述低頻率成分。藉此，帶來將一者之頻率成分之限制前之強度與限制後之強度之間之差分與低頻率成分相加之作用。
又，於該第1態樣中，上述限制部亦可進而包含：設定部，其將上述低頻率成分之強度越高則越廣之範圍設定為上述限制範圍；及頻率成分限制部，其將上述2個頻率成分之一者限制於上述所設定之限制範圍內。藉此，帶來將低頻率成分之強度越高則越廣之範圍設定為限制範圍之作用。
又，於該第1態樣中，上述壓縮部亦可基於上述低頻率成分之強度與特定值之間之差分越大則越高之壓縮率，壓縮上述低頻率成分。藉此，帶來基於低頻率成分之強度與特定值之間之差分越大則越高之壓縮率，壓縮低頻率成分之作用。
又，本技術之第2態樣係一種攝像裝置，其包含：攝像元件，其產生包含互不相同之3個頻率成分之圖像；成分分離部，其於上述圖像中分離上述3個頻率成分之各者；壓縮部，其壓縮上述3個頻率成分中空間頻率最低之低頻率成分；限制部，其將上述3個頻率成分中上 述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分；放大部，其放大上述所供給之2個頻率成分；及合成部，其合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分。藉此，帶來放大已將一者之強度限制於限制範圍內之2個頻率成分，且合成經壓縮之低頻率成分與經放大之2個頻率成分之作用。
根據本技術，可發揮可於灰階修正中抑制圖像之畫質降低之優異之效果。
100‧‧‧攝像裝置
110‧‧‧攝像透鏡
120‧‧‧攝像元件
129‧‧‧信號線
130‧‧‧相機控制部
140‧‧‧記錄部
200‧‧‧圖像處理部
209‧‧‧信號線
210‧‧‧雜訊去除部
220‧‧‧色平衡取得部
230‧‧‧解馬賽克處理部
300‧‧‧灰階修正處理部
310‧‧‧亮度產生部
311‧‧‧資料轉換部
312‧‧‧加法器
313‧‧‧壓縮部
320‧‧‧成分分離部
330‧‧‧高頻率成分分離部
331‧‧‧資料緩衝器
332‧‧‧注目區域讀取部
333‧‧‧垂直方向差分平均值算出部
334‧‧‧水平方向差分平均值算出部
335‧‧‧左傾斜方向差分平均值算出部
336‧‧‧右傾斜方向差分平均值算出部
337‧‧‧臨限值算出部
338‧‧‧方向選擇部
339‧‧‧平均值算出部
340‧‧‧減法器
345‧‧‧中頻率成分分離部
350‧‧‧限制部
351‧‧‧成分選擇部
352‧‧‧符號判定部
353‧‧‧絕對值取得部
354‧‧‧正負化部
355‧‧‧頻率成分限制部
356‧‧‧限制值算出部
357‧‧‧減法器
360‧‧‧放大部
370‧‧‧高頻率成分放大部
371‧‧‧抑制增益產生部
372‧‧‧乘法器
373‧‧‧乘法器
375‧‧‧中頻率成分放大部
380‧‧‧合成部
381‧‧‧高頻率成分合成部
382‧‧‧中頻率成分合成部
400‧‧‧顯示裝置
500‧‧‧資訊處理裝置
510‧‧‧輸入緩衝器
520‧‧‧輸出緩衝器
AVG_H(m，n)‧‧‧差分絕對值之平均值
AVG_L(m，n)‧‧‧差分絕對值之平均值
AVG_R(m，n)‧‧‧差分絕對值之平均值
AVG_V(m，n)‧‧‧差分絕對值之平均值
dg‧‧‧強度差分
Ga‧‧‧抑制增益
Gs‧‧‧基準增益
HF_A‧‧‧高頻率成分
HF_B‧‧‧高頻率成分
inRAW‧‧‧輸入RAW圖像資料
inY‧‧‧輸入亮度圖像資料
inY’‧‧‧輸入亮度圖像資料整體之亮度值
La‧‧‧限制值
LF‧‧‧低頻率成分
LF’‧‧‧低頻率成分
LF_B‧‧‧低頻率成分
LF’_B‧‧‧低頻率成分
LF’_C‧‧‧低頻率成分
MF_A‧‧‧中頻率成分
MF_B‧‧‧中頻率成分
MF_L‧‧‧中頻率成分
MLF‧‧‧中低頻率成分
MLF’‧‧‧中頻率成分
outRAW‧‧‧輸出RAW圖像資料
outY‧‧‧輸出亮度圖像資料
S901~S908‧‧‧步驟
S910‧‧‧步驟
S920‧‧‧步驟
S930‧‧‧步驟
Th_d‧‧‧方向臨限值
Th_H‧‧‧亮度之上限值
Th_L‧‧‧亮度之下限值
YM‧‧‧動態範圍之中間值
圖1係顯示第1實施形態之圖像處理系統之一構成例之方塊圖。
圖2係顯示第1實施形態之圖像處理部之一構成例之方塊圖。
圖3係顯示第1實施形態之灰階修正處理部之一構成例之方塊圖。
圖4a、b係顯示第1實施形態之平均濾波器之一例之圖。
圖5係顯示第1實施形態之成分分離部之一構成例之方塊圖。
圖6係顯示第1實施形態之高頻率成分分離部之一構成例之方塊圖。
圖7係顯示第1實施形態之高頻率成分放大部之一構成例之方塊圖。
圖8係顯示根據第1實施形態之亮度值設定之抑制增益之一例之圖表。
圖9係顯示第1實施形態之限制部之一構成例之方塊圖。
圖10係顯示第1實施形態之壓縮時所使用之色調曲線之一例之圖表。
圖11a~c係顯示第1實施形態之輸入亮度圖像資料之亮度分佈、 高頻率成分之強度分佈及中低頻率成分之強度分佈之一例之圖。
圖12a~c係顯示第1實施形態之中低頻率成分、中頻率成分及低頻率成分之強度分佈之一例之圖。
圖13a、b係顯示第1實施形態之中頻率成分及低頻率成分之強度分佈之一例之圖。
圖14a、b係顯示第1實施形態之灰階壓縮後之低頻率成分之強度分佈及輸出亮度圖像資料之亮度分佈之一例之圖。
圖15係顯示第1實施形態之圖像處理部執行之圖像處理之一例之流程圖。
圖16a、b係顯示第1實施形態之灰階壓縮後之圖像之一例之圖。
圖17係顯示變化例之限制部之一構成例之方塊圖。
圖18係顯示第2實施形態之圖像處理系統之一構成例之方塊圖。
圖19係顯示第2實施形態之資訊處理裝置之動作之一例之流程圖。
以下，對用以實施本技術之形態(以下稱為實施形態)進行說明。說明係根據以下順序進行。
1.第1實施形態(攝像裝置限制中頻率成分之例)
2.第2實施形態(資訊處理裝置限制中頻率成分之例)
<1.第1實施形態>
[圖像處理系統之構成例]
圖1係顯示本技術之實施形態之圖像處理系統之一構成例之方塊圖。該圖像處理系統具備攝像裝置100及顯示裝置400。攝像裝置100係對圖像進行攝像之裝置，具備攝像透鏡110、攝像元件120、相機控制部130、圖像處理部200及記錄部140。
攝像透鏡110係將攝像對象之像成像於攝像元件120之透鏡。該攝 像透鏡110包含聚焦透鏡或變焦透鏡等透鏡。
攝像元件120係自來自攝像透鏡110之光產生圖像資料者。具體而言，攝像元件120係對來自攝像透鏡110之光進行光電轉換而產生類比之電性信號，並對該電性信號進行A/D(Analog to Digital：類比數位)轉換，而作為圖像資料經由信號線129供給至圖像處理部200。該攝像元件120係可藉由CCD(Charge Coupled Device：電荷耦合裝置)、或CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)感測器等實現。
此處，攝像元件120所產生之圖像資料包含排列成2維格子狀之複數個像素。該圖像資料內之各個像素僅具有單色之色資訊。此種圖像資料一般稱為RAW圖像資料。又，於色資訊中使用例如Cy(Cyan：青)、Mg(Magenta：品紅)、Ye(Yellow：黃)及G(Green：綠)之互補色系之顏色。另，亦可為使用R(Red：紅)、G(Green：綠)及B(Blue：藍)之原色系之顏色之構成。
又，攝像元件120係採用可產生較顯示裝置400可進行顯示之最大亮度與最小亮度之比(換言之，動態範圍)更廣之動態範圍之圖像資料者。此種較廣之動態範圍係攝像元件120藉由進行像素相加處理等實現。像素相加處理係藉由將於水平方向或垂直方向鄰接之複數個像素之輸出信號相加，而提高感度之處理。
於使顯示裝置400適當顯示動態範圍較顯示裝置400更廣之圖像資料時，有必要對圖像資料進行進行縮小動態範圍之灰階修正、即灰階壓縮。例如，於圖像之動態範圍為10000：1，顯示裝置400之動態範圍為1000：1之情形時，圖像之動態範圍壓縮至1000：1。
另，雖採用攝像元件120進行A/D轉換之構成，但亦可採用進而具備A/D轉換部，而A/D轉換部代替攝像元件120進行A/D轉換之構成。
相機控制部130係控制攝像裝置100整體者。該相機控制部130當藉由按下快門按鍵等指示圖像之攝像時，控制攝像元件120產生圖像資料。又，相機控制部130控制圖像處理部200，執行灰階修正處理等圖像處理。
於執行灰階修正處理時，相機控制部130取得顯示裝置400及攝像元件120各自之動態範圍，且基於該等動態範圍控制圖像處理部200。顯示裝置400之動態範圍採用例如預先記錄於攝像裝置100內之記憶體(未圖示)等者。另，顯示裝置400亦可採用將顯示自身之動態範圍之控制資訊輸出至攝像裝置100之構成。又，亦可採用以收斂於顯示裝置400之動態範圍內之方式，藉由使用者操作按鈕等設定灰階壓縮之程度，並根據該設定相機控制部130控制圖像處理部200之構成。
圖像處理部200係對圖像資料執行特定之圖像處理者。作為圖像處理，執行灰階修正處理或解馬賽克處理等。圖像處理部200將已進行圖像處理之圖像資料經由信號線209輸出至記錄部140。記錄部140係記錄已藉由圖像處理部200進行圖像處理之圖像資料者。
顯示裝置400係自記錄部140讀取圖像資料並予以顯示者。例如，使用液晶監視器或CRT(Cathode Ray Tube：陰極射線管)等作為顯示裝置400。
[圖像處理部之構成例]
圖2係顯示第1實施形態之圖像處理部200之一構成例之方塊圖。該圖像處理部200具備雜訊去除部210、色平衡取得部220、灰階修正處理部300及解馬賽克處理部230。
雜訊去除部210係自圖像資料去除雜訊者。該雜訊去除部210係使用無限脈衝回應(IIR：Infinite Impulse response)濾波器等數位濾波器去除雜訊。雜訊去除部210將已去除雜訊之圖像資料供給至灰階修 正處理部300。
色平衡取得部220係於圖像資料中取得每個顏色之亮度之積分值(換言之即色平衡)者。色平衡取得部220係將該等積分值通知給相機控制部130。相機控制部130基於該等積分值，控制攝像元件120等。例如，相機控制部130係基於色平衡，進行提高不足之顏色之感度之控制。
灰階修正處理部300係對圖像資料執行灰階修正處理者。灰階修正處理部300自相機控制部130接收與灰階修正相關之各種設定值，並基於該設定值修正灰階。關於該等設定值之詳情係後述。灰階修正處理部300係將灰階修正後之圖像資料供給至解馬賽克處理部230。
解馬賽克處理部230係對RAW圖像資料進行解馬賽克處理者。具體而言，解馬賽克處理部230係對每個像素，自其周邊之像素收集不足之顏色資訊並進行插補，而產生全彩之圖像資料。解馬賽克處理部230係將解馬賽克處理後之圖像資料輸出至記錄部140。
[灰階修正處理部之構成例]
圖3係顯示第1實施形態之灰階修正處理部300之一構成例之方塊圖。該灰階修正處理部300具備亮度產生部310、資料轉換部311、加法器312、壓縮部313、成分分離部320、限制部350、放大部360及合成部380。
亮度產生部310係根據RAW圖像資料針對每個像素產生亮度者。亮度產生部310接收來自雜訊去除部210之圖像資料作為輸入RAW圖像資料inRAW。亮度產生部310係根據輸入RAW圖像資料inRAW，使用例如下式對各個像素產生亮度值。
Y(m,n)=X(m-1,n)×1/4+X(m,n)×1/2+X(m+1,n)×1/4．．．式1
於上式中Y(m，n)為座標(m，n)之像素之亮度值。m為水平方向 之像素之座標，n為垂直方向之像素之座標。X(m，n)為輸入RAW圖像資料inRAW之座標(m，n)之像素之像素值。
於輸入RAW圖像資料inRAW之像素數為N個之情形時，基於式1產生N個亮度值。亮度產生部310係將包含該等亮度值之圖像作為輸入亮度圖像資料inY供給至成分分離部320、放大部360、及資料轉換部311。
成分分離部320係於輸入亮度圖像資料inY中分離空間頻率不同之3個頻率成分之各者者。以下將該等頻率成分中空間頻率最高之頻率成分稱為「高頻率成分」。又，以下將空間頻率第2高之頻率成分稱為「中頻率成分」，將空間頻率最低之頻率成分稱為「低頻率成分」。
成分分離部320係將分離出之高頻率成分HF_B及中頻率成分MF_B供給至限制部350。又，成分分離部320係將分離出之低頻率成分LF供給至限制部350及加法器312。
限制部350係將中頻率成分MF_B限制於限制範圍內者。該限制部350首先設定低頻率成分LF_B之強度越高則越廣之限制範圍。接著，限制部350將中頻率成分MF_B之強度限制於該限制範圍內。限制部350將已限制之中頻率成分MF_L、與未限制之高頻率成分HF_B供給至放大部360。又，限制部350將中頻率成分MF_B之限制前之強度與限制後之強度之間之差分dg供給至加法器312。
放大部360係放大中頻率成分MF_L及高頻率成分HF_B者。該放大部360具備高頻率成分放大部370及中頻率成分放大部375。
高頻率成分放大部370係放大高頻率成分HF_B者。該高頻率成分放大部370係基於輸入亮度圖像資料inY之亮度值設定放大率，且根據該放大率放大高頻率成分HF_B。高頻率成分放大部370將放大後之高頻率成分HF_A供給至合成部380。
中頻率成分放大部375係放大限制後之中頻率成分MF_L者。中頻 率成分放大部375根據特定之放大率放大中頻率成分MF_L。該放大率係例如藉由相機控制部130設定。中頻率成分放大部375將放大後之中頻率成分MF_A供給至合成部380。
加法器312係將複數個輸入值相加者。該加法器312輸入低頻率成分LF_B與差分dg。加法器312係將差分dg與低頻率成分LF_B相加，且將相加後之低頻率成分LF’_B供給至壓縮部313。另，加法器312係申請專利範圍所記載之加法部之一例。
由於藉由該加法器312於中頻率成分MF_B中將經限制之部分(dg)與低頻率成分LF_B相加，故於合成後之圖像中，不會遺漏經限制之部分。另，若即便遺漏經限制之部分亦不大影響畫質，則亦可採用不設置加法器312之構成。
壓縮部313係壓縮低頻率成分LF’_B者。該壓縮部313根據低頻率成分LF’_B之強度、與動態範圍之中間值YM之間之差分越大則越高之壓縮率壓縮低頻率成分LF’_B。藉此，壓縮後之低頻率成分之強度、與壓縮後之動態範圍內之最大亮度或最小亮度之間之差分與將壓縮率設為特定之情形相比變得較大。因此，抑制過衝或下衝之產生。壓縮部313將壓縮後之低頻率成分LF’_C供給至合成部380。另，壓縮部313雖係以對應於低頻率成分LF’_B之強度與中間值YM之差分之壓縮率壓縮，但亦可根據特定之壓縮率壓縮低頻率成分LF’。
合成部380係合成放大後之高頻率成分HF_A及中頻率成分MF_A、與壓縮後之低頻率成分LF’_C者。該合成部380具備高頻率成分合成部381及中頻率成分合成部382。
中頻率成分合成部382係合成中頻率成分MF_A及低頻率成分LF’_C者。該中頻率成分合成部382對每個像素加上該等成分之強度，作為中頻率成分MLF’供給至高頻率成分合成部381。
高頻率成分合成部381係合成高頻率成分HF_A及中頻率成分 MLF’者。該高頻率成分合成部381係對每個像素加上該等成分之強度，作為輸出亮度圖像資料outY供給至資料轉換部311。
資料轉換部311係將包含亮度值之亮度圖像資料轉換成RAW圖像資料者。該資料轉換部311根據輸入RAW圖像資料inRAW、輸入亮度圖像資料inY、及輸出亮度圖像資料outY，例如使用下式產生輸出RAW圖像資料outRAW。該運算係於圖像內之每個像素中執行。
outRAW=inRAW×outY/inY．．．式2
於上式中，省略表示像素之座標之記述。
資料轉換部311將所產生之輸出RAW圖像資料outRAW輸出至解馬賽克處理部230。
另，灰階修正處理部300雖係修正解馬賽克前之RAW圖像資料之灰階，但亦可為修正解馬賽克後之圖像資料之灰階之構成。
圖4係顯示第1實施形態之平均濾波器之一例之圖。該圖之a顯示藉由式1表示之平均濾波器。於該圖之a中，中央之像素為注目像素，各個像素內所記載之數值表示相對於該像素值之係數。
亮度產生部310亦可代替圖4a所例示之平均濾波器，而使用該圖之b例示之3×3像素之平均濾波器。於該圖之b中，中央之像素為注目像素，各個像素內所記載之數值表示相對於該像素值之係數。
[成分分離部之構成例]
圖5係顯示第1實施形態之成分分離部320之一構成例之方塊圖。該成分分離部320具備高頻率成分分離部330及中頻率成分分離部345。
高頻率成分分離部330係於輸入亮度圖像資料inY中，分離高頻率成分HF_B者。高頻率成分分離部330分離高頻率成分HF_B與中低頻率成分MLF。此處，中低頻率成分MLF係包含中頻率成分MF_B及低頻率成分LF_B之成分。高頻率成分分離部330係將分離出之高頻率 成分HF_B供給至限制部350，且將中低頻率成分MLF供給至中頻率成分分離部345。
中頻率成分分離部345係自中低頻率成分MLF分離中頻率成分MF_B及低頻率成分LF_B者。中頻率成分分離部345將分離出之中頻率成分MF_B及低頻率成分LF_B供給至限制部350。
[高頻率成分分離部之構成例]
圖6係顯示第1實施形態之高頻率成分分離部330之一構成例之方塊圖。該高頻率成分分離部330具備資料緩衝器331、注目區域讀取部332、垂直方向差分平均值算出部333、水平方向差分平均值算出部334、左傾斜方向差分平均值算出部335、右傾斜方向差分平均值算出部336及臨限值算出部337。又，高頻率成分分離部330具備方向選擇部338、平均值算出部339及減法器340。
資料緩衝器331係保持輸入亮度圖像資料inY者。注目區域讀取部332係依序注目輸入亮度圖像資料inY內之各個像素，且於每次注目像素時，自資料緩衝器331讀取包含該注目像素之特定範圍(以下稱為「注目區域」)內之像素之亮度值者。注目區域例如採用將注目像素作為中心之3×3像素之區域。於將注目像素之座標設為(m，n)之情形時，讀取Y(m-1，n-1)、Y(m，n-1)、Y(m+1，n-1)、Y(m-1，n)、Y(m，n)、Y(m+1，n)、Y(m-1，n+1)、Y(m，n+1)及Y(m+1，n+1)之亮度值。另，注目區域之形狀或尺寸並不限定於3×3像素。例如，注目區域亦可為包含注目像素、與該注目像素之上下左右之像素之十字型之區域。
注目區域讀取部332將注目區域內之亮度值中之Y(m，n-1)、Y(m，n)及Y(m，n+1)供給至垂直方向差分平均值算出部333。又，注目區域讀取部332將Y(m-1，n)、Y(m，n)、及Y(m+1，n)供給至水平方向差分平均值算出部334。
注目區域讀取部332將Y(m-1，n-1)、Y(m，n)及Y(m+1，n+1)供給至左傾斜方向差分平均值算出部335。又，注目區域讀取部332將Y(m+1，n-1)、Y(m，n)及Y(m-1，n+1)供給至右傾斜方向差分平均值算出部336。
注目區域讀取部332將Y(m，n)供給至臨限值算出部337及減法器340，且將注目區域內之所有亮度值供給至平均值算出部339。
垂直方向差分平均值算出部333係算出注目像素之亮度、與於垂直方向上鄰接於注目像素之2個像素之亮度之各者之差分絕對值之平均值者。例如，藉由下式算出差分絕對值之平均值AVG_V(m，n)。垂直方向差分平均值算出部333將所算出之平均值AVG_V(m，n)供給至方向選擇部338。
AVG_V(m,n)={| Y(m,n-1)-Y(m,n) |+| Y(m,n+1)-Y(m,n) |}×1/2．．．式3
水平方向差分平均值算出部334係算出注目像素之亮度、與於水平方向上鄰接於注目像素之2個像素之亮度之各者之差分絕對值之平均值者。例如，藉由下式算出差分絕對值之平均值AVG_H(m，n)。水平方向差分平均值算出部334將所算出之平均值AVG_H(m，n)供給至方向選擇部338。
AVG_H(m,n)={| Y(m-1,n)-Y(m,n) |+| Y(m+1,n)-Y(m,n) |}×1/2．．．式4
左傾斜方向差分平均值算出部335係算出注目像素之亮度、與於左傾斜方向上鄰接於注目像素之2個像素之亮度之各者之差分絕對值之平均值者。例如，藉由下式算出差分絕對值之平均值AVG_L(m，n)。左傾斜方向差分平均值算出部335將所算出之平均值AVG_L(m，n)供給至方向選擇部338。
AVG_L(m,n)={| Y(m-1,n-1)-Y(m,n) |+| Y(m+1,n+1)-Y(m,n) |}×1/2．．．式5
右傾斜方向差分平均值算出部336係算出注目像素之亮度、與於 右傾斜方向上鄰接於注目像素之2個像素之亮度之各者之差分絕對值之平均值者。例如，藉由下式算出差分絕對值之平均值AVG_R(m，n)。右傾斜方向差分平均值算出部336將所算出之平均值AVG_R(m，n)供給至方向選擇部338。
AVG_R(m,n)={| Y(m+1,n-1)-Y(m,n) |+| Y(m-1,n+1)-Y(m,n) |}×1/2．．．式6
臨限值算出部337係算出用以選擇方向之方向臨限值Th_d者。該臨限值算出部337例如使用下式算出方向臨限值Th_d。臨限值算出部337將所算出之方向臨限值Th_d供給至方向選擇部338。
Th_d(m,n)=Y(m,n)×f．．．式7
於上式中，f為實數之係數，f越大則越高之空間頻率之高頻率成分被分離。f之值例如藉由相機控制部130設定。
方向選擇部338係選擇垂直方向、水平方向、左傾斜方向及右傾斜方向中差分絕對值之平均值為方向臨限值Th_d以下之方向，且將所選擇之方向通知平均值算出部339者。於差分絕對值之平均值為方向臨限值Th_d以下之方向有複數個之情形時，選擇該等全部。
平均值算出部339係算出於所選擇之方向上鄰接於注目像素之像素、與注目像素之亮度值之平均值者。例如，於僅選擇了水平方向之情形時，算出Y(m-1，n)、Y(m，n)及(m+1，n)之平均值。平均值算出部339將所算出之平均值作為中低頻率成分MLF之座標(m，n)之強度，供給至中頻率成分分離部345及減法器340。
減法器340係自2個輸入值之一者減去另一者者。對該減法器340輸入MLF(m，n)及Y(m，n)。減法器340將自Y(m，n)減去MLF(m，n)之值作為高頻率成分HF_B之座標(m，n)之強度供給至限制部350。
此處，中頻率成分分離部345之構成係與高頻率成分分離部330相同之構成。於中頻率成分分離部345中，將來自相當於平均值算出 部339之構成之平均值係作為中頻率成分MF_B輸出，且將來自相當於減法器340之減法器之差分係作為低頻率成分LF_B輸出。
如此，由於高頻率成分HF_B及中頻率成分MF係藉由減法器340等所求出之頻率成分之差分，故該等成分之強度具有正或負之符號。
另，雖然高頻率成分分離部330藉由求出所選擇之方向之平均值與注目像素之差分而分離高頻率成分，但並未限定於該構成。例如，高頻率成分分離部330亦可對圖像資料之亮度分佈進行傅利葉轉換而分離高頻率成分。
圖7係顯示第1實施形態之高頻率成分放大部370之一構成例之方塊圖。高頻率成分放大部370具備抑制增益產生部371、與乘法器372及373。
抑制增益產生部371係自輸入亮度圖像資料inY整體之亮度，產生抑制增益Ga者。一般當增強圖像內之較亮部分或較暗部分之高頻率成分HF_B時，會發生雜訊增強或產生偽邊緣之類之畫質降低。此處，偽邊緣係於增強前不存在邊緣之部位中因增強所產生之邊緣。為抑制此種畫質降低，設定抑制增益Ga。抑制增益Ga例如藉由下式產生。
於上式中，inY’係輸入亮度圖像資料inY中之各像素之亮度之統計量(例如，平均值)。又，Th_H係亮度之上限值。a、b、c、及d係正實數。Th_L係亮度之下限值，並設定較Th_H更低之值。抑制增益產生部371將所產生之抑制增益Ga供給至乘法器372。
乘法器372係將基準增益Gs與抑制增益Ga相乘者。該乘法器372 將乘法結果供給至乘法器373。基準增益Gs係表示高頻率成分HF_B之放大之程度之值，例如，為大於1之實數。基準增益Gs係藉由相機控制部130設定。
乘法器373係將乘法器372之乘法結果、與高頻率成分HF_B相乘者。乘法器373將乘法結果作為放大後之高頻率成分HF_A供給至合成部380。
於該等乘法器372及373中執行之運算係藉由下式表示。該運算係於高頻率成分中針對每個像素執行。
HF_A=HF_B×Ga×Gs．．．式9
於上式中，省略表示像素之座標之記述。
另，雖然高頻率成分放大部370於亮部及暗部中抑制放大率(Ga×Gs)，但於原圖像之畫質足夠高之情形時、或允許亮部及暗部之畫質降低之情形等時，亦可根據特定之放大率進行放大。
圖8係顯示根據第1實施形態之亮度值設定之抑制增益Ga之一例之圖表。該圖之縱軸為抑制增益Ga，橫軸為輸入亮度圖像資料inY整體之亮度值inY’。如該圖所示，於藉由抑制增益Ga而亮度值inY’高於上限值Th_H之亮部、與低於下限值Th_L之暗部中，抑制相對於高頻率成分HF_B之增益。藉此，於亮部或暗部中，無因雜訊增大等畫質降低之虞。
圖9係顯示第1實施形態之限制部350之一構成例之方塊圖。該限制部350具備成分選擇部351、符號判定部352、絕對值取得部353、正負化部354、頻率成分限制部355、限制值算出部356及減法器357。
成分選擇部351係選擇限制對象之成分者。該成分選擇部351選擇中頻率成分MF及高頻率成分HF_B中、中頻率成分MF作為限制對象，並供給至符號判定部352、絕對值取得部353及減法器357。又，成分選擇部351將未選擇為限制對象之高頻率成分HF_B供給至高頻率 成分放大部370。
符號判定部352係判定中頻率成分MF之符號為正負何者者。該符號判定部352將中頻率成分MF之符號供給至正負化部354。
絕對值取得部353係取得中頻率成分MF之強度之絕對值者。絕對值取得部353將該絕對值供給至頻率成分限制部355。
限制值算出部356係算出限制頻率成分之絕對值之限制值La者。該限制值算出部356例如使用下式算出限制值La。該運算係於中頻率成分中針對每個像素執行。
La=LF_B×R．．．式10
於上式中，R為實數之係數，例如藉由相機控制部130設定。又，於上式中，省略表示像素之座標之記述。藉由上式，設定低頻率成分之強度越高則越廣之限制範圍。另，限制值算出部356係申請專利範圍中記載之設定部之一例。
頻率成分限制部355係限制頻率成分之絕對值者。該頻率成分限制部355於絕對值大於限制值La之情形時，將絕對值作為限制後之值供給至正負化部354，於絕對值小於等於限制值La之情形時，將絕對值直接作為限制後之值供給至正負化部354。
正負化部354係對藉由頻率成分限制部355所限制之值附加來自符號判定部352之符號者。正負化部354將已附加符號之值作為限制後之中頻率成分MF_L供給至減法器357及中頻率成分放大部375。
減法器357自2個輸入值之一者減去另一者。對該減法器357輸入限制前之中頻率成分MF_B、與限制後之中頻率成分MF_L。減法器357係自限制前之中頻率成分MF_B減去限制後之中頻率成分MF_L，且將減法結果作為差分dg供給至加法器312。
另，若低頻率成分LF_B之強度越高限制範圍越廣，則限制部350亦可藉由式10以外之式求出限制值La。又，限制部350雖算出限制 值，但並不限定於該構成。例如，亦可為如下構成：由限制部350保持將預先使用式10等所求出之限制值La與低頻率成分LF_B之強度相對應之表格，且自該表格讀取與低頻率成分LF_B之強度對應之限制值La。又，限制部350雖於低頻率成分LF_B之強度越高則越廣之限制範圍內限制中頻率成分MF_B，但亦可不論低頻率成分LF_B之強度，皆將中頻率成分MF_B限制於特定之限制範圍內。
圖10係顯示第1實施形態之壓縮時所使用之色調曲線之一例之圖。該圖之橫軸為輸入至壓縮部313之壓縮前之低頻率成分LF’_B之強度。縱軸為自壓縮部313輸入之壓縮後之低頻率成分LF’_B之強度。又，曲線為描繪壓縮前後之強度之組合者。
如圖10所示，低頻率成分LF’_B係根據其強度與動態範圍之中間值YM之差分越大則越高之壓縮率而壓縮。
圖11係顯示第1實施形態之輸入亮度圖像資料之亮度分佈、高頻率成分之強度分佈及中低頻率成分之強度分佈之一例之圖。該圖之a係顯示輸入亮度圖像資料inY之亮度分佈之一例之圖。該圖之a之縱軸為亮度值，橫軸為座標。又，實線表示輸入亮度圖像資料，虛線表示包含於該輸入RAW圖像資料inRAW之中低頻率成分MLF。高頻率成分分離部330係將該等輸入亮度圖像資料inY與中低頻率成分MLF之差分作為高頻率成分HF_B而予以分離。
於圖11之a所例示之輸入亮度圖像資料inY之亮度分佈中，存在亮度差敏銳變化之部分、即邊緣。於此種邊緣附近，一般會產生較大之高頻率成分或中頻率成分。此處，於圖像中，常可見空間頻率越低振越大之傾向。因此，中頻率成分之強度之變動較高頻率成分更大之情形較多。因此，若直接放大該中頻率成分，則於邊緣附近有產生過衝或下衝之虞。
圖11之b係顯示分離出之高頻率成分HF_B之強度分佈之圖。該圖 中之b之縱軸為強度，橫軸為座標。該高頻率成分HF_B係不受限制地放大。圖11之c係顯示分離出之中低頻率成分MLF之強度分佈之圖。該圖中c之縱軸為強度，橫軸為座標。該中低頻率成分MLF進而分離成中頻率成分MF_B與低頻率成分LF_B。
圖12係顯示第1實施形態之中低頻率成分MLF、中頻率成分MF_B及低頻率成分LF_B之強度分佈之一例之圖。該圖之縱軸為強度，橫軸為座標。該圖之a係顯示中低頻率成分MLF之強度分佈之圖。於該圖之a中，虛線表示中低頻率成分MLF，二點鏈線表示包含於該中低頻率成分MLF之低頻率成分LF_B。中頻率成分分離部345係將該等中低頻率成分MLF與低頻率成分LF_B之差分作為中頻率成分MF_B而予以分離。
圖12之b係顯示分離出之中頻率成分MF_B之強度分佈之圖。該中頻率成分MF_B係受限制後放大。圖12之c係顯示分離出之低頻率成分LF_B之強度分佈之圖。
圖13係顯示第1實施形態之中頻率成分MF_B及低頻率成分LF_B之強度分佈之一例之圖。該圖之縱軸為強度，橫軸為座標。該圖之a係限制前之中頻率成分MF_B、與限制後之中頻率成分MF_L之一例之圖。於該圖之a中，一點鏈線表示限制前之中頻率成分MF_B，虛線表示限制後之中頻率成分MF_L。限制部350輸出中頻率成分MF_B及中頻率成分MF_L之差分dg。
如上述般，若直接放大中頻率成分MF_B，則有產生過衝或下衝之虞。然而，如該圖之a所例示，限制中頻率成分MF_B後進行放大，藉此抑制過衝等之產生。
圖13之b係顯示差分dg之相加前之低頻率成分LF_B、與相加後之低頻率成分LF’_B之一例之圖。於該圖之b中，二點鏈線表示相加前之低頻率成分LF_B，虛線表示相加後之低頻率成分LF’_B。如該圖之 b所例示，限制中頻率成分MF_B之部分(dg)由於變回低頻率成分LF_B，故無空間頻率性成分(dg)遺漏之虞。
圖14係顯示第1實施形態之灰階壓縮後之低頻率成分之強度分佈及輸出亮度圖像資料之亮度分佈之一例之圖。該圖之a係顯示壓縮前之低頻率成分LF’_B與壓縮後之低頻率成分LF’_C之強度分佈之圖。該圖之a之縱軸為強度，橫軸為座標。又，於該圖之a中，虛線表示壓縮前之低頻率成分LF’_B，二點鏈線表示壓縮後之低頻率成分LF’_C。如該圖之a所例示，低頻率成分LF’_B係根據其強度與中間值YM之差分越大則越高之壓縮率而壓縮。因此，於壓縮前，於接近顯示裝置400之動態範圍內之最大亮度之座標，壓縮後之低頻率成分LF’_C之強度變低，而抑制過衝之產生。又，於壓縮前，於接近顯示裝置400之動態範圍內之最小亮度之座標，壓縮後之低頻率成分LF’_C之強度變高，而抑制下衝之產生。
圖14之b係顯示輸出亮度圖像資料之亮度分佈之一例之圖。該圖之b之縱軸為亮度值，橫軸為座標。該圖之b之二點鏈線表示壓縮後之低頻率成分LF’_C。又，該圖之b之實線表示於該低頻率成分LF’_C，合成經放大之中頻率成分MF_L及高頻率成分HF_B而獲得之輸出亮度圖像資料outY。如該圖之b所例示，由於中頻率成分MF_L之強度受限制，故於輸出亮度圖像資料中，亮度不會超過動態範圍內之最大亮度或低於最小亮度。藉此，不會產生過曝或欠曝，從而抑制畫質之降低。
圖15係顯示第1實施形態之圖像處理部200執行之圖像處理之流程圖。該圖像處理例如於將輸入RAW圖像資料輸入至圖像處理部200時開始。另，於該圖中，省略雜訊去除處理等灰階修正處理以外之處理。
圖像處理部200於圖像中分離高頻率成分(步驟S901)，且分離中 頻率成分及低頻率成分(步驟S902)。且，圖像處理部200將中頻率成分之強度限制於限制範圍內(步驟S903)。
圖像處理部200放大高頻率成分(步驟S904)，且放大限制後之中頻率成分(步驟S905)。又，圖像處理部200將已限制之成分與低頻率成分相加(步驟S906)，並壓縮相加後之低頻率成分(步驟S907)。接著，圖像處理部200合成經壓縮之低頻率成分、與經放大之中頻率成分及高頻率成分(步驟S908)。於步驟S908後，圖像處理部200結束圖像處理。
圖16係顯示第1實施形態之灰階壓縮後之圖像之一例之圖。該圖之a係不限制中頻率成分MF_B而放大之情形之解馬賽克後之圖像之一例。該圖之b係限制中頻率成分MF_B後加以放大之情形之解馬賽克後之圖像之一例。
如圖16a所例示，於不限制中頻率成分MF_B之情形時之圖像中，以虛線所包圍之右上之人偶之臉之部分產生欠曝現象。這是因為不限制中頻率成分MF_B而放大，結果使灰階修正後之亮度低於顯示裝置400之動態範圍內之最小亮度。
與此相對，如該圖之b所例示，於已限制中頻率成分MF_B之情形時之圖像中，右上之人偶之臉之部分不欠曝，而適當地顯現灰階。這是因為藉由限制中頻率成分MF_B，將亮度收斂於顯示裝置400之動態範圍內。又，於該圖像中，由於繞過頻率成分限制部355而放大高頻率成分，故未丟失原圖像之細微質感(紋理)。
另，攝像裝置100雖分離成高頻率成分、中頻率成分及低頻率成分之3者，但亦可將中頻率成分進一步分離成複數個頻率成分。該情形時，限制部350藉由不同之限制範圍限制自中頻率成分分離出之頻率成分之各者。例如，限制部350設定空間頻率越低則越小之限制值La(即，狹窄之限制範圍)，並將頻率成分限制於該限制範圍內。
如此，根據本技術之第1實施形態，由於攝像裝置100限制中頻率成分後加以放大，且一方面放大高頻率成分，一方面壓縮低頻率成分，並合成該等，故可將亮度設為動態範圍內之值。藉此，可抑制畫質降低。
[變化例]
於第1實施形態中，圖像處理部200限制中頻率成分MF_B而抑制過衝或下衝之產生。然而，根據圖像之性質，有高頻率成分HF_B較中頻率成分MF_B更易成為過衝等之原因之情形。變化例係於代替中頻率成分MF_B而限制高頻率成分HF_B之方面與第1實施形態不同。
[限制部之構成例]
圖17係顯示變化例之限制部350之一構成例之方塊圖。變化例之限制部350係於成分選擇部351代替頻率成分MF_B而選擇高頻率成分HF_B作為限制對象之方面與第1實施形態不同。
另，成分選擇部351亦可比較高頻率成分HF_B之振幅、與中頻率成分MF_B之振幅，選擇振幅更大者作為限制對象。
又，攝像裝置100亦可將高頻率成分進一步分離成複數個頻率成分。該情形時，限制部350藉由不同之限制範圍限制自高頻率成分分離出之頻率成分之各者。例如，限制部350設定空間頻率越低則越小之限制值La(即，狹窄之限制範圍)，將頻率成分限制於該限制範圍內。
如此，根據變化例，由於圖像處理部200限制高頻率成分，故可抑制高頻率成分之放大引起之過衝或下衝之產生。藉此，可抑制畫質降低。
<2．第2實施形態>
[圖像處理系統之構成例]
於第1實施形態中，雖以攝像裝置100進行灰階修正，但亦可為 資訊處理裝置等攝像裝置100以外之裝置進行灰階修正。第2實施形態之圖像處理系統係於資訊處理裝置進行灰階修正之方面與第1實施形態不同。
圖18係顯示第2實施形態之圖像處理系統之一構成例之方塊圖。該圖像處理系統係於具備資訊處理裝置500代替攝像裝置100之方面與第1實施形態不同。
資訊處理裝置500係執行圖像處理等資訊處理者。例如，使用個人電腦或智慧型電話作為資訊處理裝置500。該資訊處理裝置500具備輸入緩衝器510、圖像處理部200及輸出緩衝器520。
輸入緩衝器510係保持所輸入至資訊處理裝置500之圖像資料者。於該輸入緩衝器510，保持藉由數位相機等攝像裝置所攝像之圖像資料，且該圖像資料藉由圖像處理部200讀取。第2實施形態之圖像處理部200之構成係與第1實施形態相同。輸出緩衝器520係保持圖像處理後之圖像資料者。
圖19係顯示第2實施形態之資訊處理裝置500之動作之一例之流程圖。該動作例如於將圖像資料輸入至資訊處理裝置500時開始。
資訊處理裝置500將所輸入之圖像資料保持於輸入緩衝器510(步驟S910)。資訊處理裝置500對該圖像資料執行特定之圖像處理，並將圖像處理後之圖像資料保持於輸出緩衝器520(步驟S920)。於步驟S920中，執行與圖15所例示之第1實施形態相同之圖像處理。資訊處理裝置500將保持於輸出緩衝器520之圖像資料輸出至顯示裝置400(步驟S920)。於步驟S920後，資訊處理裝置500結束動作。
如此，根據本技術之第2實施形態，由於資訊處理裝置500代替攝像裝置100進行灰階修正，故即便為攝像裝置100不進行灰階修正之構成，亦可抑制畫質降低。
另，上述實施形態係顯示用以將本技術具體化之一例者，實施 形態之事項、與申請專利範圍之發明特定事項具有分別對應之關係。同樣地，申請專利範圍之發明特定事項、與附有與其相同之名稱之本技術之實施形態之事項具有分別對應之關係。但，本技術並非限定於實施形態者，在不脫離其主旨之範圍內可藉由對實施形態實施多種變化而具體化。
又，上述實施形態中所說明之處理程序既可作為具有該等一連串順序之方法掌握，又，亦可作為用以於電腦上執行該等一連串程序之程式乃至記憶該程式之記錄媒體掌握。作為該記錄媒體，可使用例如CD(Compact Disc：光碟)、MD(MiniDisc：迷你光碟)、DVD(Digital Versatile Disc：數位影音光碟)、記憶卡、藍光光碟(Blu-ray(註冊商標)Disc)等。
另，本技術亦可採用如以下之構成。
(1)一種圖像處理裝置，其包含：成分分離部，其於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者；壓縮部，其壓縮上述3個頻率成分中空間頻率最低之低頻率成分；限制部，其將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分；放大部，其放大上述所供給之2個頻率成分；及合成部，其合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分。
(2)如上述技術方案(1)之圖像處理裝置，其中上述限制部將上述2個頻率成分中空間頻率較低之頻率成分之強度限制於上述限制範圍內。
(3)如上述技術方案(1)之圖像處理裝置，其中上述成分分離部分離上述3個頻率成分之各者，且將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者進一步分離成複數個頻率成分；且上述限制部藉由不同之限制範圍而限制上述經分離之複數個頻率成分之各者。
(4)如上述技術方案(1)至(3)中任一者之圖像處理裝置，其中進而包含將上述一者之頻率成分之限制前之強度與限制後之強度之間之差分與上述低頻率成分相加之加法部；且上述壓縮部壓縮已加上上述差分之上述低頻率成分。
(5)如上述技術方案(1)至(4)中任一者之圖像處理裝置，其中上述限制部進而包含：設定部，其將上述低頻率成分之強度越高則越廣之範圍設定為上述限制範圍；及頻率成分限制部，其將上述2個頻率成分之一者限制於上述所設定之限制範圍內。
(6)如上述技術方案(1)至(5)中任一者之圖像處理裝置，其中上述壓縮部基於上述低頻率成分之強度與特定值之間之差分越大則越高之壓縮率，壓縮上述低頻率成分。
(7)一種攝像裝置，其包含：攝像元件，其產生包含互不相同之3個頻率成分之圖像；成分分離部，其於上述圖像中分離上述3個頻率成分之各者；壓縮部，其壓縮上述3個頻率成分中空間頻率最低之低頻率成分；限制部，其將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分；放大部，其放大上述所供給之2個頻率成分；及 合成部，其合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分。
(8)一種圖像處理方法，其包含：成分分離部於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者之成分分離程序；壓縮部壓縮上述3個頻率成分中空間頻率最低之低頻率成分之壓縮程序；限制部將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分之限制程序；放大部放大上述所供給之2個頻率成分之放大程序；及合成部合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分之合成程序。
(9)一種程式，其係用以於電腦上執行如下程序：成分分離部於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者之成分分離程序；壓縮部壓縮上述3個頻率成分中空間頻率最低之低頻率成分之壓縮程序；限制部將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分之限制程序；放大部放大上述所供給之2個頻率成分之放大程序；及合成部合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分之合成程序。
100‧‧‧攝像裝置
110‧‧‧攝像透鏡
120‧‧‧攝像元件
129‧‧‧信號線
130‧‧‧相機控制部
140‧‧‧記錄部
200‧‧‧圖像處理部
209‧‧‧信號線
400‧‧‧顯示裝置

Claims (9)

  1. 一種圖像處理裝置，其包含：成分分離部，其於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者；壓縮部，其壓縮上述3個頻率成分中空間頻率最低之低頻率成分；限制部，其將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分；放大部，其放大上述所供給之2個頻率成分；及合成部，其合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分。
  2. 如請求項1之圖像處理裝置，其中上述限制部將上述2個頻率成分中空間頻率較低之頻率成分之強度限制於上述限制範圍內。
  3. 如請求項1之圖像處理裝置，其中上述成分分離部分離上述3個頻率成分之各者，且將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者進一步分離成複數個頻率成分；且上述限制部藉由不同之限制範圍而限制上述經分離之複數個頻率成分之各者。
  4. 如請求項1之圖像處理裝置，其進而包含將上述一者之頻率成分之限制前之強度與限制後之強度之間之差分與上述低頻率成分相加之加法部；且上述壓縮部壓縮已加上上述差分之上述低頻率成分。
  5. 如請求項1之圖像處理裝置，其中上述限制部進而包含：設定部，其將上述低頻率成分之強度越高則越廣之範圍設定為上述 限制範圍；及頻率成分限制部，其將上述2個頻率成分之一者限制於上述所設定之限制範圍內。
  6. 如請求項1之圖像處理裝置，其中上述壓縮部基於上述低頻率成分之強度與特定值之間之差分越大則越高之壓縮率，壓縮上述低頻率成分。
  7. 一種攝像裝置，其包含：攝像元件，其產生包含互不相同之3個頻率成分之圖像；成分分離部，其於上述圖像中分離上述3個頻率成分之各者；壓縮部，其壓縮上述3個頻率成分中空間頻率最低之低頻率成分；限制部，其將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分；放大部，其放大上述所供給之2個頻率成分；及合成部，其合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分。
  8. 一種圖像處理方法，其包含：成分分離部於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者之成分分離程序；壓縮部壓縮上述3個頻率成分中空間頻率最低之低頻率成分之壓縮程序；限制部將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分之限制程序；放大部放大上述所供給之2個頻率成分之放大程序；及 合成部合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分之合成程序。
  9. 一種程式，其係用以於電腦上執行如下程序：成分分離部於包含互不相同之3個頻率成分之圖像中分離上述3個頻率成分之各者之成分分離程序；壓縮部壓縮上述3個頻率成分中空間頻率最低之低頻率成分之壓縮程序；限制部將上述3個頻率成分中上述低頻率成分以外之2個頻率成分之任一者之強度限制於限制範圍內，並供給經限制上述一者之強度之2個頻率成分之限制程序；放大部放大上述所供給之2個頻率成分之放大程序；及合成部合成上述經壓縮之低頻率成分與上述經放大之2個頻率成分之合成程序。
TW103115422A 2013-05-28 2014-04-29 Image processing apparatus, camera apparatus, image processing method, and program for executing the method on a computer TWI609351B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013111719 2013-05-28

Publications (2)

Publication Number Publication Date
TW201506847A TW201506847A (zh) 2015-02-16
TWI609351B true TWI609351B (zh) 2017-12-21

Family

ID=51988452

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103115422A TWI609351B (zh) 2013-05-28 2014-04-29 Image processing apparatus, camera apparatus, image processing method, and program for executing the method on a computer

Country Status (2)

Country Link
TW (1) TWI609351B (zh)
WO (1) WO2014192412A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123214A1 (en) * 2003-10-10 2005-06-09 Fuji Photo Film Co., Ltd. Image processing method and apparatus, and image processing program
US20050180629A1 (en) * 2004-01-19 2005-08-18 Tomonori Masuno Method and apparatus for processing image, recording medium, and computer program
JP2005334677A (ja) * 2005-08-15 2005-12-08 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2006246200A (ja) * 2005-03-04 2006-09-14 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法
CN101038625A (zh) * 2006-03-16 2007-09-19 索尼株式会社 图像处理装置和方法
TW200818874A (en) * 2006-06-26 2008-04-16 Genesis Microchip Inc Integrated histogram auto adaptive contrast control (ACC)
TW201033939A (en) * 2009-03-13 2010-09-16 Micro Star Int Co Ltd Dark part exposure compensation method using single image to simulate high dynamic range and image processing apparatus thereof
TWM403069U (en) * 2010-06-24 2011-05-01 Univ Lunghwa Sci & Technology A noise-insensitive contrast enhancement system for the display of high-dynamic-range images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123214A1 (en) * 2003-10-10 2005-06-09 Fuji Photo Film Co., Ltd. Image processing method and apparatus, and image processing program
US20050180629A1 (en) * 2004-01-19 2005-08-18 Tomonori Masuno Method and apparatus for processing image, recording medium, and computer program
JP2006246200A (ja) * 2005-03-04 2006-09-14 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法
JP2005334677A (ja) * 2005-08-15 2005-12-08 Fuji Photo Film Co Ltd 画像処理方法および装置
CN101038625A (zh) * 2006-03-16 2007-09-19 索尼株式会社 图像处理装置和方法
TW200818874A (en) * 2006-06-26 2008-04-16 Genesis Microchip Inc Integrated histogram auto adaptive contrast control (ACC)
TW201033939A (en) * 2009-03-13 2010-09-16 Micro Star Int Co Ltd Dark part exposure compensation method using single image to simulate high dynamic range and image processing apparatus thereof
TWM403069U (en) * 2010-06-24 2011-05-01 Univ Lunghwa Sci & Technology A noise-insensitive contrast enhancement system for the display of high-dynamic-range images

Also Published As

Publication number Publication date
WO2014192412A1 (ja) 2014-12-04
TW201506847A (zh) 2015-02-16

Similar Documents

Publication Publication Date Title
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP4288623B2 (ja) 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
US8982232B2 (en) Image processing apparatus and image processing method
JP4290193B2 (ja) 画像処理装置
JP5474586B2 (ja) 画像処理装置
JP4986820B2 (ja) 画像処理装置及び画像処理方法
KR101003681B1 (ko) 화소보간회로, 화소보간방법 및 기록매체
US20100098334A1 (en) Color-interpolation device and image processing system
JP2009284009A (ja) 画像処理装置、撮像装置及び画像処理方法
JP5291788B2 (ja) 撮像装置
JP2019003443A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2007266956A (ja) 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5274697B2 (ja) 画像処理装置及び画像処理方法
TWI609351B (zh) Image processing apparatus, camera apparatus, image processing method, and program for executing the method on a computer
JP2020145553A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011151597A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
WO2016051911A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5935649B2 (ja) 画像処理装置及び画像処理方法
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2011055280A (ja) 画像処理装置および画像処理方法並びに電子カメラ