TWI423165B - 影像處理裝置、影像處理方法及記憶媒體 - Google Patents

影像處理裝置、影像處理方法及記憶媒體 Download PDF

Info

Publication number
TWI423165B
TWI423165B TW099132925A TW99132925A TWI423165B TW I423165 B TWI423165 B TW I423165B TW 099132925 A TW099132925 A TW 099132925A TW 99132925 A TW99132925 A TW 99132925A TW I423165 B TWI423165 B TW I423165B
Authority
TW
Taiwan
Prior art keywords
image
enlarged
component
magnification
skeleton
Prior art date
Application number
TW099132925A
Other languages
English (en)
Other versions
TW201120810A (en
Inventor
Naotomo Miyamoto
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of TW201120810A publication Critical patent/TW201120810A/zh
Application granted granted Critical
Publication of TWI423165B publication Critical patent/TWI423165B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

影像處理裝置、影像處理方法及記憶媒體
本發明係關於一種影像處理裝置、使用該影像處理裝置之影像處理方法及記憶媒體。
先前已知有在放大影像之處理時,代替最近鄰域與雙立方法等插值方法,使用總變異(Total Variation;TV)法將放大影像高精細化之影像處理裝置(例如,日本特開2007-317109號公報)。
使用上述TV法之放大方法雖比最近鄰域及雙立方法等之插值方法,更可謀求放大影像之高精細化。但是,前述放大方法在放大率增大時,影像邊緣會模糊,雜訊量會增大。因此,會有發生放大影像之精細感不足之問題。
因此,本發明之課題為提供一種可適當謀求放大影像之高精細化的影像處理裝置、影像處理方法及記憶媒體。
為了解決上述課題,本發明一種態樣之影像處理裝置的特徵為具備:取得手段,其取得原影像;指定手段,其指定藉由該取得手段所取得之原影像的最後放大倍率;第1分離手段,其從藉由前述取得手段所取得之原影像分離骨架成分及結構成分;中間影像生成手段,其將藉由該第1分離手段所分離之前述原影像的骨架成分及結構成分,分別放大成比前述最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像;第2分離手段,其從藉由該中間影像生成手段所生成之前述中間放大影像分離骨架成分;骨架放大手段,其將藉由該第2分離手段所分離之前述中間放大影像的骨架成分放大成前述最後放大倍率,而生成最後放大骨架成分;結構放大手段,其將藉由前述第1分離手段所分離之前述原影像的結構成分放大成前述最後放大倍率,而生成最後放大結構成分;及最後影像生成手段,其合成藉由前述骨架放大手段所生成之前述最後放大骨架成分與藉由前述結構放大手段所生成之前述最後放大結構成分,而生成最後放大影像。
此外,其他態樣之影像處理方法的特徵為:係使用影像處理裝置,且執行以下步驟:取得原影像;指定所取得之原影像的最後放大倍率;從取得之原影像分離骨架成分及結構成分;將分離之前述原影像的骨架成分及結構成分分別放大成比前述最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像;從生成之前述中間放大影像分離骨架成分;將分離之前述中間放大影像的骨架成分放大成前述最後放大倍率,而生成最後放大骨架成分;將分離之前述原影像的結構成分放大成前述最後放大倍率,而生成最後放大結構成分;及合成所生成之前述最後放大骨架成分與前述最後放大結構成分而生成最後放大影像。
此外,其他態樣之記憶媒體係記憶特徵為使影像處理裝置之電腦作為以下手段而發揮功能的程式:取得手段,其取得原影像;指定手段,其指定藉由該取得手段所取得之原影像的最後放大倍率;第1分離手段,其從藉由前述取得手段所取得之原影像分離骨架成分及結構成分;中間影像生成手段,其將藉由該第1分離手段所分離之前述原影像的骨架成分及結構成分,分別放大成比前述最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像;第2分離手段,其從藉由該中間影像生成手段所生成之前述中間放大影像分離骨架成分;骨架放大手段,其將藉由該第2分離手段所分離之前述中間放大影像的骨架成分放大成前述最後放大倍率,而生成最後放大骨架成分;結構放大手段,其將藉由前述第1分離手段所分離之前述原影像的結構成分放大成前述最後放大倍率,而生成最後放大結構成分;及最後影像生成手段,其合成藉由前述骨架放大手段所生成之前述最後放大骨架成分與藉由前述結構放大手段所生成之前述最後放大結構成分,而生成最後放大影像。
根據本發明,可強調影像邊緣而適當謀求放大影像之高精細化。
以下,就本發明,使用圖式說明具體之態樣。但是發明之範圍不限定於圖示例。
第1圖係顯示適用本發明之一種實施形態的攝像裝置100的概略構成之區塊圖。
本實施形態之攝像裝置100係將從原影像(例如,原影像Go;參照第4圖(a))所分離之骨架成分(例如骨架成分Gs;參照第4圖(b))及結構成分(例如結構成分Gt;參照第4圖(c))分別放大成中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像。而後,攝像裝置100將從中間放大影像所分離之骨架成分放大成最後放大倍率,而生成最後放大骨架成分,並將原影像之結構成分放大成最後放大倍率而生成最後放大結構成分,合成所生成之最後放大骨架成分與最後放大結構成分而生成最後放大影像(例如最後放大影像Gf;參照第5圖(a))。
具體而言,如第1圖所示,攝像裝置100具備攝像部1、攝像控制部2、影像資料生成部3、記憶體4、影像處理部5、顯示控制部6、顯示部7、記錄媒體8、操作輸入部9及中央控制部10。
攝像部1拍攝被攝物而生成影像幀。具體而言,攝像部1具備由變焦透鏡及聚焦透鏡等複數個透鏡所構成之透鏡部、調整通過透鏡部之光的量的光圈、及由CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxide Semiconductor)等之影像感測器所構成且將通過透鏡部之各種透鏡的光學影像變換成二維影像信號之電子攝像部。
雖圖示省略,但攝像控制部2實具備時序產生器及驅動器等。並且,攝像控制部2藉由時序產生器、驅動器掃描驅動電子攝像部,每個指定周期藉由電子攝像部使光學影像變換成二維之影像信號,從該電子攝像部之攝像區域每1個畫面分各讀出影像幀而輸出至影像資料生成部3。
此外,作為攝像條件之調整控制,攝像控制部2係進行AE(自動曝光處理)、AF(自動對焦處理)、AWB(自動白平衡)等。
影像資料生成部3對於轉送自電子攝像部的影像資料之類比值的信號,按RGB之各色成分調整適當增益後,以抽樣保持電路(省略圖示)抽樣保持,以A/D變換器(省略圖示)變換成數位資料,並以色彩處理電路(省略圖示)進行包含像素插值處理及γ修正處理之色彩處理後,生成數位值之亮度信號Y及色差信號Cb、Cr(YUV色空間之影像資料)。
從色彩處理電路所輸出之亮度信號Y及色差信號Cb、Cr經由未圖示之DMA控制器,而DMA轉送至用作緩衝記憶體之記憶體4。
記憶體4係例如由DRAM等所構成,暫時記憶藉由影像處理部5及中央控制部10等所處理之資料等。
影像處理部5具備影像取得部5a、影像分離部5b、中間倍率算出部5c、骨架放大部5d、過濾處理部5e、結構放大部5f、中間影像生成部5g及最後影像生成部5h。
作為取得手段,影像取得部5a取得藉由攝像部1所拍攝之原影像(例如原影像Go等)作為處理對象影像。
具體而言,影像取得部5a例如從記錄於記錄媒體8之至少一個影像資料中,取得依據使用者對操作輸入部9之指定操作所指定的任一個影像資料。
影像分離部5b從處理對象影像(例如原影像Go等)分離骨架成分(例如骨架成分Gs等)及結構成分(例如結構成分Gt等)之至少一方。亦即,影像分離部5b從處理對象影像藉由總變異法而分離包含邊緣部與平坦部的骨架成分、及包含細緻圖型(結構:表現表面之質感的反覆之亮度圖型)之結構成分的至少一方,其中該邊緣部係表現出該處理對象影像內之物件的形狀及大小,而該係細緻圖型係表現出該處理對象影像內之物件的亮度變化差異之精細部分。
具體而言,作為第1分離手段,影像分離部5b藉由總變異法從藉由影像取得部5a所取得之作為處理對象影像的原影像分離骨架成分及結構成分。此外,作為第2分離手段,影像分離部5b藉由總變異法從藉由中間影像生成部5g所生成之作為處理對象影像的中間放大影像分離骨架成分。
另外,作為藉由影像分離部5b從處理對象影像分離骨架成分及結構成分之方法而例示者,僅是一例,並非限於此者。
中間倍率算出部5c算出比原影像(例如原影像Go等)之最後放大倍率小的中間放大倍率。亦即,中間倍率算出部5c係在影像播放模式時,將依據使用者對操作輸入部9之選擇確定按鈕的指定操作所設定之原影像(處理對象影像)的放大倍率(最後放大倍率)除以指定數,算出至少一個中間放大倍率。具體而言,中間倍率算出部5c藉由將最後放大倍率約分而算出至少一個因數作為中間放大倍率。此時,當算出複數個「1」(等倍)以外之因數時,中間倍率算出部5c係將「1」以外之最小因數作為第1中間放大倍率,並將該最小之因數以外的因數作為第2中間放大倍率。
例如,當將最後放大倍率設定成「8倍」時,在「8」之因數的1、2、4之中,中間倍率算出部5c係設定「2倍」作為第1中間放大倍率,並設定「4倍」作為第2中間放大倍率。此外,例如當將最後放大倍率設定為「50倍」時,在「50」之因數的1、2、5、10、25之中,中間倍率算出部5c係設定「2倍」作為第一中間放大倍率,並設定「5倍」、「10倍」及「25倍」作為第2中間放大倍率。此處,無須設定最小因數以外之全部因數(例如「5倍」、「10倍」及「25倍」)作為第2中間放大倍率。此外,在複數個第2中間放大倍率之中,用於處理之順序例如為從小者依序,不過並非限於此者,亦可為從大者依序等適當地任意變更。
另外,中間放大倍率並非限於正整數,只要係最後放大倍率除以指定數所算出之數即可,亦可為正的小數或分數。此外,最後放大倍率之除數並非限於整數者,亦可為正的小數或分數。
此處,中間倍率算出部5c係構成算出手段,其將依據使用者對操作輸入部9之指定操作所指定之最後放大倍率除以指定數,算出至少一個中間放大倍率。
骨架放大部5d藉由指定之放大方法,將藉由影像分離部5b而從原影像(例如原影像Go等)所分離之骨架成分(例如骨架成分Gs等)放大為中間放大倍率。此處,當已設定原影像之第2中間放大倍率時,骨架放大部5d藉由指定之放大方法,將藉由中間影像生成部5g之再分離部5i(後述)而從第1中間放大影像所分離之骨架成分,以原影像比放大成第2中間放大倍率。
此外,骨架放大部5d藉由指定之放大方法,將藉由影像分離部5b而從中間放大影像(例如第1中間放大影像或第2中間放大影像(後述)等)所分離之骨架成分,以原影像比放大成最後放大倍率。
另外,作為藉由骨架放大部5d之放大方法,舉例如使用可謀求更自然之高精細化的雙立方法之插值處理的方法。
過濾處理部5e對於藉由骨架放大部5d所放大之骨架成分進行指定之過濾處理。
具體而言,過濾處理部5e首先使用指定之清晰化過濾器(例如拉普拉斯過濾器等),進行強調藉由骨架放大部5d所放大之骨架成分的影像邊緣(輪廓)之清晰化處理。其次,過濾處理部5e使用指定之各向異性擴散過濾器(例如總變異過濾器等),進行在清晰化處理後之骨架成分之影像邊緣的切線方向與邊緣之垂直方向使加權不同而平滑化的各向異性擴散處理。
此處,當將藉由骨架放大部5d放大成最後放大倍率之骨架成分作為處理對象時,過濾處理部5e係將各向異性擴散處理後之骨架成分作為最後放大骨架成分。
亦即,骨架放大部5d及過濾處理部5e構成骨架放大手段,其將藉由影像分離部5b所分離之中間放大影像的骨架成分放大成最後放大倍率,而生成最後放大骨架成分。
結構放大部5f藉由指定之放大方法,將藉由影像分離部5b從原影像(例如原影像Go等)所分離之結構成分(例如結構成分Gt等)放大成中間放大倍率。此處,當已設定原影像之第2中間放大倍率時,結構放大部5f以指定之放大方法,將藉由中間影像生成部5g之再分離部5i(後述)而從第1中間放大影像所分離的結構成分,以原影像比放大成第2中間放大倍率。
此外,作為結構放大手段,結構放大部5f係藉由指定之放大方法將藉由影像分離部5b從原影像(例如原影像Go等)所分離之結構成分(例如結構成分Gt等)放大成最後放大倍率,而生成最後放大結構成分。
另外,作為藉由結構放大部5f之放大方法,舉例如使用可謀求更自然之高精細化的雙立方法之插值處理的方法。
中間影像生成部5g合成藉由骨架放大部5d所放大之骨架成分與藉由結構放大部5f所放大之結構成分,而生成中間放大影像。
亦即,中間影像生成部5g合成藉由過濾處理部5e實施指定之過濾處理的原影像之骨架成分、與藉由結構放大部5f而放大成中間放大倍率之原影像的結構成分,而生成中間放大影像。
此處,骨架放大部5d、結構放大部5f及中間影像生成部5g係構成中間影像生成手段,其將藉由影像分離部5b所分離之原影像的骨架成分及結構成分,分別放大成比最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像。
此外,當已設定原影像(例如原影像Go等)之第2中間放大倍率時,中間影像生成部5g合成藉由骨架放大部5d及結構放大部5f放大成第1中間放大倍率之原影像的骨架成分及結構成分,而生成第1中間放大影像。並且,中間影像生成部5g藉由再分離部5i從第1中間放大影像分離骨架成分及結構成分。此處,藉由再分離部5i分離骨架成分及結構成分例如係藉由總變異法進行,不過與影像分離部5b僅係處理對象不同,而實質之處理內容概略相等。另外,所例示之藉由再分離部5i而從處理對象影像分離骨架成分及結構成分的方法僅為一例,並非限於此者。
並且,進行藉由再分離部5i分離骨架成分及結構成分直到藉由中間倍率算出部5c所算出之至少一個第2中間放大倍率全被使用為止。
此處,再分離部5i構成再分離手段,其在有至少一個比藉由中間倍率算出部5c所算出之第1中間放大倍率大的第2中間放大倍率時,從藉由中間影像生成部5g所生成之中間放大影像(例如第1中間放大影像)分離骨架成分及結構成分。
此外,就藉由再分離部5i所分離之中間放大影像(例如第1中間放大影像)的各個骨架成分及結構成分,中間影像生成部5g合成藉由骨架放大部5d及結構放大部5f放大成藉由中間倍率算出部5c所算出之任一個第2中間放大倍率(例如為第1中間放大倍率次大之放大倍率等)的骨架成分及結構成分,而生成新的第2中間放大影像。
此處,進行藉由中間影像生成部5g生成新的第2中間放大影像直到藉由中間倍率算出部5c所算出之至少一個的第2中間放大倍率全部被使用為止。
最後影像生成部5h合成最後放大骨架成分與最後放大結構成分,而生成最後放大影像(例如,最後放大影像Gf;參照第5圖(a))。
亦即,最後影像生成部5h合成藉由過濾處理部5e實施指定之過濾處理所生成的最後放大骨架成分、與藉由結構放大部5f放大成最後放大倍率之最後放大結構成分,而生成最後放大影像。
此處,最後影像生成部5h係構成最後影像生成手段,其合成藉由骨架放大部5d及過濾處理部5e所生成之最後放大骨架成分、及藉由結構放大部5f所生成之最後放大結構成分,而生成最後放大影像。
顯示控制部6進行讀出暫時記憶於記憶體4之顯示用的影像資料而顯示於顯示部7之控制。
具體而言,顯示控制部6具備VRAM、VRAM控制器、數位視頻編碼器等。並且,數位視頻編碼器經由VRAM控制器,從VRAM定期讀出在中央控制部10之控制下從記憶體4讀出而記憶於VRAM(省略圖示)的亮度信號Y及色差信號Cb、Cr,按照此等資料產生視頻信號而輸出至顯示部7。
顯示部7例如係液晶顯示裝置,依據來自顯示控制部6之視頻信號,將藉由電子攝像部所拍攝之影像等顯示於顯示畫面上。具體而言,顯示部7在靜態影像攝像模式或動態影像攝像模式,以指定之幀率逐次更新藉由攝像部1拍攝被攝物所生成之複數個影像幀,而顯示實景(live view)影像。此外,顯示部7顯示記錄於記錄媒體8之複數個影像資料中,依據使用者對操作輸入部9之指定操作而顯示指示的影像資料。
記錄媒體係8例如由非揮發性記憶體(快閃記憶體)等構成,記憶藉由影像處理部5之編碼部(省略圖示)以指定之壓縮形式所編碼之記錄用的靜態影像資料或由複數個影像幀構成的動態影像資料。
操作輸入部9係用於進行該攝像裝置100之指定操作者。具體而言,操作輸入部9具備涉及被攝物之攝影指示的快門按鈕、涉及攝像模式或功能等之選擇指示的選擇確定按鈕、及涉及變焦量之調整指示的變焦按鈕等(均省略圖示),按照此等按鈕之操作而將指定之操作信號輸出至中央控制部10。
此外,操作輸入部9之選擇確定按鈕係於影像播放模式下,依據使用者之指定操作,而輸入顯示於顯示部7之原影像(處理對象影像)的放大倍率(最後放大倍率)之設定指示。並且,操作輸入部9按照該選擇確定按鈕之操作,將指定之設定信號輸出至中央控制部10。
中央控制部10按照所輸入之設定信號,設定使用者希望之影像的放大倍率。
此處,操作輸入部9及中央控制部10係構成指定手段,其指定處理對象影像(原影像)之最後放大倍率。
另外,最後放大倍率並非限於正整數(例如「8倍」或「25倍」等)者,亦可為正的小數或分數。
中央控制部10係控制攝像裝置100之各部者。具體而言,中央控制部10具備CPU(省略圖示),按照攝像裝置100用之各種處理程式(省略圖示)進行各種控制動作。
其次,就藉由攝像裝置100之影像放大處理,參照第2圖及第3圖作說明。
第2圖及第3圖係顯示影像放大處理之動作的一例之流程圖。
影像放大處理係依據使用者對操作輸入部9之選擇確定按鈕的指定操作從顯示於選單畫面之複數個攝像模式中選擇指示影像播放模式時所執行的處理。
如第2圖所示,首先,依據使用者對操作輸入部9之選擇確定按鈕的指定操作而從記錄於記錄媒體8之至少一個影像資料中指定任一個影像資料時,影像處理部5之影像取得部5a取得使用者所指定之影像資料作為處理對象影像(步驟S1)。藉此,成為將處理對象影像(例如原影像Go等)顯示於顯示部7的狀態。
其後,依據使用者對操作輸入部9之指定操作,而指定顯示於顯示部7之處理對象影像(例如原影像Go等)的最後放大倍率(例如8倍等)時,操作輸入部9將指定之設定信號輸出至中央控制部10,中央控制部10按照所輸入之設定信號設定使用者希望之影像的最後放大倍率(步驟S2)。
其次,影像處理部5之中間倍率算出部5c將所設定之處理對象影像的最後放大倍率除以指定數,算出至少一個中間放大倍率(步驟S3)。具體而言,例如最後放大倍率設定為「8倍」時,中間倍率算出部5c在「8」之因數的1、2、4中設定「2倍」作為第1中間放大倍率,並設定「4倍」作為第2中間放大倍率。
繼續,影像處理部5之影像分離部5b藉由總變異法從作為處理對象影像之原影像(例如原影像Go等)分離出骨架成分(例如骨架成分Gs等)及結構成分(例如結構成分Gt等)(步驟S4)。
另外,被分離之骨架成分及結構成分分別藉由影像處理部5逐次平行處理、或是逐次按照分離之順序處理,不過以下之說明首先係就骨架成分之處理內容作說明,其後就結構成分之處理內容作說明。
<骨架成分之處理>
首先,影像處理部5之骨架放大部5d藉由指定之放大方法將從原影像(例如原影像Go等)所分離之骨架成分(例如骨架成分Gs等)放大成第1中間放大倍率(例如「2倍」)(步驟S51A)。
其次,影像處理部5之過濾處理部5e進行強調藉由骨架放大部5d所放大之骨架成分的影像邊緣(輪廓)之清晰化處理後(步驟S51B),進行在清晰化處理後之骨架成分之影像邊緣之切線方向與邊緣之垂直方向使加權不同而平滑化的各向異性擴散處理(步驟S51C)。
<結構成分之處理>
影像處理部5複製從原影像(例如原影像Go等)所分離之結構成分(例如結構成分Gt等),暫時記憶於記憶體4後(步驟S52A),結構放大部5f藉由指定之放大方法將從原影像所分離之結構成分放大成第1中間放大倍率(例如「2倍」)(步驟S52B)。
然後,骨架成分之處理及結構成分之處理結束後,影像處理部5之中間影像生成部5g合成過濾處理部5e實施各向異性擴散處理後之骨架成分與藉由結構放大部5f所放大之結構成分,而生成放大成第1中間放大倍率之第1中間放大影像(步驟S6)。
其次,影像處理部5判定藉由中間倍率算出部5c算出之第2中間放大倍率是否有至少一個(步驟S7)。
例如,當最後放大倍率設定成「8倍」而藉由中間倍率算出部5c設定「4倍」作為第2中間放大倍率時,由於有一個第2中間放大倍率,因此在步驟S7判定為有至少一個第2中間放大倍率(步驟S7;是),中間影像生成部5g之再分離部5i藉由總變異法從第1中間放大影像分離骨架成分及結構成分(步驟S8)。
另外,所分離之骨架成分及結構成分分別藉由影像處理部5逐次平行處理、或是逐次按照分離之順序處理,不過以下之說明,首先係就骨架成分之處理內容作說明,其後就結構成分之處理內容作說明。
<骨架成分之處理>
以下說明之從第1中間放大影像分離的骨架成分之處理,除了放大倍率不同之外,與從原影像所分離之骨架成分的處理(步驟S51A~S51C)大略相同。
亦即,首先,影像處理部5之骨架放大部5d藉由指定之放大方法將從第1中間放大影像所分離之骨架成分以原影像比放大成第2中間放大倍率(例如「4倍」)(步驟S91A)。具體而言,例如影像處理部5之骨架放大部5d藉由將從第1中間放大影像所分離之骨架成分放大成「2倍」,而生成以原影像比為「4倍」之第2中間放大倍率的骨架成分。
其次,影像處理部5之過濾處理部5e進行強調藉由骨架放大部5d所放大之骨架成分的影像邊緣(輪廓)之清晰化處理後(步驟S91B),進行在清晰化處理後之骨架成分之影像邊緣之切線方向與邊緣之垂直方向使加權不同而平滑化的各向異性擴散處理(步驟S91C)。
<結構成分之處理>
影像處理部5之結構放大部5f與從原影像所分離之結構成分的處理(步驟S52B)概略同樣地,藉由指定之放大方法將從第1中間放大影像所分離之結構成分以原影像比放大成第2中間放大倍率(例如「4倍」)(步驟S92)。具體而言,例如影像處理部5之結構放大部5f藉由將從第1中間放大影像所分離之結構成分放大成「2倍」,而生成以原影像比為「4倍」之第2中間放大倍率的結構成分。
然後,骨架成分之處理及結構成分之處理結束後,影像處理部5之中間影像生成部5g合成過濾處理部5e實施各向異性擴散處理後之骨架成分與藉由結構放大部5f所放大之結構成分,而生成放大成第2中間放大倍率之第2中間放大影像(步驟S10)。
其次,影像處理部5判定是否有其他之藉由中間倍率算出部5c所算出的第2中間放大倍率(步驟S11)。
在步驟S11判定為有其他之第2中間放大倍率時(步驟S7;是),影像處理部5將處理轉移至步驟S8,並執行其以後之處理。
步驟S8以後之處理,反覆進行直到在步驟S11判定為沒有其他之第2中間放大倍率為止(步驟S11;否)。藉此,影像處理部5將藉由中間倍率算出部5c算出之全部第2中間放大倍率用於處理,最後生成放大成比最後放大倍率次小之第2中間放大倍率的第2中間放大影像。
然後,在步驟S11判定為沒有其他之第2中間放大倍率時(步驟S11;否),影像處理部5就骨架成分及結構成分分別個別進行處理。此外,在步驟S7,判定為第2中間放大倍率並非至少一個時(步驟S7;否),影像處理部5就骨架成分及結構成分分別個別進行處理。
另外,骨架成分及結構成分分別藉由影像處理部5同時或是按照分離之順序逐次處理,不過以下之說明,首先係就骨架成分之處理內容作說明,其後就結構成分之處理內容作說明。
<骨架成分之處理>
首先,影像處理部5之影像分離部5b藉由總變異法,從第2中間放大影像分離骨架成分(步驟S121A)。
其次,與從第1中間放大影像所分離之骨架成分的處理(步驟S91A)大略同樣地,影像處理部5之骨架放大部5d藉由指定之放大方法將從第2中間放大影像所分離之骨架成分以原影像比放大成最後放大倍率(例如「8倍」)(步驟S121B)。具體而言,例如影像處理部5之骨架放大部5d藉由將從第2中間放大影像所分離之骨架成分放大成「2倍」,而生成以原影像比為「8倍」之最後放大倍率的骨架成分。
其次,與從第1中間放大影像所分離之骨架成分的處理(步驟S91B~S91C)大略同樣地,影像處理部5之過濾處理部5e進行強調藉由骨架放大部5d所放大之骨架成分的影像邊緣(輪廓)之清晰化處理後(步驟S121C),進行在清晰化處理後之骨架成分之影像邊緣之切線方向與邊緣之垂直方向使加權不同而平滑化的各向異性擴散處理(步驟S121D)。
然後,將各向異性擴散處理後之骨架成分作為最後放大骨架成分。
<結構成分之處理>
影像處理部5從記憶體4取得從原影像(例如原影像Go等)所分離之結構成分(例如結構成分Gt等)的複製後(步驟S122A),結構放大部5f藉由指定之放大方法將從原影像所分離之結構成分放大成最後放大倍率(例如「8倍」),而生成最後放大結構成分(步驟S122B)。
然後,骨架成分之處理及結構成分之處理結束後,影像處理部5之最後影像生成部5h合成最後放大骨架成分與最後放大結構成分,而生成放大成最後放大倍率(例如「8倍」)之最後放大影像(例如,最後放大影像Gf;參照第5圖(a))(步驟S13)。
藉此,結束影像放大處理。
如以上所述,本實施形態之攝像裝置100係使用總變異法,從原影像(例如原影像Go等)分離骨架成分(例如骨架成分Gs等)及結構成分(例如結構成分Gt等)。將各個成分放大成中間放大倍率,合成放大之骨架成分及結構成分而生成中間放大影像。再合成將從中間放大影像藉由總變異法所分離之骨架成分放大成最後放大倍率所生成之最後放大骨架成分、與將原影像之結構成分放大成最後放大倍率所生成之最後放大結構成分,而生成最後放大影像(例如最後放大影像Gf;參照第5圖(a))。如此可生成藉由實質地重疊加入結構成分以強調細緻圖型(結構)且雜訊不明顯之最後放大影像。
亦即,在中間放大影像之生成階段及最後放大影像之生成階段,分別藉由加入合成包含細緻圖型(結構)之結構成分,可使各影像強調細緻之圖型。此外,藉由將骨架成分放大不只一次,而係階段性放大成指定之最後放大倍率,比藉由先前方法所放大之影像(例如影像Ge等;參照第5圖(b))更可抑制畫質劣化,而謀求高精細化。結果可生成更高精細之最後放大骨架成分,可使合成該最後放大骨架成分與包含雜訊之最後放大結構成分而生成的最後放大影像(例如最後放大影像Gf)中產生的雜訊相對不明顯。
因此,即使增大原影像之放大倍率,仍不致如藉由先前方法所放大之影像,因影像邊緣模糊或雜訊增大而使放大影像之畫質惡化,可強調最後放大影像之影像邊緣而適當謀求該最後放大影像之高精細化。
此外,有至少一個比第1中間放大倍率大之第2中間放大倍率時,本實施形態之攝像裝置100從中間放大影像藉由總變異法再分離骨架成分及結構成分,而將該中間放大影像之骨架成分及結構成分分別放大成任一個第2中間放大倍率。由於合成放大後之骨架成分及結構成分而生成新的中間放大影像,因此即使指定之最後放大倍率大,仍可設定複數個中間放大倍率而複數次生成中間放大影像。藉此,比以一次之最後放大倍率放大時,更可抑制放大影像之畫質劣化,而謀求高精細化,可生成更高精細之最後放大骨架成分。結果可使最後放大影像(例如最後放大影像Gf)中產生之雜訊相對不明顯。
另外,本發明不限定於上述實施形態,在不超出本發明之要旨的範圍內,亦可進行各種改良以及設計之變更。
例如,亦可藉由在原影像中實施數次雙向過濾而獲得骨架影像,從該原影像減去該骨架影像而獲得結構影像。或是亦可使結構影像除了亮度之外亦包含色差。此外,中間放大倍率係設定為第1中間放大倍率與第2中間放大倍率,不過並非限於此者,只要設定至少一個中間放大倍率即可。例如,將最後放大倍率設定為「4倍」等情況下,在「4」之因數的1、2中,僅設定「1」以外之「2倍」作為中間放大倍率。
此外,攝像裝置100之構成,在例示於上述實施形態者僅為一例,並非限於此者。例如,亦可為一影像處理裝置,其係藉由與該攝像裝置100不同之攝像裝置進行處理對象影像之攝像,取得從該攝像裝置轉送之處理對象影像的影像資料,進行影像放大處理。
另外,上述實施形態之構成係藉由中央控制部10、操作輸入部9、影像處理部5之影像取得部5a、影像分離部5b、骨架放大部5d、結構放大部5f、中間影像生成部5g及最後影像生成部5h驅動而實現作為取得手段、指定手段、第1分離手段、中間影像生成手段、第2分離手段、骨架放大手段、結構放大手段、最後影像生成手段之功能,不過並非限於此者,其構成亦可藉由中央控制部10之CPU執行指定之程式等而實現。
亦即,係在記憶程式之程式記憶體4(省略圖示)中預先記憶包含取得處理常式、指定處理常式、第1分離處理常式、中間影像生成處理常式、第2分離處理常式、骨架放大處理常式、結構放大處理常式、最後影像生成處理常式之程式。而後,亦可藉由取得處理常式,使中央控制部10之CPU作為取得影像之取得手段的功能。此外,亦可藉由指定處理常式,使中央控制部10之CPU作為指定藉由取得手段所取得之原影像的最後放大倍率之指定手段的功能。此外,亦可藉由第1分離處理常式,使中央控制部10之CPU作為從藉由取得手段所取得之原影像分離骨架成分及結構成分的第1分離手段之功能。此外,亦可藉由中間影像生成處理常式,使中央控制部10之CPU作為將藉由第1分離手段所分離之原影像的骨架成分及結構成分,分別放大成比最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像的中間影像生成手段之功能。此外,亦可藉由第2分離處理常式,使中央控制部10之CPU作為從藉由中間影像生成手段所生成之中間放大影像分離骨架成分的第2分離手段之功能。此外,亦可藉由骨架放大處理常式,使中央控制部10之CPU作為將藉由第2分離手段所分離之中間放大影像的骨架成分放大成最後放大倍率,而生成最後放大骨架成分之骨架放大手段的功能。此外,亦可藉由結構放大處理常式,使中央控制部10之CPU作為將藉由第1分離手段所分離之原影像的結構成分放大成最後放大倍率,而生成最後放大結構成分之結構放大手段的功能。此外,亦可藉由骨架放大處理常式,使中央控制部10之CPU作為合成藉由骨架放大手段所生成之最後放大骨架成分、與藉由結構放大手段所生成之最後放大結構成分而生成最後放大影像的最後影像生成手段之功能。
1...攝像部
2...攝像控制部
3...影像資料生成部
4...記憶體
5...影像處理部
5a...影像取得部
5b...影像分離部
5c...中間倍率算出部
5d...骨架放大部
5e...過濾處理部
5f...結構放大部
5g...中間影像生成部
5h...最後影像生成部
5i...再分離部
6...顯示控制部
7...顯示部
8...記錄媒體
9...操作輸入部
10...中央控制部
100...攝像裝置
Go...原影像
Gs...骨架成分
Gt...結構成分
Ge...影像
Gf...最後放大影像
Y...亮度信號
Cb、Cr...色差信號
第1圖係顯示適用本發明之一種實施形態的攝像裝置之概略構成的區塊圖。
第2圖係顯示藉由第1圖之攝像裝置進行影像放大處理之動作的一例之流程圖。
第3圖係顯示繼續第2圖之影像放大處理的流程圖。
第4圖係模式顯示用於說明第2圖之影像放大處理的影像之一例圖。
第5圖係模式顯示用於說明第2圖之影像放大處理的影像之一例圖。
1...攝像部
2...攝像控制部
3...影像資料生成部
4...記憶體
5...影像處理部
5a...影像取得部
5b...影像分離部
5c...中間倍率算出部
5d...骨架放大部
5e...過濾處理部
5f...結構放大部
5g...中間影像生成部
5h...最後影像生成部
5i...再分離部
6...顯示控制部
7...顯示部
8...記錄媒體
9...操作輸入部
10...中央控制部
100...攝像裝置

Claims (5)

  1. 一種影像處理裝置,其特徵為具備:取得手段,其取得原影像;指定手段,其指定藉由該取得手段所取得之原影像的最後放大倍率;第1分離手段,其從藉由前述取得手段所取得之原影像分離骨架成分及結構成分,該骨架成分包含表現出處理對象影像內之物件的形狀及大小的邊緣部和平坦部,該結構成分包含表現出處理對象影像內之物件的亮度變化差異之精細部分的細緻圖型;中間影像生成手段,其將藉由該第1分離手段所分離之前述原影像的骨架成分及結構成分,分別放大成比前述最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像;第2分離手段,其從藉由該中間影像生成手段所生成之前述中間放大影像分離骨架成分;骨架放大手段,其將藉由該第2分離手段所分離之前述中間放大影像的骨架成分放大成前述最後放大倍率,而生成最後放大骨架成分;結構放大手段,其將藉由前述第1分離手段所分離之前述原影像的結構成分放大成前述最後放大倍率,而生成最後放大結構成分;及最後影像生成手段,其合成藉由前述骨架放大手段 所生成之前述最後放大骨架成分與藉由前述結構放大手段所生成之前述最後放大結構成分,而生成最後放大影像。
  2. 如申請專利範圍第1項之影像處理裝置,其中更包括算出手段,其將藉由前述指定手段所指定之前述最後放大倍率除以指定數,以算出至少一個前述中間放大倍率,前述中間影像生成手段將前述原影像之骨架成分及結構成分,分別放大成藉由前述算出手段所算出之前述至少一個中間放大倍率。
  3. 如申請專利範圍第2項之影像處理裝置,其中前述中間影像生成手段將前述原影像之骨架成分及結構成分分別放大成藉由前述算出手段所算出之第1中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像,且進一步包括再分離手段,其在至少有一個比藉由前述算出手段所算出之前述第1中間放大倍率大的第2中間放大倍率時,從藉由前述中間影像生成手段所生成之中間放大影像分離骨架成分及結構成分,前述中間影像生成手段進一步將藉由前述再分離手段所分離之前述中間放大影像的骨架成分及結構成分,分別放大成藉由前述算出手段所算出之前述至少一個第2中間放大倍率中任一個第2中間放大倍率,合成放大後 之骨架成分及結構成分而生成新的中間放大影像,進行藉由前述再分離手段之骨架成分及結構成分的分離、以及藉由前述中間影像生成手段之新的中間放大影像的生成,直到藉由前述算出手段所算出之前述至少一個第2中間放大倍率已全部被使用為止。
  4. 一種使用影像處理裝置之影像處理方法,其特徵為執行以下步驟:取得原影像;指定所取得之原影像的最後放大倍率;從取得之原影像分離骨架成分及結構成分,該骨架成分包含表現出處理對象影像內之物件的形狀及大小的邊緣部和平坦部,該結構成分包含表現出處理對象影像內之物件的亮度變化差異之精細部分的細緻圖型;將分離之前述原影像的骨架成分及結構成分分別放大成比前述最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像;從生成之前述中間放大影像分離骨架成分;將分離之前述中間放大影像的骨架成分放大成前述最後放大倍率,而生成最後放大骨架成分;將分離之前述原影像的結構成分放大成前述最後放大倍率,而生成最後放大結構成分;及合成所生成之前述最後放大骨架成分與前述最後放大結構成分而生成最後放大影像。
  5. 一種記憶媒體,係記憶特徵為使影像處理裝置之電腦作為以下手段而發揮功能的程式:取得手段,其取得原影像;指定手段,其指定藉由該取得手段所取得之原影像的最後放大倍率;第1分離手段,其從藉由前述取得手段所取得之原影像分離骨架成分及結構成分,該骨架成分包含表現出處理對象影像內之物件的形狀及大小的邊緣部和平坦部,該結構成分包含表現出處理對象影像內之物件的亮度變化差異之精細部分的細緻圖型;中間影像生成手段,其將藉由該第1分離手段所分離之前述原影像的骨架成分及結構成分,分別放大成比前述最後放大倍率小之中間放大倍率,合成放大後之骨架成分及結構成分而生成中間放大影像;第2分離手段,其從藉由該中間影像生成手段所生成之前述中間放大影像分離骨架成分;骨架放大手段,其將藉由該第2分離手段所分離之前述中間放大影像的骨架成分放大成前述最後放大倍率,而生成最後放大骨架成分;結構放大手段,其將藉由前述第1分離手段所分離之前述原影像的結構成分放大成前述最後放大倍率,而生成最後放大結構成分;及最後影像生成手段,其合成藉由前述骨架放大手段 所生成之前述最後放大骨架成分與藉由前述結構放大手段所生成之前述最後放大結構成分,而生成最後放大影像。
TW099132925A 2009-09-30 2010-09-29 影像處理裝置、影像處理方法及記憶媒體 TWI423165B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009225732A JP4844664B2 (ja) 2009-09-30 2009-09-30 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
TW201120810A TW201120810A (en) 2011-06-16
TWI423165B true TWI423165B (zh) 2014-01-11

Family

ID=43780481

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099132925A TWI423165B (zh) 2009-09-30 2010-09-29 影像處理裝置、影像處理方法及記憶媒體

Country Status (5)

Country Link
US (1) US8401341B2 (zh)
JP (1) JP4844664B2 (zh)
KR (1) KR101204727B1 (zh)
CN (1) CN102034222B (zh)
TW (1) TWI423165B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5152559B2 (ja) * 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2011134204A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JPWO2011111819A1 (ja) * 2010-03-12 2013-06-27 国立大学法人 名古屋工業大学 画像処理装置、画像処理プログラム、および、画像を生成する方法
EP2724316B1 (en) * 2011-06-24 2019-06-19 InterDigital Madison Patent Holdings Method and device for processing of an image
JP2013165476A (ja) 2011-11-11 2013-08-22 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体
JP5884482B2 (ja) 2011-12-28 2016-03-15 Nkワークス株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP2013152583A (ja) * 2012-01-25 2013-08-08 Nagoya Institute Of Technology 画像処理装置
CN104933679B (zh) * 2015-07-06 2018-07-24 福州瑞芯微电子股份有限公司 一种放大图像的方法及其对应系统
CN105744364A (zh) * 2016-01-26 2016-07-06 四川长虹电器股份有限公司 4k超高清液晶电视画面清晰度和对比度的提升方法
CN106875350A (zh) * 2017-01-05 2017-06-20 宇龙计算机通信科技(深圳)有限公司 对模糊图片进行清晰化处理的方法、装置和终端
JP6953183B2 (ja) * 2017-05-24 2021-10-27 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102402639B1 (ko) 2017-11-24 2022-05-26 삼성전자주식회사 전자 장치 및 그의 통신 방법
CN111223049B (zh) * 2020-01-07 2021-10-22 武汉大学 一种基于结构-纹理分解的遥感图像变分融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050083350A1 (en) * 2003-10-17 2005-04-21 Battles Amy E. Digital camera image editor
TW200830217A (en) * 2007-01-08 2008-07-16 Corel Tw Corp Image processing device and method by using differences of different scaled images as layered images
US20080186390A1 (en) * 2006-05-29 2008-08-07 Matsushita Electric Industrial Co., Ltd. Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
US20090135278A1 (en) * 2007-11-22 2009-05-28 Olympus Corporation Image processing device and computer-readable storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1207498A3 (en) 2000-11-15 2003-10-15 Sega Corporation Display object generation method in information processing equipment
JP2003125197A (ja) 2001-10-12 2003-04-25 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP3882585B2 (ja) * 2001-11-07 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
JP4175024B2 (ja) 2002-05-22 2008-11-05 ソニー株式会社 画像表示装置および画像処理装置、並びに画像処理方法
US20060227153A1 (en) * 2005-04-08 2006-10-12 Picsel Research Limited System and method for dynamically zooming and rearranging display items
US20070223834A1 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Method for small detail restoration in digital images
JP4783676B2 (ja) * 2006-05-29 2011-09-28 日本放送協会 画像処理装置及び画像処理プログラム
JP2008054267A (ja) 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
WO2008041178A2 (en) * 2006-10-04 2008-04-10 Koninklijke Philips Electronics N.V. Image enhancement
US8213500B2 (en) * 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
US8233734B2 (en) * 2008-09-22 2012-07-31 Microsoft Corporation Image upsampling with training images
CN101408975A (zh) * 2008-11-28 2009-04-15 哈尔滨工业大学 一种基于边缘置信度的自调整总体变分图像平滑方法
WO2011033619A1 (ja) * 2009-09-16 2011-03-24 パイオニア株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050083350A1 (en) * 2003-10-17 2005-04-21 Battles Amy E. Digital camera image editor
US20080186390A1 (en) * 2006-05-29 2008-08-07 Matsushita Electric Industrial Co., Ltd. Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
TW200830217A (en) * 2007-01-08 2008-07-16 Corel Tw Corp Image processing device and method by using differences of different scaled images as layered images
US20090135278A1 (en) * 2007-11-22 2009-05-28 Olympus Corporation Image processing device and computer-readable storage medium

Also Published As

Publication number Publication date
CN102034222A (zh) 2011-04-27
CN102034222B (zh) 2013-04-10
US8401341B2 (en) 2013-03-19
TW201120810A (en) 2011-06-16
KR20110035981A (ko) 2011-04-06
KR101204727B1 (ko) 2012-11-26
JP4844664B2 (ja) 2011-12-28
JP2011076274A (ja) 2011-04-14
US20110075947A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
TWI423165B (zh) 影像處理裝置、影像處理方法及記憶媒體
US9058640B2 (en) Image processing apparatus, image processing method and recording medium
JP5214476B2 (ja) 撮像装置及び画像処理方法並びにプログラム
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9402037B2 (en) Imaging apparatus, image processing apparatus, and image processing method for generating random special effects
JP2011114823A (ja) 画像処理装置及び撮像装置
JP5589660B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6006390B1 (ja) 撮像システム、画像処理方法
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP5530304B2 (ja) 撮像装置および撮影画像表示方法
JP2010283504A (ja) 撮像装置、撮像方法、および、撮像プログラム
JP2009218895A (ja) 撮像装置及び撮像方法
JP5197064B2 (ja) ビデオカメラ
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2016208118A (ja) 画像処理装置、画像処理方法及びプログラム
JP5191941B2 (ja) 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム
JP2015126299A (ja) 画像処理装置、その制御方法およびプログラム
JP2020092288A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2012018688A (ja) 画像処理装置、画像処理方法及びプログラム
JP5836109B2 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP5594117B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2024021855A (ja) 撮像装置およびその制御方法
JP2009049472A (ja) カメラ