TW201401228A

TW201401228A - 影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體

Info

Publication number: TW201401228A
Application number: TW102116878A
Authority: TW
Inventors: Hitoshi Arai; Shinobu Arai
Original assignee: Nat Inst Japan Science & Technology Agency
Priority date: 2012-05-14
Filing date: 2013-05-13
Publication date: 2014-01-01
Also published as: EP2851866A1; EP2851866A4; JP2016139430A; JP6162283B2; JP2014059916A; JPWO2013172471A1; US20160140698A1; US9292910B2; JP5599520B2; TWI532011B; KR101697634B1; RU2014147957A; RU2628481C2; KR20150008877A; WO2013172471A1; US20150131906A1; CN104285239A; CN104285239B; IL235680A0

Abstract

本發明係對影像資料，藉是無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合且具有次數之廣義風車小框或風車小波框進行多重解析度分解，取得次頻帶信號，在取得根據多重解析度分解之在分解階段之次頻帶信號的處理影像資料、或藉由將多重解析度分解之在合成階段的次頻帶信號相加而再構成影像之處理影像資料的情況，對與濾波器的至少一個對應之多重解析度分解之在分解階段的次頻帶信號進行衰減或放大的處理。

Description

影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體

本發明係有關於影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體。

以往，開發了對原影像進行影像清晰化(sharpness)或邊緣檢測等之影像處理的方法。

例如，在非專利文獻1所記載之程式製品中，揭示為了進行影像清晰化，以檢測出邊緣之亮側的像素並使其更明亮，檢測出邊緣之暗側的像素並使其更暗的方式進行局部性對比控制。

又，在非專利文獻2所記載之方法中，揭示使用最大重複雙正交小波濾波器組作為人之起始視覺資訊處理的數理模型，對灰階之原影像進行非線性處理。

又，以往，作為邊緣檢測之方法，已知有簡單之濾波的方法或使用小波之方法(參照非專利文獻6、7)

[先前技術文獻] [非專利文獻]

[非專利文獻1]Adobe Systems Incorporated“Photoshop之協助及支援/高級之影像清晰化手法”[線上]2006年4月6日製作[2012年5月9日檢索]網際網路<URL:http://www.adobe.com/jp/designcenter/photoshop/articles/phscs2at_advsharpen.html>

[非專利文獻2]Hitoshi Arai“A Nonlinear Model of Visual Information Processing Based on Discrete Maximal Overlap Wavelets”, Interdisciplinary Information Sciences. Vol. 11 No. 2, pp. 177~190 (2005)

[非專利文獻3]Hitoshi Arai and Shinobu Arai. 2D tight framelets with orientation selectivity suggested by vision science, JSIAM Letters Vol. 1, pp. 9~12 (2009)

[非專利文獻4]Hitoshi Arai and Shinobu Arai. Finite discrete, shift-invariant, directional filterbanks for visual information processing, I: construction, Interdisciplinary Information Sciences. Vol. 13 No. 2, pp. 255~273 (2007)

[非專利文獻5]E. N. Johnson, M. J. Hawken and R. Shapley, The spatial transformation of color in the primary visual cortex of the macaque monkey, Nature Neuroscience Vol. 4 No. 4, pp. 409~416 (2001)

[非專利文獻6]P. J. Van Fleet, Discrete Wavelet Transformation Wiley, 2008

[非專利文獻7]R. C. Gonalez and R. E. Woods, Digital Image Processing, 3rd Ed., Pearson International Edition, 2008

可是，以往之影像處理方法有難進行自然之影像清晰化或多樣之邊緣檢測的問題點。

例如，在非專利文獻1所記載之程式製品中，因為一律使邊緣部分之亮度提升或降低，所以有對於對比充分之處亦使其對比極度高至接近黑白而變得不自然的問題點。又，非專利文獻2所記載之方法係對黑白影像作為視錯覺分析之一環所進行者，具有無法應用於彩色影像之清晰化的問題點。

又，在非專利文獻6、7等所記載之以往的邊緣檢測方法中，頻率解析度或方位選擇性不足，具有難因應於目的檢測出多樣之邊緣的問題點。

本發明係鑑於上述之問題點而開發者，其目的在於提供影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體，其係可進行自然之影像清晰化或多樣之邊緣檢測等多樣的影像處理。

為了達成這種目的，本發明之影像處理裝置係至少包括記憶部與控制部之影像處理裝置，其特徵為：該記憶部係包括：濾波器記憶手段，係記憶廣義風車小框或風車小波框，該廣義風車小框或該風車小波框是無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合，且具有次數；及影像資料記憶手段，係記憶影像資料；該控制部係包括：分解手段，係對該影像資料，藉廣義風車小框或風車小波框進行多重解析度分解，取得次頻帶信號；及處理影像取得手段，係取得藉該分解手段所取得之根據該多重解析度分解之在分解階段之該次頻帶信號的處理影像資料、或藉由將該多重解析度分解之在合成階段的該次頻帶信號相加而再構成影像之處理影像資料；該分解手段係更包括處理手段，該處理手段係進行使與該濾波器的至少一個對應之該多重解析度分解之在該分解階段的該次頻帶信號衰減或放大的處理。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係對在該分解階段之該次頻帶信號進行線性或非線性的係數處理。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係對在該分解階段之該次頻帶信號進行臨限值處理。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係以以下方式進行係數處理：構成在該分解階段的該次頻帶信號之分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係使與複數個該濾波器中具有既定頻率特性及/或既定方位性之該濾波器的至少一個對應之在該分解階段的該次頻帶信號衰減或放大。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該既定頻率特性係藉以該廣義風車小框或該風車小波框之在各位準的方位為根據之在既定濾波器配置中的位置及/或在該多重解析度分解之位準所指定。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係使與複數個該濾波器中具有既定頻率特性及/或既定方位性之奇型濾波器的至少一個對應之在該分解階段的該次頻帶信號相對地放大。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係亦可除了使與複數個該濾波器中具有既定頻率特性及/或既定方位性之奇型濾波器的至少一個對應之在該分解階段的該次頻帶信號放大以外，還使與偶型濾波器的至少一個對應之在該分解階段的該次頻帶信號相對地衰減。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該處理手段係藉由對從該分解階段所輸出之分解細部係數及/或分解近似係數進行處理，使在該分解階段的該次頻帶信號衰減或放大。

又，本發明之影像處理方法係在至少包括記憶部與控制部之影像處理裝置所執行的影像處理方法，該記憶部係包括：濾波器記憶手段，係記憶廣義風車小框或風車小波框，該廣義風車小框或該風車小波框係無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合，且具有次數；及影像資料記憶手段，係記憶影像資料；該影像處理方法的特徵為：包含在該控制部所執行之以下的步驟：分解步驟，係對該影像資料，藉廣義風車小框或風車小波框進行多重解析度分解，取得次頻帶信號；及處理影像取得步驟，係取得在該分解步驟所取得之以該多重解析度分解之在分解階段之該次頻帶信號為根據的處理影像資料、或藉由將該多重解析度分解之在合成階段的該次頻帶信號相加而再構成影像的處理影像資料；該分解步驟係更包含處理步驟，該處理步驟係進行使與該濾波器的至少一個對應之該多重解析度分解之在該分解階段的該次頻帶信號衰減或放大的處理。

又，本發明之程式係用以使至少包括記憶部與控制部之影像處理裝置執行影像處理方法的程式，該記憶部係包括：濾波器記憶手段，係記憶廣義風車小框或風車小波框，該廣義風車小框或該風車小波框係無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合，且具有次數；及影像資料記憶手段，係記憶影像資料；該程式係在該控制部，用以執行以下之步驟的程式，分解步驟，係對該影像資料，藉廣義風車小框或風車小波框進行多重解析度分解，取得次頻帶信號；及處理影像取得步驟，係取得在該分解步驟所取得之以該多重解析度分解之在分解階段之該次頻帶信號為根據的處理影像資料、或藉由將該多重解析度分解之在合成階段的該次頻帶信號相加而再構成影像之處理影像資料；該程式之特徵為：在該分解步驟，更執行處理步驟，該處理步驟係進行使與該濾波器的至少一個對應之該多重解析度分解之在該分解階段的該次頻帶信號衰減或放大的處理。

又，本發明者們係專心檢討的結果，想到如以下所示之事項，而完成本發明。即，人之視覺係本來進行可清楚地看到想看之部分的資訊處理。人係認識各種視錯覺，但是認為那是視覺資訊處理的結果。在此，若數理模型係接近人之視覺資訊處理者，安裝了數理模型之電腦亦應算出視錯覺。因此，本發明者們藉由使用可模擬明暗之視錯覺或顏色之對比視錯覺的數理模型，對原影像實施接近人之視覺的資訊處理，並確認可僅使想看之部分清晰化，以至於完成本發明。

即，本發明之影像處理裝置係至少包括記憶部與控制部之影像處理裝置，其特徵為：該記憶部係包括：濾波器記憶手段，係記憶方位選擇性小波框或方位選擇性濾波器組，該方位選擇性小波框或該方位選擇性濾波器組係無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合；及影像資料記憶手段，係記憶影像資料；該控制部係包括：分解手段，係對該影像資料之各色成分，藉該方位選擇性小波框或該方位選擇性濾波器組進行多重解析度分解，取得次頻帶信號；及再構成手段，係藉由將藉該分解手段所取得之各色成分之在該合成階段的該次頻帶信號相加而再構成影像，並取得再構成影像資料；該分解手段係更包括係數處理手段，該係數處理手段係在該多重解析度分解中的分解階段及合成階段之間，對從該分解階段所輸出之分解細部係數以以下方式進行係數處理：該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該色成分係在CIELAB色空間之L*、a*及b*、或接近人之視覺之色空間的各色成分。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該係數處理手段係對該影像資料之a*及/或b*的色成分進行該係數處理，該係數處理係以以下方式進行修正：從a*及/或b*之該分解細部係數與在L*之該分解細部係數所決定的能量愈大，將絕對值小的值抑制成愈小，該能量愈小，愈增強絕對值小之值。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該係數處理手段係使用在該分解細部係數之能量大的情況成S字曲線，而在小的情況成N字曲線自動地連續變化的函數，進行該係數處理。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該係數處理手段係在該分解階段與該合成階段之間，使該分解細部係數正常化，並將是已正常化之該分解細部係數即正常化分解細部係數的範數作為該能量，對該正常化分解細部係數進行該係數處理，再對係數處理後之該正常化分解細部係數進行該正常化的逆運算。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該係數處理手段係亦可根據該分解細部係數之符號的差異進行不同的處理。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，該分解手段係使用該方位性由水平方向、垂直方向及對角方向所構成之雙正交的小波濾波器組、或者該方位性為多方向之廣義風車小框或風車小波框，進行該多重解析度分解。

又，本發明之影像處理裝置的特徵為：在上述記載之影像處理裝置，藉該分解手段所進行之該多重解析度分解係最大重複多重解析度分解、最大間拔多重解析度分解、或部分間拔部分重複多重解析度分解。

又，本發明係有關於一種影像處理方法，本發明之影像處理方法係在至少包括記憶部與控制部之影像處理裝置所執行的影像處理方法，該記憶部係包括：濾波器記憶手段，係記憶方位選擇性小波框或方位選擇性濾波器組，該方位選擇性小波框或該方位選擇性濾波器組係無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合；及影像資料記憶手段，係記憶影像資料；該影像處理方法的特徵為：包含在該控制部所執行之以下的步驟：分解步驟，係對該影像資料之各色成分，藉該方位選擇性小波框或該方位選擇性濾波器組進行多重解析度分解，取得次頻帶信號；及再構成步驟，係藉由將在該分解步驟所取得之各色成分之在該合成階段的該次頻帶信號相加而再構成影像，並取得再構成影像資料；該分解步驟係更包含係數處理步驟，該係數處理步驟係在該多重解析度分解中的分解階段及合成階段之間，對從該分解階段所輸出之分解細部係數以以下方式進行係數處理：該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值。

又，本發明係有關於一種程式，本發明之程式係用以使至少包括記憶部與控制部之影像處理裝置執行影像處理方法的程式，該記憶部係包括：濾波器記憶手段，係記憶方位選擇性小波框或方位選擇性濾波器組，該方位選擇性小波框或該方位選擇性濾波器組係無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合；及影像資料記憶手段，係記憶影像資料；該程式係在該控制部，用以執行以下之步驟的程式：分解步驟，係對該影像資料之各色成分，藉該方位選擇性小波框或該方位選擇性濾波器組進行多重解析度分解，取得次頻帶信號；及再構成步驟，係藉由將在該分解步驟所取得之各色成分之在該合成階段的該次頻帶信號相加而再構成影像，並取得再構成影像資料；該程式之特徵為：在該分解步驟，更包含係數處理步驟，該係數處理步驟係在該多重解析度分解中的分解階段及合成階段之間，對從該分解階段所輸出之分解細部係數以以下方式進行係數處理：該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值。

又，本發明係有關於一種記錄媒體，其特徵為：記錄於上述記載之程式。

又，本發明係已印刷處理影像之印刷媒體，其特徵為：該處理影像係構成原影像之藉廣義風車小框或風車小波框所抽出之各成分、或者藉方位選擇性小波框或方位選擇性濾波器組所抽出之各成分中既定的上述成分被衰減或放大。

又，本發明係已記錄用以顯示處理影像之影像資料之電腦可讀取的記錄媒體，其特徵為：該處理影像係構成原影像之藉廣義風車小框或風車小波框所抽出之各成分、或者藉方位選擇性小波框或方位選擇性濾波器組所抽出之各成分中既定的上述成分被衰減或放大。

若依據本發明，對影像資料，藉是無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合之具有次數之廣義風車小框或風車小波框進行多重解析度分解，取得次頻帶信號，在取得根據多重解析度分解之在分解階段之次頻帶信號的處理影像資料、或藉由將多重解析度分解之在合成階段的次頻帶信號相加而再構成影像的處理影像資料時，進行使與濾波器的至少一個對應之多重解析度分解之在分解階段的次頻帶信號衰減或放大的處理。藉此，本發明係具有可進行自然之影像清晰化或多樣之邊緣檢測等多樣之影像處理的效果。因為廣義風車小框或風車小波框係可進行多重解析度分解，具有多樣之頻率特選擇性，並具有多樣之方位選擇性，所以可執行因應於目的之方位的邊緣檢測、或因應於目的之頻率成分的抽出等多樣的影像處理。

又，若依據本發明，因為對在該分解階段之次頻帶信號進行線性或非線性的係數處理，所以藉由對從分解階段所輸出之分解細部係數或分解近似係數應用線性函數或非線性函數等，具有可得到因應於係數值之影像處理結果的效果。

又，若依據本發明，因為對在該分解階段之次頻帶信號進行臨限值處理，所以具有除去臨限值以下之微小的變動或使其衰減，而有效地除去雜訊之效果。

又，若依據本發明，因為以構成在該分解階段的次頻帶信號之分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值的方式進行係數處理，所以具有藉由使用接近人之視覺資訊處理的數理模型，可實施接近人的感覺之自然的影像清晰化之效果。

又，若依據本發明，因為使與複數個該濾波器中具有既定頻率特性及/或既定方位性之濾波器的至少一個對應之在分解階段的次頻帶信號衰減或放大，所以具有可得到使目的之頻率成分或目的之方位成分增減之多樣的影像處理結果之效果。

又，若依據本發明，因為該既定頻率特性係藉根據廣義風車小框或風車小波框之在各位準的方位之在既定濾波器配置中的位置及/或在多重解析度分解之位準所指定，所以具有可指定多樣之頻率特性的效果。

又，若依據本發明，因為使與複數個該濾波器中具有既定頻率特性及/或既定方位性之奇型濾波器的至少一個對應之在該分解階段的次頻帶信號相對地放大，所以具有藉由不經由合成階段而直接輸出，可進行具有立體感之邊緣檢測等的效果。

又，若依據本發明，因為亦可除了使與複數個該濾波器中具有既定頻率特性及/或既定方位性之該奇型濾波器的至少一個對應之在該分解階段的次頻帶信號放大以外，還使與複數個該濾波器中偶型濾波器的至少一個對應之在該分解階段的次頻帶信號相對地衰減，所以具有可進行具有更有效之立體感之邊緣檢測等的效果。

又，若依據本發明，因為藉由對從該分解階段所輸出之分解細部係數及/或分解近似係數進行處理，使在分解階段的次頻帶信號衰減或放大，所以具有藉由執行因應於係數值之影像處理而可得到多樣之影像處理結果的效果。

又，若依據本發明，記憶是無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合之方位選擇性小波框或方位選擇性濾波器組、與影像資料，並對影像資料之各色成分，進行藉方位選擇性小波框或方位選擇性濾波器組之多重解析度分解，取得次頻帶信號，在藉由將各色成分之在合成階段的次頻帶信號相加而再構成影像，並取得處理影像資料的情況，在多重解析度分解中的分解階段及合成階段之間，對從分解階段所輸出之分解細部係數，以該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值的方式進行係數處理。藉此，本發明係具有可對彩色影像進行自然之影像清晰化的效果。更具體而言，本發明係藉由使用接近人之視覺資訊處理的數理模型，可對彩色影像實施接近人的感覺之自然的影像清晰化。

又，若依據本發明，作為該色成分，使用在CIELAB色空間之L*、a*及b*、或接近人之視覺之色空間的各色成分。藉此，本發明係具有可進行接近人的感覺之自然的影像處理之效果。

又，若依據本發明，對該影像資料之a*及/或b*的色成分，以修正成從a*及/或b*之該分解細部係數與在L*之該分解細部係數所決定的能量愈大，將絕對值小的值抑制成愈小，該能量愈小，愈增強絕對值小之值的方式進行該係數處理。藉此，具有可進行使亮度之效果與顏色之效果進行協同作用之對人的視覺自然之清晰化的效果。

又，若依據本發明，使用在該分解細部係數之能量大的情況成S字曲線，而在小的情況成N字曲線自動地連續變化的函數，進行該係數處理。藉此，本發明係具有可使用從S字曲線自動地連續變化成N字曲線的函數適當地進行係數處理之效果，而該係數處理係該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數之能量愈小，愈增強絕對值小之值。更具體而言，藉由使用在周圍之刺激大的情況使分解細部係數之不均變大，而在周圍之刺激小的情況使分解細部係數之不均變小的函數，因為在周圍之刺激大的情況小的刺激被減弱，而在周圍之刺激小的情況即使小的刺激亦被察覺到，所以可自動地進行對各影像適當的清晰化。

又，若依據本發明，在該分解階段與該合成階段之間，使該分解細部係數正常化，並將是已正常化之該分解細部係數之正常化分解細部係數的範數作為該能量，對該正常化分解細部係數進行該係數處理，再對係數處理後之該正常化分解細部係數進行該正常化的逆運算。藉此，本發明係具有藉正常化在函數處理或能量計算等上可使係數變成易處理之效果。

又，若依據本發明，因為亦可根據該分解細部係數之符號的差異進行不同的處理，所以具有可進行接近人之視覺之自然的清晰化、或反之補償人之視覺之自然的清晰化等微細之清晰化的效果。

又，若依據本發明，使用該方位性由水平方向、垂直方向及對角方向所構成之雙正交的小波濾波器組、或者該方位性為多方向之廣義風車小框或風車小波框，進行該多重解析度分解。藉此，本發明係具有可使雙正交之小波濾波器組進行簡單的計算、或使用廣義風車小框或風車小波框進行精密之計算的效果。

又，若依據本發明，因為該多重解析度分解係最大重複多重解析度分解、最大間拔多重解析度分解、或部分間拔部分重複多重解析度分解，所以可進行適當之多重解析度分解，取得分解細部係數，進而因為不僅高頻成分，而且連低頻成分亦被多重解析度地處理，所以不是僅加強邊緣之清晰化，而具有可進行自然之清晰化的效果。

又，本發明係已記錄用以顯示處理影像之影像資料之電腦可讀取的記錄媒體或已印刷處理影像之印刷媒體，因為構成原影像之藉廣義風車小框或風車小波框所抽出之各成分、或者藉方位選擇性小波框或方位選擇性濾波器組所抽出之各成分中既定成分被衰減或放大，所以在任意之原影像，可提示已實施自然之影像清晰化或各式各樣之邊緣檢測等多樣之影像處理的處理影像。

100‧‧‧影像處理裝置

102‧‧‧控制部

102a‧‧‧分解部

102b‧‧‧係數處理部

102c‧‧‧處理影像取得部

102d‧‧‧再構成部

102f‧‧‧色空間變換部

102g‧‧‧處理影像輸出部

104‧‧‧通訊控制介面部

106‧‧‧記憶部

106a‧‧‧小框檔案

106b‧‧‧影像資料檔案

108‧‧‧輸出入控制介面部

112‧‧‧輸入裝置

114‧‧‧輸出裝置

200‧‧‧外部系統

300‧‧‧網路

第1圖係表示應用本實施形態之影像處理裝置的構成之一例的方塊圖。

第2圖係表示將次數5之位準1與位準2之最大重複風車小框近似濾波器對次數5之位準3之最大重複風車小框濾波器進行循環相關積所得之濾波器的圖。

第3圖係表示將位準1之最大重複風車小框近似濾波器對次數7之位準2(高頻側)之最大重複風車小框濾波器進行循環相關積所得之濾波器的圖。

第4圖係表示將位準1與位準2之最大重複風車小框近似濾波器對次數7之位準3(低頻側)之最大重複風車小框濾波器進行循環相關積所得之濾波器的圖。

第5圖係在次數7、位準k之風車小框，以a_k(1)表示近似部分、並以d_k(1)~d_k(99)之記號(編號)表示細部部分的圖。

第6圖係表示本實施形態之影像處理裝置100的基本處理之一例的流程圖。

第7圖係表示最大重複多重解析度分解之濾波器組之一例的圖。

第8圖係表示最大重複多重解析度分解之濾波器組之一例的圖。

第9圖係表示本實施形態之影像處理裝置100的彩色影像清晰化處理之一例的流程圖。

第10圖係表示最大重複多重解析度分解之分解階段及合成階段的濾波器組之一例的圖。

第11圖係表示伴隨正常化之分解細部係數的係數處理之一例的流程圖。

第12圖係將原影像(512×512像素)與本實施形態之清晰化影像及藉習知手法之清晰化影像對比所表示的圖。

第13圖係在第12圖之各相片，表示從左第400個像素之行的L*之值的圖形。

第14圖係在第12圖之各相片，表示從左第400個像素之行的a*之值的圖形。

第15圖係在第12圖之各相片，表示從左第400個像素之行的b*之值的圖形。

第16圖係表示顏色之對比視錯覺影像之一例的圖。

第17圖係表示在第16圖之原影像的內側四角部分(在原影像A與B共同)、是原影像A之影像處理結果之處理影像A的內側四角部分、及是原影像B之影像處理結果之處理影像B的內側四角部分的圖。

第18圖係表示顏色之對比視錯覺影像之別的例子的圖。

第19圖係表示在第18圖之原影像的內側四角部分(在原影像C與D共同)、是原影像C之影像處理結果之處理影像C的內側四角部分、及是原影像D之影像處理結果之處理影像D的內側四角部分的圖。

第20圖係表示顏色之對比視錯覺影像之其他的例子的圖。

第21圖係表示在第20圖之原影像的內側四角部分(在原影像E與F共同)、是原影像E之影像處理結果之處理影像E的內側四角部分、及是原影像F之影像處理結果之處理影像F的內側四角部分的圖。

第22圖係用以說明在本實施例所使用之硬體臨限值的圖形。

第23圖係在本實施例所使用之加入雜訊之前的原影像。

第24圖係表示對在第23圖之原影像加入高斯型白色雜訊之雜訊影像的圖。

第25圖係在以往之藉小波的雜訊除去方法作為小波使用小片4的處理影像。

第26圖係第25圖之部分放大圖。

第27圖係根據本實施形態使用5次之風車小框所得的處理影像。

第28圖係第27圖之部分放大圖。

第29圖係根據本實施形態使用7次的風車小框對各濾波器改變臨限值之情況所得的處理影像。

第30圖係表示第29圖之部分放大圖。

第31圖係以斜線表示以位準2進行臨限值處理之細部係數的圖。

第32圖係根據本實施形態使用7次的風車小框從位準1至位準2的高頻部分進行臨限值處理後的處理影像。

第33圖係表示第32圖之部分放大圖。

第34圖係表示在本實施例為了邊緣檢測所使用之原影像的圖。

第35圖係表示7次之風車小框之在位準1之加權係數的圖。

第36圖係表示7次之風車小框之在位準2之加權係數的圖。

第37圖係表示將藉邊緣檢測例1所得之處理影像截斷後之影像的圖。

第38圖係表示在t=1已二值化之處理影像的圖。

第39圖係表示7次之風車小框之在位準1之加權係數的圖。

第40圖係表示7次之風車小框之在位準2之加權係數的圖。

第41圖係表示邊緣檢測例2之截斷處理影像的圖。

第42圖係表示邊緣檢測例2之二值化處理影像的圖。

第43圖係表示將進行截斷處理而已變成15倍之處理影像與原影像相加之影像的圖。

第44圖係表示次數5之風車小框之在分解階段的52個次頻帶信號之編號的圖。

第45圖係表示對雜訊除去結果所得之處理影像以二值化方法(t=0.37)所顯示之影像的圖。

第46圖係表示藉截斷處理影像之方法(m1=0、m2=1)所顯示之影像的圖。

第47圖係表示7次之風車小框之在位準1之加權係數的圖。

第48圖係表示7次之風車小框之在位準2之加權係數的圖。

第49圖係表示已進行m1=-4、m2=0之截斷之處理影像的圖。

第50圖係表示已進行m1=-2、m2=0之截斷之處理影像的圖。

第51圖係表示已進行m1=-6、m2=0之截斷之處理影像的圖。

第52圖係表示已以m1=0、m2=255進行截斷處理之結果的圖。

第53圖係表示原影像的圖。

第54圖係表示已進行具有立體感之特徵抽出之結果的圖。

第55圖係表示對已進行具有立體感之特徵抽出的輸出影像，使灰階反轉後所顯示之影像的圖。

第56圖係表示將位準1之最大重複風車小框近似濾波器對次數7之位準2之最大重複風車小框濾波器(maximal overlap pinwheel framelet filters at level 2)進行循環相關積所得之濾波器的圖。

第57圖係表示已對測試影像藉次數7之風車小框進行位準2之最大重複多重解析度分解(2nd stage of maximal overlap MRA decomposition by pinwheel framelet)的結果之各合成次頻帶信號的圖。

[實施發明之形態]

以下，根據圖面，詳細說明本發明之影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體的實施型態。此外，本發明不受本實施形態所限定。例如，作為本實施形態之影像處理的例子，就將本實施形態之影像處理用於彩色影像之影像清晰化、或雜訊除去、邊緣檢測等的用途的例子進行說明，但是本發明係未限定如此，亦可將本發明應用於影像清晰度、輪廓加強、對比調整、顏色修正、特徵抽出、圖形識別、凹下視錯覺自動產生等各種的目的。

[影像處理裝置的構成]

其次，參照第1圖，說明本影像處理裝置的構成。第1圖係表示應用本實施形態之影像處理裝置的構成之一例的方塊圖，僅示意地表示該構成中與本實施形態相關的部分。

在第1圖，影像處理裝置100係大致上包括控制部102、通訊控制介面部104、輸出入控制介面部108及記憶部106。在此，控制部102係統籌地控制影像處理裝置100之整體的CPU等。輸出入控制介面部108係與輸入裝置112或輸出裝置114連接的介面。又，記憶部106係儲存各種資料庫或表格等的裝置。這些影像處理裝置100之各部係經由任意的通訊路連接成可通訊。

記憶部106所儲存之各種檔案(小框檔案106a及影像資料檔案106b)係固定碟片裝置等之儲存手段。例如，記憶部106儲存在各種處理所使用之各種的程式、表格、檔案、資料庫及網頁等。

這些記憶部106之各構成元件中，小框檔案106a係記憶無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合，即方位選擇性小波框或方位選擇性濾波器組的濾波器記憶手段。此外，在本實施形態，「小波」係未限定為古典之小波、或狹義之小波等，亦包含廣義之小波。例如，小波係有限長度波形、或者伴隨從0放大後迅速地收歛至0之振幅之波樣的振動，作為一例，包含如加柏(Gabor)濾波器、小曲線(curvelets)之擬小波。

在此，在本實施形態，有時使用風車小框(pinwheel framelet)(參照後述之項目「風車小框」)，作為可表現為具有多樣之頻率特性或方位性且具有緊緻台之可微分的函數之FIR濾波器，但是未限定如此，例如亦可使用簡單風車小框(simple pinwheel framelet)(參照非專利文獻3)、變更風車小框之定義數學式(例如在項目「風車小框」後述之數學式F¹ _k,l(θ1,θ2)或數學式F² _k,l(θ1,θ2))之項的係數及/或指數所得之小框、變更構成簡單風車小框之濾波器的頻率響應函數之項(「非專利文獻3」)的係數所得之小框等。將這些及(上述之狹義的)風車小框總稱為廣義風車小框。在此，「廣義風車小框」係無方位性之近似濾波器、及具有各方位性之複數個細部濾波器的集合，並是具有次數之濾波器組。換言之，風車小框、在「非專利文獻3」所導入之簡單風車小框及對那些小框之濾波器施加修正後者稱為「廣義風車小框」。廣義風車小框係具有方位選擇性之二維小框。又，廣義風車小框係具有可多重解析度分解、具有多樣之方位選擇性、及由有限長度之濾波器所構成之濾波器組的性質。此外，風車小框係在反映更接近在人腦內之視錯覺資訊處理的特性上與簡單風車小框不同，具有更優異的功能，且構成方法亦大為相異。

又，在本實施形態，亦可使用風車小波框(pinwheel wavelet frame)(參照非專利文獻4)。

作為一例，風車小框係對人之視覺皮質之簡單細胞所進行的資訊處理進行數理模型化者。該分解係在人腦內藉簡單細胞所分解之信號的數理模型。風車小框具有次數，次數為3以上之奇數，因為次數愈大，可檢測出更多的方位，所以可製作多樣的檔案。此外，具有濾波器之個數隨之變多，計算時間亦增加的性質。又，作為一例，次數n之風車小框的濾波器數成為(n+1)²+(n-1)²。其中，一個濾波器係近似濾波器，其餘之濾波器係細部濾波器。在此，第2圖係將次數5之位準1與位準2之最大重複風車小框近似濾波器對次數5之位準3之最大重複風車小框濾波器進行循環相關積所得的濾波器(關於循環相關積，例如參照新井仁之著「線性代數基礎與應用」日本評論社股份有限公司(2006年))。此外，風車小框為在神經科學上，比簡單風車小框更接近大腦皮質V1區之簡單細胞的模型。

因為該風車小框係次數5，所以例如如第2圖所示，由對各位準將左側之6×6個濾波器與右側之4×4個濾波器合在一起，由共計52個濾波器的集合所構成。其中，第2圖之中央上部之以黑矩形所包圍的一個係藉從位準1至位準3之近似濾波器的循環相關積所得之濾波器，其他的51個濾波器係將從位準1至位準2之近似濾波器對位準3之細部濾波器進行循環相關積所得之濾波器。從細部濾波器所製作之該濾波器的方位性係以僅由近似濾波器所製作之濾波器為中心，大致在風車之轉動方向上排列。此外，如後面之詳述所示，在藉各次數之風車小框所進行的最大重複多重解析度分解具有位準，位準1係檢測出最微細的部分(高頻部分)。第2圖係位準3之風車小框，隨著位準變大成2、3、…，檢測出概略的部分(低頻部分)。此外，亦可小框檔案106a係以函數的形式(小框濾波器之頻率響應函數等)記憶風車小框等之方位選擇性小波框。關於函數之具體例將後述。

此外，不受上述所限定，在本實施形態中亦可使用各種的小波。但，在本實施形態，為了使多樣之頻率成分或方位成分增減，適合使用具有多樣之頻率成分或方位性的廣義風車小框或風車小波框。在此，小波係未限定為古典之小波、或狹義之小波等，亦包含廣義之小波。例如，小波係有限長度波形、或者伴隨從0放大後迅速地收歛至0之振幅之波樣的振動，作為一例，包含如加柏(Gabor)濾波器、小曲線(curvelets)之擬小波。又，小框檔案106a係未限定為如方位選擇性小波框的框，亦可記憶方位性濾波器組等之濾波器群或具有方位性的濾波器。具有各方位性的濾波器係作為一例，是具有方位性的複數個細部濾波器，例如，藉濾波器抽出次頻帶信號等的成分。此外，相對風車小波框係所構成之濾波器的長度因應於原影像之像素數來變化，而廣義風車小框係具有濾波器的長度與像素數無關的性質。例如，風車小框係具有方位選擇性之二維小框，是小波框的一種。又，未限定為方位性為多方向的風車小框，亦可使用方位性由水平方向、垂直方向及對角方向所構成之雙正交的小波濾波器組。

又，影像資料檔案106b係記憶影像資料之影像資料記憶手段。在此，影像資料檔案106b所記憶之影像資料係亦可是預先對各色成分記述色調或階度(gradation)值等的影像資料，亦可是未藉在本實施形態所使用之色成分記述的影像資料。此外，在後者的情況，藉後述之色空間變換部102f變換成所要之色空間後，分解成各色成分。又，影像資料檔案106b所記憶之影像資料係亦可是經由輸入裝置112所輸入之影像資料，亦可是從外部系統200等經由網路300所接收之影像資料。又，影像資料係亦可是彩色影像的圖像資料，亦可是灰階的圖像資料。此外，將藉風車小框等之方位選擇性小波框進行多重解析度分解之前之原來的影像(資料)稱為原影像(資料)，將根據次頻帶信號再構成後的影像(資料)稱為再構成影像(資料)。又，對多重解析度分解之在分解階段的次頻帶信號施加處理後的影像(資料)、或藉由將多重解析度分解之在合成相的次頻帶信號相加而再構成的影像(資料)稱為處理影像(資料)。即，後者的處理影像(資料)係再構成影像(資料)的一形態，而前者之處理影像(資料)不是再構成影像(資料)。為了明確地區別兩者，以下，有時將前者之處理影像(資料)稱為「係數輸出處理影像(資料)」，將後者之處理影像(資料)稱為「再構成處理影像(資料)」。在此，亦可影像資料檔案106b係記憶與目的之原影像的影像資料相同之影像大小(像素數)的單位脈衝信號，作為影像資料。此外，影像資料檔案106b所記憶之單位脈衝信號係作為影像資料，一樣地輸入至小框檔案106a所記憶之濾波器組，所輸出之單位脈衝響應係為了高速計算目的之原影像的影像資料所使用。此外，影像資料係例如光柵形式或向量形式的二維影像資料等。又，影像係作為一例，亦可是表示設計(創意)、相片、文字等之任意的影像。又，影像係未限定為靜止影像，亦可是動態影像(映像)。

再回到第1圖，輸出入控制介面部108控制輸入裝置112或輸出裝置114。在此，作為輸出裝置114，可使用監視器(包含家用電視)等之顯示裝置、或列表機等之印刷裝置等。又，作為輸入裝置112，係除了相機等之攝像裝置、與外部記憶媒體連接之輸入裝置等以外，還可使用鍵盤、滑鼠及麥克風等。

又，在第1圖，控制部102具有OS(Operating System)等之控制程式、或規定各種處理步驟等之程式、及用以儲存所要資料之內部記憶體。而且，控制部102係根據這些程式等，進行用以執行各種處理的資訊處理。控制部102係在功能概念上，包括分解部102a、處理影像取得部102c、色空間變換部102f及處理影像輸出部102g。此外，分解部102a係更包括係數處理部102b。又，處理影像取得部102c係更包括再構成部102d。

其中，分解部102a係對影像資料，藉小框檔案106a所記憶之廣義風車小框等之方位選擇性小波框或方位選擇性濾波器組進行多重解析度分解，而取得次頻帶信號的分解手段。在此，次頻帶信號有2種，一種是多重解析度分解之在分解階段的次頻帶信號、另一種是多重解析度分解之在合成階段的次頻帶信號。為了明確地區別兩者，以下有將在分解階段的次頻帶信號稱為「分解次頻帶信號」，並將在合成階段的次頻帶信號稱為「合成次頻帶信號」的情況。在此，「多重解析度分解」包含最大重複多重解析度分解、最大間拔多重解析度分解及部分間拔部分重複多重解析度分解(關於最大重複多重解析度分解，例如參照新井仁之著「小波」共立出版股份有限公司(2010年))。此外，在藉分解部102a計算多重解析度分解時，使用循環相關積、循環迴旋積，但是那些係亦可利用使用高速傅立葉變換之周知的高速計算方法來計算。如上述所示，藉風車小框等之方位選擇性小波框所進行的多重解析度分解係有位準。在此，第3圖及第4圖係用以表示風車小框之位準所造成之差異的圖，第3圖表示將位準1之最大重複風車小框近似濾波器對位準2(高頻側)之最大重複風車小框濾波器進行循環相關積之濾波器，第4圖表示將位準1與位準2之最大重複風車小框近似濾波器對位準3(低頻側)之最大重複風車小框濾波器進行循環相關積之濾波器。此外，因為次數都是7，所以具有(7+1)²+(7-1)²=100個濾波器。

作為一例，分解部102a係首先，藉位準1之風車小框的最大重複多重解析度分解，檢測出最微細的部分(高頻部分)，隨著位準變大成2、3、…，檢測出概略的部分(低頻部分)。

在藉風車小框之多重解析度分解，具有分解階段與合成階段。各階段係利用由近似濾波器與細部濾波器所構成之濾波器組所構成。分解部102a係在執行在分解階段及合成階段之影像處理後，最後將原影像資料分解成「濾波器數×位準」個影像信號(即，合成次頻帶信號)。

例如，在藉次數7的風車小框進行位準5之最大重複多重解析度分解的情況，在某位準k(k=1至5)之次頻帶信號，具有與一個近似濾波器對應的一個近似部分、及與99個細部濾波器對應的99個細部部分。在此，第5圖係在次數7、位準k之風車小框，以a_k(1)表示近似部分、並以d_k(1)~d_k(99)之記號(編號)表示細部部分的圖。此外，記號(編號)的位置係與在第3圖(k=2)或第4圖(k=3)之各濾波器的位置對應。即，a_k(1)及d_k(1)~d_k(99)表示從在第3圖或第4圖之對應之位置的濾波器所取得之次頻帶信號。

在此，分解部102a之係數處理部102b係進行使與複數個濾波器之至少一個對應之多重解析度分解之在分解階段的次頻帶信號(即，分解次頻帶信號)衰減或放大之處理的處理手段。例如，係數處理部102b係亦可對分解次頻帶信號進行線性或非線性的係數處理。作為一例，係數處理部102b係亦可根據硬體臨限值(hard threshold)或軟體臨限值(soft threshold)等來進行臨限值處理。又，係數處理部102b係亦可使與複數個濾波器中具有既定頻率特性及/或既定方位性之濾波器的至少一個對應之分解次頻帶信號衰減或放大。在此，既定頻率特性係藉以廣義風車小框之在各位準的方位為根據之在既定濾波器配置中的位置及/或在多重解析度分解之位準所指定。此外，分解次頻帶信號，係大致分成根據分解細部係數之分解次頻帶信號與根據分解近似係數之分解次頻帶信號這2種，係數處理部102b係亦可對從分解階段所輸出之分解細部係數及/或分解近似係數進行係數處理。此外，「分解細部係數」意指在廣義風車小框之分解階段，藉分解細部濾波器進行濾波所得之係數，「分解近似係數」意指藉分解近似濾波器進行濾波所得之係數。有將藉廣義風車小框之在分解階段的次頻帶信號中由近似係數所構成者稱為「在分解階段之近似次頻帶信號」，將除此以外者稱為「在分解階段之細部次頻帶信號」的情況。此外，以下的表是按照自原影像之影像處理的經過，將術語彙整的一覽表。在使用廣義風車小框以外之方位選擇性小波框或方位選擇性濾波器組的情況亦一樣。

[表：術語一覽表]

原影像

↓<分解階段>

在分解階段之次頻帶信號(分解次頻帶信號)

‧從分解階段所輸出之細部係數(分解細部係數)

‧從分解階段所輸出之近似係數(分解近似係數)

↓<各種處理>

↓→處理影像(係數輸出處理影像)

↓<合成階段>

在合成階段之次頻帶信號(合成次頻帶信號)

‧從合成階段所輸出之細部係數

‧從合成階段所輸出之近似係數

↓<再構成>

處理影像(再構成處理影像)

在此，作為非線性之係數處理的一例，係數處理部102b係亦能以構成分解階段次頻帶信號之分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值的方式進行係數處理。作為一例，係數處理部102b係在多重解析度分解中的分解階段及合成階段之間，對從分解階段所輸出之分解細部係數，以該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值的方式進行係數處理。例如，在分解細部係數之能量大的情況下，係數處理部102b係藉由使該分解細部係數的不均變大，一面絕對值比較小的值係抑制成更小，一面絕對值比較大的值係增強成更大。另一方面，在分解細部係數之能量小的情況下，係數處理部102b係藉由使該分解細部係數的不均變小，一面增強絕對值比較小的值，一面抑制絕對值比較大的值。

在此，在像素數多之影像的情況下，亦可適當地分割該影像，並對各分割影像進行本實施形態的處理。

又，係數處理部102b係在函數處理等之係數處理及/或能量計算，亦可為了使分解細部係數之值變得容易處理，而進行正常化。例如，係數處理部102b係亦可在分解階段與合成階段之間，首先，對分解細部係數取絕對值，使其正常化，再將已正常化之分解細部係數(稱為「正常化分解細部係數」)之平方範數(或者亦可是其他的範數)作為能量。而且，係數處理部102b係亦可因應於所計算之能量，對正常化分解細部係數進行係數處理，再對係數處理後之正常化分解細部係數進行正常化的逆運算，藉此，作為輸入至合成階段之輸入資料。此外，在使用絕對值的情況，在如以下之數學式所示進行逆運算時使符號復原。

x’=sgn(x)z’(在此，x係分解細部係數，z係係數處理後的值，z’係正常化之逆運算結果的值。在此，若x≧0，則sgn(x)=1；若x<0，則sgn(x)=-1。此外，x’係使符號復原後之結果的值。)

此外，係數處理部102b係亦可為了進行因應於能量之大小的係數處理，對能量值設置臨限值，對能量值之各範圍進行相異之係數處理，亦可不對能量值設置臨限值，而藉由以不均因應於能量值而連續地變化的函數進行計算，進行係數處理。在前者的情況，例如，係數處理部102b係亦可使用對能量值之各範圍所設定的函數(例如，羅吉特函數、或對數數學式等)。在後者的情況，例如，係數處理部102b係亦可使用在該分解細部係數之能量大的情況成S字曲線，而在小的情況成N字曲線連續變化的函數(稱為「SN函數」)，進行該係數處理。在此，在以下表示SN函數之一例。此外，數學式1係若α>1，則成為S字曲線；若α=1，則成為直線；若α<1，則成為N字曲線。

z=y^α/{y^α+(1-y)^α}…(數學式1)(在此，y係正常化分解細部係數(0≦y≦1))，α係根據正常化分解細部係數之能量的指數值(0<α)，z係已進行函數處理之正常化分解細部係數。)此外，函數係亦可藉由進行離散化，作成表後使用。

此外，係數處理部102b係亦可如在CIELAB色空間之L*、a*及b*那般對各色成分進行係數處理，但是未限定為獨立地處理各色成分的值，在進行一個色成分之係數處理的情況，亦可根據其他之色成分的值修正係數處理。例如，有腦神經科學上的實驗結果(非專利文獻5)顯示：在人之視覺大腦皮質具有顏色、亮度細胞。係數處理部102b亦可藉由以該實驗結果為依據設計推測了顏色、亮度細胞的數理模型，藉此對影像資料之a*及/或b*的色成分，以修正成從a*及/或b*之分解細部係數與在L*之分解細部係數所決定的能量愈大，將絕對值小的值抑制成愈小，上述之能量愈小，愈增強絕對值小之值的方式進行該係數處理。又，亦可根據分解細部係數之符號的差異進行不同的處理。此外，係數處理部102b係亦可對影像資料之a*及/或b*的色成分，以修正成根據L*之亮度差愈大，愈增加絕對值小之值的方式進行係數處理。

除了這種影像清晰化以外，係數處理部102b係亦可藉使與具有既定頻率特性(決定時之特定的頻率特性)及/或既定方位性(決定時之特定的方位性)之濾波器對應的分解次頻帶信號衰減或放大的加權進行影像處理。係數處理部102b係亦可對藉分解部102a所取得之分解次頻帶信號賦予加權後相加，亦可對以函數形式所記憶之小框濾波器的頻率響應函數進行加權，然後，亦可導出各濾波器係數，或者亦可預先以既定方法對已進行加權之各頻率響應函數進行乘法、加法，求得濾波器係數，並儲存於小框檔案106a，藉此，可高速地得到再構成影像資料。又，亦可對在分解階段及/或合成階段的濾波器進行加權。

又，係數處理部102b係作為一例，亦可根據廣義風車小框之在各位準的方位之在既定濾波器配置中的位置及/或在多重解析度分解之位準，指定既定頻率特性，藉此，進行加權成得到既定頻率成分。例如，係數處理部102b係亦可藉由進行以在多重解析度分解之既定位準使對應於近似濾波器之分解次頻帶信號相對地衰減的加權，進行除去低頻成分等的影像處理。此外，為了該處理，亦可分解部102a係採取進行多重解析度分解至既定位準，係數處理部102b係進行使藉最大位準之近似濾波器所得之近似部分的次頻帶信號相對地衰減的加權。未限定如此，亦可在分解部102a係進行多重解析度分解至比既定位準大的位準的情況，係數處理部102b係進行使比既定位準大之位準的細部部分及最大位準之近似部分相對地衰減的加權。

又，係數處理部102b係亦可進行使與複數個濾波器中在濾波器配置遠離近似濾波器之側的細部濾波器對應的分解次頻帶信號相對地放大，並使與在濾波器配置近似濾波器及接近近似濾波器之側的細部濾波器對應的分解次頻帶信號相對地衰減的加權，藉此，進行影像處理成得到比低頻成分高頻之成分。更具體而言，亦可將與上述之風車小框的近似濾波器對應之分解次頻帶信號的分解細部係數、及對與位於接近近似濾波器的位置之具有低頻側之頻率特性的細部濾波器對應之分解次頻帶信號的加權係數設定成接近0的值，將對與位於遠離近似濾波器的位置之具有高頻側之頻率特性的細部濾波器對應之分解次頻帶信號的加權係數設定成接近1的值。與此相反，係數處理部102b係亦可進行影像處理成得到比高頻成分低頻之成分。即，係數處理部102b係亦可進行使與複數個細部濾波器中在濾波器配置遠離近似濾波器之側的細部濾波器對應的分解次頻帶信號相對地衰減，並使與在濾波器配置接近近似濾波器之側的細部濾波器對應的分解次頻帶信號相對地放大的加權，藉此，進行對高頻成分加強低頻成分的影像處理。更具體而言，亦可將對與位於接近上述之風車小框的近似濾波器的位置之具有低頻側之頻率特性的細部濾波器對應之分解次頻帶信號的加權係數設定成接近1的值，並將對與位於遠離近似濾波器的位置之具有高頻側之頻率特性的細部濾波器對應之分解次頻帶信號的加權係數設定成接近0的值。

又，係數處理部102b係亦可進行使與複數個濾波器中具有高頻之頻率特性的濾波器及具有低頻之頻率特性的濾波器對應的分解次頻帶信號相對地衰減，並使與具有比較高頻、比較低頻等中頻之頻率特性的濾波器對應的分解次頻帶信號相對地放大的加權，藉此，進行比高頻成分及低頻成分更強調中頻成分的影像處理。更具體而言，亦可將對與上述之風車小框之具有高頻之頻率特性的濾波器及具有低頻之頻率特性的濾波器對應之分解次頻帶信號的加權係數設定成接近0的值，並將對與具有中頻之頻率特性的細部濾波器對應之次頻帶信號的加權係數設定成接近1的值。

又，係數處理部102b係亦可進行使與具有既定方位性之細部濾波器對應的分解次頻帶信號衰減或放大的加權，藉此，進行影像處理成既定方位性成分被增減。例如，藉由將對與上述之風車小框之具有既定方位性的細部濾波器對應之分解次頻帶信號的加權係數設定成接近1的值，並將除此以外之加權係數設定成接近0的值，可從原影像加強並抽出具有該既定方位性之成分。

又，處理影像取得部102c係取得處理影像資料之處理影像取得手段。例如，處理影像取得部102c係亦可取得藉分解部102a所取得之根據多重解析度分解之在分解階段的分解次頻帶信號的係數輸出處理影像資料。在取得係數輸出處理影像資料時，亦可對係數處理後之分解次頻帶信號進行適當之加權後再相加。又，處理影像取得部102c係亦可取得再構成處理影像資料，該再構成處理影像資料係藉後述之再構成部102d的處理，將多重解析度分解之在合成階段的合成次頻帶信號相加，藉此再構成。

又，處理影像取得部102c之再構成部102d係藉由將分解部102a所取得之各色成分的次頻帶信號相加，再構成影像，而取得再構成處理影像資料的再構成手段。例如，再構成部102d係將與上述之最大位準的近似濾波器對應之近似部分的合成次頻帶信號、及與全部之細部濾波器對應之細部部分的合成次頻帶信號相加，藉此再構成影像，而取得再構成影像資料。此時，因為風車小框具有完全再構成性，所以若不進行藉係數處理部102b之處理，再構成部102d係重現與原影像相同的影像。換言之，再構成部102d藉係數處理部102b的處理執行係數處理後，將合成次頻帶信號相加，藉此，取得對原影像施加影像處理後的再構成影像資料。

在此，將上述之記號(編號)用於合成次頻帶信號，說明完全再構成性與影像處理之關係。將原影像之輸入信號(原信號)設為x時，藉次數7的風車小框之位準5之最大重複多重解析度分解的完全再構成性係以以下的數學式表示。

x=a₅(1)+(d₅(1)+…+d₅(99))+…+(d₁(1)+…+d₁(99))

在此，預先將在分解部102a經過了藉係數處理部102b之各種處理的近似部分設為a₅’(1)、將細部部分設為d₅’(1)+…+d₅’(99)時，在此情況，再構成影像(信號)係以以下的數學式表示。

y=a₅’(1)+(d₅’(1)+…+d₅’(99))+…+(d₁’(1)+…+d₁’(99))

在此時，若在分解部102a未進行各種處理，a₅’(1)=a₅(1)、d₅’(1)=d₅(1)、…、d₁’(99)=d₁(99)，顯然地，係x=y(原影像與再構成影像相同)，而成為完全再構成。在本實施形態，作為一例，係數處理部102b係藉由將與具有既定頻率特性及/或既定方位性之濾波器對應之次頻帶信號的加權係數設定成不是1的數值，產生與原影像不相同之再構成影像(即再構成處理影像)。

在此，說明細部濾波器之分類。細部濾波器係根據其方位性可分類成5種。即，若將與某方向正交之軸稱為「正交軸」，則可分類成(1)具有與正交軸同方向之方位性的細部濾波器、(2)具有與正交軸垂直方向之方位性的細部濾波器、(3)對正交軸具有正之角度之方位性的細部濾波器、(4)對正交軸具有負之角度之方位性的細部濾波器、及(5)方位未分離之細部濾波器的5類。在此，對正交軸之角度θ係將反時鐘方向設為正，並以-90°<θ≦+90°表示。此外，因為對正交軸具有水平或垂直之方位性(θ=0°、90°)的細部濾波器係分類成(1)或(2)，所以不分類成(3)或(4)。又，在「(5)方位未分離之細部濾波器」，因為包含對正交軸之角度的絕對值係相同之正的角度與負的角度之雙方的方位性，所以不分類成(3)或(4)。

例如，在將某方向設為縱向的情況，在第5圖之例子，與「(1)具有與正交軸同方向之方位性的細部濾波器」對應的次頻帶信號成為d_k(15)、d_k(23)、d_k(31)、d_k(39)、d_k(47)、d_k(55)、d_k(63)。又，與「(2)具有與正交軸垂直方向之方位性的細部濾波器」對應的次頻帶信號成為d_k(1)~d_k(7)。又，與「(3)對正交軸具有正之角度之方位性的細部濾波器」對應的次頻帶信號成為d_k(64)~d_k(99)。又，與「(4)對正交軸具有負之角度之方位性的細部濾波器」對應的次頻帶信號成為d_k(9)~d_k(14) 、d_k(17)~d_k(22)、d_k(25)~d_k(30)、d_k(33)~d_k(38)、d_k(41)~d_k(46)、d_k(49)~d_k(54)。又，與「(5)方位未分離之細部濾波器」對應的次頻帶信號成為d_k(8)、d_k(16)、d_k(24)、d_k(32)、d_k(40)、d_k(48)、d_k(56)~d_k(62)。

又，細部濾波器係亦可藉其頻率特性賦予特徵。即，以風車小框之近似濾波器為中心，從近似部分成同心圓狀擴大的細部濾波器係具有愈遠離中心使愈高頻成分通過、愈接近中心使愈低頻成分通過的性質。換言之，在風車小框之濾波器配置遠離近似濾波器之側的細部濾波器係取得高頻成分的次頻帶信號，在濾波器配置接近近似濾波器之側的細部濾波器係取得低頻成分的次頻帶信號。

在第5圖之例子，與具有最低頻側之頻率特性的細部濾波器對應之次頻帶信號成為d_k(7)、d_k(14)、d_k(15)、d_k(64)。與具有次低頻側之頻率特性的細部濾波器對應之次頻帶信號成為d_k(6)、d_k(13)、d_k(21)~d_k(23)、d_k(65)、d_k(70)、d_k(71)。接著，與具有下一低頻側之頻率特性的細部濾波器對應之次頻帶信號成為d_k(5)、d_k(12)、d_k(20)、d_k(28)~d_k(31)、d_k(66)、d_k(72)、d_k(76)~d_k(78)。與具有下一低頻側之(比較中頻之)頻率特性的細部濾波器對應之次頻帶信號成為d_k(4)、d_k(11)、d_k(19)、d_k(27)、d_k(35)~d_k(39)、d_k(67)、d_k(73)、d_k(79)、d_k(82)~d_k(85)。接著，與具有下一低頻側之(比較高頻側之)頻率特性的細部濾波器對應之次頻帶信號成為d_k(3)、d_k(10)、d_k(18)、d_k(26)、d_k(34)、d_k(42)~d_k(47) 、d_k(68)、d_k(74)、d_k(80)、d_k(86)、d_k(88)~d_k(92)。接著，與具有下一低頻側之(比較高頻側之)頻率特性的細部濾波器對應之次頻帶信號成為d_k(2)、d_k(9)、d_k(17)、d_k(25)、d_k(33)、d_k(41)、d_k(49)~d_k(55)、d_k(69)、d_k(75)、d_k(81)、d_k(87)、d_k(93)、d_k(94)~d_k(99)。接著，與具有下一低頻側之(最高頻側之)頻率特性的細部濾波器對應之次頻帶信號成為d_k(1)、d_k(8)、d_k(16)、d_k(24)、d_k(32)、d_k(40)、d_k(48)、d_k(56)~d_k(63)。

除了此分類以外，方位分離之細部濾波器係根據其形狀，分成相對於該濾波器所具有之方位性之方位方向的軸是大致對稱的偶型、相對於方位方向的軸是大致反對稱的奇型。又，近似濾波器係對垂直軸與水平軸大致對稱的偶型。

以上係關於細部濾波器之分類的說明。

再回到第1圖，色空間變換部102f係進行色空間之變換或色成分之分解、合成等的色空間變換手段。例如，色空間變換部102f係在影像資料檔案106b所記憶之影像資料為彩色影像的情況、未藉本實施形態所使用之色成分記述資料的情況、藉分解部102a進行彩色影像清晰化處理的情況等，亦可變換成目的之色空間(例如CIELAB色空間)。藉由變換成CIELAB色空間，影像被分解成L*(亮度)、a*(紅-綠)、b*(黃-藍)之3種色成分。此外，色空間變換部102f係亦可變換成CIELAB色空間以外之其他的色空間。使用CIELAB色空間之優點係接近來自人之視網膜的視覺資訊變換。此外，在影像資料預先對在本實施形態所使用之各色成分記述色調或階度值等的情況，色空間變換部102f係亦可不進行關於色空間之處理。此外，必要時色空間變換部102f係在藉再構成部102d之影像資料再構成處理，進行色成分之合成、或色空間之變換、亮度、顏色標度變換等。

又，處理影像輸出部102g係向輸出裝置114輸出藉處理影像取得部102c所取得之處理影像資料(係數輸出處理影像資料或再構成處理影像資料)的處理影像輸出手段。例如，處理影像輸出部102g係亦可將處理影像顯示輸出至監視器等之顯示裝置，亦可將處理影像印刷輸出至列表機等之印刷裝置，而製造印刷媒體，亦可藉由將處理影像資料輸出至記錄媒體儲存裝置並將處理影像資料儲存於記錄媒體，藉此製造記錄媒體。作為印刷對象之媒體，亦可是例如紙、塑膠、玻璃、金屬等，亦可是例如傳單或扇子、卡片、畫本、賀年卡、聖誕卡、名片、罐等之容器等的形態。此外，因應於輸出之形態，處理影像輸出部102g係亦可進行因應於用途之設計變更(例如，變更成名信片尺寸等)。又，處理影像輸出部102g係亦可經由網路300將處理影像資料傳送至外部系統200。

即，該影像處理裝置100係亦可經由路由器等之通訊裝置及專用線路等之有線或無線的通訊線路與網路300連接成可通訊。在第1圖，通訊控制介面部104進行在影像處理裝置100與網路300(或路由器等之通訊裝置)之間的通訊控制。即，通訊控制介面部104係與通訊線路等所連接之路由器等的通訊裝置(未圖示)連接的介面，並具有經由通訊線路與其他的終端機進行資料通訊的功能。在第1圖，網路300係具有將影像處理裝置100與外部系統200相互連接的功能，例如是網際網路等。

在第1圖，外部系統200係經由網路300，與影像處理裝置100相互連接，亦可具有提供關於影像資料或風車小框之外部資料庫、或用以使電腦作用為影像處理裝置之程式的功能。在此，外部系統200係亦能以WEB伺服器或ASP伺服器等構成。又，外部系統200的硬體構成係亦可藉一般市面上之工作站、個人電腦等之資訊處理裝置及其附屬裝置構成。又，外部系統200的各功能係藉外部系統200之硬體構成中的CPU、碟片裝置、記憶裝置、輸入裝置、輸出裝置、通訊控制裝置及控制那些裝置的程式等實現。

以上，結束本實施形態之影像處理裝置100之構成的說明。

[影像處理裝置100之處理]

其次，以下參照第6圖至第57圖，詳細說明依此方式所構成之本實施形態的本影像處理裝置100之處理的一例。

[基本處理]

首先，作為影像處理裝置100所執行之影像處理的一例，以下參照第6圖至第8圖，說明基本處理。第6圖係表示本實施形態之影像處理裝置100的基本處理之一例的流程圖。

首先，分解部102a係對影像資料檔案106b所記憶之影像資料，進行藉小框檔案106a所記憶之廣義風車小框或風車小波框的最大重複多重解析度分解，取得次頻帶信號(步驟S-1)。在此，第7圖及第8圖係表示藉由風車小框之多重解析度分解的分解階段及合成階段(有/無處理)之濾波器組之一例的圖。圖中之數字表示位準。PW係細部濾波器，A係近似濾波器。

如第7圖及第8圖所示，首先，分解部102a係使用位準1之風車小框，將原影像作為輸入信號，分解成通過細部濾波器PW1的分解次頻帶信號(以分解細部係數d₁所表達的信號)、與通過一個近似濾波器A1的信號。接著，分解部102a係使用位準2之風車小框，將已通過位準1的近似濾波器A1的信號分解成通過位準2之細部濾波器PW2的分解次頻帶信號(分解細部係數d₂)、與通過位準2之近似濾波器A2的信號。分解部102a係重複進行此處理至最大位準k(在所圖示的情況，k=5)，得到分解細部係數d₁~d_k及根據通過最大位準k之近似濾波器Ak之分解次頻帶信號的分解近似係數a_k。接著，對分解次頻帶信號進行各種處理，得到分解細部係數d₁’~d₅’及分解近似係數a₅’。

即，如第7圖及第8圖所示，分解部102a之係數處理部102b係對與濾波器組之複數個濾波器中至少一個對應的分解次頻帶信號進行線性或非線性的係數處理等，進行使分解次頻帶信號相對地衰減或放大的各種處理(步驟S-2)。在此，作為一例，係數處理部102b係亦可進行藉硬體臨限值或軟體臨限值等之臨限值處理。又，係數處理部102b係亦可使與複數個濾波器中具有既定頻率特性及/或既定方位性之濾波器的至少一個對應的分解次頻帶信號衰減或放大。例如，係數處理部102b係亦可使藉根據廣義風車小框或風車小波框之在各位準的方位之在既定濾波器配置中的位置及/或在多重解析度分解之位準所指定的既定分解次頻帶信號增減，藉此，進行使既定頻率成分增減之影像處理。作為一例，係數處理部102b係亦可對形成分解次頻帶信號之從分解階段所輸出之分解細部係數及/或分解近似係數進行係數處理。即，係數處理部102b係亦可使在分解階段之近似次頻帶信號增減，而且/或使在分解階段之細部次頻帶信號增減。

然後，處理影像取得部102c係取得在步驟S-2已實施各種處理的處理影像資料(係數輸出處理影像資料或再構成處理影像資料)(步驟S-3)。在第7圖之例子，處理影像取得部102c係亦可不將對藉分解部102a的處理之在分解階段所得之分解細部係數d₁~d₅及分解近似係數a₅已實施各種處理的分解細部係數d₁’~d₅’及分解近似係數a₅’輸入合成階段，而取得處理影像資料，作為係數輸出處理影像資料，亦可因應於需要，進行加權後相加，作為處理影像資料並取得。另一方面，在第8圖之例子，處理影像取得部102c係亦可將對藉分解部102a的處理之在分解階段所得之分解細部係數d₁~d₅及分解近似係數a₅已實施各種處理的分解細部係數d₁’~d₅’及分解近似係數a₅’輸入合成階段，而取得藉再構成部102d再構成後之處理影像資料，作為再構成處理影像資料。

以上係本實施形態之基本處理。藉該基本處理，可對原影像實施本實施形態之各種的影像處理。

[彩色影像清晰化處理]

首先，作為影像處理裝置100所執行之影像處理的一例，在以下參照第9圖至第21圖，說明彩色影像之影像清晰化處理。第9圖係表示本實施形態之影像處理裝置100的彩色影像清晰化處理之一例的流程圖。

首先，分解部102a係對影像資料檔案106b所記憶之影像資料的各色成分，進行藉小框檔案106a所記憶之風車小框的最大重複多重解析度分解，取得次頻帶信號(步驟SA-1)。此外，分解部102a係未限定為風車小框，亦可使用方位性由水平方向、垂直方向及對角方向所構成之雙正交的小波濾波器組。又，亦可因應於需要(例如未以在本實施形態所使用之色成分記述影像資料的情況等)，色空間變換部102f係對彩色影像進行所要之色空間的變換處理或色成分的分解處理。作為一例，色空間變換部102f係亦可將彩色影像變換成CIELAB色空間。藉此，影像被分解成L*(亮度)、a*(紅-綠)、b*(黃-藍)之3種色成分。在此，第10圖係表示最大重複多重解析度分解之分解階段及合成階段的濾波器組之一例的圖。圖中之數字表示位準。PW係細部濾波器，在次數7的情況，在各位準存在99個。A係近似濾波器，在一樣次數7的情況，在各位準存在1個。此外，在第10圖之例子，使用最大重複法，但是本實施形態係未限定如此，亦可使用最大間拔法或其他的間拔法。

如第10圖所示，首先，分解部102a係使用位準1之風車小框，將原影像作為輸入信號，分解成通過99個細部濾波器的信號、與通過一個近似濾波器的信號(以分解細部係數d₁所表達的信號)。接著，分解部102a係使用位準2之風車小框，將已通過位準1之風車小框的信號分解成通過99個(位準2)之細部濾波器的信號(分解細部係數d₂)、與通過一個(位準2)之近似濾波器的信號。分解部102a係重複進行此處理至最大位準k(在所圖示的情況，位準5)，得到分解細部係數d₁~d_k及近似係數a_k。在一般之多重解析度分解，分解部102a係將在分解階段所得之由分解細部係數d₁~d₅所構成的信號直接施加於合成階段的濾波器組，但是，在本實施形態，進行本實施形態之係數處理，得到合成階段輸入用的分解細部係數d₁’~d₅’。

即，如第9圖所示，分解部102a之係數處理部102b係在多重解析度分解的分解階段與合成階段之間，對從分解階段所輸出之分解細部係數，以該分解細部係數的能量愈大，將絕對值小的值抑制成愈小，該分解細部係數的能量愈小，愈增強絕對值小之值的方式進行係數處理(步驟SA-2)。在此，係數處理部102b係亦可對影像資料之a*及/或b*的色成分，以修正成從a*及/或b*之分解細部係數與在L*之分解細部係數所決定的能量愈大，將絕對值小的值抑制成愈小，上述之能量愈小，愈增強絕對值小之值的方式進行係數處理。又，係數處理部102b係在函數處理等之係數處理及/或能量計算，亦可為了使分解細部係數之值變得容易處理，而進行正常化。在此，第11圖係表示伴隨正常化之分解細部係數的係數處理之一例的流程圖。

如第11圖所示，首先，係數處理部102b係對從分解階段所輸出之分解細部係數x的絕對值進行正常化(步驟SA-21)。例如，係數處理部102b係以適當之正常化手法進行分解細部係數x的正常化，使全部之分解細部係數x位於從0至1之間的數值。

然後，係數處理部102b係根據正常化分解細部係數y，計算分解細部係數的能量(步驟SA-22)。例如，係數處理部102b係亦可將正常化分解細部係數y之平方範數| | y | |作為能量。此外，亦能以可利用函數處理來處理能量的方式進行正常化等之指數調整。

然後，係數處理部102b係因應於在步驟SA-22所算出之能量，非線性地進行正常化分解細部係數y的係數處理，得到係數處理結果z(步驟SA-23)。例如，係數處理部102b係亦可為了進行因應於能量之大小的係數處理，對能量值設置臨限值，在能量值之各範圍進行相異的係數處理，亦可不對能量值設置臨限值，而藉由以不均因應於能量值連續地變化的函數來計算，進行係數處理。作為一例，係數處理部102b係亦可使用在分解細部係數之能量大的情況成S字曲線，而在小的情況成N字曲線連續地變化的SN函數，進行係數處理。在此，以下的數學式1係SN函數的一例，數學式1係若α>1，則成為S字曲線；若α=1，則成為直線；若α<1，則成為N字曲線。此外，能量與參數α之對應的決定方法係亦可以反映個人差異之方式來設定，而非固定成一種，又亦可對各位準、各方位、各色成分、分解細部係數之各符號來設定。

z=y^α/{y^α+(1-y)^α}…(數學式1)(在此，y係正常化分解細部係數(0≦y≦1))，α係根據正常化分解細部係數之能量的指數值(0<α)，z係已進行函數處理之正常化分解細部係數。)

然後，係數處理部102b係藉由對在步驟SA-23已進行函數處理之正常化分解細部係數z進行正常化的逆運算，取得輸入至合成階段之輸入資料x’(步驟SA-24)。此外，在使用上述之範數的情況，係在以以下的數學式進行逆運算時，使符號復原。

再回到第9圖，分解部102a係將在步驟SA-2已進行係數處理之分解細部係數作為輸入資料，進行合成階段的處理(步驟SA-3)。即，分解部102a係對已將在分解階段所輸出之信號進行係數處理的信號，藉合成階段的濾波器，最後取得99×5個的合成次頻帶信號(細部部分)與1個合成次頻帶信號(近似部分)(參照第10圖)。

然後，再構成部102d係將藉分解部102a所取得之各色成分的合成次頻帶信號相加，再構成影像(步驟SA-4)。此外，在將合成次頻帶信號相加後之色成分的數值超過規定值(例如，從0至255灰階之範圍)的情況，再構成部102d係例如亦可將整體比例尺化，使數值位於規定範圍(例如，從0至255之範圍內)(正常化的方法)，亦可最低規定值(例如0)以下的數值係取代成最低規定值，最高規定值(例如255)以上的數值係取代成最高規定值(使用臨限值之方法)。此外，因應於需要(例如必須以RGB輸出等)，色空間變換部102f係亦可進行色空間之變換或色成分之合成等的處理。

藉以上之處理所得的再構成影像係對原影像實施有本實施形態之影像處理，例如，實施有比原影像更自然之清晰化。在此，第12圖係將原影像與本實施形態之清晰化影像及藉習知手法之清晰化影像對比所表示的圖。

如第12圖所示，在非專利文獻1之習知手法，因為對影像整體一律地進行如檢測出邊緣亮之側的像素時使其變成更明亮，而檢測出邊緣暗之側的像素時使其變成更暗之局部的對比控制，所以尤其如相片之前側附近的樹木群所示，對對比本來充分之處亦不必要地實施極端之清晰化至接近黑白，而成為不自然的影像。另一方面，若依據本實施形態，因為實施與人之起始視覺資訊處理類似的影像處理，所以不會實施極端之對比，而可得到自然之清晰化影像。在此，第13圖、第14圖及第15圖係分別表示在第12圖之各相片(512×512像素)，從左第400個像素之行的L*、a*、b*之值的圖形。橫軸係表示在從左第400個像素之行從上開始的列數，縱軸係表示各色成分(L*、a*、或b*)的值。藍色表示用以表示原影像之各點之值的圖形，綠色表示用以表示本實施形態之處理影像的各點之值的圖形，紅色表示用以藉市面上之程式製品之處理影像的各點之值的圖形。

如第13圖至第15圖所示，在非專利文獻1之習知手法，係以不論遠景(橫軸之0~300附近)或是近景(橫軸之400~500附近)，一律使表示原影像之各點的值之圖形的變動變大的方式進行對比控制。因此，尤其在近景(橫軸之400~500附近)，發生各色成分之激烈的變化。另一方面，若依據本實施形態，關於有激烈變動之近景(橫軸之400~500附近)，不會使變動變大，對變化緩和之遠景(橫軸之0~300附近)實施清晰化。進而，不僅高頻成分，對低頻成分亦實施清晰化。因此，不自然之加強變少。

在此，結束影像處理裝置100之彩色影像清晰化處理的說明。認為藉這種本實施形態可實施自然之清晰化的原理係如以下所示。即，人之視覺資訊處理具有高級之清晰化的功能，因此，如本實施形態般藉根據人之視覺資訊處理的數理模型之影像處理係可實現高度之清晰化。而且，在此情況，因為進行與腦內之視覺資訊處理類似的處理，所以具有不覺得是過度不自然之清晰化的優點。

[藉SN函數之係數處理的實施例]

其次，在以下表示影像處理裝置100之係數處理部102b使用SN函數所進行之係數處理的實施例。

為了在數學上記述周圍之刺激量強時抑制弱的刺激，周圍之刺激量弱時加強弱的刺激之現象等，思考到一種函數，該函數係藉參數從具有S字形之圖形的函數連續地逐漸變形成具有N字形之圖形的函數。將具有這種特性之函數稱為知覺函數。作為知覺函數之一例，列舉以下的SN函數。

在此，將X設為原影像，將X=(X1,X2,X3)設為表示在色空間的顯示。例如，在使用CIELAB色空間的情況，將X1設為關於L*、將X2設為關於a*、將X3設為關於b*的資料。

然後，以風車小框分解X_μ(μ=1,2,3)。在本實施例，說明X之像素數係512×512像素，以5次之風車小框((5+1)²+(5-1)²=52個)進行位準8之分解的情況(此外，在不同之像素數、不同之風車小框等，亦能以相同的想法進行)。

在此時，X_μ之分解資料係能以以下的數學式表示(其中，l、p、j、k係整數)。

在此，(x_μ[l,l；j,k]_{0≦j,k≦511}係風車小框之分解近似係數，(x_μ[l,p；j,k]_{0≦j,k≦511}(2≦p≦52)係表示風車小框之分解細部係數。以下，當作2≦p≦52。

將設為適當之2變數函數，並設為以下的數學式(μ=1,2,3)。

z_μ[l,p；j,k]=φ_μ,l,p(x₁[l,p；j,k],x_μ[l,p；j,k])

例如，設為以下的數學式(a1、a2係適當之正常化常數；μ=1,2,3)。

φ_μ,l,p(s,t)=|s|/a₁,φ_μ,l,p(s,t)=|s|/a₁+|t|/a₂

又，設為以下的數學式。

將設為之正常化l²範數(μ=1,2,3)

將b1、b2、b3、b4設為適當決定之非負的實數。這亦可對μ或各位準1改變。又，風車小框之分解細部係數中，亦可根據其方位p改變。又，亦可對分解細部係數之各符號改變。

將y_μ[l,p]設為

將對x_μ[l,p；j,k]之絕對值實施適當的正常化且在0與1之間取值者設為y_μ,l[l,p；j,k]。又，設為以下的數學式。但，在此，亦可以適當之知覺函數取代SN函數s。

將對y_μ,2[l,p；j,k]乘以x_μ[l,p；j,k]的符號函數，而實施正常化之逆運算者設為y’_μ[l,p；j,k]。

對y’_μ[l,p；j,k]施加風車小框合成濾波器後再構成的資料設為X’_μ(μ=1,2,3)。設為X’=(X’₁,X’₂,X’₃)。

X’係X之清晰化影像。此外，在處理影像的例子，對L*係在各位準對方位成分將b1、b2、b3、b4設為全部相同，a*、b*係在各位準，以水平、垂直、對角、其他來分別設定。

此外，為了更接近人之視覺，亦可根據x_μ[l,p；j,k]之符號的差異，改變處理方法。

在以上，結束說明在影像處理裝置100中使用SN函數的係數處理之實施例。此外，上述之SN函數的係數處理係未限定為用於彩色影像之清晰化，亦可用於灰階影像等之清晰化等的影像處理。

[顏色之對比視錯覺的模擬]

為了確認在本實施形態所使用之數理模型是否是接近人之視覺資訊處理，將顏色之對比視錯覺影像作為原影像，執行了根據上述之實施形態的處理。即，若數理模型是接近人之視覺資訊處理者，則安裝了數理模型之電腦亦算出視錯覺，所以可確認在本實施形態是否實際上可模擬人之視錯覺。

第16圖係表示顏色之對比視錯覺影像之一例的圖。在第16圖之左圖(原影像A)與右圖(原影像B)，內側之四角部分的亮度或明度或色彩係完全相同。可是，根據周圍之顏色的配置，作為人之視覺資訊處理，產生看起來像相異之顏色的視錯覺。因此，藉本實施形態之影像處理裝置100對原影像A與原影像B分別進行了影像處理。第17圖係表示原影像的內側四角部分(在原影像A與B共同)、原影像A之影像處理結果即處理影像A的內側四角部分、及原影像B之影像處理結果即處理影像B的內側四角部分的圖。

如第17圖所示，藉本實施形態之影像處理裝置100進行影像處理的結果，如同人觀看原影像A、B時原影像A、B看起來的樣子(視錯覺)，與原影像A對應之處理影像A的內側四角部分係表達成比實際鮮明，在與原影像B對應之處理影像B的內側四角部分係表達成比實際暗。因此，可說藉本實施形態之影像處理裝置100的影像處理係接近人之視覺資訊處理。

又，第18圖係表示顏色之對比視錯覺影像之其他的例子的圖。在第18圖之左圖(原影像C)與右圖(原影像D)，與上述一樣，內側之四角部分的亮度或明度或色彩係完全相同。第19圖係表示原影像的內側四角部分(在原影像C與D共同)、原影像C之影像處理結果即處理影像C的內側四角部分、及原影像D之影像處理結果即處理影像D的內側四角部分的圖。

如第19圖所示，藉本實施形態之影像處理裝置100進行影像處理的結果，如同人觀看原影像C、D時原影像C、D看起來的樣子(視錯覺)，與原影像C對應之處理影像C的內側四角部分係表達成比實際暗，在與原影像D對應之處理影像D的內側四角部分係表達成比實際明亮。

又，第20圖係表示顏色之對比視錯覺影像之其他的例子的圖。在第20圖之左圖(原影像E)與右圖(原影像F)，與上述一樣，內側之四角部分的亮度或明度或色彩係完全相同。第21圖係表示原影像的內側四角部分(在原影像E與F共同)、原影像E之影像處理結果即處理影像E的內側四角部分、及原影像F之影像處理結果即處理影像F之內側四角部分的圖。

如第21圖所示，藉本實施形態之影像處理裝置100進行影像處理的結果，如同人觀看原影像E、F時原影像E、F看起來的樣子(視錯覺)，與原影像E對應之處理影像E的內側四角部分係表達成比實際暗，在與原影像F對應之處理影像F的內側四角部分係表達成比實際明亮。本例係對a*及b*之處理實施亦加入L*之值的處理，其效果顯著地顯現的例。

以上的結果，確認藉本實施形態之影像處理裝置100所進行的影像處理係極接近人之視覺資訊處理。因此，藉由採用有接近人之視覺資訊處理的數理模型之本實施形態進行影像處理，對原影像實施接近人之視覺的資訊處理，可提供僅使人想看之部分清晰化的自然的影像。此外，隨著影像處理裝置100之利用目的的不同，亦可設定成進行如強化或抑制人之視覺功能的一部分或全部的影像處理。

[各種影像處理]

接著，作為上述之彩色影像清晰化處理以外之影像處理的實施例，在以下，參照第22圖至第55圖，按照1.雜訊除去、2.特徵抽出((a)邊緣檢測、(b)其他的特徵抽出)、3.具有立體感之特徵抽出的順序，說明具體的方法與應用例。在以下的例子，使用風車小框，但是亦可使用廣義風車小框或風車小波框。

[1.雜訊除去]

在本實施形態，說明藉係數處理部102b使至少一個分解細部係數相對地減少而除去雜訊的例子。此外，在以下的例子，使用灰階的影像，但是亦能以相同的方法應用彩色影像。

在此，在本項目[1.雜訊除去]，原影像係指無雜訊之原來的影像，雜訊影像係指在原影像加入了雜訊的影像。在此，對原影像加入高斯型白色雜訊，而產生雜訊影像。此外，處理影像意指藉係數處理部102b進行雜訊除去處理後，再藉處理影像取得部102c進行再構成之雜訊除去後的影像。

在此，為了使雜訊除去所造成之影像的劣化數值化，使用以下的評估值。

對影像Y=(y[j,k]：j=1、…、M，k=1、…、N)，定義以下的數學式。

而且，將原影像設為X0、將雜訊除去後的影像(處理影像)設為X時，在本實施例所使用之評估值係以以下的數學式表示。該評估值愈小，處理影像愈接近原影像，表示處理影像未劣化。

∥X0-X∥

在雜訊除去的方法中，已有知決定臨限值(threshold)，並將比臨限值小之值或臨限值以下之值設為0的方法。因此，為了藉係數處理部102b除去雜訊，而設定臨限值(threshold)。此外，因為有各種周知的方法來決定臨限值，所以亦可使用在以下所舉例表示之方法以外之周知的方法。例如，作為臨限值處理，硬體臨限值與軟體臨限值係周知，在以下，使用硬體臨限值，但是亦可使用軟體臨限值或其他的臨限值處理。

在本實施例，因為利用評估值比較幾種雜訊除去方法，所以對各個雜訊除去方法，連續地改變臨限值，並將最佳之評估值之情況的值設為該方法的臨限值。在此，第22圖係用以說明在本實施例所使用之硬體臨限值的圖形。橫軸係原來之係數的值，縱軸表示進行係數處理後的值。即，係數處理部102b在對分解次頻帶信號之係數應用傾斜1之線性函數的情況，因為原來之係數的值係完全不變，所以藉再構成部102d所得之再構成影像係與原影像相同。

如第22圖所示，在硬體臨限值法，將係數之絕對值與臨限值比較，在絕對值為臨限值以下的情況，進行將係數取代為0的係數處理。藉該硬體臨限值法，可忽略小的變動，而可高效率地除去雜訊。在此，第23圖係在本實施例所使用之原影像，第24圖係表示對原影像加入高斯型白色雜訊之雜訊影像的圖。作為原影像，係使用0~255之256灰階、大小為512×512的影像。

為了與本實施形態之雜訊除去結果做比較，作為習知方法的例子，使用利用小波來除去雜訊的方法。在該習知之利用小波來除去雜訊的方法，對雜訊影像，進行藉小片(shimlet)4之位準2的最大重複多重解析度分解。關於小片，作為參考文獻，亦可參照MATLAB之Wavelet Toolbox及其所含的解說。此外，對全部之分解細部係數(各位準之水平、垂直及對角方向的分解細部係數)，以臨限值48(藉上述之連續地改變之方法所決定的值)進行臨限值處理，然後，經由合成階段，得到處理影像。此外，處理影像之小於0的值係設為0，大於255的值係設為255。第25圖係藉以往之使用小波的雜訊除去方法之小片4處理後的處理影像，第26圖係將其一部分放大的圖。此外，藉以往之使用小波的雜訊除去方法之小片4處理後的影像處理結果的評估值係5.0449。

另一方面，在以下表示本實施形態之雜訊除去方法與其結果。

[藉風車小框之雜訊除去例1]

藉本實施形態之影像處理裝置100，對雜訊影像進行藉5次之風車小框之位準1的最大重複多重解析度分解。將係數處理部102b之臨限值設定成16(藉上述之連續地改變之方法所決定的值)，並以與小波之情況相同的方法得到處理影像。第27圖係根據本實施形態使用5次之風車小框所得的處理影像，第28圖係將其一部分放大的圖。此情況的評估值係4.7736，得到比以往之藉小波的方法更佳的結果。又，即使以肉眼比較以往之處理影像(第25圖、第26圖)與本實施形態的處理影像(第27圖、第28圖)，亦得知有效地除去了雜訊。

[藉風車小框之雜訊除去例2]

因為風車小框具有次數，所以藉由選擇更適當的次數，可更有效地除去雜訊。又，因為風車小框具有多樣之方位選擇性，所以濾波器數量多。因此，藉由對在分解階段之各細部次頻帶信號改變構成該信號之分解細部係數所使用的臨限值，可期待提高雜訊除去效果。

因此，作為藉風車小框之雜訊除去例2，對雜訊影像進行藉7次之風車小框之位準1的最大重複多重解析度分解。係數處理部102b之臨限值係對所對應之在分解階段之各細部次頻帶信號改變。具體而言，將對構成分解階段之各細部次頻帶信號的細部係數之可取得的最大值乘以0.075者作為臨限值(藉上述之連續地改變之方法所決定的值)。換言之，將絕對值位於從0至最大值之0.075倍的值設為0。其他係以與上例相同的方法得到處理影像。第29圖係根據本實施形態使用7次的風車小框對各濾波器改變臨限值之情況所得的處理影像，第30圖係將其一部分放大的圖。此情況的評估值係4.3718，已確認比上述之雜訊除去例1更改善雜訊除去效果。

[藉風車小框之雜訊除去例3]

因為風車小框係頻率範圍之分離功能高，所以可進行更微細之雜訊除去。因此，作為藉風車小框之雜訊除去例3，對雜訊影像進行藉7次之風車小框之位準2的最大重複多重解析度分解。而且，對位準1之全部的分解細部係數與位準2之第31圖所示的分解細部係數，以與例2相同的方法進行臨限值處理後，得到處理影像。其中，將對分解細部係數之可取得的最大值乘以0.073者作為臨限值(藉上述之連續地改變之方法所決定的值)。第31圖係以斜線表示以位準2進行臨限值處理之分解細部係數的圖。此外，表之配置係對應於7次之風車小框的濾波器配置(關於7次之風車小框，參照第3圖至第5圖)。第31圖中的g表示在分解階段之近似次頻帶信號，h表示在分解階段之細部次頻帶信號。

第32圖係根據本實施形態使用7次的風車小框進行臨限值處理至位準2之高頻部分後的處理影像，第33圖係將其一部分放大的圖。此情況的評估值係4.3647。在雜訊除去例3，藉由對與位準2的高頻對應之在分解階段的細部次頻帶信號亦進行臨限值處理，得到比上述之雜訊除去例1、2更佳的結果。在以往之使用小波的雜訊除去方法，只能選擇進行臨限值處理至哪一個位準，但是在風車小框，因為頻率範圍之分離功能高，所以已確認依此方式可更微細地選擇頻率成分且更有效地除去雜訊。

[2.特徵抽出]

在以下，說明藉在本實施形態之係數處理部102b，藉由使從分解階段所輸出之近似係數、細部係數的至少一個相對地衰減或放大，進行影像之特徵抽出的例子。

[2.(a)邊緣檢測]

以往，作為邊緣檢測的方法，簡單濾波的方法或使用小波的方法係周知(參照非專利文獻6、7)。可是，因為風車小框具有多樣之頻率解析度、方位選擇性的功能，所以與以往之邊緣檢測的方法相比，期待可依據用途進行多樣之邊緣檢測。

第34圖係表示在本實施例為了邊緣檢測所使用之原影像的圖。原影像係使用0~255之256灰階、大小為1536×1536者。所使用之原影像係灰階，但是在影像為彩色的情況，亦可以周知的方法變換成灰階。

[邊緣檢測例1]

首先，使用本實施形態之影像處理裝置100，以7次之風車小框進行位準2之最大重複多重解析度分解。藉係數處理部102b，對各分解次頻帶信號，在位準1係以第35圖所示的數值，在位準2係以第36圖所示的數值，進行加權。此外，表的配置係與7次之風車小框的濾波器配置對應(關於7次之風車小框，參照第3圖至第5圖)。圖中的數值係對次頻帶信號之係數的加權值。

藉此，抽出與邊緣相關的高頻成分。在所取出之分解次頻帶信號亦包含有不需進行檢測邊緣或是會妨礙邊緣檢測之絕對值小的值，所以為了除去該值而進行臨限值處理。臨限值之求法與臨限值處理的方法係亦可使用周知之適當的方法。在本例，將對各分解次頻帶信號之可取得的最大值乘以0.005者作為臨限值，進行根據硬體臨限值之臨限值處理。藉此，可對各分解次頻帶信號決定臨限值。然後，藉處理影像取得部102c的處理，得到經過了合成階段的處理影像。

因為邊緣檢測之處理影像係不適合直接顯示，所以藉處理影像輸出部102g以以下的2種方法顯示。此外，邊緣檢測之處理影像的顯示方法係亦可使用其他的周知的方法。

<藉截斷之顯示>

作為人之知覺，多值影像有時比二值化影像更易識別邊緣。因此，進行藉截斷之顯示。具體而言，，將處理影像之小於m1的值設為m1，將大於m2的值設為m2。

第37圖係表示將藉邊緣檢測例1所得之處理影像截斷後之影像的圖。在藉截斷之顯示，採用m1=0、m2=3。

<藉二值化之顯示>

在藉二值化之顯示，將小於t的值設為0，將t以上的值設為1，藉此，得到二值化影像。

第38圖係表示已以t=1進行二值化之處理影像的圖。如第37圖及第38圖所示，根據本邊緣檢測1的結果，得知在處理影像之影像中央附近與左側，有以原影像幾乎無法判別的輸電線，而確認了本實施形態之邊緣檢測的效果。

[邊緣檢測例2]

接著，作為利用風車小框的方位性進行邊緣檢測的例子，進行邊緣檢測例2。以上述之邊緣檢測例1的處理，在原影像可檢測出輸電線，但是為了進一檢測之，在該部分的檢測進行特定的處理。即，在邊緣檢測例2，以7次之風車小框進行位準2之最大重複多重解析度分解，再對各分解次頻帶信號，在位準1係以第39圖所示的數值，在位準2係以第40圖所示的數值，進行加權。藉此，得到與接近輸電線之方向的方向相關的分解次頻帶信號。將對各分解次頻帶信號之可取得的最大值乘以0.005者作為臨限值，進行根據硬體臨限值之臨限值處理，經過合成階段，得到處理影像。

第41圖係表示邊緣檢測例2之截斷處理影像的圖，第42圖係表示邊緣檢測例2之二值化處理影像的圖。在該第41圖，進行m1=0、m2=2之截斷。第42圖係表示已以t=0.4進行二值化之影像的圖。

如第41圖及第42圖所示，在本邊緣檢測例2，在輸電線以外的部分，邊緣檢測比邊緣檢測例1差，但是更佳地檢測出輸電線。

在此，在本實施形態，亦可利用邊緣檢測的結果，進行影像之清晰化。即，亦可藉由使處理影像與原影像相加重疊，進行影像之清晰化。第43圖係表示將進行截斷處理而已變成15倍之處理影像與原影像相加之影像的圖。如第43圖所示，成為可看到輸電線的影像。

[邊緣檢測3]

在此，在以下，表示邊緣檢測之其他的方法。即，利用藉風車小框之多重解析度分解，將不太有助於邊緣之分解階段的次頻帶信號設為0或接近0的值，藉此，進行相對地加強有助於邊緣之分解階段的次頻帶信號的邊緣檢測。這是藉不必算出臨限值之簡單的方法，可藉風車小框之多樣的方位選擇性或多樣的頻率選擇性而實現。與上述之方法相比，雖然調整的功能差，但是藉由預先設計既定的濾波器，可進行高速處理。

在以下，說明次數5之風車小框的情況的例子。在次數5的情況，在各位準，得到在分解階段之52個次頻帶信號。為了說明這些次頻帶信號，根據第44圖，賦予編號。此外，第44圖係位準2的圖，但是其他的位準亦一樣。編號係如以下所示記述。

(x1,x2,Z,p)在此，p係表示位準的數字，Z係a或b之任一側(第44圖之左側的36個屬於a，右側的16個屬於b)，x1係列，x2係行。例如，(5,4,a,2)之「5」係第44圖之列，「4」係第44圖之行，「a」係a、b中之a，「2」係位準。

在小波的情況，已知使構成在分解階段之近似次頻帶信號的成分全部衰減至0之「質樸的方法」(Naive Edge Detection)(參照非專利文獻6)。亦可將此方法應用於風車小框，但是在風車小框的情況，與小波相異，具有在分解階段之多樣的細部次頻帶信號。因此，選擇與邊緣無關之在分解階段的細部次頻帶信號，使該信號之成分變成0或衰減，藉此，使與邊緣相關的細部次頻帶信號放大，可進行邊緣檢測。此外，此方法係除了風車小框以外，亦可以例如簡單風車小框實施。

作為實施例，首先，除去原影像的雜訊。這係不論是以本實施形態的方法或是周知的方法都可。接著，藉由將無助於邊緣之在分解階段之低頻的次頻帶信號設為0，而使相對地有助於邊緣之分解階段的次頻帶信號放大。例如，在第44圖之配置，將不含(1,1,a,1)而包圍(1,1,a,1)之區域在複數個方向亦容許重複地分割成扇形。在各分割區域，藉由使不屬於該分割區域之次頻帶信號變成0或衰減，可檢測出具有特定方向的邊緣。藉此，在需要進一步抽出所發現之邊緣的情況，可使與成為對象的邊緣無關之在分解階段的次頻帶信號衰減。

本實施例係，在雜訊除去上，將再構成為藉3次之風車小框的最大重複多重解析度分解之位準1的近似部分的影像作為原影像。對其進行藉5次之風車小框的最大重複多重解析度分解，與山之稜線、電線桿、輸電線同方位之在分解階段的次頻帶信號係留下，並將與表示微細的部分之高頻相關之分解階段的次頻帶信號設為0。具體而言，將(4,3,b,1)、(4,2,b,1)、(4,3,a,1)、(4,2,a,1)、(4,1,a,1)、(3,4,b,1)、(3,3,b,1)、(3,2,b,1)、(3,3,a,1)、(3,2,a,1)、(3,1,a,1)、(2,3,b,1)、(2,2,b,1)、(1,2,a,1)以外之分解階段的次頻帶信號係設為0。此外，這是一例，進而可依據用途，選擇不設為0之分解階段的次頻帶信號。

第45圖係表示對本邊緣檢測之結果所得處理影像，以二值化之方法(t=0.37)所顯示之影像的圖，第46 圖係表示藉截斷之方法(m1=0、m2=1)顯示處理影像之影像的圖。藉此，確認了即使不算出臨限值，亦能以簡單之方法檢測出邊緣。

[2.(b)其他的特徵抽出]

在邊緣檢測，利用高頻之分解次頻帶信號，但是利用其他的頻帶之分解次頻率範圍信號的影像處理亦可。可利用風車小框之高頻分解功能與多樣之方位選擇性來進行各種的影像處理。又，在雜訊除去、邊緣檢測，對分解次頻帶信號進行臨限值處理，但是亦可進行其他的線性或非線性處理，應用於影像處理。利用這些影像處理，因為可抽出或加強影像所具有之特徵，所以舉例如下。

對在邊緣檢測所使用之上述的原影像，以7次之風車小框進行位準2之最大重複多重解析度分解，再對位準1之分解次頻帶信號係進行第47圖所示的加權，對位準2之分解次頻帶信號係進行第48圖所示的加權。

在本例，取出比邊緣檢測稍低頻的分解次頻帶信號。將對各分解次頻帶信號之可取得的最大值乘以0.005者作為臨限值，進行藉硬體臨限值之臨限值處理。將該臨限值處理後的分解次頻帶信號設為S。經由合成階段後，得到處理影像。

第49圖係表示已進行m1=-4、m2=0之截斷之處理影像的圖。如第49圖所示，得知抽出影像之稍粗略的特徵。因此，對處理後之分解次頻帶信號S進行藉SN函數的非線性處理。藉與上述之[藉SN函數之係數處理的實施例]相同的方法，設為α=3/4。因為α<1，所以細部係數之絕對值小的值被放大，而絕對值大的值被抑制。然後，得到經過合成階段後的處理影像。

第50圖係表示已進行m1=-2、m2=0之截斷之處理影像的圖。得知在第49圖之例子中弱的部分亦在第50圖強烈地顯現。進而，對處理後的分解次頻帶信號S，以α=4/3進行藉SN函數的非線性處理。因為α>1，所以細部係數之絕對值大的值被放大，而絕對值小的值被抑制。得到經過合成階段後的處理影像。

第51圖係表示已進行m1=-6、m2=0之截斷之處理影像的圖。如第51圖所示，得知山之稜線附近或前面的樹木等原本就具有強之特徵的部分被加強。在此，以m1=-6、m2=6對處理影像進行截斷處理，將變成5倍者與原影像相加時，得到第52圖所示之清晰化影像。第52圖係以m1=0、m2=255進行截斷處理後顯示。如第52圖所示，在山之影像，容易留下深刻印象的稜線被適度地清晰化，而成為容易觀看的影像。

[3.具有立體感之特徵抽出]

在本例，說明係數輸出處理影像，該係數輸出處理影像係不經過合成階段，且不進行再構成，而是對已施加處理之分解細部係數進行加權並相加後作為輸出影像。即使是二維影像，若表現了光從固定方向照射於物體時所產生的影子，亦會感覺該物體有立體感。實際上，利用人之知覺的特性，至目前為止描繪了許多具有立體感的畫作。

風車小框具有多樣之方位選擇性，尤其因為產生在分解階段之次頻帶信號的濾波器係不僅偶型，還包含奇型，所以使用這種特性，自動地產生具有人造性影子的邊緣，而可產生具有立體感之邊緣檢測影像。此外，藉本例所得之立體感係感覺性者，並不是表達物理性之立體性擴大。目的在於藉由使看到影像的人感到立體感，使其易看到邊緣。

在以下的例子，對原影像以5次之風車小框進行了最大重複多重解析度分解。例如，在下述之實施例的情況，為了使影像內之蒸氣具有立體感，加上分解階段之次頻帶信號中(1,4,a,1)、(2,1,a,1)的5倍、(2,2,a,1)的5倍、(3,4,a,1)、(2,2,b,1)的5倍、(3,4,b,1)使得影子附加在蒸氣的方向上。在此，指定分解次頻帶信號之記述係與在上述之「邊緣檢測例3」者相同，如第44圖所示。第53圖係原影像，第54圖係表示已進行具有立體感之特徵抽出之結果的圖。此外，在本例為單一位準內的處理，但是在跨複數個位準而將已加權之分解次頻帶信號相加的情況，亦可修正位置偏差後再相加。

如第54圖所示，蒸氣看起來鼓起、有立體感，因此比一般之邊緣檢測更易看到邊緣。但，看起來的樣子上具有個人差異，亦有些人覺得蒸氣看起來是凹下。因此，製作了使灰階反轉後所顯示之影像。第55圖係表示對已進行具有立體感之特徵抽出的輸出影像，使灰階反轉後所顯示之影像的圖。

依此方式，平面影像因影子的附加方法的不同，看起來鼓起或看起來凹下，這種眼的視錯覺係被稱為「凹下視錯覺」。具有立體感之特徵抽出係亦具有從平面影像自動產生凹下視錯覺的功能。

在第53圖之原影像，地上的狀況被蒸氣遮住而看不清楚，蒸氣的狀況亦看不清楚，但是在第54圖或第55圖之處理影像，因為對蒸氣感到有立體感，而易看清楚蒸氣的狀況，所以地上的狀況亦容易辨識。以以往的方法，要對如覆蓋地上之蒸氣般重疊者進行邊緣檢測使其容易分辨並不容易。在本實施形態，即使對立體上重疊者，亦帶來可提供容易辨識之處理影像之效果。此外，作為應用例，想到X光相片等的影像處理。

以上，列舉了各種影像處理的例子，因為風車小框係具有多樣的濾波器，所以用途係未限定為上述者，作為濾波器，亦可利用於多樣的用途。

[風車小框]

在本實施形態，作為例子所使用之風車小框係如上述所示周知之簡單風車小框或風車小波框等的方位選擇性小波框、或具有方位選擇性濾波器組都可。在此，以下說明風車小框。

將次數設為n≧3且為奇數，以A=(A_k,l)：(n+1)×(n+1)對稱矩陣，對s=0,1,…,[n/2]、t=s,…,[n/2]，找出滿足A_s,t=A_n-s,t=A_s,n-t=A_n-s,n-t=s的矩陣。其中，[]係表示高斯記號。

在n=7的情況，滿足條件之矩陣係如以下所示。

若設B=(B_k,l)：(n+1)×(n+1)矩陣，則是滿足以下之條件(P)的矩陣。

條件具有自由變數

在此，M係方形格子、五孔格子、或六角格子之取樣矩陣。

Λ_f={(0,0),(0,n),(n,0),(n,n)} Λ_g={(k,l)}_{k=0,n；l=1,…,n-1}∪{(k,l)}_{l=0,n；k=1,…,n-1} Λ_a={(k,l)}_{k=1,…,n-1；l=1,…,n-1}

輔助定理2(H.&Arai，2008)Pn是關於方形格子、五孔格子、六角格子之小框濾波器的充分必要條件係B=(B_k,l)滿足以下的條件。

<滿足該條件之B=(B_k,l)的求法>

如以下所示對{(k,l)：k=0,1,…,n₀，l=s,…,n₀}賦予順序。

μ=(k,l)，ν=(k’,l’)

定理3(H.&S.Arai，2008)在以上所得之B=(B_k,l)係滿足輔助定理2。因此，Pn成為關於方形格子、五孔格子、六角格子的小框濾波器。將Pn稱為次數n之風車小框(pinwheel framelet of degree n)。第56圖係表示將位準1之近似濾波器對在位準2之最大重複風車小框濾波器(maximal overlap pinwheel framelet filters at level 2)進行循環相關積所得之濾波器的圖。又，第57圖係表示已對測試影像藉風車小框進行位準2之最大重複多重解析度分解(2nd stage of maximal overlap MRA decomposition by pinwheel framelet)的結果之各合成次頻帶信號的圖。

以上，結束本實施形態之說明。

如以上詳細之說明所示，若依據本實施形態，因為可提供可進行自然之影像清晰化、或多樣之邊緣檢測或雜訊除去等多樣的影像處理的影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體，所以在醫療影像、航空相片、衛星影像等之影像處理或影像分析等的領域係極有用。又，若依據本實施形態，可提供可對彩色影像進行自然之影像清晰化的影像處理裝置、影像處理方法、程式、印刷媒體及記錄媒體。尤其，因為顏色之對比視錯覺係與製品等之顏色之看起來的樣子有關，不僅在製造、販賣彩色之製品等的產業(印刷、設計、映像、塗裝等之產業)，而且在提供映像等之服務的服務業等係極有用。

[其他的實施形態]

至目前為止說明了本發明之實施形態，但是本發明係除了上述之實施形態以外，亦可在申請專利範圍所記載之技術性構想的範圍內以各種相異之實施形態實施。

例如，作為在上述之實施形態的色空間，說明了使用CIE(國際照明委員會)均等知覺色空間(L*a*b*表達系統)之例子的情況，但是未限定如此，只要是接近人之視覺的色空間，亦可使用在其他的色空間之色成分。

例如，說明了影像處理裝置100以單獨之形態進行處理的情況的例子，但是亦可影像處理裝置100係因應於來自客戶終端機(與影像處理裝置100不同之筐體)之要求進行處理，並將其處理結果送回客戶終端機。例如，亦可影像處理裝置100係構成為ASP伺服器，並接收從使用者終端機經由網路300所傳送的原影像資料後，向使用者終端機送回根據該原影像資料所加工之處理影像的再構成影像資料。

又，亦可以手動進行在實施形態所說明之各處理中作為自動進行者所說明之處理的全部或一部分，或者，亦可以周知的方法自動地進行作為手動進行者所說明之處理的全部或一部分。

此外，關於在上述之文獻中或圖面中所示之處理步驟、控制步驟、具體名稱、各處理之記錄資料或檢索條件等之包含參數的資訊、畫面例、資料庫的構成，係除了特別記述的情況以外，可任意地變更。

又，關於影像處理裝置100，圖示之各構成元件係功能概念性者，未必要在物理上如圖所示構成。

例如，關於影像處理裝置100之各裝置所具備的處理功能，尤其在控制部102所執行之各處理功能，亦可藉CPU(Central Processing Unit)及以該CPU所解釋執行之程式實現其全部或任意的一部分，又，亦可以藉佈線邏輯之硬體來實現。此外，程式係記錄於後述之不是暫時性之電腦可讀取的記錄媒體，因應於需要機械式地讀取至影像處理裝置100，該電腦可讀取的記錄媒體係包含用以使電腦執行本發明的方法之程式化的命令。即，在ROM或HDD(Hard Disk Drive)等之記憶部106等記錄電腦程式，該電腦程式係作為OS(Operating System)進行協同動作，向CPU供給命令，進行各種處理。該電腦程式係藉由下載至RAM而被執行，並與CPU進行協同動作，構成控制部。

又，該電腦程式係亦可記憶於經由任意之網路300與影像處理裝置100連接的應用程式伺服器，亦可因應於需要，下載其全部或一部分。

又，對本發明之程式，亦可儲存於電腦可讀取之記錄媒體，又，亦能構成為程式製品。在此，該「記錄媒體」係包含記憶卡、USB記憶體、SD卡、軟性碟片、光磁性碟片、ROM、EPROM、EEPROM、CD-ROM、MO、DVD及Blue-ray Disc等之任意的「可攜帶用的物理媒體」。

又，「程式」係以任意之語言或記述方法所記述的資料處理方法，不拘原始碼或二進位碼等的形式。此外，「程式」係未必限定為單一地構成者，亦包含以複數個模組或程式庫分散構成者，或與由OS(Operating System)所代表之另外的程式進行協同動作，而達成其功能者。此外，關於在實施形態所示之各裝置用以讀取記錄媒體之具體的構成、讀取步驟、或讀取後之安裝步驟，可使用周知的構成或步驟。

記憶部106所儲存之各種資料庫等(小框檔案106a、影像資料檔案106b)係RAM、ROM等之記憶裝置、硬碟等之固定碟片裝置、軟性碟片及光碟片等之儲存手段，並儲存於在各種處理或網站提供所使用之各種程式、表、資料庫及網頁用檔案等。

又，影像處理裝置100係亦可構成為已知之個人電腦、工作站等之資訊處理裝置，又，以將任意之周邊裝置與該資訊處理裝置連接所構成者亦可。又，影像處理裝置100係亦可藉由將實現本發明之方法的軟體(包含程式、資料等)安裝於該資訊處理裝置來實現。

此外，裝置之分散、統合之具體的形態係未限定為所圖示者，可因應於各種的附加等、或因應於功能負載，以任意之單位在功能上或物理上分散、統合地構成其全部或一部分。即，亦可將上述之實施形態任意地組合後實施，亦可選擇性地實施實施形態。