TWI450213B - Image processing apparatus and method, and program - Google Patents

Image processing apparatus and method, and program Download PDF

Info

Publication number
TWI450213B
TWI450213B TW098140833A TW98140833A TWI450213B TW I450213 B TWI450213 B TW I450213B TW 098140833 A TW098140833 A TW 098140833A TW 98140833 A TW98140833 A TW 98140833A TW I450213 B TWI450213 B TW I450213B
Authority
TW
Taiwan
Prior art keywords
image
input image
image processing
processing
unit
Prior art date
Application number
TW098140833A
Other languages
English (en)
Other versions
TW201027456A (en
Inventor
Masatoshi Yokokawa
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201027456A publication Critical patent/TW201027456A/zh
Application granted granted Critical
Publication of TWI450213B publication Critical patent/TWI450213B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

圖像處理裝置及方法、以及程式
本發明係關於一種圖像處理裝置及方法、以及程式，特別是關於一種能更簡單且有效地顯示圖像之圖像處理裝置及方法、以及程式。
先前，能依序顯示複數個圖像之所謂循序播放(slide show)功能已為人所知。例如，在利用循序播放功能時，使用者能使由相機所拍攝之圖像依序顯示而鑒賞。
在進行圖像顯示時，上述循序播放功能可使圖像淡入(fade in)淡出(fade out)、或者滑入(slide in)滑出(slide out)。又，亦提出一種方案，即，在使圖像循序播放顯示時，從顯示對象之圖像中擷取特徵區域，並根據所擷取之特徵區域之數目而使圖像上之一部分進行變焦顯示之顯示方法(例如，參照專利文獻1)。
[先行技術文獻] [專利文獻]
[專利文獻1]日本專利特開2005-182196號公報
然而，淡入或變焦等之圖像顯示效果較為單調，且使用者自身所拍攝之圖像之場景(被攝體)為已知，因此循序播放時所獲得之衝擊力較弱，使用者會厭煩圖像之鑒賞。
進而，作為循序播放顯示之對象之圖像的選擇係藉由使用者指定儲存有所拍攝之圖像之檔案夾等而進行，因此在顯示對象之圖像中，多會包含因手震等而已模糊的圖像。於進行循序播放時，在顯示已模糊的圖像時，亦有會讓使用者感覺難看之虞。
如此，於上述技術中，無法使圖像更有效地顯示。另外，亦已知一種技術，即，由使用者指定圖像之特定區域、及對圖像進行加工所取得之效果來加工圖像之已被指定之區域，利用上述技術，亦可對作為循序播放顯示之對象之圖像來實施所謂特殊效果。然而，上述情形時雖能特別有效地顯示已模糊的圖像，但若使用者不一一地指定實施特殊效果之圖像及區域，或者不選擇特殊效果，則會較為麻煩。
本發明係鑒於上述狀況而完成者，其係能更簡單且有效地顯示圖像者。
本發明第1側面之圖像處理裝置包括：檢測機構，其根據輸入圖像來檢測上述輸入圖像之模糊程度；選擇機構，其根據上述模糊程度之檢測結果，來選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像實施所選擇之上述圖像處理。
上述圖像處理可作為係減少上述輸入圖像之解析度、色彩、上述輸入圖像之像素之像素值的灰階數、紋理、邊緣、或者位元率中之至少一者之處理。
當在表示上述模糊程度之值超過預先設定之臨限值之情形時，可使上述選擇機構選擇預先設定之若干個上述圖像處理中之任一者，當表示上述模糊程度之值未達上述臨限值時，可使上述選擇機構選擇與上述若干個上述圖像處理之組合不同之其他若干個上述圖像處理中之任一者。
可使上述選擇機構根據表示上述模糊程度之值、及各上述圖像處理之至此所選擇之頻率，選擇上述圖像處理。
本發明第1側面之圖像處理方法或程式包括以下步驟：根據輸入圖像來檢測上述輸入圖像之模糊程度；根據上述模糊程度之檢測結果，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及對上述輸入圖像實施所選擇之上述圖像處理。
於本發明之第1側面中，根據輸入圖像來檢測上述輸入圖像之模糊程度，再根據上述模糊程度之檢測結果來選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者，並對上述輸入圖像實施所選擇之上述圖像處理。
本發明第2側面之圖像處理裝置包括：擷取機構，其根據輸入圖像而從上述輸入圖像中擷取複數個特徵之特徵量；選擇機構，其根據上述複數個特徵之特徵量，來選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像實施所選擇之上述圖像處理。
可從上述輸入圖像中擷取上述輸入圖像之解析度、色彩分布、色彩偏差、上述輸入圖像之像素之像素值的灰階數、模糊程度、邊緣量、邊緣分布、紋理量、或者紋理分布中之至少一者，作為上述特徵量。
本發明第2側面之圖像處理方法或程式包括以下步驟：根據輸入圖像而從上述輸入圖像中擷取複數個特徵之特徵量；根據上述複數個特徵之特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及對上述輸入圖像實施所選擇之上述圖像處理。
於本發明之第2側面中，根據輸入圖像而從上述輸入圖像中擷取複數個特徵之特徵量，再根據上述複數個特徵之特徵量來選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者，並對上述輸入圖像實施所選擇之上述圖像處理。
本發明第3側面之圖像處理裝置包括：生成機構，其藉由從輸入圖像中擷取上述輸入圖像上之被攝體之區域所具有之特徵的第1特徵量，而生成用以特定上述被攝體之區域之被攝體特定資訊；檢測機構，其根據上述輸入圖像及上述被攝體特定資訊，檢測上述輸入圖像上之上述被攝體之區域即被攝體區域的模糊程度、及上述輸入圖像上之上述被攝體區域以外之區域即背景區域的模糊程度；擷取機構，其根據上述輸入圖像，從上述被攝體區域與上述背景區域中擷取與上述模糊程度不同之複數個特徵的第2特徵量；選擇機構，其根據上述模糊程度及上述第2特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理。
可使上述選擇機構針對上述被攝體區域及上述背景區域之各者而選擇上述圖像處理；可使上述圖像處理機構針對上述被攝體區域及上述背景區域之各者而實施所選擇之上述圖像處理。
可使上述選擇機構選擇針對上述被攝體區域或上述背景區域中之上述模糊程度較大之區域的上述圖像處理；可使上述圖像處理機構對上述模糊程度較大之區域實施所選擇之上述圖像處理。
本發明第3側面之圖像處理方法或程式包括以下步驟：藉由從輸入圖像中擷取上述輸入圖像上之被攝體之區域所具有之特徵的第1特徵量，而生成用以特定上述被攝體之區域之被攝體特定資訊；根據上述輸入圖像及上述被攝體特定資訊，檢測上述輸入圖像上之上述被攝體之區域即被攝體區域的模糊程度、及上述輸入圖像上之上述被攝體區域以外之區域即背景區域的模糊程度；根據上述輸入圖像，從上述被攝體區域與上述背景區域中擷取與上述模糊程度不同之複數個特徵的第2特徵量；根據上述模糊程度及上述第2特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理。
於本發明之第3側面中，藉由從輸入圖像中擷取上述輸入圖像上之被攝體之區域所具有之特徵的第1特徵量，而生成用以特定上述被攝體之區域之被攝體特定資訊，根據上述輸入圖像及上述被攝體特定資訊，檢測上述輸入圖像上之上述被攝體之區域即被攝體區域的模糊程度、及上述輸入圖像上之上述被攝體區域以外之區域即背景區域的模糊程度，再根據上述輸入圖像，從上述被攝體區域與上述背景區域中擷取與上述模糊程度不同之複數個特徵的第2特徵量，根據上述模糊程度及上述第2特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者，並對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理。
根據本發明之第1側面，能更簡單且有效地顯示圖像。
又，根據本發明之第2側面，能更簡單且有效地顯示圖像。
進而，根據本發明之第3側面，能更簡單且有效地顯示圖像。
以下，參照圖式來說明應用有本發明之實施形態。
<第1實施形態> [圖像處理裝置之構成]
圖1係表示應用有本發明之圖像處理裝置之一實施形態之構成例的示圖。
圖像處理裝置11係由模糊度檢測部21、選擇部22、漫畫風格轉換部23、動畫(animation)風格轉換部24、透視畫(diorama)風格轉換部25、繪畫風格轉換部26、繪畫風格轉換部27、清晰度(sharpness)處理部28、及輸出部29所構成。
該圖像處理裝置11中依序輸入有作為循序播放顯示之對象之複數個輸入圖像，圖像處理裝置11藉由對輸入圖像實施圖像處理來加工輸入圖像並轉換為輸出圖像而輸出。輸入圖像被當作例如係由相機等之攝像裝置所拍攝之圖像等。
模糊度檢測部21根據已供給來的輸入圖像而檢測輸入圖像之模糊程度，並將其檢測結果供給至選擇部22。再者，輸入圖像之模糊中，不僅包含因焦點位置偏移而產生的焦點之模糊，而且包含因攝像裝置移動而產生的所謂手震所導致的模糊。選擇部22根據由模糊度檢測部21所供給之檢測結果，來選擇對輸入圖像所要實施的預先設定之複數個圖像處理中之任一者。
對輸入圖像實施的圖像處理基本上係減少輸入圖像所具有之資訊之資訊量、即：輸入圖像之解析度、色數、輸入圖像之像素之像素值的灰階數、紋理量、邊緣量、位元率中之至少任一者的處理。圖像處理係從漫畫風格轉換處理、動畫風格轉換處理、透視畫風格轉換處理、繪畫風格轉換處理、及清晰度處理中選擇。
此處，漫畫風格轉換處理係減少輸入圖像之色彩，而將輸入圖像轉換為如漫畫般之圖像之處理；動畫風格轉換處理係減少輸入圖像之紋理，而將輸入圖像上之包含近似色之一個區域當作一種色彩之區域之處理。
又，透視畫風格轉換處理係對輸入圖像賦予均勻之遠近感之處理，繪畫風格轉換處理係將輸入圖像轉換為如繪畫般之圖像之處理。於繪畫風格轉換處理中，有減少輸入圖像之像素之像素值之灰階數之處理(以下，亦稱為減色繪畫風格轉換處理)、及對已實施減色繪畫風格轉換處理之輸入圖像進一步實施使用遮罩來著色之處理(以下，亦稱為覆色繪畫風格轉換處理)。再者，清晰度處理係強調輸入圖像之邊緣之處理。
選擇部22在選擇圖像處理後，將已供給而來的輸入圖像供給至漫畫風格轉換部23至清晰度處理部28中之要進行所選擇之圖像處理之區塊。
漫畫風格轉換部23預先保持用以進行漫畫風格轉換處理之濾鏡，並使用所保持之濾鏡來對由選擇部22所供給之輸入圖像實施濾波處理，即漫畫風格轉換處理，將其結果所獲得之輸出圖像供給至輸出部29。漫畫風格轉換部23中獲得之輸出圖像係對輸入圖像實施漫畫風格轉換處理而獲得之圖像。
動畫風格轉換部24預先保持用以進行動畫風格轉換處理之濾鏡，並使用所保持之濾鏡對來自選擇部22之輸入圖像實施濾波處理，即動畫風格轉換處理，將其結果所獲得之輸出圖像供給至輸出部29。透視畫風格轉換部25預先保持用以進行透視畫風格轉換處理之濾鏡，並使用所保持之濾鏡對來自選擇部22之輸入圖像實施濾波處理，即透視畫風格轉換處理，將其結果所獲得之輸出圖像供給至輸出部29。
繪畫風格轉換部26預先保持用以進行減色繪畫風格轉換處理之濾鏡，並使用所保持之濾鏡對由選擇部22所供給之輸入圖像實施濾波處理，將其結果所獲得之輸出圖像供給至輸出部29。繪畫風格轉換部27預先保持用以進行覆色繪畫風格轉換處理之濾鏡，並使用所保持之濾鏡來對由選擇部22所供給之輸入圖像實施濾波處理，將其結果所獲得之輸出圖像供給至輸出部29。
清晰度處理部28預先保持用以進行清晰度處理之濾鏡，並使用所保持之濾鏡來對由選擇部22所供給之輸入圖像實施濾波處理，將其結果所獲得之輸出圖像供給至輸出部29。輸出部29將由漫畫風格轉換部23至清晰度處理部28之任一者所供給之輸出圖像作為循序播放顯示之圖像而輸出至未圖示之顯示裝置中並顯示。
其次，說明漫畫風格轉換處理、動畫風格轉換處理、透視畫風格轉換處理、減色繪畫風格轉換處理、及覆色繪畫風格轉換處理。
首先，於漫畫風格轉換處理中，利用拉普拉斯濾鏡等之擷取邊緣之濾鏡來對輸入圖像實施濾波處理，並對其結果所獲得之圖像實施二值化處理。進而，對經二值化處理後之圖像實施膨脹伸縮處理，整理不均勻的輪廓線。再者，以下，將對經二值化處理後之圖像實施膨脹伸縮處理所獲得之圖像亦稱作輪廓圖像。
又，如圖2所示，求出輸入圖像之僅包含特定亮度值之像素的點集合作為紋理。圖2中，圖中左側顯示有輸入圖像，圖中右側顯示有紋理。
該紋理係包含與輸入圖像為相同大小之二值、例如白色與黑色之圖像，紋理中之與輸入圖像之特定亮度值之像素為相同位置之像素的像素值被當作會變黑的值，其他像素之像素值被當作會變白的值。
將以此方式獲得之紋理與輪廓圖像加以合成，並將其結果所獲得之圖像當作經漫畫風格轉換處理而獲得之輸出圖像(以下，亦稱為漫畫風格之輸出圖像)。該漫畫風格之輸出圖像之特徵在於：整個圖像以輪廓線表現，亦即以簡單的線或圖案所構成，且圖像為白黑圖像。換言之，漫畫風格之輸出圖像可一面強調輸入圖像之邊緣，一面使輸入圖像單色化。
又，於動畫風格轉換處理中，利用拉普拉斯濾鏡等來對輸入圖像實施濾波處理，並對其結果所獲得之圖像實施二值化處理，進而，對經二值化處理後之圖像實施膨脹伸縮處理。藉此，獲得輸入圖像之輪廓圖像。
進而，使用對應於輸入圖像上之各像素之臨限值來進行同色判定處理，從而輸入圖像上之相同色之區域、更詳細而言為包含近似之色之像素的區域被分段(segmentation)。藉此，於輸入圖像上，將相互鄰接且包含經同色判定處理而為相同色之像素之區域當作一個段(segment)。例如，分段時之色之數目為10色左右。而且，對輸入圖像上之各段，進行將其段內像素之平均色作為段色之處理，並將其結果所得之圖像與輪廓圖像加以合成而形成輸出圖像。
由動畫風格轉換處理所獲得之輸出圖像(以下，亦稱為動畫風格之輸出圖像)可對漫畫風格之輸出圖像賦予色。亦即，動畫風格之輸出圖像係強調輸入圖像之邊緣，且對輸入圖像上之同一段以相同色塗抹而成者。
接著，於透視畫風格轉換處理中，對輸入圖像實施線性轉換處理，進行輸入圖像之對比度調整。進而，對經對比度調整後的輸入圖像之除中心附近之部分即周邊部，使用高斯濾鏡進行濾波處理，將周邊部暈映。以此方式獲得之圖像被當作經透視畫風格轉換處理所獲得之輸出圖像(以下，亦稱為透視畫風格之輸出圖像)。透視畫風格之輸出圖像中具有如下特徵：景深深度均勻，對比率高，亦即，所謂過黑或過白之區域較多。
再者，透視畫風格轉換處理只要係應用有能對圖像賦予均勻之遠近感之演算或者能使圖像之視野變窄之演算的處理，則可為任意處理。例如，可將對輸入圖像實施線性轉換處理、進而實施反卷積(deconvolution)處理來調整焦點狀態之處理當作透視畫風格轉換處理。
又，於減色繪畫風格轉換處理中，將輸入圖像中受到注目之像素作為注目像素，並將以該注目像素為中心之特定區域作為注目區域，將注目區域內之像素之R(紅)、G(綠)、B(藍)之像素值的支配性的值作為注目像素之R、G、及B各成分之像素值。例如，對應R、G、B各色之每一成分而生成直方圖，並將該直方圖上之頻率最多的直方柱之值，亦即色之成分之像素值作為注目像素之像素值。
以此方式對輸入圖像之各像素重新規定R、G、B各成分之像素值而變更像素值後，對其結果所得之圖像進一步實施減少各像素之色彩成分之像素值之灰階數的灰階轉換處理。並且，將由灰階轉換處理所得之圖像作為經減色繪畫風格轉換處理所獲得之輸出圖像(以下，亦稱為減色繪畫風格之輸出圖像)。
通常，像素之像素值係以256灰階表示，為0至255之任一值。於灰階轉換處理中，例如圖3所示，將輸入圖像之像素之像素值轉換為較256少的灰階數之像素值。
圖3中，於「灰階數」欄中，顯示有轉換後之灰階數，於「每一灰階之寬度」欄中，顯示有與轉換後之1灰階相當的轉換前之灰階數。例如，當轉換後之灰階數為「8」時，轉換後之1階相當於轉換前之32階。亦即，轉換前之連續的32階之像素值在轉換後被當作相同灰階之像素值。
又，例如在進行將輸入圖像之像素之各色之成分的像素值從256階減少為8階之灰階轉換處理時，使用圖4所示之轉換表來轉換像素值。圖4中，於「原始像素值」欄中，顯示轉換前之256階之像素值之範圍，於「轉換後之像素值」欄中，顯示轉換後之8階之像素值。因此，例如當轉換前之注目像素之R成分之像素值為「0」至「31」之間的值時，其像素之R成分之轉換後的像素值為「0」。
以此方式將輸入圖像之R、G、B各色之成分之像素值進行轉換後，可獲得減色繪畫風格之輸出圖像。再者，轉換後之灰階數係影響減色繪畫風格之輸出圖像之完成狀態者，因此亦可由使用者任意設定。
又，於覆色繪畫風格轉換處理中，對輸入圖像實施減色繪畫風格轉換處理，並使用以此獲得之減色繪畫風格之圖像與輸入圖像而生成輸出圖像。具體而言，如圖5所示，選擇以輸入圖像P11之任意像素為中心之區域即區塊B11。
此處，如箭頭A11所示，考慮將區塊B11之區域以位於該區塊B11中心之中心像素之色彩(以下，亦稱為代表色)進行塗繪。例如，使用遮罩並以代表色來塗繪區塊B11之區域，而如箭頭A12所示，生成塗色時所使用之遮罩。
該遮罩係於區塊B11中，僅對與代表色近似之色之像素以代表色進行塗抹，而對與代表色不近似之色之像素則不塗色而維持原樣者。例如，各像素之色與代表色之近似程度係藉由歐基里德距離或曼哈坦距離而求出，對近似度為臨限值以上之像素以代表色進行塗繪。在使用該遮罩對區塊B11塗繪代表色後，如箭頭A13所示，區塊B11內與中心像素之色近似之色之像素的色成為代表色。
於覆色繪畫風格轉換處理中，使用以此方式生成之遮罩，將與輸入圖像之區塊B11位於相同位置上、由輸入圖像所獲得之減色繪畫風格之圖像P12之區域即區塊B12塗繪成代表色。亦即，將與塗繪成箭頭A13所示之區塊B11內之代表色之像素位於相同位置上的區塊B12內之像素之像素值，變更為表示代表色之值。
如上所述，從輸入圖像P11中選擇任意區塊而生成遮罩，並對與該區塊位於相同位置上的減色繪畫風格之圖像P12之區塊使用遮罩來進行規定次數的貼附(塗抹)代表色之處理，將其結果所獲得之圖像作為輸出圖像P13。以下，將經覆色繪畫風格轉換處理所獲得之輸出圖像亦稱為覆色繪畫風格之輸出圖像。
再者，代表色之貼附處理所重複的規定次數例如可根據輸入圖像之邊緣之複雜度、及處理單位之區塊(例如，區塊B11)之大小而決定，亦可預先設定。
又，覆色繪畫風格轉換處理中使用之遮罩係用以對減色繪畫風格之圖像P12進行更細微的表現者，因此在將覆色繪畫風格之輸出圖像完成為粗糙風格(rough touch)之圖像時，亦可不使用遮罩。於該情形時，區塊B12之各像素之像素值被當作表示區塊B11之代表色的值。
[圖像處理裝置之動作之說明]
且說，在對圖像處理裝置11依序供給作為循序播放顯示之對象之輸入圖像後，圖像處理裝置11開始進行將已供給來的輸入圖像轉換為輸出圖像並輸出之處理，即圖像轉換處理。
以下，參照圖6之流程圖來說明圖像處理裝置11之圖像轉換處理。
步驟S11中，模糊度檢測部21根據已供給來的輸入圖像而檢測輸入圖像之模糊度。
例如，模糊度檢測部21將輸入圖像分割成若干個區塊，並針對每一區塊而檢測邊緣強度。然後，模糊度檢測部21求出輸入圖像之各區塊之邊緣強度之最小值與最大值的差分來作為動態範圍(dynamic range)，並根據該動態範圍而設定邊緣基準值及擷取基準值。
此處，所謂邊緣基準值，係在對輸入圖像上是否含有構成邊緣之像素(以下，稱為邊緣點)之判定中所使用的值，擷取基準值係在對邊緣點之擷取量是否為適切之判定中所使用的值。
模糊度檢測部21擷取對輸入圖像之各區塊檢測到的邊緣強度為邊緣基準值以上之區塊(以下，稱為邊緣區塊)中所包含的像素來作為邊緣點，將其擷取量與擷取基準值加以比較。然後，在擷取量之比較結果為邊緣點之擷取量不適切之情況下，模糊度檢測部21反覆進行如下處理：調整邊緣基準值直至其擷取量成為適切的量為止，以擷取邊緣點。
又，模糊度檢測部21在擷取適切的量之邊緣點後，分析所擷取之邊緣點上是否產生有模糊，並根據該分析結果而求出表示輸入圖像之模糊程度的模糊度。該模糊度之值越大，則表示輸入圖像之被攝體越模糊，所求出的模糊度從模糊度檢測部21被供給至選擇部22。
於步驟S12中，選擇部22根據由模糊度檢測部21所供給之模糊度來判定輸入圖像是否為已模糊的圖像。例如，當模糊度為預先設定之臨限值以上時，判定輸入圖像為已模糊的圖像。
於步驟S12中，當判定為並非已模糊的圖像時，處理進入至步驟S13。於步驟S13中，選擇部22根據漫畫風格轉換部23至清晰度處理部28所保持之濾鏡之使用頻率，從對未模糊的圖像所預先設定之濾鏡中選擇一個濾鏡。
例如，於圖像處理裝置11中，預先設定針對已模糊的輸入圖像所使用之濾鏡、及針對未模糊的輸入圖像所使用之濾鏡，並根據輸入圖像是否模糊而從不同組合之濾鏡群中選擇一個濾鏡。
具體而言，針對未模糊的輸入圖像，使用用於漫畫風格轉換處理之濾鏡、用於動畫風格轉換處理之濾鏡、用於透視畫風格轉換處理之濾鏡、用於減色繪畫風格轉換處理之濾鏡、或者用於覆色繪畫風格轉換處理之濾鏡之任一者來生成輸出圖像。
亦即，對未模糊的輸入圖像實施漫畫風格轉換處理、動畫風格轉換處理、透視畫風格轉換處理、減色繪畫風格轉換處理、或者覆色繪畫風格轉換處理之任一個圖像處理而生成輸出圖像。在輸入圖像未模糊之情況下，可從輸入圖像中確實擷取邊緣，故而可從利用邊緣強調之處理之濾鏡等絢麗多彩的濾鏡中進行選擇。
再者，以下，將針對未模糊的輸入圖像所使用之包含用於漫畫風格轉換處理之濾鏡、用於動畫風格轉換處理之濾鏡、用於透視畫風格轉換處理之濾鏡、用於減色繪畫風格轉換處理之濾鏡、及用於覆色繪畫風格轉換處理之濾鏡的濾鏡群，亦稱為無模糊濾鏡群。
又，選擇部22保持由漫畫風格轉換部23至清晰度處理部28所保持之濾鏡之使用頻率。選擇部22根據所保持之各濾鏡之使用頻率，從無模糊濾鏡群中選擇使用頻率最低的濾鏡。
選擇部22在選擇濾鏡後，將已供給來的輸入圖像供給至具有所選擇之濾鏡之區塊，處理進入至步驟S15。例如，在已選擇用於減色繪畫風格轉換處理之濾鏡之情況下，選擇部22將輸入圖像供給至繪畫風格轉換部26，並將用於減色繪畫風格轉換處理之濾鏡之使用頻率加上1。
相對於此，於步驟S12中，當判定為已模糊的圖像時，處理進入至步驟S14。於步驟S14中，選擇部22根據漫畫風格轉換部23至清晰度處理部28所保持之濾鏡之使用頻率，從對已模糊的圖像所預先設定之濾鏡中選擇一個濾鏡。
例如，針對已模糊的輸入圖像，使用用於清晰度處理之濾鏡、用於減色繪畫風格轉換處理之濾鏡、用於透視畫風格轉換處理之濾鏡之任一個濾鏡來生成輸出圖像。
亦即，對已模糊的輸入圖像實施清晰度處理、減色繪畫風格轉換處理、或者透視畫風格轉換處理之任一個圖像處理而生成輸出圖像。在輸入圖像已模糊之情況下，無法從輸入圖像中獲得鮮明的邊緣，故而選擇無需邊緣之圖像處理，將輸入圖像轉換為模糊感弱的輸出圖像。
如上所述，在對已模糊的輸入圖像實施清晰度處理、減色繪畫風格轉換處理、或者透視畫風格轉換處理後，可將已模糊的輸入圖像轉換為無模糊的值得使用者鑒賞之輸出圖像。即，輸出圖像係將整個輸入圖像加工而成者，故而在輸入圖像係由使用者所拍攝時，輸出圖像會成為與使用者拍攝時之場景所不同之圖像，例如成為如風格粗糙的繪畫般之圖像。因此，在顯示所獲得之輸出圖像時，亦不會讓使用者感覺難看，與淡入或變焦等單調的顯示效果相比，可給使用者以更大的衝擊力。
再者，以下，將針對已模糊的輸入圖像所使用之包含用於清晰度處理之濾鏡、用於減色繪畫風格轉換處理之濾鏡、及用於透視畫風格轉換處理之濾鏡的濾鏡群，亦稱為有模糊濾鏡群。
選擇部22根據所保持之各濾鏡之使用頻率，從有模糊濾鏡群中選擇使用頻率最低的濾鏡。
然後，選擇部22將已供給來的輸入圖像供給至具有所選擇之濾鏡之區塊，處理進入至步驟S15。例如，在已選擇用於透視畫風格轉換處理之濾鏡之情況下，選擇部22將輸入圖像供給至透視畫風格轉換部25，並將用於透視畫風格轉換處理之濾鏡之使用頻率加上1。
於步驟S13或步驟S14中，在選擇濾鏡後，於步驟S15時，漫畫風格轉換部23至清晰度處理部28中之從選擇部22被供給有輸入圖像之區塊會對已供給來的輸入圖像實施濾波處理。
例如，在由選擇部22選擇用於透視畫風格轉換處理之濾鏡，並由選擇部22已將輸入圖像供給至透視畫風格轉換部25時，透視畫風格轉換部25對已供給來的輸入圖像使用所保持之濾鏡實施濾波處理。亦即，透視畫風格轉換部25對輸入圖像實施透視畫風格轉換處理，將輸入圖像轉換為透視畫風格之輸出圖像。
然後，透視畫風格轉換部25將經透視畫風格轉換處理所獲得之透視畫風格之輸出圖像供給至輸出部29，處理進入至步驟S16。
於步驟S16中，輸出部29將已供給來的輸出圖像輸出至未圖示之顯示裝置，使顯示裝置顯示輸出圖像。
於步驟S17中，圖像處理裝置11判定處理是否完畢。例如，在作為循序播放顯示之對象之所有的輸入圖像均轉換為輸出圖像並已輸出之情況下，判定為處理完畢。
於步驟S17中，當判定為未完畢時，處理返回至步驟S11，反覆進行上述處理。即，將下一個輸入圖像轉換為輸出圖像。
相對於此，於步驟S17中，當判定為完畢時，結束圖像處理裝置11之各部所執行之處理，圖像轉換處理完畢。
以此方式，圖像處理裝置11檢測輸入圖像之模糊度，並根據其檢測結果而對輸入圖像實施圖像處理，將輸入圖像轉換為輸出圖像。
如上所述，透過對輸入圖像實施對應於模糊度而選擇之圖像處理，從而即便為已模糊的輸入圖像，亦可轉換為值得使用者鑒賞之輸出圖像並顯示。藉此，先前所廢棄之已模糊的圖像亦可有效地活用，並且可讓使用者感覺新鮮。
又，透過對未模糊的輸入圖像亦實施圖像處理，並顯示其結果所獲得之輸出圖像，從而可給鑒賞輸出圖像之使用者以強烈的衝擊力，能讓使用者更愉快。而且，圖像處理裝置11係根據各濾鏡之使用頻率來選擇濾鏡(圖像處理)，故而並無相同濾鏡被連續選擇之情形。因此，亦不會有使用者厭煩對輸出圖像之鑒賞之情形。
如上所述，根據圖像處理裝置11中，藉由簡單的處理，即，根據輸入圖像之模糊度來選擇適切的濾鏡，並利用所選擇之濾鏡來加工輸入圖像，便可生成與輸入圖像之拍攝時具有不同視覺感的輸出圖像。藉此，可對使用者更有效地顯示圖像。
再者，以上，說明了使自輸入圖像所獲得之輸出圖像進行循序播放顯示，但亦可記錄輸出圖像，或者僅顯示一個輸出圖像。又，於循序播放時，亦可一面進行從輸出圖像與其原本的輸入圖像之任一方朝另一方之淡入淡出，一面切換圖像之顯示。進而，還可使對相同輸入圖像以不同之濾鏡進行濾波處理所獲得之複數個輸出圖像一面淡入淡出一面顯示。
<第2實施形態> [圖像處理裝置之構成]
進而，以上說明了根據使用頻率來選擇圖像處理(濾鏡)，但亦可從輸入圖像中擷取若干個特徵之特徵量，並根據其等特徵量而選擇濾鏡。例如，從輸入圖像中擷取輸入圖像之解析度、色彩分布、色彩偏差、輸入圖像之像素之像素值的灰階數、模糊程度、邊緣量、邊緣分布、紋理量、紋理分布中之至少一者，將其作為用於選擇濾鏡之特徵量。
於上述情形時，例如圖像處理裝置係如圖7所示而構成。再者，圖7中，對與圖1之情形對應之部分標註有相同之符號，省略其說明。
圖7之圖像處理裝置51係由模糊度檢測部21、邊緣複雜度檢測部61、尺寸檢測部62、色彩分布複雜度檢測部63、色彩偏差檢測部64、選擇部22至繪畫風格轉換部27、以及輸出部29所構成。又，已供給至圖像處理裝置51之輸入圖像會被供給至模糊度檢測部21、邊緣複雜度檢測部61至色彩偏差檢測部64、及選擇部22。
模糊度檢測部21、及邊緣複雜度檢測部61至色彩偏差檢測部64之各者係從已供給來的輸入圖像中擷取輸入圖像之特徵量，並將表示該特徵量之得分供給至選擇部22。然後，選擇部22根據其等之得分來選擇對輸入圖像所要實施之圖像處理。
模糊度檢測部21係從輸入圖像中檢測模糊度來作為特徵量，並將該檢測結果作為表示特徵量之得分而供給至選擇部22。
邊緣複雜度檢測部61係根據已供給來的輸入圖像而求出表示輸入圖像中所含之邊緣之量的邊緣複雜度，並供給至選擇部22。該邊緣複雜度之值(得分)會因輸入圖像而含有較多的邊緣，在輸入圖像越為複雜的圖案時，該邊緣複雜度之值會變得越大。
尺寸檢測部62係根據已供給來的輸入圖像而求出表示包圍輸入圖像上之物件(被攝體)之邊界的矩形區域、即、表示所謂定界框(bounding box)之大小的框尺寸，並供給至選擇部22。在定界框之大小越大，且輸入圖像之邊緣所集中之部分之緊湊程度越低時，該框尺寸之值(得分)會變得越大。
色分布複雜度檢測部63係根據已供給來的輸入圖像而求出表示輸入圖像之色分布之複雜度的色分布複雜度，並供給至選擇部22。在色分布越複雜，且輸入圖像越為複雜的圖案時，該色分布複雜度之值(得分)會變得越大。
色彩偏差檢測部64係根據已供給來的輸入圖像而求出表示輸入圖像之色彩偏差之程度的色彩偏差度，並供給至選擇部22。在輸入圖像之色彩偏差越大時，該色彩偏差度之值(得分)會變得越大。
選擇部22係根據由模糊度檢測部21、及邊緣複雜度檢測部61至色彩偏差檢測部64所供給之特徵量，即模糊度、邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度，來選擇對輸入圖像所要實施之圖像處理(濾鏡)。
具體而言，圖像處理係從漫畫風格轉換處理、動畫風格轉換處理、透視畫風格轉換處理、減色繪畫風格轉換處理、及覆色繪畫風格轉換處理中選擇。選擇部22將已供給來的輸入圖像供給至漫畫風格轉換部23至繪畫風格轉換部27中之要進行所選擇之圖像處理之區塊。
例如圖8所示，若使用從輸入圖像中所擷取之各特徵之特徵量，則選擇部22可獲知對於已供給來的輸入圖像，哪一個圖像處理更為有效。圖8中，表示模糊之有無、邊緣分布之複雜度、框尺寸、色彩分布之複雜度、色彩偏差之有無之各者為何種狀態時各圖像處理更為有效果。
例如，減色繪畫風格轉換處理針對零散地存在有邊緣、且以較多色所表現之圖像為有效。即，減色繪畫風格轉換處理針對邊緣分布及色分布複雜、且不存在色彩偏差之圖像為有效，可將具有上述特徵之輸入圖像利用減色繪畫風格轉換處理而轉換為予測為更值得鑒賞之輸出圖像。再者，輸入圖像中之模糊之有無、及定界框之尺寸，在減色繪畫風格轉換處理對於輸入圖像是否有效之方面，不會造成影響。
又，覆色繪畫風格轉換處理針對單純的邊緣分布及色分布、且特定色較多的圖像為有效。即，覆色繪畫風格轉換處理針對邊緣分布及色分布單純、定界框之大小較小、且存在色彩偏差之圖像而言為有效。再者，輸入圖像中之模糊之有無，在覆色繪畫風格轉換處理對於輸入圖像是否有效之方面，不會造成影響。
進而，透視畫風格轉換處理針對單純的色分布、且定界框較小的圖像為有效。即，透視畫風格轉換處理針對邊緣分布及色分布單純、定界框之大小較小、且不存在色彩偏差之圖像而言為有效。再者，輸入圖像中之模糊之有無，在透視畫風格轉換處理對於輸入圖像是否有效之方面，不會造成影響。
進而，動畫風格轉換處理針對無模糊、且以少數之色所構成之圖像為有效。即，動畫風格轉換處理針對無模糊、邊緣分布及色分布單純、且存在色彩偏差之圖像而言為有效。再者，輸入圖像中之定界框之尺寸，在動畫風格轉換處理對於輸入圖像是否有效之方面，不會造成影響。
進而，漫畫風格轉換處理針對無模糊、且邊緣分布單純的圖像為有效。即，漫畫風格轉換處理針對無模糊、邊緣分布單純但色分布複雜、且不存在色彩偏差之圖像而言為有效。再者，輸入圖像中之定界框之尺寸，在漫畫風格轉換處理對於輸入圖像是否有效之方面，不會造成影響。又，色分布及色彩偏差在漫畫風格轉換處理是否有效之方面亦不太會造成影響。
如此一來，只要瞭解輸入圖像之特徵，便可得知哪一個圖像處理對於輸入圖像為有效，故而選擇部22會根據例如圖9所示之輸入圖像之各特徵之特徵量來選擇圖像處理。
圖9中，在表示各特徵之「模糊度」、「邊緣複雜度」、「框尺寸」、「色分布複雜度」、及「色彩偏差度」之各欄中，記有記號「○」(圈)或「×」(叉)。該記號「○」(圈)表示特徵量(得分)未達特定之臨限值之情形，記號「×」(叉)表示特徵量為臨限值以上之情形。
具體而言，選擇部22將各特徵之特徵量與針對每一特徵所設定之臨限值加以比較，進行圖像處理之選擇。
例如，在邊緣複雜度及色分布複雜度為臨限值以上，且色彩偏差度未達臨限值時，選擇減色繪畫風格轉換處理。又，在邊緣複雜度、框尺寸、及色分布複雜度未達臨限值，且色彩偏差度為臨限值以上時，選擇覆色繪畫風格轉換處理。
進而，在邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度未達臨限值時，選擇透視畫風格轉換處理，在模糊度、邊緣複雜度、及色分布複雜度未達臨限值，且色彩偏差度為臨限值以上時，選擇動畫風格轉換處理。此外，在模糊度、邊緣複雜度、及色彩偏差度未達臨限值，且色分布複雜度為臨限值以上時，選擇漫畫風格轉換處理。
接著，參照圖10至圖13，來說明圖7之邊緣複雜度檢測部61至色彩偏差檢測部64各自之構成。
圖10係表示邊緣複雜度檢測部61之更詳細的構成例之示圖。
邊緣複雜度檢測部61係由濾波處理部91、平均值計算部92、距離計算部93、距離計算部94、及得分計算部95所構成。
濾波處理部91生成僅包含已供給來的輸入圖像之R、G、B各成分之R圖像、G圖像、及B圖像，對其等R圖像、G圖像、及B圖像實施擷取邊緣之濾波處理，並供給至平均值計算部92。平均值計算部92求出由濾波處理部91所供給之R圖像、G圖像、及B圖像之每一像素之平均值而生成一個圖像，並供給至距離計算部93及距離計算部94。
距離計算部93計算由平均值計算部92所供給之圖像及預先準備之簡單圖像間的距離，並供給至得分計算部95。此處，所謂簡單圖像，係指例如由專業人士等所拍攝之邊緣之複雜度小、拍攝得好的圖像，亦即一般指評估高的圖像。
距離計算部94計算由平均值計算部92所供給之圖像及預先準備之複雜圖像間的距離，並供給至得分計算部95。此處，所謂複雜圖像，係指例如由業餘人士等所拍攝之邊緣之複雜度大、拍攝得不太好的圖像，亦即一般指評估低的圖像。
得分計算部95使用由距離計算部93所供給之距離及由距離計算部94所供給之距離來計算邊緣複雜度，並供給至選擇部22。
圖11係表示圖7之尺寸檢測部62之更詳細之構成例的示圖。
尺寸檢測部62係由濾波處理部121、平均值計算部122、寬度計算部123、寬度計算部124、及得分計算部125所構成。再者，濾波處理部121及平均值計算部122係與圖10之濾波處理部91及平均值計算部92相同，故而省略其說明。
寬度計算部123使用由平均值計算部122所供給之圖像，求出輸入圖像中之定界框之特定方向(以下，設為x方向)之寬度，並供給至得分計算部125。寬度計算部124使用由平均值計算部122所供給之圖像，求出輸入圖像中之定界框之與x方向垂直之方向(以下，設為y方向)的寬度，並供給至得分計算部125。
得分計算部125根據由寬度計算部123及寬度計算部124所供給之x方向及y方向之寬度來計算框尺寸，並供給至選擇部22。
圖12係表示圖7之色分布複雜度檢測部63之更詳細之構成例的示圖。
色分布複雜度檢測部63係由按色直方圖生成部151、直方圖生成部152、距離計算部153、距離計算部154、及得分計算部155所構成。
按色直方圖生成部151係由已供給來的輸入圖像而生成以輸入圖像之R、G、B各成分之像素值之範圍作為直方柱之每一色的直方圖，並供給至直方圖生成部152。直方圖生成部152係由按色直方圖生成部151所供給之R、G及B各色成分之直方圖而生成一個直方圖，並供給至距離計算部153及距離計算部154。
距離計算部153計算由直方圖生成部152所供給之直方圖、及預先準備之由簡單圖像所獲得之直方圖間的距離，並供給至得分計算部155。距離計算部154計算由直方圖生成部152所供給之直方圖、及預先準備之由複雜圖像所獲得之直方圖間的距離，並供給至得分計算部155。
得分計算部155根據由距離計算部153及距離計算部154所供給之距離來計算色分布複雜度，並供給至選擇部22。
圖13係表示圖7之色彩偏差檢測部64之更詳細之構成例的示圖。
色彩偏差檢測部64係由轉換部181、直方圖生成部182、及得分計算部183所構成。
轉換部181將已供給來的輸入圖像從具有R、G、B各成分之像素值的圖像轉換為具有H(色相)、S(彩度)、V(亮度)各成分之像素值的圖像，並供給至直方圖生成部182。直方圖生成部182根據由轉換部181所供給之具有H、S、V各成分之輸入圖像，而生成滿足輸入圖像上之特定條件之像素的直方圖，並供給至得分計算部183。
得分計算部183根據由直方圖生成部182所供給之直方圖來計算色彩偏差度，並供給至選擇部22。
[圖像處理裝置之動作之說明]
接下來，參照圖14之流程圖，來說明圖7之圖像處理裝置51之圖像轉換處理。
再者，步驟S41之處理係與圖6之步驟S11之處理相同，故而省略其說明。
於步驟S42中，邊緣複雜度檢測部61進行邊緣複雜度檢測處理而求出邊緣複雜度，並供給至選擇部22。又，於步驟S43中，尺寸檢測部62進行尺寸檢測處理而求出框尺寸，並供給至選擇部22。
於步驟S44中，色分布複雜度檢測部63進行色分布複雜度檢測處理而求出色分布複雜度，並供給至選擇部22。進而，於步驟S45中，色彩偏差檢測部64進行色彩偏差檢測處理而求出色彩偏差度，並供給至選擇部22。
再者，於步驟S42或步驟S45中所進行之邊緣複雜度檢測處理、尺寸檢測處理、色彩分布複雜度檢測處理、及色彩偏差檢測處理之詳細情形將於以下描述。
以此方式，藉由模糊度檢測部21、及邊緣複雜度檢測部61至色彩偏差檢測部64而求出特徵量並供給至選擇部22後，處理進入至步驟S46。
於步驟S46中，選擇部22進行濾鏡選擇處理，選擇對輸入圖像實施之圖像處理中所要使用之濾鏡。再者，濾鏡選擇處理之詳細情形將於以下描述，於濾鏡選擇處理中，使用供給至選擇部22之特徵量而選擇濾鏡。在濾鏡被選擇後，從選擇部22將輸入圖像供給至保持所選擇之濾鏡之區塊，即，漫畫風格轉換部23至繪畫風格轉換部27之任一者。
並且，其後，進行步驟S47至步驟S49之處理，圖像轉換處理完畢，該等處理係與圖6之步驟S15至步驟S17之各處理相同，故而省略其說明。
以此方式，圖像處理裝置51從已供給來的輸入圖像求出複數個特徵之特徵量，並透過根據該特徵量所選定之適切之圖像處理，將輸入圖像轉換為輸出圖像。藉此，能更簡單地對輸入圖像選擇更有效之圖像處理以生成輸出圖像，其結果為，可更有效地顯示輸出圖像。
接著，參照圖15之流程圖，來說明與圖14之步驟S42之處理對應之邊緣複雜度檢測處理。該邊緣複雜度檢測處理係藉由圖10之邊緣複雜度檢測部61所進行。
於步驟S71中，濾波處理部91對已供給來的輸入圖像利用例如拉普拉斯濾鏡等之擷取邊緣之濾鏡來進行濾波處理。即，濾波處理部91由輸入圖像而生成R圖像、G圖像、及B圖像，並對其等R圖像、G圖像、及B圖像實施濾波處理而供給至平均值計算部92。
於步驟S72中，平均值計算部92求出由濾波處理部91所供給之R圖像、G圖像、及B圖像之每一像素之平均值，生成一個圖像。亦即，所生成之圖像之像素的像素值為與該像素位於相同位置上的R圖像、G圖像、及B圖像之像素各自的平均值。平均值計算部92將求出平均值所獲得之圖像標準化，形成縱向100像素、橫向100像素等之特定大小之圖像，並供給至距離計算部93及距離計算部94。
於步驟S73中，距離計算部93及距離計算部94計算由平均值計算部92所供給之圖像、及預先準備之簡單圖像與複雜圖像間的距離，並供給至得分計算部95。
例如，來自平均值計算部92之圖像與簡單圖像(或者複雜圖像)間的距離，成為對簡單圖像實施由濾波處理部91進行之濾波處理及由平均值計算部92求出平均值之處理所獲得之圖像、與來自平均值計算部92之圖像間的歐基裏德距離。因此，以此方式所得之距離表示輸入圖像與簡單圖像(或者複雜圖像)之邊緣之複雜度的近似程度。
於步驟S74中，得分計算部95藉由求出由距離計算部93所供給之距離、及由距離計算部94所供給之距離之差分而計算邊緣複雜度之得分(值)，並供給至選擇部22。在輸入圖像與複雜圖像間的距離越近時，以此方式獲得之邊緣複雜度之值會變得越大，從而輸入圖像之邊緣更為複雜。
在求出邊緣複雜度並供給至選擇部22後，邊緣複雜度檢測處理完畢，其後，處理進入至圖14之步驟S43。
又，以下，參照圖16之流程圖，來說明與圖14之步驟S43對應之尺寸檢測處理。該尺寸檢測處理係藉由圖11之尺寸檢測部62所進行。
再者，步驟S101及步驟S102之處理係與圖15之步驟S71及步驟S72之處理相同，故而省略其說明。即，藉由濾波處理部121而對輸入圖像實施濾波處理，藉由平均值計算部122而求出由濾波處理部121所供給之R圖像、G圖像、及B圖像之每一像素之平均值，並將所獲得之圖像標準化。
於步驟S103中，寬度計算部123及寬度計算部124使用由平均值計算部122所供給之圖像來求出輸入圖像中之定界框之x方向及y方向之寬度，並供給至得分計算部125。
例如，寬度計算部123係將來自平均值計算部122之圖像中之包含排列於y方向之像素的線作為y線，針對每一條y線，求出構成該y線之像素之像素值的合計值即y線值。
然後，寬度計算部123使用針對每一條y線所求出之y線值，求出含有圖像中所含之邊緣總量之98%之邊緣量的包含連續排列之y線之區域之x方向的寬度，來作為定界框之x方向之寬度Wx。亦即，所求之區域中包含的y線之y線值之合計值成為構成圖像之所有的y線之y線值之合計值的98%以上。
同樣地，寬度計算部124將來自平均值計算部122之圖像中之包含排列於x方向之像素的線作為x線，針對每一條x線，求出構成該x線之像素之像素值之合計值即x線值。然後，寬度計算部124使用針對每一條x線所求出之x線值，求出含有圖像中所含之邊緣總量之98%之邊緣量的包含連續排列之x線之區域之y方向的寬度，來作為定界框之y方向之寬度Wy。
於步驟S104中，得分計算部125根據由寬度計算部123及寬度計算部124所供給之寬度Wx及寬度Wy來計算框尺寸之得分，並供給至選擇部22。例如，將由1減去經標準化後之寬度Wx與寬度Wy之積所得之值的倒數，作為框尺寸之值(得分)。
具體而言，在已將由平均值計算部122求出平均值所得之圖像標準化為x方向100像素、y方向100像素之大小時，寬度Wx及寬度Wy分別經除以100而得以標準化。亦即，「1-(Wx/100)×(Wy/100)」之倒數為框尺寸之值。
在定界框之大小越大時，以此方式求出之框尺寸之值會變得越大，表示輸入圖像上之邊緣集中之區域之緊湊程度更低。在將所求出之框尺寸供給至選擇部22後，尺寸檢測處理完畢，其後，處理進入至圖14之步驟S44。
其次，參照圖17之流程圖，來說明與圖14之步驟S44之處理對應之色分布複雜度檢測處理。再者，該色分布複雜度檢測處理係藉由圖12之色分布複雜度檢測部63所進行。
於步驟S131中，按色直方圖生成部151使用已供給來的輸入圖像而生成輸入圖像之R、G、B各色之每一成分的直方圖，並供給至直方圖生成部152。
於步驟S132中，直方圖生成部152根據由按色直方圖生成部151所供給之每一色之直方圖而生成一個直方圖，並供給至距離計算部153及距離計算部154。例如，直方圖生成部152將每一色之直方圖標準化，並由經標準化之每一色之直方圖而生成以輸入圖像之像素值之特定範圍作為直方柱之包含16的3次方個直方柱之一個直方圖。
於步驟S133中，距離計算部153及距離計算部154利用K-NN法(K-Nearest Neighbor Method，K最近鄰法)等來計算由直方圖生成部152所供給之直方圖、及由預先準備之簡單圖像與複雜圖像所獲得之直方圖各自之距離。此處，由簡單圖像及複雜圖像所獲得之直方圖分別係藉由與以直方圖生成部152所生成之直方圖相同之處理而生成之直方圖。
例如，距離計算部153將來自直方圖生成部152之直方圖與簡單圖像之直方圖之各直方柱之頻率值的差分的合計值，作為其等直方圖彼此之距離。距離計算部153對於複數個簡單圖像，求出其直方圖與來自直方圖生成部152之直方圖之距離，並供給至得分計算部155。
同樣地，距離計算部154將來自直方圖生成部152之直方圖與複雜圖像之直方圖之各直方柱之頻率值的差分的合計值，作為其等直方圖彼此之距離。距離計算部154對於複數個複雜圖像，計算其直方圖與來自直方圖生成部152之直方圖之距離，並供給至得分計算部155。
於步驟S134中，得分計算部155根據由距離計算部153及距離計算部154所供給之距離來計算色分布複雜度之得分，並供給至選擇部22。
例如，得分計算部155從由距離計算部153及距離計算部154所供給之距離中，按該距離值由小到大之順序而選擇K個距離。然後，得分計算部155從所選擇之K個距離中，求出與簡單圖像之直方圖之距離之個數、及與複雜圖像之直方圖之距離之個數的差，並將所求之差作為色分布複雜度之值(得分)。亦即，將K個距離中之由距離計算部153所供給之距離之個數、與由距離計算部154所供給之距離之個數之差作為色分布複雜度。
在輸入圖像之色分布之複雜度越接近複雜圖像之色分布之複雜度時，以此方式求出之色分布複雜度之值會變得越大，表示輸入圖像之色分布更為複雜。
在求出色分布複雜度並供給至選擇部22後，色分布複雜度檢測處理完畢，處理進入至圖14之步驟S45。
繼而，參照圖18之流程圖，來說明與圖14之步驟S45之處理對應之色彩偏差檢測處理。該色彩偏差檢測處理係藉由圖13之色彩偏差檢測部64所進行。
於步驟S161中，轉換部181將已供給來的輸入圖像轉換為具有H、S、V各成分之像素值的圖像，並供給至直方圖生成部182。
於步驟S162中，直方圖生成部182根據由轉換部181所供給之圖像而生成滿足特定條件之像素之直方圖，並供給至得分計算部183。例如，作為特定之條件，係指以像素之V成分之值為大於0.15且未達0.95的值、且像素之S成分之值為大於0.2的值作為條件，並從來自轉換部181之圖像中擷取滿足該條件之像素。然後，根據所擷取之像素而生成以像素之H成分之值之範圍作為直方柱的直方圖，並供給至得分計算部183。
於步驟S163中，得分計算部183根據由直方圖生成部182所供給之直方圖而計算色彩偏差度之得分，並供給至選擇部22。例如，得分計算部183求出以直方圖之各直方柱之頻率值之合計值的5%以上之值作為頻率值而具有之頻率值最高的直方柱之中央值N，並將由特定之數、例如由20減去中央值N所得之值作為色彩偏差度之值(得分)。
在中央值N、亦即H(色相)成分越小時，以此方式求出之色彩偏差度之值會變得越大，表示輸入圖像中色彩偏差較大。在將所求出之色彩偏差度供給至選擇部22後，色彩偏差檢測處理完畢，處理進入至圖14之步驟S46。
進而，參照圖19之流程圖，來說明與圖14之步驟S46之處理對應的濾鏡選擇處理。該濾鏡選擇處理係藉由圖7之選擇部22所進行。
於步驟S191中，選擇部22根據由模糊度檢測部21所供給之模糊度，來判定供給來的輸入圖像是否為已模糊的圖像。例如，當模糊度為預先設定之臨限值以上時，判定輸入圖像為已模糊的圖像。
於步驟S191中，當判定為並非已模糊的圖像時，於步驟S192中，選擇部22根據由色分布複雜度檢測部63之得分計算部155所供給之色分布複雜度，來判定輸入圖像之色分布是否為複雜。例如，當色分布複雜度為預先設定之臨限值以上時，判定色分布為複雜。
於步驟S192中，當判定為色分布並非複雜時，於步驟S193中，選擇部22選擇將輸入圖像轉換為動畫風格之圖像之濾鏡，來作為對輸入圖像所要實施之圖像處理之濾鏡。
即，由於輸入圖像並非已模糊的圖像而是色分布單純，故而如圖9所示，選擇動畫風格轉換處理來作為圖像處理。選擇部22將已供給來的輸入圖像供給至要進行動畫風格轉換處理之動畫風格轉換部24，濾鏡選擇處理完畢。並且，其後，處理進入至圖14之步驟S47。
相對於此，於步驟S192中，當判定為色分布為複雜時，於步驟S194中，選擇部22選擇將輸入圖像轉換為漫畫風格之圖像之濾鏡，來作為對輸入圖像所要實施之圖像處理之濾鏡。
即，由於輸入圖像並非已模糊的圖像而是色分布複雜，故而如圖9所示，選擇漫畫風格轉換處理來作為圖像處理。選擇部22將已供給來的輸入圖像供給至要進行漫畫風格轉換處理之漫畫風格轉換部23，濾鏡選擇處理完畢。並且，其後，處理進入至圖14之步驟S47。
又，於步驟S191中，當判定為已模糊的圖像時，於步驟S195中，選擇部22根據由邊緣複雜度檢測部61之得分計算部95所供給之邊緣複雜度來判定輸入圖像之邊緣分布是否為複雜。例如，當邊緣複雜度為預先設定之臨限值以上時，判定為邊緣分布為複雜。
於步驟S195中，當判定為邊緣分布並非複雜時，於步驟S196中，選擇部22根據由色彩偏差檢測部64之得分計算部183所供給之色彩偏差度，來判定輸入圖像中是否存在色彩偏差。例如，當色彩偏差度為預先設定之臨限值以上時，判定為存在色彩偏差。
於步驟S196中，當判定為不存在色彩偏差時，於步驟S197中，選擇部22選擇將輸入圖像轉換為透視畫風格之圖像之濾鏡，來作為對輸入圖像所要實施之圖像處理之濾鏡。
即，由於輸入圖像之邊緣分布為單純，且不存在色彩偏差，故而如圖9所示，選擇透視畫風格轉換處理來作為圖像處理。選擇部22將已供給來的輸入圖像供給至要進行透視畫風格轉換處理之透視畫風格轉換部25，濾鏡選擇處理完畢。並且，其後，處理進入至圖14之步驟S47。
相對於此，於步驟S196中，當判定為存在色彩偏差時，於步驟S198中，選擇部22選擇將輸入圖像轉換為覆色繪畫風格之圖像之濾鏡，來作為對輸入圖像所要實施之圖像處理之濾鏡。
即，由於輸入圖像之邊緣分布為單純，且存在色彩偏差，故而如圖9所示，選擇覆色繪畫風格轉換處理來作為圖像處理。選擇部22將已供給來的輸入圖像供給至要進行覆色繪畫風格轉換處理之繪畫風格轉換部27，濾鏡選擇處理完畢。並且，其後，處理進入至圖14之步驟S47。
又，於步驟S195中，當判定為邊緣分布為複雜時，於步驟S199中，選擇部22選擇將輸入圖像轉換為減色繪畫風格之圖像之濾鏡，來作為對輸入圖像所要實施之圖像處理之濾鏡。
即，由於輸入圖像之邊緣分布為複雜，故而如圖9所示，選擇減色繪畫風格轉換處理來作為圖像處理。選擇部22將已供給來的輸入圖像供給至要進行減色繪畫風格轉換處理之繪畫風格轉換部26，濾鏡選擇處理完畢。並且，其後，處理進入至圖14之步驟S47。
以此方式，選擇部22根據從輸入圖像中所擷取之特徵量來選擇相對於輸入圖像更為合適的圖像處理，並將輸入圖像供給至要進行該圖像處理之區塊。如此一來，使用特徵量便能更簡單地對輸入圖像選擇更有效的圖像處理。
<第3實施形態> [圖像處理裝置之構成]
再者，以上說明了對輸入圖像全體實施圖像處理，但亦可僅對輸入圖像之一部分區域實施圖像處理，或者對一部分區域及其他區域實施不同的圖像處理。
於上述情形時，圖像處理裝置例如構成為如圖20所示。再者，於圖20中，對與圖7之情形對應之部分標註有相同之符號，適當省略其說明。
圖像處理裝置231係由注視區域檢測部241、模糊度檢測部21、邊緣複雜度檢測部61至色彩偏差檢測部64、選擇部22至繪畫風格轉換部27、及輸出部29所構成。
注視區域檢測部241係藉由擷取已供給來的輸入圖像上之被攝體之區域所具有之特徵之特徵量而從輸入圖像中檢測被攝體，並生成用以特定輸入圖像中之包含被攝體之注視區域的資訊即被攝體映像。然後，注視區域檢測部241將所生成之被攝體映像供給至模糊度檢測部21、邊緣複雜度檢測部61至色彩偏差檢測部64、及選擇部22。
此處，被攝體之檢測係將在使用者瞥了一眼輸入圖像時推定為使用者會注目的輸入圖像上之物體、亦即將推定為使用者會去看的物體作為被攝體而進行。因此，被攝體並非一定限於人。
模糊度檢測部21及邊緣複雜度檢測部61至色彩偏差檢測部64會使用來自注視區域檢測部241之被攝體映像，從已供給來的輸入圖像之注視區域、與注視區域以外之區域即背景區域中擷取特徵量，並供給至選擇部22。即，對注視區域及背景區域之各者而求出模糊度、邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度。
選擇部22根據來自模糊度檢測部21及邊緣複雜度檢測部61至色彩偏差檢測部64之特徵量，來對注視區域或背景區域之至少一方之區域選擇對該區域所要實施之圖像處理。再者，在對兩方之區域實施圖像處理時，會針對每個區域而選擇圖像處理。
又，選擇部22將已供給來的輸入圖像、及來自注視區域檢測部241之被攝體映像供給至要進行所選擇之圖像處理之區塊。輸出部29視需要而合成由漫畫風格轉換部23至繪畫風格轉換部27所供給之輸出圖像、亦即注視區域之圖像與背景區域之圖像，並輸出最終所得之輸出圖像。
進而，注視區域檢測部241例如構成為如圖21所示。
即，注視區域檢測部241係由亮度資訊擷取部271、色彩資訊擷取部272、顏面資訊擷取部273、及被攝體映像生成部274所構成。
亮度資訊擷取部271根據已供給來的輸入圖像而生成輸入圖像之各區域中之表示與亮度相關之資訊的亮度資訊映像，並供給至被攝體映像生成部274。
亮度資訊擷取部271係由亮度圖像生成部291、金字塔(pyramid)圖像生成部292、差分計算部293、及亮度資訊映像生成部294所構成。
亮度圖像生成部291會使用已供給來的輸入圖像而生成將輸入圖像之像素之亮度值作為像素之像素值的亮度圖像，並供給至金字塔圖像生成部292。此處，亮度圖像之任意像素之像素值表示與該像素位於相同位置上的輸入圖像之像素之亮度值。
金字塔圖像生成部292使用由亮度圖像生成部291所供給之亮度圖像而生成解析度彼此不同之複數個亮度圖像，並將其等亮度圖像作為亮度之金字塔圖像而供給至差分計算部293。
例如，生成從位準L1至位準L8為止的8個解析度之階層之金字塔圖像，位準L1之金字塔圖像之解析度最高，從位準L1至位準L8為止金字塔圖像之解析度依序變低。
於該情形時，將由亮度圖像生成部291所生成之亮度圖像作為位準L1之金字塔圖像。又，位準Li(其中，1≦i≦7)之金字塔圖像中的相互鄰接之4個像素之像素值的平均值為與其等像素對應之位準L(i+1)之金字塔圖像之一個像素的像素值。因此，位準L(i+1)之金字塔圖像成為對位準Li之金字塔圖像進行縱橫對半分(分不開時舍去)所得的圖像。
差分計算部293選擇由金字塔圖像生成部292所供給之複數個金字塔圖像中之階層彼此不同的2個金字塔圖像，求出所選擇之金字塔圖像之差分並生成亮度之差分圖像。再者，各階層之金字塔圖像各自之大小(像素數)不同，故而於生成差分圖像時，會將更小的金字塔圖像對照更大的金字塔圖像而進行變頻(up convert)。
差分計算部293在生成預先設定之數量之亮度的差分圖像後，將所生成之其等差分圖像標準化，並供給至亮度資訊映像生成部294。亮度資訊映像生成部294根據由差分計算部293所供給之差分圖像而生成亮度資訊映像，並供給至被攝體映像生成部274。
又，色彩資訊擷取部272根據已供給來的輸入圖像而生成表示輸入圖像之各區域中之與色相關之資訊的色彩資訊映像，並供給至被攝體映像生成部274。
色彩資訊擷取部272係由RG差分圖像生成部295、BY差分圖像生成部296、金字塔圖像生成部297、金字塔圖像生成部298、差分計算部299、差分計算部300、色彩資訊映像生成部301、及色彩資訊映像生成部302所構成。
RG差分圖像生成部295使用已供給來的輸入圖像而生成將輸入圖像之像素之R(紅)成分與G(綠)成分之差分作為像素之像素值的RG差分圖像，並供給至金字塔圖像生成部297。RG差分圖像之任意像素之像素值係表示與該像素位於相同位置上的輸入圖像之像素之R成分與G成分之差分的值。
BY差分圖像生成部296使用已供給來的輸入圖像而生成將輸入圖像之像素之B(藍)成分與Y(黃)成分之差分作為像素之像素值的BY差分圖像，並供給至金字塔圖像生成部298。BY差分圖像之任意像素之像素值係表示與該像素位於相同位置上的輸入圖像之像素之B(藍)成分與Y(黃)成分之差分的值。再者，輸入圖像之Y(黃)成分之值係根據輸入圖像之R、G、及B各色之成分之值(像素值)而求出。
金字塔圖像生成部297及金字塔圖像生成部298使用由RG差分圖像生成部295及BY差分圖像生成部296所供給之RG差分圖像及BY差分圖像，而生成解析度彼此不同之複數個RG差分圖像及BY差分圖像。然後，金字塔圖像生成部297及金字塔圖像生成部298將所生成之其等RG差分圖像及BY差分圖像作為RG之差分之金字塔圖像及BY之差分之金字塔圖像而供給至差分計算部299及差分計算部300。
例如，作為RG之差分之金字塔圖像及BY之差分之金字塔圖像，與亮度之金字塔圖像之情形同樣地生成從位準L1至位準L8為止的8個解析度之階層之金字塔圖像。
差分計算部299及差分計算部300選擇由金字塔圖像生成部297及金字塔圖像生成部298所供給之複數個金字塔圖像中之階層彼此不同之2個金字塔圖像，求出所選擇之金字塔圖像之差分並生成RG之差分之差分圖像及BY之差分之差分圖像。再者，各階層之金字塔圖像各自之大小不同，故而於生成差分圖像時，會將更小的金字塔圖像變頻而成為與更大的金字塔圖像相同之大小。
差分計算部299及差分計算部300在生成預先設定之數量之RG之差分的差分圖像及BY之差分的差分圖像後，將所生成之其等差分圖像標準化，並供給至色彩資訊映像生成部301及色彩資訊映像生成部302。色彩資訊映像生成部301及色彩資訊映像生成部302根據由差分計算部299及差分計算部300所供給之差分圖像而生成色彩資訊映像，並供給至被攝體映像生成部274。色彩資訊映像生成部301中生成RG之差分之色彩資訊映像，色彩資訊映像生成部302中生成BY之差分之色彩資訊映像。
顏面資訊擷取部273根據已供給來的輸入圖像而生成表示輸入圖像之各區域中之與作為被攝體之人之顏面相關之資訊的顏面資訊映像，並供給至被攝體映像生成部274。顏面資訊擷取部273係由顏面檢測部303及顏面資訊映像生成部304所構成。
顏面檢測部303從已供給來的輸入圖像中檢測作為被攝體之人之顏面的區域，並將其檢測結果供給至顏面資訊映像生成部304。顏面資訊映像生成部304根據來自顏面檢測部303之檢測結果而生成顏面資訊映像，並供給至被攝體映像生成部274。
再者，以下，在無需將由亮度資訊擷取部271至顏面資訊擷取部273所輸出之亮度資訊映像至顏面資訊映像之各者加以各別區分的情況下，亦僅稱為資訊映像。該等資訊映像中所含資訊被當作表示在含被攝體之區域中更多地含有之特徵之特徵量的資訊，將該資訊對應於輸入圖像之各區域排列而成者作為資訊映像。亦即，資訊映像可謂係表示輸入圖像之各區域中之特徵量的資訊。
因此，各資訊映像中之與資訊量更多之區域、亦即與特徵量較多之區域對應之輸入圖像上之區域，成為含被攝體之可能性更高的區域，藉由各資訊映像而可特定輸入圖像中之含被攝體之區域。
被攝體映像生成部274將由亮度資訊映像生成部294、色彩資訊映像生成部301、色彩資訊映像生成部302、及顏面資訊映像生成部304所供給之亮度資訊映像、色彩資訊映像、及顏面資訊映像加以線性結合，生成被攝體映像。即，將亮度資訊映像至顏面資訊映像之各區域之資訊(特徵量)針對位於相同位置上的每一區域而進行加權相加，生成被攝體映像。被攝體映像生成部274將所生成之被攝體映像供給至模糊度檢測部21、邊緣複雜度檢測部61至色彩偏差檢測部64、及選擇部22。
[圖像處理裝置之動作之說明]
其次，參照圖22之流程圖，來說明圖20之圖像處理裝置231之圖像轉換處理。
於步驟S231中，注視區域檢測部241進行注視區域檢測處理而從輸入圖像中檢測注視區域。即，注視區域檢測部241根據輸入圖像而生成被攝體映像，並供給至模糊度檢測部21、邊緣複雜度檢測部61至色彩偏差檢測部64、及選擇部22。再者，注視區域檢測處理之詳細情形將於以下描述。
又，在進行注視區域檢測處理後，其後，執行步驟S232至步驟S236之處理，該等處理係與圖14之步驟S41至步驟S45之處理分別相同，故而省略其說明。
即，於模糊度檢測部21、及邊緣複雜度檢測部61至色彩偏差檢測部64中，求出各特徵之特徵量並供給至選擇部22。再者，於步驟S232至步驟S236之處理中，根據由注視區域檢測部241所生成之被攝體映像，針對輸入圖像之每一個注視區域及背景區域而求出特徵量。亦即，求出注視區域之模糊度、邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度，而且求出背景區域之模糊度、邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度。
於步驟S237中，選擇部22根據由模糊度檢測部21所供給之注視區域及背景區域之模糊度，來判定其等模糊度之差之絕對值是否未達特定之臨限值。
於步驟S237中，當判定為絕對值未達臨限值時，於步驟S238中，選擇部22進行對注視區域之濾鏡選擇處理，選擇在對輸入圖像之注視區域實施之圖像處理中所要使用之濾鏡。
再者，對該注視區域之濾鏡選擇處理係與參照圖19所說明之濾鏡選擇處理相同，故而省略其說明。但是，在對注視區域之濾鏡選擇處理中，係使用注視區域之模糊度、邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度來選擇對注視區域之圖像處理。
選擇部22在選擇針對注視區域之濾鏡、亦即圖像處理後，將已供給來的輸入圖像、與來自注視區域檢測部241之被攝體映像供給至要進行所選擇之圖像處理之區塊，並指示該區塊進行對輸入圖像之注視區域中之圖像處理。
於步驟S239中，漫畫風格轉換部23至繪畫風格轉換部27中之自選擇部22供給有輸入圖像及被攝體映像之區塊會使用已供給來的被攝體映像，來對輸入圖像之注視區域實施濾波處理。
例如，在由選擇部22已選擇減色繪畫風格轉換處理時，繪畫風格轉換部26使用被攝體映像來對輸入圖像之注視區域實施減色繪畫風格轉換處理，生成輸入圖像中之注視區域之部分的輸出圖像。繪畫風格轉換部26將所生成之注視區域之部分之輸出圖像供給至輸出部29。
於步驟S240中，選擇部22進行對背景區域之濾鏡選擇處理，選擇在對輸入圖像之背景區域實施之圖像處理中所要使用之濾鏡。
再者，對該背景區域之濾鏡選擇處理係與參照圖19所說明之濾鏡選擇處理相同，故而省略其說明。但是，在對背景區域之濾鏡選擇處理中，係使用背景區域之模糊度、邊緣複雜度、框尺寸、色彩分布複雜度、及色彩偏差度來選擇對背景區域之圖像處理。
選擇部22在選擇針對背景區域之濾鏡、亦即圖像處理後，將已供給來的輸入圖像與來自注視區域檢測部241之被攝體映像供給至要進行所選擇之圖像處理之區塊，並指示該區塊進行對輸入圖像之背景區域之圖像處理。
於步驟S241中，漫畫風格轉換部23至繪畫風格轉換部27中之自選擇部22供給有輸入圖像及被攝體映像之區塊會使用已供給來的被攝體映像，來對輸入圖像之背景區域實施濾波處理。
例如，在由選擇部22已選擇動畫風格轉換處理時，動畫風格轉換部24使用被攝體映像，於輸入圖像之背景區域實施動畫風格轉換處理，生成輸入圖像中之背景區域之部分的輸出圖像。動畫風格轉換部24將所生成之背景區域之部分之輸出圖像供給至輸出部29。
在將背景區域之部分之輸出圖像供給至輸出部29後，其後，處理進入至步驟S247。
又，於步驟S237中，當判定為模糊度之差之絕對值並非未達臨限值時，於步驟S242中，選擇部22判定注視區域之模糊度是否大於背景區域之模糊度。
於步驟S242中，當判定為注視區域之模糊度較大時，於步驟S243中，選擇部22進行對注視區域之濾鏡選擇處理來選擇濾鏡。再者，步驟S243之處理係與步驟S238之處理相同，故而省略其說明。
選擇部22在選擇濾鏡、即圖像處理後，對進行該圖像處理之區塊供給來自注視區域檢測部241之被攝體映像與已供給來的輸入圖像，並指示進行輸入圖像之注視區域之圖像處理。
於步驟S244中，漫畫風格轉換部23至繪畫風格轉換部27中之自選擇部22供給有輸入圖像及被攝體映像之區塊會使用已供給來的被攝體映像，來對輸入圖像之注視區域實施濾波處理。並且，將由濾波處理所獲得之注視區域之部分之圖像當作注視區域之部分之輸出圖像。
又，進行圖像處理之區塊會使用被攝體映像來擷取輸入圖像之背景區域，並將該背景區域維持原樣地生成背景區域之部分之輸出圖像。進行圖像處理之區塊會將由濾波處理所獲得之注視區域之部分之輸出圖像、與背景區域之部分之輸出圖像供給至輸出部29。
在輸出部29被供給有注視區域之部分之輸出圖像、與背景區域之部分之輸出圖像後，其後，處理進入至步驟S247。如此，當注視區域較背景區域更為模糊時，對輸入圖像之注視區域實施圖像處理，對於未模糊的背景區域則不實施圖像處理，而是維持原樣。
又，於步驟S242中，當判定為注視區域之模糊度並不大時，即，當較注視區域之模糊度而言背景區域之模糊度更大時，於步驟S245中，選擇部22進行對背景區域之濾鏡選擇處理來選擇濾鏡。再者，步驟S245之處理係與步驟S240之處理相同，故而省略其說明。
選擇部22在選擇濾鏡、即圖像處理後，對進行該圖像處理之區塊供給來自注視區域檢測部241之被攝體映像與已供給來的輸入圖像，並指示進行對輸入圖像之背景區域之圖像處理。
於步驟S246中，漫畫風格轉換部23至繪畫風格轉換部27中之自選擇部22供給有輸入圖像及被攝體映像之區塊會使用被供給來的被攝體映像，來對輸入圖像之背景區域實施濾波處理。並且，由濾波處理所獲得之背景區域之部分之圖像被當作背景區域之部分之輸出圖像。
又，進行圖像處理之區塊使用被攝體映像而擷取輸入圖像之注視區域，並將該注視區域維持原樣地生成注視區域之部分之輸出圖像。進行圖像處理之區塊將由濾波處理所獲得之背景區域之部分之輸出圖像、與注視區域之部分之輸出圖像供給至輸出部29。
在對輸出部29供給注視區域之部分之輸出圖像、與背景區域之部分之輸出圖像後，其後，處理進入至步驟S247。如此，當背景區域較注視區域更為模糊時，對輸入圖像之背景區域實施圖像處理，對於未模糊的注視區域則不實施圖像處理，而是維持原樣。
在執行步驟S241、步驟S244、或者步驟S246之處理而將注視區域之部分之輸出圖像、與背景區域之部分之輸出圖像供給至輸出部29後，於步驟S247中，輸出部29將已供給來的注視區域之部分之輸出圖像、與背景區域之部分之輸出圖像加以合成，生成最終的一個輸出圖像。
以此方式所獲得之輸出圖像成為對注視區域與背景區域已實施所各別選擇之圖像處理後的圖像，或者對注視區域或背景區域之任一方已實施圖像處理後之圖像。如此，在獲得最終的輸出圖像後，其後，執行步驟S248及步驟S249之處理，圖像轉換處理完畢，該等處理係與圖6之步驟S16及步驟S17之處理相同，故而省略其說明。
以此方式，圖像處理裝置231對輸入圖像中之注視區域與背景區域之至少一方實施圖像處理，並將輸入圖像轉換為輸出圖像。藉此，可針對輸入圖像之每一個區域而簡單地選擇更有效的圖像處理，生成輸出圖像。其結果為，可更有效地顯示輸出圖像。
例如，當僅輸入圖像之背景區域模糊時，使注視區域維持原樣而對背景區域實施圖像處理，以此可將注視區域內之被攝體置於與輸入圖像之拍攝時之場景所不同之空間中。因此，在進行輸出圖像之鑒賞時，可給使用者以強烈的衝擊力，從而使輸出圖像之鑒賞更愉快。
又，當輸入圖像之注視區域及背景區域之模糊程度大致相同時，對其等兩方之區域分別實施所選擇之圖像處理，以顯示對於每一區域而有不同視覺感的輸出圖像，從而使輸出圖像之鑒賞更愉快。
再者，在對注視區域或背景區域實施圖像處理時，例如，優先進行輸入圖像之顏面檢測，當注視區域中包含入之顏面時，可使注視區域之人之顏面的區域維持原樣，而對人之顏面以外的區域實施圖像處理。例如，人之顏面之區域之檢測可根據注視區域檢測部241中生成之顏面資訊映像而特定。
又，當選擇對注視區域或背景區域實施之圖像處理時，可生成若干個對其等之區域實施不同的圖像處理後之輸出圖像，並從所生成之輸出圖像中選擇對各區域所要實施之圖像處理。於該情形時，例如Seam Carving(影像細縫裁減)般對注視區域之部分之輸出圖像、與背景區域之部分之輸出圖像的邊界線之結合性作為能量而評估，並根據該評估來選擇能將其等區域之輸出圖像在合成時更順利地連結之圖像處理。
進而，被攝體映像亦可用作遮罩。例如，當僅對輸入圖像之注視區域實施圖像處理時，會僅對將被攝體映像用作遮罩之輸入圖像之注視區域實施圖像處理，其結果將所獲得之圖像作為輸出圖像。藉此，於輸出部29中，無需將注視區域之部分之輸出圖像與背景區域之部分之輸出圖像加以合成，從而可更迅速地獲得輸出圖像。
接下來，參照圖23之流程圖，來說明與圖22之步驟S231之處理對應之注視區域檢測處理。
於步驟S281中，亮度圖像生成部291使用已供給來的輸入圖像而生成亮度圖像，並供給至金字塔圖像生成部292。例如，亮度圖像生成部291將輸入圖像之像素之R、G、及B之各成分之值乘以針對每一成分所預先設定之係數，並將與係數相乘後之各成分之值的和作為與輸入圖像之像素位於相同位置上的亮度圖像之像素的像素值。亦即，求出包含亮度成分(Y)及色差成分(Cb，Cr)之分量信號之亮度成分。再者，亦可將像素之R、G、及B各成分之值的平均值作為亮度圖像之像素之像素值。
於步驟S282中，金字塔圖像生成部292根據由亮度圖像生成部291所供給之亮度圖像而生成位準L1至位準L8之各階層之金字塔圖像，並供給至差分計算部293。
於步驟S283中，差分計算部293利用由金字塔圖像生成部292所供給之金字塔圖像而生成差分圖像，將其標準化並供給至亮度資訊映像生成部294。標準化係以使差分圖像之像素之像素值成為例如0至255之間的值之方式而進行。
具體而言，差分計算部293求出各階層之亮度之金字塔圖像中的位準L6及位準L3、位準L7及位準L3、位準L7及位準L4、位準L8及位準L4、以及位準L8及位準L5之各階層之組合之金字塔圖像的差分。藉此，獲得合計為5個的亮度之差分圖像。
例如，於生成位準L6及位準L3之組合之差分圖像時，將位準L6之金字塔圖像對照位準L3之金字塔圖像之大小而進行變頻。亦即，將變頻前之位準L6之金字塔圖像之一個像素的像素值，形成為對應於該像素之與變頻後之位準L6之金字塔圖像相互鄰接之若干個像素的像素值。並且，求出位準L6之金字塔圖像之像素之像素值、及與該像素位於相同位置上的位準L3之金字塔圖像之像素之像素值的差分，將該差分作為差分圖像之像素之像素值。
生成差分圖像之處理係與對亮度圖像實施利用有帶通濾波器(Band Pass Filter)之濾波處理以從亮度圖像中擷取特定之頻率成分為等價。以此方式獲得之差分圖像之像素之像素值表示各位準之金字塔圖像之亮度值之差，亦即輸入圖像之特定之像素中之亮度、與該像素周圍之平均的亮度之差分。
一般而言，圖像中之與周圍之亮度之差分較大的區域為吸引觀看該圖像之人之注意的區域，因而該區域成為被攝體之區域之可能性高。因此，可表示於各差分圖像中像素值更大之像素之區域係成為被攝體之區域之可能性更高的區域。
於步驟S284中，亮度資訊映像生成部294根據由差分計算部293所供給之差分圖像而生成亮度資訊映像，並供給至被攝體映像生成部274。
例如，亮度資訊映像生成部294將所供給來的5個差分圖像利用預先求出的對應每一差分圖像之權重而進行加權相加，求出一個圖像。即，將與各差分圖像位於相同位置上的像素之像素值分別乘以權重，求出與權重相乘後之像素值之總和。
再者，於生成亮度資訊映像時，進行差分圖像之變頻，以使各差分圖像成為相同大小。根據以此所得之亮度資訊映像，可簡單地檢測出輸入圖像中亮度之差較大之區域、亦即容易吸引瞥了一眼輸入圖像之觀察者之注意的區域。
於步驟S285中，RG差分圖像生成部295使用已供給來的輸入圖像而生成RG差分圖像，並供給金字塔圖像生成部297。
於步驟S286中，BY差分圖像生成部296使用已供給來的輸入圖像而生成BY差分圖像，並供給金字塔圖像生成部298。
於步驟S287中，金字塔圖像生成部297及金字塔圖像生成部298使用來自RG差分圖像生成部295之RG差分圖像、及來自BY差分圖像生成部296之BY差分圖像而生成金字塔圖像。
例如，金字塔圖像生成部297生成解析度不同之複數個RG差分圖像，藉此生成從位準L1至位準L8之各階層之金字塔圖像，並供給至差分計算部299。同樣地，金字塔圖像生成部298生成解析度不同之複數個BY差分圖像，藉此生成從位準L1至位準L8之各階層之金字塔圖像，並供給至差分計算部300。
於步驟S288中，差分計算部299及差分計算部300根據由金字塔圖像生成部297及金字塔圖像生成部298所供給之金字塔圖像而生成差分圖像，將其標準化並供給至色彩資訊映像生成部301及色彩資訊映像生成部302。差分圖像之標準化例如係以使像素之像素值成為0至255之間的值之方式而進行。
例如，差分計算部299求出各階層之RG之差分之金字塔圖像中的位準L6及位準L3、位準L7及位準L3、位準L7及位準L4、位準L8及位準L4、以及位準L8及位準L5之各階層之組合之金字塔圖像的差分。藉此，獲得合計為5個的RG之差分之差分圖像。
同樣地，差分計算部300求出各階層之BY之差分之金字塔圖像中的位準L6及位準L3、位準L7及位準L3、位準L7及位準L4、位準L8及位準L4、以及位準L8及位準L5之各階層之組合之金字塔圖像的差分。藉此，獲得合計為5個的BY之差分之差分圖像。
生成該等差分圖像之處理係與對RG差分圖像或BY差分圖像實施利用有帶通濾波器之濾波處理以從RG差分圖像或BY差分圖像中擷取特定之頻率成分為等價。以此方式獲得之差分圖像之像素之像素值表示各位準的金字塔圖像之特定之色成分之差，亦即輸入圖像之像素中之特定之色之成分、與該像素周圍之平均的特定之色之成分之差分。
一般而言，圖像中之與周圍相比更顯眼之色之區域、亦即與特定之色成分之周圍之差分較大的區域，為吸引觀看該圖像之人之注意的區域，因而該區域成為被攝體之區域之可能性高。因此，可表示於各差分圖像中像素值更大之像素之區域係成為被攝體之區域之可能性更高的區域。
於步驟S289中，色彩資訊映像生成部301及色彩資訊映像生成部302使用來自差分計算部299之差分圖像、及來自差分計算部300之差分圖像而生成色彩資訊映像，並供給至被攝體映像生成部274。
例如，色彩資訊映像生成部301將由差分計算部299所供給之RG之差分之差分圖像利用預先求出的對應每一差分圖像之權重而進行加權相加，形成為一個RG之差分之色彩資訊映像。
同樣地，色彩資訊映像生成部302將由差分計算部300所供給之BY之差分之差分圖像利用預先求出的權重進行加權相加，形成為一個BY之差分之色彩資訊映像。再者，於生成色彩資訊映像時，進行差分圖像之變頻，以使各差分圖像成為相同大小。
根據以此所得之色彩資訊映像，可簡單地檢測出輸入圖像中特定之色成分之差較大的區域、亦即容易吸引瞥了一眼輸入圖像之觀察者之注意的區域。
於步驟S290中，顏面檢測部303從已供給來的輸入圖像中檢測人之顏面之區域，並將該檢測結果供給至顏面資訊映像生成部304。例如，顏面檢測部303對輸入圖像實施利用有賈柏濾波器(Gabor filter)之濾波處理，從輸入圖像中擷取人之眼、口、鼻等之特徵性的區域，藉此檢測輸入圖像中之顏面之區域。
於步驟S291中，顏面資訊映像生成部304使用來自顏面檢測部303之檢測結果而生成顏面資訊映像，並供給至被攝體映像生成部274。
例如，作為來自輸入圖像之顏面之檢測結果，檢測出複數個推定為包含顏面之輸入圖像上之矩形之區域(以下，稱候補區域)。此處，於輸入圖像上之特定之位置附近檢測出複數個候補區域，且其等候補區域之一部分亦有相互重疊之情形。即，例如，對於輸入圖像上之一個顏面之區域，取得包含該顏面之複數個區域作為候補區域之情形時，其等候補區域之一部分會相互重疊。
顏面資訊映像生成部304對於藉由顏面之檢測所獲得之候補區域，依每一候補區域生成與輸入圖像為相同大小之檢測圖像。該檢測圖像係將檢測圖像上與處理對象之候補區域為相同區域內之像素之像素值，設為較與候補區域為不同區域內之像素之像素值更大的值。
又，檢測圖像上之像素之像素值，越是與推定為包含入之顏面之可能性高之候補區域之像素為相同位置之像素，其像素值越大。顏面資訊映像生成部304係藉由加總以此方式獲得之檢測圖像而生成一個圖像並使其標準化，從而成為顏面資訊映像。因此，在顏面資訊映像上，與輸入圖像上之複數個候補區域之一部分重疊之區域為相同區域之像素之像素值會變大，且包含顏面之可能性更高。再者，標準化係以使顏面資訊映像之像素之像素值設為例如0至255之間的值之方式而進行。
根據以此方式所得之顏面資訊映像，可簡單地檢測出輸入圖像中作為被攝體之人之顏面之區域。
於步驟S292中，被攝體映像生成部274使用由亮度資訊映像生成部294、色彩資訊映像生成部301、色彩資訊映像生成部302、及顏面資訊映像生成部304所供給之亮度資訊映像、色彩資訊映像、及顏面資訊映像，而生成被攝體映像。
例如，被攝體映像生成部274使用依每一資訊映像所預先求出的權重來線性結合各資訊映像，再者，對該結果所得之映像之像素值乘以預先求出之權重，並使其標準化而成為被攝體映像。
亦即，將此後欲求出之被攝體映像上之注目位置(像素)作為注目位置時，對與各資訊映像之注目位置為相同位置(像素)之像素值乘以每一資訊映像之權重，並將乘以權重後之像素值之總和作為注目位置之像素值。進而，將以此方式求出的被攝體映像之各位置之像素值乘以對被攝體映像預先求出的權重，並使其標準化而成為最終之被攝體映像。
再者，更詳細而言，作為色彩資訊映像，使用RG之差分之色彩資訊映像、及BY之差分之色彩資訊映像，而生成被攝體映像。又，標準化係以使被攝體映像之各像素之像素值成為0到1之間的值之方式而進行。
在被攝體映像生成部274生成被攝體映像後，將所生成之被攝體映像供給至模糊度檢測部21、邊緣複雜度檢測部61至色彩偏差檢測部64、及選擇部22，注視區域檢測處理結束。於注視區域檢測處理結束後，處理進入至圖22之步驟S232。
以此方式，注視區域檢測部241生成用於特定輸入圖像之注視區域之被攝體映像並輸出。藉此，圖像處理裝置231可對輸入圖像上之使用者所注視之注視區域、與其他區域即背景區域分別實施更有效之圖像處理，其結果可更有效地顯示輸出圖像。
再者，以上說明了從輸入圖像中擷取與亮度相關之資訊、與色相關之資訊、及與人之顏面相關之資訊而生成被攝體映像，另外，亦可從輸出圖像中擷取與邊緣相關之資訊或者與動態相關之資訊，並於被攝體映像之生成中使用。
上述一系列之處理可藉由硬體而進行，亦可藉由軟體而行。在以軟體來執行一系列處理時，將構成該軟體之程式由程式記錄媒體而安裝於併入至專用硬體之電腦中，或者藉由安裝各種程式而安裝於可執行各種功能之例如通用的個人用電腦等中。
圖24係表示藉由程式來執行上述一系列處理之電腦之硬體之構成例的方塊圖。
電腦中，CPU(Central Processing Unit，中央處理單元)501、ROM(Read Only Memory，唯讀記憶體)502、RAM(Random Access Memory，隨機存取記憶體)503係藉由匯流排504而相互連接。
匯流排504上進而連接有輸入輸出介面505。於輸入輸出介面505上，連接有：包含鍵盤、滑鼠、麥克風等之輸入部506；包含顯示器、揚聲器等之輸出部507；包含硬碟及非揮發性記憶體等之記錄部508；包含網路介面等之通訊部509；及驅動磁碟、光碟、磁光碟、或半導體記憶體等之可移動媒體511之驅動器510。
在以上述方式所構成之電腦中，CPU 501例如將記錄於記錄部508中之程式經由輸入輸出介面505及匯流排504而安裝於RAM 503中並執行，藉此進行上述的一系列處理。
電腦(CPU 501)所執行之程式係被記錄於例如包含磁碟(含軟盤)、光碟(CD-ROM(Compact Disc-Read Only Memory，光碟-唯讀記憶體)、DVD(Digital Versatile Disc，數位多功能光碟)等)、光磁碟、或半導體記憶體等之套裝媒體(package media)即可移動媒體511中，或者經由局域網、因特網、數字衛星廣播之類的有線或無線之傳播媒體而被提供。
並且，程式藉由將可移動媒體511安裝於驅動器510上，便可經由輸入輸出介面505而安裝於記錄部508。又，程式可經由有線或無線之傳播媒體而於通訊部509接收並安裝於記錄部508。另外，程式可預先安裝於ROM 502或記錄部508中。
再者，電腦所實行之程式可為以本說明書中所說明之順序按時間序列進行處理之程式，同時，或者亦可為於進行調出時等之必要之時間點進行處理之程式。
再者，本發明之實施形態並非限定於上述的實施形態，於不脫離本發明之要旨之範圍內可進行各種變更。
11．．．圖像處理裝置
21．．．模糊度檢測部
22．．．選擇部
23．．．漫畫風格轉換部
24．．．動畫風格轉換部
25．．．透視畫風格轉換部
26．．．繪畫風格轉換部
27．．．繪畫風格轉換部
28．．．清晰度處理部
51．．．圖像處理裝置
61．．．邊緣複雜度檢測部
62．．．尺寸檢測部
63．．．色分布複雜度檢測部
64．．．色彩偏差檢測部
231．．．圖像處理裝置
241．．．注視區域檢測部
圖1係表示應用本發明之圖像處理裝置之一實施形態之構成例的示圖；
圖2係對漫畫風格轉換處理進行說明之示圖；
圖3係表示與減色繪畫風格轉換處理進行轉換後之1灰階相當的轉換前之灰階數之示圖；
圖4係表示減色繪畫風格轉換處理之轉換前與轉換後之像素值的示圖；
圖5係對覆色繪畫風格轉換處理進行說明之示圖；
圖6係對圖像轉換處理進行說明之流程圖；
圖7係表示圖像處理裝置之其他構成例之示圖；
圖8係說明各圖像處理之特徵之示圖；
圖9係說明各圖像處理與特徵量之關係之示圖；
圖10係表示邊緣複雜度檢測部之構成例之示圖；
圖11係表示尺寸檢測部之構成例之示圖；
圖12係表示色分布複雜度檢測部之構成例之示圖；
圖13係表示色彩偏差檢測部之構成例之示圖；
圖14係說明圖像轉換處理之流程圖；
圖15係說明邊緣複雜度檢測處理之流程圖；
圖16係說明尺寸檢測處理之流程圖；
圖17係說明色分布複雜度檢測處理之流程圖；
圖18係說明色彩偏差檢測處理之流程圖；
圖19係說明濾鏡選擇處理之流程圖；
圖20係表示圖像處理裝置之其他構成例之示圖；
圖21係表示注視區域檢測部之構成例之示圖；
圖22係說明圖像轉換處理之流程圖；
圖23係說明注視區域檢測處理之流程圖；及
圖24係表示電腦之構成例之示圖。
11．．．圖像處理裝置
21．．．模糊度檢測部
22．．．選擇部
23．．．漫畫風格轉換部
24．．．動畫風格轉換部
25．．．透視畫風格轉換部
26．．．繪畫風格轉換部
27．．．繪畫風格轉換部
28．．．清晰度處理部
29．．．輸出部

Claims (15)

  1. 一種圖像處理裝置，其包括：檢測機構，其根據輸入圖像來檢測上述輸入圖像之模糊程度；選擇機構，其根據上述模糊程度之檢測結果，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像實施所選擇之上述圖像處理。
  2. 如請求項1之圖像處理裝置，其中上述圖像處理係減少上述輸入圖像之解析度、色彩、上述輸入圖像之像素之像素值的灰階數、紋理、邊緣、或者位元率中之至少一者之處理。
  3. 如請求項1之圖像處理裝置，其中上述選擇機構係當表示上述模糊程度之值超過預先設定的臨限值之情形時，選擇預先設定的若干個上述圖像處理中之任一者，當表示上述模糊程度之值未達上述臨限值時，選擇與上述若干個上述圖像處理之組合不同之其他若干個上述圖像處理中之任一者。
  4. 如請求項3之圖像處理裝置，其中上述選擇機構係根據表示上述模糊程度之值、及各上述圖像處理之至此已選擇之頻率，選擇上述圖像處理。
  5. 一種圖像處理方法，其係對圖像處理裝置進行圖像處理者，該圖像處理裝置包括：檢測機構，其根據輸入圖像來檢測上述輸入圖像之模糊程度；選擇機構，其根據上述模糊程度之檢測結果，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像實施所選擇之上述圖像處理；該圖像處理方法包括以下步驟：由上述檢測機構檢測上述輸入圖像之上述模糊程度；由上述選擇機構選擇上述圖像處理；及由上述圖像處理機構對上述輸入圖像實施所選擇之上述圖像處理。
  6. 一種程式，其係使電腦執行包括以下步驟之處理：根據輸入圖像來檢測上述輸入圖像之模糊程度；根據上述模糊程度之檢測結果，選擇藉由削減上述輸入圖像中所含資訊之資訊量而對上述輸入圖像進行加之複數個圖像處理中之任一者；及對上述輸入圖像實施所選擇之上述圖像處理。
  7. 一種圖像處理裝置，其包括：擷取機構，其根據輸入圖像而從上述輸入圖像中擷取複數個特徵之特徵量；選擇機構，其根據上述複數個特徵之特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像實施所選擇之上述圖像處理。
  8. 如請求項7之圖像處理裝置，其中從上述輸入圖像中擷取上述輸入圖像之解析度、色彩分布、色彩偏差、上述輸入圖像之像素之像素值的灰階數、模糊程度、邊緣量、邊緣分布、紋理量、或者紋理分布中之至少一者，作為上述特徵量。
  9. 一種圖像處理方法，其係對圖像處理裝置進行圖像處理者，該圖像處理裝置包括：擷取機構，其根據輸入圖像而從上述輸入圖像中擷取複數個特徵之特徵量；選擇機構，其根據上述複數個特徵之特徵量，來選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像實施所選擇之上述圖像處理；該圖像處理方法包括以下步驟：由上述擷取機構從上述輸入圖像中擷取上述特徵量；由上述選擇機構選擇上述圖像處理；及由上述圖像處理機構對上述輸入圖像實施所選擇之上述圖像處理。
  10. 一種程式，其係使電腦執行包括以下步驟之處理：根據輸入圖像而從上述輸入圖像中擷取複數個特徵之特徵量；根據上述複數個特徵之特徵量，來選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及對上述輸入圖像實施所選擇之上述圖像處理。
  11. 一種圖像處理裝置，其包括：生成機構，其藉由從輸入圖像中擷取上述輸入圖像上之被攝體之區域所具有之特徵的第1特徵量，而生成用以特定上述被攝體之區域之被攝體特定資訊；檢測機構，其根據上述輸入圖像及上述被攝體特定資訊，檢測上述輸入圖像上之上述被攝體之區域即被攝體區域的模糊程度、及上述輸入圖像上之上述被攝體區域以外之區域即背景區域的模糊程度；擷取機構，其根據上述輸入圖像，從上述被攝體區域與上述背景區域中擷取與上述模糊程度不同之複數個特徵的第2特徵量；選擇機構，其根據上述模糊程度及上述第2特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理。
  12. 如請求項11之圖像處理裝置，其中上述選擇機構針對上述被攝體區域及上述背景區域之各者而選擇上述圖像處理；上述圖像處理機構針對上述被攝體區域及上述背景區域之各者而實施所選擇之上述圖像處理。
  13. 如請求項11之圖像處理裝置，其中上述選擇機構選擇針對上述被攝體區域或上述背景區域中之上述模糊程度較大之區域的上述圖像處理；上述圖像處理機構對上述模糊程度較大之區域實施所選擇之上述圖像處理。
  14. 一種圖像處理方法，其係對圖像處理裝置進行圖像處理者，該圖像處理裝置包括：生成機構，其藉由從輸入圖像中擷取上述輸入圖像上之被攝體之區域所具有之特徵的第1特徵量，而生成用以特定上述被攝體之區域之被攝體特定資訊；檢測機構，其根據上述輸入圖像及上述被攝體特定資訊，檢測上述輸入圖像上之上述被攝體之區域即被攝體區域的模糊程度、及上述輸入圖像上之上述被攝體區域以外之區域即背景區域的模糊程度；擷取機構，其根據上述輸入圖像，從上述被攝體區域與上述背景區域中擷取與上述模糊程度不同之複數個特徵的第2特徵量；選擇機構，其根據上述模糊程度及上述第2特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及圖像處理機構，其對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理；該圖像處理方法包括以下步驟：由上述生成機構生成上述被攝體特定資訊；由上述檢測機構檢測上述被攝體區域及上述背景區域之上述模糊程度；由上述擷取機構從上述被攝體區域及上述背景區域中擷取上述第2特徵量；由上述選擇機構選擇上述圖像處理；及由上述圖像處理機構對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理。
  15. 一種程式，其係使電腦執行包括以下步驟之處理：藉由從輸入圖像中擷取上述輸入圖像上之被攝體之區域所具有之特徵的第1特徵量，而生成用以特定上述被攝體之區域之被攝體特定資訊；根據上述輸入圖像及上述被攝體特定資訊，檢測上述輸入圖像上之上述被攝體之區域即被攝體區域的模糊程度、及上述輸入圖像上之上述被攝體區域以外之區域即背景區域的模糊程度；根據上述輸入圖像，從上述被攝體區域與上述背景區域中擷取與上述模糊程度不同之複數個特徵的第2特徵量；根據上述模糊程度及上述第2特徵量，選擇藉由削減上述輸入圖像中所含資訊之資訊量而加工上述輸入圖像之複數個圖像處理中之任一者；及對上述輸入圖像之上述被攝體區域或上述背景區域之至少一方之區域，實施所選擇之上述圖像處理。
TW098140833A 2008-12-18 2009-11-30 Image processing apparatus and method, and program TWI450213B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008322450A JP5487610B2 (ja) 2008-12-18 2008-12-18 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
TW201027456A TW201027456A (en) 2010-07-16
TWI450213B true TWI450213B (zh) 2014-08-21

Family

ID=42268856

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098140833A TWI450213B (zh) 2008-12-18 2009-11-30 Image processing apparatus and method, and program

Country Status (8)

Country Link
US (2) US8923612B2 (zh)
EP (1) EP2381414A4 (zh)
JP (1) JP5487610B2 (zh)
CN (1) CN102187365B (zh)
BR (1) BRPI0907809A2 (zh)
RU (1) RU2469403C2 (zh)
TW (1) TWI450213B (zh)
WO (1) WO2010071189A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5440198B2 (ja) * 2010-01-19 2014-03-12 カシオ計算機株式会社 絵画風画像表示装置、絵画風画像表示方法、並びにプログラム
US8340411B2 (en) * 2010-03-05 2012-12-25 Xerox Corporation Smart image resizing with color-based entropy and gradient operators
JP5434718B2 (ja) * 2010-03-19 2014-03-05 カシオ計算機株式会社 画像処理装置及び画像処理方法
JP2012033012A (ja) * 2010-07-30 2012-02-16 Casio Comput Co Ltd 画調変換装置、画調変換システム、画調変換方法及びプログラム
JP5083389B2 (ja) * 2010-07-30 2012-11-28 カシオ計算機株式会社 画調変換装置、画調変換システム、画調変換方法及びプログラム
JP2012049837A (ja) * 2010-08-27 2012-03-08 Casio Comput Co Ltd 画像表示装置
JP5440573B2 (ja) * 2010-08-31 2014-03-12 カシオ計算機株式会社 画像処理システム、サーバー、画像処理方法並びに画像処理プログラム
JP5777309B2 (ja) * 2010-09-06 2015-09-09 キヤノン株式会社 撮像装置及びその制御方法、並びに画像処理装置及びその制御方法
JP5633296B2 (ja) * 2010-10-18 2014-12-03 カシオ計算機株式会社 画像制御装置及びプログラム
FR2968811A1 (fr) * 2010-12-13 2012-06-15 Univ Paris Diderot Paris 7 Methode de detection et de quantification du flou dans une image numerique.
TWI497455B (zh) * 2011-01-19 2015-08-21 Hon Hai Prec Ind Co Ltd 具有求救功能的電子裝置及求救方法
JP5682330B2 (ja) * 2011-01-27 2015-03-11 カシオ計算機株式会社 画像出力装置、画像出力方法及びプログラム
JP5603796B2 (ja) * 2011-02-10 2014-10-08 株式会社キーエンス 画像検査装置、画像検査方法、及びコンピュータプログラム
CN102737369A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 图像处理装置及图像处理方法
JP2013131077A (ja) * 2011-12-21 2013-07-04 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム、画像処理システム
JP5532004B2 (ja) * 2011-03-31 2014-06-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5807489B2 (ja) * 2011-09-28 2015-11-10 カシオ計算機株式会社 画像処理装置及び画像処理方法、並びにプログラム
JP5569504B2 (ja) * 2011-10-31 2014-08-13 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
WO2013107037A1 (en) * 2012-01-20 2013-07-25 Thomson Licensing Blur measurement
US10401305B2 (en) * 2012-02-15 2019-09-03 Kla-Tencor Corporation Time-varying intensity map generation for reticles
KR102052229B1 (ko) 2012-03-20 2019-12-04 케이엘에이 코포레이션 레티클 열화를 검출하기 위한 반사맵 및 투과맵의 사용
JP2013219462A (ja) * 2012-04-05 2013-10-24 Sharp Corp 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2013257844A (ja) * 2012-06-14 2013-12-26 Casio Comput Co Ltd 画像変換装置、画像変換方法及びプログラム
TW201421423A (zh) * 2012-11-26 2014-06-01 Pixart Imaging Inc 影像感測器及其運作方法
US9390494B2 (en) 2012-12-13 2016-07-12 Kla-Tencor Corporation Delta die intensity map measurement
JP2013178798A (ja) * 2013-04-17 2013-09-09 Casio Comput Co Ltd 画調変換装置およびプログラム
RU2563333C2 (ru) * 2013-07-18 2015-09-20 Федеральное государственное унитарное предприятие "Научно-производственное объединение автоматики имени академика Н.А. Семихатова" Бесплатформенная инерциальная навигационная система
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
RU2548927C1 (ru) * 2013-12-05 2015-04-20 Федеральное государственное унитарное предприятие "Научное объединение автоматики имени академика Н.А. Семихатова" Система астронавигации
JP2015187602A (ja) * 2014-03-14 2015-10-29 株式会社リコー 測色装置、方法、及びプログラム
CN106462935B (zh) 2014-05-19 2020-08-18 索尼公司 图像处理装置、图像处理方法和计算机可读存储介质
RU2560086C1 (ru) * 2014-07-02 2015-08-20 Самсунг Электроникс Ко., Лтд. Система и способ для временного дополнения видео
US9870637B2 (en) * 2014-12-18 2018-01-16 Intel Corporation Frame removal and replacement for stop-action animation
US10255687B2 (en) * 2015-02-05 2019-04-09 Pixart Imaging Inc. Distance measurement system applicable to different reflecting surfaces and operating method thereof
KR101726844B1 (ko) * 2015-03-25 2017-04-13 네이버 주식회사 만화 데이터 생성 시스템 및 방법
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
WO2018042388A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
CN106528758B (zh) * 2016-10-28 2021-07-27 腾讯科技（深圳）有限公司 一种选取图片方法及装置
JP6269869B2 (ja) * 2017-02-07 2018-01-31 カシオ計算機株式会社 表示制御装置及びプログラム
WO2018179151A1 (ja) * 2017-03-29 2018-10-04 日本電気株式会社 映像解析装置、映像解析方法、および映像解析プログラム
EP3649618A1 (en) 2017-07-03 2020-05-13 Artomatix Ltd. Systems and methods for providing non-parametric texture synthesis of arbitrary shape and/or material data in a unified framework
US10997697B1 (en) * 2018-12-28 2021-05-04 Gopro, Inc. Methods and apparatus for applying motion blur to overcaptured content
CN109859299B (zh) * 2019-03-27 2020-12-22 腾讯科技（深圳）有限公司 人像图片处理方法、装置、计算机可读存储介质和计算机设备
CN112991151B (zh) * 2021-02-09 2022-11-22 北京字跳网络技术有限公司 图像处理方法、图像生成方法、装置、设备和介质
CN112862726B (zh) * 2021-03-12 2023-11-10 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质
CN113627314B (zh) * 2021-08-05 2024-08-13 Oppo广东移动通信有限公司 人脸图像模糊检测方法、装置、存储介质与电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628842B1 (en) * 1999-06-22 2003-09-30 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US20040120598A1 (en) * 2002-12-18 2004-06-24 Feng Xiao-Fan Blur detection system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453844A (en) * 1993-07-21 1995-09-26 The University Of Rochester Image data coding and compression system utilizing controlled blurring
US6850236B2 (en) * 1998-02-17 2005-02-01 Sun Microsystems, Inc. Dynamically adjusting a sample-to-pixel filter in response to user input and/or sensor input
US7620527B1 (en) * 1999-05-10 2009-11-17 Johan Leo Alfons Gielis Method and apparatus for synthesizing and analyzing patterns utilizing novel “super-formula” operator
US7610836B2 (en) * 2000-08-14 2009-11-03 Sd3, Llc Replaceable brake mechanism for power equipment
JP2002007591A (ja) 2000-06-26 2002-01-11 Konica Corp 顔画像情報記憶管理システム、顔画像情報記憶管理方法
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2002300373A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像処理方法、画像処理装置、記録媒体及びプログラム
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
JP2003233799A (ja) * 2002-02-08 2003-08-22 Minolta Co Ltd 画像処理方法
EP1667065B1 (en) * 2003-09-11 2018-06-06 Panasonic Intellectual Property Corporation of America Visual processing apparatus, visual processing method, visual processing program, and semiconductor device
JP2005182196A (ja) 2003-12-16 2005-07-07 Canon Inc 画像表示方法および画像表示装置
JP4725105B2 (ja) * 2004-01-06 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP2005309560A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006024193A (ja) * 2004-06-07 2006-01-26 Fuji Photo Film Co Ltd 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム
EP1605402A2 (en) * 2004-06-10 2005-12-14 Sony Corporation Image processing device and method, recording medium, and program for blur correction
JP4779449B2 (ja) * 2004-06-10 2011-09-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4585456B2 (ja) * 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
RU2337501C2 (ru) * 2006-12-27 2008-10-27 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Способ компенсации размытости изображения движущихся объектов и устройство для его реализации
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628842B1 (en) * 1999-06-22 2003-09-30 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US20040120598A1 (en) * 2002-12-18 2004-06-24 Feng Xiao-Fan Blur detection system

Also Published As

Publication number Publication date
RU2010133657A (ru) 2012-02-20
US8923612B2 (en) 2014-12-30
EP2381414A4 (en) 2013-04-24
RU2469403C2 (ru) 2012-12-10
JP5487610B2 (ja) 2014-05-07
CN102187365B (zh) 2013-10-09
BRPI0907809A2 (pt) 2015-07-14
WO2010071189A1 (ja) 2010-06-24
EP2381414A1 (en) 2011-10-26
US9569827B2 (en) 2017-02-14
JP2010146264A (ja) 2010-07-01
CN102187365A (zh) 2011-09-14
TW201027456A (en) 2010-07-16
US20150071530A1 (en) 2015-03-12
US20110235905A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
TWI450213B (zh) Image processing apparatus and method, and program
EP1372109B1 (en) Method and system for enhancing portrait images
Longere et al. Perceptual assessment of demosaicing algorithm performance
Lu et al. Color filter array demosaicking: new method and performance measures
JP4771573B2 (ja) スマート消去ブラシ
US7187788B2 (en) Method and system for enhancing portrait images that are processed in a batch mode
TWI431549B (zh) Image processing apparatus and method and computer program product
US6807300B1 (en) Noise reduction method utilizing color information, apparatus, and program for digital image processing
JP2012521708A (ja) 色周波数に基づく顕著性マップを用いて画像を修正する方法及び装置
JPH10302059A (ja) データ解像度増加方法
GB2381689A (en) Finding and filtering smaller and larger noise areas in an image
JP2007241424A (ja) 画像処理装置および画像処理方法
JP2010286959A (ja) 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム
JP4146506B1 (ja) モザイク画像生成装置、方法及びプログラム
US8086060B1 (en) Systems and methods for three-dimensional enhancement of two-dimensional images
JP3731741B2 (ja) カラー動画像処理方法および処理装置
JP2011188237A (ja) 画像処理方法、及び画像処理装置
JP2008294969A (ja) 映像変換装置、映像変換方法、映像変換プログラム
JP7329964B2 (ja) 画像処理装置および画像処理方法およびプログラム
Chamaret et al. Harmony-guided image editing
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法
JPH11306344A (ja) 画像処理方法および装置
JP2008283724A (ja) 画像処理方法および装置並びにプログラム
VARABABU et al. A Novel Global Contrast Enhancement Algorithm using the Histograms of Color and Depth Images
JP2004234133A (ja) 画像処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees