TWI696146B - 影像處理方法、裝置、電腦可讀儲存媒體和行動終端 - Google Patents

影像處理方法、裝置、電腦可讀儲存媒體和行動終端 Download PDF

Info

Publication number
TWI696146B
TWI696146B TW107100186A TW107100186A TWI696146B TW I696146 B TWI696146 B TW I696146B TW 107100186 A TW107100186 A TW 107100186A TW 107100186 A TW107100186 A TW 107100186A TW I696146 B TWI696146 B TW I696146B
Authority
TW
Taiwan
Prior art keywords
image
noise reduction
frame
reference image
noise
Prior art date
Application number
TW107100186A
Other languages
English (en)
Other versions
TW201903713A (zh
Inventor
張弓
Original Assignee
大陸商Oppo廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Oppo廣東移動通信有限公司 filed Critical 大陸商Oppo廣東移動通信有限公司
Publication of TW201903713A publication Critical patent/TW201903713A/zh
Application granted granted Critical
Publication of TWI696146B publication Critical patent/TWI696146B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本發明涉及一種影像處理方法、裝置、電腦可讀儲存媒體和行動終端。上述方法包括:從連續拍攝的多框影像中獲取參考影像;根據該參考影像的亮度值和清晰度值獲取該多框影像中第一影像;將該參考影像與該第一影像進行影像合成得到第二影像;對該第二影像進行降噪。上述方法,從多框影像中選取出參考影像後,根據參考影像的亮度值和清晰度值從多框影像中選取第一影像,保證了合成後影像整體的一致性,對合成後影像進行降噪,可以有效的去除影像中噪音,提高影像品質。

Description

影像處理方法、裝置、電腦可讀儲存媒體和行動終端
本發明涉及電腦技術領域,特別是涉及一種影像處理方法、裝置、電腦可讀儲存媒體和行動終端。
在影像成像過程中,由於成像裝置自身或周圍環境的影響,影像中會存在大量的雜訊,雜訊的出現會影響畫面觀感。在對影像進行處理的過程中,需要我們對影像進行降噪,去除影像中的雜訊干擾。傳統的影像影像處理方法中可採用均值濾波器、自我調整維納濾波器和中值濾波器等對影像進行降噪,其中,不同濾波器適應處理的雜訊種類不同。
本發明實施例提供一種影像處理方法、裝置、電腦可讀儲存媒體和行動終端,可以採用多框影像合成對影像進行降噪。
一種影像處理方法,包括: 從連續拍攝的多框影像中獲取參考影像; 根據該參考影像的亮度值和清晰度值獲取該多框影像中第一影像; 將該參考影像與該第一影像進行影像合成得到第二影像; 對該第二影像進行降噪。
在其中一個實施例中,該對該第二影像進行降噪包括: 根據該參考影像與第一影像的框數之和獲取對應的降噪等級,根據該降噪等級對該第二影像進行降噪。
在其中一個實施例中,該對該第二影像進行降噪包括: 對該第二影像進行亮度降噪和色度降噪。
在其中一個實施例中,該從連續拍攝的多框影像中獲取參考影像包括: 從該連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。 一種影像處理裝置,包括: 獲取模組,用於從連續拍攝的多框影像中獲取參考影像;並根據該參考影像的亮度值和清晰度值獲取該多框影像中第一影像; 合成模組,用於將該參考影像與該第一影像進行影像合成得到第二影像; 降噪模組,用於對該第二影像進行降噪。
在其中一個實施例中,該降噪模組還用於根據該參考影像與第一影像的框數之和獲取對應的降噪等級,根據該降噪等級對該第二影像進行降噪。
在其中一個實施例中,該降噪模組還用於對該第二影像進行亮度降噪和色度降噪。
在其中一個實施例中,該獲取模組還用於從該連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。
一種電腦可讀儲存媒體,其上儲存有電腦程式,該程式被處理器執行時實現以上任一項所述的影像處理方法。
一種行動終端,包括記憶體,處理器及儲存在記憶體上並可在處理器上運行的電腦程式,該處理器執行該程式時實現以上任一項所述的影像處理方法。
為了使本發明的目的、技術方案及優點更加清楚明白,以下結合附圖及實施例,對本發明進行進一步詳細說明。應當理解,此處所描述的具體實施例僅僅用以解釋本發明,並不用於限定本發明。
第1圖為一個實施例中影像處理方法的流程圖。如第1圖所示,一種影像處理方法,包括步驟S102至步驟S108。其中: S102,從連續拍攝的多框影像中獲取參考影像。 連續拍攝的多框影像可通過拍攝影像獲取,或通過截取視頻中片段獲取。連續拍攝的多框影像中每框影像拍攝的景物大體一致,即連續拍攝的多框影像可以疊加合成一張影像。當獲取到連續拍攝的多框影像後,可從連續拍攝的多框影像中獲取參考影像。其中,參考影像是指用於多框合成的基準影像,即以參考影像為基準從連續拍攝的多框影像中挑選影像用於多框合成。參考影像的獲取方式為:計算多框影像中每框影像的清晰度值,選取清晰度值最高的一框影像作為參考影像。通常情況下,通過拍攝影像獲取連續拍攝的多框影像時,多框影像的框數由預設的演算法決定,在獲取連續拍攝的多框影像後,可判斷獲取的影像是否可以多框處理,將可以多框處理的影像挑選出用來獲取參考影像。 S104,根據參考影像的亮度值和清晰度值獲取多框影像中第一影像。 從連續拍攝的多框影像中獲取參考影像後,獲取參考影像的亮度值和清晰度值。其中,YUV格式的影像中Y即亮度值;當影像格式不為YUV時,將影像格式先轉化為YUV格式,再獲取影像的亮度值;如,影像的格式為RAW時,將影像格式先由RAW轉化為YUV,再獲取Y值得到亮度值。傳統的影像清晰度評價函數主要包括:灰度變化函數、梯度函數和影像灰度熵函數等。不同的影像清晰度評價函數所適用的影像不同。根據參考影像的亮度值和清晰度值可從多框影像中獲取第一影像。其中,第一影像是指用於和參考影像進行影像合成的影像。根據參考影像的亮度值和清晰度值獲取多框影像中第一影像包括:以參考影像的亮度值和清晰度值為基準,選取影像亮度值與參考影像亮度值的比值在預設範圍內、且影像清晰度值與參考影像清晰度值的比值在預設範圍內的影像。例如,從多框影像中獲取的參考影像的亮度值為100、清晰度值為30,選取影像的亮度值在參考影像的亮度值85%~115%範圍內,且影像的清晰度值在參考影像的清晰度值90%~100%範圍內的影像,即選取亮度值範圍在85~115、且清晰度值範圍在27~30的影像作為第一影像。 S106,將參考影像與第一影像進行影像合成得到第二影像。 在獲取到參考影像和第一影像後,對參考影像和第一影像進行多框合成得到第二影像。其中,第二影像是指影像多框合成後得到的合成影像,影像多框合成得到第二影像的步驟可包括:獲取多框影像,獲取多框影像中相互匹配的像素點,根據多框影像中相互匹配的像素點,計算多框影像的對齊模型,使用對齊模型對齊多框影像,對對齊後的多框影像進行合成得到第二影像。其中,對齊模型可根據相互匹配的像素點反映的縮放與旋轉參數、位移參數獲取。 S108,對第二影像進行降噪。
在影像多框合成得到第二影像後,需要對第二影像進行多框降噪。影像中的噪點無序排列,每框影像中均存在噪點,通過多框影像合成可較便捷的將噪點篩選出,從而對噪點進行去噪處理。例如,在連續拍攝的2框影像中,前一框影像上某一位置存在一個紅噪點、後一框影像上同一位置存在一個綠噪點,當兩框影像合成時,在雜訊重疊的區域會生成一個白點,對生成的白點進行插值處理,即可達到去噪的效果。
本發明實施例中影像處理方法,從多框影像中挑選出參考影像後,根據參考影像的亮度值和清晰度值從多框影像中選取第一影像,保證了合成後影像整體的一致性,對合成後影像進行降噪,可以有效的去除影像中噪音,提高影像品質。
在一個實施例中,S108中對第二影像進行降噪包括:根據參考影像與第一影像的框數之和獲取對應的降噪等級,根據降噪等級對第二影像進行降噪。
在對第二影像進行降噪時,可根據合成第二影像的參考影像與第一影像的框數之和選取對應的降噪等級,即對不同的多框合成影像進行降噪的等級不同,影像的降噪等級由合成影像的框數決定。當合成影像的框數較多時,合成後影像的雜訊較少,可選用較低等級的降噪處理,以使影像保留更多細節;當合成影像的框數較少時,合成後影像的雜訊較多,可選用較高等級的降噪處理,對影像的去噪強度較大,以使影像更清晰。例如,以6框影像合成為例,將影像的降噪等級分為6級,從1級到6級降噪等級逐漸增加,當6框影像合成時,對合成後影像採用第1級降噪等級;當5框影像合成時,對合成後影像採用第2級降噪等級。
傳統多框降噪方法中,對多框合成的影像進行同一強度的降噪,在合成影像的框數較少、影像中雜訊較多時,降噪效果較差。本發明實施例中影像處理方法,根據合成影像的框數選取對應的降噪等級,實現了對不同框數合成的影像選取不同的降噪等級,實現根據影像的框數實現自我調整降噪,在影像雜訊較少時,能夠保證影像細節,在影像雜訊較大時,能夠確保影像清晰。
在一個實施例中,S108中對第二影像進行降噪包括:對第二影像進行亮度降噪和色度降噪。
在對第二影像進行降噪時,可進行亮度降噪和色度降噪。亮度雜訊是影像中不具有顏色的雜訊,在影像中以近似顆粒狀的粗糙部分顯示;色度雜訊是影像上原色的斑點,在影像中暗部層次較為平整的部分較為明顯,在影像上明亮部分或白色物體佔據的部分不太明顯。其中,亮度降噪的處理方式為較小強度的降噪、色度降噪的處理方式為在不破壞色彩的前提下進行較高強度的降噪。經過對影像的亮度降噪和色度降噪,可以使影像更加清晰。
本發明實施例中影像處理方法,對合成得到的第二影像進行亮度降噪和色度降噪,使得降噪後的影像更加清晰,提高影像品質。
在一個實施例中,S102中從連續拍攝的多框影像中獲取參考影像包括:從連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。
在選取參考影像時,通過比較影像的清晰度值,選取清晰度值最高的影像作為參考影像。其中,影像的清晰度值的獲取可採用多種演算法,通常情況下,影像的清晰度評價演算法包括以下四種:邊緣梯度檢測、基於相關性原理的檢測、基於統計原理的檢測和基於變化原理的檢測。不同的清晰度評價演算法適用於不同的影像處理,根據獲取的影像可選用對應的清晰度評價演算法。在根據清晰度評價演算法獲取每框影像的清晰度值後,通過比較每框影像的清晰度值,選取清晰度值最高的影像作為參考影像。
本發明實施例中影像處理方法,通過選取清晰度值最高的影像作為參考影像,能夠實現合成後影像清晰度較高,影像品質較好。
第2圖為一個實施例中影像處理裝置的結構框圖。如第2圖所示,一種影像處理裝置,包括: 獲取模組202,用於從連續拍攝的多框影像中獲取參考影像;並根據參考影像的亮度值和清晰度值獲取多框影像中第一影像。 合成模組204,用於將參考影像與第一影像進行影像合成得到第二影像。 降噪模組206,用於對第二影像進行降噪。 在一個實施例中,獲取模組202還用於從連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。 在一個實施例中,降噪模組206還用於根據參考影像與第一影像的框數之和獲取對應的降噪等級,根據降噪等級對第二影像進行降噪。 在一個實施例中,降噪模組206還用於對第二影像進行亮度降噪和色度降噪。
上述影像處理裝置中各個模組的劃分僅用於舉例說明,在其他實施例中,可將影像處理裝置按照需要劃分為不同的模組,以完成上述影像處理裝置的全部或部分功能。
本發明實施例還提供了一種電腦可讀儲存媒體。一種電腦可讀儲存媒體,其上儲存有電腦程式,該電腦程式被處理器執行時實現以下步驟: (1)從連續拍攝的多框影像中獲取參考影像。 連續拍攝的多框影像可通過拍攝影像獲取,或通過截取視頻中片段獲取。連續拍攝的多框影像中每框影像拍攝的景物大體一致,即連續拍攝的多框影像可以疊加合成一張影像。當獲取到連續拍攝的多框影像後,可從連續拍攝的多框影像中獲取參考影像。其中,參考影像是指用於多框合成的基準影像,即以參考影像為基準從連續拍攝的多框影像中挑選影像用於多框合成。參考影像的獲取方式為:計算多框影像中每框影像的清晰度值,選取清晰度值最高的一框影像作為參考影像。通常情況下,通過拍攝影像獲取連續拍攝的多框影像時,多框影像的框數由預設的演算法決定,在獲取連續拍攝的多框影像後,可判斷獲取的影像是否可以多框處理,將可以多框處理的影像挑選出用來獲取參考影像。 (2)根據參考影像的亮度值和清晰度值獲取多框影像中第一影像。 從連續拍攝的多框影像中獲取參考影像後,獲取參考影像的亮度值和清晰度值。其中,YUV格式的影像中Y即亮度值;當影像格式不為YUV時,將影像格式先轉化為YUV格式,再獲取影像的亮度值;如,影像的格式為RAW時,將影像格式先由RAW轉化為YUV,再獲取Y值得到亮度值。傳統的影像清晰度評價函數主要包括:灰度變化函數、梯度函數和影像灰度熵函數等。不同的影像清晰度評價函數所適用的影像不同。根據參考影像的亮度值和清晰度值可從多框影像中獲取第一影像。其中,第一影像是指用於和參考影像進行影像合成的影像。根據參考影像的亮度值和清晰度值獲取多框影像中第一影像包括:以參考影像的亮度值和清晰度值為基準,選取影像亮度值與參考影像亮度值的比值在預設範圍內、且影像清晰度值與參考影像清晰度值的比值在預設範圍內的影像。例如,從多框影像中獲取的參考影像的亮度值為100、清晰度值為30,選取影像的亮度值在參考影像的亮度值85%~115%範圍內,且影像的清晰度值在參考影像的清晰度值90%~100%範圍內的影像,即選取亮度值範圍在85~115、且清晰度值範圍在27~30的影像作為第一影像。 (3)將參考影像與第一影像進行影像合成得到第二影像。 在獲取到參考影像和第一影像後,對參考影像和第一影像進行多框合成得到第二影像。其中,第二影像是指影像多框合成後得到的合成影像,影像多框合成得到第二影像的步驟可包括:獲取多框影像,獲取多框影像中相互匹配的像素點,根據多框影像中相互匹配的像素點,計算多框影像的對齊模型,使用對齊模型對齊多框影像,對對齊後的多框影像進行合成得到第二影像。其中,對齊模型可根據相互匹配的像素點反映的縮放與旋轉參數、位移參數獲取。 (4)對第二影像進行降噪。 在影像多框合成得到第二影像後,需要對第二影像進行多框降噪。影像中的噪點無序排列,每框影像中均存在噪點,通過多框影像合成可較便捷的將噪點篩選出,從而對噪點進行去噪處理。例如,在連續拍攝的2框影像中,前一框影像上某一位置存在一個紅噪點、後一框影像上同一位置存在一個綠噪點,當兩框影像合成時,在雜訊重疊的區域會生成一個白點,對生成的白點進行和插值處理,即可達到去噪的效果。
本發明實施例中,從多框影像中挑選出參考影像後,根據參考影像的亮度值和清晰度值從多框影像中選取第一影像,保證了合成後影像整體的一致性,對合成後影像進行降噪,可以有效的去除影像中噪音,提高影像品質。
在一個實施例中,(4)中對第二影像進行降噪包括:根據參考影像與第一影像的框數之和獲取對應的降噪等級,根據降噪等級對第二影像進行降噪。
在對第二影像進行降噪時,可根據合成第二影像的參考影像與第一影像的框數之和選取對應的降噪等級,即對不同的多框合成影像進行降噪的等級不同,影像的降噪等級由合成影像的框數決定。當合成影像的框數較多時,合成後影像的雜訊較少,可選用較低等級的降噪處理,以使影像保留更多細節;當合成影像的框數較少時,合成後影像的雜訊較多,可選用較高等級的降噪處理,對影像的去噪強度較大,以使影像更清晰。例如,以6框影像合成為例,將影像的降噪等級分為6級,從1級到6級降噪等級逐漸增加,當6框影像合成時,對合成後影像採用第1級降噪等級;當5框影像合成時,對合成後影像採用第2級降噪等級。
傳統多框降噪方法中,對多框合成的影像進行同一強度的降噪,在合成影像的框數較少、影像中雜訊較多時,降噪效果較差。本發明實施例中,根據合成影像的框數選取對應的降噪等級,實現了對不同框數合成的影像選取不同的降噪等級,實現根據影像的框數實現自我調整降噪,在影像雜訊較少時,能夠保證影像細節,在影像雜訊較大時,能夠確保影像清晰。
在一個實施例中,(4)中對第二影像進行降噪包括:對第二影像進行亮度降噪和色度降噪。
在對第二影像進行降噪時,可進行亮度降噪和色度降噪。亮度雜訊是影像中不具有顏色的雜訊,在影像中以近似顆粒狀的粗糙部分顯示;色度雜訊是影像上原色的斑點,在影像中暗部層次較為平整的部分較為明顯,在影像上明亮部分或白色物體佔據的部分不太明顯。其中,亮度降噪的處理方式為較小強度的降噪、色度降噪的處理方式為在不破壞色彩的前提下進行較高強度的降噪。經過對影像的亮度降噪和色度降噪,可以使影像更加清晰。
本發明實施例中,對合成得到的第二影像進行亮度降噪和色度降噪,使得降噪後的影像更加清晰,提高影像品質。
在一個實施例中,(1)中從連續拍攝的多框影像中獲取參考影像包括:從連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。
在選取參考影像時,通過比較影像的清晰度值,選取清晰度值最高的影像作為參考影像。其中,影像的清晰度值的獲取可採用多種演算法,通常情況下,影像的清晰度評價演算法包括以下四種:邊緣梯度檢測、基於相關性原理的檢測、基於統計原理的檢測和基於變化原理的檢測。不同的清晰度評價演算法適用於不同的影像處理,根據獲取的影像可選用對應的清晰度評價演算法。在根據清晰度評價演算法獲取每框影像的清晰度值後,通過比較每框影像的清晰度值,選取清晰度值最高的影像作為參考影像。
本發明實施例中,通過選取清晰度值最高的影像作為參考影像,能夠實現合成後影像清晰度較高,影像品質較好。
本發明實施例還提供了一種行動終端。如第3圖所示,為了便於說明,僅示出了與本發明實施例相關的部分,具體技術細節未揭示的,請參照本發明實施例方法部分。該行動終端可以為包括手機、平板電腦、PDA(Personal Digital Assistant,個人數位助理)、POS(Point of Sales,銷售終端)、車載電腦、穿戴式設備等任意終端設備,以行動終端為手機為例: 第3圖為與本發明實施例提供的行動終端相關的手機的部分結構的框圖。參考第3圖,手機包括:射頻(Radio Frequency,RF)電路310、記憶體320、輸入單元330、顯示單元340、感測器350、音訊電路360、無線保真(wireless fidelity,WiFi)模組370、處理器380、以及電源390等部件。本領域技術人員可以理解,第3圖所示的手機結構並不構成對手機的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件佈置。
其中,RF電路310可用於收發資訊或通話過程中,訊號的接收和發送,可將基站的下行資訊接收後,給處理器380處理;也可以將上行的資料發送給基站。通常,RF電路包括但不限於天線、至少一個放大器、收發信機、耦合器、低雜訊放大器(Low Noise Amplifier,LNA)、雙工器等。此外,RF電路310還可以通過無線通訊與網路和其他設備通訊。上述無線通訊可以使用任一通訊標準或協定,包括但不限於全球行動通訊系統(Global System of Mobile communication,GSM)、通用分組無線電服務(General Packet Radio Service,GPRS)、分碼多重存取(Code Division Multiple Access,CDMA)、寬頻分碼多重存取(Wideband Code Division Multiple Access,WCDMA)、長期演進 (Long Term Evolution,LTE))、電子郵件、簡訊服務(Short Messaging Service,SMS)等。
記憶體320可用於儲存軟體程式以及模組,處理器380通過運行儲存在記憶體320的軟體程式以及模組,從而執行手機的各種功能應用以及資料處理。記憶體320可主要包括程式儲存區和資料儲存區,其中,程式儲存區可儲存作業系統、至少一個功能所需的應用程式(比如聲音播放功能的應用程式、影像播放功能的應用程式等)等;資料儲存區可儲存根據手機的使用所創建的資料(比如音訊資料、通訊錄等)等。此外,記憶體320可以包括高速隨機存取記憶體,還可以包括非揮發性記憶體,例如至少一個磁碟記憶體件、快閃記憶體裝置、或其他揮發性固態記憶體件。
輸入單元330可用於接收輸入的數位或字元資訊,以及產生與手機300的用戶設置以及功能控制有關的鍵訊號輸入。具體地,輸入單元330可包括觸控面板331以及其他輸入裝置332。觸控面板331,也可稱為觸控式螢幕,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板331上或在觸控面板331附近的操作),並根據預先設定的程式驅動相應的連接裝置。在一個實施例中,觸控面板331可包括觸摸檢測裝置和觸摸控制器兩個部分。其中,觸摸檢測裝置檢測使用者的觸摸方位,並檢測觸摸操作帶來的訊號,將訊號傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸資訊,並將它轉換成觸點座標,再送給處理器380,並能接收處理器380發來的命令並加以執行。此外,可以採用電阻式、電容式、紅外線以及表面聲波等多種類型實現觸控面板331。除了觸控面板331,輸入單元330還可以包括其他輸入裝置332。具體地,其他輸入裝置332可以包括但不限於實體鍵盤、功能鍵(比如音量控制按鍵、開關按鍵等)等中的一種或多種。
顯示單元340可用於顯示由使用者輸入的資訊或提供給使用者的資訊以及手機的各種功能表。顯示單元340可包括顯示面板341。在一個實施例中,可以採用液晶顯示器(Liquid Crystal Display,LCD)、有機發光二極體(Organic Light-Emitting Diode, OLED)等形式來配置顯示面板341。在一個實施例中,觸控面板331可覆蓋顯示面板341,當觸控面板331檢測到在其上或附近的觸摸操作後,傳送給處理器380以確定觸摸事件的類型,隨後處理器380根據觸摸事件的類型在顯示面板341上提供相應的視覺輸出。雖然在第3圖中,觸控面板331與顯示面板341是作為兩個獨立的部件來實現手機的輸入和輸入功能,但是在某些實施例中,可以將觸控面板331與顯示面板341整合而實現手機的輸入和輸出功能。
手機300還可包括至少一種感測器350,比如光感測器、運動感測器以及其他感測器。具體地,光感測器可包括環境光感測器及接近感測器,其中,環境光感測器可根據環境光線的明暗來調節顯示面板341的亮度,接近感測器可在手機行動到耳邊時,關閉顯示面板341和/或背光。運動感測器可包括加速度感測器,通過加速度感測器可檢測各個方向上加速度的大小,靜止時可檢測出重力的大小及方向,可用於識別手機姿態的應用(比如橫豎屏切換)、振動識別相關功能(比如計步器、敲擊)等; 此外,手機還可配置陀螺儀、氣壓計、濕度計、溫度計、紅外線感測器等其他感測器等。
音訊電路360、揚聲器361和傳聲器362可提供用戶與手機之間的音訊介面。音訊電路360可將接收到的音訊資料轉換後的電訊號,傳輸到揚聲器361,由揚聲器361轉換為聲音訊號輸出;另一方面,傳聲器362將收集的聲音訊號轉換為電訊號,由音訊電路360接收後轉換為音訊資料,再將音訊資料輸出處理器380處理後,經RF電路310可以發送給另一手機,或者將音訊資料輸出至記憶體320以便後續處理。
WiFi屬於短距離無線傳輸技術,手機通過WiFi模組370可以説明使用者收發電子郵件、瀏覽網頁和訪問串流媒體等,它為用戶提供了無線的寬頻網際網路訪問。雖然第3圖示出了WiFi模組370,但是可以理解的是,其並不屬於手機300的必須構成,可以根據需要而省略。
處理器380是手機的控制中心,利用各種介面和線路連接整個手機的各個部分,通過運行或執行儲存在記憶體320內的軟體程式和/或模組,以及調用儲存在記憶體320內的資料,執行手機的各種功能和處理資料,從而對手機進行整體監控。在一個實施例中,處理器380可包括一個或多個處理單元。在一個實施例中,處理器380可整合應用處理器和調製解調處理器,其中,應用處理器主要處理作業系統、使用者介面和應用程式等;調製解調處理器主要處理無線通訊。可以理解的是,上述調製解調處理器也可以不整合到處理器380中。
手機300還包括給各個部件供電的電源390(比如電池),優選的,電源可以通過電源管理系統與處理器380邏輯相連,從而通過電源管理系統實現管理充電、放電、以及功耗管理等功能。
在一個實施例中,手機300還可以包括攝像頭、藍牙模組等。
在本發明實施例中,該行動終端所包括的處理器380執行儲存在記憶體上的電腦程式時實現以下步驟: (1)從連續拍攝的多框影像中獲取參考影像。 連續拍攝的多框影像可通過拍攝影像獲取,或通過截取視頻中片段獲取。連續拍攝的多框影像中每框影像拍攝的景物大體一致,即連續拍攝的多框影像可以疊加合成一張影像。當獲取到連續拍攝的多框影像後,可從連續拍攝的多框影像中獲取參考影像。其中,參考影像是指用於多框合成的基準影像,即以參考影像為基準從連續拍攝的多框影像中挑選影像用於多框合成。參考影像的獲取方式為:計算多框影像中每框影像的清晰度值,選取清晰度值最高的一框影像作為參考影像。通常情況下,通過拍攝影像獲取連續拍攝的多框影像時,多框影像的框數由預設的演算法決定,在獲取連續拍攝的多框影像後,可判斷獲取的影像是否可以多框處理,將可以多框處理的影像挑選出用來獲取參考影像。 (2)根據參考影像的亮度值和清晰度值獲取多框影像中第一影像。 從連續拍攝的多框影像中獲取參考影像後,獲取參考影像的亮度值和清晰度值。其中,YUV格式的影像中Y即亮度值;當影像格式不為YUV時,將影像格式先轉化為YUV格式,再獲取影像的亮度值;如,影像的格式為RAW時,將影像格式先由RAW轉化為YUV,再獲取Y值得到亮度值。傳統的影像清晰度評價函數主要包括:灰度變化函數、梯度函數和影像灰度熵函數等。不同的影像清晰度評價函數所適用的影像不同。根據參考影像的亮度值和清晰度值可從多框影像中獲取第一影像。其中,第一影像是指用於和參考影像進行影像合成的影像。根據參考影像的亮度值和清晰度值獲取多框影像中第一影像包括:以參考影像的亮度值和清晰度值為基準,選取影像亮度值與參考影像亮度值的比值在預設範圍內、且影像清晰度值與參考影像清晰度值的比值在預設範圍內的影像。例如,從多框影像中獲取的參考影像的亮度值為100、清晰度值為30,選取影像的亮度值在參考影像的亮度值85%~115%範圍內,且影像的清晰度值在參考影像的清晰度值90%~100%範圍內的影像,即選取亮度值範圍在85~115、且清晰度值範圍在27~30的影像作為第一影像。 (3)將參考影像與第一影像進行影像合成得到第二影像。 在獲取到參考影像和第一影像後,對參考影像和第一影像進行多框合成得到第二影像。其中,第二影像是指影像多框合成後得到的合成影像,影像多框合成得到第二影像的步驟可包括:獲取多框影像,獲取多框影像中相互匹配的像素點,根據多框影像中相互匹配的像素點,計算多框影像的對齊模型,使用對齊模型對齊多框影像,對對齊後的多框影像進行合成得到第二影像。其中,對齊模型可根據相互匹配的像素點反映的縮放與旋轉參數、位移參數獲取。 (4)對第二影像進行降噪。
在影像多框合成得到第二影像後,需要對第二影像進行多框降噪。影像中的噪點無序排列,每框影像中均存在噪點,通過多框影像合成可較便捷的將噪點篩選出,從而對噪點進行去噪處理。例如,在連續拍攝的2框影像中,前一框影像上某一位置存在一個紅噪點、後一框影像上同一位置存在一個綠噪點,當兩框影像合成時,在雜訊重疊的區域會生成一個白點,對生成的白點進行和插值處理,即可達到去噪的效果。
本發明實施例中,從多框影像中挑選出參考影像後,根據參考影像的亮度值和清晰度值從多框影像中選取第一影像,保證了合成後影像整體的一致性,對合成後影像進行降噪,可以有效的去除影像中噪音,提高影像品質。
在一個實施例中,(4)中對第二影像進行降噪包括:根據參考影像與第一影像的框數之和獲取對應的降噪等級,根據降噪等級對第二影像進行降噪。
在對第二影像進行降噪時,可根據合成第二影像的參考影像與第一影像的框數之和選取對應的降噪等級,即對不同的多框合成影像進行降噪的等級不同,影像的降噪等級由合成影像的框數決定。當合成影像的框數較多時,合成後影像的雜訊較少,可選用較低等級的降噪處理,以使影像保留更多細節;當合成影像的框數較少時,合成後影像的雜訊較多,可選用較高等級的降噪處理,對影像的去噪強度較大,以使影像更清晰。例如,以6框影像合成為例,將影像的降噪等級分為6級,從1級到6級降噪等級逐漸增加,當6框影像合成時,對合成後影像採用第1級降噪等級;當5框影像合成時,對合成後影像採用第2級降噪等級。
傳統多框降噪方法中,對多框合成的影像進行同一強度的降噪,在合成影像的框數較少、影像中雜訊較多時,降噪效果較差。本發明實施例中,根據合成影像的框數選取對應的降噪等級,實現了對不同框數合成的影像選取不同的降噪等級,實現根據影像的框數實現自我調整降噪,在影像雜訊較少時,能夠保證影像細節,在影像雜訊較大時,能夠確保影像清晰。
在一個實施例中,(4)中對第二影像進行降噪包括:對第二影像進行亮度降噪和色度降噪。
在對第二影像進行降噪時,可進行亮度降噪和色度降噪。亮度雜訊是影像中不具有顏色的雜訊,在影像中以近似顆粒狀的粗糙部分顯示;色度雜訊是影像上原色的斑點,在影像中暗部層次較為平整的部分較為明顯,在影像上明亮部分或白色物體佔據的部分不太明顯。其中,亮度降噪的處理方式為較小強度的降噪、色度降噪的處理方式為在不破壞色彩的前提下進行較高強度的降噪。經過對影像的亮度降噪和色度降噪,可以使影像更加清晰。
本發明實施例中,對合成得到的第二影像進行亮度降噪和色度降噪,使得降噪後的影像更加清晰,提高影像品質。
在一個實施例中,(1)中從連續拍攝的多框影像中獲取參考影像包括:從連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。
在選取參考影像時,通過比較影像的清晰度值,選取清晰度值最高的影像作為參考影像。其中,影像的清晰度值的獲取可採用多種演算法,通常情況下,影像的清晰度評價演算法包括以下四種:邊緣梯度檢測、基於相關性原理的檢測、基於統計原理的檢測和基於變化原理的檢測。不同的清晰度評價演算法適用於不同的影像處理,根據獲取的影像可選用對應的清晰度評價演算法。在根據清晰度評價演算法獲取每框影像的清晰度值後,通過比較每框影像的清晰度值,選取清晰度值最高的影像作為參考影像。
本發明實施例中,通過選取清晰度值最高的影像作為參考影像,能夠實現合成後影像清晰度較高,影像品質較好。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程,是可以通過電腦程式來指令相關的硬體來完成,的程式可儲存於一非揮發性電腦可讀取儲存媒體中,該程式在執行時,可包括如上述各方法的實施例的流程。其中,的儲存媒體可為磁碟、光碟、唯讀儲存記憶體(Read-Only Memory,ROM)等。
以上實施例僅表達了本發明的幾種實施方式,其描述較為具體和詳細,但並不能因此而理解為對本發明專利範圍的限制。應當指出的是,對於本領域的普通技術人員來說,在不脫離本發明構思的前提下,還可以做出若干變形和改進,這些都屬於本發明的保護範圍。因此,本發明專利的保護範圍應以所附申請專利範圍為準。
310‧‧‧射頻(Radio Frequency,RF)電路320‧‧‧記憶體330‧‧‧輸入單元331、341‧‧‧觸控面板332‧‧‧其他輸入裝置340‧‧‧顯示單元350‧‧‧感測器360‧‧‧音訊電路361‧‧‧揚聲器362‧‧‧傳聲器370‧‧‧無線保真(wireless fidelity,WiFi)模組380‧‧‧處理器390‧‧‧電源
為了更清楚地說明本發明實施例的技術方案,下面將對本發明實施例中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。 第1圖為一個實施例中影像處理方法的流程圖; 第2圖為一個實施例中影像處理裝置的結構框圖; 第3圖為與本發明實施例提供的行動終端相關的手機的部分結構的框圖。

Claims (8)

  1. 一種影像處理方法,其特徵在於,包括:從連續拍攝的多框影像中獲取一參考影像;根據該參考影像的亮度值和清晰度值獲取該多框影像中一第一影像;將該參考影像與該第一影像進行影像合成得到一第二影像;對該第二影像進行降噪,該對該第二影像進行降噪包括:根據該參考影像與第一影像的框數之和獲取對應的降噪等級,根據該降噪等級對該第二影像進行降噪。
  2. 如申請專利範圍第1項所述的影像處理方法,其中,該對該第二影像進行降噪包括:對該第二影像進行亮度降噪和色度降噪。
  3. 如申請專利範圍第1項所述的影像處理方法,其中,該從連續拍攝的多框影像中獲取一參考影像包括:從該連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。
  4. 一種影像處理裝置,其中,包括:一獲取模組,用於從連續拍攝的多框影像中獲取一參考影像;並根據該參考影像的亮度值和清晰度值獲取該多框影像中一第一影像;一合成模組,用於將該參考影像與該第一影像進行影像合成得到一第二影像;一降噪模組,用於對該第二影像進行降噪,該降噪模組還用於根據該參考影像與第一影像的框數之和獲取對應的降噪等級,根據該降噪等級對該第二影像進行降噪。
  5. 如申請專利範圍第4項所述的影像處理裝置,其特徵在於,該降噪模組還用於對該第二影像進行亮度降噪和色度降噪。
  6. 如申請專利範圍第4項所述的影像處理裝置,其中,該獲取模組還用於從該連續拍攝的多框影像中選取清晰度值最高的影像作為參考影像。
  7. 一種電腦可讀儲存媒體,其上儲存有一電腦程式,其特徵在於,該程式被處理器執行時實現如申請專利範圍第1項至第3項中任一項所述的影像處理方法。
  8. 一種行動終端,包括記憶體,處理器及儲存在記憶體上並可在處理器上運行的一電腦程式,其特徵在於,該處理器執行該程式時實現如申請專利範圍第1項至第3項中任一項所述的影像處理方法。
TW107100186A 2017-05-31 2018-01-03 影像處理方法、裝置、電腦可讀儲存媒體和行動終端 TWI696146B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710399858.3 2017-05-31
CN201710399858.3A CN107230192B (zh) 2017-05-31 2017-05-31 图像处理方法、装置、计算机可读存储介质和移动终端
??201710399858.3 2017-05-31

Publications (2)

Publication Number Publication Date
TW201903713A TW201903713A (zh) 2019-01-16
TWI696146B true TWI696146B (zh) 2020-06-11

Family

ID=59933504

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100186A TWI696146B (zh) 2017-05-31 2018-01-03 影像處理方法、裝置、電腦可讀儲存媒體和行動終端

Country Status (6)

Country Link
US (1) US10497097B2 (zh)
EP (1) EP3410390B1 (zh)
CN (1) CN107230192B (zh)
ES (1) ES2784905T3 (zh)
TW (1) TWI696146B (zh)
WO (1) WO2018219013A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230192B (zh) 2017-05-31 2020-07-21 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
CN108053369A (zh) * 2017-11-27 2018-05-18 努比亚技术有限公司 一种图像处理的方法、设备及存储介质
CN108154514B (zh) * 2017-12-06 2021-08-13 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108154534B (zh) * 2017-12-26 2020-09-01 努比亚技术有限公司 一种图片清晰度校准方法、终端和计算机可读存储介质
CN108063920A (zh) * 2017-12-26 2018-05-22 深圳开立生物医疗科技股份有限公司 一种图像冻结方法、装置、设备及计算机可读存储介质
CN108198177A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 图像获取方法、装置、终端及存储介质
CN110838088B (zh) * 2018-08-15 2023-06-02 Tcl科技集团股份有限公司 一种基于深度学习的多帧降噪方法、装置及终端设备
CN109089046B (zh) * 2018-09-25 2021-06-04 Oppo广东移动通信有限公司 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109005368B (zh) * 2018-10-15 2020-07-31 Oppo广东移动通信有限公司 一种高动态范围图像的生成方法、移动终端及存储介质
CN109756681A (zh) * 2019-01-30 2019-05-14 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN110062173A (zh) * 2019-03-15 2019-07-26 北京旷视科技有限公司 图像处理器与图像处理方法、设备、存储介质及智能终端
CN110072061B (zh) * 2019-05-31 2021-02-09 努比亚技术有限公司 一种交互式拍摄方法、移动终端及存储介质
CN110290300A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN110689502B (zh) * 2019-10-09 2022-06-14 深圳看到科技有限公司 一种图像处理方法及相关装置
CN110798627B (zh) * 2019-10-12 2021-05-18 深圳酷派技术有限公司 一种拍摄方法、装置、存储介质及终端
TWI722674B (zh) * 2019-11-21 2021-03-21 國立雲林科技大學 姿態影像訊號與運動訊號之訊號匹配系統以及訊號匹配方法
CN110868544B (zh) * 2019-11-25 2021-04-30 维沃移动通信(杭州)有限公司 一种拍摄方法及电子设备
CN112991188B (zh) * 2019-12-02 2023-06-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN111091513B (zh) * 2019-12-18 2023-07-25 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN111161176B (zh) * 2019-12-24 2022-11-08 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN111275653B (zh) * 2020-02-28 2023-09-26 北京小米松果电子有限公司 图像去噪方法及装置
CN111401411B (zh) * 2020-02-28 2023-09-29 北京小米松果电子有限公司 获取样本图像集的方法及装置
CN111741187B (zh) * 2020-06-08 2022-08-26 北京小米松果电子有限公司 图像处理方法、装置及存储介质
JP2022011927A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US11756285B2 (en) 2021-06-10 2023-09-12 Bank Of America Corporation Image processing system and method for image noise removal
CN113674241B (zh) * 2021-08-17 2024-07-23 Oppo广东移动通信有限公司 选帧方法、装置、计算机设备和存储介质
CN116385439B (zh) * 2023-06-05 2023-08-15 山东兰通机电有限公司 基于图像处理的电机橡胶减震垫质量检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879401A (zh) * 2003-11-11 2006-12-13 精工爱普生株式会社 图像处理装置、图像处理方法、其程序以及记录媒体
CN103259972A (zh) * 2012-02-17 2013-08-21 佳能企业股份有限公司 影像处理方法及成像装置
CN105513021A (zh) * 2015-11-27 2016-04-20 努比亚技术有限公司 图像去噪装置和方法
CN106331491A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8472712B2 (en) * 2009-10-20 2013-06-25 Apple Inc. System and method for applying lens shading correction during image processing
JP5917258B2 (ja) 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
CN104036471B (zh) 2013-03-05 2017-07-25 腾讯科技(深圳)有限公司 一种图像噪声估值方法及图像噪声估值装置
US9875528B2 (en) * 2013-05-29 2018-01-23 Adobe Systems Incorporated Multi-frame patch correspondence identification in video
JP6230333B2 (ja) 2013-08-22 2017-11-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN105335950B (zh) 2014-05-28 2019-02-12 华为技术有限公司 图像处理方法和图像处理装置
US9641759B2 (en) 2014-07-10 2017-05-02 Lg Electronics Inc. Mobile terminal and controlling method thereof
US10007967B2 (en) 2015-06-12 2018-06-26 Gopro, Inc. Temporal and spatial video noise reduction
CN105187728B (zh) 2015-10-08 2019-03-22 Oppo广东移动通信有限公司 拍照方法和装置
CN105611181A (zh) * 2016-03-30 2016-05-25 努比亚技术有限公司 多帧拍摄图像合成装置和方法
CN106127698A (zh) 2016-06-15 2016-11-16 深圳市万普拉斯科技有限公司 图像降噪处理方法和装置
CN107230192B (zh) 2017-05-31 2020-07-21 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879401A (zh) * 2003-11-11 2006-12-13 精工爱普生株式会社 图像处理装置、图像处理方法、其程序以及记录媒体
CN103259972A (zh) * 2012-02-17 2013-08-21 佳能企业股份有限公司 影像处理方法及成像装置
CN105513021A (zh) * 2015-11-27 2016-04-20 努比亚技术有限公司 图像去噪装置和方法
CN106331491A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法及装置

Also Published As

Publication number Publication date
EP3410390B1 (en) 2020-02-26
EP3410390A1 (en) 2018-12-05
TW201903713A (zh) 2019-01-16
WO2018219013A1 (en) 2018-12-06
ES2784905T3 (es) 2020-10-01
US20180350042A1 (en) 2018-12-06
CN107230192A (zh) 2017-10-03
US10497097B2 (en) 2019-12-03
CN107230192B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
TWI696146B (zh) 影像處理方法、裝置、電腦可讀儲存媒體和行動終端
JP6967160B2 (ja) 画像処理方法および関連デバイス
US10827140B2 (en) Photographing method for terminal and terminal
CN107093418B (zh) 一种屏幕显示方法、计算机设备及存储介质
WO2018082165A1 (zh) 光学成像方法及其装置
WO2017071219A1 (zh) 检测皮肤区域的方法和检测皮肤区域的装置
CN107038715B (zh) 一种图像处理方法及装置
US20220408020A1 (en) Image Processing Method, Electronic Device, and Cloud Server
CN109361867B (zh) 一种滤镜处理方法及移动终端
CN108833753B (zh) 一种图像获取及应用方法、终端及计算机可读存储介质
US11546531B2 (en) Camera assembly, image acquisition method, and mobile terminal
CN108038825B (zh) 一种图像处理方法及移动终端
CN106993136B (zh) 移动终端及其基于多摄像头的图像降噪方法和装置
US20230013753A1 (en) Image shooting method and electronic device
WO2020078273A1 (zh) 一种拍摄方法及电子设备
WO2017088564A1 (zh) 一种图像处理方法及装置、终端、存储介质
CN107644396B (zh) 一种唇色调整方法和装置
CN107730460B (zh) 一种图像处理方法及移动终端
CN108459799B (zh) 一种图片的处理方法、移动终端及计算机可读存储介质
CN107153500B (zh) 一种实现图像显示的方法及设备
CN109462727B (zh) 一种滤镜调整方法及移动终端
CN107817963B (zh) 一种图像显示方法、移动终端及计算机可读存储介质
CN107798662B (zh) 一种图像处理方法及移动终端
CN108038817A (zh) 一种图像背景虚化方法、终端及计算机可读存储介质
CN112150357B (zh) 一种图像处理方法及移动终端