TW201832180A - 圖像的處理方法、裝置和機器可讀媒體 - Google Patents

圖像的處理方法、裝置和機器可讀媒體 Download PDF

Info

Publication number
TW201832180A
TW201832180A TW106136495A TW106136495A TW201832180A TW 201832180 A TW201832180 A TW 201832180A TW 106136495 A TW106136495 A TW 106136495A TW 106136495 A TW106136495 A TW 106136495A TW 201832180 A TW201832180 A TW 201832180A
Authority
TW
Taiwan
Prior art keywords
sub
filtering
area
template
frequency components
Prior art date
Application number
TW106136495A
Other languages
English (en)
Other versions
TWI745461B (zh
Inventor
盛驍杰
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201832180A publication Critical patent/TW201832180A/zh
Application granted granted Critical
Publication of TWI745461B publication Critical patent/TWI745461B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本案實施例提供了一種圖像的處理方法、裝置和機器可讀媒體，所述的方法包括：獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域；依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域；分別確定每個子區域的濾波模板，並採用所述濾波模板對子區域分別進行濾波處理；確定濾波後的全景視頻圖像。

Description

圖像的處理方法、裝置和機器可讀媒體
本案涉及影像處理技術領域。
360度全景視頻展示的範圍非常廣，可以覆蓋住體驗者整個視角，因此其解析度往往比一般的平面視頻大的多。為了在壓縮碼率和傳輸流暢度上取得平衡，可以將360度全景視頻映射後編碼壓縮。 　　目前對於360度全景視頻可以採用各種方式進行映射，確定映射的全景視頻圖像。其中一些方式是分區域映射，有些區域映射像素值多，即解析度高，有些區域映射像素值少，即解析度低。但是，解析度低的區域在使用者終端透過模型重構並且渲染圖像時，由於映射得到的像素值少，相應映射圖像高頻分量就多。
本案實施例提供了一種圖像的處理方法、裝置和機器可讀媒體，所述的方法包括：獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域；依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域；分別確定每個子區域的濾波模板，並採用所述濾波模板對子區域分別進行濾波處理；確定濾波後的全景視頻圖像。
為使本案的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本案作進一步詳細的說明。 　　本案的構思易於進行各種修改和替代形式，其具體實施例已經透過附圖的方式示出，並將在這裡詳細描述。然而，應該理解，上述內容並不是用來將本案的構思限制為所公開的具體形式，相反地，本案的說明書和附加申請專利範圍意欲覆蓋所有的修改、等同和替代的形式。 　　本說明書中的“一個實施例”，“實施例”，“一個具體實施例”等，表示所描述的實施例可以包括特定特徵、結構或特性，但是每個實施例可以包括或可以不必然包括該特定特徵、結構或特性。此外，這樣的用語不一定指的是同一實施例。另外，在聯繫一個實施例描述特定特徵、結構或特性的情況下，無論是否明確描述，可以認為本領域技術人員所知的範圍內，這樣的特徵、結構或特性也與其他實施例有關。另外，應該理解的是，“在A，B和C的至少一個”這種形式所包括的列表中的條目中，可以包括如下可能的項目：(A); (B); (C); (A和B); (A和C); (B和C);或(A，B和C)。同樣，“A，B或C中的至少一個”這種形式列出的項目可能意味著(A); (B); (C); (A和B); (A和C); (B和C);或(A，B和C)。 　　在一些情況下，所公開的實施例可以被實施為硬體、韌體、軟體或其任意組合。所公開的實施例也可以實現為攜帶或儲存在一個或多個暫時的或者非暫時的機器可讀(例如電腦可讀)儲存媒體中的指令，該指令可以被一個或多個處理器執行。機器可讀儲存媒體可以實施為用於以能夠被機器讀取的形式儲存或者傳輸信息的儲存裝置、機構或其他物理結構(例如易失性或非易失性記憶體、磁碟、或其他媒體其它物理結構裝置)。 　　在附圖中，一些結構或方法特徵可以以特定的安排和/或排序顯示。然而，較佳地，這樣的具體安排和/或排序並不是必要的。相反，在一些實施方案中，這樣的特徵可以以不同的方式和/或順序排列，而不是如附圖中所示。此外，特定的附圖中的結構或方法特徵中所包含的內容，不意味著暗示這種特徵是在所有實施例是必須的，並且在一些實施方案中，可能不包括這些特徵，或者可能將這些特徵與其它特徵相結合。 　　全景圖像，通常是指符合人的雙眼正常有效視角(大約水準90度，垂直70度)或包括雙眼餘光視角(大約水準180度，垂直90度)以上，乃至360度完整場景範圍拍攝的圖像。其中，360度全景視頻展示的範圍非常廣，可以覆蓋住體驗者整個視角，因此360度全景視頻是VR(Virtual Reality，虛擬實境)領域的一個熱點業務，其能夠提供給使用者一種沉浸式的視頻觀看體驗。如圖1所示，為全景視頻在轉碼端和使用者終端的處理流程圖。其中，轉碼端建立三維映射模型並進行映射，然後進行二維平面的展開，然後會對展開後的圖像進行編碼。將編碼的全景視頻圖像發送到用戶端，在使用者終端可以對圖像進行解碼，然後可以根據解碼圖像來重構出和轉碼端一樣的三維映射模型，然後透過這個三維映射模型根據使用者的即時觀看視角進行輸出圖像的渲染，從而使用者能夠觀看全景視頻。其中，轉碼端對應設備可包括但不局限於伺服器、以及服務端的其他設備。 　　其中，轉碼端的伺服器等設備會基於三維映射模型進行映射，不同的模型對應不同的映射方式，其中有些三維映射模型會基於視角進行分區域的映射，在這類映射的過程中，將給使用者的主視角提供最清晰的圖像，即該視角的圖像解析度最大，而其他視角的提供解析度較低的圖像。即在逐步遠離使用者主視角的地方映射解析度逐步降低，從而導致遠離使用者主視角的區域映射像素值過少，對應映射圖像高頻分量增多，使得使用者終端透過模型重構並且渲染得到的全景視頻圖像中，遠離使用者主視角的部分圖像產生很嚴重的鋸齒效應，給使用者造成不好的視覺體驗。其中，高頻分量是對圖像邊緣和輪廓的度量，形成圖像的邊緣和細節，即圖像中亮度或灰度變化激烈的位置反映在頻域上就是高頻分量。 　　因此本案實施例透過自我調整濾波來降低映射後在遠離使用者主視角區域產生的高頻圖像分量，從而可以減輕使用者終端渲染的鋸齒效應。 　　參照圖2，示出了本案實施例的一種圖像的分區濾波處理示意圖。 　　圖2是一個映射後的全景視頻圖像(即二維平面展開圖)，該圖像中4個三角形區域包圍的菱形區域是主視角區域10，三角形區域為副視角區域，即該全景視頻圖像包括一個主視角區域10和四個副視角區域(即20-50)。轉碼端的伺服器等設備針對副視角區域進行濾波處理，基於副視角區域的高頻分量，將所述副視角區域劃分出至少兩個子區域。以副視角區域20為例，確定該副視角區域20內高頻分量的分布，基於高頻分量的分布在該副視角區域20的de邊的1/4，1/2，3/4處設置a、b、c三點，然後在a、b、c三個點分別作針對df邊的平行線，將該副視角區域劃分出子區域A-D。由於每個區域中高頻分量的多少是不同的，因此對不同子區域要執行不同的濾波處理，因此可以確定出每個子區域的濾波模板，採用相應的濾波模板對子區域進行濾波處理。例如A區域採用5×5的模板進行均值濾波，在B區域採用3×3的模板進行均值濾波，在C區域採用3×3的模板進行高斯濾波，D區域中高頻分量相對較小可以不進行濾波。實際處理中還可以採用其他模板進行中值濾波等平滑濾波處理。透過分區域濾波使得包含高頻分量的圖像得到平滑，確定濾波後的全景視頻圖像。避免使用者終端渲染時出現鋸齒效應，提高使用者的視覺體驗。 　　其中，視角通常為人眼能夠看到的範圍，本案實施例中主視角、副視角的範圍依據實際需求設定，如依據服務端和/或使用者終端的參數確定，例如使用者終端(如VR設備)的視角範圍為45°，則主視角區域為45°範圍內的區域，其他區域為副視角區域。濾波模板是濾波所採用的模板，本案實施例採用濾波模板進行平滑濾波，而濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，該尺寸、強度可依據需求確定，如尺寸為3×3、5×5，所述強度依據所述濾波模板的係數確定。 　　本案實施例提供了本實施例提供了一種圖像的處理裝置300，應用於轉碼端對應的伺服器等設備中。 　　參照圖3，示出了本案一種圖像的處理裝置實施例的結構方塊圖，具體可以包括如下模組： 　　獲取模組302，用於獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域。 　　劃分模組304，用於依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域。 　　濾波模組306，用於確定每個子區域的濾波模板，並採用所述濾波模板對子區域進行濾波處理；確定濾波後的全景視頻圖像。 　　該裝置300建立基於視角映射的三維映射模型，其中視角可以指視線與顯示器等顯示身背的垂直方向所成的角度。因此該裝置可採用該三維映射模型對進行影像對應並二維展開後得到全景視頻圖像，即該全景視頻圖像是基於視角映射確定的，從而全景視頻圖像包括主視角區域和至少一個副視角區域。 　　對於每個副視角區域，該裝置可以基於該副視角區域的高頻分量，如按照區域內高頻分量的多少，將該副視角區域劃分出至少兩個子區域，其中一個子區域的高頻分量的數量多於另一個子區域。由於兩個子區域內高頻分量的數量不同，因此要採用不同的濾波模板進行濾波，可以確定出每個子區域的濾波模板，然後分別採用各濾波模板對對應的子區域進行平滑濾波處理，透過平滑濾波能夠有效平滑區域內的高頻分量，得到濾波後的全景視頻圖像。然後可以對該濾波後的全景視頻圖像進行編碼壓縮，再傳輸給用戶端。 　　綜上，獲取包括主視角區域和至少一個副視角區域的全景視頻圖像，然後基於副視角區域的高頻分量，將副視角區域劃分出至少兩個子區域，從而可以基於高頻分量進行分區域的處理，即確定每個子區域的濾波模板，採用所述濾波模板對子區域進行濾波處理，基於不同子區域的高頻分量進行相應的濾波，平滑相應子區域的高頻分量，防止使用者側渲染出現的鋸齒效應，提高圖像品質，不影響使用者的正常觀看。 　　本案實施例可以應用於各種基於視角構建模型並映射展開的方式中，以Pyramid映射展開方式為例，論述對於映射展開後的全景視頻圖像的平滑處理。 　　Pyramid映射展開方式利用了在使用者不同觀看的主視角映射出不同的圖像，即每路的映射圖像在使用者的某一個主視角具有最清晰的解析度，而在遠離使用者主視角的位置降低映射的解析度，因此Pyramid映射展開方式在每一路的映射圖像上可以得到較低解析度的映射展開圖像。如圖4所示為Pyramid映射的原理示意圖，Pyramid映射模型對於使用者主視角部分具有較高的解析度，而遠離使用者主視角的區域映射解析度逐步降低，其中，Pyramid映射模型中四棱錐的頂點代表了最遠離使用者觀看視角的位置。如圖2所示為Pyramid映射模型進行映射展開後的一種全景視頻圖像，如圖6所示為Pyramid映射並二維展開後的另外一種全景視頻圖像示例。 　　Pyramid模型雖然能夠極大的降低映射圖像的解析度，但由於在逐步遠離使用者主視角的過程中映射圖像的解析度會越來越低，從而在遠離使用者主視角的區域會造成以下問題：其一，在最終渲染過程中，遠離使用者主視角的高頻影像對應取樣區域會導致嚴重的渲染鋸齒現象；其二，圖像的高頻分量增多，會導致壓縮所需的碼率增大，造成大量的編碼碼率被消耗在遠離使用者主視角的高頻圖像區域，進而導致主視角區域編碼品質下降，影響主視角區域的清晰度。因此針對Pyramid模型，以及與其設計思路類似的其他自我調整解析度映射的全景視頻轉碼技術的問題，本案實施例可以透過自我調整濾波解決上述問題。 　　本案實施例的自我調整濾波可以分區域執行不同的濾波處理，其中在所述基於副視角區域的高頻分量，將所述副視角區域劃分出至少兩個子區域，包括：確定副視角區域中高頻分量的分布信息，依據所述分布信息將所述副視角區域劃分出至少兩個子區域。即若映射時在遠離使用者主視角的區域映射解析度逐步降低，則副視角區域中的高頻分量並不是均勻分布的，因此可以確定出副視角區域中高頻分量的分布信息，依據該分布信息進行子區域的劃分，將該副視角區域劃分為至少兩個子區域，以便於對不同的子區域進行不同的濾波處理。實際處理中基於分布信息，可以對副視角區域按照高頻分量的數量、按照一定角度、按照區域的側邊等進行子區域的劃分。 　　參照圖5，示出了本案另一種圖像的處理裝置實施例的結構方塊圖，具體可以包括如下模組： 　　獲取模組302，用於獲取基於視角映射確定的全景視頻圖像，其中，所述全景視頻圖像包括主視角區域和至少一個副視角區域。一個示例中，轉碼端的伺服器等設備的獲取模組302獲取基於視角映射確定的全景視頻圖像，確定該全景視頻圖像中的主視角區域和副視角區域。如圖2所示，為Pyramid映射並二維展開後的一種全景視頻圖像示例，其中，包括主視角區域10、和副視角區域20-50。如圖6所示，為Pyramid映射並二維展開後的另外一種全景視頻圖像示例，其中，包括主視角區域11、和副視角區域21-51，其中各副視角區域共同的頂點可以為高頻分量最高區域所在的頂點，因此這種展開方式的示例也可以將這四個副視角區域組合為一個副視角區域。 　　其中，劃分模組304，還用於依據所述分布信息中高頻分量的數量，將所述副視角區域劃分出至少兩個子區域；自我調整映射過程中，隨著遠離使用者主視角逐步增強的映射取樣，因此劃分模組304可以基於映射過程的取樣率，確定出副視角區域中高頻分量的分布信息，即副視角區域中越遠離主視角的位置區域其高頻分量越多，反之副視角區域中越靠近主視角的位置區域其高頻分量越少。然後劃分模組304確定副視角區域中高頻分量的分布信息，依據所述分布信息將所述副視角區域劃分出至少兩個子區域。 　　其中，劃分模組304包括數量劃分子模組3042和頂點劃分子模組3044。 　　一個示例中，數量劃分子模組3042，用於依據所述分布信息中高頻分量的數量，將所述副視角區域劃分出至少兩個子區域。在確定出副視角區域中高頻分量的分布信息後，數量劃分子模組3042可以依據該分布信息確定出該副視角區域各位置區域中高頻分量的數量，依據高頻分量的數量將所述副視角區域劃分出至少兩個子區域。例如可以設置一個或多個門檻值，基於門檻和區域內的高頻分量的數量的比較劃分出兩個或以上的子區域。 　　如圖6中，依據分布信息確定的副視角區域中高頻分量的數量，即遠離使用者主視角的程度，可以將副視角區域劃分出E、F、G三個子區域，其中，E是最遠離使用者主視角的子區域，而G是最接近使用者主視角的子區域。例如按照門檻和數量比較的方式中，可以設置高頻分量的數量為N，並且門檻包括T1和T2，其中T1＞T2，則N＞T1的子區域即為E，T1≥N＞T2的子區域即為F，N≥T2的子區域即為G。 　　另一個示例中，頂點劃分子模組3044，用於按照所述分布信息對所述副視角區域中目標頂點所在側邊進行劃分，依據劃分結果將所述副視角區域劃分出至少兩個子區域，其中，所述目標頂點包括高頻分量最高區域所在的頂點。其中，所述目標頂點包括高頻分量最高區域所在的頂點。如圖2中4個副視角區域中與主視角區域不重合的頂點為高頻分量最高區域所在的頂點。 　　在確定出副視角區域中高頻分量的分布信息後，頂點劃分子模組3044可以依據該分布信息可以按照一定的角度，或者按照副視角區域側邊進行區域的劃分。其中，副視角區域中分別率(即高頻分量)的變化通常是連續漸變的，例如圖2中解析度的降低是沿著45度的方向排列的，因此在劃分子區域時也可以基於45度的方向劃分。或者對於目標頂點所在側邊按照一定的規則劃分，將劃分出的交點向該目標頂點的對邊做平行線，依據該焦點和平行線確定出至少兩個子區域。 　　其中，濾波模組306，用於確定每個子區域的濾波模板，採用所述濾波模板對子區域進行濾波處理；確定濾波後的全景視頻圖像。其中，所述濾波模組306，包括：模板確定子模組306和濾波處理子模組3064。 　　所述模板確定子模組3062，用於依據子區域中的高頻分量，確定所述子區域對應的濾波模板。其中，高頻分量越多，濾波模板的平滑度越大；所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定；當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。按照高頻分量的多少劃分子區域，相應也要按照高頻分量的多少對不同子區域進行不同的平滑濾波處理。模板確定子模組3062可以依據子區域中的高頻分量，確定所述子區域對應的濾波模板。其中，高頻分量越多，濾波模板的平滑度越大；所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定。即對於高頻分量越多的子區域，採用模板尺寸和強度越大的濾波器(即濾波模板)，從而達到平滑高頻分量的效果。其中，當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。 　　濾波處理子模組3064，用於採用所述濾波模板對子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。在確定出子區域的濾波模板後，依據該濾波模板對該子區域進行濾波，其中平滑濾波包括以下至少一種：高斯濾波、中值濾波、均值濾波，還可以採用其他的低通濾波模板，如線性或非線性的平滑濾波方法等，本實施例不一一列舉，不應理解為是對本案的限制。因此對於副視角區域劃分出的子區域，採用濾波模板可以執行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。即對於副視角區域劃分出的子區域，可以依據含有的高頻分量採用相同尺寸的模板執行不同的平滑濾波處理，也可以採用不同尺寸的模板執行相同或不同的平滑濾波處理。透過濾波獲取濾波後的全景視頻圖像。其中透過濾波模板的係數可以確定其所對應的濾波處理類別。 　　例如對於圖2的子區域除了上述濾波方式外，還可以採用圖7提供的三種不同的濾波模板進行濾波，其中，對於A子區域，可採用圖7C所示的5×5的均值濾波模板進行濾波，而對於B子區域，可採用圖7B所示的3×3的均值濾波模板進行濾波，對於C子區域，可採用圖7A所示的3×3的高斯濾波模板進行濾波，而D區域可以不進行濾波，從而對於副視角區域進行自我調整的濾波處理。 　　又如對於圖6的子區域採用圖7提供的三種不同的濾波模板進行濾波，其中，圖7A示出了一種3×3的高斯濾波模板，圖7B示出了一種3×3的均值濾波模板，圖7C示出了一種5×5的均值濾波模板，這三者中圖7C所示的均值濾波模板平滑度最大，而圖7A所示的均值濾波模板平滑度最小。因此對於E子區域，可採用圖7C所示的5×5的均值濾波模板進行濾波，而對於F子區域，可採用圖7B所示的3×3的均值濾波模板進行濾波，對於G子區域，可採用圖7A所示的3×3的高斯濾波模板進行濾波，從而能夠自我調整的進行濾波。當然上述僅是一種區域劃分和濾波的示例，實際處理中可以依據具體情況確定，例如上述G子區域可不進行濾波處理。 　　綜上，對於在自我調整解析度映射轉碼中在逐步遠離使用者主視角的區域會產生過多的映射取樣高頻分量，而導致編碼碼率的浪費以及渲染圖像的鋸齒感的問題，本案實施例透過在這些遠離主視角的副視角區域，設置根據使用者視角角度變化的自我調整濾波方法，來使得這些包含高頻分量的圖像得到平滑，從而降低高頻分量的強度。 　　基於上述圖像的處理裝置，採用一個示例說明對於圖像的分區濾波處理。 　　參照圖8，示出了本案一個實施例的圖像的處理方法流程圖。 　　方塊802，獲取依據視角映射確定的全景視頻圖像，其中，所述全景視頻圖像包括主視角區域和至少一個副視角區域。 　　方塊804，基於副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域。 　　方塊806，確定每個子區域的濾波模板，並採用所述濾波模板對子區域進行濾波處理。 　　該裝置建立基於視角映射的三維映射模型，其中視角可以指視線與顯示器等顯示身背的垂直方向所成的角度。採用該三維映射模型對進行影像對應並二維展開後得到全景視頻圖像，即該全景視頻圖像是基於視角映射確定的，從而全景視頻圖像包括主視角區域和至少一個副視角區域。對於每個副視角區域，可以基於該副視角區域的高頻分量，如按照區域內高頻分量的多少，將該副視角區域劃分出至少兩個子區域，其中一個子區域的高頻分量的數量多於另一個子區域。由於兩個子區域內高頻分量的數量不同，因此要採用不同的濾波模板進行濾波，可以確定出每個子區域的濾波模板，然後分別採用各濾波模板對對應的子區域進行平滑濾波處理，透過平滑濾波能夠有效平滑區域內的高頻分量，得到濾波後的全景視頻圖像。然後可以對該濾波後的全景視頻圖像進行編碼壓縮，再傳輸給用戶端。 　　綜上，獲取包括主視角區域和至少一個副視角區域的全景視頻圖像，然後基於副視角區域的高頻分量，將副視角區域劃分出至少兩個子區域，從而可以基於高頻分量進行分區域的處理，即確定每個子區域的濾波模板，採用所述濾波模板對子區域進行濾波處理，基於不同子區域的高頻分量進行相應的濾波，平滑相應子區域的高頻分量，防止使用者側渲染出現的鋸齒效應，提高使用者的視覺體驗。 　　本案實施例可以應用於各種基於視角構建模型並映射展開的方式中，以Pyramid映射展開方式為例，論述對於映射展開後的全景視頻圖像的平滑處理。Pyramid映射展開方式利用了在使用者不同觀看的主視角映射出不同的圖像，即每路的映射圖像在使用者的某一個主視角具有最清晰的解析度，而在遠離使用者主視角的位置降低映射的解析度，因此Pyramid映射展開方式在每一路的映射圖像上可以得到較低解析度的映射展開圖像。如圖7所示為Pyramid映射的原理示意圖，Pyramid映射模型對於使用者主視角部分具有較高的解析度，而遠離使用者主視角的區域映射解析度逐步降低，其中，Pyramid映射模型中四棱錐的頂點代表了最遠離使用者觀看視角的位置。如圖5所示為Pyramid映射模型進行映射展開後的一種全景視頻圖像。 　　Pyramid模型雖然能夠極大的降低映射圖像的解析度，但由於在逐步遠離使用者主視角的過程中映射圖像的解析度會越來越低，從而在遠離使用者主視角的區域會造成以下問題：其一，在最終渲染過程中，遠離使用者主視角的高頻影像對應取樣區域會導致嚴重的渲染鋸齒現象；其二，圖像的高頻分量增多，會導致壓縮所需的碼率增大，造成大量的編碼碼率被消耗在遠離使用者主視角的高頻圖像區域，進而導致主視角區域編碼品質下降，影響主視角區域的清晰度。因此針對Pyramid模型，以及與其設計思路類似的其他自我調整解析度映射的全景視頻轉碼技術的問題，本案實施例可以透過自我調整濾波解決上述問題。 　　本案實施例的自我調整濾波可以分區域執行不同的濾波處理，其中在所述基於副視角區域的高頻分量，將所述副視角區域劃分出至少兩個子區域，包括：確定副視角區域中高頻分量的分布信息，依據所述分布信息將所述副視角區域劃分出至少兩個子區域。即若映射時在遠離使用者主視角的區域映射解析度逐步降低，則副視角區域中的高頻分量並不是均勻分布的，因此可以確定出副視角區域中高頻分量的分布信息，依據該分布信息進行子區域的劃分，將該副視角區域劃分為至少兩個子區域，以便於對不同的子區域進行不同的濾波處理。實際處理中基於分布信息，可以對副視角區域按照高頻分量的數量、按照一定角度、按照區域的側邊等進行子區域的劃分。 　　參照圖9，示出了本案另一個實施例的一種圖像的處理方法的流程圖。 　　方塊902，獲取基於視角映射確定的全景視頻圖像，其中，所述全景視頻圖像包括主視角區域和至少一個副視角區域。 　　一個示例中，該裝置獲取基於視角映射確定的全景視頻圖像，確定該全景視頻圖像中的主視角區域和副視角區域。如圖6所示的為Pyramid映射並二維展開後的另外一種全景視頻圖像示例。其中，包括主視角區域11、和副視角區域21-51，其中各副視角區域共同的頂點可以為高頻分量最高區域所在的頂點，因此這種展開方式的示例也可以將這四個副視角區域組合為一個副視角區域。 　　方塊904，依據映射過程的取樣率，確定所述副視角區域中高頻分量的分布信息。 　　自我調整映射過程中，隨著遠離使用者主視角逐步增強的映射取樣，因此該裝置可以基於映射過程的取樣率，確定出副視角區域中高頻分量的分布信息，即副視角區域中越遠離主視角的位置區域其高頻分量越多，反之副視角區域中越靠近主視角的位置區域其高頻分量越少。 　　方塊906，依據所述分布信息中高頻分量的數量，將所述副視角區域劃分出至少兩個子區域。 　　在確定出副視角區域中高頻分量的分布信息後，該裝置可以依據該分布信息確定出該副視角區域各位置區域中高頻分量的數量，依據高頻分量的數量將所述副視角區域劃分出至少兩個子區域。例如可以設置一個或多個門檻值，基於門檻和區域內的高頻分量的數量的比較劃分出兩個或以上的子區域。如圖6中，依據分布信息確定的副視角區域中高頻分量的數量，即遠離使用者主視角的程度，可以將副視角區域劃分出E、F、G三個子區域，其中，E是最遠離使用者主視角的子區域，而G是最接近使用者主視角的子區域。例如按照門檻和數量比較的方式中，可以設置高頻分量的數量為N，並且門檻包括T1和T2，其中T1＞T2，則N＞T1的子區域即為E，T1≥N＞T2的子區域即為F，N≥T2的子區域即為G。 　　方塊908，依據子區域中的高頻分量，確定所述子區域對應的濾波模板。 　　方塊910，採用所述濾波模板對副視角區域包含的子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。 　　按照高頻分量的多少劃分子區域，相應也要按照高頻分量的多少對不同子區域進行不同的平滑濾波處理。可以依據子區域中的高頻分量，確定所述子區域對應的濾波模板。其中，高頻分量越多，濾波模板的平滑度越大；所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定。即對於高頻分量越多的子區域，採用模板尺寸和強度越大的濾波器(即濾波模板)，從而達到平滑高頻分量的效果。其中，當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。 　　在確定出子區域的濾波模板後，該裝置依據該濾波模板對該子區域進行濾波，其中平滑濾波包括以下至少一種：高斯濾波、中值濾波、均值濾波，還可以採用其他的低通濾波模板，如線性或非線性的平滑濾波方法等，本實施例不一一列舉，不應理解為是對本案的限制。因此對於副視角區域劃分出的子區域，採用濾波模板可以執行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。即對於副視角區域劃分出的子區域，可以依據含有的高頻分量採用相同尺寸的模板執行不同的平滑濾波處理，也可以採用不同尺寸的模板執行相同或不同的平滑濾波處理。透過濾波獲取濾波後的全景視頻圖像。其中透過濾波模板的係數可以確定其所對應的濾波處理類別。 　　例如對於圖6的子區域採用圖7提供的三種不同的濾波模板進行濾波，其中，圖7A示出了一種3×3的高斯濾波模板，圖7B示出了一種3×3的均值濾波模板，圖7C示出了一種5×5的均值濾波模板，這三者中圖7C所示的均值濾波模板平滑度最大，而圖7A所示的均值濾波模板平滑度最小。因此對於E子區域，可採用圖7C所示的5×5的均值濾波模板進行濾波，而對於F子區域，可採用圖7B所示的3×3的均值濾波模板進行濾波，對於G子區域，可採用圖7A所示的3×3的高斯濾波模板進行濾波，從而能夠自我調整的進行濾波。當然上述僅是一種區域劃分和濾波的示例，實際處理中可以依據具體情況確定，例如上述G子區域可不進行濾波處理。 　　參照圖10，示出了本案另一個實施例的另一種圖像的處理方法的流程圖。 　　方塊1002，獲取基於視角映射確定的全景視頻圖像，其中，所述全景視頻圖像包括主視角區域和至少一個副視角區域。 　　另一個示例中，該裝置獲取基於視角映射確定的全景視頻圖像，確定該全景視頻圖像中的主視角區域和副視角區域。如圖2所示的為Pyramid映射並二維展開後的一種全景視頻圖像示例。其中，包括主視角區域10、和副視角區域20-50。 　　方塊1004，依據映射過程的取樣率，確定所述副視角區域中高頻分量的分布信息。 　　方塊1006，按照所述分布信息對所述副視角區域中目標頂點所在側邊進行劃分，依據劃分結果將所述副視角區域劃分出至少兩個子區域。 　　其中，所述目標頂點包括高頻分量最高區域所在的頂點。如圖2中4個副視角區域中與主視角區域不重合的頂點為高頻分量最高區域所在的頂點。在確定出副視角區域中高頻分量的分布信息後，可以依據該分布信息可以按照一定的角度，或者按照副視角區域側邊進行區域的劃分。其中，副視角區域中分別率(即高頻分量)的變化通常是連續漸變的，例如圖2中解析度的降低是沿著45度的方向排列的，因此在劃分子區域時也可以基於45度的方向劃分。或者對於目標頂點所在側邊按照一定的規則劃分，將劃分出的交點向該目標頂點的對邊做平行線，依據該焦點和平行線確定出至少兩個子區域。 　　方塊1008，依據子區域中的高頻分量，確定所述子區域對應的濾波模板。 　　方塊1010，採用所述濾波模板對副視角區域包含的子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。 　　例如對於圖2的子區域除了上述濾波方式外，還可以採用圖7提供的三種不同的濾波模板進行濾波，其中，對於A子區域，可採用圖7C所示的5×5的均值濾波模板進行濾波，而對於B子區域，可採用圖7B所示的3×3的均值濾波模板進行濾波，對於C子區域，可採用圖7A所示的3×3的高斯濾波模板進行濾波，而D區域可以不進行濾波，從而對於副視角區域進行自我調整的濾波處理。 　　綜上，對於在自我調整解析度映射轉碼中在逐步遠離使用者主視角的區域會產生過多的映射取樣高頻分量，而導致編碼碼率的浪費以及渲染圖像的鋸齒感的問題，本案實施例透過在這些遠離主視角的副視角區域，設置根據使用者視角角度變化的自我調整濾波方法，來使得這些包含高頻分量的圖像得到平滑，從而降低高頻分量的強度。 　　首先，自我調整濾波中區域的劃分、模板的選取等均不是唯一的，可以根據遠離使用者主視角的程度(對應著映射取樣導致的圖像高頻分量的嚴重程度)分別相應的自我調整濾波器來進行分區域的處理。其次，自我調整濾波器的模板大小和強度也是分區域的靈活設計(如圖7所示的各種濾波模板)。再次，可以根據實際自我調整映射轉碼的演算法(是Pyramid或者其他方式)導致的映射取樣高頻分量的特徵，來自我調整的設計濾波的區域劃分，區域的大小和形狀都可依據實際情況靈活確定。 　　其中，根據遠離使用者主視角的程度設計的濾波模板的尺寸和強度都是不一致的，而自我調整濾波方法的設計一般需要考慮到以下兩個主要的原則：其一，自我調整濾波要根據隨著遠離使用者主視角、逐步增強的映射取樣導致的高頻分量的影響，隨著越來越遠離使用者主視角，映射取樣的高頻分量越來越多，相應的自我調整濾波也就需要越強，這可以透過模板尺寸越大以及係數更加平滑來實現；其二，自我調整濾波演算法的設計同時需要考慮過渡的平滑性，為了不給使用者造成突變的濾波導致的圖像模糊程度上升的體驗，需要子區域所選取的濾波模板對應濾波強度平滑的過度，如圖7中濾波模板的尺寸和係數都是平滑過渡的。 　　上述各實施例均用於舉例說明對於全景視頻圖像的自我調整濾波處理，實際處理中可以依據需要在：濾波區域的數量，濾波區域的範圍，濾波模板的強度和尺寸等各方面做自我調整的調整。從而基於上述自我調整濾波處理能夠使得編碼碼率向使用者主視角集中，使用者主視角的觀看清晰度得到提升，並且能夠改善遠離使用者主視角區域的鋸齒效應，改善使用者突然切換視角到遠離主視角處的視覺體驗。 　　本案實施例中，使用者終端指的是具有多媒體功能的終端設備，這些設備支援音訊、視頻、資料等方面的功能。本實施例中該使用者終端可包括智慧移動終端如智慧手機、平板電腦、智慧穿戴設備，VR設備等。在伺服器等設備得到濾波後的圖像，可將濾波後的圖像編碼後發送給使用者終端，使得使用者能夠在使用者終端上觀看全景視頻。 　　需要說明的是，對於方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本案實施例並不受所描述的動作順序的限制，因為依據本案實施例，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於較佳實施例，所涉及的動作並不一定是本案實施例所必須的。 　　本公開的實施例可被實現為使用任意適當的硬體和/或軟體進行想要的配置的裝置。圖11示意性地示出了可被用於實現本案中所述的各個實施例的示例性裝置100。 　　對於一個實施例，圖11示出了示例性裝置100，該裝置具有一個或多個處理器102、被耦合到(一個或多個)處理器102中的至少一個的控制模組(晶片組)104、被耦合到控制模組104的記憶體106、被耦合到控制模組104的非易失性記憶體(NVM)/儲存裝置108、被耦合到控制模組104的一個或多個輸入/輸出設備110，以及被耦合到控制模組104的網路介面112。 　　處理器102可包括一個或多個單核或多核處理器，處理器102可包括通用處理器或專用處理器(例如圖形處理器、應用處理器、基頻處理器等)的任意組合。在一些實施例中，裝置100能夠作為本案實施例中所述的轉碼端的伺服器等設備。 　　在一些實施例中，裝置100可包括具有指令114的一個或多個電腦可讀媒體(例如，記憶體106或，NVM/儲存裝置108)以及與該一個或多個電腦可讀媒體相合併被配置為執行指令114以實現模組從而執行本公開中所述的動作的一個或多個處理器102。 　　對於一個實施例，控制模組104可包括任意適當的介面控制器，以向(一個或多個)處理器102中的至少一個和/或與控制模組104通信的任意適當的設備或元件提供任意適當的介面。 　　控制模組104可包括記憶體控制器模組，以向記憶體106提供介面。記憶體控制器模組可以是硬體模組、軟體模組和/或韌體模組。 　　記憶體106可被用於例如為裝置100載入和儲存資料和/或指令114。對於一個實施例，記憶體106可包括任意適當的易失性記憶體，例如，適當的DRAM。在一些實施例中，記憶體106可包括雙倍資料速率類型四同步動態隨機存取記憶體(DDR4SDRAM)。 　　對於一個實施例，控制模組104可包括一個或多個輸入/輸出控制器，以向NVM/儲存裝置108及(一個或多個)輸入/輸出設備110提供介面。 　　例如，NVM/儲存裝置108可被用於儲存資料和/或指令114。NVM/儲放裝置108可包括任意適當的非易失性記憶體(例如，快閃記憶體)和/或可包括任意適當的(一個或多個)非易失性存放裝置(例如，一個或多個硬碟機(HDD)、一個或多個光碟(CD)機和/或一個或多個數位通用光碟(DVD)機)。 　　NVM/儲存裝置108可包括在物理上作為裝置100被安裝在其上的設備的一部分的儲存資源，或者其可被該設備存取可不必作為該設備的一部分。例如，NVM/儲存裝置108可透過網路經由(一個或多個)輸入/輸出設備710進行存取。 　　(一個或多個)輸入/輸出設備110可為裝置100提供介面以與任意其他適當的設備通信，輸入/輸出設備110可以包括通信元件、音訊元件、感測器元件等。網路介面112可為裝置100提供介面以透過一個或多個網路通信，裝置100可根據一個或多個無線網路標準和/或協議中的任意標準和/或協定來與無線網路的一個或多個元件進行無線通訊，例如接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合進行無線通訊。 　　對於一個實施例，(一個或多個)處理器102中的至少一個可與控制模組104的一個或多個控制器(例如，記憶體控制器模組)的邏輯封裝在一起。對於一個實施例，(一個或多個)處理器102中的至少一個可與控制模組104的一個或多個控制器的邏輯封裝在一起以形成系統級封裝(SiP)。對於一個實施例，(一個或多個)處理器102中的至少一個可與控制模組104的一個或多個控制器的邏輯集成在同一模具上。對於一個實施例，(一個或多個)處理器102中的至少一個可與控制模組104的一個或多個控制器的邏輯集成在同一模具上以形成系統晶片(SoC)。 　　在各個實施例中，裝置100可以但不限於是：伺服器、台式計算設備或行動計算裝置(例如，膝上型計算設備、手持計算設備、平板電腦、小筆電等)等終端設備。在各個實施例中，裝置100可具有更多或更少的元件和/或不同的架構。例如，在一些實施例中，裝置100包括一個或多個攝影機、鍵盤、液晶顯示器(LCD)螢幕(包括觸控螢幕顯示器)、非易失性記憶體埠、多個天線、圖形晶片、專用積體電路(ASIC)和揚聲器。 　　本案實施例公開了方法和裝置，示例1包括圖像的處理方法，包括：獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域；依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域；分別確定每個子區域的濾波模板，並採用所述濾波模板對子區域分別進行濾波處理；確定濾波後的全景視頻圖像。 　　示例2包括示例1的方法，其中，還包括：依據映射過程的取樣率，確定所述副視角區域中高頻分量的分布信息。 　　示例3包括示例1和/或示例2所述的方法，其中，所述依據副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域，包括：依據所述分布信息中高頻分量的數量，將所述副視角區域劃分出至少兩個子區域。 　　示例4包括示例1-示例3中一個或多個所述的方法，其中，所述依據副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域，包括：按照所述分布信息對所述副視角區域中目標頂點所在側邊進行劃分，依據劃分結果將所述副視角區域劃分出至少兩個子區域，其中，所述目標頂點包括高頻分量最高區域所在的頂點。 　　示例5包括示例1-示例4中一個或多個所述的方法，其中，所述分別確定每個子區域的濾波模板，包括：依據子區域中的高頻分量，分別確定所述子區域對應的濾波模板，其中，高頻分量越多，濾波模板的平滑度越大。 　　示例6包括示例1-示例5中一個或多個所述的方法，其中，所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定；當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。 　　示例7包括示例1-示例6中一個或多個所述的方法，其中，採用所述濾波模板對子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波、其他低通濾波。 　　示例8包括圖像的處理裝置，所述的裝置包括：獲取模組，用於獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域；劃分模組，用於依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域；濾波模組，用於分別確定每個子區域的濾波模板，並採用所述濾波模板對子區域分別進行濾波處理；確定濾波後的全景視頻圖像。 　　示例9包括示例8的裝置，其中，所述劃分模組，還用於依據映射過程的取樣率，確定所述副視角區域中高頻分量的分布信息。 　　示例10包括示例8和/或示例9的裝置，其中，所述劃分模組，包括：數量劃分子模組，用於依據所述分布信息中高頻分量的數量，將所述副視角區域劃分出至少兩個子區域。 　　示例11包括示例8-示例10中一個或多個所述的裝置，其中，所述劃分模組，包括：頂點劃分子模組，用於按照所述分布信息對所述副視角區域中目標頂點所在側邊進行劃分，依據劃分結果將所述副視角區域劃分出至少兩個子區域，其中，所述目標頂點包括高頻分量最高區域所在的頂點。 　　示例12包括示例8-示例11中一個或多個所述的裝置，其中，所述濾波模組，包括：所述模板確定子模組，用於依據子區域中的高頻分量，分別確定所述子區域對應的濾波模板；其中，高頻分量越多，濾波模板的平滑度越大；所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定；當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。 　　示例13包括示例8-示例12中一個或多個所述的裝置，其中，所述濾波模組，包括：濾波處理子模組，用於採用所述濾波模板對子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。 　　示例14包括裝置，所述的裝置包括：一個或多個處理器；和其上儲存有指令的一個或多個機器可讀媒體，當由所述一個或多個處理器執行時，使得所述裝置執行如示例1-示例7中一個或多個所述的方法。 　　示例15包括一個或多個機器可讀媒體，其上儲存有指令，當由一個或多個處理器執行時，使得裝置執行如示例1-示例7中一個或多個所述的方法。 　　雖然某些實施例是以說明和描述為目的的，各種各樣的替代、和/或、等效的實施方案、或計算來達到同樣的目的實施例示出和描述的實現，不脫離本案的實施範圍。本案旨在覆蓋本文討論的實施例的任何修改或變化。因此，顯然本文描述的實施例僅由申請專利範圍和它們的等同物來限定。
10‧‧‧主視角區域
20‧‧‧副視角區域
30‧‧‧副視角區域
40‧‧‧副視角區域
50‧‧‧副視角區域
300‧‧‧處理裝置
302‧‧‧獲取模組
304‧‧‧劃分模組
306‧‧‧濾波模組
3042‧‧‧數量劃分子模組
3044‧‧‧頂點劃分子模組
3062‧‧‧模板確定子模組
3064‧‧‧濾波處理子模組
11‧‧‧主視角區域
21‧‧‧副視角區域
31‧‧‧副視角區域
41‧‧‧副視角區域
52‧‧‧副視角區域
100‧‧‧裝置
102‧‧‧處理器
104‧‧‧控制模組
106‧‧‧記憶體
108‧‧‧NVM/儲存裝置
110‧‧‧輸入/輸出設備
112‧‧‧網路介面
114‧‧‧指令
圖1是全景視頻在轉碼端和使用者終端的示意圖； 　　圖2是本案實施例的一種圖像的分區濾波示意圖； 　　圖3是本案一種圖像的處理裝置實施例的結構方塊圖； 　　圖4是本案實施例提供的Pyramid映射的原理示意圖； 　　圖5是本案另一種圖像的處理裝置實施例的結構方塊圖； 　　圖6是本案實施例的另一種圖像的分區濾波處理示意圖； 　　圖7A、圖7B、圖7C是本案實施例提供的濾波模板示意圖； 　　圖8是本案一個實施例的全景視頻圖像的處理方法的流程圖； 　　圖9是本案另一個實施例的一種圖像的處理方法的流程圖； 　　圖10是本案另一個實施例的另一種圖像的處理方法的流程圖； 　　圖11是本案一實施例提供的裝置的結構示意圖。

Claims (15)

  1. 一種方法，其特徵在於，包括： 　　獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域； 　　依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域； 　　分別確定每個子區域的濾波模板，並採用所述濾波模板對子區域分別進行濾波處理。
  2. 根據申請專利範圍第1項所述的方法，其中，還包括： 　　依據映射過程的取樣率，確定所述副視角區域中高頻分量的分布信息。
  3. 根據申請專利範圍第1項所述的方法，其中，所述分布信息包括高頻分量的數量。
  4. 根據申請專利範圍第1項所述的方法，其中，所述依據副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域，包括： 　　按照所述分布信息對所述副視角區域中目標頂點所在側邊進行劃分，依據劃分結果將所述副視角區域劃分出至少兩個子區域，其中，所述目標頂點包括高頻分量最高區域所在的頂點。
  5. 根據申請專利範圍第1項所述的方法，其中，所述分別確定每個子區域的濾波模板，包括： 　　依據子區域中的高頻分量，分別確定所述子區域對應的濾波模板，其中，高頻分量越多，濾波模板的平滑度越大。
  6. 根據申請專利範圍第5項所述的方法，其中，所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定；當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。
  7. 根據申請專利範圍第1項所述的方法，其中，採用所述濾波模板對子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波、其他低通濾波。
  8. 一種裝置，其特徵在於，包括： 　　獲取模組，用於獲取全景視頻圖像，其中，所述全景視頻圖像是依據視角映射確定的，所述全景視頻圖像包括主視角區域和至少一個副視角區域； 　　劃分模組，用於依據所述副視角區域中高頻分量的分布信息，將所述副視角區域劃分出至少兩個子區域； 　　濾波模組，用於分別確定每個子區域的濾波模板，並採用所述濾波模板對子區域分別進行濾波處理。
  9. 根據申請專利範圍第8項所述的裝置，其中， 　　所述劃分模組，還用於依據映射過程的取樣率，確定所述副視角區域中高頻分量的分布信息。
  10. 根據申請專利範圍第8項所述的裝置，其中，所述分布信息包括高頻分量的數量。
  11. 根據申請專利範圍第8項所述的裝置，其中，所述劃分模組，包括： 　　頂點劃分子模組，用於按照所述分布信息對所述副視角區域中目標頂點所在側邊進行劃分，依據劃分結果將所述副視角區域劃分出至少兩個子區域，其中，所述目標頂點包括高頻分量最高區域所在的頂點。
  12. 根據申請專利範圍第8項所述的裝置，其中，所述濾波模組，包括： 　　所述模板確定子模組，用於依據子區域中的高頻分量，分別確定所述子區域對應的濾波模板； 　　其中，高頻分量越多，濾波模板的平滑度越大；所述濾波模板的平滑度依據所述濾波模板的尺寸和強度確定，所述強度依據所述濾波模板的係數確定；當兩個濾波模板的尺寸相同時，依據所述濾波模板的係數確定平滑度。
  13. 根據申請專利範圍第8項所述的裝置，其中，所述濾波模組，包括： 　　濾波處理子模組，用於採用所述濾波模板對子區域進行以下至少一種濾波處理：高斯濾波、中值濾波、均值濾波。
  14. 一種裝置，其特徵在於，包括： 　　一個或多個處理器；和 　　其上儲存有指令的一個或多個機器可讀媒體，當由所述一個或多個處理器執行時，使得所述裝置執行如申請專利範圍第1-7項中一個或多個所述的方法。
  15. 一種機器可讀媒體，其上儲存有指令，當由一個或多個處理器執行時，使得裝置執行如申請專利範圍第1-7項中一個或多個所述的方法。
TW106136495A 2017-02-15 2017-10-24 圖像的處理方法、裝置和機器可讀媒體 TWI745461B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201710081731.7 2017-02-15
CN201710081731.7 2017-02-15
CN201710081731.7A CN108428211B (zh) 2017-02-15 2017-02-15 图像的处理方法、装置和机器可读介质

Publications (2)

Publication Number Publication Date
TW201832180A true TW201832180A (zh) 2018-09-01
TWI745461B TWI745461B (zh) 2021-11-11

Family

ID=63104713

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106136495A TWI745461B (zh) 2017-02-15 2017-10-24 圖像的處理方法、裝置和機器可讀媒體

Country Status (6)

Country Link
US (2) US10565683B2 (zh)
EP (1) EP3583774B1 (zh)
JP (1) JP7053634B2 (zh)
CN (1) CN108428211B (zh)
TW (1) TWI745461B (zh)
WO (1) WO2018152259A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428211B (zh) 2017-02-15 2021-12-14 阿里巴巴集团控股有限公司 图像的处理方法、装置和机器可读介质
CN111754565B (zh) * 2019-03-29 2024-04-26 浙江宇视科技有限公司 图像处理方法及装置
CN111784816B (zh) * 2020-06-28 2023-03-10 山东大学 基于微表面理论的高频材质渲染方法及系统
CN112804511B (zh) * 2021-01-04 2022-04-01 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902558B (zh) * 2009-06-01 2012-06-13 联咏科技股份有限公司 图像处理电路及其图像处理方法
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9900505B2 (en) 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
CN105608689B (zh) * 2014-11-20 2018-10-19 深圳英飞拓科技股份有限公司 一种全景拼接消除图像特征误匹配方法及装置
GB2536025B (en) 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
KR101692227B1 (ko) * 2015-08-18 2017-01-03 광운대학교 산학협력단 Ｆａｓｔ를 이용한 파노라마 영상 생성 방법
US10482574B2 (en) * 2016-07-06 2019-11-19 Gopro, Inc. Systems and methods for multi-resolution image stitching
TWI611795B (zh) * 2016-07-18 2018-01-21 許百靈 多針孔單光子ｓｐｅｃｔ心肌血流絕對定量方法與用途
US20180040164A1 (en) * 2016-08-05 2018-02-08 Gopro, Inc. Apparatus and methods for selective coding of images
CN106296744A (zh) * 2016-11-07 2017-01-04 湖南源信光电科技有限公司 一种结合自适应模型和多阴影属性的运动目标检测方法
CN108428211B (zh) 2017-02-15 2021-12-14 阿里巴巴集团控股有限公司 图像的处理方法、装置和机器可读介质

Also Published As

Publication number Publication date
WO2018152259A1 (en) 2018-08-23
TWI745461B (zh) 2021-11-11
JP2020507845A (ja) 2020-03-12
US20200143515A1 (en) 2020-05-07
EP3583774A4 (en) 2020-12-23
JP7053634B2 (ja) 2022-04-12
EP3583774B1 (en) 2023-07-19
CN108428211A (zh) 2018-08-21
US20180232856A1 (en) 2018-08-16
US10565683B2 (en) 2020-02-18
CN108428211B (zh) 2021-12-14
EP3583774A1 (en) 2019-12-25
US10846823B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
TWI739937B (zh) 用於影像映射的方法、裝置和機器可讀媒體
US20210099706A1 (en) Processing of motion information in multidimensional signals through motion zones and auxiliary information through auxiliary zones
KR101775253B1 (ko) 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환
AU2017386420B2 (en) Panoramic image compression method and apparatus
TW201832180A (zh) 圖像的處理方法、裝置和機器可讀媒體
JP6657214B2 (ja) 画像ベースの深さ検知システムの精度測定
KR101800995B1 (ko) 위상 기반 오토포커스를 위한 신뢰도 측정
US11138460B2 (en) Image processing method and apparatus
US11159742B2 (en) High-speed video from camera arrays
US9756234B2 (en) Contrast detection autofocus using multi-filter processing and adaptive step size selection
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
CN109429062B (zh) 金字塔模型的处理方法和装置、图像编码方法和装置
CN105844688B (zh) 虚拟现实渲染方法和装置
CN115514895B (zh) 图像防抖方法、装置、电子设备和计算机可读存储介质
US9531943B2 (en) Block-based digital refocusing system and method thereof
Tang et al. FPGA implementation of glass-free stereo vision
TW201317940A (zh) 影像處理裝置與其方法