TWI683569B - 全景視頻的壓縮方法及裝置 - Google Patents
全景視頻的壓縮方法及裝置 Download PDFInfo
- Publication number
- TWI683569B TWI683569B TW106128998A TW106128998A TWI683569B TW I683569 B TWI683569 B TW I683569B TW 106128998 A TW106128998 A TW 106128998A TW 106128998 A TW106128998 A TW 106128998A TW I683569 B TWI683569 B TW I683569B
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- pictures
- triangle
- panoramic video
- height
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006835 compression Effects 0.000 title claims abstract description 33
- 238000007906 compression Methods 0.000 title claims abstract description 33
- 229910003460 diamond Inorganic materials 0.000 claims description 20
- 239000010432 diamond Substances 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 2
- 239000002699 waste material Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本發明實施例揭露一種全景視頻的壓縮方法及裝置，該方法包括：針對目標全景視頻生成該目標全景視頻的每一幀圖片；分別針對每一幀圖片壓縮該幀圖片；對壓縮後的該幀圖片進行劃分；對劃分得到的圖片進行拼合；根據拼合得到的所有圖片生成新的全景視頻。利用本發明實施例，減少了網路頻寬的浪費。
Description
本發明關於視頻技術領域，特別關於一種全景視頻的壓縮方法及裝置。
全景視頻，是指360度全景視頻，它是在360度全景技術之上發展延伸而來。它將連續多張的靜態全景圖片轉化為動態的視頻圖像，全景視頻可以在拍攝角度左右上下360度任意觀看動態視頻。全景視頻它不在是單一的靜態全景圖片形式，是由很多張全景圖片串聯起來組成了流暢清楚的動態視頻圖像。
目前全景視頻的播放方法是：伺服器將全景視頻發送給客戶端；客戶端將全景視頻源進行解碼成全景圖片，根據觀看者的當前角度對全景圖片進行抽取，播放由抽取後的全景圖片組成的視頻。其中，全景視頻的抽取是基於把圖片貼到球體上進行。傳統的球面全景圖是以球體的球面紋理座標展開的一張矩形圖像，但是其實際的有用像素範圍可以用一個橢圓表示，橢圓最寬處的寬度為矩形的長度，上下兩邊逐漸變短，最短處的寬度為一個像素點寬度，因此矩形球面全景圖存在冗餘的像素資訊。
可見，在實際應用中，用戶看到的全景視頻僅為伺服器發送的全景視頻的一部分。但是伺服器會將全部全景視 頻發送給客戶端，導致不必要資料的傳輸，進而造成網路頻寬的浪費。
本發明實施例的目的在於提供一種全景視頻的壓縮方法及裝置，以減少網路頻寬的浪費。
為達到上述目的，本發明實施例揭露一種全景視頻的壓縮方法，方法包括：針對目標全景視頻生成該目標全景視頻的每一幀圖片；分別針對每一幀圖片壓縮該幀圖片；對壓縮後的該幀圖片進行劃分；對劃分得到的圖片進行拼合；根據拼合得到的所有圖片，生成新的全景視頻。
較佳的，該分別針對每一幀圖片壓縮該幀圖片包括：分別針對每一幀圖片，利用插值技術，將該幀圖片壓縮成菱形圖片，其中，該菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。
較佳的，該對壓縮後的該幀圖片進行劃分，包括：將該菱形圖片等分為兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；將兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片；該對劃分得到的圖片進行拼合包括：將兩個三角形圖片中未進行等分的三角形圖片、該兩個直角三角形圖片拼合為一個矩形圖片。
較佳的，該對壓縮後的該幀圖片進行劃分包括：將該菱形圖片等分為兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的 高為該幀圖片的寬度的一半；該對劃分得到的圖片進行拼合包括：將該兩個三角形圖片分別變換為與該兩個三角形圖片的高相同且面積相等的兩個直角三角形圖片；將該兩個直角三角形圖片拼合為一個矩形圖片。
較佳的，在根據拼合得到的所有圖片生成新的全景視頻之前，該方法還包括：對拼合得到的圖片的拼合邊緣進行預設處理。
為達到上述目的，本發明實施例揭露一種全景視頻的壓縮裝置，包括：第一生成模組，用於針對目標全景視頻生成該目標全景視頻的每一幀圖片；壓縮模組，用於分別針對每一幀圖片壓縮該幀圖片；劃分模組，用於對壓縮後的該幀圖片進行劃分；拼合模組，用於對劃分得到的圖片進行拼合；第二生成模組，用於根據拼合得到的所有圖片生成新的全景視頻。
較佳的，該壓縮模組具體用於：用於分別針對每一幀圖片，利用插值技術，將該幀圖片壓縮成菱形圖片，其中，該菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。
較佳的，該劃分模組具體用於：將該菱形圖片等分為兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；將兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片；該拼合模組具體用於：將兩個三角形圖片中未進行等分的三角形圖片、該兩個直角三角形 圖片拼合為一個矩形圖片。
較佳的，該劃分模組具體用於：將該菱形圖片等分為兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；該拼合模組具體用於：將該兩個三角形圖片分別變換為與該兩個三角形圖片的高相同且面積相等的兩個直角三角形圖片；將該兩個直角三角形圖片拼合為一個矩形圖片。
較佳的，在第二生成模組之前，該裝置還包括：處理模組，用於對拼合得到的圖片的拼合邊緣進行預設處理。
由上述的技術方案可見，本發明實施例提供的一種全景視頻的壓縮方法及裝置，針對目標全景視頻生成該目標全景視頻的每一幀圖片；分別針對每一幀圖片壓縮該幀圖片；對壓縮後的該幀圖片進行劃分；對劃分得到的圖片進行拼合；根據拼合得到的所有圖片生成新的全景視頻。
可見，對全景視頻進行壓縮，伺服器將壓縮後的新的全景視頻發送給客戶端，沒有將不必要資料進行傳輸，進而減少了網路頻寬的浪費。
當然，實施本發明的任一產品或方法必不一定需要同時達到以上所述的所有優點。
201‧‧‧第一生成模組
202‧‧‧壓縮模組
203‧‧‧劃分模組
204‧‧‧拼合模組
205‧‧‧第二生成模組
206‧‧‧處理模組
S101~S105‧‧‧步驟
為了更清楚地說明本發明實施例或先前技術中的技術方案，下面將對實施例或先前技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是 本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他的圖式。
圖1為本發明實施例提供的一種全景視頻的壓縮方法的流程示意圖。
圖2為本發明實施例提供的另一種全景視頻的壓縮方法的流程示意圖。
圖3為本發明實施例提供的一種全景視頻的壓縮裝置的結構示意圖。
圖4為本發明實施例提供的另一種全景視頻的壓縮裝置的結構示意圖。
圖5為本發明實施例提供的一種拼合後的矩形圖片的生成示意圖。
圖6為本發明實施例提供的另一種拼合後的矩形圖片的生成示意圖。
下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
下面首先對本發明實施例提供的一種全景視頻的壓縮方法進行詳細說明。
參見圖1，圖1為本發明實施例提供的一種全景視頻的壓縮方法的流程示意圖，可以包括如下步驟。
S101，針對目標全景視頻生成該目標全景視頻的每一幀圖片。
具體的，生成的目標全景視頻的每一幀圖片可以為球面全景圖，是按球面紋理座標展開的一張矩形圖片。其中，針對目標全景視頻，可以採用視頻解碼等現有技術，生成該目標全景視頻的每一幀圖片，本發明實施例在此不對其進行贅述。
S102，分別針對每一幀圖片壓縮該幀圖片。
具體的，可以分別針對每一幀圖片，利用插值技術，將該幀圖片壓縮成菱形圖片，其中，該菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。
示例性的，分別針對每一幀圖片，可以利用最近鄰插值技術、線性插值技術、三次樣條插值技術等插值技術對原有幀圖片進行變換拉伸，從而將該幀圖片壓縮成菱形圖片，其中，菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。其中，最近鄰插值技術、線性插值技術、三次樣條插值技術等插值技術均為現有技術，本發明實施例在此對其不進行贅述。
具體的，還可以針對每一幀圖片，確定該幀圖片的每一行的像素數量的壓縮比，例如該幀圖片的最中間行的壓縮比為1：1(表示不壓縮最中間行的像素數量)，該幀圖片的邊緣行即第一行和最後一行的壓縮比為行的像素點個 數：1(表示將圖片邊緣行的像素個數壓縮為1)，除第一行和最後一行外，將自最中間行到第一行或最後一行的行像素點的數量壓縮為(xy-2nx)/y，其中x為該幀圖片的行像素點的數量，y該幀圖片的列像素點的數量(例如，該幀圖片的解析度尺寸為200*100，則x為200，y為100)，n為自最中間行到第一行或最後一行的序號；根據確定的各個行的壓縮比，對壓縮比對應的行的像素點的數量進行壓縮，將該幀圖片壓縮成菱形圖片，其中，菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。
S103，對壓縮後的該幀圖片進行劃分。
具體的，在實際應用中，可以將該菱形圖片等分為上、下(或左、右)兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；將兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片。
具體的，在實際應用中，可以將該菱形圖片等分為上、下(或左、右)兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半。
示例性的，分別針對每一幀圖片，可以以菱形圖片的其中一條對角線(例如該條對角線的長度為該幀圖片的寬度)為劃分邊界，將菱形圖片等分為兩個三角形圖片，其中，兩個三角形圖片的高均為該幀圖片的高度的一半；進一步地，可以將兩個三角形圖片中的任一個三角形圖片等 分為兩個直角三角形圖片，也可以不對其進行等分。在實際應用中，還可以以菱形圖片的另一條對角線(例如該條對角線的長度為該幀圖片的高度)為劃分邊界，將菱形圖片等分為兩個三角形圖片，其中，兩個三角形圖片的高為該幀圖片的寬度的一半；進一步地，可以將兩個三角形圖片中的任一個三角形圖片等分為兩個直角三角形圖片，也可以不對其進行等分。
S104，對劃分得到的圖片進行拼合。
具體的，在實際應用中，可以將兩個三角形圖片中未進行等分的三角形圖片、該兩個直角三角形圖片拼合為一個矩形圖片。
示例性的，對於在將兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片的情況下，可以將兩個直角三角形圖片分別平移到上述兩個三角形圖片中未進行等分的三角形圖片的左側和右側(或者上側和下側，具體以實現拼合為一個矩形圖片為準)，從而將上述兩個三角形圖片中未進行等分的三角形圖片和兩個直角三角形圖片拼合為一個矩形圖片，使得該矩形圖片的寬度為原有的圖片寬度，該矩形圖片的高度變為原有的圖片高度的一半，或者使得該矩形圖片的高度為原有的圖片高度，該矩形圖片的寬度變為原有的圖片寬度的一半，從而拼合後的矩形圖片解析度尺寸減少為原有矩形圖片尺寸的一半。
具體的，在實際應用中，可以將該兩個三角形圖片分別變換為與該兩個三角形圖片的高相同且面積相等的兩個 直角三角形圖片；將該兩個直角三角形圖片拼合為一個矩形圖片。
示例性的，對於在沒有將兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片的情況下，可以利用圖像變換技術，將上述兩個三角形圖片分別進行變換，得到與這兩個三角形圖片的高相同且面積相等的兩個直角三角形圖片；將得到的兩個直角三角形圖片拼合為一個矩形圖片，使得該矩形圖片的寬度為原有的圖片寬度，該矩形圖片的高度變為原有的圖片高度的一半，或者使得該矩形圖片的高度為原有的圖片高度，該矩形圖片的寬度變為原有的圖片寬度的一半，從而拼合後的矩形圖片解析度尺寸減少為原有矩形圖片尺寸的一半。其中，圖像變換技術為現有技術，本發明實施例在此對其不進行贅述。
示例性的，如圖5所示，圖5為本發明實施例提供的一種拼合後的矩形圖片的生成示意圖。在實際應用中，可以將原有矩形圖片等分為上下兩個矩形圖片M和N，對矩形圖片M進行拉伸，將矩形圖片M壓縮為三角形A；對矩形圖片N進行拉伸，將矩形圖片N壓縮為與三角形A同底等高並與三角形A對稱的三角形，將該三角形等分為直角三角形B和直角三角形C；將三角形B平移複製到三角形A的右側，得到三角形B1，將三角形C平移複製到三角形A的左側，得到三角形C1；將三角形A、三角形B1和三角形C1拼合為一張矩形圖片，拼合後的該矩形圖片解析度尺寸減少為原有矩形圖片尺寸的一半。
示例性的，如圖6所示，圖6為本發明實施例提供的另一種拼合後的矩形圖片的生成示意圖。在實際應用中，還可以將原有矩形圖片等分為上下兩個矩形圖片M和N，對矩形圖片M(與上述矩形圖片M相同)進行拉伸，將矩形圖片M壓縮為三角形A(與上述三角形A相同)；對矩形圖片N(與上述矩形圖片N相同)進行拉伸，將矩形圖片N壓縮為與三角形A同底等高並與三角形A對稱的三角形E；將三角形A在水平方向上進行變換，得到直角三角形A1，將三角形E在水平方向上進行變換，得到直角三角形E1；將直角三角形A1和直角三角形E1拼合為一張矩形圖片，拼合後的該矩形圖片解析度尺寸減少為原有矩形圖片尺寸的一半。
S105，根據拼合得到的所有圖片生成新的全景視頻。
具體的，根據拼合得到的所有矩形圖片，可以採用現有技術例如對所有矩形圖片進行編碼等技術，生成新的壓縮後的全景視頻，本發明實施例在此對其不進行贅述。
具體的，在實際應用中，拼合得到的矩形圖片可以稱之為鑽石全景圖。在播放新的壓縮後的全景視頻過程中，可以按照鑽石全景圖的生成逆過程對鑽石全景圖進行反變換處理，得到球面全景圖，可以利用開放圖形庫(Open Graphics Library，簡稱OpenGL)著色器的像素反採樣技術或者開放圖形庫的三角面片紋理繪製技術，對球面全景圖進行渲染，由球面全景圖渲染出全景畫面。其中，開放圖形庫著色器的像素反採樣技術和開放圖形庫的三角面片紋 理繪製技術均為現有技術，本發明實施例在此對其不進行贅述。
具體的，在實際應用中，還可以利用OpenGL shader(開放圖形庫著色器)的像素反採樣方法，由全景視頻播放機的顯示視口對應的球面全景圖的紋理座標，計算出對應的鑽石全景圖的紋理座標，從而不必按照鑽石全景圖的生成逆過程對鑽石全景圖進行反變換處理，不必得到球面全景圖，直接可以由鑽石全景圖渲染出全景畫面。
可見，對全景視頻進行壓縮，伺服器將壓縮後的新的全景視頻發送給客戶端，沒有將不必要資料進行傳輸，進而減少了網路頻寬的浪費。
參見圖2，圖2為本發明實施例提供的另一種全景視頻的壓縮方法的流程示意圖。本發明圖2所示實施例在圖1所示實施例的基礎上，增加S106：對拼合得到的圖片的拼合邊緣進行預設處理。
具體的，在對拼合得到的全景圖渲染時，為了避免反採樣操作的子線性插值時，相鄰三角形邊界處的像素越界導致出現拼縫，可以對拼合得到的圖片的拼合邊緣進行處理。可以在每個三角形水平掃描線段的邊界點處，重複繪製1個或2個或3個像素，該像素與所屬三角形的相鄰像素具有相同顏色，從而形成重複像素的邊緣來隔離。具體的，在實際應用中，所形成的邊緣可以是雙邊界邊緣，也可以是單邊界邊緣。其中，雙邊界為具有兩種顏色的邊界，單邊界為具有單一顏色的邊界。
可見，對全景視頻進行壓縮，伺服器將壓縮後的新的全景視頻發送給客戶端，沒有將不必要資料進行傳輸，進而減少了網路頻寬的浪費，避免了邊界處的像素越界導致拼縫現象的出現。
參見圖3，圖3為本發明實施例提供的一種全景視頻的壓縮裝置的結構示意圖。與圖1所示的流程相對應，該壓縮裝置可以包括：第一生成模組201、壓縮模組202、劃分模組203、拼合模組204和第二生成模組205。
第一生成模組201，用於針對目標全景視頻生成該目標全景視頻的每一幀圖片。
壓縮模組202，用於分別針對每一幀圖片壓縮該幀圖片。
具體的，壓縮模組202具體可以用於：分別針對每一幀圖片，利用插值技術，將該幀圖片壓縮成菱形圖片，其中，該菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。
劃分模組203，用於對壓縮後的該幀圖片進行劃分。
拼合模組204，用於對劃分得到的圖片進行拼合。
具體的，劃分模組203具體可以用於：將該菱形圖片等分為兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；將兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片。拼合模組204具體可以用於：將兩個三角形圖片中未進行等分的三角形圖片、該兩 個直角三角形圖片拼合為一個矩形圖片。
具體的，劃分模組203具體可以用於：將該菱形圖片等分為兩個三角形圖片，其中，該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半。拼合模組204具體可以用於：將該兩個三角形圖片分別變換為與該兩個三角形圖片的高相同且面積相等的兩個直角三角形圖片；將該兩個直角三角形圖片拼合為一個矩形圖片。
第二生成模組205，用於根據拼合得到的所有圖片生成新的全景視頻。
可見，對全景視頻進行壓縮，伺服器將壓縮後的新的全景視頻發送給客戶端，沒有將不必要資料進行傳輸，進而減少了網路頻寬的浪費。
參見圖4，圖4為本發明實施例提供的另一種全景視頻的壓縮裝置的結構示意圖。本發明圖4所示實施例在圖3所示實施例的基礎上，增加處理模組206，用於對拼合得到的圖片的拼合邊緣進行預設處理。
可見，對全景視頻進行壓縮，伺服器將壓縮後的新的全景視頻發送給客戶端，沒有將不必要資料進行傳輸，進而減少了網路頻寬的浪費，避免了邊界處的像素越界導致拼縫現象的出現。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間 存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中的各個實施例均採用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
本領域普通技術人員可以理解實現上述方法實施方式中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，所述的程式可以儲存於電腦可讀取儲存介質中，這裡所稱得的儲存介質，如：ROM/RAM、磁碟、光碟等。
以上所述僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護範圍內。
S101~S105‧‧‧步驟
Claims (8)
- 一種全景視頻的壓縮方法，包括以下步驟：針對目標全景視頻生成該目標全景視頻的每一幀圖片；分別針對每一幀圖片壓縮該幀圖片；對壓縮後的該幀圖片進行劃分；對劃分得到的圖片進行拼合；以及根據拼合得到的所有圖片生成新的全景視頻；其中該分別針對每一幀圖片壓縮該幀圖片包括：分別針對每一幀圖片，利用插值技術，將該幀圖片壓縮成菱形圖片，其中該菱形圖片的兩條對角線長度分別為該幀圖片的寬度和高度。
- 如請求項1所記載之全景視頻的壓縮方法，其中該對壓縮後的該幀圖片進行劃分包括：將該菱形圖片等分為兩個三角形圖片，其中該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；將該兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片；該對劃分得到的圖片進行拼合包括：將該兩個三角形圖片中未進行等分的三角形圖片、該兩個直角三角形圖片拼合為一個矩形圖片。
- 如請求項1所記載之全景視頻的壓縮方法，其中該對壓縮後的該幀圖片進行劃分包括： 將該菱形圖片等分為兩個三角形圖片，其中該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；該對劃分得到的圖片進行拼合包括：將該兩個三角形圖片分別變換為與該兩個三角形圖片的高相同且面積相等的兩個直角三角形圖片；將該兩個直角三角形圖片拼合為一個矩形圖片。
- 如請求項1所記載之全景視頻的壓縮方法，其中在該根據拼合得到的所有圖片生成新的全景視頻之前，該全景視頻的壓縮方法還包括：對拼合得到的圖片的拼合邊緣進行預設處理。
- 一種全景視頻的壓縮裝置，包括：第一生成模組，用於針對目標全景視頻生成該目標全景視頻的每一幀圖片；壓縮模組，用於分別針對每一幀圖片壓縮該幀圖片；劃分模組，用於對壓縮後的該幀圖片進行劃分；拼合模組，用於對劃分得到的圖片進行拼合；以及第二生成模組，用於根據拼合得到的所有圖片生成新的全景視頻；其中該壓縮模組具體用於：分別針對每一幀圖片，利用插值技術，將該幀圖片壓縮成菱形圖片，其中該菱形圖片的兩條對角線長 度分別為該幀圖片的寬度和高度。
- 如請求項5所記載之全景視頻的壓縮裝置，其中該劃分模組具體用於：將該菱形圖片等分為兩個三角形圖片，其中該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；將該兩個三角形圖片中的一個三角形圖片等分為兩個直角三角形圖片；該拼合模組具體用於：將該兩個三角形圖片中未進行等分的三角形圖片、該兩個直角三角形圖片拼合為一個矩形圖片。
- 如請求項5所記載之全景視頻的壓縮裝置，其中該劃分模組具體用於：將該菱形圖片等分為兩個三角形圖片，其中該兩個三角形圖片的高均為該幀圖片的高度的一半或該兩個三角形圖片的高為該幀圖片的寬度的一半；該拼合模組具體用於：將該兩個三角形圖片分別變換為與該兩個三角形圖片的高相同且面積相等的兩個直角三角形圖片；將該兩個直角三角形圖片拼合為一個矩形圖片。
- 如請求項5所記載之全景視頻的壓縮裝置，其中在該第二生成模組之前，該全景視頻的壓縮裝置還包括：處理模組，用於對拼合得到的圖片的拼合邊緣進行預設處理。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ??201610765058.4 | 2016-08-30 | ||
| CN201610765058.4A CN106162140B (zh) | 2016-08-30 | 2016-08-30 | 一种全景视频的压缩方法及装置 |
| CN201610765058.4 | 2016-08-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201822534A TW201822534A (zh) | 2018-06-16 |
| TWI683569B true TWI683569B (zh) | 2020-01-21 |
Family
ID=57343946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106128998A TWI683569B (zh) | 2016-08-30 | 2017-08-25 | 全景視頻的壓縮方法及裝置 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US10834399B2 (zh) |
| EP (1) | EP3509300A1 (zh) |
| JP (1) | JP6735908B2 (zh) |
| KR (1) | KR102287773B1 (zh) |
| CN (1) | CN106162140B (zh) |
| AU (1) | AU2017317839B2 (zh) |
| CA (1) | CA3030258C (zh) |
| MY (1) | MY193893A (zh) |
| SG (1) | SG11201900337UA (zh) |
| TW (1) | TWI683569B (zh) |
| WO (1) | WO2018040860A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106162140B (zh) * | 2016-08-30 | 2019-03-15 | 北京奇艺世纪科技有限公司 | 一种全景视频的压缩方法及装置 |
| KR20180029315A (ko) * | 2016-09-12 | 2018-03-21 | 삼성전자주식회사 | 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치 |
| CN107871304B (zh) * | 2017-11-29 | 2020-05-12 | 中国科学技术大学 | 基于球面环切和仿射变换的全景视频帧矩形映射方法 |
| CN109792490B (zh) * | 2018-06-07 | 2021-01-15 | 香港应用科技研究院有限公司 | 用于流图像压缩的球面视频的改进的伪圆柱映射 |
| US10735765B2 (en) | 2018-06-07 | 2020-08-04 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images |
| EP3686833A1 (en) * | 2019-01-24 | 2020-07-29 | Koninklijke Philips N.V. | Generating and processing an image property pixel structure |
| CN115134604A (zh) * | 2021-03-26 | 2022-09-30 | 影石创新科技股份有限公司 | 全景视频压缩方法、装置、计算机设备和存储介质 |
| CN113362438A (zh) * | 2021-06-30 | 2021-09-07 | 北京百度网讯科技有限公司 | 全景渲染的方法、装置、电子设备、介质及程序 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6331869B1 (en) * | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6934420B1 (en) * | 1999-12-22 | 2005-08-23 | Trident Systems Incorporated | Wave image compression |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5005080B2 (ja) * | 2010-09-06 | 2012-08-22 | キヤノン株式会社 | パノラマ画像の生成方法 |
| KR101242550B1 (ko) * | 2011-05-30 | 2013-03-20 | (주)포스트미디어 | 동영상 파노라마 기반의 스토리텔링형 지역 정보 제공방법 및 시스템 |
| CN105898339A (zh) * | 2016-04-12 | 2016-08-24 | 乐视控股（北京）有限公司 | 一种全景视频转码的方法及装置 |
| CN105898344A (zh) * | 2016-04-12 | 2016-08-24 | 乐视控股（北京）有限公司 | 一种全景视频的播放方法和装置 |
| CN105872546B (zh) * | 2016-06-13 | 2019-05-28 | 上海杰图软件技术有限公司 | 一种实现全景图像压缩存储的方法和系统 |
| CN106162140B (zh) * | 2016-08-30 | 2019-03-15 | 北京奇艺世纪科技有限公司 | 一种全景视频的压缩方法及装置 |
-
2016
- 2016-08-30 CN CN201610765058.4A patent/CN106162140B/zh active Active
-
2017
- 2017-08-08 CA CA3030258A patent/CA3030258C/en active Active
- 2017-08-08 EP EP17845162.1A patent/EP3509300A1/en not_active Ceased
- 2017-08-08 KR KR1020197004697A patent/KR102287773B1/ko active IP Right Grant
- 2017-08-08 JP JP2019510298A patent/JP6735908B2/ja active Active
- 2017-08-08 SG SG11201900337UA patent/SG11201900337UA/en unknown
- 2017-08-08 WO PCT/CN2017/096432 patent/WO2018040860A1/zh unknown
- 2017-08-08 MY MYPI2019000153A patent/MY193893A/en unknown
- 2017-08-08 AU AU2017317839A patent/AU2017317839B2/en active Active
- 2017-08-08 US US16/320,409 patent/US10834399B2/en active Active
- 2017-08-25 TW TW106128998A patent/TWI683569B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6331869B1 (en) * | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6934420B1 (en) * | 1999-12-22 | 2005-08-23 | Trident Systems Incorporated | Wave image compression |
Also Published As
| Publication number | Publication date |
|---|---|
| MY193893A (en) | 2022-10-31 |
| WO2018040860A1 (zh) | 2018-03-08 |
| KR102287773B1 (ko) | 2021-08-09 |
| CN106162140B (zh) | 2019-03-15 |
| JP2019528627A (ja) | 2019-10-10 |
| CN106162140A (zh) | 2016-11-23 |
| EP3509300A4 (en) | 2019-07-10 |
| AU2017317839B2 (en) | 2019-10-10 |
| US20190268595A1 (en) | 2019-08-29 |
| AU2017317839A1 (en) | 2019-01-31 |
| TW201822534A (zh) | 2018-06-16 |
| CA3030258A1 (en) | 2018-03-08 |
| US10834399B2 (en) | 2020-11-10 |
| KR20190031283A (ko) | 2019-03-25 |
| JP6735908B2 (ja) | 2020-08-05 |
| CA3030258C (en) | 2022-09-13 |
| SG11201900337UA (en) | 2019-03-28 |
| EP3509300A1 (en) | 2019-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI683569B (zh) | 全景視頻的壓縮方法及裝置 | |
| US11257283B2 (en) | Image reconstruction method, system, device and computer-readable storage medium | |
| JP6515985B2 (ja) | 三次元画像結合方法及び三次元画像結合装置 | |
| TWI451358B (zh) | 香蕉編碼解碼器 | |
| JP6927980B2 (ja) | ３次元画像のための三角形メッシュの生成 | |
| TWI749483B (zh) | 用信號通知點雲多媒體資料軌道的空間關係的方法和裝置 | |
| JP5654138B2 (ja) | ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ | |
| CN107203965B (zh) | 一种基于多通道图像融合的全景图像拼接方法 | |
| CN105678687A (zh) | 基于图像内容的立体图像拼接方法 | |
| CN105069827A (zh) | 一种采用三维模型处理视频转场的方法 | |
| TWI681662B (zh) | 用於減少基於投影的圖框中的偽影的方法和裝置 | |
| CN108881873B (zh) | 高分辨率图像融合的方法、装置和系统 | |
| TW201803358A (zh) | 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 | |
| TW201824176A (zh) | 投影圖構建方法及裝置 | |
| JP2006309802A (ja) | 画像処理装置及び画像処理方法 | |
| CN102752515B (zh) | 一种图形渲染中可编程阶段火焰效果的实现方法 | |
| CN110910485B (zh) | 一种沉浸式cave影像制作方法 | |
| WO2013152684A1 (zh) | 一种实现三维饼状图动态呈现的方法 | |
| KR101486959B1 (ko) | 몰입감을 향상시키는 노래방 시스템 | |
| CN111179425A (zh) | 沉浸式cave影像制作方法 | |
| Shete et al. | Real-time panorama composition for video surveillance using GPU | |
| JP2022513487A (ja) | 没入型ビデオビットストリーム処理 | |
| TWI743477B (zh) | 圖像處理裝置及圖像處理的方法 | |
| CN109792490B (zh) | 用于流图像压缩的球面视频的改进的伪圆柱映射 | |
| Gadgil et al. | Panosynthvr: View synthesis from a single input panorama with multi-cylinder images |