TWI701946B - 影片優化處理系統及方法 - Google Patents

影片優化處理系統及方法 Download PDF

Info

Publication number
TWI701946B
TWI701946B TW107144846A TW107144846A TWI701946B TW I701946 B TWI701946 B TW I701946B TW 107144846 A TW107144846 A TW 107144846A TW 107144846 A TW107144846 A TW 107144846A TW I701946 B TWI701946 B TW I701946B
Authority
TW
Taiwan
Prior art keywords
video
generate
server
image
optimization processing
Prior art date
Application number
TW107144846A
Other languages
English (en)
Other versions
TW201943283A (zh
Inventor
官順暉
蔡豐旭
Original Assignee
香港商科科串流股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商科科串流股份有限公司 filed Critical 香港商科科串流股份有限公司
Priority to JP2019052890A priority Critical patent/JP6766203B2/ja
Priority to US16/369,527 priority patent/US20190304074A1/en
Publication of TW201943283A publication Critical patent/TW201943283A/zh
Application granted granted Critical
Publication of TWI701946B publication Critical patent/TWI701946B/zh

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提出一種影片優化處理系統，其包含伺服器與用戶裝置。伺服器壓縮第一影片以產生第二影片及第三影片，進而比對第三影片與第二影片之間的差異以產生差異資訊，並依據差異資訊以計算出至少一影像強化演算法及至少一強化參數。用戶裝置執行影片播放軟體，並從伺服器接收第三影片、至少一影像強化演算法與至少一強化參數，影片播放軟體依據至少一影像強化演算法與至少一強化參數還原第三影片以產生第四影片，從而播放第四影片。

Description

影片優化處理系統及方法
本發明是有關於一種裝置與方法，且特別是有關於一種影片優化處理系統及方法。
串流媒體(Streaming media)是指將一連串的媒體資料壓縮後，經過網路分段傳送資料，在網路上即時傳輸影音以供觀賞的一種技術與過程，此技術使得資料封包得以像流水一樣傳送。
一般而言，由於原始的媒體資料龐大，因此需先行壓縮後再透過網路傳輸。然而，壓縮的倍數愈高，媒體資料的破壞也愈嚴重，故還原後的影片播放效果會變差。
本發明提出一種影片優化處理系統及方法，改善先前技術的問題。
在本發明的一實施例中，本發明所提出的影片優化處理系統包含伺服器與用戶裝置。伺服器壓縮第一影片以產生第二影片以及第三影片，進而比對第三影片與第二影 片之間的差異以產生差異資訊，並依據差異資訊以計算出至少一影像強化演算法及至少一強化參數。用戶裝置執行影片播放軟體，從伺服器接收第三影片、至少一影像強化演算法與至少一強化參數，影片播放軟體依據至少一影像強化演算法與至少一強化參數還原第三影片以產生第四影片，從而播放第四影片。
在本發明的一實施例中，伺服器更用以根據至少一影像強化演算法與至少一強化參數以強化第三影片，並對經強化之第三影片進行平滑化處理以產生一影像補償資訊。
在本發明的一實施例中，影片播放軟體更依據影像補償資訊、至少一影像強化演算法及至少一強化參數還原第三影片以產生第四影片。
在本發明的一實施例中，伺服器對經強化之第三影片進行高通濾除處理後，對經強化之第三影片進行平滑化處理以產生影像補償資訊。
在本發明的一實施例中，第三影片的解析度低於第二影片的解析度。
在本發明的一實施例中，第二影片的解析度與第四影片的解析度相同。
在本發明的一實施例中，本發明所提出的影片優化處理方法包含以下步驟：透過伺服器壓縮第一影片以產生第二影片以及第三影片，進而比對第三影片與第二影片之間的差異以產生差異資訊，並依據差異資訊以計算出至少一影 像強化演算法及至少一強化參數；透過用戶裝置執行影片播放軟體，並從伺服器接收第三影片、至少一影像強化演算法與至少一強化參數，影片播放軟體依據至少一影像強化演算法與至少一強化參數還原第三影片以產生第四影片，從而播放第四影片。
在本發明的一實施例中，透過伺服器以根據至少一影像強化演算法與至少一強化參數而強化第三影片，並對經強化之第三影片進行平滑化處理以產生影像補償資訊。
在本發明的一實施例中，影片播放軟體更依據影像補償資訊、至少一影像強化演算法與及至少一強化參數還原第三影片以產生第四影片。
在本發明的一實施例中，透過伺服器對經強化之第三影片進行高通濾除處理後，對經強化之第三影片進行平滑化處理以產生該影像。
在本發明的一實施例中，第三影片的解析度低於第二影片的解析度。
在本發明的一實施例中，第二影片的解析度與第四影片的解析度相同。
綜上所述，本發明之技術方案與現有技術相比具有明顯的優點和有益效果。藉由本發明的影片優化處理，允許高壓縮的倍數的影片傳輸，以節省頻寬，而且還原的影片經補償後，可以逼近原始影片的畫質。
以下將以實施方式對上述之說明作詳細的描述，並對本發明之技術方案提供更進一步的解釋。
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：
100‧‧‧影片優化處理系統
110‧‧‧伺服器
120‧‧‧用戶裝置
150‧‧‧網路
200‧‧‧影片優化處理方法
S201~S202‧‧‧步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1A圖是依照本發明一實施例之一種影片優化處理系統的方塊圖；第1B圖是依照本發明一實施例之一種影片優化處理系統的操作示意圖；以及第2圖是依照本發明一實施例之一種影片優化處理方法的流程圖。
為了使本發明之敘述更加詳盡與完備，可參照所附之圖式及以下所述各種實施例，圖式中相同之號碼代表相同或相似之元件。另一方面，眾所週知的元件與步驟並未描述於實施例中，以避免對本發明造成不必要的限制。
於實施方式與申請專利範圍中，涉及『電性連接』之描述，其可泛指一元件透過其他元件而間接電氣耦合至另一元件，或是一元件無須透過其他元件而直接電氣連結至另一元件。
於實施方式與申請專利範圍中，涉及『連線』之描述，其可泛指一元件透過其他元件而間接與另一元件進行有線與/或無線通訊，或是一元件無須透過其他元件而實體連接至另一元件。
於實施方式與申請專利範圍中，除非內文中對於 冠詞有所特別限定，否則『一』與『該』可泛指單一個或複數個。
本文中所使用之『約』、『大約』或『大致』係用以修飾任何可些微變化的數量，但這種些微變化並不會改變其本質。於實施方式中若無特別說明，則代表以『約』、『大約』或『大致』所修飾之數值的誤差範圍一般是容許在百分之二十以內，較佳地是於百分之十以內，而更佳地則是於百分五之以內。
第1A圖是依照本發明一實施例之一種影片優化處理系統100的方塊圖。如第1A圖所示，影片優化處理系統100包含伺服器110與用戶裝置120。在架構上，伺服器110透過網路150(如：網際網路)與用戶裝置120(如：行動裝置、個人電腦…等)進行影音串流傳輸。藉此，用戶裝置120可以從伺服器110接收串流影音。
為使影片優化處理系統100之操作易於理解，請一併參閱第1B圖，其係依照本發明一實施例之一種影片優化處理系統100的操作示意圖。為了節省傳輸頻寬，伺服器110壓縮第一影片(如：原始影音資料)以產生第二影片以及第三影片。具體而言，伺服器110依據不同解析度與碼率來壓縮第一影片以產生第二、第三影片；舉例來說，第三影片的解析度(如：720p)低於第二影片的解析度(如：1080p)。
另一方面，為了協助用戶裝置120針對每部影片做最適切的補償，伺服器110進而比對第三影片與第二影片之間的差異以產生差異資訊，並依據差異資訊以計算出至少一 影像強化演算法及至少一強化參數。
在一實施例中，伺服器110依據差異資訊經一機器學習模式而得到至少一影像強化演算法及至少一強化參數。舉例來說，伺服器110將第三影片與第二影片進行比較，進而透過機器學習模式而學習出至少一影像強化演算法及至少一強化參數。例如可採用至少一演算法，涵蓋採用一種或多種演算法(在多種演算法的情況下，後文以AL1、AL2...AL5來表示不同之演算法)，透過機器學習的方式，而得到將第三影片強化至近似於第二影片的影像強化演算法及強化參數，以上演算法各有自身的強度，並且可藉由不同的組合以產生不同的強化效果，舉例如下：Frame1：AL1(L1)+AL2(L3)+AL3(L2)+AL4(L2)+AL5(L3) Frame2：AL1(L1)+AL3(L2)+AL4(L1)+AL5(L3) Frame3：AL3(L2)+AL2(L1)+AL4(L3)+AL5(L3) Frame4：AL2(L3)
如上所示，影片Frame可透過機器學習的方式而得到上述演算法之組合，此外，L1、L2、L3...等表示強度，例如L1為第一強度、L2為第二強度，另，AL1(L1)表示一個強化參數、AL2(L3)表示另一強化參數...以此類推，如上所示，影片Frame1則包含五個強化參數。在一實施例中，強度之順序可為L1最弱、L2次弱，亦即數字越大 者，強度越強，或者強度之順序可為L1最強、L2次強，亦即數字越小者，強度越強，端視實際需求而定。在一實施例中，至少一影像強化演算法可採用去環形雜訊(Deringing)演算法或去區塊(Deblocking)演算法，然本案不以此為限，亦可依據實際需求採用其餘適當之演算法。
若使用者欲觀看串流影音，可透過用戶裝置120執行影片播放軟體，從伺服器110接收第三影片、至少一影像強化演算法與至少一強化參數，由於第三影片是壓縮過的較小資料(例如720p)且至少一影像強化演算法與至少一強化參數僅包含了數值資料，因此可以增加傳輸效率。
影片播放軟體依據至少一影像強化演算法與至少一強化參數還原第三影片以產生第四影片，從而播放第四影片。第四影片的解析度與第二影片的解析度相同，且第二影片可基於上述機器學習方式所得到之一種或多種影像強化演算法與一種或多種強化參數來對第三影片強化而得，非單純以軟體模擬補償，因此，採用相同之影像強化演算法與強化參數對第三影片進行還原所得的第四影片的畫質，可以大致逼近第二影片的畫質。
再者，伺服器110更用以根據至少一影像強化演算法與至少一強化參數以強化第三影片，並對經強化之第三影片進行平滑化處理以產生影像補償資訊。舉例來說，由於本案已知最終須強化為第二影片(如：1080p)，因此，可由上述機器學習方式，找出一種或多種影像強化演算法與 一種或多種強化參數，以使經強化之第三影片趨近於第二影片。同時，為使經強化之第三影片與第二影片更加一致，可對第三影片進行平滑化處理以取得影像補償資訊，進而補上經強化之第三影片所損失的部分，使兩者更趨一致。
據此，若用戶裝置120由伺服器110接收上述影像補償資訊，並由其影片播放軟體同時依據影像補償資訊、至少一影像強化演算法與至少一強化參數還原第三影片以產生第四影片，則可使第四影片更趨近於第二影片，以進一步強化影音播放效果。
另外，於進行上述平滑化處理前，本案之伺服器110可進一步對第三影片進行高通濾除處理，將影片中細節多的部分留下，濾除細節少的部分，隨後再經由上述平滑化處理，即可得到更詳細之影像補償資訊。舉例來說，上述影像補償資訊可由以下式子取得：smooth(high-pass filter(a-Eb))...式1
如式1所式，a表示第二影像，Eb表示經強化之第三影片，於得到兩者之差異資訊後，對其進行高通濾除處理(high-pass filter)，然後，再進行平滑化處理(smooth)，以取得影像補償資訊。同樣地，用戶裝置120由伺服器110接收上述影像補償資訊，並由其影片播放軟體同時依據影像補償資訊、至少一影像強化演算法及至少一強化參數還原第三影片以產生第四影片，則可使第四影片越加趨近於第二影片，以達進一步強化影音播放效果。
為了對上述影片優化處理系統的運作方法做更 進一步的闡述，請同時參照第1A、1B、2圖，第2圖是依照本發明一實施例之一種影片優化處理方法200的流程圖。如第2圖所示，影片優化處理方法200包含步驟S201~S202(應瞭解到，在本實施例中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行)。
於步驟S201，透過伺服器110壓縮第一影片以產生第二影片以及第三影片，進而比對第三影片與第二影片之間的差異以產生差異資訊，並依據差異資訊以計算出至少一影像強化演算法及至少一強化參數。
於步驟S202，透過用戶裝置120執行影片播放軟體，並從伺服器110接收第三影片、至少一影像強化演算法與至少一強化參數，影片播放軟體依據至少一影像強化演算法與至少一強化參數還原第三影片以產生第四影片，從而播放第四影片。
在影片優化處理方法200中，透過伺服器110以根據至少一影像強化演算法與至少一強化參數而強化第三影片，並對經強化之第三影片進行平滑化處理以產生影像補償資訊。
在影片優化處理方法200中，影片播放軟體更依據影像補償資訊、至少一影像強化演算法及至少一強化參數還原第三影片以產生第四影片。
在影片優化處理方法200中，透過伺服器110對經強化之第三影片進行高通濾除處理後，對經強化之第三 影片進行平滑化處理以產生影像補償資訊。
在影片優化處理方法200中，第三影片的解析度低於第二影片的解析度。
在影片優化處理方法200中，第二影片的解析度與第四影片的解析度相同。
綜上所述，本發明之技術方案與現有技術相比具有明顯的優點和有益效果。由本發明的影片優化處理，允許高壓縮的倍數的影片傳輸，以節省頻寬，而且還原的影片經補償後，可以逼近原始影片的畫質。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧影片優化處理系統
110‧‧‧伺服器
120‧‧‧用戶裝置
150‧‧‧網路

Claims (12)

  1. 一種影片優化處理系統，包含：一伺服器，用以壓縮一第一影片以產生一第二影片以及一第三影片，進而比對該第三影片與該第二影片之間的差異以產生一差異資訊，並依據該差異資訊以計算出至少一影像強化演算法及至少一強化參數；一用戶裝置，用以執行一影片播放軟體，並從該伺服器接收該第三影片、該至少一影像強化演算法與該至少一強化參數，其中該影片播放軟體依據該至少一影像強化演算法與該至少一強化參數還原該第三影片以產生一第四影片，從而播放該第四影片。
  2. 如請求項1所述之影片優化處理系統，其中該伺服器更用以根據該至少一影像強化演算法與該至少一強化參數以強化該第三影片，並對經強化之該第三影片進行平滑化處理以產生一影像補償資訊。
  3. 如請求項2所述之影片優化處理系統，其中該影片播放軟體更依據該影像補償資訊、該至少一影像強化演算法及該至少一強化參數還原該第三影片以產生該第四影片。
  4. 如請求項3所述之影片優化處理系統，其中該伺服器對經強化之該第三影片進行高通濾除處理後， 對經強化之該第三影片進行平滑化處理以產生該影像補償資訊。
  5. 如請求項1至4任一項所述之影片優化處理系統，其中該第三影片的解析度低於該第二影片的解析度。
  6. 如請求項1至4任一項所述之影片優化處理系統，其中該第二影片的解析度與該第四影片的解析度相同。
  7. 一種影片優化處理方法，包含：透過一伺服器壓縮一第一影片以產生一第二影片以及一第三影片，進而比對該第三影片與該第二影片之間的差異以產生一差異資訊，並依據該差異資訊以計算出至少一影像強化演算法及至少一強化參數；透過一用戶裝置執行一影片播放軟體，並從該伺服器接收該第三影片、該至少一影像強化演算法與該至少一強化參數，該影片播放軟體依據該至少一影像強化演算法與該至少一強化參數還原該第三影片以產生該第四影片，從而播放該第四影片。
  8. 如請求項7所述之影片優化處理方法，其中透過該伺服器以根據該至少一影像強化演算法與該至少一強化參數而強化該第三影片，並對經強化之該第三影片 進行平滑化處理以產生一影像補償資訊。
  9. 如請求項8所述之影片優化處理方法，其中該影片播放軟體更依據該影像補償資訊、該至少一影像強化演算法及該至少一強化參數還原該第三影片以產生該第四影片。
  10. 如請求項9所述之影片優化處理方法，其中透過該伺服器對經強化之該第三影片進行高通濾除處理後，對經強化之該第三影片進行平滑化處理以產生該影像補償資訊。
  11. 如請求項7至10任一項所述之影片優化處理方法，其中該第三影片的解析度低於該第二影片的解析度。
  12. 如請求項7至10任一項所述之影片優化處理方法，其中該第二影片的解析度與該第四影片的解析度相同。
TW107144846A 2018-03-30 2018-12-12 影片優化處理系統及方法 TWI701946B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019052890A JP6766203B2 (ja) 2018-03-30 2019-03-20 ビデオ最適化処理システム及び方法
US16/369,527 US20190304074A1 (en) 2018-03-30 2019-03-29 Video optimization processing system and method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN107111366 2018-03-30
TW107111366 2018-03-30
TW107111366 2018-03-30

Publications (2)

Publication Number Publication Date
TW201943283A TW201943283A (zh) 2019-11-01
TWI701946B true TWI701946B (zh) 2020-08-11

Family

ID=69184797

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144846A TWI701946B (zh) 2018-03-30 2018-12-12 影片優化處理系統及方法

Country Status (1)

Country Link
TW (1) TWI701946B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724713B2 (en) * 2009-02-27 2014-05-13 Vixs Systems, Inc Deblocking filter with mode control and methods for use therewith
US20150181250A1 (en) * 2002-01-31 2015-06-25 Samsung Electronics Co., Ltd. Filtering method for removing block artifacts and/or ringing noise and apparatus therefor
TWI533692B (zh) * 2011-06-06 2016-05-11 蘋果公司 使用影像穩定校正捲動快門
JP2017092868A (ja) * 2015-11-16 2017-05-25 日本放送協会 映像符号化装置およびプログラム
JP2017195429A (ja) * 2016-04-18 2017-10-26 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
TWI637313B (zh) * 2016-03-16 2018-10-01 美光科技公司 使用經壓縮與經解壓縮資料操作的裝置與方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150181250A1 (en) * 2002-01-31 2015-06-25 Samsung Electronics Co., Ltd. Filtering method for removing block artifacts and/or ringing noise and apparatus therefor
US8724713B2 (en) * 2009-02-27 2014-05-13 Vixs Systems, Inc Deblocking filter with mode control and methods for use therewith
TWI533692B (zh) * 2011-06-06 2016-05-11 蘋果公司 使用影像穩定校正捲動快門
JP2017092868A (ja) * 2015-11-16 2017-05-25 日本放送協会 映像符号化装置およびプログラム
TWI637313B (zh) * 2016-03-16 2018-10-01 美光科技公司 使用經壓縮與經解壓縮資料操作的裝置與方法
JP2017195429A (ja) * 2016-04-18 2017-10-26 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置

Also Published As

Publication number Publication date
TW201943283A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
US20210144411A1 (en) Systems and methods for reducing blocking artifacts
TWI826321B (zh) 提高影像品質的方法
JP6717385B2 (ja) 量子化パラメータに基づくビデオ処理のためのシステム及び方法
US9406132B2 (en) Vision-based quality metric for three dimensional video
US9460493B2 (en) Automatic video quality enhancement with temporal smoothing and user override
WO2020238000A1 (zh) 一种音频处理方法、装置、终端及计算机可读存储介质
EP3828811A1 (en) Electronic device, control method thereof, and system
US11928793B2 (en) Video quality assessment method and apparatus
US20130156332A1 (en) System and method for depth-guided image filtering in a video conference environment
US20220256140A1 (en) Video encoding method and apparatus, computer device, and storage medium
CN104717509B (zh) 一种视频解码方法及装置
CN109803146B (zh) 视频的二次压缩方法、装置、介质和设备
US20180182072A1 (en) Hybride denoising of images and videos based on interest metrics
KR20040087573A (ko) 이미지 신호 블록오류 보정 장치 및 방법
Maleky et al. Noise2noiseflow: Realistic camera noise modeling without clean images
US20130235931A1 (en) Masking video artifacts with comfort noise
US8934026B2 (en) System and method for video coding in a dynamic environment
TWI701946B (zh) 影片優化處理系統及方法
CN101511030A (zh) 一种视频数据传输缺失的处理方法及系统
WO2016202285A1 (zh) 一种即时视频的传输方法和电子设备
JP6766203B2 (ja) ビデオ最適化処理システム及び方法
WO2013082750A1 (zh) 实时转码方法及设备
Kato et al. Split rendering of the transparent channel for cloud ar
WO2023142715A1 (zh) 视频编码方法、实时通信方法、装置、设备及存储介质
WO2017162010A1 (zh) 一种实现字幕处理的方法及装置