JP6766203B2 - ビデオ最適化処理システム及び方法 - Google Patents
ビデオ最適化処理システム及び方法 Download PDFInfo
- Publication number
- JP6766203B2 JP6766203B2 JP2019052890A JP2019052890A JP6766203B2 JP 6766203 B2 JP6766203 B2 JP 6766203B2 JP 2019052890 A JP2019052890 A JP 2019052890A JP 2019052890 A JP2019052890 A JP 2019052890A JP 6766203 B2 JP6766203 B2 JP 6766203B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- optimization processing
- enhanced
- server
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims description 36
- 238000012545 processing Methods 0.000 title claims description 23
- 238000000034 method Methods 0.000 title claims description 20
- 238000003702 image correction Methods 0.000 claims description 23
- 238000003672 processing method Methods 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 8
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 238000010801 machine learning Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
Frame1:AL1(L1)+AL2(L3)+AL3(L2)+AL4(L2)+AL5(L3)
Frame2:AL1(L1)+AL3(L2)+AL4(L1)+AL5(L3)
Frame3:AL3(L2)+AL2(L1)+AL4(L3)+AL5(L3)
Frame4:AL2(L3)
smooth(high−pass filter(a−Eb))…式1
100 ビデオ最適化処理システム
110 サーバ
120 ユーザー装置
150 ネットワーク
200 ビデオ最適化処理方法
S201〜S202 工程
Claims (12)
- 第1のビデオを圧縮して第2のビデオ及び第3のビデオを生成し、更に、前記第3のビデオと前記第2のビデオとを比較して差分情報を生成し、前記差分情報に基づいて少なくとも1つの画像強化アルゴリズム及び少なくとも1つの強化パラメータを算出するためのサーバと、
ビデオ再生ソフトウェアを実行し、前記サーバから前記第3のビデオ、前記少なくとも1つの画像強化アルゴリズムと前記少なくとも1つの強化パラメータを受信することに用いられ、前記ビデオ再生ソフトウェアが前記少なくとも1つの画像強化アルゴリズムと前記少なくとも1つの強化パラメータに基づいて前記第3のビデオを復元して第4のビデオを生成し、更に、前記第4のビデオを再生するユーザー装置と、
を含むビデオ最適化処理システム。 - 前記サーバは、前記少なくとも1つの画像強化アルゴリズムと前記少なくとも1つの強化パラメータに基づいて前記第3のビデオを強化し、強化された前記第3のビデオに対して平滑化処理を行って、強化された前記第3のビデオを補償するために用いられる画像補正情報を生成することに更に用いられる請求項1に記載のビデオ最適化処理システム。
- 前記ビデオ再生ソフトウェアは、更に、前記画像補正情報、前記少なくとも1つの画像強化アルゴリズム及び前記少なくとも1つの強化パラメータに基づいて前記第3のビデオを復元して前記第4のビデオを生成する請求項2に記載のビデオ最適化処理システム。
- 前記サーバは、強化された前記第3のビデオに対してハイパスフィルタ処理を行った後で、強化された前記第3のビデオに対して平滑化処理を行って前記画像補正情報を生成する請求項3に記載のビデオ最適化処理システム。
- 前記第3のビデオの解像度は、前記第2のビデオの解像度よりも低い請求項1〜4の何れか1項に記載のビデオ最適化処理システム。
- 前記第2のビデオの解像度は、前記第4のビデオの解像度と同じである請求項1〜5の何れか1項に記載のビデオ最適化処理システム。
- サーバによって第1のビデオを圧縮して第2のビデオ及び第3のビデオを生成し、更に、前記第3のビデオと前記第2のビデオとを比較して差分情報を生成し、前記差分情報に基づいて少なくとも1つの画像強化アルゴリズム及び少なくとも1つの強化パラメータを算出する工程と、
ユーザー装置によってビデオ再生ソフトウェアを実行し、前記サーバから前記第3のビデオ、前記少なくとも1つの画像強化アルゴリズムと前記少なくとも1つの強化パラメータを受信し、前記ビデオ再生ソフトウェアが前記少なくとも1つの画像強化アルゴリズムと前記少なくとも1つの強化パラメータに基づいて前記第3のビデオを復元して第4のビデオを生成し、更に、前記第4のビデオを再生する工程と、
を備えるビデオ最適化処理方法。 - 前記サーバによって前記少なくとも1つの画像強化アルゴリズムと前記少なくとも1つの強化パラメータに基づいて前記第3のビデオを強化し、強化された前記第3のビデオに対して平滑化処理を行って、強化された前記第3のビデオを補償するために用いられる画像補正情報を生成する請求項7に記載のビデオ最適化処理方法。
- 前記ビデオ再生ソフトウェアは、更に、前記画像補正情報、前記少なくとも1つの画像強化アルゴリズム及び前記少なくとも1つの強化パラメータに基づいて前記第3のビデオを復元して前記第4のビデオを生成する請求項8に記載のビデオ最適化処理方法。
- 前記サーバによって、強化された前記第3のビデオに対してハイパスフィルタ処理を行った後で、強化された前記第3のビデオに対して平滑化処理を行って前記画像補正情報を生成する請求項9に記載のビデオ最適化処理方法。
- 前記第3のビデオの解像度は、前記第2のビデオの解像度よりも低い請求項7〜10の何れか1項に記載のビデオ最適化処理方法。
- 前記第2のビデオの解像度は、前記第4のビデオの解像度と同じである請求項7〜11の何れか1項に記載のビデオ最適化処理方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107111366 | 2018-03-30 | ||
TW107111366 | 2018-03-30 | ||
TW107144846 | 2018-12-12 | ||
TW107144846A TWI701946B (zh) | 2018-03-30 | 2018-12-12 | 影片優化處理系統及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019186917A JP2019186917A (ja) | 2019-10-24 |
JP6766203B2 true JP6766203B2 (ja) | 2020-10-07 |
Family
ID=68056430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019052890A Active JP6766203B2 (ja) | 2018-03-30 | 2019-03-20 | ビデオ最適化処理システム及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190304074A1 (ja) |
JP (1) | JP6766203B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215767B (zh) * | 2020-09-28 | 2023-03-14 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5414469A (en) * | 1991-10-31 | 1995-05-09 | International Business Machines Corporation | Motion video compression system with multiresolution features |
JP6614935B2 (ja) * | 2015-11-16 | 2019-12-04 | 日本放送協会 | 映像符号化装置およびプログラム |
JP6689656B2 (ja) * | 2016-04-18 | 2020-04-28 | ルネサスエレクトロニクス株式会社 | 画像処理システム、画像処理方法及び画像送信装置 |
-
2019
- 2019-03-20 JP JP2019052890A patent/JP6766203B2/ja active Active
- 2019-03-29 US US16/369,527 patent/US20190304074A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20190304074A1 (en) | 2019-10-03 |
JP2019186917A (ja) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755173B2 (en) | Video deblurring using neural networks | |
AU2011216119B2 (en) | Generic platform video image stabilization | |
US9824426B2 (en) | Reduced latency video stabilization | |
US9460493B2 (en) | Automatic video quality enhancement with temporal smoothing and user override | |
US20170103577A1 (en) | Method and apparatus for optimizing video streaming for virtual reality | |
JP2010041064A (ja) | 画像処理装置、画像処理方法、プログラム | |
CN104995908A (zh) | 图像处理装置、图像处理方法、图像处理程序及记录介质 | |
JP2009021868A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP2012513719A (ja) | 画像スケーリング曲線の生成 | |
JP2013500667A (ja) | 分散イメージリターゲティング | |
CN110620924A (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
CN108337246A (zh) | 防止重放延迟的媒体重放设备和媒体服务设备 | |
JP2022517911A (ja) | 重み付け予測に適応された双方向オプティカルフローによる映像符号化及び復号の方法及び装置 | |
JP2009534900A (ja) | 補間画像生成方法及びシステム | |
JP6766203B2 (ja) | ビデオ最適化処理システム及び方法 | |
US20140205020A1 (en) | Real-time transcoding method and device | |
US8427583B2 (en) | Automatic parameter control for spatial-temporal filter | |
US20190037215A1 (en) | Systems and methods for quantization of video content | |
CN113012073A (zh) | 视频质量提升模型的训练方法和装置 | |
WO2021011804A1 (en) | Video frame pulldown based on frame analysis | |
US20210065341A1 (en) | Enhancing image data with appearance controls | |
TWI701946B (zh) | 影片優化處理系統及方法 | |
US20140334715A1 (en) | Image processing apparatus and image processing method | |
WO2017162010A1 (zh) | 一种实现字幕处理的方法及装置 | |
Croci et al. | Real-time temporally coherent local HDR tone mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6766203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |