JP7448178B2 - 画質を向上させる方法 - Google Patents
画質を向上させる方法 Download PDFInfo
- Publication number
- JP7448178B2 JP7448178B2 JP2019122222A JP2019122222A JP7448178B2 JP 7448178 B2 JP7448178 B2 JP 7448178B2 JP 2019122222 A JP2019122222 A JP 2019122222A JP 2019122222 A JP2019122222 A JP 2019122222A JP 7448178 B2 JP7448178 B2 JP 7448178B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- image
- images
- decoded
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 600
- 238000000034 method Methods 0.000 claims description 164
- 238000013528 artificial neural network Methods 0.000 claims description 160
- 230000014509 gene expression Effects 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 74
- 230000005236 sound signal Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000593 degrading effect Effects 0.000 claims 3
- 238000013473 artificial intelligence Methods 0.000 description 69
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/407—Data transfer via internet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Paper (AREA)
- Disintegrating Or Milling (AREA)
- Laminated Bodies (AREA)
Description
ヒストグラム等化(Histogram equalization;HE)は、簡単さと効率性を有するので、画像コントラストを改善するための最もよく用いられる方法の1つである。しかしながら、HEは、過度のコントラスト強化及び特徴喪失問題を引き起こし、不自然な外観及び処理された画像詳細の損失を招く。さらに、HEだけでなく、当技術分野で知られている他の全ての画像強化技術も同じジレンマに遭遇し、即ち、それらは全て同じセットのアルゴリズムを使用して完全に異なる画像内容を有する様々な画像を処理しようと試みるが、このような考え方は、実現不可能である。
クラウドオンラインゲームサービスを例にとると、サーバによって生成された原画像の画面コンテンツは、ゲームシーンの変化によって大きく変化する。例えば、都市のゲームシーンの原画像は、多くの簡単且つ明瞭な輪郭と、異なるが概ね同系色の色とを含ませることができる。1つの暗い洞窟のゲームシーンでは、ゲームの原画像を単調でトーンが低く色度値が低い色で満たし、不規則だが目立たない景観の輪郭にする。緑豊かな庭園のシーンは、ゲームの原画像に多くの鮮やかでカラフルなオブジェクトを含ませ、詳細で複雑な輪郭をもたせる。疑いの余地なく、完全に異なる画像コンテンツを有する様々な異なるシーンに対して良好な画像強化を提供することができる従来の強化技術は存在しない。
ステップ(A):サーバで第1アプリケーションを実行する。該第1アプリケーションは、少なくとも1つのコマンドに従って複数の原画像を生成する。該複数の原画像は、該サーバ内のエンコーダによって符号化及び圧縮されて、複数の符号化画像が生成される。
ステップ(B):該サーバから離れたクライアント端末装置において第2アプリケーションを実行する。該第2アプリケーションは、第1アプリケーションに関連しており、且つ連携している。これにより、該クライアント端末装置は、ユーザに操作させて該コマンドを生成して該サーバに送信させることができる。
ステップ(C):該クライアント端末装置は、ネットワークを介して該コマンドを該サーバに送信し、次いで、該サーバによって生成され且つ該コマンドに対応する該符号化画像を、ネットワークを介して受信する。
ステップ(D):該クライアント端末装置は、該符号化画像を複数の復号画像に復号し、AI強化モジュールを用いて該復号画像の品質を向上させて複数の強化画像を生成する。該AI強化モジュールは、該復号画像と対応する原画像との間の差を分析することによって得られる少なくとも1つの数学演算式によって該復号画像を処理する。これにより、得られた該強化画像は、該復号画像よりも視覚的に該原画像に更に近くなる。
ステップ(E):該クライアント端末装置は、該強化画像をスクリーンに出力し、再生される出力画像とする。
ステップ(a):訓練モードで該第1アプリケーションを実行し、複数の訓練原画像を生成する。
ステップ(b):該エンコーダによって該訓練原画像を複数の訓練符号化画像に符号化する。
ステップ(c):該サーバ内の訓練デコーダを使用することによって該訓練符号化画像を複数の訓練復号画像に復号する。
ステップ(d):該人工ニューラルネットワークモジュールは、該訓練復号画像を受け取り、少なくとも1つの訓練数学演算式を使用して該訓練復号画像を1つずつ処理して複数の訓練出力画像を生成する。該少なくとも1つの訓練数学演算式は、複数の訓練重み付けパラメータを含む。
ステップ(e):比較訓練モジュールによって該訓練出力画像と対応する該訓練原画像との間の差を比較し、それに応じて該少なくとも1つの訓練数学演算式の該訓練重み付けパラメータを調整する。該訓練重み付けパラメータは、該訓練出力画像と対応する該訓練原画像との間の差を最小化するように調整される。該訓練重み付けパラメータが調整されるたびに、該調整された訓練重み付けパラメータは、少なくとも1つの訓練数学演算式にフィードバックされて、ステップ(d)において、次の該訓練復号画像を処理する。
該訓練原画像は、nチャネルを含み、nは2より大きい正の整数であり、該訓練復号画像は、mチャネルを含み、mは2より大きい正の整数である。
ステップ(d)において、該人工ニューラルネットワークモジュールは、該mチャネルの訓練復号画像を処理し、nチャネルの訓練出力画像を生成する。該nチャネルの訓練出力画像とそれに対応するmチャネル訓練復号画像とを組み合わせて、複数のm+nチャネルを有する模擬偽サンプル(false samples)を生成する。そして、該nチャネルの訓練原画像と対応する該mチャネルの訓練復号画像の両者を結合して、m+nチャネルを有する複数の模擬真サンプルを生成する。
ステップ(e)において、該m+nチャネルの模擬偽サンプルと該m+nチャネルの模擬真サンプルとを該比較訓練モジュールの弁別器にフィードバックして、該弁別器の該模擬偽サンプルと該模擬真サンプルを検出及び識別する能力を訓練させる。
ステップ(d)において、該人工ニューラルネットワークモジュールは、第1ニューラルネットワーク及び第2ニューラルネットワークを含む。該第2ニューラルネットワークは、畳み込みニューラルネットワーク(ConvolutionalNeuralNetwork;CNN)である。該第1ニューラルネットワークは、該訓練原画像を受け取って処理し、該訓練原画像と同じ符号化フォーマットを有する複数の第1出力画像X2を生成する。該第2ニューラルネットワークは、該第1出力画像X2を受け取って処理して、複数の第2出力画像を生成する。該第1出力画像X2と該第2出力画像の両者が加算されて該訓練出力画像を生成する。
ステップ(e)において、該比較訓練モジュールは、第1比較器と第2比較器を含む。該第1比較器は、該第1出力画像X2と対応する該訓練原画像との間の差を比較し、該第1ニューラルネットワークを訓練する。該第2比較器は、該訓練出力画像と対応する該訓練原画像との間の差を比較し、該第2ニューラルネットワークを訓練する。
該訓練復号画像内のY部分データを抽出し、訓練復号画像のY部分データを標準サイズの該第1ニューラルネットワークによって処理してY部分出力データを生成する。
該訓練復号画像内のUV部分データを抽出し、該訓練復号画像のUV部分データを2倍の倍率を有する該第1ニューラルネットワークによって処理して、Nチャネルを有するUV部分出力データを生成する。
該Y部分出力データと該UV部分出力データを加算し、該訓練出力画像を生成する。
該訓練復号画像は、Nチャネルを含み、Nは、2より大きい正の整数である。
該訓練復号画像内のY部分データを抽出する。
該訓練復号画像内のUV部分データを抽出し、2倍に拡大された該第1ニューラルネットワークを用いて該訓練復号画像のUV部分データを処理して、N-1チャネルを有するUV部分出力データを生成する。
結合関数Concat(concatenates)によって該Y部分データ及び該UV部分データを処理し、該訓練出力画像を生成する。
クライアント端末装置内の該AI強化モジュールによって使用される該重み付けパラメータも複数組に区分され、各組は、それぞれ複数の重み付けパラメータを含み、シーンの1つに対応する。
異なる該シーンの該原画像に対応する該復号画像は、同じ該AI強化モジュールによって異なる組の重み付けされたパラメータ内の該シーンに対応する該組の重み付けパラメータ使用して画像強化処理される。
ここで、該異なる組の重み付けパラメータが全てクライアント端末装置に予め記憶されている場合、該シーンが変化するたびに、変化した新しいシーンに対応する該組の重み付けパラメータは、強化画像を生成するために該AI強化モジュールに適用される。
ここで、該異なる組の重み付けパラメータが全てサーバ側に記憶されている場合、該シーンが変化するたびに、変化した新しいシーンに対応する該組の重み付けパラメータがサーバによって該クライアント端末装置にダウンロードされ、それから、強化画像を生成するために該AI強化モジュールに適用される。
ステップ(a)とステップ(b)の間に以下のステップを追加する。画像劣化処理。劣化モジュールによって該訓練原画像を劣化させてその画質を低下させ、下記の1つ以上の性質を満たす劣化訓練原画像を得る。サンプリング(sampling)によって、解像度を低下させる(720p、1080i以下まで低下)、カット(crop)方式で視野を縮小する(視野の120度以下に縮小する、又は元アスペクト比16:9の画像を4:3にカットする)、フレームを破棄してフレームレートを下げる(30FPS以下まで低下)、抽出方式で両目立体情報を単一画面に取り出し、視覚的奥行き情報を破棄し、音声信号をステレオ2チャンネルに変換する、サンプリング周波数の低減(22.1kHz以下)、解像度の低減(16bit以下)、ノイズの追加(ガウス(Gaussian)、ラプラシアン(Laplacian)ノイズなど)、ぼかし(ガウスぼかしなど)。
ステップ(b)において、該劣化した訓練原画像を該エンコーダにより複数の該訓練符号化画像に符号化して圧縮する。
AI強化モジュールを含むクライアント端末装置を提供し、該AI強化モジュールは予め定義された少なくとも1つの数学演算式を含み、且つ該少なくとも1つの数学演算式は、少なくとも1つの重み付けパラメータを含む。該少なくとも1つの数学演算式の少なくとも1つの重み付けパラメータは、サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プログラムによって事前に定義される。
該クライアント端末装置によって複数の符号化画像を受信する。
該クライアント端末装置は、該符号化画像を複数の復号画像に復号し、該AI強化モジュールの少なくとも1つの数学演算式及び少なくとも1つの重み付けパラメータを用いて該復号画像を処理して、複数の強化画像を生成する。
該クライアント端末装置は、再生される出力画像として該強化画像をスクリーンに出力する。
クライアント端末装置を用いて複数の符号化画像を復号し、複数の符号化画像は、複数の原画像を符号化することにより生成される。
該クライアント端末装置は、複数の符号化画像を複数の復号画像に復号し、AI強化モジュールを使用して復号画像の品質を向上させて複数の強化画像を生成する。該AI強化モジュールは、該復号画像と対応する原画像との間の差を分析することによって得られた少なくとも1つの数学演算式によって該復号画像を処理する。これによって、得られた該強化画像は、該復号画像よりも視覚的に該原画像に近くなる。
該クライアント端末装置は、再生される出力画像として該強化画像をスクリーンに出力する。
該クライアント端末装置の該AI強化モジュールの該少なくとも1つの数学演算式は、複数の重み付けパラメータを含む。該重み付けパラメータは、該復号画像と対応する該原画像との間の差に関連付けられる。
該原画像は、複数組のシーンに区分されることができ、各シーンは、複数の該原画像を含む。
クライアント端末装置内の該AI強化モジュールによって使用される該重み付けパラメータも複数組に区分され、各組は、それぞれ複数の該重み付けパラメータを含み、そのうち1つの該シーンに対応する。
該クライアント端末装置は、該AI強化モジュールを使用して該復号画像の品質を向上させて複数の強化画像を生成するステップにおいて、異なる該シーンの該原画像に対応する該復号画像は、同じ該AI強化モジュールによって該異なる組の該重み付けパラメータ内の該シーンに対応する該組の重み付けパラメータを使用して画像強化処理を実行する。
従って、例えば、プレイヤーは、クライアント端末装置で移動のコマンドを実行することができる。移動コマンドは、ネットワークを通してサーバに送信され、次にサーバは移動コマンドに従って画像を計算し、該画像をクライアント端末装置に返送し、再生する。多くのゲームでは、サーバは、可視範囲内の位置する幾つかの3Dレンダリングオブジェクトを含む2D画像を生成する。
本実施例において、該ネットワーク4はインターネット(Internet)であり、且つ該クライアント端末装置21、22、23は、スマートフォン21、デジタルタブレット、ノートブックコンピュータ22、デスクトップコンピュータ23、電子ゲーム機、あるいはスマートテレビ(ただし、これらに限定されない)などの任意の種類のネットワーク接続可能な電子装置であることができる。一部のクライアント端末装置21、22は、無線通信基地局3又は無線ルータ30を介してネットワーク4に無線接続され、その他は、ネットワークルータ又はネットワーク共有装置を介してネットワーク4に有線接続される。
サーバ1上で実行されているアプリケーションは、複数の3Dオブジェクトを含む仮想3D環境を生成し、3Dオブジェクトの幾つかはユーザの操作に応じて移動又は破壊されることができるが、他の幾つかは、そうすることができない。好適実施例において、アプリケーションは、クライアント端末装置ごとに独立した動作インスタンスを持つ。即ち、各アプリケーションは、クライアント端末装置にサービスを提供するだけであるが、該サーバ1内で複数のアプリケーションを同時に実行し、複数のクライアント端末装置にサービスを提供することができる。該クライアント端末装置21、22、23は、ネットワーク4を介して該サーバ1に接続され、該アプリケーションによって生成された3Dオブジェクトの少なくとも一部を含む画面を受信する。本発明のシステムアーキテクチャ及び機能は、図2及びそれに関連する説明を通して詳細に説明する。
クライアント端末装置2のアプリケーション200は、サーバ1上のアプリケーション100と接続を確立し、ネットワークモジュール202によって、該サーバ1から該符号化された2Dビデオストリームを受信することができる。該符号化された2Dビデオストリームは、次に該復号モジュール203によって復号されて復号画像が生成される。これらの符号化、ストリーミング及び復号のプログラムにより、復号画像の品質は明らかに原画像よりはるかに悪い。クライアント端末装置2に組み込まれたAI強化モジュール204は、それらの復号画像の品質を向上させ、対応する強化画像を生成することができる。
該AI強化モジュール204は、該復号画像と対応する該原画像との間を比較した差を分析することによって得られる少なくとも1つの数学演算式によって該復号画像を処理する。これにより、得られた強化画像は、復号画像よりも視覚的に原画像に近くなる。その後、該強化画像は、出力モジュール205を介して、クライアント端末装置2のスクリーン(表示パネル)に出力(再生)される。本発明において、該クライアント端末装置2のAI強化モジュール204によって使用される数学演算式は、サーバ1上に配置された人工ニューラルネットワーク(Artificial Neural Network)モジュール105によって実行される訓練プログラムにより定義される。人工ニューラルネットワークモジュール105は、該サーバ1内に設けられ、人工ニューラルネットワーク106、復号モジュール107、及び比較訓練モジュール108を含む。本発明の人工ニューラルネットワークモジュール105の該訓練プログラムの実施例については後で詳細に説明する。
次に、クライアント端末装置は、該符号化画像を複数の復号画像に復号し(ステップ306)、AI強化モジュールを使用して復号画像の品質を向上させ(ステップ307)、複数の強化画像を生成する。該AI強化モジュールは、該復号画像と対応する該原画像との間の差を分析することによって得られる少なくとも1つの数学演算式によって復号画像を処理する。これにより、得られた強化画像は、復号画像よりも視覚的に原画像に近くなる。その後、該クライアント端末装置は、再生されるべき出力画像として該強化画像をスクリーン(表示パネル)に出力する(ステップ308)。
本発明の方法は、これらの異なるゲームシナリオに適応するために異なる重み付けパラメータを用い、これによって、同じAI強化モジュールによって向上された出力画像の品質が高品質かつ安定したレベルを維持することができ、原画像の画像コンテンツでさえも劇的に変化させる。
本発明の実施例において、該異なる組の重み付けパラメータは全てクライアント端末装置に予め記憶されており、シーンが変化するたびに、変化した新しいシーンに対応する該組の重みのパラメータが該AI強化モジュールに適用され、該強化画像を生成する。もう1つの実施例において、該異なる組の重み付けパラメータは、全て該サーバ側に格納され、該シーンが変化するたびに、変化した新しいシーンに対応する該組の重み付けパラメータがサーバからクライアント側に送信され、その後、該AI強化モジュールに運用され、該強化画像を生成させる。
異なる要求に応じて異なる方法が該差値(又は近似値)を計算することに用いられることができ、例えば、平均二乗誤差(mean square error;MSE)、L1正規化(L1 regularization)(絶対値の誤差を利用absolute value error)、ピーク値信号対ノイズ比(peak signal-to-noise ratio;PSNR)であり、構造類似性(structure similarity;SSIM)、生成対抗ネットワーク損失(generative adversarial networks loss;GAN loss)及び/又はその他の方法などである。第1実施例において、以下の方法を使用して差値を計算する。(1)MSE、L1、及びGAN lossの重み付け平均;(2)MSE;(3)GAN loss並びに同時に弁別器(Discriminator)を訓練する;(4) MSEの重み付け平均及びMSEの辺縁(Edge of MSE)。該訓練プログラムの詳細については後述する。
その後、該クライアント端末装置は、該強化画像を出力画像としてそのスクリーン上に再生する。該ニューラルネットワークは、画像の色、明るさ、及び詳細を学習し、向上させることができる。原画像の一部の細節は、符号化及びストリーミングの過程で損傷又は消失するので、適切に訓練されたニューラルネットワークはこれらの損傷又は消失した詳細を修復することができる。本発明の実施例において、AI強化モジュールのニューラルネットワークは、動作するために以下の情報を必要とする。
X:入力画像。
Conv2d(X、a、b、c、d、w、b):Xで実行される。出力チャネル数はaである(amount of output channel=a)。コアサイズはbである(kernel_size=b)。ストライド値はcである(stride=c)。パディングサイズは2d畳み込みであり、そのバイアスはdである(padding size=2d convolution with bias of d)。該訓練の重み付けパラメータは、コアw(kernel w)とバイアスb(bias b)である。
Conv2dTranspose(X、a、b、c、w、b)):Xで実行される。出力チャネル数はaである(amount of output channel=a)。コアサイズはbである(kernel_size=b)。ストライド値はcである(stride=c)。クロップサイズは2d転置畳み込みで、そのバイアスはdである(cropping size= 2d transpose convolution with bias of d)。訓練の重み付けパラメータは、コアw(kernel w)とバイアスb(bias b)である。
σ(X):Xに作用する非線形活性化関数。
uint8(x):浮動小数点xの値を0から255(255を含む)の間で制御及び制限することに用いられ、uは無条件丸めメソッドを使用し、unsigned int8に変換する。
R(X、w):多くのconv2d及びbatchnormを含むXで動作する残差ブロック(residual block)であり、それぞれが訓練のための独自の重み付けパラメータを含む(詳細については、次のWebサイトを参考とすることができる。https://stats.stackexchange.com/questions/ 246928/what-exactly-is-a-residual-learning-block-in-the-context-of-deep-residual-networ)。
X:RGBフォーマットの入力画像。各色はunsigned int8フォーマットである。
W_2は、サイズがb*b*3*aの行列であり、b_2は、サイズが3のベクトルである。
Xの解像度は1280×720である。
a=128,b=10,c=5,d=0,σ=leaky relu with alpha=0.2。
a=128,b=9,c=5,d=4,σ=leaky relu with alpha=0.2。
a=128,b=8,c=4,d=0,σ=leaky relu with alpha=0.2。
W_2はサイズがb*b*3*aの行列で、b_2はサイズが3のベクトルである。
ここで、Rはn層を有する残差ブロック(residual blocks)である。
そのうちに、多くのニューラルネットワーク層を含み、各層が訓練された重み付けパラメータを有し、これをまとめてw_Rと称する。
a=128,b=8,c=4,d=0,σ=leaky relu with alpha=0.2;n=2。
a=128,b=8,c=4,d=0,σ=leaky relu with alpha=0.2;n=6。
本発明の方法は、最初にYUV420の入力画像を復号し、次に別のニューラルネットワーク(Aネットワークと称され、N=3である)を使用し、復号画像を処理し、RGB又はYUV444フォーマットの画像(X2と称される)を取得する。次に、X2画像は、第1の状況に記載されたニューラルネットワーク(残差ネットワーク)に送られ、訓練される。また、同じ訓練方法をAネットワークにも適用して、X2と原画像との間の差を比較し、それによってAネットワークを訓練する。
X_uvはYUV420フォーマットの入力画像を持つUVで、そのフォーマットはunsigned int8である。
W_uvは、サイズがf*f*3*2の行列で、b_uvは、サイズが3のベクトルである。
最後に、該出力画像の出力に用いられる数学式と前述の第1の状況の入力画像と出力画像が何れもRGBフォーマットである場合に用いられる数学式は同じである。
W_2は、サイズがb*b*3*aの行列で、b_2は、サイズが3のベクトルである。
使用されるパラメータは、前述と同様に、入力画像と出力画像が両方ともRGBフォーマットの場合に使用されるパラメータと同じである。
Xの解像度は1280×720である。
a=128,b=8,c=4,d=0,e=1,f=2,σ=leaky relu with alpha=0.2;
a=128,b=8,c=4,d=0,e=1,f=2,σ=leaky relu with alpha=0.2。
X_uvは、YUV420フォーマットの入力画像のUVであり、そのフォーマットは、unsigned int8である。
X2=cancat(X2_y、X3_uv)
W_2は、サイズがb*b*3*aの行列で、b_2は、サイズが3のベクトルである。
Xの解像度は1280×720である。
a=128,b=10,c=5,d=0,σ=leaky relu with alpha=0.2;
a=128,b=9,c=5,d=4,σ=leaky relu with alpha=0.2;
a=128,b=8,c=4,d=0,σ=leaky relu with alpha=0.2。
X_uvは、YUV420フォーマットの入力画像のUVであり、そのフォーマットはunsigned int8である。
W_uvは、サイズが(b/2)*(b/2)*2*aの行列で、b_uvはサイズがaのベクトルである。
X4_uv=Conv2dTranspose(X3,2,b/2,c/2,w_2,b_2)X2_uv
W_2はサイズが(b/2)*(b/2)*2*aの行列で、b_2はサイズが2のベクトルである。
上記は、Aネットワーク(ニューラルネットワークA)のもう1つの実施例であり、ここでは、"concat"関数はチャネルの方向に従って入力を接続する。
Y_y=uint8(X4_y*128128)。
Y_uv=uint8(X4_uv*128128)。
a=128,b=8,c=4,d=0,e=2,f=2,σ=leaky relu with alpha=0.2。
訓練パラメータ:
重み付けパラメータの初期値は、ガウス分布(Gaussian distribution)に基づき、mean=0、stddev=0.02である。
Adamアルゴリズムが訓練プログラムで使用され、学習率は、学習率learning rate=1e-4,beta1=0.9である。
マイクロバッチサイズmini batch size=1である。
プライマリエラー関数(primary error function)は、次のとおりである。
100×(L2×L2e)λ×L1γ×Dα×Lg。
使用されるパラメータの標準値は次のとおりである。
λ=0、γ=0、α=0。
λ=0、γ=0、α=100。
λ=0、γ=1、α=0。
λ=10、γ=0、α=0。
λ=10、γ=0、α=100。
λ=10、γ=1、α=0。
そのうち、
;ここで、meanは、平均値であり、Tは訓練目標である。
;ここで、meanは、平均値であり、Tは訓練目標である。
Dは、生成対抗ネットワーク損失(GAN loss)であり、一般的なGAN訓練方法を使用して、弁別器(Discriminator)を訓練し、(X、Y)及び(X、T)を識別する。
Lgの数学式は、
WxHの画像の場合、
Y_dx(i、j)=Y(i1、j)-Y(i、j)0≦i<W-1,0<=j<H
T_dx(i、j)=T(i1、j)-T(i、j)0≦i<W-1,0<=j<H
Y_dy(i、j)=Y(i、j1)-Y(i、j)0≦i<W,0<=j<H-1
T_dy(i、j)=T(i、j1)-T(i、j)0≦i<W,0<=j<H-1
YUV444モードでは、訓練ターゲットTは。RGBゲーム画像のオリジナルの原画像である。
RGB→RGB、YUV420→YUV420モードでは、L2e=0である。
YUV420→RGB及びYUV420→YUV444モードでは、以下である。
異なるコンテンツを有する様々な画像に従って随時ニューラルネットワークの訓練を維持し、異なる画像コンテンツに対して異なる強化効果を実行することができる。例えば、アニメスタイル、現実的なスタイル又は異なるシーンを有する画像の場合、異なる重み付けパラメータw、bについて、事前にクライアント端末装置に記憶することができ、又はクライアント端末装置に自動的にダウンロードすることができる。
異なる要求に応じて異なる方法が該差値(又は近似値)を計算することに用いられることができ、例えば、平均二乗誤差(mean square error;MSE)、L1正規化(L1 regularization)(絶対値の誤差を利用absolute value error)、ピーク値信号対ノイズ比(peak signal-to-noise ratio;PSNR)であり、構造類似性(structure similarity;SSIM)、生成対抗ネットワーク損失(generative adversarial networks loss;GAN loss)及び/又はその他の方法などである。第1実施例において、以下の方法を使用して差値を計算する。(1)MSE、L1、及びGAN lossの重み付け平均;(2)MSE;(3)GAN loss並びに同時に弁別器(Discriminator)を訓練する;(4) MSEの重み付け平均及びMSEの辺縁(Edge of MSE)。
X=Decode(Video stream)。
Y(N)=Network(X(N-2)、X(N-1)、X(n)、W)。
ここで、X=(X(1)、X(2)、X(3)、...)であり、X(N)は、解凍されたビデオのN番目のフレーム、即ちDecoded_Frame(N)である。
前記Networkは、ニューラルネットワーク又は機械学習アルゴリズムである。
Wは、訓練された重み付けパラメータである。
Y(N)は、強化されたN番目のフレームであり、即ち、Enhanced_Frame(N)である。
X=Decode(Video/Audio stream);
Y(N)=Network(X(N-2)、X(N-1)、X(n)、W)。
ここで、X=(X(1)、X(2)、X(3)、...)であり、X(N)は解凍されたビデオ信号のN番目のフレーム及び対応する音声信号セグメントである。
前記Networkは、ニューラルネットワーク又は機械学習アルゴリズムである。
Wは、訓練された重み付けパラメータである。
Y(N)は、強化後のN番目のフレーム及び対応する音声信号セグメント、即ち、Enhanced_Frame(N)及びEnhanced_Audio(N)である。
言い換えれば、該人工ニューラルネットワークモジュールは、毎回いくつかの(例えば、3つ、4つ又はそれ以上)の入力された訓練復号画像Decoded_Frame(Mn)、...、Decoded_Frame(M)、...、Decoded_Frame(M+m)を受け取り、2つの訓練出力画像Predict_Frame(N-1)、Predict_Frame(N)を出力する(ステップ565)。
図17は、本発明のビデオストリームの品質を向上させる方法のさらにもう1つの実施例の説明図であり、それは、以下のステップを含む。
その後、該原画像は、サーバ501内のエンコーダによって符号化及び圧縮され(ステップ532)、それは、それぞれEncoded_Frame(1)、Encoded_Frame(2)、…、Encoded_Frame(M-1)、Encoded_Frame(M)で表される。該符号化された画像は、2Dビデオストリームのパターンでネットワークを介してクライアント端末装置に送信される(ステップ573)。
その後、AI強化モジュール(ステップ575のように、強化ニューラルネットワークモデルとも称される)を使用して、M番目の訓練復号画像及びその前後1つ又は複数の訓練復号画像を、即ち、入力Decoded_Frame(M-n)、…、Decoded_Frame(M)、…、Decoded_Frame(M+m)を入力し、出力画像として2つの対応する強化画像を生成する(ステップ576のように、Enhanced_Frame(N-1)及びEnhanced_Frame(N)とも称される)。
言い換えれば、該AI強化モジュールは、いくつかの(例えば、3、4又はそれ以上)の復号画像のフレームDecoded_Frame(M-n)、…、Decoded_Frame(M)、…、Decoded_Frame(M+m)の入力を受け取り、2つの強化画像のフレームEnhanced_Frame(N-1)及びEnhanced_Frame(N)を出力し、ステップ576のように、これらの強化画像を60FPSの速度で再生する。該AI強化モジュール内の強化されたニューラルネットワークモデルで使用あれる少なくとも1つの数学演算式及びその重み付けパラメータは、図16に示される実施例の訓練プログラムで説明されたものと同じ数学演算式及びその重み付けパラメータである。
X=Decode(30FPSVideo stream)。
Y(2M-1)、Y(2M)=Network(X(M-n)、・・・、X(M)、・・・、X(M+n)、W)。
ここで、X=(X(1)、X(2)、X(3)、...)であり、X(M)は解凍されたビデオのM番目のフレームである。
前記Networkは、ニューラルネットワーク又は機械学習アルゴリズムである。
Wは、訓練された重み付けパラメータである。
Y(N)は、強化後のN番目のフレームであり、即ち、Enhanced_Frame(N)であり、ここでN=2Mである。
連続する複数のフレームが失われるか又は予測される必要がある場合、このステップ584で生成された訓練出力画像のフレームPredict_Frame(N)は、訓練復号画像のN番目のフレームDecoded_Frame(N)として使用され、該人工ニューラルネットワークモジュールに送り返され、訓練出力画像の次のフレームPredict_Frame(N+1)を計算するために使用される。
同様に、該人工ニューラルネットワークモジュールは、それが発生する訓練出力画像のフレームPredict_Frame(N)及びPredict_Frame(N+1)を連続的に人工ニューラルネットワークモジュールに返送することによって訓練出力画像の後続の幾つかのフレームを連続的に計算(予測)することができる。言い換えれば、本実施例において、N番目のフレームより前に位置する複数の訓練復号画像のフレーム(Decoded_Frame(N-n)、…、Decoded_Frame(N-1))を人工ニューラルネットワークモジュールに入力し、N番目のフレームより後に続く幾つかのフレーム(Predict_Frame(N)、Predict_Frame(N1)、...、Predict_Frame(N+m))を生成し、ここで、mは、正の整数である(ステップ585)。
言い換えれば、該AI強化モジュールは、毎回、複数の復号画像の画像フレームDecoded_Frame(N-n)、・・・、Decoded_Frame(N-1)の入力を受け入れ、1つ又は複数の強化画像Enhanced_Frame(N)、・・・、Enhanced_Frame(N+m)を出力する(ステップ596)。該AI強化モジュール内の強化されたニューラルネットワークモデルで使用される少なくとも1つの数学演算式及びその重み付けパラメータは、図18に示される実施例の訓練プログラムで説明されるものと同じ数学演算式及びその重み付けパラメータである。
X=Decode(Video stream)。
Y(N)、…、Y(Nm)=Network(X(Nn)、…、X(n)、W)。
ここで、X=(X(1)、X(2)、X(3)、...)であり、X(N)は解凍されたビデオのN番目のフレーム、即ちDecoded_Frame(N)である。
Networkは、ニューラルネットワーク又は機械学習アルゴリズムである。
Wは、訓練された重み付けパラメータである。
Y(N)は、エンハンスドNフレームであり、即ち、Enhanced_Frame(N)である。
2、21、22、23、502 クライアント端末装置
3 基地局
30 ルータ
4 ネットワーク
100、200 アプリケーション(APP)
101、201 メモリ
102 コード
103 ストリーム
104 ネットワークデバイス
105 人工ニューラルネットワーク
106 ニューラルネットワーク
107 復号モジュール
108 比較訓練モジュール
202 ネットワークモジュール
203 復号モジュール
204 AI強化モジュール
205 出力モジュール
301~308、400~466、511~596、601~607 ステップ
Claims (24)
- 以下のステップを含む本発明の画像媒体の品質を向上させる方法。
ステップ(A):サーバで第1アプリケーションを実行し、該第1アプリケーションは、少なくとも1つのコマンドに従って複数の原画像を生成し、該複数の原画像は、該サーバ内のエンコーダによって符号化及び圧縮されて、複数の符号化画像が生成され、
ステップ(B):該サーバから離れたクライアント端末装置において第2アプリケーションを実行し、該第2アプリケーションは、第1アプリケーションに関連しており、且つ連携しており、これにより、該クライアント端末装置は、ユーザに操作させて該コマンドを生成して該サーバに送信させることができ、
ステップ(C):該クライアント端末装置は、ネットワークを介して該コマンドを該サーバに送信し、次いで、該サーバによって生成され且つ該コマンドに対応する該符号化画像を、ネットワークを介して受信し、
ステップ(D):該クライアント端末装置は、該符号化画像を複数の復号画像に復号し、AI強化モジュールを用いて該復号画像の品質を向上させて複数の強化画像を生成し、
該AI強化モジュールは、該復号画像と対応する原画像との間の差を分析することによって得られる少なくとも1つの数学演算式によって該復号画像を処理し、これにより、得られた該強化画像は、該復号画像よりも視覚的に該原画像に更に近くなり、
ステップ(E):該クライアント端末装置は、該強化画像をスクリーンに出力し、再生される出力画像とし、
前記AI強化モジュールの該少なくとも1つの数学演算式は、該サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プログラムによって定義され、該訓練プログラムは以下のステップを含み、
ステップ(a):訓練モードで該第1アプリケーションを実行し、複数の訓練原画像を生成し、
ステップ(b):該エンコーダによって該訓練原画像を複数の訓練符号化画像に符号化し、
ステップ(c):該サーバ内の訓練デコーダを使用することによって該訓練符号化画像
を複数の訓練復号画像に復号し、
ステップ(d):該人工ニューラルネットワークモジュールは、該訓練復号画像を受け取り、少なくとも1つの訓練数学演算式を使用して該訓練復号画像を1つずつ処理して複数の訓練出力画像を生成し、該少なくとも1つの訓練数学演算式は、複数の訓練重み付けパラメータを含み、
ステップ(e):比較訓練モジュールによって該訓練出力画像と対応する該訓練原画像との間の差を比較し、それに応じて該少なくとも1つの訓練数学演算式の該訓練重み付けパラメータを調整し、該訓練重み付けパラメータは、該訓練出力画像と対応する該訓練原画像との間の差を最小化するように調整され、該訓練重み付けパラメータが調整されるたびに、該調整された訓練重み付けパラメータは、少なくとも1つの訓練数学演算式にフィードバックされて、ステップ(d)において、次の該訓練復号画像を処理させ、
ここで、所定数の該訓練出力画像が対応する訓練原画像と比較され、所定回数の該訓練重み付けパラメータの調整が行われた後、最後に得られた該訓練重み付けパラメータが、該クライアント端末装置の該AI強化モジュール内に適用され、その数学演算式の重み付けパラメータとされる。 - 該訓練復号画像と該訓練出力画像が同じカラーフォーマットを有する場合、該人工ニューラルネットワークモジュールは、残差復号ネットワークモジュールであり、ステップ(d)において、各該訓練出力画像は、対応する該訓練復号画像と、該残差復号ネットワークモジュールが該訓練復号画像を処理した出力との合計である請求項1に記載の方法。
- ステップ(e)において、該比較訓練モジュールは、弁別器(Discriminator)を用いて該訓練出力画像と対応する該訓練原画像との間の差を比較し、それに応じて生成的対抗ネットワーク損失(generative adversarial networks loss;GAN loss)を収束させ、該訓練重み付けパラメータを調整する請求項1に記載の方法。
- 前記比較訓練モジュールの該弁別器は、
該訓練原画像は、nチャネルを含み、nは2より大きい正の整数であり、該訓練復号画像は、mチャネルを含み、mは2より大きい正の整数であり、
ステップ(d)において、該人工ニューラルネットワークモジュールは、該mチャネルの訓練復号画像を処理し、nチャネルの訓練出力画像を生成し、該nチャネルの訓練出力画像とそれに対応するmチャネル訓練復号画像とを組み合わせて、複数のm+nチャネルを有する模擬偽サンプル(false samples)を生成し、該nチャネルの訓練原画像と対応する該mチャネルの訓練復号画像の両者を結合して、m+nチャネルを有する複数の模擬真サンプルを生成し、
ステップ(e)において、該m+nチャネルの模擬偽サンプルと該m+nチャネルの模擬真サンプルとを該比較訓練モジュールの弁別器にフィードバックして、該弁別器の該模擬偽サンプルと該模擬真サンプルを検出及び識別する能力を訓練させる、
という方式で訓練される、請求項3に記載の方法。 - 前記訓練原画像のカラーフォーマットは、YUV420であり、該訓練復号画像のカラーフォーマットは、RGB又はYUV420であり、
ステップ(d)において、該人工ニューラルネットワークモジュールは、第1ニューラルネットワーク及び第2ニューラルネットワークを含み、該第2ニューラルネットワークは、畳み込みニューラルネットワーク(ConvolutionalNeuralNetwork;CNN)であり、
該第1ニューラルネットワークは、該訓練原画像を受け取って処理し、該訓練原画像と同じ符号化フォーマットを有する複数の第1出力画像X2を生成し、該第2ニューラルネットワークは、該第1出力画像X2を受け取って処理して、複数の第2出力画像を生成し、該第1出力画像X2と該第2出力画像の両者が加算されて該訓練出力画像を生成し、
ステップ(e)において、該比較訓練モジュールは、第1比較器と第2比較器を含み、
該第1比較器は、該第1出力画像X2と対応する該訓練原画像との間の差を比較し、該第1ニューラルネットワークを訓練し、該第2比較器は、該訓練出力画像と対応する該訓練原画像との間の差を比較し、該第2ニューラルネットワークを訓練する、請求項1に記載の方法。 - ステップ(d)において、該第1ニューラルネットワークがYUV420カラーフォーマットの訓練復号画像を受信し処理するステップは、
該訓練復号画像内のY部分データを抽出し、訓練復号画像のY部分データを標準サイズの該第1ニューラルネットワークによって処理してY部分出力データを生成し、
該訓練復号画像内のUV部分データを抽出し、該訓練復号画像のUV部分データを2倍の倍率を有する該第1ニューラルネットワークによって処理して、Nチャネルを有するUV部分出力データを生成し、
該Y部分出力データと該UV部分出力データを加算し、該訓練出力画像を生成することを含む請求項5に記載の方法。 - ステップ(d)において、該第1ニューラルネットワークがYUV420カラーフォーマットの該訓練復号画像を受信し処理するステップは、
該訓練復号画像は、Nチャネルを含み、Nは、2より大きい正の整数であり、
該訓練復号画像内のY部分データを抽出し、
該訓練復号画像内のUV部分データを抽出し、2倍に拡大された該第1ニューラルネットワークを用いて該訓練復号画像のUV部分データを処理して、N-1チャネルを有するUV部分出力データを生成し、
結合関数Concat(concatenates)によって該Y部分データ及び該UV部分データを処理
し、該訓練出力画像を生成することを含む請求項5に記載の方法。 - 前記クライアント端末装置の該AI強化モジュールの該少なくとも1つの数学演算式は、複数の重み付けパラメータを含み、該重み付けパラメータは、該復号画像と対応する該原画像との間の差に関連付けられ、且つ該サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プログラムによって定義され、該重み付けパラメータは、以下のうちの1つである:該クライアント端末装置に予め記憶され、該クライアント端末装置が該第2アプリケーションを実行する時に該サーバから該クライアント端末装置にダウンロードされる、請求項1に記載の方法。
- 前記第1アプリケーションのプログラムによって生成された該原画像は、複数組のシーンに区分されることができ、各シーンは、複数の該原画像を含み、
クライアント端末装置内の該AI強化モジュールによって使用される該重み付けパラメータも複数組に区分され、各組は、それぞれ複数の重み付けパラメータを含み、シーンの1つに対応し、
異なる該シーンの該原画像に対応する該復号画像は、同じ該AI強化モジュールによって異なる組の重み付けされたパラメータ内の該シーンに対応する該組の重み付けパラメータ使用して画像強化処理され、
該異なる組の重み付けパラメータが全てクライアント端末装置に予め記憶されている場合、該シーンが変化するたびに、変化した新しいシーンに対応する該組の重み付けパラメータは、強化画像を生成するために該AI強化モジュールに適用され、
該異なる組の重み付けパラメータが全てサーバ側に記憶されている場合、該シーンが変化するたびに、変化した新しいシーンに対応する該組の重み付けパラメータがサーバによって該クライアント端末装置にダウンロードされ、それから、強化画像を生成するために該AI強化モジュールに適用される、請求項8に記載の方法。 - 該訓練モードにおいて、該複数の訓練原画像は高品質画像であり、該高品質訓練原画像は、以下の1つ以上の性質に符合する画像であり、(性質1)4K以上のより高い解像度(Resolution)を有し、(性質2)150度以上のより大きな視野(field of view;FOV)を有し、(性質3)60FPS以上の高いフレームレート(FPS)を有し、(性質4)両目立体情報(stereo vision)を有し、(性質5)視覚的奥行き情報を有し、(性質6)赤外光又は紫外光の追加の色情報を有し、(性質7)マルチチャネル、高サンプリング周波数(44kHz以上)、又は高解像度(オーディオビット深度24bit以上)の優れたオーディオ情報を有し、
ステップ(a)とステップ(b)の間に、
劣化モジュールによって該訓練原画像を劣化させてその画質を低下させ、
サンプリング(sampling)によって、解像度を低下させる(720p、1080i以下まで低下)、カット(crop)方式で視野を縮小する(視野の120度以下に縮小する、又は元アスペクト比16:9の画像を4:3にカットする)、フレームを破棄してフレームレートを下げる(30FPS以下まで低下)、抽出方式で両目立体情報を単一画面に取り出し、視覚的奥行き情報を破棄し、音声信号をステレオ2チャンネルに変換する、サンプリング周波数の低減(22.1kHz以下)、解像度の低減(16bit以下)、ノイズの追加(ガウス(Gaussian)、ラプラシアン(Laplacian)ノイズなど)、ぼかし(ガウスぼかしなど)、の1つ以上の性質を満たす劣化訓練原画像を得る画像劣化処理のステップを追加し、
ステップ(b)において、該劣化した訓練原画像を該エンコーダにより複数の該訓練符号化画像に符号化して圧縮する、請求項1に記載の方法。 - ステップ(d)において、該訓練モードの該人工ニューラルネットワークモジュールは、該訓練復号画像の複数のフレームを受け取り、該訓練出力画像の少なくとも1つのフレームを生成して出力し、ステップ(D)において、クライアント端末装置において、該AI強化モジュールは、該復号画像の幾つかのフレームを受取り、該強化画像の少なくとも1つのフレームを出力する、請求項1に記載の方法。
- 前記人工ニューラルネットワークモジュールは、前記訓練復号画像及び音声信号を受信して処理し、前記AI強化モジュールは、前記復号画像及び他の音声信号を受信して処理する、請求項1に記載の方法。
- AI強化モジュールを含むクライアント端末装置を提供し、該AI強化モジュールは、予め定義された少なくとも1つの数学演算式を含み、且つ該少なくとも1つの数学演算式は、少なくとも1つの重み付けパラメータを含み、該少なくとも1つの数学演算式の該少なくとも1つの重み付けパラメータは、サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プログラムによって事前に定義され、
該クライアント端末装置によって複数の符号化画像を受信し、
該クライアント端末装置は、該符号化画像を複数の復号画像に復号し、該AI強化モジュールの該少なくとも1つの数学演算式及び該少なくとも1つの重み付けパラメータを用いて該復号画像を処理して、複数の強化画像を生成し、
該クライアント端末装置は、再生される出力画像として該強化画像をスクリーンに出力し、
前記訓練プログラムは、前記サーバ内で実行され、以下のステップを含む、画像媒体の品質を向上させる方法。
ステップ(a):訓練モードで複数の訓練原画像を提供し、
ステップ(b):該訓練原画像をエンコーダによって複数の訓練符号化画像に符号化し、
ステップ(c):訓練デコーダによって該訓練符号化画像を複数の訓練復号画像に復号し、
ステップ(d):該人工ニューラルネットワークモジュールは、該訓練復号画像を受け取り、少なくとも1つの訓練数学演算式を使用して該訓練復号画像を1つずつ処理し、複数の訓練出力画像を生成し、該少なくとも1つの訓練数学演算式は、複数の訓練重み付けパラメータを含み、
ステップ(e):比較訓練モジュールによって該訓練出力画像と対応する該訓練原画像との間の差を比較し、それに応じて該少なくとも1つの訓練数学演算式の該重み付けパラメータを調整し、該訓練重み付けパラメータは、該訓練出力画像と対応する該訓練原画像との間の差を最小にするように調整され、該訓練重み付けパラメータが調整されるたびに、該調整された訓練重み付けパラメータは、該少なくとも1つの訓練数学演算式にフィードバックされて、ステップ(d)において次の訓練復号画像を処理させ、
ここで、所定数の該訓練出力画像と対応する該訓練原画像との比較、所定回数の該訓練重み付けパラメータの調整を行った後、最後に得られた該訓練重み付けパラメータが、該クライアント端末装置の該AI強化モジュール内に適用され、その数学演算式の重み付けパラメータとされる。 - 前記クライアント端末装置によって受信された前記複数の符号化画像は、以下のステップによって取得される、請求項13に記載の方法。
該サーバにおいて第1アプリケーションを実行し、該第1アプリケーションは、少なくとも1つのコマンドに従って複数の原画像を生成し、該複数の原画像は、該サーバ内のエンコーダによって符号化及び圧縮されて複数の符号化画像を生成し、
該クライアント端末装置で第2アプリケーションを実行し、該第2アプリケーションは、該第1アプリケーションと関連付けられ、連携され、それにより該クライアント端末装置は、ユーザに操作させて、該コマンドを生成して該サーバに送信させることができ、
該クライアント端末装置は、ネットワークを介して該コマンドを該サーバに送信し、その後、該ネットワークを介して、該サーバが生成した該コマンドに対応する該符号化画像を受信する。 - 前記クライアント端末装置によって受信された該複数の符号化画像は、携帯式記憶媒体に予め記憶されたビデオファイルであり、該クライアント端末装置によって該ビデオファイルが読み取り、該符号化画像を取得する、請求項13に記載の方法。
- 前記第1アプリケーションによって生成された該原画像は、複数組のシーンに区分されることができ、各シーンは、複数の該原画像を含み、
クライアント端末装置内の該AI強化モジュールによって使用される該重み付けパラメータも複数組に区分され、各組はそれぞれ複数の該重み付けパラメータを含み、そのうち1つの該シーンに対応し、同じ該AI強化モジュールによって異なる組の該重み付けパラメータ及び該シーンの対応する該組の重み付けパラメータを使用して画像強化処理を行い、
該異なる組の重み付けパラメータが全て該クライアント端末装置に予め記憶されている場合、該シーンが変化するたびに、変化後の新たなシーンに対応した該組の重み付けパラメータは、該AI強化モジュールに運用され、該強化画像を生成させ、
該異なる組の重み付けパラメータが全てサーバ側に記憶されている場合、シーンが変化するたびに、変化後の新しいシーンに対応する該組の重み付けパラメータがサーバによってクライアント側にダウンロードされ、該AI強化モジュールに運用され、該強化画像を生成させる、
ことを含む画像媒体の品質を向上させる請求項14に記載の方法。 - 前記訓練プログラムは、前記サーバ内で実行される訓練モードにおいて、
(性質1)4K以上のより高い解像度(Resolution)を有する、(性質2)150度以上のより大きな視野(field of view;FOV)を有する、(性質3)60FPS以上の高いフレームレート(FPS)を有し、(性質4)両目立体情報(stereo vision)を有する、(性質5)視覚的奥行き情報を有する、(性質6)赤外光又は紫外光の追加の色情報を有する、(性質7)マルチチャネル、高サンプリング周波数(44kHz以上)、又は高解像度(オーディオビット深度24bit以上)の優れたオーディオ情報を有する、のうちの1つ又は複数の性質に符合する画像であり、
ステップ(a)とステップ(b)の間に、劣化モジュールによって該訓練原画像を劣化させてその画質を低下させ、
サンプリング(sampling)によって、解像度を低下させる(720p、1080i以下まで低下)、カット(crop)方式で視野を縮小する(視野の120度以下に縮小する、又は元アスペクト比16:9の画像を4:3にカットする)、フレームを破棄してフレームレートを下げる(30FPS以下まで低下)、抽出方式で両目立体情報を単一画面に取り出し、視覚的奥行き情報を破棄し、音声信号をステレオ2チャンネルに変換する、サンプリング周波数の低減(22.1kHz以下)、解像度の低減(16bit以下)、ノイズの追加(ガウス(Gaussian)、ラプラシアン(Laplacian)ノイズなど)、ぼかし(ガウスぼかしなど)、のうちの1つ以上の性質を満たす劣化訓練原画像を得る、画像劣化処理を行うステップを追加し、
ステップ(b)において、該劣化した訓練原画像を該エンコーダにより複数の該訓練符号化画像に符号化して圧縮する、請求項13に記載の方法。 - ステップ(d)において、該訓練モードの該人工ニューラルネットワークモジュールは、該訓練復号画像の複数のフレームを受け取り、該訓練出力画像の少なくとも1つのフレームを生成して出力し、さらに、ステップ(D)において、クライアント端末装置において、該AI強化モジュールは、該復号画像の複数のフレームを受信し、それに応じて該強化画像の少なくとも1つのフレームを出力する、請求項13に記載の方法。
- 前記人工ニューラルネットワークモジュールは該訓練復号画像と音声信号を受信して処理し、該AI強化モジュールは、該復号画像ともう1つの音声信号を受信して処理する、請求項13に記載の方法。
- クライアント端末装置は、複数の原画像を符号化して生成された複数の符号化画像を複数の復号画像に復号し、AI強化モジュールを使用して該復号画像の品質を向上させて複数の強化画像を生成し、該AI強化モジュールは、該復号画像と対応する該原画像との間の差を分析することによって得られる少なくとも1つの数学演算式によって復号画像を処理し、それによって、得られた該強化画像は、該復号画像よりも視覚的に該原画像に近くなり、該クライアント端末装置は、該強化画像を再生される出力画像としてスクリーンに出力することを含む画像媒体の品質を向上させる方法。
前記少なくとも1つの数学演算式は、複数の重み付けパラメータを含み、サーバの人工ニューラルネットワークモジュールが行う訓練プログラムによって予め定義され、前記訓練プログラムは、前記サーバ内で実行され、以下のステップを含む、
ステップ(a):訓練モードで複数の訓練原画像を提供し、
ステップ(b):該訓練原画像をエンコーダによって複数の訓練符号化画像に符号化し、
ステップ(c):訓練デコーダによって該訓練符号化画像を複数の訓練復号画像に復号し、
ステップ(d):該人工ニューラルネットワークモジュールは、該訓練復号画像を受け取り、少なくとも1つの訓練数学演算式を使用して該訓練復号画像を1つずつ処理し、複数の訓練出力画像を生成し、該少なくとも1つの訓練数学演算式は、複数の訓練重み付けパラメータを含み、
ステップ(e):比較訓練モジュールによって該訓練出力画像と対応する該訓練原画像との間の差を比較し、それに応じて該少なくとも1つの訓練数学演算式の該重み付けパラメータを調整し、該訓練重み付けパラメータは、該訓練出力画像と対応する該訓練原画像との間の差を最小にするように調整され、該訓練重み付けパラメータが調整されるたびに、該調整された訓練重み付けパラメータは、該少なくとも1つの訓練数学演算式にフィードバックされて、ステップ(d)において次の訓練復号画像を処理させ、
ここで、所定数の該訓練出力画像と対応する該訓練原画像との比較、所定回数の該訓練重み付けパラメータの調整を行った後、最後に得られた該訓練重み付けパラメータが、該クライアント端末装置の該AI強化モジュール内に適用され、その数学演算式の重み付けパラメータとされる。 - 該クライアント端末装置の該AI強化モジュールの該少なくとも1つの数学演算式は、複数の重み付けパラメータを含み、該重み付けパラメータは、該復号画像と対応する該原画像との間の差に関連付けられ、
該原画像は、複数組のシーンに区分されることができ、各シーンは、複数の該原画像を含み、
クライアント端末装置内の該AI強化モジュールによって使用される該重み付けパラメータも複数組に区分され、各組は、それぞれ複数の該重み付けパラメータを含み、そのうち1つの該シーンに対応し、
該クライアント端末装置は、該AI強化モジュールを使用して該復号画像の品質を向上させて複数の強化画像を生成するステップにおいて、異なる該シーンの該原画像に対応する該復号画像は、同じ該AI強化モジュールによって該異なる組の該重み付けパラメータ内の該シーンに対応する該組の重み付けパラメータを使用して画像強化処理を実行する、請求項20に記載の方法。 - 該訓練モードにおいて、該複数の訓練原画像は高品質画像であり、該高品質訓練原画像は、
(性質1)4K以上のより高い解像度(Resolution)を有する、(性質2)150度以上のより大きな視野(field of view;FOV)を有する、(性質3)60FPS以上の高いフレームレート(FPS)を有し、(性質4)両目立体情報(stereo vision)を有する、(性質5)視覚的奥行き情報を有する、(性質6)赤外光又は紫外光の追加の色情報を有する、(性質7)マルチチャネル、高サンプリング周波数(44kHz以上)、又は高解像度(オーディオビット深度24bit以上)の優れたオーディオ情報を有する、のうちの1つ又は複数の性質に符合する画像であり、
ステップ(a)とステップ(b)の間に、劣化モジュールによって該訓練原画像を劣化させてその画質を低下させ、
サンプリング(sampling)によって、解像度を低下させる(720p、1080i以下まで低下)、カット(crop)方式で視野を縮小する(視野の120度以下に縮小する、又は元アスペクト比16:9の画像を4:3にカットする)、フレームを破棄してフレームレートを下げる(30FPS以下まで低下)、抽出方式で両目立体情報を単一画面に取り出し、視覚的奥行き情報を破棄し、音声信号をステレオ2チャンネルに変換する、サンプリング周波数の低減(22.1kHz以下)、解像度の低減(16bit以下)、ノイズの追加(ガウス(Gaussian)、ラプラシアン(Laplacian)ノイズなど)、ぼかし(ガウスぼかしなど)、のうちの1つ以上の性質を満たす劣化訓練原画像を得る、画像劣化処理を行うステップを追加し、
ステップ(b)において、該劣化した訓練原画像を該エンコーダにより複数の該訓練符号化画像に符号化して圧縮する、請求項20に記載の方法。 - ステップ(d)において、該訓練モードにおいて、該人工ニューラルネットワークモジュールは、該訓練復号画像の複数のフレームを受け取り、該訓練出力画像の少なくとも1つのフレームを生成して出力し、さらに、ステップ(D)において、クライアント端末装
置において、該AI強化モジュールは、該復号画像の複数のフレームを受信し、それに応じて該強化画像の少なくとも1つのフレームを出力する、請求項20に記載の方法。 - 前記人工ニューラルネットワークモジュールは、前記訓練復号画像及び音声信号を受信して処理し、前記AI強化モジュールは、前記復号画像及び他の音声信号を受信して処理する、請求項20に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/027,022 | 2018-07-03 | ||
US16/027,022 US10284432B1 (en) | 2018-07-03 | 2018-07-03 | Method for enhancing quality of media transmitted via network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020010331A JP2020010331A (ja) | 2020-01-16 |
JP7448178B2 true JP7448178B2 (ja) | 2024-03-12 |
Family
ID=66334032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019122222A Active JP7448178B2 (ja) | 2018-07-03 | 2019-06-28 | 画質を向上させる方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10284432B1 (ja) |
JP (1) | JP7448178B2 (ja) |
CN (1) | CN110689589A (ja) |
TW (2) | TWI826321B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11743402B2 (en) | 2015-02-13 | 2023-08-29 | Awes.Me, Inc. | System and method for photo subject display optimization |
US10802489B1 (en) | 2017-12-29 | 2020-10-13 | Apex Artificial Intelligence Industries, Inc. | Apparatus and method for monitoring and controlling of a neural network using another neural network implemented on one or more solid-state chips |
US10931853B2 (en) * | 2018-10-18 | 2021-02-23 | Sony Corporation | Enhanced color reproduction for upscaling |
CN110120024B (zh) * | 2019-05-20 | 2021-08-17 | 百度在线网络技术(北京)有限公司 | 图像处理的方法、装置、设备和存储介质 |
US11367290B2 (en) * | 2019-11-26 | 2022-06-21 | Apex Artificial Intelligence Industries, Inc. | Group of neural networks ensuring integrity |
KR20210128091A (ko) | 2020-04-16 | 2021-10-26 | 삼성전자주식회사 | 스트리밍 시스템 및 인터렉티브 스트리밍 서비스 제공 방법 |
CN111488865B (zh) * | 2020-06-28 | 2020-10-27 | 腾讯科技(深圳)有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
US20220046237A1 (en) * | 2020-08-07 | 2022-02-10 | Tencent America LLC | Methods of parameter set selection in cloud gaming system |
US11677897B2 (en) * | 2020-10-19 | 2023-06-13 | Adobe Inc. | Generating stylized images in real time on mobile devices |
US11785068B2 (en) | 2020-12-31 | 2023-10-10 | Synaptics Incorporated | Artificial intelligence image frame processing systems and methods |
US11979565B2 (en) | 2021-05-27 | 2024-05-07 | Tencent America LLC | Content-adaptive online training method and apparatus for post-filtering |
CN114296841A (zh) * | 2021-06-08 | 2022-04-08 | 海信视像科技股份有限公司 | 一种显示设备及ai增强显示方法 |
EP4373068A1 (en) * | 2021-07-15 | 2024-05-22 | LG Electronics Inc. | A/v reception apparatus and wireless display system |
CN113362403A (zh) * | 2021-07-20 | 2021-09-07 | 支付宝(杭州)信息技术有限公司 | 图像处理模型的训练方法及装置 |
KR20230025279A (ko) * | 2021-08-13 | 2023-02-21 | 삼성전자주식회사 | Ai 기반의 영상 제공 장치 및 이에 의한 방법, 및 ai 기반의 디스플레이 장치 및 이에 의한 방법 |
TWI799265B (zh) * | 2022-05-12 | 2023-04-11 | 瑞昱半導體股份有限公司 | 超解析度裝置及方法 |
KR20240005485A (ko) * | 2022-07-05 | 2024-01-12 | 삼성전자주식회사 | Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법 |
WO2024047994A1 (ja) * | 2022-08-31 | 2024-03-07 | LeapMind株式会社 | 入力情報生成装置、画像処理装置、入力情報生成方法、学習装置、プログラム及びノイズ低減装置の学習方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000042247A (ja) | 1998-07-30 | 2000-02-15 | Namco Ltd | ゲームシステム、ゲームデータ配信装置、ゲーム装置、リアルタイム画像表示システムおよび情報記録媒体 |
JP2010033301A (ja) | 2008-07-28 | 2010-02-12 | Namco Bandai Games Inc | 画像生成システム、プログラム及び情報記憶媒体 |
JP2012120173A (ja) | 2010-11-30 | 2012-06-21 | Samsung Electronics Co Ltd | 映像処理装置及びその映像処理方法 |
WO2015104846A1 (en) | 2014-01-09 | 2015-07-16 | Square Enix Holdings Co., Ltd. | Method and system of creating and encoding video game screen images for transmission over a network |
US20160023117A1 (en) | 2008-06-27 | 2016-01-28 | John Nicholas And Kristin Gross Trust U/A/D April 13, 2010 | Internet Based Pictorial Game System & Method With Advertising |
US20170255845A1 (en) | 2015-08-03 | 2017-09-07 | Yahoo! Inc. | Computerized method and system for automated determination of high quality digital content |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7663502B2 (en) * | 1992-05-05 | 2010-02-16 | Intelligent Technologies International, Inc. | Asset system control arrangement and method |
US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
US6803989B2 (en) * | 1997-07-15 | 2004-10-12 | Silverbrook Research Pty Ltd | Image printing apparatus including a microcontroller |
JP5335713B2 (ja) * | 2010-02-16 | 2013-11-06 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
GB201003962D0 (en) * | 2010-03-10 | 2010-04-21 | Tangentix Ltd | Multimedia content delivery system |
CA2792336C (en) * | 2010-03-19 | 2018-07-24 | Digimarc Corporation | Intuitive computing methods and systems |
SG11201402160XA (en) * | 2011-11-08 | 2014-08-28 | Samsung Electronics Co Ltd | Method and apparatus for motion vector determination in video encoding or decoding |
CN102523453B (zh) * | 2011-12-29 | 2014-11-19 | 西安空间无线电技术研究所 | 一种图像超大压缩传输方法及传输系统 |
JP2014197723A (ja) * | 2012-01-06 | 2014-10-16 | ソニー株式会社 | 画像処理装置および方法 |
JP6115183B2 (ja) * | 2013-02-27 | 2017-04-19 | 株式会社ニコン | 画像処理装置、撮像装置、画像処理プログラム |
US9780997B2 (en) * | 2015-01-30 | 2017-10-03 | Alcatel Lucent | Method and system for controlling an operation of an application by classifying an application type using data bearer characteristics |
CN113876353A (zh) * | 2016-06-20 | 2022-01-04 | 蝴蝶网络有限公司 | 引导超声装置的操作者定位超声装置的方法、系统和介质 |
TWI624804B (zh) * | 2016-11-07 | 2018-05-21 | 盾心科技股份有限公司 | 利用超解析重建法生成高解析度影像的方法與系統 |
CN107767928A (zh) * | 2017-09-15 | 2018-03-06 | 深圳市前海安测信息技术有限公司 | 基于人工智能的医学影像报告生成系统及方法 |
-
2018
- 2018-07-03 US US16/027,022 patent/US10284432B1/en active Active
-
2019
- 2019-04-05 US US16/376,877 patent/US10574537B2/en active Active
- 2019-06-18 TW TW112118376A patent/TWI826321B/zh active
- 2019-06-18 TW TW108121107A patent/TWI805784B/zh active
- 2019-06-19 CN CN201910532952.0A patent/CN110689589A/zh active Pending
- 2019-06-28 JP JP2019122222A patent/JP7448178B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000042247A (ja) | 1998-07-30 | 2000-02-15 | Namco Ltd | ゲームシステム、ゲームデータ配信装置、ゲーム装置、リアルタイム画像表示システムおよび情報記録媒体 |
US20160023117A1 (en) | 2008-06-27 | 2016-01-28 | John Nicholas And Kristin Gross Trust U/A/D April 13, 2010 | Internet Based Pictorial Game System & Method With Advertising |
JP2010033301A (ja) | 2008-07-28 | 2010-02-12 | Namco Bandai Games Inc | 画像生成システム、プログラム及び情報記憶媒体 |
JP2012120173A (ja) | 2010-11-30 | 2012-06-21 | Samsung Electronics Co Ltd | 映像処理装置及びその映像処理方法 |
WO2015104846A1 (en) | 2014-01-09 | 2015-07-16 | Square Enix Holdings Co., Ltd. | Method and system of creating and encoding video game screen images for transmission over a network |
US20170255845A1 (en) | 2015-08-03 | 2017-09-07 | Yahoo! Inc. | Computerized method and system for automated determination of high quality digital content |
Also Published As
Publication number | Publication date |
---|---|
US10284432B1 (en) | 2019-05-07 |
TW202336695A (zh) | 2023-09-16 |
US20200014603A1 (en) | 2020-01-09 |
TWI805784B (zh) | 2023-06-21 |
JP2020010331A (ja) | 2020-01-16 |
TW202006662A (zh) | 2020-02-01 |
US10574537B2 (en) | 2020-02-25 |
CN110689589A (zh) | 2020-01-14 |
TWI826321B (zh) | 2023-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7448178B2 (ja) | 画質を向上させる方法 | |
US11290345B2 (en) | Method for enhancing quality of media | |
US20220239925A1 (en) | Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa) | |
US12003386B2 (en) | Method for enhancing quality of media | |
US10666962B2 (en) | Training end-to-end video processes | |
CN104096362B (zh) | 基于游戏者关注区域改进视频流的码率控制比特分配 | |
US11430095B2 (en) | Automatic display management metadata generation for gaming and/or SDR+ contents | |
CN110996131B (zh) | 视频编码方法、装置、计算机设备及存储介质 | |
US20210150769A1 (en) | High efficiency image and video compression and decompression | |
US10354394B2 (en) | Dynamic adjustment of frame rate conversion settings | |
EP3343923A1 (en) | Motion vector field coding method and decoding method, and coding and decoding apparatuses | |
US10349055B1 (en) | Image frame encoding based on projection space | |
US20220335560A1 (en) | Watermark-Based Image Reconstruction | |
Xian et al. | A content-oriented no-reference perceptual video quality assessment method for computer graphics animation videos | |
US11290735B1 (en) | Visual element encoding parameter tuning | |
Saha et al. | Perceptual video quality assessment: The journey continues! | |
CN115499666B (zh) | 视频的压缩方法、解压缩方法、装置、设备和存储介质 | |
US11575871B2 (en) | Method and apparatus for streaming multi-view 360 degree video | |
KR102595096B1 (ko) | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 | |
JP2023104295A (ja) | 人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法 | |
KR102421719B1 (ko) | 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법 | |
CN114630111B (zh) | 一种基于编码信息的无参考压缩视频质量评估方法 | |
US20240214537A1 (en) | Natural and interactive 3d viewing on 2d displays | |
Challa et al. | Deep learning based on multimedia encoding to enhance video quality | |
US10848734B1 (en) | Image frame encoding based on projection space seam |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448178 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |