JP7383128B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7383128B2 JP7383128B2 JP2022510556A JP2022510556A JP7383128B2 JP 7383128 B2 JP7383128 B2 JP 7383128B2 JP 2022510556 A JP2022510556 A JP 2022510556A JP 2022510556 A JP2022510556 A JP 2022510556A JP 7383128 B2 JP7383128 B2 JP 7383128B2
- Authority
- JP
- Japan
- Prior art keywords
- super
- image
- resolution
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 374
- 238000004458 analytical method Methods 0.000 claims description 183
- 230000036961 partial effect Effects 0.000 claims description 143
- 230000006835 compression Effects 0.000 claims description 53
- 238000007906 compression Methods 0.000 claims description 53
- 238000009877 rendering Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 230000006837 decompression Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 description 107
- 238000000034 method Methods 0.000 description 91
- 230000008569 process Effects 0.000 description 53
- 230000003044 adaptive effect Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 19
- 230000010354 integration Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 16
- 230000010365 information processing Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 9
- 230000001934 delay Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 7
- 230000002427 irreversible effect Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004148 unit process Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Description
クラウドゲームで超解像を処理する背景と課題を説明する。超解像処理(Super Resolution, Video quality enhancement)とは、画像の高精細度化や、高周波成分の復元または再構築を含む画像処理である。
この一連の処理に時間がかかると、クライアント端末へのゲームシーン画像の到着が遅れ、ユーザはリアルタイムでのゲームプレイが困難になる。そのため、処理系全体の低遅延化が求められる。
<第1の解決手法:クラウドゲームにおいて超解像を低遅延で処理する方法A>
(1)超解像処理部が、部分画像(以下「スライス」とも呼ぶ。)単位で処理し、表示制御部へ、同様もしくはより小粒度で処理結果を出力する。
(2)ビデオ圧縮符号化部・復号伸長部が、部分画像(スライス)単位で処理し、伸長結果の画像を部分画像(スライス)単位で出力する場合において、後続処理である超解像処理部が、同じ部分画像(スライス)単位で処理し、表示制御部へ、同様もしくはより小粒度で処理結果を出力する。
(3)超解像処理部が、ビデオ圧縮符号化の処理における基本単位と一致させた、基本単位もしくは整数倍の単位で処理を実行する。
(5)超解像処理部が、部分画像(スライス)単位で処理する。前段のビデオ復号伸長部と超解像処理部との間に、部分画像単位でデータを保持するメモリを設ける。後段の表示制御部と超解像処理部との間に、部分画像単位でデータを保持するメモリを設ける。超解像処理部は、ビデオ復号伸長部との間、および、表示制御部との間で、部分画像単位でフロー制御を実行する。
(6)超解像処理部が、シーン解析もしくはシーン情報統合処理、画像解像度の引き上げ処理(アップスケーリング)、画像フィルタ処理、画像の復元・再構築処理等を実行する場合に、それら個々の処理を部分画像単位で実行する。超解像処理部の内部処理における単位粒度を、整数倍すると、部分画像単位となるようにする。
(8)シーン解析において、入力画像をピラミッドスケーリングを用いて複数通りの低解像度に変換し、低解像度画像から順にシーン解析を実行する。
(9)シーン解析において、入力画像の離散的な位置からオリジナル解像度でサンプリングした小領域でシーン解析を実行する。
(10)ゲームアプリケーションから取得したシーン種別に基づいて、超解像処理の簡易化または未実行を選択する。
この解決手法は、クラウドゲームにおいてシーン情報に基づいて超解像を処理する方法でもある。
(1)超解像処理部は、シーン情報を、ヒントとして前段処理から取得し、超解像処理で利用する。
(2)クライアント端末における超解像処理で利用するシーン情報を、サーバにおいて予め取得し、クライアント端末へ送信する。
(3)クライアント端末における超解像処理で利用するシーン情報を、サーバにおいて圧縮符号化と並行して取得し、クライアント端末へ送信する。
(5)クライアント端末における超解像処理で利用するシーン情報を、サーバにおいてゲームアプリケーションから取得し、クライアント端末へ送信する。
(6)クライアント端末における超解像処理で利用するシーン情報を、サーバにおける圧縮符号化で用いたシーン解析結果から取得し、クライアント端末へ送信する。
(8)クライアント端末の超解像処理部は、サーバまたは復号伸長部から取得した、シーン情報を用いて超解像処理を実行する。
(9)クライアント端末の超解像処理部は、サーバまたは復号伸長部から取得した、シーン情報を用いることで、自ら行うシーン解析を省略もしくは簡易化する。
図1は、実施例の情報処理システム10の構成を示すブロック図である。情報処理システム10は、サーバ12とクライアント端末14を備える。サーバ12は、アプリケーション(実施例ではゲームアプリケーション)を実行する情報処理装置である。クライアント端末14は、サーバ12で実行されたアプリケーションの画像(例えばゲームシーン画像)を表示する画像処理装置(情報処理装置とも言え、例えば据置型ゲーム機)である。サーバ12とクライアント端末14は、LAN・WAN・インターネット等を含む通信網を介して接続される。
超解像処理部48の超解像画像生成部104は、部分画像に対する超解像処理を、その部分画像に対応するシーン情報をもとに実行する。超解像処理部48の超解像画像生成部104は、画像領域(すなわち部分画像に映る内容)に応じて、画像の高精細化を行う処理を動的に切り替えるためにシーン情報を利用する。以下、超解像画像生成部104による処理の事例を説明する。
処理対象の画像領域が、絵としてフラットで変化が少ない内容(例えば、雲一つない青空の絵や、舗装が痛んでいない綺麗な道路の路面を遠くから俯瞰した絵)であるとき、超解像画像生成部104は、シャープネス系の画像変換処理の実行量を必要最低限とする。言い換えれば、超解像画像生成部104は、シャープネス系の画像変換処理の実行量を、画像領域が絵としてフラットで変化が少ない内容でないときよりも少なくする。画像領域が絵としてフラットで変化が少ない内容である場合、シャープネス系処理の効果が大きい。そのため、人工的なフィルタ処理結果が目立ちやすく、言い換えれば、人工的なフィルタ処理による逆効果が目立ちやすいからである。
処理対象の画像領域が、絵として高密度で断続的な変化をもつ内容(例えば、森を遠くから俯瞰した絵)であるとき、超解像画像生成部104は、シャープネス系の画像変換処理を積極的に行う。言い換えれば、超解像画像生成部104は、シャープネス系の画像変換処理の実行量を、画像領域が絵として高密度で断続的な変化をもつ内容でないときよりも増加させる。画像領域が絵として高密度で断続的な変化をもつ内容である場合、シャープネス系処理の効果が表れにくいうえ、人工的なフィルタ処理による逆効果が目立ちにくいからである。
処理対象の画像領域が、絵としてはっきりとした線や点などをもつ内容(例えば、輪郭がはっきりしている複雑な形状の人工的な物体や文字)であるとき、超解像画像生成部104は、シャープネス系の画像変換処理を抑制する。超解像画像生成部104は、シャープネス系の画像変換処理をスキップしてもよい。画像領域が絵としてはっきりとした線や点などをもつ内容である場合、シャープネス系処理の効果が弱く、人工的なフィルタ処理による逆効果が非常に目立ちやすいからである。このような画像領域においては、超解像画像生成部104は、線や点の種類に応じた専用の輪郭補正処理を行うことが好ましい。
処理対象の画像領域が、大きな移動量で動く物体(例えば車両等)をもつとき、人の動体視力を鑑みると、物体表面領域の高精細化処理を行うメリットが低い場合がある。しかし、物体の端に画像圧縮起因の輪郭破綻系ノイズが含まれていると、人は認識しやすい。そのため、超解像画像生成部104は、処理対象の画像領域に輪郭破綻系ノイズを検出した場合、輪郭破綻系ノイズに特化した画像変換処理を実行する。
人は、画像に映る人物の、肌の色合いや顔の表情を認識する能力が高い。そのため、超解像画像生成部104は、処理対象の画像領域が人物を含むことを検出した場合、人物に特化した画像変換処理(フィルタ処理)を実行する。
(1-1)描画内容が、ユーザー操作の入力を必要としないムービーシーン(プリ・レンダリング)やローディング待ち、またはセットアップ待ちであることを示す情報。
(1-2)描画内容が、ユーザー操作の入力を必要とするゲームプレイシーン(リアルタイム・レンダリング)であることを示す情報。
(1-3)描画内容が、ユーザー操作の入力を必要とするゲームプレイシーンであったとき、ユーザー入力をサンプリングしている頻度を示す情報。
(1-4)描画内容が、ユーザー操作の入力を必要とするゲームプレイシーンであったとき、ゲーム種別(カテゴリ等)を示す情報。例えば、ドライブゲーム、シューティングゲーム、アクション格闘ゲーム、ストラテジーゲーム、シミュレーションゲーム等。
(2-1)GUIシーン(例えばメニューシーン)であること、ゲームシーンであること、または他のビデオストリーム・アプリケーションであることを示す情報。
(2-2)カメラ撮影自然画像であること、CG(Computer Graphics)画像であること、またはアニメ系画像であることを示す情報。
(3)のシーン情報は、以下の情報の少なくとも1つを含んでもよい。
(3-1)描画解像度、フレームレート、および描画ビットカラー深度。
(3-2)レンダリング手法に関する情報。例えば、レイトレーシング利用しているか。レイトレーシング手法を適用している画像領域や物体配置。フォグ処理を使用有無と使用領域。バンプマッピングの使用有無と使用領域。反射処理の使用有無と使用領域。Motion Blur効果(物体をぼやかす処理)の使用有無と使用領域。
(3-3)レンダリングにおけるテクスチャフィルタリング処理内容、またはテクスチャ圧縮手法。
(3-5)描画アンチエイリアシング手法。例えば、フィルタ構成、フィルタタップ数、フィルタ係数、画像における輪郭や微細模様に特化した処理の有無。
(3-6)解像度変換を行う場合の解像度変換手法。例えば、フィルタ構成、フィルタタップ数、フィルタ係数、画像における輪郭や微細模様に特化した処理の有無。
(3-7)描画ダイナミックレンジ、HDR(High-Dynamic-range Rendering)プロファイル、またはトーンマッピング手法。例えば、GPU描画において、浮動小数点演算結果からフレームバッファ出力へ落とし込むときの丸め込みなどを含むマッピング手法、または計算手法。また例えば、元々描画処理過程において持っていたダイナミックレンジの情報と、フレームバッファ出力におけるダイナミックレンジの情報。
(3-9)利用している圧縮符号化の手法の情報。例えば、マクロブロック割当方法。スライス割当方法。係数。デノイズフィルタ種別係数。インター圧縮(フレーム間圧縮)を用いているかの情報。圧縮規格(例えばAVC、HEVC、VP9、AV1、DSC等)の情報。可逆または不可逆かの情報。ビット深度。量子化パラメータ(QP)。レート制御手法。ターゲットビットレート。IDR方式とGDR方式のいずれであるかを示す情報。
以下、第2実施例について、第1実施例と相違する構成を中心に説明し、共通する構成の説明は適宜省略する。第2実施例の構成要素のうち第1実施例の構成要素と同一または対応する構成要素には同じ符号を付している。第2実施例の構成は、第1実施例および変形例の構成と任意の組合せが可能であることはもちろんである。
SRAM206におけるYスライス230の保持時間+超解像画像生成部104のYスライス処理時間+SRAM240におけるSR-Yスライス234の保持時間=SRAM240におけるUVスライス232の保持時間
このようなバッファリングにおいて、同一のスライスを起原とするYスライス230とUVスライス232に同一のIDを付与することで同期処理を実現する。
以下、第3実施例について、第2実施例と相違する構成を中心に説明し、共通する構成の説明は適宜省略する。第3実施例の構成要素のうち既述の実施例の構成要素と同一または対応する構成要素には同じ符号を付している。第3実施例の構成は、他の実施例および変形例の構成と任意の組合せが可能であることはもちろんである。
以下、第4実施例について、第2実施例と相違する構成を中心に説明し、共通する構成の説明は適宜省略する。第4実施例の構成要素のうち既述の実施例の構成要素と同一または対応する構成要素には同じ符号を付している。第4実施例の構成は、他の実施例および変形例の構成と任意の組合せが可能であることはもちろんである。
Claims (10)
- 動画像のデータを1フレームより小さい部分画像単位で取得する取得部と、
前記取得部により取得された部分画像を単位として超解像処理を実行する超解像処理部と、
前記超解像処理部により超解像処理がなされた部分画像を順次表示部に出力する表示制御部と、
を備え、
前記超解像処理部は、前記部分画像における離散的な位置から、前記部分画像より小さい解析単位粒度の領域画像を複数個抽出し、複数個の領域画像をもとにシーン解析を実行し、シーン解析結果をもとに前記部分画像に関する超解像処理を実行し、
前記超解像処理部は、(1)CU(Coding Unit)割当情報に基づいて前記解析単位粒度の領域を割り当てること、(2)シーン解析に関するスコアが相対的に高い領域に対して前記解析単位粒度の領域を優先的に割り当てること、(3)Iフレームの部分画像には、Iフレーム以外の部分画像よりも、前記解析単位粒度の領域の割当数を多くすること、のうち少なくとも1つを実行する、
画像処理装置。 - 復号伸長部をさらに備え、
前記取得部により取得される部分画像は、圧縮符号化後の部分画像であり、
前記復号伸長部は、前記圧縮符号化後の部分画像を復号伸長し、
前記超解像処理部は、復号伸長後の部分画像に対する超解像処理を実行する、
請求項1に記載の画像処理装置。 - 前記超解像処理部は、前記部分画像より解像度が低い部分画像を1つ以上生成し、解像度が相対的に低い部分画像から解像度が相対的に高い部分画像の順にシーン解析を実行する、
請求項1または2に記載の画像処理装置。 - 前記超解像処理部は、アプリケーションが最終描画結果を生成する前に、前記アプリケーションが持つ描画内部データを参照してシーン解析を実行し、シーン解析の結果を超解像処理に用いる、
請求項1から3のいずれかに記載の画像処理装置。 - 前記超解像処理部は、アプリケーションが最終描画結果を生成する前に、前記アプリケーションが持つ描画内部データを参照し、その描画内部データを超解像処理に用いる、
請求項1から4のいずれかに記載の画像処理装置。 - 前記超解像処理部は、超解像処理を行うまでの前段処理で取得された前記部分画像の特徴を示すシーン情報に基づいて、超解像処理の簡易化または未実行を選択する、
請求項1から5のいずれかに記載の画像処理装置。 - 前記超解像処理部は、前記部分画像が復号伸長される前に前記部分画像に関するシーン情報を取得し、取得したシーン情報に基づいて、超解像処理のためのモデルを切り替える、
請求項2に記載の画像処理装置。 - 前記超解像処理部は、アプリケーションが最終描画結果を生成する前に、前記アプリケーションが持つ描画内部データを用いてシーン情報を取得し、取得したシーン情報に基づいて、超解像処理のためのモデルを切り替える、
請求項1から6のいずれかに記載の画像処理装置。 - 前記超解像処理部は、前記部分画像をY成分のデータとUV成分のデータとに分離し、前記Y成分のデータに超解像処理を実行する一方、前記UV成分のデータには超解像処理を実行しない、
請求項1から8のいずれかに記載の画像処理装置。 - 同じ部分画像を起源とする前記Y成分のデータと前記UV成分のデータには、同じIDが付与され、
前記UV成分のデータは、前記Y成分のデータに対する超解像処理の間バッファリングされ、同一のIDが付与された超解像処理後のY成分のデータと合成される、
請求項9に記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054671 | 2020-03-25 | ||
JP2020054671 | 2020-03-25 | ||
PCT/JP2021/012026 WO2021193648A1 (ja) | 2020-03-25 | 2021-03-23 | 画像処理装置およびサーバ |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021193648A1 JPWO2021193648A1 (ja) | 2021-09-30 |
JPWO2021193648A5 JPWO2021193648A5 (ja) | 2022-11-18 |
JP7383128B2 true JP7383128B2 (ja) | 2023-11-17 |
Family
ID=77892166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022510556A Active JP7383128B2 (ja) | 2020-03-25 | 2021-03-23 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230128106A1 (ja) |
JP (1) | JP7383128B2 (ja) |
WO (1) | WO2021193648A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11829559B2 (en) * | 2021-08-27 | 2023-11-28 | International Business Machines Corporation | Facilitating interactions on a mobile device interface based on a captured image |
CN114363649B (zh) * | 2021-12-31 | 2024-02-09 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、系统、计算机设备及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148537A (ja) | 2005-11-24 | 2007-06-14 | Fujifilm Corp | 画像処理方法および画像処理プログラムならびに画像処理装置 |
JP2009117886A (ja) | 2007-11-01 | 2009-05-28 | Hitachi Ltd | 超解像処理装置及び超解像処理システム |
JP2009296208A (ja) | 2008-06-04 | 2009-12-17 | Mitsubishi Electric Corp | 動画像再生装置及び動画像伝送システム |
JP2013128286A (ja) | 2012-12-25 | 2013-06-27 | Toshiba Corp | 画質モード設定方法、映像処理方法、および映像装置 |
JP2013127718A (ja) | 2011-12-19 | 2013-06-27 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用コードブック作成装置 |
JP2015232869A (ja) | 2014-05-16 | 2015-12-24 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2017510114A (ja) | 2014-01-03 | 2017-04-06 | トムソン ライセンシングThomson Licensing | ビデオ最適化用のメタデータを生成するための方法及び装置 |
JP2019129328A (ja) | 2018-01-22 | 2019-08-01 | 西日本電信電話株式会社 | 高精細動画生成装置、高精細動画生成方法、およびプログラム |
JP7262381B2 (ja) | 2019-12-25 | 2023-04-21 | 株式会社クボタ | コンバイン |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW321748B (ja) * | 1994-02-23 | 1997-12-01 | Rca Thomson Licensing Corp | |
JP2010074732A (ja) * | 2008-09-22 | 2010-04-02 | Canon Inc | 画像処理装置及び画像処理方法ならびに画像処理方法を実行するプログラム |
JP5436371B2 (ja) * | 2010-08-25 | 2014-03-05 | 日本電信電話株式会社 | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
JP6163919B2 (ja) * | 2013-07-01 | 2017-07-19 | 富士通株式会社 | 画像処理装置、補正方法および補正プログラム |
-
2021
- 2021-03-23 US US17/907,845 patent/US20230128106A1/en active Pending
- 2021-03-23 JP JP2022510556A patent/JP7383128B2/ja active Active
- 2021-03-23 WO PCT/JP2021/012026 patent/WO2021193648A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148537A (ja) | 2005-11-24 | 2007-06-14 | Fujifilm Corp | 画像処理方法および画像処理プログラムならびに画像処理装置 |
JP2009117886A (ja) | 2007-11-01 | 2009-05-28 | Hitachi Ltd | 超解像処理装置及び超解像処理システム |
JP2009296208A (ja) | 2008-06-04 | 2009-12-17 | Mitsubishi Electric Corp | 動画像再生装置及び動画像伝送システム |
JP2013127718A (ja) | 2011-12-19 | 2013-06-27 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用コードブック作成装置 |
JP2013128286A (ja) | 2012-12-25 | 2013-06-27 | Toshiba Corp | 画質モード設定方法、映像処理方法、および映像装置 |
JP2017510114A (ja) | 2014-01-03 | 2017-04-06 | トムソン ライセンシングThomson Licensing | ビデオ最適化用のメタデータを生成するための方法及び装置 |
JP2015232869A (ja) | 2014-05-16 | 2015-12-24 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2019129328A (ja) | 2018-01-22 | 2019-08-01 | 西日本電信電話株式会社 | 高精細動画生成装置、高精細動画生成方法、およびプログラム |
JP7262381B2 (ja) | 2019-12-25 | 2023-04-21 | 株式会社クボタ | コンバイン |
Also Published As
Publication number | Publication date |
---|---|
WO2021193648A1 (ja) | 2021-09-30 |
US20230128106A1 (en) | 2023-04-27 |
JPWO2021193648A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7383128B2 (ja) | 画像処理装置 | |
CN112991203B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP5419744B2 (ja) | 仮想画像を合成する方法 | |
JP5230669B2 (ja) | 深度画像をフィルタリングする方法 | |
CN109660821B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
US11528493B2 (en) | Method and system for video transcoding based on spatial or temporal importance | |
WO2019174542A1 (en) | Method and apparatus of loop filtering for vr360 videos | |
RU2760974C2 (ru) | Системы и способы для векторов движения, генерируемых во время игры | |
JP2010218547A (ja) | 画像をアップサンプリングする方法 | |
RU2730435C1 (ru) | Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика | |
CN109767408B (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
US20210304357A1 (en) | Method and system for video processing based on spatial or temporal importance | |
WO2021193649A1 (ja) | 画像処理装置およびサーバ | |
CN113615200A (zh) | 用于点云压缩的量化步长参数 | |
CN111429357A (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
CN109168065A (zh) | 视频增强方法、装置、电子设备及存储介质 | |
Smirnov et al. | Methods for depth-map filtering in view-plus-depth 3D video representation | |
US20230316464A1 (en) | Virtual view drawing method and apparatus, rendering method and apparatus, and decoding method and apparatus, and devices and storage medium | |
US20200258264A1 (en) | Data processing systems | |
EP4042683A1 (en) | System and method for motion adaptive filtering as pre-process to video encoding | |
Agarwal et al. | Compressing video calls using synthetic talking heads | |
US20230054523A1 (en) | Enhancing 360-degree video using convolutional neural network (cnn)-based filter | |
WO2022141222A1 (zh) | 虚拟视点生成、渲染、解码方法及装置、设备、存储介质 | |
EP3926584A1 (en) | Method, computer program and system for detecting changes and moving objects in a video view | |
Eisert et al. | Volumetric video–acquisition, interaction, streaming and rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7383128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |