JP2023523833A - 画像処理方法、装置、機器及びコンピュータプログラム - Google Patents
画像処理方法、装置、機器及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2023523833A JP2023523833A JP2022566432A JP2022566432A JP2023523833A JP 2023523833 A JP2023523833 A JP 2023523833A JP 2022566432 A JP2022566432 A JP 2022566432A JP 2022566432 A JP2022566432 A JP 2022566432A JP 2023523833 A JP2023523833 A JP 2023523833A
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- pixel point
- pixel
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000004590 computer program Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 182
- 238000000034 method Methods 0.000 claims abstract description 102
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims description 106
- 230000006870 function Effects 0.000 claims description 62
- 238000003062 neural network model Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 28
- 238000003066 decision tree Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 30
- 238000013473 artificial intelligence Methods 0.000 description 24
- 230000009466 transformation Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 14
- 239000013585 weight reducing agent Substances 0.000 description 14
- 238000013136 deep learning model Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
Description
本願は、2020年06月03日に提出された、出願番号が202010495781.1である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
処理対象画像を取得するステップと、
該処理対象画像がグレースケール画像である場合、該処理対象画像における各画素点の特徴ベクトルを抽出し、該各画素点に対応する近傍画像ブロックを決定するステップと、
軽量化モデルを利用して、各画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のターゲット画像を得るステップであって、該軽量化モデルは、訓練されたニューラルネットワークモデルに対して軽量化処理を行うことで得られたものである、ステップと、
該ターゲット画像を出力するステップと、を含む。
処理対象画像を取得するように構成される第1取得モジュールと、
該処理対象画像がグレースケール画像である場合、該処理対象画像における各画素点の特徴ベクトルを抽出し、該各画素点に対応する近傍画像ブロックを決定するように構成される第1抽出モジュールと、
軽量化モデルを利用して、各画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のターゲット画像を得るように構成される第1処理モジュールであって、該軽量化モデルは、訓練されたニューラルネットワークモデルに対して軽量化処理を行うことで得られたものである、第1処理モジュールと、
該ターゲット画像を出力するように構成される出力モジュールと、を備える。
実行可能な命令を記憶するためのメモリと、
該メモリに記憶されている実行可能な命令を実行して、上記方法を実現するためのプロセッサと、を備える。
ステップS32において、該生成モデルの生成パラメータを固定し、該予測画像、該第1訓練画像及び識別目的関数に基づいて、該識別モデルに対して逆伝播訓練を行い、該識別モデルの識別パラメータに対して調整を行う。
ステップS231において、画素レベル誤差を算出する。
処理対象画像を取得するように構成される第1取得モジュール1541と、
該処理対象画像がグレースケール画像である場合、該処理対象画像における各画素点の特徴ベクトルを抽出し、該処理対象画像における各画素点に対応する近傍画像ブロックを決定するように構成される第1抽出モジュール1542と、
軽量化モデルを利用して、各画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のターゲット画像を得るように構成される第1処理モジュール1543であって、該軽量化モデルは、訓練されたニューラルネットワークモデルに対して軽量化処理を行うことで得られたものである、第1処理モジュール1543と、
該ターゲット画像を出力するように構成される出力モジュール1544と、を備える。
該処理対象画像がカラー画像である場合、該処理対象画像をYUV色域に変換し、Yチャンネル処理対象画像とUVチャンネル処理対象画像を得るように構成される色域変換モジュールと、
該Yチャンネル処理対象画像における各Yチャンネル画素点の特徴ベクトルを抽出し、該各Yチャンネル画素点に対応する近傍画像ブロックを決定するように構成される第2抽出モジュールと、
該軽量化モデルを利用して、該各Yチャンネル画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のYチャンネルターゲット画像を得るように構成される第2処理モジュールと、
所定の画像処理アルゴリズムを利用して、該UVチャンネル処理対象画像に対して処理を行い、UVチャンネルターゲット画像を得るように構成される第3処理モジュールと、
該Yチャンネルターゲット画像とUVチャンネルターゲット画像に基づいて、ターゲット画像を決定するように構成される第1決定モジュールであって、該ターゲット画像の色域は、処理対象画像の色域と同じである、第1決定モジュールと、を更に備える。
処理対象ビデオファイルを取得し、
該ビデオファイルに対して復号を行い、該ビデオファイルにおける各ビデオフレーム画像を得、
該各ビデオフレーム画像を該処理対象画像として決定するように構成される。
該処理対象画像に対応する第1方向勾配図と第2方向勾配図を決定し、
該処理対象画像における各画素点の、第1方向勾配図における第1勾配近傍ブロックと第2方向勾配図における第2勾配近傍ブロックを決定し、
該各画素点の第1勾配近傍ブロックと第2勾配近傍ブロックに基づいて、該各画素点の特徴ベクトルを決定するように構成される。
該各画素点の第1勾配近傍ブロックと第2勾配近傍ブロックに基づいて、前記各画素点の共分散行列を決定し、
各共分散行列に対応する各第1特徴値と各第2特徴値を決定し、
該各画素点の近傍画像ブロックに対応する各分散値を決定し、
該各第1特徴値、各第2特徴値及び各分散値に基づいて、該各画素点の特徴ベクトルを決定するように構成される。
訓練データと所定のニューラルネットワークモデルを取得するように構成される第2取得モジュールであって、該訓練データは、第1訓練画像と第2訓練画像を含み、該第2訓練画像は、該第1訓練画像に対してダウンサンプリングを行うことで得られたものであり、該ニューラルネットワークモデルは、生成モデルと識別モデルを含む、第2取得モジュールと、
該ニューラルネットワークモデルを利用して、該第2訓練画像に対して処理を行い、予測画像を得るように構成される第4処理モジュールと、
該予測画像、該第1訓練画像及び所定の目的関数に基づいて、該ニューラルネットワークモデルに対して逆伝播訓練を行い、訓練されたニューラルネットワークモデルを得るように構成されるモデル訓練モジュールと、を更に備える。
所定の訓練完了条件に達して、訓練されたニューラルネットワークモデルを得るまで、
該識別モデルの識別パラメータを固定し、該予測画像、該第1訓練画像及び生成目的関数に基づいて、該生成モデルに対して逆伝播訓練を行い、該生成モデルの生成パラメータに対して調整を行い、
該生成モデルの生成パラメータを固定し、該予測画像、該第1訓練画像及び識別目的関数に基づいて、該識別モデルに対して逆伝播訓練を行い、該識別モデルの識別パラメータに対して調整を行う、ように構成される。
該予測画像と該第1訓練画像との画素レベル誤差値とコンテンツ誤差値を決定するように構成される第2決定モジュールと、
該予測画像と該識別モデルに基づいて、該予測画像の第1画素識別誤差値と第1グローバル識別誤差値を決定するように構成される第3決定モジュールと、
所定の生成重み値、該画素レベル誤差値、該コンテンツ誤差値、該第1画素識別誤差値及び該第1グローバル識別誤差値に基づいて、生成目的関数を決定するように構成される第4決定モジュールと、を更に備える。
該予測画像と該識別モデルに基づいて、該予測画像の第2画素識別誤差値と第2グローバル識別誤差値を決定するように構成される第5決定モジュールと、
該第1訓練画像と該識別モデルに基づいて、該第1訓練画像の第3画素識別誤差値と第3グローバル識別誤差値を決定するように構成される第6決定モジュールと、
所定の識別重み値、該第2画素識別誤差値、該第2グローバル識別誤差値、該第3画素識別誤差値及び該第3グローバル識別誤差値に基づいて、識別目的関数を決定するように構成される第7決定モジュールと、を更に備える。
該処理対象画像における各画素点に対応する特徴ベクトルに基づいて、特徴空間を決定するように構成される第8決定モジュールと、
該特徴空間を所定の分割ルールに応じてN個の特徴部分空間に分割し、該N個の特徴部分空間に対応するN個の中心座標をそれぞれ決定するように構成される部分空間分割モジュールと、
該N個の中心座標を該訓練されたニューラルネットワークモデルにそれぞれ入力し、N個の特徴部分空間のN個の畳み込みカーネルを得るように構成される第1入力モジュールと、
該N個の特徴部分空間と該N個の畳み込みカーネルを該軽量化モデルとして決定するように構成される第9決定モジュールと、を更に備える。
該処理対象画像における各画素点に対応する特徴ベクトルに基づいて、決定木を構築するように構成される決定木構築モジュールと、
該決定木における各リーフノードを該訓練されたニューラルネットワークモデルにそれぞれ入力し、各リーフノードに対応する畳み込みカーネルを得るように構成される第2入力モジュールと、
該各リーフノード及び対応する畳み込みカーネルを該軽量化モデルとして決定するように構成される第10決定モジュールと、を更に備える。
該各画素点の特徴ベクトルと該軽量化モデルに基づいて、各画素点に対応する畳み込みカーネルを決定し、
該各画素点の近傍画像ブロック及び対応する各畳み込みカーネルに対して畳み込み演算を行い、該各画素点の処理後の画素値を得、
各画素点の処理後の画素値に基づいて、処理後のターゲット画像を決定するように構成される。
110 プロセッサ
120 ネットワークインタフェース
130 ユーザインタフェース
131 出力装置
132 入力装置
150 メモリ
151 オペレーティングシステム
152 ネットワーク通信モジュール
153 入力処理モジュール
154 画像処理装置
1541 第1取得モジュール
1542 第1抽出モジュール
1543 第1処理モジュール
1544 出力モジュール
Claims (15)
- 画像処理機器が実行する画像処理方法であって、
処理対象画像を取得するステップと、
前記処理対象画像がグレースケール画像である場合、前記処理対象画像における各画素点の特徴ベクトルを抽出し、前記各画素点に対応する近傍画像ブロックを決定するステップと、
軽量化モデルを利用して、各画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のターゲット画像を得るステップであって、前記軽量化モデルは、訓練されたニューラルネットワークモデルに対して軽量化処理を行うことで得られたものである、ステップと、
前記ターゲット画像を出力するステップと、を含む、画像処理方法。 - 前記処理対象画像がカラー画像である場合、前記処理対象画像を輝度クロマ(YUV)色域に変換し、輝度(Y)チャンネル処理対象画像とクロマ(UV)チャンネル処理対象画像を得るステップと、
前記Yチャンネル処理対象画像における各Yチャンネル画素点の特徴ベクトルを抽出し、前記各Yチャンネル画素点に対応する近傍画像ブロックを決定するステップと、
前記軽量化モデルを利用して、前記各Yチャンネル画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のYチャンネルターゲット画像を得るステップと、
所定の画像処理アルゴリズムを利用して、前記UVチャンネル処理対象画像に対して処理を行い、UVチャンネルターゲット画像を得るステップと、
前記Yチャンネルターゲット画像とUVチャンネルターゲット画像に基づいて、ターゲット画像を決定するステップであって、前記ターゲット画像の色域は、処理対象画像の色域と同じである、ステップと、を更に含む、
請求項1に記載の方法。 - 処理対象画像を取得する前記ステップは、
処理対象ビデオファイルを取得するステップと、
前記処理対象ビデオファイルに対して復号を行い、前記処理対象ビデオファイルにおける各ビデオフレーム画像を得るステップと、
前記各ビデオフレーム画像を前記処理対象画像として決定するステップと、を含む、
請求項1に記載の方法。 - 前記処理対象画像における各画素点の特徴ベクトルを抽出する前記ステップは、
前記処理対象画像に対応する第1方向勾配図と第2方向勾配図を決定するステップと、
前記処理対象画像における各画素点の、第1方向勾配図における第1勾配近傍ブロックと第2方向勾配図における第2勾配近傍ブロックを決定するステップと、
前記各画素点の第1勾配近傍ブロックと第2勾配近傍ブロックに基づいて、前記各画素点の特徴ベクトルを決定するステップと、を含む、
請求項1に記載の方法。 - 前記各画素点の第1勾配近傍ブロックと第2勾配近傍ブロックに基づいて、前記各画素点の特徴ベクトルを決定する前記ステップは、
前記各画素点の第1勾配近傍ブロックと第2勾配近傍ブロックに基づいて、前記各画素点の共分散行列を決定するステップと、
各共分散行列に対応する各第1特徴値と各第2特徴値を決定するステップと、
前記各画素点の近傍画像ブロックに対応する各分散値を決定するステップと、
前記各第1特徴値、各第2特徴値及び各分散値に基づいて、前記各画素点の特徴ベクトルを決定するステップと、を含む、
請求項4に記載の方法。 - 訓練データと所定のニューラルネットワークモデルを取得するステップであって、前記訓練データは、第1訓練画像と第2訓練画像を含み、前記第2訓練画像は、前記第1訓練画像に対してダウンサンプリングを行うことで得られたものであり、前記ニューラルネットワークモデルは、生成モデルと識別モデルを含む、ステップと、
前記ニューラルネットワークモデルを利用して、前記第2訓練画像に対して処理を行い、予測画像を得るステップと、
前記予測画像、前記第1訓練画像及び所定の目的関数に基づいて、前記ニューラルネットワークモデルに対して逆伝播訓練を行い、訓練されたニューラルネットワークモデルを得るステップと、を更に含む、
請求項1から5のうちいずれか一項に記載の方法。 - 前記所定の目的関数は、生成目的関数と識別目的関数を含み、前記予測画像、前記第1訓練画像及び所定の目的関数に基づいて、前記ニューラルネットワークモデルに対して逆伝播訓練を行い、訓練されたニューラルネットワークモデルを得る前記ステップは、
所定の訓練完了条件に達して、訓練されたニューラルネットワークモデルを得るまで、
前記識別モデルの識別パラメータを固定し、前記予測画像、前記第1訓練画像及び生成目的関数に基づいて、前記生成モデルに対して逆伝播訓練を行い、前記生成モデルの生成パラメータに対して調整を行い、
前記生成モデルの生成パラメータを固定し、前記予測画像、前記第1訓練画像及び識別目的関数に基づいて、前記識別モデルに対して逆伝播訓練を行い、前記識別モデルの識別パラメータに対して調整を行う、ステップを含む、
請求項6に記載の方法。 - 前記予測画像と前記第1訓練画像との画素レベル誤差値とコンテンツ誤差値を決定するステップと、
前記予測画像と前記識別モデルに基づいて、前記予測画像の第1画素識別誤差値と第1グローバル識別誤差値を決定するステップと、
所定の生成重み値、前記画素レベル誤差値、前記コンテンツ誤差値、前記第1画素識別誤差値及び前記第1グローバル識別誤差値に基づいて、生成目的関数を決定するステップと、を更に含む、
請求項7に記載の方法。 - 前記予測画像と前記識別モデルに基づいて、前記予測画像の第2画素識別誤差値と第2グローバル識別誤差値を決定するステップと、
前記第1訓練画像と前記識別モデルに基づいて、前記第1訓練画像の第3画素識別誤差値と第3グローバル識別誤差値を決定するステップと、
所定の識別重み値、前記第2画素識別誤差値、前記第2グローバル識別誤差値、前記第3画素識別誤差値及び前記第3グローバル識別誤差値に基づいて、識別目的関数を決定するステップと、を更に含む、
請求項7に記載の方法。 - 前記処理対象画像における各画素点に対応する特徴ベクトルに基づいて、特徴空間を決定するステップと、
前記特徴空間を所定の分割ルールに応じてN個の特徴部分空間に分割し、前記N個の特徴部分空間に対応するN個の中心座標をそれぞれ決定するステッであって、Nは、2よりも大きい整数である、ステップと、
前記N個の中心座標を前記訓練されたニューラルネットワークモデルにそれぞれ入力し、N個の特徴部分空間のN個の畳み込みカーネルを得るステップと、
前記N個の特徴部分空間と前記N個の畳み込みカーネルを前記軽量化モデルとして決定するステップと、を更に含む、
請求項1に記載の方法。 - 前記処理対象画像における各画素点に対応する特徴ベクトルに基づいて、決定木を構築するステップと、
前記決定木における各リーフノードを前記訓練されたニューラルネットワークモデルにそれぞれ入力し、各リーフノードに対応する畳み込みカーネルを得るステップと、
前記各リーフノード、及び前記各リーフノードに対応する畳み込みカーネルを前記軽量化モデルとして決定するステップと、を更に含む、
請求項1に記載の方法。 - 軽量化モデルを利用して、各画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のターゲット画像を得る前記ステップは、
前記各画素点の特徴ベクトルと前記軽量化モデルに基づいて、各画素点に対応する各畳み込みカーネルを決定するステップと、
前記各画素点の近傍画像ブロック、及び前記各画素点に対応する各畳み込みカーネルに対して畳み込み演算を行い、前記各画素点の処理後の画素値を得るステップと、
各画素点の処理後の画素値に基づいて、処理後のターゲット画像を決定するステップと、を含む、
請求項10又は11に記載の方法。 - 画像処理装置であって、
処理対象画像を取得するように構成される第1取得モジュールと、
前記処理対象画像がグレースケール画像である場合、前記処理対象画像における各画素点の特徴ベクトルを抽出し、前記各画素点に対応する近傍画像ブロックを決定するように構成される第1抽出モジュールと、
軽量化モデルを利用して、各画素点の特徴ベクトルと近傍画像ブロックに対して処理を行い、処理後のターゲット画像を得るように構成される第1処理モジュールであって、前記軽量化モデルは、訓練されたニューラルネットワークモデルに対して軽量化処理を行うことで得られたものである、第1処理モジュールと、
前記ターゲット画像を出力するように構成される出力モジュールと、を備える、画像処理装置。 - 画像処理機器であって、
実行可能な命令を記憶するためのメモリと、
前記メモリに記憶されている実行可能な命令を実行して、請求項1から12のうちいずれか一項に記載の方法を実現するためのプロセッサと、を備える、画像処理機器。 - コンピュータ可読記憶媒体であって、プロセッサにより実行される時、請求項1から12のうちいずれか一項に記載の方法を実現させるための実行可能な命令を記憶した、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010495781.1 | 2020-06-03 | ||
CN202010495781.1A CN111402143B (zh) | 2020-06-03 | 2020-06-03 | 图像处理方法、装置、设备及计算机可读存储介质 |
PCT/CN2021/094049 WO2021244270A1 (zh) | 2020-06-03 | 2021-05-17 | 图像处理方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023523833A true JP2023523833A (ja) | 2023-06-07 |
JP7464752B2 JP7464752B2 (ja) | 2024-04-09 |
Family
ID=71431873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566432A Active JP7464752B2 (ja) | 2020-06-03 | 2021-05-17 | 画像処理方法、装置、機器及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220270207A1 (ja) |
EP (1) | EP4044106A4 (ja) |
JP (1) | JP7464752B2 (ja) |
CN (1) | CN111402143B (ja) |
WO (1) | WO2021244270A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402143B (zh) * | 2020-06-03 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN113936163A (zh) * | 2020-07-14 | 2022-01-14 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、终端以及存储介质 |
CN111932463B (zh) * | 2020-08-26 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN114173137A (zh) * | 2020-09-10 | 2022-03-11 | 北京金山云网络技术有限公司 | 视频编码方法、装置及电子设备 |
CN114266696A (zh) * | 2020-09-16 | 2022-04-01 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112333456B (zh) * | 2020-10-21 | 2022-05-10 | 鹏城实验室 | 一种基于云边协议的直播视频传输方法 |
CN112801879B (zh) * | 2021-02-09 | 2023-12-08 | 咪咕视讯科技有限公司 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
CN112837242B (zh) * | 2021-02-19 | 2023-07-14 | 成都国科微电子有限公司 | 一种图像降噪处理方法、装置、设备及介质 |
CN112991203B (zh) * | 2021-03-08 | 2024-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113128116B (zh) * | 2021-04-20 | 2023-09-26 | 上海科技大学 | 可用于轻量级神经网络的纯整型量化方法 |
CN113242440A (zh) * | 2021-04-30 | 2021-08-10 | 广州虎牙科技有限公司 | 直播方法、客户端、系统、计算机设备以及存储介质 |
CN113379629A (zh) * | 2021-06-08 | 2021-09-10 | 深圳思谋信息科技有限公司 | 卫星图像去噪方法、装置、计算机设备和存储介质 |
CN114066780B (zh) * | 2022-01-17 | 2022-06-03 | 广东欧谱曼迪科技有限公司 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
US20230252603A1 (en) * | 2022-02-08 | 2023-08-10 | Kyocera Document Solutions, Inc. | Mitigation of quantization-induced image artifacts |
CN117475367B (zh) * | 2023-06-12 | 2024-05-07 | 中国建筑第四工程局有限公司 | 基于多规则协调的污水图像处理方法及系统 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070086627A1 (en) * | 2005-10-18 | 2007-04-19 | Samsung Electronics Co., Ltd. | Face identification apparatus, medium, and method |
JP2010093650A (ja) | 2008-10-09 | 2010-04-22 | Nec Corp | 端末、画像表示方法及びプログラム |
CN104598908B (zh) * | 2014-09-26 | 2017-11-28 | 浙江理工大学 | 一种农作物叶部病害识别方法 |
EP3259914A1 (en) * | 2015-02-19 | 2017-12-27 | Magic Pony Technology Limited | Interpolating visual data |
US10235608B2 (en) * | 2015-12-22 | 2019-03-19 | The Nielsen Company (Us), Llc | Image quality assessment using adaptive non-overlapping mean estimation |
CN105930934B (zh) * | 2016-04-27 | 2018-08-14 | 第四范式(北京)技术有限公司 | 展示预测模型的方法、装置及调整预测模型的方法、装置 |
US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
CN108062744B (zh) * | 2017-12-13 | 2021-05-04 | 中国科学院大连化学物理研究所 | 一种基于深度学习的质谱图像超分辨率重建方法 |
KR101882704B1 (ko) * | 2017-12-18 | 2018-07-27 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US20190325293A1 (en) * | 2018-04-19 | 2019-10-24 | National University Of Singapore | Tree enhanced embedding model predictive analysis methods and systems |
US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
CN109308679B (zh) * | 2018-08-13 | 2022-08-30 | 深圳市商汤科技有限公司 | 一种图像风格转换方法及装置、设备、存储介质 |
CN109034102B (zh) * | 2018-08-14 | 2023-06-16 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
CN109063666A (zh) * | 2018-08-14 | 2018-12-21 | 电子科技大学 | 基于深度可分离卷积的轻量化人脸识别方法及系统 |
US11036789B2 (en) * | 2018-09-10 | 2021-06-15 | Algoface, Inc. | Computer vision neural network system |
CN109598676A (zh) * | 2018-11-15 | 2019-04-09 | 华南理工大学 | 一种基于哈达玛变换的单幅图像超分辨率方法 |
CN109409342A (zh) * | 2018-12-11 | 2019-03-01 | 北京万里红科技股份有限公司 | 一种基于轻量卷积神经网络的虹膜活体检测方法 |
CN109902720B (zh) * | 2019-01-25 | 2020-11-27 | 同济大学 | 基于子空间分解进行深度特征估计的图像分类识别方法 |
CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
CN110084108A (zh) * | 2019-03-19 | 2019-08-02 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于gan神经网络的行人重识别系统及方法 |
CN110136063B (zh) * | 2019-05-13 | 2023-06-23 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110348350B (zh) * | 2019-07-01 | 2022-03-25 | 电子科技大学 | 一种基于面部表情的驾驶员状态检测方法 |
CN110796101A (zh) * | 2019-10-31 | 2020-02-14 | 广东光速智能设备有限公司 | 一种嵌入式平台的人脸识别方法及系统 |
CN110907732A (zh) * | 2019-12-04 | 2020-03-24 | 江苏方天电力技术有限公司 | 基于pca-rbf神经网络的调相机故障诊断方法 |
CN111105352B (zh) * | 2019-12-16 | 2023-04-25 | 佛山科学技术学院 | 超分辨率图像重构方法、系统、计算机设备及存储介质 |
CN111402143B (zh) * | 2020-06-03 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-06-03 CN CN202010495781.1A patent/CN111402143B/zh active Active
-
2021
- 2021-05-17 JP JP2022566432A patent/JP7464752B2/ja active Active
- 2021-05-17 EP EP21817967.9A patent/EP4044106A4/en active Pending
- 2021-05-17 WO PCT/CN2021/094049 patent/WO2021244270A1/zh unknown
-
2022
- 2022-05-03 US US17/735,942 patent/US20220270207A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN111402143A (zh) | 2020-07-10 |
JP7464752B2 (ja) | 2024-04-09 |
EP4044106A1 (en) | 2022-08-17 |
EP4044106A4 (en) | 2023-02-01 |
WO2021244270A1 (zh) | 2021-12-09 |
CN111402143B (zh) | 2020-09-04 |
US20220270207A1 (en) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464752B2 (ja) | 画像処理方法、装置、機器及びコンピュータプログラム | |
WO2021073493A1 (zh) | 图像处理方法及装置、神经网络的训练方法、合并神经网络模型的图像处理方法、合并神经网络模型的构建方法、神经网络处理器及存储介质 | |
WO2021018163A1 (zh) | 神经网络的搜索方法及装置 | |
CN108876792B (zh) | 语义分割方法、装置和系统及存储介质 | |
EP3716198A1 (en) | Image reconstruction method and device | |
CN111402130B (zh) | 数据处理方法和数据处理装置 | |
CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
KR20200128378A (ko) | 이미지 생성 네트워크의 훈련 및 이미지 처리 방법, 장치, 전자 기기, 매체 | |
CN111091010A (zh) | 相似度确定、网络训练、查找方法及装置和存储介质 | |
CN113066018A (zh) | 一种图像增强方法及相关装置 | |
KR20220070505A (ko) | 미세 구조 마스크를 사용한 다중 스케일 인자 이미지 슈퍼 해상도 | |
CN115792913A (zh) | 一种基于时空网络的雷达回波外推方法及系统 | |
US11948090B2 (en) | Method and apparatus for video coding | |
WO2024041235A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
Yamini et al. | Image colorization with deep convolutional open cv | |
CN117292007A (zh) | 图像生成方法及装置 | |
CN110442719A (zh) | 一种文本处理方法、装置、设备及存储介质 | |
CN113902995B (zh) | 一种多模态人体行为识别方法及相关设备 | |
Shaharabany et al. | End-to-end segmentation of medical images via patch-wise polygons prediction | |
Orhei | Urban landmark detection using computer vision | |
WO2021008206A1 (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
CN113901247A (zh) | 一种光学图像目标检测的方法及计算设备 | |
CN117094362B (zh) | 一种任务处理方法及相关装置 | |
CN116152623B (zh) | 基于多粒度特征融合的全景图像描述方法与系统 | |
US20240135490A1 (en) | Image processing method and device, training method of neural network, image processing method based on combined neural network model, constructing method of combined neural network model, neural network processor, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240328 |