JP2023522818A - 画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム - Google Patents
画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム Download PDFInfo
- Publication number
- JP2023522818A JP2023522818A JP2022551056A JP2022551056A JP2023522818A JP 2023522818 A JP2023522818 A JP 2023522818A JP 2022551056 A JP2022551056 A JP 2022551056A JP 2022551056 A JP2022551056 A JP 2022551056A JP 2023522818 A JP2023522818 A JP 2023522818A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sample
- pixel point
- optimization model
- optimized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 259
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000012549 training Methods 0.000 title claims abstract description 56
- 230000006870 function Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 46
- 230000000875 corresponding effect Effects 0.000 claims description 31
- 230000002596 correlated effect Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 27
- 238000002591 computed tomography Methods 0.000 description 23
- BXBVPYSHEOQGHP-UHFFFAOYSA-N Nordihydrocapsiate Chemical compound COC1=CC(COC(=O)CCCCCC(C)C)=CC=C1O BXBVPYSHEOQGHP-UHFFFAOYSA-N 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本願は、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供し、ここで、画像最適化モデルの訓練方法は、第1サンプル画像及び第2サンプル画像を取得することであって、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得することと、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得することと、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得することと、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することと、を含む。このようにして、画像最適化品質を向上させることができ、低線量CT画像の最適化に適用して、低線量CT画像の最適化品質を向上させることができる。【選択図】図1
Description
関連出願への相互参照
本願は、2021年03月30日に中国特許局に提出された、出願番号が202110341708.3であり、出願人が「上海商湯智能科技有限公司」であり、発明の名称が「画像最適化方法及び関連モデルの訓練方法並びに関連装置、機器」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれる。
本願は、2021年03月30日に中国特許局に提出された、出願番号が202110341708.3であり、出願人が「上海商湯智能科技有限公司」であり、発明の名称が「画像最適化方法及び関連モデルの訓練方法並びに関連装置、機器」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれる。
本願は、人工知能技術の分野に関し、特に、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムに関する。
電子情報技術の発展に伴い、画像データはビデオ監視や医療検査などの多くのシナリオに適用されている。例えば、医療検査のシナリオにおいて、コンピュータ断層撮影(CT:Computed Tomography)画像は、補助診断や手術計画などの臨床診療に不可欠な部分になっている。その中でも、低線量CT(LDCT:Low-Dose Computed Tomography)画像は、放射線量が少ないため、人的被害を大幅に軽減するなどの優れたメリットがある。
本願実施例は、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供する。
本願実施例は、電子機器によって実行される画像最適化モデルの訓練方法を提供し、前記方法は、第1サンプル画像及び第2サンプル画像を取得することであって、ここで、第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、且つ第2サンプル画像の画質は、第1サンプル画像の画質より良好であることと、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得することと、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得することと、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得することであって、ここで、第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応することと、及び第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することと、を含む。
したがって、第1サンプル画像及び第2サンプル画像を取得し、且つ第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、第2サンプル画像の画質は、第1サンプル画像の画質より良好であり、これに基づいて、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得し、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、及び第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得し、且つ第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応し、それにより、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができ、構造的特徴情報は、画質が良好な第2サンプル画像における第1サンプル画素点に対応する第2サンプル画素点を含む局所領域の分析に基づいて取得されるので、構造的特徴情報の精度を確保することができ、これに基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得し、それにより、第1損失値の精度を向上させることができ、且つ第1サンプル画素点の第1損失値はすべて、対応する第2サンプル画素点を含む局所領域の構造的特徴情報を参照するので、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
いくつかの実施例では、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得することは、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得することと、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得することと、及び、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第1損失値を取得することと、を含む。
したがって、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得することにより、重み係数の精度を向上させることができ、同時に、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得し、これに基づいて、次に、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第1損失値を取得し、即ち、第1サンプル画素点の第1損失値は、少なくとも1つの所定の構造の重み係数と、少なくとも1つの所定の構造のサブ損失値を異なる程度で組み合わせることに基づいて取得されるものであるので、各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するプロセスで、画像最適化の平滑性を向上させることができる。
いくつかの実施例では、少なくとも1つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも1つを含み、構造的特徴情報は、強度及び相関度を含み、ここで、サイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、サイドバンド構造には、エッジ方向の相関が存在し、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度は、サイドバンド構造の重み係数と正の相関関係にあり、強度は、細粒構造の重み係数と正の相関関係にある。
したがって、少なくとも1つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも1つを含み、構造的特徴情報は、強度及び相関度を含み、且つサイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、サイドバンド構造には、エッジ方向の相関が存在し、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度は、サイドバンド構造の重み係数と正の相関関係にあり、強度は、細粒構造の重み係数と正の相関関係にあるので、構造的特徴情報に基づいて重み係数を正確に決定することができる。
いくつかの実施例では、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得することは、第1調整係数に基づいて、フラット構造の重み係数を取得すること、強度に基づいて、細粒構造の重み係数を取得すること、相関度と第2調整係数の積に基づいて、サイドバンド構造の重み係数を取得することのうちの少なくとも1つを含む。
したがって、第1調整係数に基づいて、フラット構造の重み係数を取得し、強度に基づいて、細粒構造の重み係数を取得し、及び相関度と第2調整係数の積に基づいて、サイドバンド構造の重み係数を取得することにより、第1調整係数及び第2調整係数に基づいて、第1損失値における、異なる所定の構造のサブ損失値の相対的な割合を調整することができ、第1損失値の精度を向上させることができる。
いくつかの実施例では、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得することは、第1損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第1の差に基づいて、フラット構造の第1サブ損失値を決定すること、第2損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第2の差に基づいて、サイドバンド構造の第2サブ損失値を決定すること、第3損失関数によって取得された第2サンプル画像における第2サンプル画素点を含む局所領域と、サンプル最適化画像における第3サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第3サブ損失値を決定することのうちの少なくとも1つを含み、ここで、第1の差は、第1サブ損失値と正の相関関係にあり、第2の差は、第2サブ損失値と正の相関関係にあり、類似度は、第3サブ損失値と負の相関関係にある。
したがって、第1損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第1の差に基づいて、フラット構造の第1サブ損失値を決定し、第1の差は、第1サブ損失値と正の相関関係にあり、それにより、フラット構造の第1サブ損失値の精度を向上させることができ、第2損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第2の差に基づいて、サイドバンド構造の第2サブ損失値を決定し、且つ第2の差は、第2サブ損失値と正の相関関係にあり、それにより、サイドバンド構造の第2サブ損失値の精度を向上させることができ、及び第3損失関数によって取得された第2サンプル画像における第2サンプル画素点を含む局所領域と、サンプル最適化画像における第3サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第3サブ損失値を決定し、且つ類似度は、第3サブ損失値と負の相関関係にあり、それにより、第3サブ損失値の精度を向上させることができる。
いくつかの実施例では、第1損失値は、少なくとも1つの所定の構造の重み係数によって、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することは、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値より低い重み係数が属する所定の構造を、目標構造として使用することと、目標構造の損失関数を使用して、第3サンプル画素点及び第2サンプル画素点を処理して、第1サンプル画素点の第2損失値を取得することと、各第1サンプル画素点の第1損失値及び第2損失値に基づいて、画像最適化モデルの総損失値を取得することと、及び、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整することと、を含む。
したがって、第1損失値は、少なくとも1つの所定の構造の重み係数によって、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであるので、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値より低い重み係数が属する所定の構造を目標構造として使用し、これに基づいて、目標構造の損失関数を使用して、第3サンプル画素点及び第2サンプル画素点を処理して、第1サンプル画素点の第2損失値を取得し、それにより、各第1サンプル画素点の第1損失値及び第2損失値に基づいて、画像最適化モデルの総損失値を取得し、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整することができ、したがって、特定の所定の構造の重み係数が低い場合、当該所定の構造のサブ損失値の割合を適当に増やすことができ、総損失値の精度を向上し、さらに、画像最適化モデルの精度を向上させることができる。
いくつかの実施例では、第2サンプル画像における第1サンプル画素点に対応する第2サンプル画素点を含む局所領域の構造的特徴情報を取得することは、第2サンプル画像における第2サンプル画素点を含む局所領域の、第1方向における第1勾配情報及び第2方向における第2勾配情報をそれぞれ抽出することと、及び、第1勾配情報及び第2勾配情報に基づいて、構造的特徴情報を取得することと、を含む。
したがって、第2サンプル画像における第2サンプル画素点を含む局所領域の、第1方向における第1勾配情報及び第2方向における第2勾配情報をそれぞれ抽出し、上記の第1勾配情報及び第2勾配情報に基づいて、構造的特徴情報を取得することにより、構造的特徴情報の精度を向上させることができる。
いくつかの実施例では、第1サンプル画像及び第2サンプル画像は、いずれも医用画像であり、且つ第1サンプル画像は、低線量CT画像を含み、第2サンプル画像は、通常線量CT画像を含み、及び/又は、第1サンプル画像における第1サンプル画素点の位置情報と、第2サンプル画像における第2サンプル画素点の位置情報が同じである場合、第1サンプル画素点及び第2サンプル画素点は、オブジェクト上の同じ3次元ポイントに対応し、及び/又は、第2サンプル画像における第2サンプル画素点を含む局所領域は、第2サンプル画素点を中心とする画像領域である。
したがって、第1サンプル画像及び第2サンプル画像の両方を医用画像として設定し、且つ第1サンプル画像は、低線量CT画像を含み、第2サンプル画像は、通常線量のCT画像を含むことにより、訓練のプロセスで、通常線量のCT画像を使用して画像最適化モデルの訓練を監視し、最終的に訓練して取得された画像最適化モデルを、低線量CT画像の最適化に適用し、一方、第1サンプル画像における第1サンプル画素点の位置情報と、第2サンプル画像における第2サンプル画素点の位置情報が同じである場合、第1サンプル画素点と第2サンプル画素点は、オブジェクト上の同じ3次元ポイントに対応し、即ち、第1サンプル画像の第1サンプル画素点と第2サンプル画像の第2サンプル画素点は、同じ位置が1対1で対応する関係を有し、それにより、画像最適化モデルの精度を向上させることができ、さらに、第2サンプル画像における第2サンプル画素点を含む局所領域は、第2サンプル画素点を中心とする画像領域であり、即ち、第1画素点に対応する第2画素点は、局所領域の中心に位置する場合、第2画素点が局所領域の隅に位置する場合と比較すると、局所領域における第2画素点近くの画素点の数を増やすことができ、それにより、構造的特徴情報の精度を向上させることができる。
本願実施例は、画像最適化方法を提供し、前記方法は、最適化対象の画像を取得することと、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得することを含み、ここで、画像最適化モデルは、上記の第1態様における画像最適化モデルの訓練方法を使用することによって取得されるものである。
したがって、最適化対象の画像を取得し、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得し、且つ画像最適化モデルは、上記の第1態様における画像最適化モデルの訓練方法を使用することによって取得されるものであるので、画像最適化の品質を向上させることができる。
いくつかの実施例では、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得することは、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第1画素点の最適化パラメータを取得することと、各第1画素点の最適化パラメータをそれぞれ使用して、第1画素点に対して最適化を実行して、最適化された画像を取得することと、を含む。
したがって、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第1画素点の最適化パラメータを取得し、各第1画素点の最適化パラメータをそれぞれ使用して、第1画素点に対して最適化を実行して、最適化された画像を取得し、最適化プロセスで、最適化対象の画像の各画素位置の最適化パラメータを取得できるので、一方では、各画素位置で微分最適化を実現することができ、もう一方、画像最適化モデルの解釈可能性を向上させることができる。
いくつかの実施例では、最適化パラメータは、所定のサイズの畳み込みカーネルを含み、各第1画素点の最適化パラメータをそれぞれ使用して、第1画素点に対して最適化を実行して、最適化された画像を取得することは、各第1画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第1画素点を含む画像領域を処理して、最適化された画像内の、第1画素点に対応する第2画素点を取得することを含み、ここで、画像領域のサイズは、所定のサイズである。
したがって、最適化パラメータは、所定のサイズの畳み込みカーネルを含み、それにより、各第1画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第1画素点を含み且つ所定のサイズである画像領域を処理して、最適化された画像内の、第1画素点に対応する第2画素点を取得し、即ち、各画素位置で、対応する畳み込みカーネルを使用して、当該画素位置を含む画像領域を処理するだけでよく、それにより、各画素位置での最適化の複雑さを軽減することができる。
本願実施例は、画像最適化モデルの訓練装置を提供し、前記装置は、画像取得モジュール、画像最適化モジュール、損失計算モジュール、及びパラメータ調整モジュールを備え、画像取得モジュールは、第1サンプル画像及び第2サンプル画像を取得するように構成され、ここで、第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、且つ第2サンプル画像の画質は、第1サンプル画像の画質より良好であり、画像最適化モジュールは、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得するように構成され、損失計算モジュールは、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得するように構成され、ここで、第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応し、パラメータ調整モジュールは、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整するように構成される。
本願実施例は、画像最適化装置を提供し、前記装置は、画像取得モジュール及び画像最適化モジュールを備え、画像取得モジュールは、最適化対象の画像を取得するように構成され、画像最適化モジュールは、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得するように構成され、ここで、画像最適化モデルは、上記の実施例のいずれかにおける画像最適化モデルの訓練装置を使用することによって取得されるものである。
本願実施例は、相互に結合されているメモリと、プロセッサと、を備える、電子機器を提供し、プロセッサは、メモリに記憶されたプログラムを実行することにより、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
本願実施例は、プログラム命令を記憶したコンピュータ可読記憶媒体を提供し、プログラム命令は、プロセッサによって実行されるときに、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサが、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
本願実施例は、少なくとも画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供し、第1サンプル画像及び第2サンプル画像を取得し、且つ第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、第2サンプル画像の画質は、第1サンプル画像の画質より良好であり、これに基づいて、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得し、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、及び第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得し、且つ第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応し、それにより、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができ、構造的特徴情報は、画質の良好な第2サンプル画像における第1サンプル画素点に対応する第2サンプル画素点を含む局所領域の分析に基づいて取得されるので、構造的特徴情報の精度を確保することができ、これに基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得し、それにより、第1損失値の精度を向上させることができ、且つ第1サンプル画素点の第1損失値はすべて、対応する第2サンプル画素点を含む局所領域の構造的特徴情報を参照するので、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
本願の実施例の技術的解決策をより明確に説明するために、以下では、実施例又は背景技術の説明に必要な図面を簡単に説明する。
ここでの図面は、本明細書に組み込まれ、本明細書の一部を構成し、これらの図面は、本願に準拠する実施例を示し、本明細書とともに本願実施例の技術的解決策を説明するために使用される。
当業者が本願の技術案をよりよく理解できるようにするために、以下では、本願の実施例における図面を参照して、本願の実施例の技術的解決策について、明確且つ完全に説明するが、明らかに、説明される実施例は、本願の実施例の一部のみであり、全部の実施例ではない。本願の実施例に基づいて、創造的な作業なしに当業者によって得られた他のすべての実施例は、本願の保護範囲に含まれるものとする。
以下では、図面を参照して、本願の実施例における解決策を詳細に説明する。
以下の説明では、本願の実施例を完全に理解するために、特定のシステム構造、インターフェース、及び技術などの特定の詳細が提案されるが、これらは、本願の実施例を説明するためのものであり、限定するものではない。
本明細書における「システム」及び「ネットワーク」という用語は、本明細書で常に互換可能に使用される。本明細書における「及び/又は」という用語は、関連付けられた関係についてのみ説明し、3つの関係が存在し得ることを表示し、例えば、A及び/又はBは、Aが独立で存在する場合、AとBの両方が存在する場合、Bが独立で存在する場合の3つの場合を表示することができる。さらに、本明細書における記号「/」は、通常、関連付けられた対象間の関係が、「又は」という関係にあることを表示する。さらに、本明細書における「複数」は、2つ又は2つ以上であることを表示する。
図1を参照すると、図1は、本願実施例による画像最適化モデルの訓練方法のフローチャートである。図1に示されるように、画像最適化モデルの訓練方法は、以下のステップを含み得る。
ステップS11において、第1サンプル画像及び第2サンプル画像を取得する。
本願実施例では、第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、且つ第2サンプル画像の画質は、第1サンプル画像の画質より優れる。画質は、ノイズ、アーティファクトなどの観点から測定できることに留意されたい。例えば、第2サンプル画像のノイズは、第1サンプル画像のノイズより小さく、又は、第2サンプル画像のアーティファクトは、第1サンプル画像のアーティファクトより小さい。
いくつかの実施例では、医療シナリオを例にとると、低線量でオブジェクトをスキャンして、LDCT画像(即ち、低線量CT画像)を第1サンプル画像として取得し、通常線量でオブジェクトをスキャンして、NDCT画像(即ち、通常線量のCT画像)を第2サンプル画像として取得することができる。例えば、30ミリアンペア(mA)、90mA、150mA、210mAなどをLDCT電流として使用し、270mAなどをNDCT電流として使用することができ、ここでは限定しない。又は、所定のシナリオを例にとると、標準解像度のレンズでオブジェクトを撮影して取得された撮影画面を、第1サンプル画像として使用し、高解像度のレンズでオブジェクトを撮影して取得された撮影画面を第2サンプル画像として使用することができる。他のシナリオもこのように類推でき、ここでは繰り返して説明しない。
いくつかの実施例では、第1サンプル画像及び第2サンプル画像を取得する複雑さを軽減するために、まず、第2サンプル画像を取得し、第2サンプル画像に対してノイズ処理を実行して、第1サンプル画像を取得することもできる。引き続き、医療シナリオを例にとると、通常線量でオブジェクトをスキャンして、NDCT画像を第2サンプル画像として取得し、NDCT画像に対してノイズ処理を実行して、第1サンプル画像を取得することができ、又は、所定のシナリオを例にとると、高解像度のレンズでオブジェクトを撮影して撮影画面を第2サンプル画像として取得し、モニタリング画面に対してノイズ処理を実行して、第1サンプル画像を取得することができる。他のシナリオもこのように類推でき、ここでは繰り返して説明しない。
いくつかの実施例では、前述のように、第1サンプル画像及び第2サンプル画像は、実際の適用シナリオに応じて設定でき、これに基づいて、第1サンプル画像及び第2サンプル画像に含まれる同じオブジェクトも実際の適用シナリオに基づいて設定することができる。引き続き医療シナリオを例にとると、第1サンプル画像及び第2サンプル画像に含まれる同じオブジェクトは、骨格、及び肝臓、脾臓、胆嚢、膵臓、胃などの臓器を含み得るが、これらに限定されない。他のシナリオもこのように類推でき、ここでは繰り返して説明しない。
いくつかの実施例では、訓練の精度を向上させるために、第1サンプル画像における第1サンプル画素点の位置情報と、第2サンプル画像における第2サンプル画素点の位置情報が同じである場合、第1サンプル画素点と第2サンプル画素点は、オブジェクト上の同じ3次元ポイントに対応する。例えば、第1サンプル画像における第i行第j列に位置する第1サンプル画素点と、第2サンプル画像における第i行第j列に位置する第2サンプル画素点は、オブジェクト上の同じ3次元ポイントに対応する。したがって、第1サンプル画像の第1サンプル画素点と第2サンプル画像の第2サンプル画素点は、同じ位置が1対1で対応する関係を有し、画像最適化モデルの精度を向上させることができる。
ステップS12において、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得する。
一実装シナリオにおいて、第1サンプル画像を画像最適化モデルに入力して、サンプル最適化画像を取得でき、即ち、画像最適化モデルは、第1サンプル画像に対して直接最適化を実行して、サンプル最適化画像を取得することができる。画像最適化モデルは、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)などを含み得るが、ここでは限定しない。
別の実装シナリオにおいて、画像最適化モデルの解釈可能性を向上させるために、画像最適化モデルを使用して第1サンプル画像に対して予測を実行して、第1サンプル画像の各第1サンプル画素点のサンプル最適化パラメータを取得し、これに基づいて、各第1サンプル画素点のサンプル最適化パラメータをそれぞれ使用して第1サンプル画素点に対して最適化を実行して、サンプル最適化画像を取得することができる。画像最適化モデルは、カーネル予測ネットワーク(KPN:Kernel Prediction Network)などを含み得るが、ここでは限定しない。
いくつかの実施例では、図2を参照すると、図2は、本願実施例による画像最適化モデルのフレームワークの概略図である。図2に示されるように、画像最適化モデルは、予測サブネットワークを含み、予測サブネットワークを使用して、第1サンプル画像に対して予測を実行して、第1サンプル画像の各第1サンプル画素点のサンプル最適化パラメータを取得することができる。図2に示されるように、予測サブネットワークは、順次接続された畳み込み層、活性化層、畳み込み層、少なくとも1つの残差ブロック、畳み込み層、活性化層、畳み込み層、及び正規化指数関数(softmax)を含み得る。ここで、1番目及び2番目の畳み込み層は、いずれも3*3の畳み込みカーネルを含み、且つgroupパラメータは、2、又は1などの他の値に設定することができ、ここでは限定しない。残差ブロックの構築方法については、ここでは詳しく説明しない。さらに、残差ブロックの後の畳み込み層はすべて、1*1の畳み込みカーネルを含む。活性化層は、線形整流関数(ReLU:Rectified Linear Unit)であり得る。少なくとも1つの残差ブロックは、24個であり得、実際の応用に応じて25、26などの他の値に設定することができ、ここでは限定しない。
いくつかの実施例では、サンプル最適化パラメータは、所定のサイズの畳み込みカーネルを含み得、例えば、k*kの畳み込みカーネルであり得、当該畳み込みカーネルには、k*k個の重みが含まれる。第1サンプル画像のサイズがW*H*Cである場合を例にとると、ここで、Wは、幅を表し、Hは、高さを表し、Cは、カラーチャネルの数を表し、第1サンプル画像を画像最適化モデルに入力して、第1サンプル画像の各第1サンプル画素点のサンプル最適化パラメータを取得でき、即ち、各第1サンプル画素点のk*kの候補畳み込みカーネルを取得でき、したがって、上記の第1サンプル画像Xを画像最適化モデルFに入力して、出力
を取得でき、出力Zは、
として表すことができ、即ち、第1サンプル画像の各カラーチャネルの第1サンプル画素点ごとに、k*kの候補畳み込みカーネルを取得することができる。特に、第1サンプル画像Xがシングルチャネル画像の場合、出力Zは、
として表すことができる。図2を参照すると、図2に示されるように、上記の出力を取得した後、softmaxを使用して、上記の出力に対して正規化処理を実行して、各k*kの候補畳み込みカーネルVは、合計が1になるように拘束され、k*kの畳み込みカーネルを取得でき、即ち、各k*k畳み込みカーネルのすべての重みの合計は1である。したがって、畳み込みカーネルを使用して局所畳み込みを実行する後続のプロセスにおいて、局所畳み込み出力結果の一貫性を向上させることができる。
を取得でき、出力Zは、
として表すことができ、即ち、第1サンプル画像の各カラーチャネルの第1サンプル画素点ごとに、k*kの候補畳み込みカーネルを取得することができる。特に、第1サンプル画像Xがシングルチャネル画像の場合、出力Zは、
として表すことができる。図2を参照すると、図2に示されるように、上記の出力を取得した後、softmaxを使用して、上記の出力に対して正規化処理を実行して、各k*kの候補畳み込みカーネルVは、合計が1になるように拘束され、k*kの畳み込みカーネルを取得でき、即ち、各k*k畳み込みカーネルのすべての重みの合計は1である。したがって、畳み込みカーネルを使用して局所畳み込みを実行する後続のプロセスにおいて、局所畳み込み出力結果の一貫性を向上させることができる。
いくつかの実施例では、k*kの畳み込みカーネルの場合、k=2*r+1であり、ここで、rは、畳み込みカーネルの半分のサイズを表す。引き続き図2を参照すると、画像最適化モデルは、畳み込みサブネットワークを更に含み得、各第1サンプル画素点の畳み込みカーネルを取得した後、また、畳み込みサブネットワークに基づいて、各第1サンプル画素点の畳み込みカーネルをそれぞれ使用して、第1サンプル画素点に対して局所畳み込みを実行して、サンプル最適化画像を取得することもできる。例えば、畳み込みサブネットワークは、局所畳み込み層を含み、局所畳み込みのプロセスにおいて、第1サンプル画素点の畳み込みカーネルを使用して、第1サンプル画像における第1サンプル画素点を含み且つ所定のサイズ(即ち、k*k)である画像領域に対して畳み込み処理を実行して、サンプル最適化画像内の、第1サンプル画素点に対応する第3サンプル画素点を取得することができる。さらに、当該画像領域の中心は、第1サンプル画素点であり得る。説明の便宜上、第1サンプル画像Xの第m行第n列の第1サンプル画素点を例にとると、当該第1サンプル画素点に対応する第3サンプル画素点の画素値は、下記式(1)で表すことができる。
上記の式(1)において、
は、局所畳み込み動作を表し、s、tの値の範囲は、いずれも-r~rであり、即ち、画像領域で1つの画素点を選択し、第1サンプル画像Xにおける当該画素点の行数からmを引いたのはsであり、第1サンプル画像Xにおける当該画素点の列数からnを引いたのはtであることを表し、
は、第1サンプル画素点(m,n)の畳み込みカーネルの
番目の重みを表す。上記の式(1)に示されるように、第1サンプル画像Xの第1サンプル画素点(m,n)の場合、第1サンプル画像から第1サンプル画素点(m,n)を中心として、1つの所定のサイズ(即ち、k*k)の画像領域を選択し、画像領域の第i行第j列の画素点と、第1サンプル画素点(m,n)の畳み込みカーネルVの第i行第j列の重みの積を計算し、画像領域のすべての画素点に対応して求めた積を加算して、サンプル最適化画像内の、第1サンプル画素点に対応する第2サンプル画素点の画素値
を取得することができる。
は、局所畳み込み動作を表し、s、tの値の範囲は、いずれも-r~rであり、即ち、画像領域で1つの画素点を選択し、第1サンプル画像Xにおける当該画素点の行数からmを引いたのはsであり、第1サンプル画像Xにおける当該画素点の列数からnを引いたのはtであることを表し、
は、第1サンプル画素点(m,n)の畳み込みカーネルの
番目の重みを表す。上記の式(1)に示されるように、第1サンプル画像Xの第1サンプル画素点(m,n)の場合、第1サンプル画像から第1サンプル画素点(m,n)を中心として、1つの所定のサイズ(即ち、k*k)の画像領域を選択し、画像領域の第i行第j列の画素点と、第1サンプル画素点(m,n)の畳み込みカーネルVの第i行第j列の重みの積を計算し、画像領域のすべての画素点に対応して求めた積を加算して、サンプル最適化画像内の、第1サンプル画素点に対応する第2サンプル画素点の画素値
を取得することができる。
上記の式のように、本願実施例及び後述の実施例は、特に明記しない限り、「画素点を処理する」、「画素点に対して最適化を実行する」、「画素点に対して分析を実行する」などの説明はすべて、画素点の画素値に対して処理、最適化、又は分析を実行することを表すことに留意されたい。
ステップS13において、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得する。
本願実施例では、第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応する。つまり、第2サンプル画素点、第3サンプル画素点、及び第1サンプル画素点は、オブジェクト上の同じ3次元ポイントに対応する。いくつかの実施例では、前述のように、第1サンプル画像の第1サンプル画素点と第2サンプル画像の第2サンプル画素点は、同じ位置が1対1で対応する関係を有し、即ち、この場合、第1サンプル画像の第i行第j列に位置する第1サンプル画素点の場合、その対応する第2サンプル画素点も第2サンプル画像の第i行第j列に位置し、且つその対応する第3サンプル画素点もサンプル画像の第i行第j列に位置する。
いくつかの実施例では、第2サンプル画像における第2サンプル画素点を含む局所領域の、第1方向における第1勾配情報及び第2方向における第2勾配情報をそれぞれ抽出でき、これに基づいて、第1勾配情報及び第2勾配情報に基づいて、構造的特徴情報を取得することができる。このようにして、構造的特徴情報の精度を向上させることができる。
いくつかの実施例では、第2サンプル画素点を中心として、第2サンプル画像で1つの画像領域を、第2サンプル画素点を含む局所領域として決定することができる。説明の便宜上、当該局所領域のサイズは、
であり得る。例えば、
は、実際の応用に応じて設定でき、例えば、第2サンプル画像のサイズが大きい場合、
は、やや大きく設定することもでき、逆に、第2サンプル画像のサイズが小さい場合、
は、やや小さく設定することもでき、
の値は、ここでは限定しない。
であり得る。例えば、
は、実際の応用に応じて設定でき、例えば、第2サンプル画像のサイズが大きい場合、
は、やや大きく設定することもでき、逆に、第2サンプル画像のサイズが小さい場合、
は、やや小さく設定することもでき、
の値は、ここでは限定しない。
いくつかの実施例では、第1方向は、水平方向であり得、第2方向は、垂直方向であり得、即ち、第2サンプル画素点を含む局所領域の場合、当該局所領域における各画素点の水平方向上の第1勾配情報と垂直方向上の第2勾配情報を抽出することができる。
いくつかの実施例では、説明の便宜上、第1サンプル画素点(m,n)の場合、第2サンプル画素点を含む局所領域における各画素点の水平方向上の第1勾配情報は、
として表し、垂直方向上の第2勾配情報は、
として表すことができる。ここで、第1勾配情報
は、
として表すことができ、同様に、第2勾配情報
は、
として表すことができ、
は、当該局所領域に含まれる画素点の総数を表す。これに基づいて、第1勾配情報及び第2勾配情報に基づいて、勾配行列
を取得することができる。
として表し、垂直方向上の第2勾配情報は、
として表すことができる。ここで、第1勾配情報
は、
として表すことができ、同様に、第2勾配情報
は、
として表すことができ、
は、当該局所領域に含まれる画素点の総数を表す。これに基づいて、第1勾配情報及び第2勾配情報に基づいて、勾配行列
を取得することができる。
特異値分解(SVD:Singular Value Decomposition)を使用して、上記の勾配行列
を解いて、降順配列の特徴値
を求めることができ、即ち、特徴値
は特徴値
より大きい。特徴値
に基づいて、構造的特徴情報を取得することができる。
を解いて、降順配列の特徴値
を求めることができ、即ち、特徴値
は特徴値
より大きい。特徴値
に基づいて、構造的特徴情報を取得することができる。
いくつかの実施例では、構造的特徴情報は、強度及び相関度を含み得、ここで、強度は、画素値の急激な変化が存在する可能性を表し、且つ強度が大きいほど、画素値の急激な変化が存在する可能性は高くなり、この場合、局所領域に明らかな構造が存在する可能性は高くなり、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度が大きいほど、エッジ方向の相関が存在する可能性は高くなり、この場合、局所領域にサイドバンド構造が存在する可能性は高くなる。エッジの各セグメントは、画素値が急激に変化する少なくとも1つの位置で構成されたものであり、エッジ方向の相関関係は、エッジの2つの隣接するセグメント間の夾角が所定の条件を満たすことを表し、所定の条件は、隣接するエッジ間の夾角が所定の閾値より大きいことを含み得、所定の閾値は、170度、175度、180度など、180度に近くなるように設定でき、ここでは限定しないことに留意されたい。つまり、エッジ方向が相関である場合、各セグメントのエッジ方向は基本的に同じである。例えば、第1サンプル画素点(m,n)に対応する構造的特徴情報における強度と相関度は、次のように表すことができる。
いくつかの実施例では、前述のように、画素点に対応する構造的特徴情報は、強度及び相関度を含み得、これに基づいて、強度及び相関度に基づいて、当該画素点を含む局所領域の構造タイプを決定することができる。例えば、強度及び相関度の両方が高い場合、局所領域の構造タイプは、サイドバンド構造であると決定でき、強度が高く且つ相関度が低い場合、局所領域の構造タイプは、細粒構造であると決定でき、強度及び相関度の両方が低い場合、局所領域の構造タイプは、フラット構造であると決定できる。サイドバンド構造と細粒構造の両方に、画素値の急激な変化が存在し、即ち、両者には明らかな構造が存在し、区別としては、サイドバンド構造にエッジ方向の相関が存在するが、フラット構造には、画素値の急激な変化が存在せず、即ち、フラット構造の画素値の変化は、緩やかで、さらにほとんど変化しないことに留意されたい。
いくつかの実施例では、図3Aを参照すると、図3Aは、フラット構造、細粒構造、及びサイドバンド構造の概略図である。図3Aに示されるように、第1サンプル画像から、右下隅の長方形フレーム内の局所領域を選択し、当該局所領域は、図3Aのサイドバンド構造に対応し、第1サンプル画像から、上部の長方形フレーム内の局所領域を選択し、当該局所領域は、図3Aの細粒構造に対応し、及び第1サンプル画像から、左下隅の長方形フレーム内の局所領域を選択し、当該局所領域は、図3Aのフラット構造に対応する。図3Aのフラット構造の概略図に示されるように、局所領域における画素点の画素値は、明らかな変化はなく、このように、フラット構造には、明らかな構造は存在しなく、図3Aの細粒構造の概略図に示されるように、局所領域における画素点の画素値には急激な変化が存在し、このように、細粒構造には、明らかな構造は存在し、図3Aのサイドバンド構造の概略図に示されるように、局所領域における画素点の画素値には急激な変化が存在し、白い点線の各セグメントは、ピクセル値が急激に変化する少なくとも1つの位置によって形成されるエッジを表し、隣接するエッジ間の角度は180度に近く、このように、エッジ方向の相関が存在する。
いくつかの実施例では、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得し、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得することができ、これに基づいて、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理を実行して、第1損失値を取得することができる。第1損失値を取得するプロセスについては、以下の本願実施例の関連する説明を参照することができる。上記の方式では、第1サンプル画素点の第1損失値は、少なくとも1つの所定の構造の重み係数と、少なくとも1つの所定の構造のサブ損失値を異なる程度で組み合わせることに基づいて取得されるので、各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するプロセスで、画像最適化の平滑性を向上させることができる。
いくつかの実施例では、前述のように、少なくとも1つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも1つを含み得、その意味については、前述の関連説明を参照することができる。
いくつかの実施例では、前述のように、構造的特徴情報は、強度及び相関度を含み得、強度及び相関度の意味については、前述の関連説明を参照することができる。さらに、サイドバンド構造の重み係数は、相関度と正の相関関係であり得、細粒構造の重み係数は、強度と正の相関関係であり得、フラット構造には、画素値の急激な変化も、エッジ方向の相関も存在しないので、1つの固定定数をフラット構造の重み係数として設定することができる。
いくつかの実施例では、所定の構造の損失関数実際の応用に応じて設定できる。例えば、サイドバンド構造の場合、最適化プロセスではエッジのシャープネスとエッジ方向を維持する必要があり、L2損失関数は、差が大きい場合にペナルティを増やし、過度のスムージングを減らすことができるので、L2損失関数は、サイドバンド構造の損失関数として使用でき、又は、細粒構造の場合、構造類似性指数(SSIM:Structural Similarity index)損失関数が構造類似性を高めることができることを考慮すると、SSIM損失関数は、細粒構造の損失関数として使用でき、又は、フラット構造の場合、L1損失関数は、L2損失関数やSSIM損失関数などの損失関数と比較して、汚れの歪みを低減できることを考慮すると、L1損失関数は、フラット構造の損失関数として使用できる。
いくつかの実施例では、画像最適化の平滑性を考慮せずに、構造的特徴情報に基づいて、第1サンプル画素点が属する所定の構造を決定し、第1サンプル画素点が属する所定の構造の損失関数を使用して、第2サンプル画素点及び第3サンプル画素点を処理して、第1サンプル画像の第1サンプル画素点の第1損失値を取得することもできる。
いくつかの実施例では、前述のように、構造的特徴情報は、強度及び相関度を含み得、且つ強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、その意味については、前述の関連説明を参照することができる。これに基づいて、強度については、第1強度範囲及び第2強度範囲を設定でき、且つ第1強度範囲の上限値は、第2強度範囲の下限値よりも小さく、相関度については、第1相関度範囲、第2相関度範囲、及び第3相関度範囲に設定せき、且つ第1相関度範囲の上限値は、第2相関度範囲の下限値より小さく、第2相関度範囲の上限値は、第3相関度範囲の下限値より小さい。したがって、強度が第1強度範囲にあり、且つ相関度が第1相関度範囲にある場合、即ち、強度及び相関度の両方が低い場合、第1サンプル画素点がフラット構造に属すると決定でき、強度が第2強度範囲にあり、且つ相関度が第3相関度範囲にある場合、即ち、強度及び相関度の両方が高い場合、第1サンプル画素点がサイドバンド構造に属すると決定でき、強度が第2強度範囲にあり、且つ相関度が第2相関度範囲にある場合、即ち、強度が高く、且つ相関度が低い場合、第1サンプル画素点が細粒構造に属すると決定できる。
いくつかの実施例では、前述のように、所定の構造の損失関数は、実際の応用に応じて設定できる。
ステップS14において、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整する。
いくつかの実施例では、第1サンプル画像のすべての第1サンプル画素点の第1損失値を加算して、画像最適化モデルの総損失値を取得することができる。これに基づいて、総損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができる。
いくつかの実施例では、第1サンプル画像のすべての第1サンプル画素点の第1損失値を加算し、加算結果の平均値を、画像最適化モデルの総損失値として使用することができる。
いくつかの実施例では、確率的勾配降下(SGD:Stochastic Gradient Descent)、バッチ勾配降下(BGD:Batch Gradient Descent)、ミニ・バッチ勾配降下(MBGD:Mini-Batch Gradient Descent)などの方式を採用することができ、総損失値を使用して、画像最適化モデルのネットワークパラメータに対して調整を実行し、ここで、バッチ勾配降下は、各反復で、すべてのサンプルを使用してパラメータ更新を実行することを指し、確率的勾配降下は、各反復で、1つのサンプルを使用してパラメータ更新を実行することを指し、ミニ・バッチ勾配降下は、各反復で、サンプルのバッチを使用してパラメータ更新を実行することを指す。
いくつかの実施例では、1つの訓練終了条件を設定することもでき、訓練終了条件を満たす場合、画像最適化モデルの訓練を終了することができる。例えば、訓練終了条件は、総損失値が所定の損失閾値未満であること、現在の訓練回数が所定の回数閾値(500回、1000回など)に達することを含み得、ここでは限定しない。
いくつかの実施例では、前述のように、第1損失値は、少なくとも1つの所定の構造の重み係数によって、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり得、この場合、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値の重み係数が属する所定の構造を目標構造として使用し、目標構造の損失関数を使用して、第3サンプル画素点及び第2サンプル画素点を処理して、第1サンプル画素点の第2損失値を取得し、それにより、各第1サンプル画素点の第1損失値及び第2損失値に基づいて、画像最適化モデルの総損失値を取得し、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整することができる。上記の方式では、特定の所定の構造の重み係数が低い場合、当該所定の構造のサブ損失値の割合を適当に増やすことができ、総損失値の精度を向上し、それにより、画像最適化モデルの精度を向上させることができる。
いくつかの実施例では、所定の閾値は、実際の状況に応じて設定でき、例えば、実際の状況に応じて0.5などに設定でき、ここでは限定しない。
いくつかの実施例では、H*Wの第1サンプル画像の場合、第1サンプル画素点(m,n)の第1損失値は、
として表すことができ、フラット構造の重み係数が所定の閾値より低く、且つフラット構造の損失関数がL1損失関数である場合、フラット構造を目標構造として使用し、L1損失関数を使用して、第2サンプル画素点の画素値
及び第3サンプル画素点の画素値
を処理して、第2損失値
を取得することができる。他の場合はこのように類推でき、ここでは繰り返して説明しない。
として表すことができ、フラット構造の重み係数が所定の閾値より低く、且つフラット構造の損失関数がL1損失関数である場合、フラット構造を目標構造として使用し、L1損失関数を使用して、第2サンプル画素点の画素値
及び第3サンプル画素点の画素値
を処理して、第2損失値
を取得することができる。他の場合はこのように類推でき、ここでは繰り返して説明しない。
いくつかの実施例では、第1サンプル画像のすべての第1サンプル画素点の第1損失値を加算し、加算結果の平均値を、画像最適化モデルの総損失値として使用することができる。引き続き前述のH*Wの第1サンプル画像を例にとると、総損失値
は、下記式(5)で表すことができる。
は、下記式(5)で表すことができる。
図3Bを参照すると、図3Bは、本願実施例による画像最適化モデルの訓練方法の例示的な状態図である。図3Bに示されるように、第1サンプル画像が低線量CT画像であり、且つ第2サンプル画像が通常線量のCT画像である場合を例にとると、画像最適化モデルの予測サブネットワークを使用して、低線量CT画像に対して予測を実行して、低線量CT画像の各第1サンプル画素点の畳み込みカーネルを取得し、各第1サンプル画素点の畳み込みカーネルをそれぞれ使用して、第1サンプル画素点に対して最適化を実行して、ノイズ除去されたCT画像を取得することができる。同時に、低線量CT画像の各第1サンプル画素点に対して以下のステップを実行し、具体的には、通常線量のCT画像における第1サンプル画素点に対応する第2サンプル画素点を含む局所領域に対して勾配分析を実行して、局所領域の構造的特徴情報を取得し、構造的特徴情報に基づいて、第1サンプル画素点に対応する少なくとも1つの所定の構造の重み係数を取得する。これに基づいて、各第1サンプル画素点に対して、引き続き以下のステップを実行し、具体的には、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、通常線量のCT画像内の、第1サンプル画素点に対応する第2サンプル画素点及びノイズ除去されたCT画像内の、第1サンプル第1サンプル画素点に対応する第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得し、次に、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第1サンプル画素点の第1損失値を取得する。最後に、低線量CT画像の各第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整する。前述のように、画像最適化モデルは、予測サブネットワーク及び畳み込みサブネットワークを含み、畳み込みサブネットワークに含まれる局所畳み込み層は、予測して取得された畳み込みカーネル使用して局所畳み込みを実行することだけで、いかなるネットワークパラメータを含まないので、画像最適化モデルのネットワークパラメータを調整することは、予測サブネットワークのネットワークパラメータを調整することと見なすことができることに留意されたい。
本願実施例では、第1サンプル画像及び第2サンプル画像を取得し、且つ第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、第2サンプル画像の画質は、第1サンプル画像の画質より良好であり、これに基づいて、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得し、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、及び第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得し、且つ第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応し、それにより、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができ、構造的特徴情報は、画質の良好な第2サンプル画像における第1サンプル画素点に対応する第2サンプル画素点を含む局所領域の分析に基づいて取得されるので、構造的特徴情報の精度を確保することができ、これに基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得し、それにより、第1損失値の精度を向上させることができ、且つ第1サンプル画素点の第1損失値はすべて、対応する第2サンプル画素点を含む局所領域の構造的特徴情報を参照するので、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
図4は、本願実施例による画像最適化モデルの訓練方法を適用可能なシステムアーキテクチャの概略図である。図4に示されるように、当該システムアーキテクチャは、サンプル画像取得端末401、ネットワーク402、及び制御端末403を含む。一例示的な適用をサポートするために、サンプル画像取得端末401と制御端末403は、ネットワーク402を介して通信接続を確立し、サンプル画像取得端末401は、ネットワーク402を介して第1サンプル画像及び第2サンプル画像を制御端末403に報告し、制御端末403は、第1サンプル画像及び第2サンプル画像に応答し、画像最適化モデルに基づいて、第1サンプル画像に対して最適化を実行して、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、次に、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得し、次に、第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整する。最後に、制御端末403は、調整されたネットワークパラメータをネットワーク402にアップロードし、調整されたネットワークパラメータを、ネットワーク402を介してサンプル画像取得端末401に送信する。
一例として、サンプル画像取得端末401は、画像収集機器を含み得、制御端末403は、視覚情報処理機能を備えた視覚処理機器又はリモートサーバを含み得る。ネットワーク402は、有線又は無線接続方式を採用することができる。ここで、制御端末403が視覚処理機器である場合、サンプル画像取得端末401は、バスを介したデータ通信などの有線接続を介して視覚処理機器と通信することができ、制御端末403がリモートサーバである場合、サンプル画像取得端末401は、無線ネットワークを介してリモートサーバとデータ交換することができる。
又は、いくつかのシーンでは、サンプル画像取得端末401は、ビデオ収集モジュールを備えた視覚処理機器であり得、又はカメラを備えたホストであり得る。この場合、本願の実施例における画像最適化モデルの訓練方法は、サンプル画像取得端末401によって実行され得、上記のシステムアーキテクチャは、ネットワーク402及び制御端末403を含まなくてもよい。
図5を参照すると、図5は、本願実施例による図1におけるステップS13のフローチャートである。図5は、第1損失値を計算するフローチャートである。図5に示されるように、第1損失値の計算方法は、以下のステップを含む。
ステップS51において、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得する。
いくつかの実施例では、前述の本願実施例に記載されたように、少なくとも1つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造などのうちの少なくとも1つを含み得、ここでは限定しない。さらに、サイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、且つサイドバンド構造にエッジ方向の相関が存在し、その意味については、その意味については、前述の本願実施例の関連説明を参照することができる。さらに、構造的特徴情報は、強度及び相関度を含み、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、その意味については、前述の関連説明を参照することができる。これに基づいて、サイドバンド構造の重み係数は、相関度と正の相関関係にあり、即ち、相関度が大きいほど、サイドバンド構造の重み係数は大きくなり、強度は、細粒構造の重み係数と正の相関関係にあり、即ち、同度が大きいほど、細粒構造の重み係数は大きくなる。
いくつかの実施例では、第1調整係数に基づいて、フラット構造の重み係数を取得することができる。例えば、第1調整係数は、フラット構造の重み係数として直接使用できる。さらに、第1調整係数は、実際の状況に応じて設定でき、例えば、0.35、0.38、0.4などに設定でき、ここでは限定しない。
いくつかの実施例では、強度に基づいて、細粒構造の重み係数を取得することができる。例えば、強度は、細粒構造の重み係数として直接使用できる。
いくつかの実施例では、相関度と第2調整係数の積に基づいて、サイドバンド構造の重み係数を取得することができる。例えば、相関度と第2調整係数の積は、サイドバンド構造の重み係数として直接使用できる。第2調整係数、実際の状況に応じて設定でき、例えば、1.7、1.8、1.9などに設定でき、ここでは限定しない。
いくつかの実施例では、第1調整係数、強度、相関度と第2調整係数の積に対して正規化処理を実行し、正規化処理された第1調整係数をフラット構造の重み係数として使用し、正規化された強度を細粒構造の重み係数として使用し、及び正規化された相関度と第2調整係数の積をサイドバンド構造の重み係数として使用することもできる。説明の便宜上、第1サンプル画素点(m,n)の強度は、
として表し、相関度は、
として表し、第1調整係数は、
として表し、第2調整係数は、
として表し、サイドバンド構造の重み係数は、
といて記録でき、フラット構造の重み係数は、
として表し、細粒構造の重み係数は、
として表し、
、
、及び
は、下記式(6)で表すことができる。
として表し、相関度は、
として表し、第1調整係数は、
として表し、第2調整係数は、
として表し、サイドバンド構造の重み係数は、
といて記録でき、フラット構造の重み係数は、
として表し、細粒構造の重み係数は、
として表し、
、
、及び
は、下記式(6)で表すことができる。
上記の式(6)において、softmaxは、正規化関数を表す。
ステップS52において、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得する。
いくつかの実施例では、第1損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第1の差に基づいて、フラット構造の第1サブ損失値を決定でき、第1の差は、第1サブ損失値と正の相関関係にあり、即ち、第1の差が大きいほど、第1サブ損失値は大きくなり、逆に、第1の差が小さいほど、第1サブ損失値は小さくなる。さらに、前述の本願実施例に記載されたように、フラット構造の場合、汚れの歪みを低減できることを考慮すると、L1損失関数は、フラット構造の損失関数として使用できる。これに基づいて、説明の便宜上、第2サンプル画素点の画素値は、
として表し、第3サンプル画素点の画素値は、
として表し、第1サブ損失値は、
として表すことができる。
として表し、第3サンプル画素点の画素値は、
として表し、第1サブ損失値は、
として表すことができる。
いくつかの実施例では、第2損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第2の差に基づいて、サイドバンド構造の第2サブ損失値を決定でき、且つ第2の差は、第2サブ損失値と正の相関関係にあり、即ち、第2の差が大きいほど、第2サブ損失値は大きくなり、逆に、第2の差が小さいほど、第2サブ損失値は小さくなる。さらに、前述の本願実施例に記載されたように、サイドバンド構造の場合、最適化プロセスではエッジのシャープネスとエッジ方向を維持する必要があり、L2損失関数は、差が大きい場合にペナルティを増やし、過度のスムージングを減らすことができるので、L2損失関数は、サイドバンド構造の損失関数として使用できる。これに基づいて、第2サブ損失値は、
として表すことができる。
として表すことができる。
いくつかの実施例では、第3損失関数によって取得された第2サンプル画像における第2サンプル画素点を含む局所領域と、前記サンプル最適化画像における第3サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第3サブ損失値を決定でき、且つ類似度は、第3サブ損失値と負の相関関係にあり、即ち、類似度が高いほど、第3サブ損失値は小さくなり、逆に、類似度が低いほど、第3サブ損失値は大きくなる。
いくつかの実施例では、第2サンプル画像における第2サンプル画素点を含む局所領域は、第2サンプル画素点(m,n)を中心とした、所定のサイズ
(11*11など)の画像領域であり得、説明の便宜上、
として表すことができ、同様に、サンプル最適化画像における第3サンプル画素点を含む局所領域は、第3サンプル画素点(m,n)を中心とした、所定のサイズ
(11*11など)の画像領域であり得、説明の便宜上、
として表すことができる。
(11*11など)の画像領域であり得、説明の便宜上、
として表すことができ、同様に、サンプル最適化画像における第3サンプル画素点を含む局所領域は、第3サンプル画素点(m,n)を中心とした、所定のサイズ
(11*11など)の画像領域であり得、説明の便宜上、
として表すことができる。
いくつかの実施例では、前述の本願実施例に記載されたように、細粒構造の場合、SSIM損失関数が構造類似性を高めることができることを考慮すると、SSIM損失関数は、細粒構造の損失関数として使用できる。これに基づいて、第3サブ損失値は、
として表すことができる。
として表すことができる。
ステップS53において、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第1損失値を取得する。
前述のように、説明の便宜上、サイドバンド構造の重み係数は、
として表し、フラット構造の重み係数は、
として表し、細粒構造の重み係数は、
として表すことができ、この場合、第1損失値
は、下記式(7)で表すことができる。
として表し、フラット構造の重み係数は、
として表し、細粒構造の重み係数は、
として表すことができ、この場合、第1損失値
は、下記式(7)で表すことができる。
前述の実施例とは異なり、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得することにより、重み係数の精度を向上させることができ、同時に、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得し、これに基づいて、次に、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第1損失値を取得し、即ち、第1サンプル画素点の第1損失値は、少なくとも1つの所定の構造の重み係数と、少なくとも1つの所定の構造のサブ損失値を異なる程度で組み合わせることに基づいて取得されるので、各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するプロセスで、画像最適化の平滑性を向上させることができる。
図6を参照すると、図6は、本願実施例による画像最適化方法のフローチャートである。図6に示されるように、前記画像最適化方法は、以下のステップを含み得る。
ステップS61において、最適化対象の画像を取得する。
いくつかの実施例では、最適化対象の画像は、実際の適用シナリオに応じて設定できる。医療シナリオを例にとると、最適化対象の画像は、LDCT画像などを含み得るが、ここでは限定しない。
ステップS62において、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得する。
本願実施例では、画像最適化モデルは、前述の画像最適化モデルの訓練方法を使用することによって取得できる。訓練プロセスについては、前述の本願実施例を参照することができる。
いくつかの実施例では、前述の本願実施例に記載されたように、最適化対象の画像を画像最適化モデルに入力することができ、画像最適化モデルは、最適化された画像を直接出力して取得する。画像最適化方法については、前述の本願実施例の関連説明を参照することができる。
いくつかの実施例では、前述の実施例に記載されたように、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第1画素点の最適化パラメータを取得することもでき、それにより、各第1画素点の最適化パラメータをそれぞれ使用して、第1画素点に対して最適化を実行して、最適化された画像を取得することができる。上記の方式では、最適化プロセスで、最適化対象の画像の各画素位置の最適化パラメータを取得できるので、一方では、各画素位置で微分最適化を実現することができ、もう一方、画像最適化モデルの解釈可能性を向上させることができる。
いくつかの実施例では、前述の本願実施例に記載されたように、最適化パラメータは、所定のサイズの畳み込みカーネルを含み得、所定のサイズは、3*3、5*5、7*7などを含み得るが、ここでは限定しない。これに基づいて、各第1画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第1画素点を含み且つ所定のサイズである画像領域を処理して、最適化された画像内の、第1画素点に対応する第2画素点を取得することができる。例えば、最適化対象の画像から、第1画素点を中心として、所定のサイズの領域を選択して、上記の画像領域を取得でき、それにより、第1画素点の畳み込みカーネルを使用して、当該画像領域に対して局所畳み込みを実行することができ、即ち、畳み込みカーネルの第i行第j列の重みに、画像領域の第i行第j列の画素点の画素値を掛けて、第i行第j列の画素点の重み付けられた画素値を取得し、当該画像領域内のすべての画素点の重み付けられた画素値の合計の平均値を、最適化された画像内の、第1画素点に対応する第2画素点の画素値として使用することができる。局所畳み込みのプロセスについては、前述の本願実施例の関連説明を参照することができる。
いくつかの実施例では、前述の実施例に記載されたように、サイドバンド構造の場合、最適化プロセスではエッジのシャープネスとエッジ方向を維持することができる。したがって、第1画素点がサイドバンド構造に属する場合、第1画素点の畳み込みカーネルの中央位置の重みが最大であり、且つサイドバンドエッジの重みは、中央位置の重みより小さく、他の位置の重みは、ほとんど無視できる。例えば、一般性を失うことなく、所定のサイズが5である場合を例にとると、第1画素点がサイドバンド構造に属され、且つ当該サイドバンド構造のエッジ方向が左下から右上に45度の方向である場合、第1画素点の畳み込みカーネルは、下記式(8)のように表すことができる。
図3Aと図7を組み合わせて参照すると、図7は、本願実施例による異なる畳み込みカーネルの可視化を示す概略図である。図3Aのサイドバンド構造の概略図に示されるように、矢印が指す画素点は、第1画素点(m,n)であり、引き続き図7のサイドバンド構造の畳み込みカーネルの概略図を参照すると、当該畳み込みカーネル
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図7に示されるサイドバンド構造の畳み込みカーネルを使用して、図3Aの矢印が指す第1画素点を含む画像領域に対して局所畳み込みを実行することにより、エッジのシャープネスとエッジ方向を維持することができる。
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図7に示されるサイドバンド構造の畳み込みカーネルを使用して、図3Aの矢印が指す第1画素点を含む画像領域に対して局所畳み込みを実行することにより、エッジのシャープネスとエッジ方向を維持することができる。
いくつかの実施例では、前述の本願実施例に記載されたように、細粒構造の場合、最適化プロセスは、構造類似性を高めることができる。したがって、第1画素点が細粒構造に属する場合、第1画素点の畳み込みカーネルの中央位置の重みが最大であり、中央位置から離れるほど重みは小さくなり、且つ細粒構造に関連しない位置の重みは、ほとんど無視できる。例えば、一般性を失うことなく、所定のサイズが5である場合を例にとると、第1画素点が細粒構造に属する場合、第1画素点の畳み込みカーネルは、下記式(9)のように表すことができる。
図3Aと図7を組み合わせて参照すると、図3Aの細粒構造の概略図に示されるように、矢印が指す画素点は、第1画素点(m,n)であり、引き続き図7の細粒構造の畳み込みカーネルの概略図を参照すると、当該畳み込みカーネル
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図7に示される細粒構造の畳み込みカーネルを使用して、図3Aの矢印が指す第1画素点を含む画像領域に対して局所畳み込みを実行することにより、細粒構造にマッチングする畳み込みカーネルを使用して、細粒構造を拡張することができる。
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図7に示される細粒構造の畳み込みカーネルを使用して、図3Aの矢印が指す第1画素点を含む画像領域に対して局所畳み込みを実行することにより、細粒構造にマッチングする畳み込みカーネルを使用して、細粒構造を拡張することができる。
いくつかの実施例では、前述の本願実施例に記載されたように、フラット構造の場合、最適化プロセスは、汚れの歪みを低減することができる。したがって、第1画素点がフラット構造に属する場合、第1画素点の畳み込みカーネルの中央位置の重みが最大であり、中央位置から離れるほど重みは小さくなり、且つ畳み込みカーネルエッジの重みは、ほとんど無視できる。例えば、一般性を失うことなく、所定のサイズが5である場合を例にとると、第1画素点がフラット構造に属する場合、第1画素点の畳み込みカーネルは、下記式(10)のように表すことができる。
図3Aと図7を組み合わせて参照すると、図3Aのフラット構造の概略図に示されるように、矢印が指す画素点は、第1画素点(m,n)であり、引き続き図7のフラット構造の畳み込みカーネルの概略図を参照すると、当該畳み込みカーネル
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図7に示されるフラット構造の畳み込みカーネルを使用して、図3Aの矢印が指す第1画素点を含む画像領域に対して局所畳み込みを実行することにより、当該画像領域を平滑フィルタリングして、画像領域の汚れの歪みを低減することができる。
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図7に示されるフラット構造の畳み込みカーネルを使用して、図3Aの矢印が指す第1画素点を含む画像領域に対して局所畳み込みを実行することにより、当該画像領域を平滑フィルタリングして、画像領域の汚れの歪みを低減することができる。
本願実施例では、最適化対象の画像を取得し、画像最適化モデルを使用して最適化対象の画像を最適化することにより、最適化された画像を取得し、且つ画像最適化モデルは、上記の本願実施例における画像最適化モデルの訓練方法を使用することによって取得されるものであり、それにより、画像最適化の品質を向上させることができる。
図8を参照すると、図8は、本願実施例による画像最適化モデルの訓練装置80のフレームワークの概略図である。画像最適化モデルの訓練装置80は、画像取得モジュール81、画像最適化モジュール82、損失計算モジュール83、及びパラメータ調整モジュール84を備え、
前記画像取得モジュール81は、第1サンプル画像及び第2サンプル画像を取得するように構成され、ここで、第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、且つ第2サンプル画像の画質は、第1サンプル画像の画質より良好であり、
前記画像最適化モジュール82は、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得するように構成され、
前記損失計算モジュール83は、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得するように構成され、ここで、第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応し、及び
前記パラメータ調整モジュール84は、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整するように構成される。
前記画像取得モジュール81は、第1サンプル画像及び第2サンプル画像を取得するように構成され、ここで、第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、且つ第2サンプル画像の画質は、第1サンプル画像の画質より良好であり、
前記画像最適化モジュール82は、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得するように構成され、
前記損失計算モジュール83は、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得するように構成され、ここで、第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応し、及び
前記パラメータ調整モジュール84は、第1サンプル画像の第1サンプル画素点の第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整するように構成される。
いくつかの実施例では、損失計算モジュール83は、構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得するように構成される重み係数取得サブモジュールと、少なくとも1つの所定の構造の損失関数をそれぞれ使用して、第2サンプル画素点及び第3サンプル画素点を処理して、少なくとも1つの所定の構造のサブ損失値を取得するように構成されるサブ損失値取得サブモジュールと、少なくとも1つの所定の構造の重み係数を使用して、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第1損失値を取得するように構成される第1損失計算サブモジュールと、を備える。
いくつかの実施例では、少なくとも1つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも1つを含み、構造的特徴情報は、強度及び相関度を含み、ここで、サイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、サイドバンド構造には、エッジ方向の相関が存在し、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度は、サイドバンド構造の重み係数と正の相関関係にあり、強度は、細粒構造の重み係数と正の相関関係にある。
いくつかの実施例では、重み係数取得サブモジュールはさらに、第1調整係数に基づいて、フラット構造の重み係数を取得すること、強度に基づいて、細粒構造の重み係数を取得すること、相関度と第2調整係数の積に基づいて、サイドバンド構造の重み係数を取得することのうちの少なくとも1つを実行するように構成される。
いくつかの実施例では、サブ損失値取得サブモジュールはさらに、第1損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第1の差に基づいて、フラット構造の第1サブ損失値を決定すること、第2損失関数によって取得された第2サンプル画素点と、第3サンプル画素点との第2の差に基づいて、サイドバンド構造の第2サブ損失値を決定すること、第3損失関数によって取得された第2サンプル画像における第2サンプル画素点を含む局所領域と、サンプル最適化画像における第3サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第3サブ損失値を決定することのうちの少なくとも1つを実行するように構成され、ここで、第1の差は、第1サブ損失値と正の相関関係にあり、第2の差は、第2サブ損失値と正の相関関係にあり、類似度は、第3サブ損失値と負の相関関係にある。
いくつかの実施例では、第1損失値は、少なくとも1つの所定の構造の重み係数によって、少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり、パラメータ調整モジュール84は、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値より低い重み係数が属する所定の構造を、目標構造として使用するように構成される目標構造決定サブモジュールと、目標構造の損失関数を使用して、第3サンプル画素点及び第2サンプル画素点を処理して、第1サンプル画素点の第2損失値を取得するように構成される第2損失計算サブモジュールと、各第1サンプル画素点の第1損失値及び第2損失値に基づいて、画像最適化モデルの総損失値を取得するように構成される総損失値計算サブモジュールと、及び、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整するように構成されるネットワークパラメータ調整サブモジュールと、を備える。
いくつかの実施例では、損失計算モジュール83は、第2サンプル画像における第2サンプル画素点を含む局所領域の、第1方向における第1勾配情報及び第2方向における第2勾配情報をそれぞれ抽出するように構成される勾配情報取得サブモジュールと、第1勾配情報及び第2勾配情報に基づいて、構造的特徴情報を取得するように構成される構造特徴取得サブモジュールと、を備える。
いくつかの実施例では、第1サンプル画像及び第2サンプル画像は、いずれも医用画像であり、且つ第1サンプル画像は、低線量CT画像を含み、第2サンプル画像は、通常線量CT画像を含み、及び/又は、第1サンプル画像における第1サンプル画素点の位置情報と、第2サンプル画像における第2サンプル画素点の位置情報が同じである場合、第1サンプル画素点及び第2サンプル画素点は、オブジェクト上の同じ3次元ポイントに対応し、及び/又は、第2サンプル画像における第2サンプル画素点を含む局所領域は、第2サンプル画素点を中心とする画像領域である。
図9を参照すると、図9は、本願実施例による画像最適化装置90のフレームワークの概略図である。画像最適化装置90は、画像取得モジュール91及び画像最適化モジュール92を備え、前記画像取得モジュール91は、最適化対象の画像を取得するように構成され、前記画像最適化モジュール92は、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得するように構成され、ここで、画像最適化モデルは、上記の実施例のいずれかにおける画像最適化モデルの訓練方法を使用することによって取得されるものである。
いくつかの実施例では、画像最適化モジュール92は、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第1画素点の最適化パラメータを取得するように構成されるパラメータ予測サブモジュールと、各第1画素点の最適化パラメータをそれぞれ使用して、第1画素点に対して最適化を実行して、最適化された画像を取得するように構成される画素最適化サブモジュールと、を備える。
いくつかの実施例では、画素最適化サブモジュールは、各第1画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第1画素点を含む画像領域を処理して、最適化された画像内の、第1画素点に対応する第2画素点を取得するように構成され、ここで、画像領域のサイズは、所定のサイズである。
図10を参照すると、図10は、本願実施例による電子機器100のフレームワークの概略図である。電子機器100は、相互に結合されているメモリ101と、プロセッサ102と、を備え、前記プロセッサ102は、前記メモリ101に記憶されたプログラムを実行することにより、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。いくつかの実施例では、電子機器100は、マイクロコンピュータ、サーバの他に、ノートブックコンピュータ、タブレットコンピュータなどのモバイルデ機器を含み得るが、ここでは限定しない。
プロセッサ102は、それ自体及びメモリ101を制御して、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。プロセッサ102は、CPU(中央処理ユニット:Central Processing Unit)とも呼ばれる。プロセッサ102は、信号処理機能を備えた集積回路チップであり得る。プロセッサ102はまた、汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポ―ネットなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の従来のプロセッサなどであってもよい。さらに、プロセッサ102は、集積回路チップによって共同で実現することができる。
上記の技術案は、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
図11を参照すると、図11は、本願実施例によるコンピュータ可読記憶媒体110のフレームワークの概略図である。コンピュータ可読記憶媒体110には、プロセッサによって実行可能なプログラム命令111が記憶され、プログラム命令111は、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
上記の技術案は、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行させる。
いくつかの実施例では、本願実施例による装置に含まれる機能又はモジュールは、上記の方法の実施例で説明された方法を実行するために用いられることができ、その具体的な実現については、上記の方法の実施例の説明を参照することができる。
各実施例の上記の説明は、各実施例間の違いを強調する傾向があり、その同じ又は類似なところは相互に参照することができる。
本願で提供されるいくつかの実施例では、開示された方法及び装置は、他の方式で実現できる。例えば、上記で説明された装置の実施例は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、ユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視するか実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを使用して実現することができ、装置又はユニット間の間接的な結合又は通信接続は、電気的、機械的又は他の形態であり得る。
個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、1箇所に配置される場合もあれば、ネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。
さらに、本願の各実施例における各機能ユニットは、1つの処理ユニットに統合されてもよく、又は各ユニットが物理的に別々に存在してもよく、2つ又は2つ以上のユニットが1つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。
統合されたユニットがソフトウェア機能の形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、一台のコンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器などであリ得る)又はプロセッサ(processor)に、本願の各実施形態における全部又は一部の処理を実行させるためのいくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
本願実施例は、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供する。前記画像最適化モデルの訓練方法は、第1サンプル画像及び第2サンプル画像を取得することであって、ここで、第1サンプル画像及び第2サンプル画像は、同じオブジェクトを含み、且つ第2サンプル画像の画質は、第1サンプル画像の画質より良好であることと、画像最適化モデルに基づいて第1サンプル画像を最適化して、サンプル最適化画像を取得することと、第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得することと、第2サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第3サンプル画素点に基づいて、第1サンプル画像の第1サンプル画素点の第1損失値を取得することであって、ここで、第2サンプル画素点及び第3サンプル画素点は、いずれも第1サンプル画素点に対応することと、及び第1損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することと、を含む。
Claims (16)
- 電子機器が実行する、画像最適化モデルの訓練方法であって、
第1サンプル画像及び第2サンプル画像を取得することであって、前記第1サンプル画像及び前記第2サンプル画像は、同じオブジェクトを含み、且つ前記第2サンプル画像の画質は、前記第1サンプル画像の画質より良好であることと、
画像最適化モデルに基づいて前記第1サンプル画像を最適化して、サンプル最適化画像を取得することと、
前記第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得することと、
前記第2サンプル画素点、前記構造的特徴情報、及び前記サンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得することであって、前記第2サンプル画素点及び第3サンプル画素点は、いずれも前記第1サンプル画素点に対応することと、及び
前記第1損失値に基づいて、前記画像最適化モデルのネットワークパラメータを調整することと、を含む、前記画像最適化モデルの訓練方法。 - 前記第2サンプル画素点、前記構造的特徴情報、及び前記サンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得することは、
前記構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得することと、
前記少なくとも1つの所定の構造の損失関数をそれぞれ使用して、前記第2サンプル画素点及び前記第3サンプル画素点を処理して、前記少なくとも1つの所定の構造のサブ損失値を取得することと、及び
前記少なくとも1つの所定の構造の重み係数を使用して、前記少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、前記第1損失値を取得することと、を含む、
請求項1に記載の画像最適化モデルの訓練方法。 - 前記少なくとも1つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも1つを含み、前記構造的特徴情報は、強度及び相関度を含み、前記サイドバンド構造及び前記細粒構造には、画素値の急激な変化が存在し、前記サイドバンド構造には、エッジ方向の相関が存在し、前記強度は、前記画素値の急激な変化が存在する可能性を表し、前記相関度は、前記エッジ方向の相関が存在する可能性を表し、且つ前記相関度は、前記サイドバンド構造の重み係数と正の相関関係を有し、前記強度は、前記細粒構造の重み係数と正の相関関係を有する、
請求項2に記載の画像最適化モデルの訓練方法。 - 前記構造的特徴情報に基づいて、少なくとも1つの所定の構造の重み係数を取得することは、
第1調整係数に基づいて、前記フラット構造の重み係数を取得すること、
前記強度に基づいて、前記細粒構造の重み係数を取得すること、
前記相関度と第2調整係数の積に基づいて、前記サイドバンド構造の重み係数を取得することのうちの少なくとも1つを含む、
請求項2又は3に記載の画像最適化モデルの訓練方法。 - 前記少なくとも1つの所定の構造の損失関数をそれぞれ使用して、前記第2サンプル画素点及び前記第3サンプル画素点を処理して、前記少なくとも1つの所定の構造のサブ損失値を取得することは、
第1損失関数によって取得された前記第2サンプル画素点と、前記第3サンプル画素点との第1の差に基づいて、前記フラット構造の第1サブ損失値を決定することであって、前記第1の差は、前記第1サブ損失値と正の相関関係を有すること
第2損失関数によって取得された前記第2サンプル画素点と、前記第3サンプル画素点との第2の差に基づいて、前記サイドバンド構造の第2サブ損失値を決定することであって、前記第2の差は、前記第2サブ損失値と正の相関関係を有すること
第3損失関数によって取得された前記第2サンプル画像における前記第2サンプル画素点を含む局所領域と、前記サンプル最適化画像における前記第3サンプル画素点を含む局所領域との類似度に基づいて、前記細粒構造の第3サブ損失値を決定することであって、前記類似度は、前記第3サブ損失値と負の相関関係を有することのうちの少なくとも1つを含む、
請求項2ないし4のいずれか一項に記載の画像最適化モデルの訓練方法。 - 前記第1損失値は、前記少なくとも1つの所定の構造の重み係数によって、前記少なくとも1つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり、
前記第1サンプル画像の前記第1サンプル画素点の第1損失値に基づいて、前記画像最適化モデルのネットワークパラメータを調整することは、
前記所定の構造の重み係数が所定の閾値より低い場合、前記所定の閾値より低い重み係数が属する前記所定の構造を、目標構造として使用することと、
前記目標構造の損失関数を使用して、前記第3サンプル画素点及び前記第2サンプル画素点を処理して、前記第1サンプル画素点の第2損失値を取得することと、
各前記第1サンプル画素点の第1損失値及び第2損失値に基づいて、前記画像最適化モデルの総損失値を取得することと、
前記総損失値を使用して、前記画像最適化モデルのネットワークパラメータを調整することと、を含む、
請求項1ないし5のいずれか一項に記載の画像最適化モデルの訓練方法。 - 前記第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得することは、
前記第2サンプル画像における前記第2サンプル画素点を含む局所領域の、第1方向での第1勾配情報及び第2方向での第2勾配情報をそれぞれ抽出することと、
前記第1勾配情報及び前記第2勾配情報に基づいて、前記構造的特徴情報を取得することと、を含む、
請求項1ないし6のいずれか一項に記載の画像最適化モデルの訓練方法。 - 前記第1サンプル画像及び前記第2サンプル画像は、いずれも医用画像であり、且つ前記第1サンプル画像は、低線量CT画像を含み、前記第2サンプル画像は、通常線量CT画像を含み、
及び/又は、前記第1サンプル画像における前記第1サンプル画素点の位置情報と、前記第2サンプル画像における前記第2サンプル画素点の位置情報が同じである場合、前記第1サンプル画素点及び前記第2サンプル画素点は、前記オブジェクト上の同じ3次元ポイントに対応し、
及び/又は、前記第2サンプル画像における第2サンプル画素点を含む局所領域は、前記第2サンプル画素点を中心とする画像領域である、
請求項1ないし7のいずれか一項に記載の画像最適化モデルの訓練方法。 - 電子機器が実行する、画像最適化方法であって、
最適化される画像を取得することと、
画像最適化モデルを使用して前記最適化対象の画像を最適化して、最適化された画像を取得することであって、ここで、前記画像最適化モデルは、請求項1ないし8のいずれか一項に記載の画像最適化モデルの訓練方法を使用することによって取得されるものであることと、を含む、前記画像最適化方法。 - 前記画像最適化モデルを使用して前記最適化対象の画像を最適化して、最適化された画像を取得することは、
前記画像最適化モデルを使用して、前記最適化対象の画像に対して予測を実行して、前記最適化対象の画像の各第1画素点の最適化パラメータを取得することと、
各前記第1画素点の最適化パラメータをそれぞれ使用して、前記第1画素点に対して最適化を実行して、前記最適化された画像を取得することと、含む、
請求項9に記載の画像最適化方法。 - 前記最適化パラメータは、所定のサイズの畳み込みカーネルを含み、前記各前記第1画素点の最適化パラメータをそれぞれ使用して、前記第1画素点に対して最適化を実行して、前記最適化された画像を取得することは、
各前記第1画素点の畳み込みカーネルをそれぞれ使用して、前記最適化対象の画像における前記第1画素点を含む画像領域を処理して、前記最適化された画像内の、前記第1画素点に対応する第2画素点を取得することを含み、
前記画像領域のサイズは、前記所定のサイズである、
請求項10に記載の画像最適化方法。 - 画像最適化モデルの訓練装置であって、
第1サンプル画像及び第2サンプル画像を取得するように構成される画像取得モジュールであって、前記第1サンプル画像及び前記第2サンプル画像は、同じオブジェクトを含み、且つ前記第2サンプル画像の画質は、前記第1サンプル画像の画質より良好である、画像取得モジュールと、
画像最適化モデルに基づいて前記第1サンプル画像を最適化して、サンプル最適化画像を取得するように構成される画像最適化モジュールと、
前記第2サンプル画像における第2サンプル画素点を含む局所領域の構造的特徴情報を取得し、前記第2サンプル画素点、前記構造的特徴情報、及び前記サンプル最適化画像の第3サンプル画素点に基づいて、前記第1サンプル画像の第1サンプル画素点の第1損失値を取得するように構成される損失計算モジュールであって、前記第2サンプル画素点及び第3サンプル画素点は、いずれも前記第1サンプル画素点に対応する、損失計算モジュールと、
前記第1損失値に基づいて、前記画像最適化モデルのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、前記画像最適化モデルの訓練装置。 - 画像最適化装置であって、
最適化対象の画像を取得するように構成される画像取得モジュールと、
画像最適化モデルを使用して前記最適化対象の画像を最適化して、最適化された画像を取得するように構成される画像最適化モジュールであって、前記画像最適化モデルは、請求項12に記載の画像最適化モデルの訓練装置を使用することによって取得されるものである、画像最適化モジュールと、を備える、前記画像最適化装置。 - 相互に結合されているメモリとプロセッサを備え、前記プロセッサは、前記メモリに記憶されたプログラムを実行することにより、請求項1ないし8のいずれか一項に記載の画像最適化モデルの訓練方法、又は請求項9ないし11のいずれか一項に記載の画像最適化方法を実行する、電子機器。
- プロセッサによって実行されるときに、請求項1ないし8のいずれか一項に記載の画像最適化モデルの訓練方法、又は請求項9ないし11のいずれか一項に記載の画像最適化方法を実行させるプログラム命令を記憶する、コンピュータ可読記憶媒体。
- 電子機器で実行されるときに、電子機器のプロセッサが請求項1ないし8のいずれか一項に記載の画像最適化モデルの訓練方法、又は請求項9ないし11のいずれか一項に記載の画像最適化方法を実行するコンピュータ可読コードを含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110341708.3 | 2021-03-30 | ||
CN202110341708.3A CN113052774B (zh) | 2021-03-30 | 2021-03-30 | 图像优化方法及相关模型的训练方法和相关装置、设备 |
PCT/CN2021/114518 WO2022205754A1 (zh) | 2021-03-30 | 2021-08-25 | 图像优化方法、相关模型的训练方法、装置、设备及程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023522818A true JP2023522818A (ja) | 2023-06-01 |
Family
ID=76516416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551056A Pending JP2023522818A (ja) | 2021-03-30 | 2021-08-25 | 画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023522818A (ja) |
CN (1) | CN113052774B (ja) |
WO (1) | WO2022205754A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052774B (zh) * | 2021-03-30 | 2022-10-21 | 上海商汤智能科技有限公司 | 图像优化方法及相关模型的训练方法和相关装置、设备 |
CN113706431B (zh) * | 2021-08-26 | 2022-10-21 | 深圳市慧鲤科技有限公司 | 模型优化方法及相关装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005122688A (ja) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
CN108492269A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于梯度正则卷积神经网络的低剂量ct图像去噪方法 |
US20200349449A1 (en) * | 2018-01-24 | 2020-11-05 | Rensselaer Polytechnic Institute | 3-d convolutional autoencoder for low-dose ct via transfer learning from a 2-d trained network |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699410B2 (en) * | 2017-08-17 | 2020-06-30 | Siemes Healthcare GmbH | Automatic change detection in medical images |
CN107862665B (zh) * | 2017-11-22 | 2020-09-11 | 北京医拍智能科技有限公司 | Ct图像序列的增强方法及装置 |
CN108492271B (zh) * | 2018-03-26 | 2021-08-24 | 中国电子科技集团公司第三十八研究所 | 一种融合多尺度信息的自动图像增强系统及方法 |
CN109598768B (zh) * | 2018-10-11 | 2023-03-28 | 天津大学 | 基于卷积神经网络的电学层析成像图像重建方法 |
US11200456B2 (en) * | 2019-07-31 | 2021-12-14 | GE Precision Healthcare LLC | Systems and methods for generating augmented training data for machine learning models |
CN110751659B (zh) * | 2019-09-27 | 2022-06-10 | 北京小米移动软件有限公司 | 图像分割方法及装置、终端、存储介质 |
CN112132847A (zh) * | 2020-09-27 | 2020-12-25 | 北京字跳网络技术有限公司 | 模型训练方法、图像分割方法、装置、电子设备和介质 |
CN113052774B (zh) * | 2021-03-30 | 2022-10-21 | 上海商汤智能科技有限公司 | 图像优化方法及相关模型的训练方法和相关装置、设备 |
-
2021
- 2021-03-30 CN CN202110341708.3A patent/CN113052774B/zh active Active
- 2021-08-25 WO PCT/CN2021/114518 patent/WO2022205754A1/zh unknown
- 2021-08-25 JP JP2022551056A patent/JP2023522818A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005122688A (ja) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20200349449A1 (en) * | 2018-01-24 | 2020-11-05 | Rensselaer Polytechnic Institute | 3-d convolutional autoencoder for low-dose ct via transfer learning from a 2-d trained network |
CN108492269A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于梯度正则卷积神经网络的低剂量ct图像去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113052774B (zh) | 2022-10-21 |
WO2022205754A1 (zh) | 2022-10-06 |
CN113052774A (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11526983B2 (en) | Image feature recognition method and apparatus, storage medium, and electronic apparatus | |
US11900647B2 (en) | Image classification method, apparatus, and device, storage medium, and medical electronic device | |
JP6539901B2 (ja) | 植物病診断システム、植物病診断方法、及びプログラム | |
WO2022134971A1 (zh) | 一种降噪模型的训练方法及相关装置 | |
WO2020146911A2 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
JP2023522818A (ja) | 画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム | |
CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
Liu et al. | LAE-Net: A locally-adaptive embedding network for low-light image enhancement | |
US11501431B2 (en) | Image processing method and apparatus and neural network model training method | |
JP2022517769A (ja) | 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム | |
US11310475B2 (en) | Video quality determination system and method | |
DE112019002368T5 (de) | Dynamische "foveated pipeline" | |
CN113256529B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN112949838A (zh) | 基于四分支注意力机制的卷积神经网络及图像分割方法 | |
US20220398698A1 (en) | Image processing model generation method, processing method, storage medium, and terminal | |
EP4372671A1 (en) | Blind image denoising method and apparatus, electronic device, and storage medium | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
Singh et al. | Illumination estimation for nature preserving low-light image enhancement | |
CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
Yu et al. | Fla-net: multi-stage modular network for low-light image enhancement | |
Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
JP4035216B2 (ja) | 画像処理方法及び画像処理装置 | |
CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
CN116506732B (zh) | 一种图像抓拍防抖的方法、装置、系统和计算机设备 | |
JP2007282906A (ja) | 医用画像処理方法及びその装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240206 |