JP7389840B2 - 画像画質補強方法、装置、機器および媒体 - Google Patents

Description

本開示は人工知能分野に関し、具体的にはコンピュータ視覚と深層学習技術に関し、画像処理シーンに応用することができ、特に画像画質補強方法および装置、画像画質補強モデルのトレーニング方法および装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム製品に関する。

人工知能は、コンピュータに人間の何らかの思惟過程および知的行動（例えば、トレーニング、推理、思考、計画など）をシミュレートさせるように研究する科目であり、ハードウェア面の技術もあれば、ソフトウェア面の技術もある。人工知能ハードウェア技術は一般にセンサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術を含み、人工知能ソフトウェア技術は主にコンピュータ視覚技術、音声認識技術、自然言語処理技術および機械トレーニング／深層学習、ビッグデータ処理技術、知識マップ技術などのいくつかの方向を含む。

画像の主観的品質補強はコンピュータ視覚分野の人気方向であり、具体的にはノイズ抑制、エッジピーキング、色補強、超解像度などの画像画質補強方法を採用して、画像と映像を処理し、それによってユーザの画像と映像に対する視体験を向上させる。計算力の進歩とデータ量の倍増、および畳み込みニューラルネットワーク、注意力機構モジュールなどの技術に代表される深層学習技術の発展に伴い、ビッグデータ駆動に基づく、トレーニングに基づく新しいアルゴリズムは業界に広く採用されてきており、従来の方法よりも経験パラメータに依存し、深層学習に基づく方法はデータ駆動にさらに依存する。

この部分で説明される方法は、必ずしも以前に想定される方法または採用される方法ではない。特に断りのない限り、この部分に記載されているいずれの方法は、この部分に含まれるだけで従来技術であると考えられるべきではない。同様に、特に断りのない限り、この部分に言及する問題は、いかなる従来技術において公認されるものとは考えられるべきではない。

本開示は、画像画質補強方法および装置、画像画質補強モデルのトレーニング方法および装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム製品を提供する。

本開示の一態様によれば、処理すべき画像における関心領域および非関心領域を確定することと、関心領域画質補強モデルに関心領域を入力することで、関心領域画質補強モデルが出力した第１画像データを取得することと、非関心領域画質補強モデルに非関心領域を入力することで、非関心領域画質補強モデルが出力した第２画像データを取得することと、第１画像データと第２画像データとを融合することとを含む画像画質補強方法を提供する。

本開示の一態様によれば、第１サンプル画像における第１サンプル関心領域と第１サンプル非関心領域を確定することと、第１サンプル関心領域に対応する第１サンプル関心領域補強画像データを取得することと、第１サンプル関心領域および第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングすることと、第１サンプル非関心領域に対応する第１サンプル非関心領域補強画像データを取得することと、第１サンプル非関心領域および第１サンプル非関心領域補強画像データを利用して非関心領域画質補強モデルをトレーニングすることとを含む画像画質補強モデルのトレーニング方法を提供する。

本開示の別の態様によれば、処理すべき画像における関心領域および非関心領域を確定するように構成される確定ユニットと、関心領域入力に基づいて第１画像データを出力するように構成される関心領域画質補強モデルと、非関心領域入力に基づいて第２画像データを出力するように構成される非関心領域画質補強モデルと、第１画像データと第２画像データとを融合するように構成される融合ユニットとを含む画像画質補強装置を提供する。

本開示の別の態様によれば、第１サンプル画像における第１サンプル関心領域と第１サンプル非関心領域を確定するように構成される確定ユニットと、第１サンプル関心領域に対応する第１サンプル関心領域補強画像データを取得するように構成される取得ユニットと、第１サンプル関心領域および第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするように構成されるトレーニングユニットとを含み、取得ユニットはさらに、第１サンプル非関心領域に対応する第１サンプル非関心領域補強画像データを取得するように構成され、トレーニングユニットはさらに、第１サンプル非関心領域および第１サンプル非関心領域補強画像データを利用して非関心領域画質補強モデルをトレーニングするように構成される画像画質補強モデルのトレーニング装置を提供する。

本開示の別の態様によれば、電子機器を提供し、少なくとも１つのプロセッサ、および少なくとも１つのプロセッサに通信接続されるメモリを含み、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、これらの命令は少なくとも１つのプロセッサに実行されることで、少なくとも一つのプロセッサに、以上に記載の画質補強方法または画像画質補強モデルのトレーニング方法を実行させることができる。

本開示の別の態様によれば、以上に記載の画像画質補強方法または画像画質補強モデルのトレーニング方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体を提供する。

本開示の別の態様によれば、プロセッサによって実行されると以上に記載の画像画質補強方法または画像画質補強モデルのトレーニング方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

本開示の１つまたは複数の実施例によれば、処理すべき画像における関心領域に対して、関心領域に対する画像画質補強モデルを用い、処理すべき画像における非関心領域に対して、非関心領域に対する画像画質補強モデルを用いることにより、関心領域および非関心領域に対する画像補強処理をより指向的に行うことができ、これにより、処理後の画像または映像の主観的品質を向上させ、画像または映像に対するユーザの全体的な視体験を向上させることができる。

理解すべきことは、この部分に説明される内容は、本開示の実施例の要点または重要な特徴を識別することを意図しておらず、本開示の保護範囲を限定するためのものではないことである。本開示の他の特徴は、以下の明細書によって理解されやすくなる。

図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示の実施例は例示の目的のみであり、特許請求の範囲を限定するものではない。すべての図面において、同一の符号は、類似しているが必ずしも同じとは限らない要素を指す。
本開示の実施例による、本明細書で説明される様々な方法を実施することができる例示的なシステムを示す概略図である。 本開示の例示的な実施例による画像画質補強方法を示すフローチャートである。 本開示の例示的な実施例による画像画質補強方法において、処理すべき画像における関心領域および非関心領域を確定するフローチャートを示す図である。 本開示の例示的な実施例による画像画質補強方法を示すフローチャートである。 本開示の例示的な実施例による画像画質補強モデルのトレーニング方法を示すフローチャートである。 本開示の例示的な実施例による画像画質補強モデルのトレーニング方法を示すフローチャートである。 本開示の例示的な実施例による画像画質補強モデルのトレーニング方法を示すフローチャートである。 本開示の例示的な実施例による画像画質補強モデルのトレーニング方法を示すフローチャートである。 本開示の実施例による画像画質補強モデルの構成を示すブロック図である。 本開示の実施例による画像画質補強モデルにおける確定ユニットの構成を示すブロック図である。 本開示の実施例による画像画質補強モデルの構成を示すブロック図である。 本開示の実施例による画像画質補強モデルのトレーニング装置の構成を示すブロック図である。および 本開示の実施例を実現するために使用することができる例示的な電子機器の構成を示すブロック図である。

以下、図面に合わせて本開示の例示的な実施形態を説明して、それに含まれる本開示の実施形態における様々な詳細が理解を助けるためので、それらは単なる例示的なものと考えられるべきである。したがって、当業者であれば、本開示の範囲から逸脱することなく、本明細書で説明された実施形態に対して様々な変更および修正を行うことができることを認識すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能および構造についての説明を省略する。

本開示では、特に明記しない限り、様々な要素を説明するための「第１」、「第２」などの用語の使用は、これらの要素の位置関係、タイミング関係、または重要性関係を限定することを意図していない。このような用語は、ある要素を別の要素と区別するためにのみ使用される。いくつかの例では、第１要素と第２要素は、要素の同じ例を指すことができ、場合によっては、コンテキストの説明に基づいて、異なる例を指してもよい。

本開示の様々な例の説明で使用される用語は、特定の例を説明することのみを目的としており、限定することを意図していない。コンテキストが別途に明確に示されていない限り、特に要素の数を限定しないなら、要素は一つであってもよいし、複数であってもよい。また、本開示で使用される用語「および／または」は、リストされる項目のいずれかおよび可能な全ての組み合わせをカバーする。

関連技術では、従来の画像補強方法は、いずれも画面全体に対して同一の画質補強モデルを利用して処理するため、補強後の画像の重点が目立たず、画像または映像の主観的な品質向上に限界があった。また、他の従来方法は、関心領域のみに対して画像補強処理を行うが、非関心領域に対しては補強処理を行わず、重点は強調されているが、画像または映像全体の視体験を著しく低下させる。

上記課題を解決するために、本開示は、処理すべき画像における関心領域に対して、関心領域に対する画像画質補強モデルを用い、処理すべき画像における非関心領域に対して、非関心領域に対する画像画質補強モデルを用いることにより、関心領域および非関心領域に対する画像補強処理をより指向的に行うことができ、これにより、処理後の画像または映像の主観的品質を向上させ、画像または映像に対するユーザの全体的な視体験を向上させることができる。

以下、添付の図面を参照して本開示の実施例について詳細に説明する。
図１は、本開示の実施例による、本明細書に記載される様々な方法および装置を、その中で実施することができる例示的なシステム１００の概略図である。図１を参照すると、このシステム１００は、１つまたは複数のクライアント装置１０１、１０２、１０３、１０４、１０５および１０６、サーバ１２０、および１つまたは複数のクライアント装置をサーバ１２０に結合する１つまたは複数の通信ネットワーク１１０を含む。クライアント装置１０１、１０２、１０３、１０４、１０５、１０６は、１つまたは複数のアプリケーションを実行するように構成することができる。

本開示の実施例では、サーバ１２０は、画像画質補強方法または画像画質補強モデルのトレーニング方法を実行できる１つまたは複数のサービスまたはソフトウェアアプリケーションを動作させることができる。

いくつかの実施例では、サーバ１２０は、非仮想環境および仮想環境を含んでもよい他のサービスまたはソフトウェアアプリケーションも提供することができる。いくつかの実施例では、これらのサービスは、ｗｅｂベースのサービスまたはクラウドサービスとして提供することができ、例えば、ソフトウェア・アズ・ア・サービス（ＳａａＳ）モデル下でクライアント装置１０１、１０２、１０３、１０４、１０５、および／または１０６のユーザに提供する。

図１に示す構成では、サーバ１２０は、サーバ１２０により実行される機能を実現する１つまたは複数のモジュールを含んでもよい。これらのモジュールは、１つまたは複数のプロセッサで実行できるソフトウェアモジュール、ハードウェアモジュール、またはそれらの組み合わせを含んでもよい。クライアント装置１０１、１０２、１０３、１０４、１０５および／または１０６を操作するユーザは、これらのモジュールが提供するサービスを利用するように、１つまたは複数のクライアントアプリケーションを順に利用してサーバ１２０とやり取りをすることができる。様々な異なるシステム構成が可能であり、システム１００とは異なってもよいことを理解されたい。したがって、図１は、本明細書に記載された様々な方法を実施するためのシステムの一例であり、制限することを意図していない。

クライアント装置１０１、１０２、１０３、１０４、１０５、および／または１０６は、画質補強方法を実行できる１つまたは複数のサービスまたはアプリケーションを動作させることができる。ユーザは、クライアント装置を使用して、画像画質補強方法を使用して補強された画像または映像を見ることができる。クライアント装置は、クライアント装置のユーザがクライアント装置とやり取りするインタフェースを提供することができる。クライアント装置は、このインタフェースを介してユーザに情報を出力することもできる。図１では６つのクライアント装置しか図示していないが、当業者であれば理解できるように、本開示はいかなる数のクライアント装置に対応できる。

クライアント装置１０１、１０２、１０３、１０４、１０５および／または１０６は、携帯型ハンドヘルドデバイス、汎用コンピュータ（例えばパーソナルコンピュータやノートパソコン）、ワークステーションコンピュータ、ウェアラブルデバイス、ゲームシステム、シンクライアント、各種のメッセージングデバイス、センサ、またはその他の検知デバイスなどの様々なタイプのコンピューティングデバイスを含んでもよい。これらのコンピューティングデバイスは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、Ａｐｐｌｅ ｉＯＳ、類ＵＮＩＸ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）または類Ｌｉｎｕｘオペレーティングシステム（例えばＧｏｏｇｌｅ Ｃｈｒｏｍｅ ＯＳ）などの様々なタイプおよびバージョンのソフトウェアアプリケーションやオペレーティングシステムを実行したり、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ ＯＳ、ｉＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄなどの各種のモバイルオペレーティングシステムを含んだりすることができる。携帯用ハンドヘルドデバイスには、携帯電話、スマートフォン、タブレット、パーソナルデジタルアシスタント（ＰＤＡ）などを含んでもよい。ウェアラブルデバイスは、ヘッドマウントディスプレイおよびほかのデバイスを含んでもよい。ゲームシステムは、様々なハンドヘルド型のゲームデバイス、インターネット対応のゲームデバイスなどを含んでもよい。クライアント装置は、インターネットＩｎｔｅｒｎｅｔ関連アプリケーション、通信アプリケーション（電子メールアプリケーションなど）、ショートメッセージサービス（ＳＭＳ）アプリケーションなど、さまざまなアプリケーションを実行でき、さまざまな通信プロトコルを使用できる。

ネットワーク１１０は、当業者に知られている任意のタイプのネットワークであってもよく、それは、データ通信をサポートするために、複数の利用可能なプロトコルのいずれか１つ（ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸ等を含むがこれらに限定されない）を使用することができる。例として、１つまたは複数のネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネットベースのネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ、ＷＩＦＩ）、および／またはこれらおよび／またはその他のネットワークの任意の組み合わせであってもよい。

サーバ１２０は、１つまたは複数の汎用コンピュータ、専用サーバコンピュータ（例えば、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸサーバ、ミッドレンジサーバ）、ブレードサーバ、大型コンピュータ、サーバクラスタ、またはその他の適切な配置および／または組み合わせを含んでもよい。サーバ１２０は、仮想オペレーティングシステムを実行する１つまたは複数の仮想マシン、または仮想化に関わる他のコンピューティングアーキテクチャ（例えば、サーバの仮想記憶装置を維持するために仮想化された論理記憶デバイスの１つまたは複数のフレキシブルプール）を含んでもよい。様々な実施例において、サーバ１２０は、以下に説明する機能を提供する１つまたは複数のサービスまたはソフトウェアアプリケーションを実行することができる。

サーバ１２０内のコンピューティングユニットは、上述した任意のオペレーティングシステムおよび任意の商用サーバオペレーティングシステムを含む１つまたは複数のオペレーティングシステムを実行することができる。サーバ１２０は、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなど、様々な追加的なサーバアプリケーションおよび／または中間層アプリケーションのいずれか１つを実行することもできる。

いくつかの実施形態では、サーバ１２０は、クライアント装置１０１、１０２、１０３、１０４、１０５および１０６のユーザから受信したデータフィードおよび／またはイベントの更新を分析および統合するための１つまたは複数のアプリケーションを含んでもよい。サーバ１２０は、クライアント装置１０１、１０２、１０３、１０４、１０５および１０６の１つまたは複数のディスプレイデバイスを介してデータフィードおよび／またはリアルタイムイベントを表示する１つまたは複数のアプリケーションを含むこともできる。

いくつかの実施形態では、サーバ１２０は、アドホックシステムのサーバであってもよいし、ブロックチェーンを組み込んだサーバであってもよい。サーバ１２０は、クラウドサーバでもよいし、人工知能技術を備えたスマートクラウドコンピューティングサーバやスマートクラウドホストでもよい。クラウドサーバはクラウドコンピューティングサービスシステム中のホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービス中に存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決する。

システム１００は、１つまたは複数のデータベース１３０を含むこともできる。いくつかの実施例では、これらのデータベースはデータやその他の情報を記憶するために使用できる。例えば、データストア１３０内の１つまたは複数は、オーディオファイルや映像ファイルなどの情報を記憶するために使用されることができる。データストア１３０は、さまざまな位置に配置することができる。例えば、サーバ１２０が使用するデータストアは、サーバ１２０のローカルにあってもよいし、サーバ１２０から離れて、ネットワークまたは専用の接続を介してサーバ１２０と通信してもよい。データストア１３０は、さまざまなタイプであってもよい。いくつかの実施例では、サーバ１２０が使用するデータストアは、リレーショナルデータベースなどのデータベースであってもよい。これらのデータベースのうちの１つまたは複数は、命令に応じてデータベースとデータベースからのデータを記憶、更新、取得できる。

いくつかの実施例では、データベース１３０のうちの１つまたは複数は、アプリケーションによって使用され、アプリケーションのデータを記憶することもできる。アプリケーションで使用されるデータベースは、キー値リポジトリ、対象リポジトリ、ファイルシステムでサポートされる汎用リポジトリなど、様々なタイプのデータベースであってもよい。

図１のシステム１００は、本開示に基づいて説明した様々な方法および装置を応用することができるように、様々な方法で構成および操作することができる。
本開示の一態様によれば、画像画質補強方法を提供する。図２に示すように、画質補強方法は以下を含んでもよい。Ｓ２０１では、処理対象画像における関心領域および非関心領域を確定する。Ｓ２０２では、関心領域画質補強モデルに関心領域を入力することで、関心領域画質補強モデルが出力した第１画像データを取得する。Ｓ２０３では、非関心領域画質補強モデルに非関心領域を入力することで、非関心領域画質補強モデルが出力した第２画像データを取得する。Ｓ２０４では、第１画像データと第２画像データとを融合する。このように、処理すべき画像における関心領域に関心領域に対する画像画質補強モデルを用い、処理すべき画像における非関心領域に非関心領域に対する画像画質補強モデルを用いることにより、関心領域および非関心領域に対する画像補強処理をより指向的に行うことができ、これにより、処理後の画像または映像の主観的品質を向上させ、画像または映像に対するユーザの全体的な視体験を向上させることができる。

いくつかの実施例によれば、処理すべき画像は、例えば、映像の複数の映像連続フレームのうちの１フレームであってもよい。映像内の各フレームに対してより指向性のある画像画質補強処理を実行することによって、映像全体の主観的品質が向上し、ユーザが映像を見る体験が向上する。

いくつかの実施例によれば、関心領域は、処理すべき画像内の人間の目により関心のある領域、例えば、顔、人体、画面内の前景対象等の対象とすることができ、非関心領域は、関心領域以外の領域、例えば、画像内の道路、遠山、海、空等の風景背景とすることができる。一般に、人間の目は関心領域の主観的品質に対してより敏感であり、非関心領域の主観的品質に対して比較的敏感ではない。したがって、２つの領域に対して異なる画質補強モデルを使用することにより、画像全体の主観品質をより指向的に補強することができ、かつ全ての領域に対して同じ画質補強モデルを使用することにより引き起こされる非関心領域が過度に眼球を奪って主体を騒がせる現象を回避し、同時にある程度計算資源を節約する。

いくつかの実施例によれば、同一の画像画質補強モデルを使用して異なるモダリティの画像に対する主観的補強効果は、大きく異なる可能性があり、すなわち、画像画質補強モデルは、モダリティ間で適用することができない可能性がある。例えば、顔画像データを使用してトレーニングされる顔に対する画像画質補強モデルは、風景などのシーンの画質補強には適用できない場合があり、逆も同様である。したがって、関心領域に対する関心領域についての、関心領域に近い画像データを使用してトレーニングされる画像画質補強モデルを入力し、非関心領域に対する非関心領域についての、関心領域に近い画像データを使用してトレーニングされる非関心領域画像画質補強モデルを入力することにより、各領域の主観的品質を指向的に向上させることができ、それにより、処理すべき画像または映像の全体的な主観的品質をさらに向上させ、ユーザの視認性を向上させることができる。

いくつかの実施例によれば、図３に示すように、処理すべき画像における関心領域および非関心領域を確定するステップＳ２０１は、少なくとも１つの関心領域タイプを確定するステップＳ２０１１および少なくとも１つの関心領域タイプのそれぞれについて、処理すべき画像が関心領域タイプに対応する関心領域を含むか否かを確定するステップＳ２０１３を含んでもよい。例示的には、人体、植物を予め確定される関心領域のタイプとして使用することができ、それによって、処理すべき画像が人体に対応する関心領域および植物に対応する関心領域を含むか否かを確定することができる。

いくつかの実施例によれば、図３に示されるように、処理すべき画像における関心領域および非関心領域を確定するステップＳ２０１は、処理すべき画像に対して対象検出または画像意味分割を行い、複数の対象領域と複数の対象領域のそれぞれの領域タイプを得るステップＳ２０１２と、少なくとも１つの関心領域タイプのうちのそれぞれについて、処理すべき画像が関心領域タイプに対応する関心領域を含むか否かを確定し、例えば、少なくとも１つの関心領域タイプのそれぞれについて、複数の対象領域のうち、関心領域タイプに対応する関心領域を含むか否かを確定するステップＳ２０１３とをさらに含んでもよい。このように、対象検出または画像意味分割の方法を用いることにより、処理すべき画像に含まれる対象の位置や輪郭等の情報を得ながら当該対象のタイプを取得することができ、これにより、複数の対象領域と対応する領域タイプとをより容易に得ることができ、これらの対象領域に関心領域タイプに対応する関心領域が含まれているか否かを確定することができる。

本開示に記載される「関心領域」は、領域の形状を制限することを意図するものではなく、領域の接続性および数を制限することを意図するものでもないことを理解される。例えば対象検出方法を利用して処理すべき画像において、「人体」という領域タイプに対応する関心領域である、複数の人物をそれぞれ囲む複数の検出枠を検出する。

処理すべき画像における関心領域および非関心領域を確定した後、関心領域用の関心領域画質補強モデルおよび非関心領域用の画質補強モデルを確定する必要がある。いくつかの例示的な実施例では、関心領域画質補強モデルおよび非関心領域画質補強モデルの両方は、ノイズ抑制、鮮明度補強、詳細補強、超解像および色補強のうちの少なくとも１つを画像データに対して実行するように構成される。

いくつかの実施例によれば、複数の領域タイプにそれぞれ対応する複数の関心領域画質補強モデルを含んでもよいプリセットモデルライブラリを確立することができる。複数の関心領域画質補強モデルのそれぞれは、該モデルに対応する領域タイプの画像データを利用してトレーニングされてから得るものである。図４に示すように、画像画質補強方法は、少なくとも１つの関心領域タイプのそれぞれについて、処理すべき画像が関心領域タイプに対応する関心領域を含むと確定されることに応答して、プリセットモデルライブラリから関心領域タイプに対応する関心領域画質補強モデルを選択するステップＳ４０２を含むこともできる。図４のステップＳ４０１、ステップＳ４０５～ステップＳ４０７は、それぞれ図２のステップＳ２０１～ステップＳ２０４と同様であるので、ここでは説明を省略する。

いくつかの実施例によれば、関心領域画質補強モデルに関心領域を入力して、関心領域画質補強モデルが出力した第１画像データを取得するステップＳ４０５は、少なくとも１つの関心領域タイプにそれぞれ対応する関心領域を、対応する関心領域画質補強モデルにそれぞれ入力して、関心領域画質補強モデルが出力した少なくとも１つの関心領域タイプにそれぞれ対応する第１画像データを得ることを含んでもよい。これにより、関心領域タイプに基づいて対応する関心領域画質補強モデルを選択し、対応する関心領域画質補強モデルに関心領域を入力することにより、より指向的な画像画質補強方法が実現される。

いくつかの実施例によれば、プリセットモデルライブラリに異なる複雑度を有する複数の関心領域画質補強モデルと、異なる複雑度を有する複数の非関心領域画質補強モデルとが含まれることもできる。図４に示すように、画像画質補強方法は、少なくとも処理すべき画像に対する予想処理速度に基づいて、プリセットモデルライブラリから関心領域画質補強モデルと非関心領域画質補強モデルとを選択するステップＳ４０３を含んでもよい。これにより、プリセットモデルライブラリに複数の異なる複雑度の画質補強モデルを設けることにより、より豊富な画質補強モデル選択範囲を構築し、かつ処理すべき画像に対して画質補強処理を行う時の処理速度の制御を実現し、モデルが複雑過ぎることにより処理時間が長くなりすぎてユーザ体験が低下したり、モデルが複雑過ぎることにより処理効果が悪くなったり、画像や映像の主観品質が悪くなったりすることを回避する。

いくつかの実施例によれば、前記処理すべき画像を処理するために選択される関心領域画質補強モデルの複雑度は、前記処理すべき画像を処理するために選択される非関心領域画質補強モデルの複雑度よりも大きくてもよい。これにより、処理すべき画像に対して画像画質の補強を行う際に、関心領域の画質を優先的に補強することができ、さらに計算リソースが限られている場合でも画像や映像の主観品質を著しく向上させることができることを確保することができる。

いくつかの実施例によれば、プリセットモデルライブラリは、深層学習方法を使用するモデルを含むことができ、また、従来の方法を使用するモデルを含んでもよい。例示的に、深層学習方法を使用するモデルは、例えば、畳み込みニューラルネットワークを使用することができ、従来の方法を使用するモデルは、例えば、平滑化フィルタリング、鮮鋭化、ヒストグラム等化、形態学、ウェーブレット変換などの数学的モデリングに基づく操作によって、画像の画質補強を達成することができる。従来の方法を使用するモデルは、一般に、深層学習方法を使用するモデルよりも複雑性が低いことが理解されるであろう。いくつかの実施例では、関心領域画質補強モデルとして複雑度の高い深層学習方法モデルを使用することができ、非関心領域画質補強モデルとして複雑度の低い深層学習方法モデルを使用することができる。関心領域画質補強モデルとして深層学習方法モデルを使用し、非関心領域画質補強モデルとして従来の方法モデルを使用することもできる。関心領域画質補強モデルとして複雑度の高い従来方法のモデルを用い、非関心領域画質補強モデルとして複雑度の低い従来方法のモデルを用いることも可能であり、ここでは限定するものではない。

いくつかの実施例によれば、プリセットモデルライブラリは、複数の業務シーンにそれぞれ対応する複数の関心領域画質補強モデルと、複数の業務シーンにそれぞれ対応する複数の非関心領域画質補強モデルとをさらに含んでもよい。図４に示すように、画像画質補強方法は、少なくとも処理すべき画像の業務シーンに基づいて、プリセットモデルライブラリから関心領域画質補強モデルと非関心領域画質補強モデルとを選択するステップＳ４０４をさらに含んでもよい。これにより、プリセットモデルライブラリに異なる業務シーンに対する複数のモデルを設けることにより、より豊富な画質補強モデル選択範囲を構築するとともに、異なる業務シーンに対する処理すべき画像をより指向的に画像画質補強処理できることを実現する。

いくつかの実施例によれば、業務シーンは、例えば、画像カテゴリまたは映像カテゴリであってもよい。例示的に、異なる業務シーンは、例えば、ドキュメンタリー、アクション映画、ドラマなどの異なる映画タイプであってもよい。アクション映画に対して、人物のアクションを補強して背景を抑制する画質補強モデルを用いることができる。ドキュメンタリーに対して、物体と背景の真色をより表現する画質補強モデルを使用することができる。ドラマに対しては、人物、対象、シーンを柔らかくする画質補強モデルを用いることができ、ここでは限定するものではない。

理解されるように、上記の様々なモデル選択方法は、選択的に使用されてもよいし、組み合わせて使用されてもよい。例えば、プリセットモデルライブラリには、３つの関心領域タイプ、３つの複雑度、３つの業務シーンに対する２７つの関心領域画質補強モデルが含まれており、処理すべき画像の関心領域に画質補強操作を行う際に、その中から必要に応じて１つまたは複数のモデルを選択して処理することができる。上記は単なる例示的な実施形態であり、当業者は、必要に応じてより豊富なプリセットモデルライブラリを構築することができ、ルールを自由に設定してモデルを選択することができ、ここでは限定するものではない。

いくつかの実施例によれば、ステップＳ４０７において、第１画像データと第２画像データとの融合は、例えば、第１画像データと第２画像データとのポアソン融合であってもよい。このように、ポアソン融合の方法を用いることにより、関心領域および非関心領域との境界遷移がより自然に変化し、第１画像データと第２画像データとの融合効果がさらに補強し、処理後の画像全体の主観品質が向上する。当業者は、必要に応じて他の融合方法を選択することができ、例えば、利用可能な計算リソースの数に応じて、より単純なまたはより複雑な融合方法を選択することができ、また、画像データの特性に応じて、より指向的な融合方法を選択することができ、ここでは限定されないことを理解される。

本開示の別の態様によれば、画像画質補強モデルのトレーニング方法も提供する。図５に示すように、トレーニング方法は、第１サンプル画像における第１サンプル関心領域と第１サンプル非関心領域を確定するステップＳ５０１と、第１サンプル関心領域に対応する第１サンプル関心領域補強画像データを取得するステップＳ５０２と、第１サンプル関心領域および第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするステップＳ５０３と、第１サンプル非関心領域に対応する第１サンプル非関心領域補強画像データを取得するステップＳ５０４と、第１サンプル非関心領域および第１サンプル非関心領域補強画像データを利用して非関心領域画質補強モデルをトレーニングするステップＳ５０５とを含んでもよい。このように、関心領域のサンプル画像データと補強画像データとを利用して関心領域画質補強モデルをトレーニングし、非関心領域のサンプル画像データと補強画像データとを利用して非関心領域画質補強モデルをトレーニングすることにより、関心領域のモデルと非関心領域のモデルとを、画像画質補強処理を行う際に、より指向的に対応させることができ、これにより、この二つのモデルを使用してそれぞれ関心領域および非関心領域に対して画質補強処理を行った後の画像の主観品質を向上させ、ユーザの視体験を向上させることができる。

いくつかの実施例によれば、第１サンプル画像は、例えば、映像の複数の映像連続フレーム内の１フレームであってもよく、第１サンプル関心領域補強画像データは、例えば、他の方法によって得られた、第１サンプル関心領域を補強処理した画像データであってもよい。

いくつかの実施例によれば、トレーニング方法は、図６に示されるように、第２サンプル画像における第２サンプル関心領域を確定し、第２サンプル関心領域の領域タイプは第１サンプル関心領域の領域タイプと同じであるステップＳ６０６と、第２サンプル関心領域に対応する第２サンプル関心領域補強画像データを取得するステップＳ６０７と、第２サンプル関心領域と第２サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするステップＳ６０８と、第３サンプル画像における第３サンプル関心領域を確定し、第３サンプル関心領域の領域タイプは第１サンプル関心領域の領域タイプと異なるステップＳ６０９と、第３サンプル関心領域に対応する第３サンプル関心領域補強画像データを取得するステップＳ６１０と、第３関心領域および第３関心領域補強画像データを利用して第１関心領域画質補強モデルとは異なる第２関心領域画質補強モデルをトレーニングするステップＳ６１１とをさらに含んでもよい。図６のステップＳ６０１～ステップＳ６０５は、図５のステップＳ５０１～ステップＳ５０５と同様であるので、ここでは説明を省略する。

このように、同じ関心領域タイプの関心領域の画像データを利用して同じ関心領域画質補強モデルをトレーニングし、異なる関心領域タイプの関心領域の画像データを利用して異なる関心領域画質補強モデルをトレーニングすることにより、異なる関心領域タイプのそれぞれに対応する関心領域画質補強モデルを得ることができ、これにより、処理すべき画像に対して画質補強処理を行う際に、より豊富なモデル選択範囲を得ることができ、異なるタイプの関心領域の処理をより指向的にし、処理後の画像の主観的な品質とユーザの視聴感を向上させることができる。第１サンプル画像内の異なる関心領域タイプに対応する異なる関心領域を使用して、異なる画質補強モデルをトレーニングすることも可能であり、ここでは限定するものではないことを理解されたい。

いくつかの実施例によれば、図７に示されるように、トレーニング方法は、第１サンプル関心領域および第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルとは異なる第３関心領域画質補強モデルをトレーニングするステップＳ７０６をさらに含んでもよく、第３関心領域画質補強モデルの複雑度は、第１関心領域画質補強モデルの複雑度とは異なる。なお、図７のステップＳ７０１～ステップＳ７０５は、図５のステップＳ５０１～ステップＳ５０５と同様であるため、ここでの説明は省略する。これにより、同一サンプル画像を利用して異なる複雑度の複数の関心領域画質補強モデルをトレーニングすることにより、処理すべき画像に対して画像補強処理を行う際に、より豊富なモデル選択範囲を有し、画質補強処理過程の速度の制御を実現する。

いくつかの実施例によれば、図８に示されるように、トレーニング方法は、第４サンプル画像における第４サンプル関心領域を確定し、第４サンプル画像の業務シーンは第１サンプル画像の業務シーンと同じであるステップＳ８０６と、第４サンプル関心領域に対応する第４サンプル関心領域補強画像データを取得するステップＳ８０７と、第４サンプル関心領域および第４サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするステップＳ８０８と、第５サンプル画像における第５サンプル関心領域を確定し、第５サンプル画像の業務シーンは第１サンプル画像の業務シーンと異なるステップＳ８０９と、第５サンプル関心領域に対応する第５サンプル関心領域補強画像データを取得するステップＳ８１０と、第５のサンプル関心領域および第５のサンプル関心領域補強画像データを利用して、第１関心領域画質補強モデルとは異なる第４関心領域画質補強モデルをトレーニングするステップＳ８１１とをさらに含んでもよい。これにより、同じ業務シーンのサンプル画像を利用して同じ関心領域画質補強モデルをトレーニングし、異なる業務シーンのサンプル画像を利用して異なる関心領域画質補強モデルをトレーニングすることにより、異なる業務シーンのそれぞれに対応する関心領域画質補強モデルを得ることができ、処理すべき画像に対して画質補強処理を行う際に、より豊富なモデル選択範囲を有するとともに、異なる業務シーンの画像データに対する処理をより指向的にすることができ、処理後の画像の主観品質やユーザの視認性を向上させることができる。

本開示の別の態様によれば、画像画質補強モデルも提供する。図９に示すように、画像画質補強モデル９００は、処理対象画像における関心領域および非関心領域を確定するように構成される確定ユニット９１０と、関心領域入力に基づいて第１画像データを出力するように構成される関心領域画質補強モデル９２０と、非関心領域入力に基づいて第２画像データを出力するように構成される非関心領域画質補強モデル９３０と、第１画像データと前記第２画像データとを融合するように構成される融合ユニット９４０を含む。

画質補強モデル９００のユニット９１０～９４０の動作については、上述したステップＳ２０１～Ｓ２０４の動作と同様であるので、ここでは説明を省略する。
いくつかの実施例によれば、図１０に示されるように、確定ユニット９１０は、少なくとも１つの関心領域タイプを確定するように構成されるタイプ確定サブユニット９１１、および少なくとも１つの関心領域タイプのそれぞれについて、処理対象画像が関心領域タイプに対応する関心領域を含むか否かを確定するように構成される領域確定サブユニット９１３を含んでもよい。

いくつかの実施例によれば、図１０に示されるように、確定ユニット９１０は、処理対象画像に対して対象検出または画像意味分割を行って、複数の対象領域と複数の対象領域のそれぞれの領域タイプを得るように構成される対象領域抽出サブユニット９１２をさらに含むことができ、ここで、領域確定サブユニットは、少なくとも１つの関心領域タイプのそれぞれについて、複数の対象領域の中に関心領域タイプに対応する関心領域が含まれているか否かを確定するように構成される。

いくつかの実施例によれば、図１１に示すように、画像画質補強モデル１１００は、少なくとも１つの関心領域タイプのそれぞれについて、処理すべき画像が関心領域タイプに対応する関心領域を含むことを確定することに応答して、関心領域タイプに対応する関心領域画質補強モデルを、複数の領域タイプにそれぞれ対応する複数の関心領域画質補強モデルを含むプリセットモデルライブラリから選択するように構成される第１選択ユニット１１２０をさらに含んでもよい。図１１のユニット１１１０、ユニット１１５０～ユニット１１７０の動作は、図９のユニット９１０～ユニット９４０の動作と同様であるので、ここでは説明を省略する。

いくつかの実施例によれば、図１１に示すように、画像画質補強モデル１１００は、少なくとも、処理すべき画像に対する所望の処理速度に基づいて、関心領域に対する異なる複雑度を有する複数の画質補強モデルおよび複数の非関心領域の異なる複雑度を有する画質補強モデルを含むプリセットモデルライブラリから関心領域画質補強モデルおよび非関心領域画質補強モデルを選択するように構成される第２選択ユニット１１３０をさらに含んでもよい。

いくつかの実施例によれば、処理すべき画像を処理するために選択される関心領域画質補強モデルの複雑度は、処理すべき画像を処理するために選択される非関心領域画質補強モデルの複雑度よりも大きくてもよい。

いくつかの実施例によれば、図１１に示すように、画像画質補強モデル１１００は、少なくとも処理すべき画像の業務シーンに基づいて、複数の関心領域に対する複数の業務シーンにそれぞれ対応する画質補強モデルと複数の非関心領域に対する複数の業務シーンにそれぞれ対応する画質補強モデルとを含むプリセットモデルライブラリから、関心領域画質補強モデルと非関心領域画質補強モデルとを選択するように構成される第３選択ユニット１１４０をさらに含んでもよい。

本開示の別の態様によれば、画像画質補強モデルのトレーニング装置も提供する。図１２に示すように、トレーニング装置１２００は、第１サンプル画像における第１サンプル関心領域と第１サンプル非関心領域を確定するように構成される確定ユニット１２１０と、第１サンプル関心領域に対応する第１サンプル関心領域補強画像データを取得するように構成される取得ユニット１２２０と、第１サンプル関心領域および第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするように構成されるトレーニングユニット１２３０とを含むんでもよい。ここでは、取得ユニット１２２０はさらに、第１サンプル非関心領域に対応する第１サンプル非関心領域補強画像データを取得するように構成される。トレーニングユニット１２３０はさらに、第１サンプル非関心領域および第１サンプル非関心領域補強画像データを利用して非関心領域画質補強モデルをトレーニングするように構成される。

ここで、確定ユニット１２１０はさらに、第２サンプル画像における第２サンプル関心領域を確定するように構成され、第２サンプル関心領域の領域タイプは第１サンプル関心領域の領域タイプと同じである。取得ユニット１２２０はさらに、第２サンプル関心領域に対応する第２サンプル関心領域補強画像データを取得するように構成される。トレーニングユニット１２３０はさらに、第２サンプル関心領域と第２サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするように構成される。確定ユニット１２１０はさらに、第３サンプル画像における第３サンプル関心領域を確定するように構成され、第３サンプル関心領域の領域タイプは第１サンプル関心領域の領域タイプと異なる。取得ユニット１２２０は、第３サンプル関心領域に対応する第３サンプル関心領域補強画像データを取得するように構成される。トレーニングユニット１２３０はさらに、第３サンプル関心領域および第３サンプル関心領域補強画像データを利用して、第１関心領域画質補強モデルとは異なる第２関心領域画質補強モデルをトレーニングするように構成される。

いくつかの実施例によれば、トレーニングユニット１２３０はさらに、第１サンプル関心領域および第１サンプル関心領域補強画像データを利用して、第１関心領域画質補強モデルとは異なる第３関心領域画質補強モデルをトレーニングするように構成される。第３関心領域画質補強モデルの複雑度は、第１関心領域画質補強モデルの複雑度とは異なる。

いくつかの実施例によれば、確定ユニット１２１０はさらに、第４サンプル画像における第４サンプル関心領域を確定するように構成され、第４サンプル画像の業務シーンは第１サンプル画像の業務シーンと同じである。取得ユニット１２２０はさらに、第４サンプル関心領域に対応する第４サンプル関心領域補強画像データを取得するように構成される。トレーニングユニット１２３０はさらに、第４サンプル関心領域および第４サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするように構成される。確定ユニット１２１０はさらに、第５サンプル画像における第５サンプル関心領域を確定するように構成、第５サンプル画像の業務シーンは第１サンプル画像の業務シーンと異なるよ。取得ユニット１２２０はさらに、第５サンプル関心領域内の画像データに対応する第５サンプル関心領域補強画像データを取得するように構成される。トレーニングユニット１２３０は、第５サンプル関心領域および第５サンプル関心領域補強画像データを利用して、第１関心領域画質補強モデルとは異なる第４関心領域画質補強モデルをトレーニングするように構成される。

本開示の実施例によれば、電子機器、可読記憶媒体およびコンピュータプログラム製品をさらに提供する。
図１３を参照して、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバまたはクライアントとして利用可能な電子機器１３００の構成ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ機器、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、個人デジタル処理、携帯電話、スマートフォン、着用可能な装置とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係およびこれらの機能は例示的なものに過ぎず、本明細書に説明したおよび／または請求した本開示の実現を制限しない。

図１３に示すように、機器１３００は、コンピューティングユニット１３０１を含み、それはリードオンリーメモリ（ＲＯＭ）１３０２に記憶されるプログラムまた記憶ユニット１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされるプログラムによって、種々の適当な操作と処理を実行することができる。ＲＡＭ １３０３において、更に機器１３００を操作するために必要な様々なプログラムとデータを記憶してよい。処理装置１３０１、ＲＯＭ １３０２およびＲＡＭ １３０３はバス１３０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース１３０５もバス１３０４に接続される。

機器１３００における複数の部品はＩ／Ｏインターフェース１３０５に接続され、複数の部品は、入力ユニット１３０６、出力ユニット１３０７、記憶ユニット１３０８および通信ユニット１３０９を含む。出力ユニット１３０６は、機器１３００に情報を入力することが可能な任意のタイプの装置であってもよく、入力ユニット１３０６は、入力された数字または文字情報を受信し、電子機器のユーザ設定および／または機能制御に関するキー信号入力を生成することができ、かつマウス、キーボード、タッチスクリーン、トラックボード、トラックボール、操作レバー、マイクおよび／またはリモコンを含んでもよいが、これらに限定されない。出力ユニット１３０７は、情報を提示することが可能な任意のタイプの装置であってもよく、ディスプレイ、スピーカ、ビデオ／オーディオ出力端末、バイブレータ、および／またはプリンタを含んでもよいが、これらに限定されない。記憶ユニット１３０８は磁気ディスク、光ディスクを含んでもよいが、これらに限定されない。通信ユニットト１３０９は、機器１３００が例えば、インターネットであるコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報／データを交換することを可能にし、モデム、ネットワークカード、赤外線通信装置、無線通信送受信機、および／またはチップセット、例えば、ブルートゥース（登録商標）ＴＭ装置、１３０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置および／または類似物を含んでもよいが、これらに限定されない。

計算ユニット１３０１は処理および計算能力を有する様々な汎用および／または専用の処理コンポーネントであってもよい。計算ユニット１３０１の例には、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラ、マイクロコントローラなどが含まれるがこれらに限定されないことである。計算ユニット１３０１は上記内容で説明した各方法と処理、例えば画像画質補強方法または画像補強モデルのトレーニング方法を実行する。例えば、一部の実施例において、画像画質補強方法または画像補強モデルのトレーニング方法はコンピュータソフトウェアプログラムとして実現してよく、機械可読媒体、例えば、記憶ユニット１３０８に有形に含まれる。一部の実施例において、コンピュータプログラムの一部または全てはＲＯＭ １３０２および／または通信ユニット１３０９を経由して機器１３００にロードおよび／またはインストールされてよい。コンピュータプログラムがＲＡＭ １３０３にロードされて計算ユニット１３０１によって実行される場合、以上で説明される画像画質補強方法または画像補強モデルのトレーニング方法の１つまたは複数のステップを実行することできる。代替的に、別の実施例において、計算ユニット１３０１は他のいかなる適切な方式で（例えば、ファームウェアにより）画像画質補強方法または画像補強モデルのトレーニング方法を実行するように構成されてよい。

本明細書で上述したシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムに実施され、この１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行しおよび／または解釈してもよく、このプログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、少なくとも１つの出力装置からデータと命令を受信し、データと命令をこの記憶システム、この少なくとも１つの入力装置、この少なくとも１つの出力装置に送信してよいこと、を含んでもよい。

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせを用いて作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供することができ、これによって、プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図で規定された機能／操作が実行される。プログラムコードは完全に機械上で実行されても、部分的に機械で実行されても、独立ソフトウェアパッケージとして部分的に機械で実行されかつ部分的に遠隔機械上で実行されても、または、完全に遠隔機械またはサーバー上で実行されてもよい。

本開示のコンテストにおいて、機械可読媒体は、コマンド実行システム、装置、また機器が使用するプログラムまたはコマンド実行システム、装置または機器と組み合わせて使用されるプログラムを含むか記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線的、または半導体システム、装置や機器、または上記の内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つまたは複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、また上記の内容の任意の適当な組み合わせを含んでもよい。

ユーザとのインタラクションを提供するために、ここで述べたシステムおよび技術をコンピュータ上で実行することができる。このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管）またはＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶表示装置）モニタ）と、キーボードやポインティング装置を有し、ユーザはこのキーボードやポインティング装置（例えば、マウスやトラックボール）によって入力をコンピュータに提供することができる。他の種類の装置は、さらに、ユーザとのインタラクションを提供するために利用することができる。例えば、ユーザに提供されるフィードバックは、任意の形のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよい。しかも、ユーザからの入力を、任意の形（ボイス入力、音声入力、触覚入力を含む）で受け付けてもよい。

ここで述べたシステムや技術は、バックステージ部材を含む計算システム（例えば、データサーバとして）や、ミドルウェア部材を含む計算システム（例えば、アプリケーションサーバ）や、フロントエンド部材を含む計算システム（例えば、グラフィカルユーザインタフェースやウェブブラウザを有するユーザコンピュータ、ユーザが、そのグラフィカルユーザインタフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクティブを実現できる）、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互に接続されてもよい。通信ネットワークとしては、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットを含む。

コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側－サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバの関係を生成する。サーバは、クラウドサーバであり、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステム中の一つのホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、または略称「ＶＰＳ」）に存在する管理困難度が高く、業務拡張性が弱い欠陥を解決している。サーバーは、分散型システムのサーバでも、またはブロックチェーンと組み合わされサーバであってもよい。

理解すべきことは、前述した様々な形態のフローを利用して、改めて順位付け、ステップを増加又削除してよいことである。例えば、本開示に記載された各ステップは、並列的に実行してもよいし、順次実行してもよいし、異なる順序で実行させてもよいし、本開示に開示された技術案が所望する結果を実現できれば、本文はこれに限定されないことである。

本開示の実施形態または例は図面を参照して説明されたが、上記の方法、システム、および装置は単なる例示的な実施形態または例であり、本発明の範囲はこれらの実施形態または例によって制限されるものではなく、授権後の特許請求の範囲およびその均等範囲のみによって限定されることを理解されたい。実施例または例の様々な要素は省略されてもよく、またはそれらの均等要素によって代替されてもよい。また、各ステップは、本開示で説明した順序とは異なる順序で実行されてもよい。更に、実施形態または例の様々な要素は、様々な方法で組み合わせられてもよい。重要なのは、技術の進化に伴い、ここで説明される多くの要素は、本開示の後に現れる同等の要素に置き換えることができるということである。

Claims (17)

1. 画像画質補強方法であって、
   処理すべき画像における関心領域および非関心領域を確定することと、
   少なくとも、前記処理すべき画像に対する所望の処理速度に基づいて、異なる複雑度を有する複数の関心領域画質補強モデルおよび異なる複雑度を有する複数の非関心領域画質補強モデルを含むプリセットモデルライブラリから関心領域画質補強モデルおよび非関心領域画質補強モデルを選択することと、
   前記関心領域画質補強モデルに関心領域を入力することで、前記関心領域画質補強モデルが出力した第１画像データを取得することと、
   前記非関心領域画質補強モデルに非関心領域を入力することで、前記非関心領域画質補強モデルが出力した第２画像データを取得することと、
   前記第１画像データと前記第２画像データとを融合することとを含む画像画質補強方法。
2. 処理すべき画像における関心領域および非関心領域を確定することは、
   少なくとも１つの関心領域タイプを確定することと、
   前記少なくとも１つの関心領域タイプのそれぞれについて、前記処理すべき画像が前記関心領域タイプに対応する関心領域を含むか否かを確定することとを含み、
   前記方法は、
   前記少なくとも１つの関心領域タイプのそれぞれについて、前記処理すべき画像が前記関心領域タイプに対応する関心領域を含むことを確定することに応答して、前記関心領域タイプに対応する関心領域画質補強モデルを、複数の領域タイプにそれぞれ対応する複数の関心領域画質補強モデルを含むプリセットモデルライブラリから選択することをさらに含む請求項１に記載の方法。
3. 前記処理すべき画像を処理するために選択された前記関心領域画質補強モデルの複雑度は、前記処理すべき画像を処理するために選択された前記非関心領域画質補強モデルの複雑度よりも大きい請求項１に記載の方法。
4. 処理すべき画像における関心領域および非関心領域を確定することは、
   前記処理すべき画像に対して対象検出または画像意味分割を行って、複数の対象領域と前記複数の対象領域のそれぞれの領域タイプを得ることをさらに含み、
   前記少なくとも１つの関心領域タイプのそれぞれについて、前記複数の対象領域の中に前記関心領域タイプに対応する関心領域が含まれているか否かを確定する請求項２に記載の方法。
5. 画像画質補強モデルのトレーニング方法であって、
   第１サンプル画像における第１サンプル関心領域と第１サンプル非関心領域を確定することと、
   前記第１サンプル関心領域に対応する第１サンプル関心領域補強画像データを取得することと、
   前記第１サンプル関心領域および前記第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングすることと、
   前記第１サンプル非関心領域に対応する第１サンプル非関心領域補強画像データを取得することと、
   前記第１サンプル非関心領域および前記第１サンプル非関心領域補強画像データを利用して非関心領域画質補強モデルをトレーニングすることと、
   前記第１サンプル関心領域および前記第１サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルとは異なる第３関心領域画質補強モデルをトレーニングすることとを含み、
   前記第３関心領域画質補強モデルの複雑度は、前記第１関心領域画質補強モデルの複雑度とは異なる、画像画質補強モデルのトレーニング方法。
6. 第２サンプル画像における第２サンプル関心領域を確定し、前記第２サンプル関心領域の領域タイプは前記第１サンプル関心領域の領域タイプと同じであることと、
   前記第２サンプル関心領域に対応する第２サンプル関心領域補強画像データを取得することと、
   前記第２サンプル関心領域と前記第２サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルをトレーニングすることと、
   第３サンプル画像における第３サンプル関心領域を確定し、前記第３サンプル関心領域の領域タイプは前記第１サンプル関心領域の領域タイプと異なることと、
   前記第３サンプル関心領域に対応する第３サンプル関心領域補強画像データを取得することと、
   前記第３サンプル関心領域および前記第３サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルとは異なる第２関心領域画質補強モデルをトレーニングすることとをさらに含む請求項５に記載の方法。
7. 第４サンプル画像における第４サンプル関心領域を確定し、前記第４サンプル画像の業務シーンは前記第１サンプル画像の業務シーンと同じであることと、
   前記第４サンプル関心領域に対応する第４サンプル関心領域補強画像データを取得することと、
   前記第４サンプル関心領域および前記第４サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルをトレーニングすることと、
   第５サンプル画像における第５サンプル関心領域を確定し、前記第５サンプル画像の業務シーンは前記第１サンプル画像の業務シーンと異なることと、
   前記第５サンプル関心領域に対応する第５サンプル関心領域補強画像データを取得することと、
   前記第５サンプル関心領域および前記第５サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルとは異なる第４関心領域画質補強モデルをトレーニングすることとをさらに含む請求項５または６に記載の方法。
8. 画像画質補強装置であって、
   処理すべき画像における関心領域および非関心領域を確定するように構成される確定ユニットと、
   少なくとも、前記処理すべき画像に対する所望の処理速度に基づいて、前記関心領域に対する異なる複雑度を有する複数の画質補強モデルおよび前記非関心領域に対する異なる複雑度を有する複数の画質補強モデルを含むプリセットモデルライブラリから関心領域画質補強モデルおよび非関心領域画質補強モデルを選択するように構成される第２選択ユニットと、
   前記関心領域入力に基づいて第１画像データを出力するように構成される当該関心領域画質補強モデルと、
   前記非関心領域入力に基づいて第２画像データを出力するように構成される当該非関心領域画質補強モデルと、
   前記第１画像データと前記第２画像データとを融合するように構成される融合ユニットとを含む画像画質補強装置。
9. 前記確定ユニットは、
   少なくとも１つの関心領域タイプを確定するように構成されるタイプ確定サブユニットと、
   前記少なくとも１つの関心領域タイプのそれぞれについて、前記処理すべき画像が前記関心領域タイプに対応する関心領域を含むか否かを確定するように構成される領域確定サブユニットとを含み、
   前記画像画質補強装置は、
   前記少なくとも１つの関心領域タイプのそれぞれについて、前記処理すべき画像が前記関心領域タイプに対応する関心領域を含むことを確定することに応答して、前記関心領域タイプに対応する関心領域画質補強モデルを、複数の領域タイプにそれぞれ対応する複数の関心領域画質補強モデルを含むプリセットモデルライブラリから選択するように構成される第１選択ユニットをさらに含む請求項８に記載の画像画質補強装置。
10. 前記処理すべき画像を処理するために選択された前記関心領域画質補強モデルの複雑度は、前記処理すべき画像を処理するために選択された前記非関心領域画質補強モデルの複雑度よりも大きい請求項８に記載の画像画質補強装置。
11. 前記確定ユニットは、
    前記処理すべき画像に対して対象検出または画像意味分割を行って、複数の対象領域と前記複数の対象領域のそれぞれの領域タイプを得るように構成される対象領域抽出サブユニットをさらに含み、
    前記領域確定サブユニットは、前記少なくとも１つの関心領域タイプのそれぞれについて、前記複数の対象領域の中に前記関心領域タイプに対応する関心領域が含まれているか否かを確定するように構成される請求項９に記載の画像画質補強装置。
12. 画像画質補強モデルのトレーニング装置であって、
    第１サンプル画像における第１サンプル関心領域と第１サンプル非関心領域を確定するように構成される確定ユニットと、
    前記第１サンプル関心領域に対応する第１サンプル関心領域補強画像データを取得するように構成される取得ユニットと、
    前記第１サンプル関心領域および前記第１サンプル関心領域補強画像データを利用して第１関心領域画質補強モデルをトレーニングするように構成されるトレーニングユニットとを含み、
    前記取得ユニットはさらに、前記第１サンプル非関心領域に対応する第１サンプル非関心領域補強画像データを取得するように構成され、
    前記トレーニングユニットはさらに、
    前記第１サンプル非関心領域および前記第１サンプル非関心領域補強画像データを利用して非関心領域画質補強モデルをトレーニングし、
    前記第１サンプル関心領域および前記第１サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルとは異なる第３関心領域画質補強モデルをトレーニングするように構成され、前記第３関心領域画質補強モデルの複雑度は、前記第１関心領域画質補強モデルの複雑度とは異なる、画像画質補強モデルのトレーニング装置。
13. 前記確定ユニットはさらに、第２サンプル画像における第２サンプル関心領域を確定するように構成され、前記第２サンプル関心領域の領域タイプは前記第１サンプル関心領域の領域タイプと同じであり、
    前記取得ユニットはさらに、前記第２サンプル関心領域に対応する第２サンプル関心領域補強画像データを取得するように構成され、
    前記トレーニングユニットはさらに、前記第２サンプル関心領域と前記第２サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルをトレーニングするように構成され、
    前記確定ユニットはさらに、第３サンプル画像における第３サンプル関心領域を確定するように構成され、前記第３サンプル関心領域の領域タイプは前記第１サンプル関心領域の領域タイプと異なり、
    前記取得ユニットはさらに、前記第３サンプル関心領域に対応する第３サンプル関心領域補強画像データを取得するように構成され、
    前記トレーニングユニットはさらに、前記第３サンプル関心領域および前記第３サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルとは異なる第２関心領域画質補強モデルをトレーニングするように構成される請求項１２に記載のトレーニング装置。
14. 前記確定ユニットはさらに、第４サンプル画像における第４サンプル関心領域を確定するように構成され、前記第４サンプル画像の業務シーンは前記第１サンプル画像の業務シーンと同じであり、
    前記取得ユニットはさらに、前記第４サンプル関心領域に対応する第４サンプル関心領域補強画像データを取得するように構成され、
    前記トレーニングユニットはさらに、前記第４サンプル関心領域および前記第４サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルをトレーニングするように構成され、
    前記確定ユニットはさらに、第５サンプル画像における第５サンプル関心領域を確定するように構成され、前記第５サンプル画像の業務シーンは前記第１サンプル画像の業務シーンと異なり、
    前記取得ユニットはさらに、前記第５サンプル関心領域内の画像データに対応する第５サンプル関心領域補強画像データを取得するように構成され、
    前記トレーニングユニットはさらに、前記第５サンプル関心領域および前記第５サンプル関心領域補強画像データを利用して、前記第１関心領域画質補強モデルとは異なる第４関心領域画質補強モデルをトレーニングするように構成される請求項１２または１３に記載のトレーニング装置。
15. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されるメモリとを含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され
    、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに請求項１～７のいずれか一項に記載の方法を実行させる電子機器。
16. コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令はコンピュータに請求項１～７のいずれか一項に記載の方法を実行させるために利用されるコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体。
17. コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムはプロセッサによって実行されると、請求項１～７のいずれか一項に記載の方法を実現する、コンピュータプログラム製品。

Images