JP2024525151A - 画質調整方法、装置、機器、及び媒体 - Google Patents

Abstract

本開示の実施例は、画質調整方法、装置、機器、及び媒体に関する。該方法は、ビデオ又は画像を含むマルチメディアリソースを取得するステップと、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、シーン検出結果は、マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、画質検出結果は、マルチメディアリソースの画像の画質を示す、ステップと、シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従ってマルチメディアリソースに画質向上処理を行うステップと、を含む。本開示の実施例は、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

Description

［関連出願の関連参照］
本願は、２０２１年０８月１８日に提出された、出願番号が２０２１１０９５０３９７．０、発明の名称が「画質調整方法、装置、機器、及び媒体」の中国特許出願の優先権を主張しており、当該出願のすべての内容は引用により本願に組み込まれている。

本開示は、画像処理の技術分野に関し、特に、対話型ツールの生成、装置、機器及び媒体に関する。

インターネット技術や電子機器の発展に伴い、画像やビデオの画質に対するユーザーの要求はますます高まっている。

ユーザーエクスペリエンスを向上させるために、画質向上アルゴリズムによって画質向上を行うことができるが、現在の画質向上方式は比較的簡単で、画質向上効果は要求を満たすことができない。

上記の技術的課題を解決するか、又は上記の技術的課題を少なくとも部分的に解決するために、本開示は、画質調整方法、装置、機器、及び媒体を提供する。

本開示の実施例は、
ビデオ又は画像を含むマルチメディアリソースを取得するステップと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って、前記マルチメディアリソースに画質向上処理を行うステップと、を含む、画質調整方法を提供する。
本開示の実施例はまた、
ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュールと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュールであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュールと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うための画質向上モジュールと、を含む、画質調整装置を提供する。

本開示の実施例はまた、プロセッサと、前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリから記実行可能命令を読み取り、前記命令を実行して、本開示の実施例による画質調整方法を実行する、電子機器を提供する。
本開示の実施例はまた、本開示の実施例による画質調整方法を実行するためのコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。

本開示の実施例はまた、プロセッサによって実行されると、本開示の実施例による画質調整方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

本開示の実施例による技術的解決手段は、従来技術と比べて、少なくとも以下の利点を有する。本開示の実施例による画質調整手段では、ビデオ又は画像を含むマルチメディアリソースを取得し、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定し、シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従ってマルチメディアリソースに画質向上処理を行う。上記の技術的解決手段によれば、ビデオ又は画像のシーン及び画質に基づいて、対応する画質向上戦略を決定し、該画質向上戦略を採用して画質効果を向上させることができ、画質向上戦略はシーン及び画質の２つの次元の情報から決定され、しかも、１つ又は複数の画質向上アルゴリズムを組み合わせることによって得られ得るので、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

図面を参照して、以下の具体的な実施形態を参照すると、本開示の各実施例の上記及び他の特徴、利点、及び態様がより明らかになる。図面全体を通して、同一又は類似の符号は、同一又は類似の要素を表す。図面は概略的なものであり、元の部材及び要素は必ずしも比例的に描かれていないことが理解されるべきである。

本開示の実施例による画質調整方法の流れの模式図である。 本開示の実施例による別の画質調整方法の流れの模式図である。 本開示の実施例による画質調整過程の模式図である。 本開示の実施例によるアルゴリズムルーティングテーブルの模式図である。 本開示の実施例提による画質調整装置の構造模式図である。 本開示の実施例による電子機器の構造模式図である。

以下、図面を参照して、本開示の実施例についてより詳細に説明する。本開示のいくつかの実施例が図面に示されているが、本開示は様々な形態で実現され得、本明細書に記載された実施例に限定されるものとして解釈されるべきではなく、むしろ、本開示をより完全かつ完全に理解するためにこれらの実施例が提供されることが理解されるべきである。本開示の図面及び実施例は、例示のためにのみ使用され、本開示の保護範囲を制限するために使用されるものではないことが理解されるべきである。

本開示の方法の実施形態に記載された各ステップは、異なる順序で実行されたり、並行して実行されたりしてもよいことが理解されるべきである。さらに、方法の実施形態は、追加のステップを含むことができ、及び／又は示されたステップの実行を省略することができる。本開示の範囲は、この点において限定されない。

本明細書で使用される用語「含む」及びその変形は、オープンな「含む」、すなわち「含むが、限定されない」である。「基づく」という用語は、「少なくとも部分的に基づく」である。「一実施例」という用語は、「少なくとも１つの実施例」を意味する。「別の実施例」という用語は、「少なくとも１つの別の実施例」を意味する。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下の説明で与えられる。

なお、本開示で言及されている「第１」、「第２」などの概念は、異なる装置、モジュール、又はユニットを区別するためにのみ使用され、これらの装置、モジュール、又はユニットによって実行される機能の順序又は相互依存関係を規定するものではない。

なお、本開示で言及されている「１つ」、「複数の」の修飾は、限定的ではなく概略的なものであり、文脈において別段の明示的な指摘がない限り、「１つ又は複数」と理解されるべきであることを当業者は理解する。

本開示の実施形態における複数の装置間で相互作用するメッセージ又は情報の名称は、単に例示の目的のために使用されるものであり、これらのメッセージ又は情報の範囲を制限するために使用されるものではない。

画質向上は、画像又はビデオの編集ツールに含まれる機能であり、通常、彩度、コントラスト、鮮明度、ハイライトやシャドウなど、多くの細分化された次元の調整機能を提供するが、これらの次元の意味を理解して適切な調整を行うには、ある程度の専門知識が必要であり、一般のユーザーにとってはフレンドリーではない。また、複雑なパラメータ調整により編集者の作業負荷が大幅に増加し、ビデオや画像を公開する際のユーザーの効率が低下するため、ユーザーの公開エクスペリエンスに影響を与える。

画質を向上させると同時にユーザーのパラメータ調整作業量を減らすために、現在、いくつかの自動化画質構造アルゴリズム、例えばコントラスト制限付き適応ヒストグラム等化（ＣＬＡＨＥ：Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）アルゴリズム、アンシャープマスク（ＵＳＭ：Ｕｎｓｈａｒｐ Ｍａｓｋ）アルゴリズムなどが現れているが、現在の画質構造アルゴリズムは、比較的簡単で、通常、単一次元の比較的簡単な自動向上、例えば、コントラスト向上、鮮鋭化、ノイズ低減などであるか、あるいは、いくつかの固定された自動向上アルゴリズムが使用される。しかし、実際の場面では、様々な画質問題が存在する可能性があり、上記の方式は、単純であるので、十分な結果を得ることができず、画質向上効果は要求を満たすことができない。上記の問題を解決するために、本開示の実施例は画質調整方法を提供し、以下、具体的な実施例を参照してこの方法について説明する。

図１は、本開示の実施例による画質調整方法の流れの模式図であり、該方法は、画質調整装置によって実行されてもよく、ここで、該装置は、ソフトウェア及び／又はハードウェアで実装されてもよく、一般には、電子機器に集積されている。図１に示すように、該方法は、ステップ１０１～１０３を含む。

ステップ１０１：ビデオ又は画像を含むマルチメディアリソースを取得する。

ここで、マルチメディアリソースは、画質向上処理を必要とする任意のビデオ又は画像であってもよく、具体的なファイル形式及びソースは限定されず、例えば、マルチメディアリソースは、リアルタイムで撮影されたビデオ又は画像であってもよく、インターネットからダウンロードされたビデオ又は画像であってもよい。

ステップ１０２：マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定する。

ここで、シーン検出結果は、マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示す。シーンは、セマンティクスの１種であり、マルチメディアリソースにより示されるシーンセマンティクスは、記述される対象やシーンカテゴリーなどを含んでもよく、シーン検出結果は、マルチメディアリソースについて１つ又は複数の次元のシーンセマンティクス検出を行うことにより得られる結果として理解してもよい。本開示の実施例では、シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合などのうちの少なくとも１つを含んでもよく、目標対象は顔であってもよい。

画質検出結果は、マルチメディアリソースの画像の画質を示す。画質検出結果とは、マルチメディアリソースについて表示効果に関するパラメータ検出を行った結果であり、本開示の実施例では、画質検出結果は、ノイズ度合及び／又はブラー度合などを含んでもよく、ノイズとは、画像又はビデオに存在する不要な又は余分な干渉情報である。

本開示の実施例では、マルチメディアリソースを取得した後、複数の次元の検出アルゴリズムを呼び出し、マルチメディアリソースにシーン検出及び画質検出を行い、対応するシーン検出結果及び画質検出結果を決定してもよい。ここで、画質検出結果では、ノイズ度合及びブラー度合を決定する方式は様々であり、本開示の実施例はそれを限定しない。例示的には、ニューラルネットワークに基づくノイズ認識モデルによってマルチメディアリソースの画質検出を行い、ピーク信号対雑音比を決定する方式によってマルチメディアリソースのブラー度合を認識し、その結果、ピーク信号対雑音比とブラー度合が反比例し、つまり、ピーク信号対雑音比が高いほど、マルチメディアリソースのブラー度合が低い。

任意選択的に、マルチメディアリソースに対応するシーン検出結果を決定することは、昼夜分類の深層学習モデルを用いてマルチメディアリソースに検出を行い、マルチメディアリソースに対応する、昼間と夜間を含む昼夜結果を決定する、及び／又は、顔認識アルゴリズムによってマルチメディアリソースに対する顔検出結果を決定することを含んでもよい。

ここで、昼夜分類の深層学習モデルは、例えばサポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）分類器や昼夜分類を行うための畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）など、様々なニューラルネットワークに基づく分類モデルとしてもよく、具体的には、実際の状況に応じて決定してもよい。具体的には、マルチメディアリソースに対して輝度ヒストグラムを統計し、ＳＶＭ分類器で分類するか、マルチメディアリソースの解像度を調整して畳み込みニューラルネットワークで分類し、昼か夜かの検出結果を得る。

顔認識アルゴリズムは、顔認識を行うことができる任意のアルゴリズムであってもよく、例えば、顔認識アルゴリズムは、顔認識のための畳み込みニューラルネットワークであってもよい。具体的には、顔認識のための畳み込みニューラルネットワークによりマルチメディアリソースの顔領域を抽出したり、予め設定された顔特徴点の抽出とマッチングによりマルチメディアリソースの顔領域を抽出したりすることができ、得られる顔検出結果は、顔領域を含むか、顔領域を含まないかであってもよい。

任意選択的に、ママルチメディアリソースに対応するシーン検出結果における露出度合は、自動露出システム（ＡＥＣ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ Ｃｏｎｔｒｏｌ）を用いて決定してもよい。本開示の実施例における露出度合は、アンダー露出、ノーマル露出、及びオーバー露出を含んでもよい。

任意選択的に、本開示の実施例では、シーンにおける顔検出結果及び露出度合は昼夜結果を補正することができ、例えば、マルチメディアリソースが昼間であるが、屋内の光が十分に当たらない場所で撮影を行うため、昼夜結果として夜間と誤判定されることがあり、この場合、顔検出結果として顔領域が存在し、露出度合としてノーマル露出又はオーバー露出であれば、昼夜結果が昼間であることを示す。

ステップ１０３：シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従ってマルチメディアリソースに画質向上処理を行う。

ここで、画質向上戦略は、マルチメディアリソースを画質向上処理するための総合的なソリューション（ｐｉｐｅｌｉｎｅ）であってもよく、この画質向上戦略には少なくとも１つの画質向上アルゴリズムが含まれていてもよく、画質向上アルゴリズムは、マルチメディアリソースを自動的に検出し、処理が必要な部分領域を対象的に処理することができるアルゴリズムであってもよく、通常は深層学習アルゴリズムを採用する。画質向上戦略に複数の画質向上アルゴリズムが含まれる場合、複数の画質向上アルゴリズムは、実際の状況に応じて決定可能な実行順序を有する。

本開示の実施例では、画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムなどのうちの少なくとも１つの画質向上アルゴリズムを含んでもよい。ここで、色輝度向上アルゴリズムは、深層ニューラルネットワークに基づいて実装されてもよく、深層ニューラルネットワークに基づく色輝度向上アルゴリズムは、色輝度向上データセットを構築して畳み込みニューラルネットワークを訓練し、訓練済み畳み込みニューラルネットワークを用いてマルチメディアリソースの色輝度を向上させることができる。肌色保護アルゴリズムは、マルチメディアリソースにおける顔領域について肌色範囲を抽出し、次に、顔領域で肌色検出及び分割を行い、肌色領域のマスク（ｍａｓｋ）にフェザリングとブラー化を行うものである。

任意選択的に、シーン検出結果及び画質検出結果に基づいて、画質向上戦略を決定するステップは、シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定するステップを含んでもよい。ここで、アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

アルゴリズムルーティングテーブルは、複数の異なる状況を含む画質向上戦略的ルーティングテーブルであってもよく、各画質向上戦略は、少なくとも１つの画質向上アルゴリズムを組み合わせたものである。アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーであってもよく、各分岐判断戦略には実行順序がある。

具体的には、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定した後、シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索することによって、対応する、少なくとも１つの画質向上アルゴリズムを組み合わせた画質向上戦略を決定するか、又は、シーン検出結果及び画質検出結果をアルゴリズム分岐決定ツリーに入力し、複数の分岐判断戦略の予め設定された実行順序に従って分岐判断を１つずつ行い、各分岐判断戦略をすると、現在の分岐判断結果に対応する画質向上アルゴリズムを決定し、最後の判断が終了すると、少なくとも１つの画質向上アルゴリズムを組み合わせた画質向上戦略を得る。次に、画質向上戦略を用いて、マルチメディアリソースに画質向上処理を行い、画質を向上させたマルチメディアリソースを得ることができる。

任意選択的に、マルチメディアリソースの画質向上アルゴリズムを決定する際には、マルチメディアリソースの記述（ｍｅｔａ）情報に応じて決定してもよく、記述情報は、該マルチメディアリソースに含まれる属性情報であってもよく、例えば、マルチメディアリソースがビデオである場合、記述情報は、ビデオタイトルやビデオ要約などであってもよい。マルチメディアリソースの記述情報に応じてキーワードを抽出し、キーワード及び予め構築されたキーワードと画質向上アルゴリズムとの間のマッピング関係に従って、対応する画質向上アルゴリズムを決定する。

任意選択的に、少なくとも１つの画質向上アルゴリズムを含む画質向上アルゴリズムを決定した後、アルゴリズムノードで構成される実行図を用いて記述することができ、その中のアルゴリズムノードは、チェーン式の直列処理、分岐式の並列処理、及び上記２つの処理方式の組み合わせを行うことができ、具体的には、限定しない。

本開示の実施例による画質調整手段では、ビデオ又は画像を含むマルチメディアリソースを取得し、；マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定し、シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従って、マルチメディアリソースに画質向上処理を行う。上記の技術的解決手段によれば、ビデオ又は画像のシーン及び画質に基づいて、対応する画質向上戦略を決定し、該画質向上戦略を採用して画質効果を向上させることができ、画質向上戦略はシーン及び画質の２つの次元の情報から決定され、しかも、１つ又は複数の画質向上アルゴリズムを組み合わせることによって得られ得るので、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

いくつかの実施例では、マルチメディアリソースがビデオである場合、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、マルチメディアリソースから複数のキーフレームを抽出するステップと、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含んでもよい。

ここで、キーフレームは、ビデオに含まれる複数のビデオフレームのうちの１つであってもよく、キーフレームは、１つのビデオクリップを表すことができ、ビデオフレームは、ビデオを構成する最小単位であってもよい。マルチメディアリソースがビデオである場合、まず、そのビデオ中の複数のキーフレームを抽出し、複数のキーフレームに対してシーン検出及び画質検出をそれぞれ行うことにより、マルチメディアリソースのシーン検出及び画質検出を実現し、シーン検出結果及び画質検出結果を得ることができる。

任意選択的に、マルチメディアリソースから複数のキーフレームを抽出することは、マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、ビデオクリップごとに複数のキーフレームを抽出するステップと、を含んでもよい。キーフレームは、１つのビデオクリップを表すことができ、ビデオクリップを均一に抽出することによって得られ、具体的な数は、実際の状況に応じて決定されてもよい。

具体的には、マルチメディアリソースがビデオである場合、まず、遷移検出によって、ビデオを、複数の連続シーンを有する複数のビデオクリップに分割してもよく、遷移検出には、ビデオの隣接する２つのフレームの類似度が順次決定されてもよく、類似度が予め設定された閾値よりも小さい場合、現在の隣接する２つのフレームのシーンが変化しており、現在の隣接する２つのフレームの中間を分割線としてビデオを分割することができることを示し、分割された２つのビデオクリップは、それぞれ、現在の隣接する２つのフレームを含み、このため、２つのビデオクリップの類似度も予め設定された閾値よりも小さい。ここで、予め設定された閾値は、実際の状況に応じて決定されてもよい。ビデオを複数のビデオクリップに分割した後、ビデオクリップごとに複数のキーフレームを抽出してもよい。

任意選択的に、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、各ビデオクリップに含まれる複数のキーフレームに対するシーン検出及び画質検出によって、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含んでもよい。

上記のようにビデオクリップごとに複数のキーフレームを抽出した後、キーフレームを後続のシーン及び画質検出の入力としてもよく、マルチメディアリソースのシーン検出結果及び画質検出結果を決定する際には、ビデオクリップを単位として処理してもよく、つまり、各ビデオクリップに含まれる複数のキーフレームに対するシーン検出及び画質検出によって、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定し、具体的な決定方式は、上記の実施例の通りであるので、ここでは詳しく説明しない。

各ビデオクリップ中のキーフレームが複数であるので、複数のキーフレームに対応するクリップシーン検出結果及びクリップ画質検出結果に情報集約を行い、各ビデオクリップのシーン及び画質を決定してもよい。１つのビデオクリップにおけるクリップシーン検出結果及びクリップ画質検出結果のうちの１つの次元の検出結果を例にして、情報集約は、具体的には、複数のキーフレームの目標次元の検出結果の数を統計し、各検出結果に対応するキーフレームの数を決定し、キーフレームの数が、キーフレームの数の半分以上である予め設定された数以上である旨の検出結果を、目標次元において最終的に決定された検出結果として決定することと、各検出結果に対応するキーフレームの数が同じである場合、各検出結果の信頼度を決定し、信頼度が最も高い検出結果を目標次元において最終的に決定された検出結果として決定することと、を含んでもよい。上記の結果に対する集約では、まず、分類結果に応じて最終的な検出結果を投票で決定してもよく、決定できない場合、数値結果から判断を持続し、最終的な検出結果を決定してもよい。

いくつかの実施例では、マルチメディアリソースに画質向上処理を行うステップは、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、マルチメディアリソース中の各ビデオクリップにそれぞれ画質向上処理を行うステップを含む。

複数のビデオクリップに分割された上記のマルチメディアリソースについて、各ビデオクリップのクリップシーン検出結果及びクリップ画質検出結果を決定した後、ビデオクリップを単位として画質向上処理を行ってもよく、つまり、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応するクリップ画質向上アルゴリズムを決定し、クリップ画質向上アルゴリズムを用いて、各ビデオクリップにそれぞれ画質向上処理を行い、画質を向上させた各ビデオクリップを得る。

上記の形態では、ビデオの画質向上を実現できるだけでなく、ビデオ中の様々なシーンでのビデオクリップのそれぞれに対応する画質向上方式による向上を行うことができ、それによって、ビデオの画質向上効果をより正確かつ的確にし、画質を向上させたビデオの画質効果をより多様化する。

図２は、本開示の実施例による別の画質調整方法の流れの模式図であり、本実施例上記の実施例を基にして、上記の画質調整方法をさらに最適化する。図２に示すように、該方法は、ステップ２０１～ステップ２０４を含む。

ステップ２０１：マルチメディアリソースを取得する。

ここで、マルチメディアリソースはビデオ又は画像を含む。

ステップ２０２：マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定する。

ここで、シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

任意選択的に、マルチメディアリソースに対応するシーン検出結果を決定することは、昼夜分類の深層学習モデルを用いてマルチメディアリソースについて検出を行い、マルチメディアリソースに対応する、昼間と夜間を含む昼夜結果を決定すること、及び／又は、顔認識アルゴリズムによってマルチメディアリソースの顔検出結果を決定することを含む。

ステップ２０３：シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定する。

ここで、画質向上戦略は、少なくとも１つの画質向上アルゴリズムを含む。任意選択的に、画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

任意選択的に、アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

任意選択的に、マルチメディアリソースがビデオである場合、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、マルチメディアリソースから複数のキーフレームを抽出するステップと、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含んでもよい。

任意選択的に、マルチメディアリソースから複数のキーフレームを抽出するステップは、マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、ビデオクリップごとに複数のキーフレームを抽出するステップと、を含んでもよい。任意選択的に、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、各ビデオクリップに含まれる複数のキーフレームに対するシーン検出及び画質検出によって、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含む。

ステップ２０４：画質向上戦略に従って、マルチメディアリソースに画質向上処理を行う。

任意選択的に、マルチメディアリソースがビデオである場合、マルチメディアリソースに画質向上処理を行うステップは、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、マルチメディアリソース中の各ビデオクリップにそれぞれ画質向上処理を行うステップを含む。

例示的には、図３は、本開示の実施例による画質調整過程の模式図であり、図３では、マルチメディアリソースがビデオである場合を例にして、本開示の実施例による画質調整過程が示されている。図３に示すように、具体的には、以下を含んでもよい。１．まず、遷移検出によってビデオを連続シーンのクリップに分割し、例えば、図における完全なビデオを複数のビデオクリップに分割する。２．ビデオクリップごとに、いくつかのフレームを抽出して、シーン及び画質検出の入力とする。３．検出アルゴリズムを呼び出して、抽出されたフレームにそれぞれシーン及び画質の検出を行い、検出次元には、図における昼夜検出、ノイズ検出、露出検出、顔検出、及びブラー検出が含まれているが、それらに限定されず、ここで、昼夜結果、露出度合、及び顔検出はシーン検出結果であり、ノイズ度合及びブラー度合は画質検出結果である。４．複数のフレームのシーン及び画質検出結果を集約し、各ビデオクリップのシーン及び画質を得る。５．各ビデオクリップのシーン、画質、及びビデオに含まれる記述（ｍｅｔａ）情報から、ビデオに対応する画質向上形態（ｐｉｐｅｌｉｎｅ）を生成し、画質向上形態は、実行順序のある複数の処理アルゴリズムを組み合わせたものであってもよい。６．具体的な方式は、以下を含む。ａ．シーン、画質、及び記述情報を条件項にして、アルゴリズムを順次行う。ｂ．シーン、画質、及び記述情報を条件項とするアルゴリズム分岐決定ツリー。７．画質向上形態は、アルゴリズムノードで構成される図を用いて記述することができ、各アルゴリズムは、チェーン式の直列処理、分岐式の並列処理、及び上記２つの処理方式の組み合わせが可能である。例えば、図３において決定された画質向上形態では、ノイズ低減、色輝度向上、肌色保護、及び鮮明化の４つのアルゴリズムが含まれてもよく、矢印は実行順序を表し、色輝度向上、及び肌色保護は並列処理されてもよい。８．各ビデオクリップに対応する画質向上形態に従って、各ビデオクリップにそれぞれ画質向上処理を行い、画質を向上させたビデオクリップを得る。

例示的には、図４は、本開示の実施例によるアルゴリズムルーティングテーブルの模式図であり、図４に示すように、例示的なアルゴリズムルーティングテーブルが示されており、該アルゴリズムルーティングテーブルは予め作成され記憶されておいてもよく、実際に使用する際には、シーン及び画質を決定した後、該アルゴリズムルーティングテーブルを検索することによって、対応する画質向上戦略を決定することができ、例えば、図においては、第１列中のシーン及び画質は、それぞれ、夜景（すなわち夜）、欠曝であり、ノイズ度合の範囲は［ａ，ｂ］であり、顔が検出されており、ブラーがなく、対応する画質向上戦略には、図におけるノイズ低減、色輝度向上、肌色保護、及び鮮明化の４つの画質向上アルゴリズムが含まれていてもよく、実行順序は図４に示された通りであり、図には、各アルゴリズムは、属性の異なる円で表されてもよく、例えば、グレースケールや充填色の異なる円で表されてもよい。

上記の形態では、マルチメディアリソースがビデオである場合、ビデオに連続クリップの分割を行うことで、各連続シーンクリップにシーン検出及び画質検出を行い、そのシーン及び画質情報を得て、次に、シーン及び画質情報から、ルーティングテーブル又は決定ツリーなどの方式によって、複数のアルゴリズムを組み合わせた画質向上形態を生成し、各ビデオクリップを向上させる。

本形態では、シーン及び画質が未知のビデオ又は画像について、シーン及び画質に基づく向上手段が提案されており、ビデオ又は画像に検出を行うことで、存在する画質の問題を分析し、次に、適切な総合的なソリューション及びアルゴリズムパラメータを自動的に選択し、各種の異なるアルゴリズムを自動的に組み合わせることによって、画質向上を適応的かつ的確に行うことにより、単一の向上アルゴリズム又は固定されたアルゴリズムの流れがすべてのシーンに対応することができ、正確性が低下するという問題を回避し、それによって、画質向上効果を顕著に高め、ユーザーによる編集作業量を大幅に低減させる。

本開示の実施例による画質調整手段では、ビデオ又は画像を含むマルチメディアリソースを取得し、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定し、シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定し、画質向上戦略に従って、マルチメディアリソースに画質向上処理を行う。上記の技術的解決手段によれば、ビデオ又は画像のシーン及び画質に基づいて、対応する画質向上戦略を決定し、該画質向上戦略を採用して画質効果を向上させることができ、画質向上戦略はシーン及び画質の２つの次元の情報から決定され、しかも、１つ又は複数の画質向上アルゴリズムを組み合わせることによって得られ得るので、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

図５は、本開示の実施例による画質調整装置の構造模式図であり、該装置は、ソフトウェア及び／又はハードウェアとして実装されてもよく、一般には、電子機器に集積されてもよい。図５に示すように、該装置は、
ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュール３０１と、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュール３０２であって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュール３０２と、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って、前記マルチメディアリソースに画質向上処理を行うための画質向上モジュール３０３と、を含む。

任意選択的に、前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

任意選択的に、前記シーン画質モジュール３０２は、具体的には、
前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定することに用いられる。

任意選択的に、前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

任意選択的に、前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある。

任意選択的に、前記マルチメディアリソースがビデオである場合、前記シーン画質モジュール３０２は、前記マルチメディアリソースから複数のキーフレームを抽出するためのフレーム抽出ユニットと、
前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するための検出ユニットと、を含む。

任意選択的に、前記フレーム抽出ユニットは、具体的には、
前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくすること、及び
前記ビデオクリップごとに複数のキーフレームを抽出することに用いられる。

任意選択的に、前記検出ユニットは、
各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定することに用いられる。

任意選択的に、前記画質向上モジュール３０３は、具体的には、
各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うことに用いられる。

任意選択的に、前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。

本開示の実施例による画質調整装置は、本開示のいずれかの実施例による画質調整方法を実行することができ、方法の実行に対応する機能モジュールや有益な効果を有する。

本開示の実施例はまた、プロセッサによって実行されると、本開示のいずれかの実施例による画質調整方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

ソフトウェアを使用して実装される場合、コンピュータプログラム製品の形態で全体的に又は部分的に実装されてもよい。該コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。このコンピュータプログラム命令がコンピュータにロードされて実行されると、本願の実施例に係る流れ又は機能は、全体的又は部分的に生成される。該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置とすることができる。該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶することができ、又は、１つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に伝送することができ、例えば、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ：ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ））又は無線（例えば、赤外線、無線、マイクロ波など）を介して、１つのウェブサイト、コンピュータ、サーバ、又はデータセンターから別のウェブサイト、コンピュータ、サーバ、又はデータセンターに伝送することができる。該コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能な任意の使用可能な媒体、又は１つ又は複数の使用可能な媒体を含む統合サーバ、データセンターなどのデータ記憶機器とすることができる。この使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光学媒体（例えば、デジタルビデオディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ））、又は半導体媒体（例えば、ソリッドステートディスク（ＳＳＤ：ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ））などであってもよい。
図６は、本開示の実施例による電子機器の構造模式図である。以下、本開示の実施例における電子機器４００を実現するのに適した構造模式図を具体的に示す図６を参照する。本開示の実施例における電子機器４００は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（ＰＤＡ）、タブレット（ＰＡＤ）、ポータブルマルチメディアプレーヤー（ＰＭＰ）、車載端末（例えば、カーナビゲーション端末）などのモバイル端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むことができるが、これらに限定されるものではない。図６に示す電子機器は一例にすぎず、本開示の実施例の機能及び使用範囲に制限を与えるものではない。

図６に示すように、電子機器４００は、読出し専用メモリ（ＲＯＭ）４０２に記憶されたプログラム、又は記憶装置４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる処理装置（例えば、中央プロセッサ、グラフィックスプロセッサなど）４０１を含んでもよい。ＲＡＭ ４０３には、電子機器４００の動作に必要な各種のプログラムやデータも記憶されている。処理装置４０１、ＲＯＭ ４０２、ＲＡＭ ４０３は、バス４０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続される。

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置４０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置４０７、磁気テープ、ハードディスクなどを含む記憶装置４０８、通信装置４０９がＩ／Ｏインターフェース４０５に接続されてもよい。通信装置４０９は、電子機器４００がデータを交換するために他の機器と無線又は有線で通信することを可能にすることができる。図６は、様々な装置を有する電子機器４００を示しているが、示されている装置のすべてを実装又は備えることは必ずしも必要ではないことが理解されるべきである。代替的に、より多くの又はより少ない装置を実装又は備えることができる。

特に、本開示の実施例によれば、フローチャートを参照して上記したプロセスは、コンピュータ・ソフトウェア・プログラムとして実装されてもよい。例えば、本開示の実施例は、非一時的なコンピュータ読み取り可能な媒体上に搭載されたコンピュータプログラムを含むコンピュータプログラム製品を含み、このコンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信装置４０９を介してネットワークからダウンロードされてインストールされてもよいし、記憶装置４０８からインストールされてもよいし、ＲＯＭ ４０２からインストールされてもよい。このコンピュータプログラムが処理装置４０１によって実行されると、本開示の実施例に係る画質調整方法で定義される上記の機能が実行される。

なお、本開示で上記したコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体、又はこれら２つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、限定されるわけではないが、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、若しくはデバイス、又はこれらの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学メモリデバイス、磁気メモリデバイス、又は上記の任意の適切な組み合わせを含むことができるが、これらに限定されるわけではない。本開示では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスによって、又はそれらと組み合わせて使用することができるプログラムを含む又は格納する任意の有形媒体とすることができる。一方、本開示では、コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送する、ベースバンドに、又はキャリアの一部として伝搬するデータ信号を含むことができる。このように伝播されたデータ信号は、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスによって、又はそれらと組み合わせて使用するためのプログラムを送信、伝播、又は伝送することができるコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、電気ケーブル、光ケーブル、無線周波数（ＲＦ）など、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体で伝送されてもよい。

いくつかの実施形態では、クライアント及びサーバは、ハイパーテキスト転送プロトコル（ＨＴＴＰ：ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの現在知られている又は将来研究開発される任意のネットワークプロトコルを利用して通信することができ、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、相互接続ネットワーク（例えば、インターネット）、エンドツーエンドネットワーク（例えば、アドホックエンドツーエンドネットワーク）、及び現在知られているネットワーク又は将来研究開発されるネットワークなどがある。

上記のコンピュータ読み取り可能な媒体は、上記電子機器に含まれるものであってもよい、また、この電子機器に組み込まれていない別個のものとして存在してもよい。

上記のコンピュータ読み取り可能な媒体には、１つ又は複数のプログラムが記憶されており、上記の１つ又は複数のプログラムは、該電子機器によって実行されると、ビデオ又は画像を含むマルチメディアリソースを取得するステップと、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うステップと、を該電子機器に実行させる。

本開示の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語や、「Ｃ」言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語、又はこれらの組み合わせで記述されてもよい。プログラムコードは、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上で、部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続することができ、又は外部コンピュータ（例えば、インターネットを介してインターネットサービスプロバイダを利用して接続することができる）に接続することができる。

図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を図示している。この点で、フローチャート又はブロック図中の各ブロックは、所定の論理機能を実装するための１つ又は複数の実行可能命令を含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。なお、代替としてのいくつかの実装では、ブロックに示された機能は、図面に示されたものとは異なる順序で発生することもある。例えば、連続的に表現された２つのブロックは、実際には、実質的に並列に実行されてもよく、関係する機能に応じて逆の順序で実行されてもよい場合がある。なお、ブロック図及び／又はフローチャート中の各ブロック、ならびにブロック図及び／又はフローチャート中のブロックの組み合わせは、所定の機能又は動作を実行する専用ハードウェアベースのシステムで実装されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実装されてもよい。

本開示の実施例に関連して説明されたユニットは、ソフトウェアによって実装されてもよいし、ハードウェアによって実装されてもよい。ここで、ユニットの名称は、場合によっては、そのユニット自体に対する限定ではない。

本明細書で上記した機能は、少なくとも部分的に、１つ又は複数のハードウェア論理コンポーネントによって実行されてもよい。例えば、非限定的に、使用され得る例示的なタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又は機器によって、又はそれらと組み合わせて使用することができるプログラムを含む又は格納する任意の有形媒体とすることができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、限定されるわけではないが、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、若しくは機器、又はこれらの任意の適切な組み合わせを含んでもよい。機器読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学メモリデバイス、磁気メモリデバイス、又は上記の任意の適切な組み合わせを含むことができる。

本開示の１つ又は複数の実施例によれば、本開示は、
ビデオ又は画像を含むマルチメディアリソースを取得するステップと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うステップと、を含む画質調整方法を提供する。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記シーン検出結果及び前記画質検出結果に基づいて、画質向上戦略を決定するステップは、
前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定するステップを含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記マルチメディアリソースがビデオである場合、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、
前記マルチメディアリソースから複数のキーフレームを抽出するステップと、
前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記マルチメディアリソースから複数のキーフレームを抽出するステップは、
前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、
前記ビデオクリップごとに複数のキーフレームを抽出するステップと、を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、
各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記マルチメディアリソースに画質向上処理を行うステップは、
各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うステップを含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。

本開示の１つ又は複数の実施例によれば、本開示は、
ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュールと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュールであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュールと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うための画質向上モジュールと、を含む画質調整装置を提供する。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記シーン画質モジュールは、具体的には、
前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定することに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記マルチメディアリソースがビデオである場合、前記シーン画質モジュールは、
前記マルチメディアリソースから複数のキーフレームを抽出するためのフレーム抽出ユニットと、
前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するための検出ユニットと、を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記フレーム抽出ユニットは、具体的には、
前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくすること、
前記ビデオクリップごとに複数のキーフレームを抽出することに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記検出ユニットは、
各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定することに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記画質向上モジュールは、具体的には、
各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うことに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。

本開示の１つ又は複数の実施例によれば、本開示は、
プロセッサと、
前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能命令を読み取り、前記命令を実行して本開示によるいずれかの画質調整方法を実現することに用いられる、電子機器を提供する。

本開示の１つ又は複数の実施例によれば、本開示は、本開示によるいずれかの画質調整方法を実行するためのコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。

本開示の１つ又は複数の実施例によれば、本開示は、プロセッサによって実行されると、本開示によるいずれかの画質調整方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

以上の説明は、本開示のより良い実施例及び適用される技術原理の説明にすぎない。当業者は、本開示に係る開示の範囲は、上記の技術的特徴の特定の組み合わせからなる技術的解決手段に限定されるものではなく、上記の開示の発想から逸脱することなく、上記の技術的特徴又はその均等な特徴の任意の組み合わせからなる他の技術的解決手段も対象とすべきであることを理解する。例えば、上記の特徴と本開示で開示された（ただし、これらに限定されない）類似の機能を有する技術的特徴とを相互に置換して形成された技術的解決手段である。

さらに、動作は特定の順序で示されているが、これらの動作が示されている特定の順序で実行されるか、又は順次実行されることを必要とするものとして理解されるべきではない。環境によっては、マルチタスクや並列処理が有利になる場合がある。同様に、いくつかの具体的な実施の詳細が上記の論述に含まれているが、これらは本開示の範囲を制限するものとして解釈されるべきではない。個別の実施例の文脈で説明された、いくつかの特徴は、単一の実施例において組み合わせて実装されてもよい。一方、単一の実施例の文脈で説明された様々な特徴は、複数の実施例において個別に、又は任意の適切なサブ組み合わせで実装されてもよい。

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語で説明されているが、特許請求の範囲において限定される主題は、上記の特定の特徴又は動作に必ずしも限定されないことが理解されるべきである。むしろ、上記で説明された特定の特徴及び動作は、特許請求の範囲を実装する例示的な形態にすぎない。

［関連出願の関連参照］
本願は、２０２１年０８月１８日に提出された、出願番号が２０２１１０９５０３９７．０、発明の名称が「画質調整方法、装置、機器、及び媒体」の中国特許出願の優先権を主張しており、当該出願のすべての内容は引用により本願に組み込まれている。

本開示は、画像処理の技術分野に関し、特に、対話型ツールの生成、装置、機器及び媒体に関する。

インターネット技術や電子機器の発展に伴い、画像やビデオの画質に対するユーザーの要求はますます高まっている。

ユーザーエクスペリエンスを向上させるために、画質向上アルゴリズムによって画質向上を行うことができるが、現在の画質向上方式は比較的簡単で、画質向上効果は要求を満たすことができない。

上記の技術的課題を解決するか、又は上記の技術的課題を少なくとも部分的に解決するために、本開示は、画質調整方法、装置、機器、及び媒体を提供する。

本開示の実施例は、
ビデオ又は画像を含むマルチメディアリソースを取得するステップと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って、前記マルチメディアリソースに画質向上処理を行うステップと、を含む、画質調整方法を提供する。
本開示の実施例はまた、
ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュールと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュールであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュールと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うための画質向上モジュールと、を含む、画質調整装置を提供する。

本開示の実施例はまた、プロセッサと、前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリから記実行可能命令を読み取り、前記命令を実行して、本開示の実施例による画質調整方法を実行する、電子機器を提供する。
本開示の実施例はまた、本開示の実施例による画質調整方法を実行するためのコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。

本開示の実施例はまた、プロセッサによって実行されると、本開示の実施例による画質調整方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

本開示の実施例による技術的解決手段は、従来技術と比べて、少なくとも以下の利点を有する。本開示の実施例による画質調整手段では、ビデオ又は画像を含むマルチメディアリソースを取得し、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定し、シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従ってマルチメディアリソースに画質向上処理を行う。上記の技術的解決手段によれば、ビデオ又は画像のシーン及び画質に基づいて、対応する画質向上戦略を決定し、該画質向上戦略を採用して画質効果を向上させることができ、画質向上戦略はシーン及び画質の２つの次元の情報から決定され、しかも、１つ又は複数の画質向上アルゴリズムを組み合わせることによって得られ得るので、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

図面を参照して、以下の具体的な実施形態を参照すると、本開示の各実施例の上記及び他の特徴、利点、及び態様がより明らかになる。図面全体を通して、同一又は類似の符号は、同一又は類似の要素を表す。図面は概略的なものであり、元の部材及び要素は必ずしも比例的に描かれていないことが理解されるべきである。

本開示の実施例による画質調整方法の流れの模式図である。 本開示の実施例による別の画質調整方法の流れの模式図である。 本開示の実施例による画質調整過程の模式図である。 本開示の実施例によるアルゴリズムルーティングテーブルの模式図である。 本開示の実施例提による画質調整装置の構造模式図である。 本開示の実施例による電子機器の構造模式図である。

以下、図面を参照して、本開示の実施例についてより詳細に説明する。本開示のいくつかの実施例が図面に示されているが、本開示は様々な形態で実現され得、本明細書に記載された実施例に限定されるものとして解釈されるべきではなく、むしろ、本開示をより完全かつ完全に理解するためにこれらの実施例が提供されることが理解されるべきである。本開示の図面及び実施例は、例示のためにのみ使用され、本開示の保護範囲を制限するために使用されるものではないことが理解されるべきである。

本開示の方法の実施形態に記載された各ステップは、異なる順序で実行されたり、並行して実行されたりしてもよいことが理解されるべきである。さらに、方法の実施形態は、追加のステップを含むことができ、及び／又は示されたステップの実行を省略することができる。本開示の範囲は、この点において限定されない。

本明細書で使用される用語「含む」及びその変形は、オープンな「含む」、すなわち「含むが、限定されない」である。「基づく」という用語は、「少なくとも部分的に基づく」である。「一実施例」という用語は、「少なくとも１つの実施例」を意味する。「別の実施例」という用語は、「少なくとも１つの別の実施例」を意味する。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下の説明で与えられる。

なお、本開示で言及されている「第１」、「第２」などの概念は、異なる装置、モジュール、又はユニットを区別するためにのみ使用され、これらの装置、モジュール、又はユニットによって実行される機能の順序又は相互依存関係を規定するものではない。

なお、本開示で言及されている「１つ」、「複数の」の修飾は、限定的ではなく概略的なものであり、文脈において別段の明示的な指摘がない限り、「１つ又は複数」と理解されるべきであることを当業者は理解する。

本開示の実施形態における複数の装置間で相互作用するメッセージ又は情報の名称は、単に例示の目的のために使用されるものであり、これらのメッセージ又は情報の範囲を制限するために使用されるものではない。

画質向上は、画像又はビデオの編集ツールに含まれる機能であり、通常、彩度、コントラスト、鮮明度、ハイライトやシャドウなど、多くの細分化された次元の調整機能を提供するが、これらの次元の意味を理解して適切な調整を行うには、ある程度の専門知識が必要であり、一般のユーザーにとってはフレンドリーではない。また、複雑なパラメータ調整により編集者の作業負荷が大幅に増加し、ビデオや画像を公開する際のユーザーの効率が低下するため、ユーザーの公開エクスペリエンスに影響を与える。

画質を向上させると同時にユーザーのパラメータ調整作業量を減らすために、現在、いくつかの自動化画質構造アルゴリズム、例えばコントラスト制限付き適応ヒストグラム等化（ＣＬＡＨＥ：Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）アルゴリズム、アンシャープマスク（ＵＳＭ：Ｕｎｓｈａｒｐ Ｍａｓｋ）アルゴリズムなどが現れているが、現在の画質構造アルゴリズムは、比較的簡単で、通常、単一次元の比較的簡単な自動向上、例えば、コントラスト向上、鮮鋭化、ノイズ低減などであるか、あるいは、いくつかの固定された自動向上アルゴリズムが使用される。しかし、実際の場面では、様々な画質問題が存在する可能性があり、上記の方式は、単純であるので、十分な結果を得ることができず、画質向上効果は要求を満たすことができない。上記の問題を解決するために、本開示の実施例は画質調整方法を提供し、以下、具体的な実施例を参照してこの方法について説明する。

図１は、本開示の実施例による画質調整方法の流れの模式図であり、該方法は、画質調整装置によって実行されてもよく、ここで、該装置は、ソフトウェア及び／又はハードウェアで実装されてもよく、一般には、電子機器に集積されている。図１に示すように、該方法は、ステップ１０１～１０３を含む。

ステップ１０１：ビデオ又は画像を含むマルチメディアリソースを取得する。

ここで、マルチメディアリソースは、画質向上処理を必要とする任意のビデオ又は画像であってもよく、具体的なファイル形式及びソースは限定されず、例えば、マルチメディアリソースは、リアルタイムで撮影されたビデオ又は画像であってもよく、インターネットからダウンロードされたビデオ又は画像であってもよい。

ステップ１０２：マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定する。

ここで、シーン検出結果は、マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示す。シーンは、セマンティクスの１種であり、マルチメディアリソースにより示されるシーンセマンティクスは、記述される対象やシーンカテゴリーなどを含んでもよく、シーン検出結果は、マルチメディアリソースについて１つ又は複数の次元のシーンセマンティクス検出を行うことにより得られる結果として理解してもよい。本開示の実施例では、シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合などのうちの少なくとも１つを含んでもよく、目標対象は顔であってもよい。

画質検出結果は、マルチメディアリソースの画像の画質を示す。画質検出結果とは、マルチメディアリソースについて表示効果に関するパラメータ検出を行った結果であり、本開示の実施例では、画質検出結果は、ノイズ度合及び／又はブラー度合などを含んでもよく、ノイズとは、画像又はビデオに存在する不要な又は余分な干渉情報である。

本開示の実施例では、マルチメディアリソースを取得した後、複数の次元の検出アルゴリズムを呼び出し、マルチメディアリソースにシーン検出及び画質検出を行い、対応するシーン検出結果及び画質検出結果を決定してもよい。ここで、画質検出結果では、ノイズ度合及びブラー度合を決定する方式は様々であり、本開示の実施例はそれを限定しない。例示的には、ニューラルネットワークに基づくノイズ認識モデルによってマルチメディアリソースの画質検出を行い、ピーク信号対雑音比を決定する方式によってマルチメディアリソースのブラー度合を認識し、その結果、ピーク信号対雑音比とブラー度合が反比例し、つまり、ピーク信号対雑音比が高いほど、マルチメディアリソースのブラー度合が低い。

任意選択的に、マルチメディアリソースに対応するシーン検出結果を決定することは、昼夜分類の深層学習モデルを用いてマルチメディアリソースに検出を行い、マルチメディアリソースに対応する、昼間と夜間を含む昼夜結果を決定する、及び／又は、顔認識アルゴリズムによってマルチメディアリソースに対する顔検出結果を決定することを含んでもよい。

ここで、昼夜分類の深層学習モデルは、例えばサポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）分類器や昼夜分類を行うための畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）など、様々なニューラルネットワークに基づく分類モデルとしてもよく、具体的には、実際の状況に応じて決定してもよい。具体的には、マルチメディアリソースに対して輝度ヒストグラムを統計し、ＳＶＭ分類器で分類するか、マルチメディアリソースの解像度を調整して畳み込みニューラルネットワークで分類し、昼か夜かの検出結果を得る。

顔認識アルゴリズムは、顔認識を行うことができる任意のアルゴリズムであってもよく、例えば、顔認識アルゴリズムは、顔認識のための畳み込みニューラルネットワークであってもよい。具体的には、顔認識のための畳み込みニューラルネットワークによりマルチメディアリソースの顔領域を抽出したり、予め設定された顔特徴点の抽出とマッチングによりマルチメディアリソースの顔領域を抽出したりすることができ、得られる顔検出結果は、顔領域を含むか、顔領域を含まないかであってもよい。

任意選択的に、ママルチメディアリソースに対応するシーン検出結果における露出度合は、自動露出システム（ＡＥＣ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ Ｃｏｎｔｒｏｌ）を用いて決定してもよい。本開示の実施例における露出度合は、アンダー露出、ノーマル露出、及びオーバー露出を含んでもよい。

任意選択的に、本開示の実施例では、シーンにおける顔検出結果及び露出度合は昼夜結果を補正することができ、例えば、マルチメディアリソースが昼間であるが、屋内の光が十分に当たらない場所で撮影を行うため、昼夜結果として夜間と誤判定されることがあり、この場合、顔検出結果として顔領域が存在し、露出度合としてノーマル露出又はオーバー露出であれば、昼夜結果が昼間であることを示す。

ステップ１０３：シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従ってマルチメディアリソースに画質向上処理を行う。

ここで、画質向上戦略は、マルチメディアリソースを画質向上処理するための総合的なソリューション（ｐｉｐｅｌｉｎｅ）であってもよく、この画質向上戦略には少なくとも１つの画質向上アルゴリズムが含まれていてもよく、画質向上アルゴリズムは、マルチメディアリソースを自動的に検出し、処理が必要な部分領域を対象的に処理することができるアルゴリズムであってもよく、通常は深層学習アルゴリズムを採用する。画質向上戦略に複数の画質向上アルゴリズムが含まれる場合、複数の画質向上アルゴリズムは、実際の状況に応じて決定可能な実行順序を有する。

本開示の実施例では、画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムなどのうちの少なくとも１つの画質向上アルゴリズムを含んでもよい。ここで、色輝度向上アルゴリズムは、深層ニューラルネットワークに基づいて実装されてもよく、深層ニューラルネットワークに基づく色輝度向上アルゴリズムは、色輝度向上データセットを構築して畳み込みニューラルネットワークを訓練し、訓練済み畳み込みニューラルネットワークを用いてマルチメディアリソースの色輝度を向上させることができる。肌色保護アルゴリズムは、マルチメディアリソースにおける顔領域について肌色範囲を抽出し、次に、顔領域で肌色検出及び分割を行い、肌色領域のマスク（ｍａｓｋ）にフェザリングとブラー化を行うものである。

任意選択的に、シーン検出結果及び画質検出結果に基づいて、画質向上戦略を決定するステップは、シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定するステップを含んでもよい。ここで、アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

アルゴリズムルーティングテーブルは、複数の異なる状況を含む画質向上戦略的ルーティングテーブルであってもよく、各画質向上戦略は、少なくとも１つの画質向上アルゴリズムを組み合わせたものである。アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーであってもよく、各分岐判断戦略には実行順序がある。

具体的には、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定した後、シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索することによって、対応する、少なくとも１つの画質向上アルゴリズムを組み合わせた画質向上戦略を決定するか、又は、シーン検出結果及び画質検出結果をアルゴリズム分岐決定ツリーに入力し、複数の分岐判断戦略の予め設定された実行順序に従って分岐判断を１つずつ行い、各分岐判断戦略をすると、現在の分岐判断結果に対応する画質向上アルゴリズムを決定し、最後の判断が終了すると、少なくとも１つの画質向上アルゴリズムを組み合わせた画質向上戦略を得る。次に、画質向上戦略を用いて、マルチメディアリソースに画質向上処理を行い、画質を向上させたマルチメディアリソースを得ることができる。

任意選択的に、マルチメディアリソースの画質向上アルゴリズムを決定する際には、マルチメディアリソースの記述（ｍｅｔａ）情報に応じて決定してもよく、記述情報は、該マルチメディアリソースに含まれる属性情報であってもよく、例えば、マルチメディアリソースがビデオである場合、記述情報は、ビデオタイトルやビデオ要約などであってもよい。マルチメディアリソースの記述情報に応じてキーワードを抽出し、キーワード及び予め構築されたキーワードと画質向上アルゴリズムとの間のマッピング関係に従って、対応する画質向上アルゴリズムを決定する。

任意選択的に、少なくとも１つの画質向上アルゴリズムを含む画質向上アルゴリズムを決定した後、アルゴリズムノードで構成される実行図を用いて記述することができ、その中のアルゴリズムノードは、チェーン式の直列処理、分岐式の並列処理、及び上記２つの処理方式の組み合わせを行うことができ、具体的には、限定しない。

本開示の実施例による画質調整手段では、ビデオ又は画像を含むマルチメディアリソースを取得し、；マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定し、シーン検出結果及び画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、画質向上戦略に従って、マルチメディアリソースに画質向上処理を行う。上記の技術的解決手段によれば、ビデオ又は画像のシーン及び画質に基づいて、対応する画質向上戦略を決定し、該画質向上戦略を採用して画質効果を向上させることができ、画質向上戦略はシーン及び画質の２つの次元の情報から決定され、しかも、１つ又は複数の画質向上アルゴリズムを組み合わせることによって得られ得るので、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

いくつかの実施例では、マルチメディアリソースがビデオである場合、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、マルチメディアリソースから複数のキーフレームを抽出するステップと、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含んでもよい。

ここで、キーフレームは、ビデオに含まれる複数のビデオフレームのうちの１つであってもよく、キーフレームは、１つのビデオクリップを表すことができ、ビデオフレームは、ビデオを構成する最小単位であってもよい。マルチメディアリソースがビデオである場合、まず、そのビデオ中の複数のキーフレームを抽出し、複数のキーフレームに対してシーン検出及び画質検出をそれぞれ行うことにより、マルチメディアリソースのシーン検出及び画質検出を実現し、シーン検出結果及び画質検出結果を得ることができる。

任意選択的に、マルチメディアリソースから複数のキーフレームを抽出することは、マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、ビデオクリップごとに複数のキーフレームを抽出するステップと、を含んでもよい。キーフレームは、１つのビデオクリップを表すことができ、ビデオクリップを均一に抽出することによって得られ、具体的な数は、実際の状況に応じて決定されてもよい。

具体的には、マルチメディアリソースがビデオである場合、まず、遷移検出によって、ビデオを、複数の連続シーンを有する複数のビデオクリップに分割してもよく、遷移検出には、ビデオの隣接する２つのフレームの類似度が順次決定されてもよく、類似度が予め設定された閾値よりも小さい場合、現在の隣接する２つのフレームのシーンが変化しており、現在の隣接する２つのフレームの中間を分割線としてビデオを分割することができることを示し、分割された２つのビデオクリップは、それぞれ、現在の隣接する２つのフレームを含み、このため、２つのビデオクリップの類似度も予め設定された閾値よりも小さい。ここで、予め設定された閾値は、実際の状況に応じて決定されてもよい。ビデオを複数のビデオクリップに分割した後、ビデオクリップごとに複数のキーフレームを抽出してもよい。

任意選択的に、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、各ビデオクリップに含まれる複数のキーフレームに対するシーン検出及び画質検出によって、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含んでもよい。

上記のようにビデオクリップごとに複数のキーフレームを抽出した後、キーフレームを後続のシーン及び画質検出の入力としてもよく、マルチメディアリソースのシーン検出結果及び画質検出結果を決定する際には、ビデオクリップを単位として処理してもよく、つまり、各ビデオクリップに含まれる複数のキーフレームに対するシーン検出及び画質検出によって、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定し、具体的な決定方式は、上記の実施例の通りであるので、ここでは詳しく説明しない。

各ビデオクリップ中のキーフレームが複数であるので、複数のキーフレームに対応するクリップシーン検出結果及びクリップ画質検出結果に情報集約を行い、各ビデオクリップのシーン及び画質を決定してもよい。１つのビデオクリップにおけるクリップシーン検出結果及びクリップ画質検出結果のうちの１つの次元の検出結果を例にして、情報集約は、具体的には、複数のキーフレームの目標次元の検出結果の数を統計し、各検出結果に対応するキーフレームの数を決定し、キーフレームの数が、キーフレームの数の半分以上である予め設定された数以上である旨の検出結果を、目標次元において最終的に決定された検出結果として決定することと、各検出結果に対応するキーフレームの数が同じである場合、各検出結果の信頼度を決定し、信頼度が最も高い検出結果を目標次元において最終的に決定された検出結果として決定することと、を含んでもよい。上記の結果に対する集約では、まず、分類結果に応じて最終的な検出結果を投票で決定してもよく、決定できない場合、数値結果から判断を持続し、最終的な検出結果を決定してもよい。

いくつかの実施例では、マルチメディアリソースに画質向上処理を行うステップは、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、マルチメディアリソース中の各ビデオクリップにそれぞれ画質向上処理を行うステップを含む。

複数のビデオクリップに分割された上記のマルチメディアリソースについて、各ビデオクリップのクリップシーン検出結果及びクリップ画質検出結果を決定した後、ビデオクリップを単位として画質向上処理を行ってもよく、つまり、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応するクリップ画質向上アルゴリズムを決定し、クリップ画質向上アルゴリズムを用いて、各ビデオクリップにそれぞれ画質向上処理を行い、画質を向上させた各ビデオクリップを得る。

上記の形態では、ビデオの画質向上を実現できるだけでなく、ビデオ中の様々なシーンでのビデオクリップのそれぞれに対応する画質向上方式による向上を行うことができ、それによって、ビデオの画質向上効果をより正確かつ的確にし、画質を向上させたビデオの画質効果をより多様化する。

図２は、本開示の実施例による別の画質調整方法の流れの模式図であり、本実施例上記の実施例を基にして、上記の画質調整方法をさらに最適化する。図２に示すように、該方法は、ステップ２０１～ステップ２０４を含む。

ステップ２０１：マルチメディアリソースを取得する。

ここで、マルチメディアリソースはビデオ又は画像を含む。

ステップ２０２：マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定する。

ここで、シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

任意選択的に、マルチメディアリソースに対応するシーン検出結果を決定することは、昼夜分類の深層学習モデルを用いてマルチメディアリソースについて検出を行い、マルチメディアリソースに対応する、昼間と夜間を含む昼夜結果を決定すること、及び／又は、顔認識アルゴリズムによってマルチメディアリソースの顔検出結果を決定することを含む。

ステップ２０３：シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定する。

ここで、画質向上戦略は、少なくとも１つの画質向上アルゴリズムを含む。任意選択的に、画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

任意選択的に、アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

任意選択的に、マルチメディアリソースがビデオである場合、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、マルチメディアリソースから複数のキーフレームを抽出するステップと、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含んでもよい。

任意選択的に、マルチメディアリソースから複数のキーフレームを抽出するステップは、マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、ビデオクリップごとに複数のキーフレームを抽出するステップと、を含んでもよい。任意選択的に、複数のキーフレームを検出することによって、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、各ビデオクリップに含まれる複数のキーフレームに対するシーン検出及び画質検出によって、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含む。

ステップ２０４：画質向上戦略に従って、マルチメディアリソースに画質向上処理を行う。

任意選択的に、マルチメディアリソースがビデオである場合、マルチメディアリソースに画質向上処理を行うステップは、各ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、マルチメディアリソース中の各ビデオクリップにそれぞれ画質向上処理を行うステップを含む。

例示的には、図３は、本開示の実施例による画質調整過程の模式図であり、図３では、マルチメディアリソースがビデオである場合を例にして、本開示の実施例による画質調整過程が示されている。図３に示すように、具体的には、以下を含んでもよい。１．まず、遷移検出によってビデオを連続シーンのクリップに分割し、例えば、図における完全なビデオを複数のビデオクリップに分割する。２．ビデオクリップごとに、いくつかのフレームを抽出して、シーン及び画質検出の入力とする。３．検出アルゴリズムを呼び出して、抽出されたフレームにそれぞれシーン及び画質の検出を行い、検出次元には、図における昼夜検出、ノイズ検出、露出検出、顔検出、及びブラー検出が含まれているが、それらに限定されず、ここで、昼夜結果、露出度合、及び顔検出はシーン検出結果であり、ノイズ度合及びブラー度合は画質検出結果である。４．複数のフレームのシーン及び画質検出結果を集約し、各ビデオクリップのシーン及び画質を得る。５．各ビデオクリップのシーン、画質、及びビデオに含まれる記述（ｍｅｔａ）情報から、ビデオに対応する画質向上形態（ｐｉｐｅｌｉｎｅ）を生成し、画質向上形態は、実行順序のある複数の処理アルゴリズムを組み合わせたものであってもよい。６．具体的な方式は、以下を含む。ａ．シーン、画質、及び記述情報を条件項にして、アルゴリズムを順次行う。ｂ．シーン、画質、及び記述情報を条件項とするアルゴリズム分岐決定ツリー。７．画質向上形態は、アルゴリズムノードで構成される図を用いて記述することができ、各アルゴリズムは、チェーン式の直列処理、分岐式の並列処理、及び上記２つの処理方式の組み合わせが可能である。例えば、図３において決定された画質向上形態では、ノイズ低減、色輝度向上、肌色保護、及び鮮明化の４つのアルゴリズムが含まれてもよく、矢印は実行順序を表し、色輝度向上、及び肌色保護は並列処理されてもよい。８．各ビデオクリップに対応する画質向上形態に従って、各ビデオクリップにそれぞれ画質向上処理を行い、画質を向上させたビデオクリップを得る。

例示的には、図４は、本開示の実施例によるアルゴリズムルーティングテーブルの模式図であり、図４に示すように、例示的なアルゴリズムルーティングテーブルが示されており、該アルゴリズムルーティングテーブルは予め作成され記憶されておいてもよく、実際に使用する際には、シーン及び画質を決定した後、該アルゴリズムルーティングテーブルを検索することによって、対応する画質向上戦略を決定することができ、例えば、図においては、第１列中のシーン及び画質は、それぞれ、夜景（すなわち夜）、欠曝であり、ノイズ度合の範囲は［ａ，ｂ］であり、顔が検出されており、ブラーがなく、対応する画質向上戦略には、図におけるノイズ低減、色輝度向上、肌色保護、及び鮮明化の４つの画質向上アルゴリズムが含まれていてもよく、実行順序は図４に示された通りであり、図には、各アルゴリズムは、属性の異なる円で表されてもよく、例えば、グレースケールや充填色の異なる円で表されてもよい。

上記の形態では、マルチメディアリソースがビデオである場合、ビデオに連続クリップの分割を行うことで、各連続シーンクリップにシーン検出及び画質検出を行い、そのシーン及び画質情報を得て、次に、シーン及び画質情報から、ルーティングテーブル又は決定ツリーなどの方式によって、複数のアルゴリズムを組み合わせた画質向上形態を生成し、各ビデオクリップを向上させる。

本形態では、シーン及び画質が未知のビデオ又は画像について、シーン及び画質に基づく向上手段が提案されており、ビデオ又は画像に検出を行うことで、存在する画質の問題を分析し、次に、適切な総合的なソリューション及びアルゴリズムパラメータを自動的に選択し、各種の異なるアルゴリズムを自動的に組み合わせることによって、画質向上を適応的かつ的確に行うことにより、単一の向上アルゴリズム又は固定されたアルゴリズムの流れがすべてのシーンに対応することができ、正確性が低下するという問題を回避し、それによって、画質向上効果を顕著に高め、ユーザーによる編集作業量を大幅に低減させる。

本開示の実施例による画質調整手段では、ビデオ又は画像を含むマルチメディアリソースを取得し、マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定し、シーン検出結果及び画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定し、画質向上戦略に従って、マルチメディアリソースに画質向上処理を行う。上記の技術的解決手段によれば、ビデオ又は画像のシーン及び画質に基づいて、対応する画質向上戦略を決定し、該画質向上戦略を採用して画質効果を向上させることができ、画質向上戦略はシーン及び画質の２つの次元の情報から決定され、しかも、１つ又は複数の画質向上アルゴリズムを組み合わせることによって得られ得るので、適応的かつ目標を絞った画質向上を実現し、画質向上の効果を大幅に向上させ、ユーザーエクスペリエンスを大幅に向上させる。

図５は、本開示の実施例による画質調整装置の構造模式図であり、該装置は、ソフトウェア及び／又はハードウェアとして実装されてもよく、一般には、電子機器に集積されてもよい。図５に示すように、該装置は、
ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュール３０１と、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュール３０２であって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュール３０２と、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って、前記マルチメディアリソースに画質向上処理を行うための画質向上モジュール３０３と、を含む。

任意選択的に、前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

任意選択的に、前記シーン画質モジュール３０２は、具体的には、
前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定することに用いられる。

任意選択的に、前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

任意選択的に、前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある。

任意選択的に、前記マルチメディアリソースがビデオである場合、前記シーン画質モジュール３０２は、前記マルチメディアリソースから複数のキーフレームを抽出するためのフレーム抽出ユニットと、
前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するための検出ユニットと、を含む。

任意選択的に、前記フレーム抽出ユニットは、具体的には、
前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくすること、及び
前記ビデオクリップごとに複数のキーフレームを抽出することに用いられる。

任意選択的に、前記検出ユニットは、
各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定することに用いられる。

任意選択的に、前記画質向上モジュール３０３は、具体的には、
各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うことに用いられる。

任意選択的に、前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。

本開示の実施例による画質調整装置は、本開示のいずれかの実施例による画質調整方法を実行することができ、方法の実行に対応する機能モジュールや有益な効果を有する。

本開示の実施例はまた、プロセッサによって実行されると、本開示のいずれかの実施例による画質調整方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

ソフトウェアを使用して実装される場合、コンピュータプログラム製品の形態で全体的に又は部分的に実装されてもよい。該コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。このコンピュータプログラム命令がコンピュータにロードされて実行されると、本願の実施例に係る流れ又は機能は、全体的又は部分的に生成される。該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置とすることができる。該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶することができ、又は、１つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に伝送することができ、例えば、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ：ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ））又は無線（例えば、赤外線、無線、マイクロ波など）を介して、１つのウェブサイト、コンピュータ、サーバ、又はデータセンターから別のウェブサイト、コンピュータ、サーバ、又はデータセンターに伝送することができる。該コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能な任意の使用可能な媒体、又は１つ又は複数の使用可能な媒体を含む統合サーバ、データセンターなどのデータ記憶機器とすることができる。この使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光学媒体（例えば、デジタルビデオディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ））、又は半導体媒体（例えば、ソリッドステートディスク（ＳＳＤ：ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ））などであってもよい。
図６は、本開示の実施例による電子機器の構造模式図である。以下、本開示の実施例における電子機器４００を実現するのに適した構造模式図を具体的に示す図６を参照する。本開示の実施例における電子機器４００は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（ＰＤＡ）、タブレット（ＰＡＤ）、ポータブルマルチメディアプレーヤー（ＰＭＰ）、車載端末（例えば、カーナビゲーション端末）などのモバイル端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むことができるが、これらに限定されるものではない。図６に示す電子機器は一例にすぎず、本開示の実施例の機能及び使用範囲に制限を与えるものではない。

図６に示すように、電子機器４００は、読出し専用メモリ（ＲＯＭ）４０２に記憶されたプログラム、又は記憶装置４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる処理装置（例えば、中央プロセッサ、グラフィックスプロセッサなど）４０１を含んでもよい。ＲＡＭ ４０３には、電子機器４００の動作に必要な各種のプログラムやデータも記憶されている。処理装置４０１、ＲＯＭ ４０２、ＲＡＭ ４０３は、バス４０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続される。

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置４０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置４０７、磁気テープ、ハードディスクなどを含む記憶装置４０８、通信装置４０９がＩ／Ｏインターフェース４０５に接続されてもよい。通信装置４０９は、電子機器４００がデータを交換するために他の機器と無線又は有線で通信することを可能にすることができる。図６は、様々な装置を有する電子機器４００を示しているが、示されている装置のすべてを実装又は備えることは必ずしも必要ではないことが理解されるべきである。代替的に、より多くの又はより少ない装置を実装又は備えることができる。

特に、本開示の実施例によれば、フローチャートを参照して上記したプロセスは、コンピュータ・ソフトウェア・プログラムとして実装されてもよい。例えば、本開示の実施例は、非一時的なコンピュータ読み取り可能な媒体上に搭載されたコンピュータプログラムを含むコンピュータプログラム製品を含み、このコンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信装置４０９を介してネットワークからダウンロードされてインストールされてもよいし、記憶装置４０８からインストールされてもよいし、ＲＯＭ ４０２からインストールされてもよい。このコンピュータプログラムが処理装置４０１によって実行されると、本開示の実施例に係る画質調整方法で定義される上記の機能が実行される。

なお、本開示で上記したコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体、又はこれら２つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、限定されるわけではないが、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、若しくはデバイス、又はこれらの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学メモリデバイス、磁気メモリデバイス、又は上記の任意の適切な組み合わせを含むことができるが、これらに限定されるわけではない。本開示では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスによって、又はそれらと組み合わせて使用することができるプログラムを含む又は格納する任意の有形媒体とすることができる。一方、本開示では、コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送する、ベースバンドに、又はキャリアの一部として伝搬するデータ信号を含むことができる。このように伝播されたデータ信号は、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスによって、又はそれらと組み合わせて使用するためのプログラムを送信、伝播、又は伝送することができるコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、電気ケーブル、光ケーブル、無線周波数（ＲＦ）など、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体で伝送されてもよい。

いくつかの実施形態では、クライアント及びサーバは、ハイパーテキスト転送プロトコル（ＨＴＴＰ：ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの現在知られている又は将来研究開発される任意のネットワークプロトコルを利用して通信することができ、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、相互接続ネットワーク（例えば、インターネット）、エンドツーエンドネットワーク（例えば、アドホックエンドツーエンドネットワーク）、及び現在知られているネットワーク又は将来研究開発されるネットワークなどがある。

上記のコンピュータ読み取り可能な媒体は、上記電子機器に含まれるものであってもよい、また、この電子機器に組み込まれていない別個のものとして存在してもよい。

上記のコンピュータ読み取り可能な媒体には、１つ又は複数のプログラムが記憶されており、上記の１つ又は複数のプログラムは、該電子機器によって実行されると、ビデオ又は画像を含むマルチメディアリソースを取得するステップと、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うステップと、を該電子機器に実行させる。

本開示の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語や、「Ｃ」言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語、又はこれらの組み合わせで記述されてもよい。プログラムコードは、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上で、部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続することができ、又は外部コンピュータ（例えば、インターネットを介してインターネットサービスプロバイダを利用して接続することができる）に接続することができる。

図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を図示している。この点で、フローチャート又はブロック図中の各ブロックは、所定の論理機能を実装するための１つ又は複数の実行可能命令を含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。なお、代替としてのいくつかの実装では、ブロックに示された機能は、図面に示されたものとは異なる順序で発生することもある。例えば、連続的に表現された２つのブロックは、実際には、実質的に並列に実行されてもよく、関係する機能に応じて逆の順序で実行されてもよい場合がある。なお、ブロック図及び／又はフローチャート中の各ブロック、ならびにブロック図及び／又はフローチャート中のブロックの組み合わせは、所定の機能又は動作を実行する専用ハードウェアベースのシステムで実装されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実装されてもよい。

本開示の実施例に関連して説明されたユニットは、ソフトウェアによって実装されてもよいし、ハードウェアによって実装されてもよい。ここで、ユニットの名称は、場合によっては、そのユニット自体に対する限定ではない。

本明細書で上記した機能は、少なくとも部分的に、１つ又は複数のハードウェア論理コンポーネントによって実行されてもよい。例えば、非限定的に、使用され得る例示的なタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又は機器によって、又はそれらと組み合わせて使用することができるプログラムを含む又は格納する任意の有形媒体とすることができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、限定されるわけではないが、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、若しくは機器、又はこれらの任意の適切な組み合わせを含んでもよい。機器読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学メモリデバイス、磁気メモリデバイス、又は上記の任意の適切な組み合わせを含むことができる。

本開示の１つ又は複数の実施例によれば、本開示は、
ビデオ又は画像を含むマルチメディアリソースを取得するステップと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うステップと、を含む画質調整方法を提供する。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記シーン検出結果及び前記画質検出結果に基づいて、画質向上戦略を決定するステップは、
前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定するステップを含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記マルチメディアリソースがビデオである場合、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、
前記マルチメディアリソースから複数のキーフレームを抽出するステップと、
前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記マルチメディアリソースから複数のキーフレームを抽出するステップは、
前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、
前記ビデオクリップごとに複数のキーフレームを抽出するステップと、を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、
各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記マルチメディアリソースに画質向上処理を行うステップは、
各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うステップを含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整方法では、前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。

本開示の１つ又は複数の実施例によれば、本開示は、
ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュールと、
前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュールであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュールと、
前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って前記マルチメディアリソースに画質向上処理を行うための画質向上モジュールと、を含む画質調整装置を提供する。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果は、ノイズ度合及び／又はブラー度合を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記シーン画質モジュールは、具体的には、
前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定することに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記マルチメディアリソースがビデオである場合、前記シーン画質モジュールは、
前記マルチメディアリソースから複数のキーフレームを抽出するためのフレーム抽出ユニットと、
前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するための検出ユニットと、を含む。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記フレーム抽出ユニットは、具体的には、
前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくすること、
前記ビデオクリップごとに複数のキーフレームを抽出することに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記検出ユニットは、
各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定することに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記画質向上モジュールは、具体的には、
各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うことに用いられる。

本開示の１つ又は複数の実施例によれば、本開示による画質調整装置では、前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む。

本開示の１つ又は複数の実施例によれば、本開示は、
プロセッサと、
前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能命令を読み取り、前記命令を実行して本開示によるいずれかの画質調整方法を実現することに用いられる、電子機器を提供する。

本開示の１つ又は複数の実施例によれば、本開示は、本開示によるいずれかの画質調整方法を実行するためのコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。

本開示の１つ又は複数の実施例によれば、本開示は、プロセッサによって実行されると、本開示によるいずれかの画質調整方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

以上の説明は、本開示のより良い実施例及び適用される技術原理の説明にすぎない。当業者は、本開示に係る開示の範囲は、上記の技術的特徴の特定の組み合わせからなる技術的解決手段に限定されるものではなく、上記の開示の発想から逸脱することなく、上記の技術的特徴又はその均等な特徴の任意の組み合わせからなる他の技術的解決手段も対象とすべきであることを理解する。例えば、上記の特徴と本開示で開示された（ただし、これらに限定されない）類似の機能を有する技術的特徴とを相互に置換して形成された技術的解決手段である。

さらに、動作は特定の順序で示されているが、これらの動作が示されている特定の順序で実行されるか、又は順次実行されることを必要とするものとして理解されるべきではない。環境によっては、マルチタスクや並列処理が有利になる場合がある。同様に、いくつかの具体的な実施の詳細が上記の論述に含まれているが、これらは本開示の範囲を制限するものとして解釈されるべきではない。個別の実施例の文脈で説明された、いくつかの特徴は、単一の実施例において組み合わせて実装されてもよい。一方、単一の実施例の文脈で説明された様々な特徴は、複数の実施例において個別に、又は任意の適切なサブ組み合わせで実装されてもよい。

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語で説明されているが、特許請求の範囲において限定される主題は、上記の特定の特徴又は動作に必ずしも限定されないことが理解されるべきである。むしろ、上記で説明された特定の特徴及び動作は、特許請求の範囲を実装する例示的な形態にすぎない。

Claims (14)

1. 画質調整方法であって、
   ビデオ又は画像を含むマルチメディアリソースを取得するステップと、
   前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、ステップと、
   前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って、前記マルチメディアリソースに画質向上処理を行うステップと、を含む、ことを特徴とする画質調整方法。
2. 前記シーン検出結果は、昼夜結果、目標対象の検出結果、露出度合のうちの少なくとも１つを含み、前記画質検出結果はノイズ度合及び／又はブラー度合を含む、ことを特徴とする請求項１に記載の方法。
3. 前記シーン検出結果及び前記画質検出結果に基づいて、画質向上戦略を決定するステップは、
   前記シーン検出結果及び前記画質検出結果から、アルゴリズムルーティングテーブルを検索するか、又はアルゴリズム分岐決定ツリーを用いることによって、対応する画質向上戦略を決定するステップを含む、ことを特徴とする請求項１に記載の方法。
4. 前記アルゴリズムルーティングテーブルは、複数の画質向上戦略を含むルーティングテーブルであり、前記アルゴリズム分岐決定ツリーは、複数の分岐判断戦略を含む決定ツリーである、ことを特徴とする請求項３に記載の方法。
5. 前記画質向上戦略に複数の画質向上アルゴリズムが含まれている場合、前記複数の画質向上アルゴリズムには実行順序がある、ことを特徴とする請求項１に記載の方法。
6. 前記マルチメディアリソースがビデオである場合、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、
   前記マルチメディアリソースから複数のキーフレームを抽出するステップと、
   前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップと、を含む、ことを特徴とする請求項１に記載の方法。
7. 前記マルチメディアリソースから複数のキーフレームを抽出するステップは、
   前記マルチメディアリソースを複数のビデオクリップに分割し、隣接する２つのビデオクリップの類似度を予め設定された閾値よりも小さくするステップと、
   前記ビデオクリップごとに複数のキーフレームを抽出するステップと、を含む、ことを特徴とする請求項６に記載の方法。
8. 前記複数のキーフレームを検出することによって、前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するステップは、
   各前記ビデオクリップに含まれる前記複数のキーフレームに対するシーン検出及び画質検出によって、各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果を決定するステップを含む、ことを特徴とする請求項７に記載の方法。
9. 前記マルチメディアリソースに画質向上処理を行うステップは、
   各前記ビデオクリップに対応するクリップシーン検出結果及びクリップ画質検出結果から決定されたクリップ画質向上アルゴリズムによって、前記マルチメディアリソースにおける各前記ビデオクリップにそれぞれ画質向上処理を行うステップを含む、ことを特徴とする請求項６に記載の方法。
10. 前記画質向上アルゴリズムは、ノイズ低減アルゴリズム、色輝度向上アルゴリズム、肌色保護アルゴリズム、及び鮮明化アルゴリズムのうちの少なくとも１つを含む、ことを特徴とする請求項１に記載の方法。
11. 画質調整装置であって、
    ビデオ又は画像を含むマルチメディアリソースを取得するためのリソース取得モジュールと、
    前記マルチメディアリソースに対応するシーン検出結果及び画質検出結果を決定するためのシーン画質モジュールであって、前記シーン検出結果は、前記マルチメディアリソースの少なくとも１つの次元のセマンティクス結果を示し、前記画質検出結果は、前記マルチメディアリソースの画像の画質を示す、シーン画質モジュールと、
    前記シーン検出結果及び前記画質検出結果に基づいて、少なくとも１つの画質向上アルゴリズムを含む画質向上戦略を決定し、前記画質向上戦略に従って、前記マルチメディアリソースに画質向上処理を行うための画質向上モジュールと、を含む、ことを特徴とする画質調整装置。
12. 電子機器であって、
    プロセッサと、
    前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、
    前記プロセッサは、前記メモリから前記実行可能命令を読み取り、前記命令を実行して、上記の請求項１～１０のいずれか１項に記載の画質調整方法を実現することに用いられる、ことを特徴とする電子機器。
13. 上記の請求項１～１０のいずれか１項に記載の画質調整方法を実行するためのコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
14. コンピュータプログラム／命令を含むコンピュータプログラム製品であって、
    該コンピュータプログラム／命令は、プロセッサによって実行されると、請求項１～１０のいずれか１項に記載の画質調整方法を実現する、ことを特徴とするコンピュータプログラム製品。

Images