JP7221334B2 - 写真撮影の方法及び装置、端末、記憶媒体 - Google Patents

Description

本開示は、電子機器技術の分野に関し、特に、写真撮影の方法及び装置、端末、記憶媒体に関する。

携帯電話カメラシステムは、今まで発展してくると、ユーザの異なる写真撮影のニーズを満たすために、最初のシングルカメラから、現在の４つのカメラ、さらには５つのカメラにまで進化してきた。超解像アルゴリズムは、光学ズームを基に、連続ズーム及び高倍率デジタルズームの実現を可能にする。図１は、光学ズームレンズの概略図であり、当該レンズは、５倍の光学ズームを可能にし、超解像アルゴリズムと合わせると、最高５０倍の連続デジタルズームを取得することができるので、超解像アルゴリズムは、端末のズーム能力を高めるのに非常に重要である。

超解像アルゴリズムは、単純にシングルフレーム超解像アルゴリズム及びマルチフレーム超解像アルゴリズムに分けられ得る。現在、携帯電話のズームシステムに広く使用されているのは、マルチフレーム超解像アルゴリズムである。つまり、写真撮影ボタンを押すと、携帯電話はマルチフレームの画像（すなわち、複数のフレームの画像）を連続的に撮影し、アルゴリズムによってマルチフレームの画像の融合（合成）が完了され、１枚の高画質の画像を得て出力する。マルチフレーム超解像アルゴリズムは、ノイズ及び解析力の点で、シングルフレーム超解像アルゴリズムよりも明らかに優れている。

本開示は、写真撮影の方法及び装置、端末、記憶媒体を提供する。

本開示の実施例の第１態様によれば、写真撮影方法を提供する。
当該方法は、
写真撮影命令が検出される場合、マルチフレームの画像（すなわち、複数のフレームの画像）を連続的に収集するステップと、
前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するステップと、
前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するステップであって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高い、融合画像を取得するステップと、
前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するステップと、を含む。

選択可能に、前記画像融合モデルは複数の超解像モデルを含み、ここで、前記超解像モデルは画像タイプと１対１に対応する。
選択可能に、前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するステップは、
前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得するステップと、
前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得するステップであって、前記領域融合画像のノイズが前記同じ画像タイプの複数の領域画像のうちの任意の領域画像のノイズよりも低く、かつ、前記領域融合画像の解像度が前記同じ画像タイプの複数の領域画像のうちの任意の領域画像の解像度よりも高い、前記同じ画像タイプの領域融合画像を取得するステップと、
異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップと、を含む。

選択可能に、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得するステップは、
前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像について、前記シングルフレームの画像の各画素のタイプを判断するステップと、
前記各画素のタイプに基づいて、前記画素が属する画像タイプを決定するステップと、
同じシングルフレームの画像内の同じ画像タイプに属する画素を同じ領域画像に分割して、前記領域画像を複数取得するステップと、を含む。

選択可能に、異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップは、
異なるタイプの領域融合画像に対応する領域画像の画素の重みに基づいて、前記異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップを含む。

選択可能に、前記超解像モデルは複数のモジュールを含み、各々のモジュールは畳み込み層、正規化層及び活性化層を含み、
前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得するステップは、
前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得するステップと、
前記畳み込み結果を正規化層に入力して、正規化結果を取得するステップと、
前記正規化結果及び前記活性化層に基づいて、前記同じ画像タイプの領域融合画像を取得するステップであって、前記活性化層の入力が前記正規化結果である、前記同じ画像タイプの領域融合画像を取得するステップと、を含む。

選択可能に、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得するステップは、
前記同じ画像タイプに対応する超解像モデルの前記畳み込み層のＭ個のＰ行、Ｌ列の畳み込みカーネルを、Ｍ行、Ｐ×Ｌ列の２次元畳み込み行列（前記Ｍ、Ｐ、Ｌはいずれも正の整数）に変換するステップと、
前記畳み込みカーネルのサイズ、予め設定された畳み込みのスライドステップサイズ、予め設定された充填サイズ及び前記複数の領域画像に基づいて、複数の２次元畳み込み対象の画像行列を取得するステップであって、前記２次元畳み込み対象の画像行列の各列には、合計Ｐ×Ｌ個のデータがあり、１列のデータが、前記畳み込みカーネルの充填された後の領域画像上で畳み込み操作を１回行うときのキャプチャ対象データであり、前記２次元畳み込み対象の画像行列の列数が、前記充填された後の１つの領域画像によってサポートされる畳み込みの最大回数である、複数の２次元畳み込み対象の画像行列を取得するステップと、
前記２次元畳み込み行列に各前記２次元畳み込み対象の画像行列を掛けて、前記畳み込み結果を取得するステップと、を含む。

選択可能に、前記画像タイプは、
テクスチャ特徴の画像、
色特徴の画像、
形状特徴の画像、及び
空間関係の画像、のうちの少なくとも１つを含む。

選択可能に、前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するステップは、
前記マルチフレームの画像の位置合わせをするステップと、
位置合わせ後のマルチフレームの画像に対してゴースト除去処理を行って、前記ゴースト除去後のマルチフレームの画像を取得するステップと、を含む。

選択可能に、前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するステップは、
前記融合画像に対して鮮明化処理（鮮鋭化処理とも呼ばれる）を行って、前記目的画像を取得して出力するステップを含む。

本開示の実施例の第２態様によれば、写真撮影装置を提供する。
当該装置は、
写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集するように構成される収集モジュールと、
前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するように構成される除去モジュールと、
前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するように構成される融合モジュールであって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高い融合モジュールと、
前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するように構成される強調モジュールと、を含む。

選択可能に、前記画像融合モデルは複数の超解像モデルを含み、ここで、前記超解像モデルは画像タイプと１対１に対応する。
選択可能に、前記融合モジュールは、具体的には、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得し、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得し、前記領域融合画像のノイズが前記同じ画像タイプの複数の領域画像のうちの任意の領域画像のノイズよりも低く、かつ、前記領域融合画像の解像度が前記同じ画像タイプの複数の領域画像のうちの任意の領域画像の解像度よりも高く、異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するように構成される。

選択可能に、前記融合モジュールは、具体的には、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像について、前記シングルフレームの画像の各画素のタイプを判断し、前記各画素のタイプに基づいて、前記画素が属する画像タイプを決定し、同じシングルフレームの画像内の同じ画像タイプに属する画素を同じ領域画像に分割して、前記領域画像を複数取得するように構成される。

選択可能に、前記融合モジュールは、具体的には、異なるタイプの領域融合画像に対応する領域画像の画素の重みに基づいて、前記異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するように構成される。

選択可能に、前記超解像モデルは複数のモジュールを含み、各々のモジュールは畳み込み層、正規化層及び活性化層を含み、
前記融合モジュールは、具体的には、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得し、前記畳み込み結果を正規化層に入力して、正規化結果を取得し、前記正規化結果及び前記活性化層に基づいて、前記同じ画像タイプの領域融合画像を取得し、前記活性化層の入力が前記正規化結果であるように構成される。

選択可能に、前記融合モジュールは、具体的には、前記同じ画像タイプに対応する超解像モデルの前記畳み込み層のＭ個のＰ行、Ｌ列の畳み込みカーネルを、Ｍ行、Ｐ×Ｌ列の２次元畳み込み行列（前記Ｍ、Ｐ、Ｌはいずれも正の整数）に変換し、前記畳み込みカーネルのサイズ、予め設定された畳み込みのスライドステップサイズ、予め設定された充填サイズ及び前記複数の領域画像に基づいて、複数の２次元畳み込み対象の画像行列を取得し、前記２次元畳み込み対象の画像行列の各列には、合計Ｐ×Ｌ個のデータがあり、１列のデータが、前記畳み込みカーネルが領域画像上で畳み込み操作を１回行うときのキャプチャ対象データであり、前記２次元畳み込み対象の画像行列の列数が、１つの領域画像によってサポートされる畳み込みの最大回数であり、前記２次元畳み込み行列に各前記２次元畳み込み対象の画像行列を掛けて、前記畳み込み結果を取得するように構成される。

選択可能に、前記画像タイプは、
テクスチャ特徴の画像、
色特徴の画像、
形状特徴の画像、及び
空間関係の画像、のうちの少なくとも１つを含む。

選択可能に、前記除去モジュールは、具体的には、前記マルチフレームの画像の位置合わせをし、位置合わせ後のマルチフレームの画像に対してゴースト除去処理を行って、前記ゴースト除去後のマルチフレームの画像を取得するように構成される。

選択可能に、前記強調モジュールは、具体的には、前記融合画像に対して鮮明化処理を行って、前記目的画像を取得して出力するように構成される。

本開示の実施例の第３態様によれば、端末を提供する。
当該端末は、
プロセッサと、
プロセッサが実行可能な命令を記憶するためのメモリと、を含む。
ここで、前記プロセッサは、上記第１態様に記載の写真撮影方法を実行するように構成される。

本開示の実施例の第４態様によれば、記憶媒体を提供する。
当該記憶媒体は、
当前記記憶媒体内の命令が端末のプロセッサによって実行される場合、端末が上記の第１態様に記載の写真撮影方法を実行できる。

本開示の実施例にて提供される技術案は、次のような有益な効果を含む。

本開示の実施例では、マルチフレーム超解像アルゴリズムを用いて、ゴースト除去後のマルチフレームの画像を事前にトレーニングされた画像融合モデルに入力すると、ノイズが低減され、かつ解像度が向上した融合画像を同期的に取得することができ、そして、融合画像に対して画像強調処理をさらに行って、画質が向上した目的画像を取得して出力する。独立したノイズ低減モジュール又は超解像モジュールを介して超解像画像を取得する必要がなく、集積度が高くかつ処理効果がよいという特徴がある。

なお、上記の一般的な説明及び以下の詳細な説明は、例示的かつ説明的なものにすぎず、本開示を制限するものではないことを理解されたい。
ここの図面は、明細書に組み込まれて本明細書の一部を構成し、本開示に合う実施例を示し、明細書と一緒に本開示の原理を解釈するために用いられる。

光学ズームレンズの概略図 本開示の実施例に示す写真撮影方法のフローチャート 本開示のゴーストの概略図 本開示の文字の概略図 本開示の畳み込みの概略図 本開示の写真撮影に適用される超解像アルゴリズムの例示的なフローチャート 例示的な実施例による写真撮影装置を示す図 本開示の実施例に示す端末のブロック図

本明細書において、例示的な実施例について説明し、その例示を添付図面に示す。以下の説明が添付図面に関する場合、特に明記しない限り、異なる添付図面の同じ数字は、同じ又は類似の要素を表す。以下の例示的な実施例に説明される実施形態は、本開示と一致する全ての実施形態を代表するわけではない。むしろ、それらは、添付の特許請求の範囲に詳述される本開示の一部の態様と一致する装置及び方法の例にすぎない。

図２は、本開示の実施例に示す写真撮影方法のフローチャートである。図２に示すように、端末に適用される写真撮影方法は、
写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集するＳ１１と、
前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するＳ１２と、
前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するＳ１３であって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高いＳ１３と、
前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するＳ１４と、を含む。

本開示の実施例では、端末は、スマートホォン、カメラ、タブレット、ウェアラブル電子機器などを含む。端末には、画像収集コンポーネントが設置され、移動端末は、画像収集コンポーネントで写真撮影を実行う。携帯電話を端末の例とすると、画像収集コンポーネントは、携帯電話の前面カメラ及び背面カメラを含む。

ステップＳ１１において、端末は、写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集する。当該マルチフレームの画像は、同一の撮影シーンに対して収集した、短時間露光、通常露光、長時間露光の３つのフレームの画像のような露光時間が異なるマルチフレームの低ダイナミックレンジ画像であってもよい。

ステップＳ１２において、端末は、検出されたマルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得する。ハンドヘルドデバイスの撮影中に、振れが発生したり、被写体自体が移動したりするなどに起因する画像のずれや歪みが必然的に発生するため、収集した画像に残像、即ちゴーストが発生する。図３は、本開示のゴーストの概略図である。図３に示すように、画像の左側のガラスでは、撮影中の手振れにより、画面にゴーストが発生する可能性がある。

これに対して、本開示は、収集したマルチフレームの画像からゴーストを除去する。本開示の一実施例では、ゴースト除去の効果を向上させるために、収集したマルチフレームの画像を事前に位置合わせしてから、ゴーストを除去することも可能である。マルチフレームの位置合わせの難点は、サブ画素レベルの精度を必要とし、そして、非常に暗い光をサポートする必要があることである。

一実施例では、ステップＳ１２は、
前記マルチフレームの画像の位置合わせをするステップと、
位置合わせ後のマルチフレームの画像に対してゴースト除去処理を行って、前記ゴースト除去後のマルチフレームの画像を取得するステップと、を含む。

この実施例では、マルチフレームの画像の位置合わせをするとき、中央値しきい値ビットマップ（ｍｅｄｉａｎ ｔｈｒｅｓｈｏｌｄ ｂｉｔｍａｐｓ、ＭＴＢ）法に基づいてマルチフレームの画像の位置合わせをすることができる。また、マルチフレームの画像のうちの任意のフレームの画像を参照画像とし、参照画像に基づいて残りの非参照画像を参照画像に位置合わせすることもできる。例えば、参照画像及び非参照画像の特徴点をそれぞれ抽出し、特徴点に基づいて非参照画像と参照画像とのレジストレーションを行うことにより、位置合わせが実現される。

ステップＳ１３において、端末は、ゴースト除去後のマルチフレームの画像を取得した後、ゴースト除去後のマルチフレームの画像を画像融合モデルに入力する。特に、当該画像融合モデルは、ノイズ低減機能及び超解像機能を同時に備える。それにより、融合後の画像は、ゴースト除去後のマルチフレームの画像のうちの任意のフレームの画像よりもノイズが低く、解像度が高い。

本開示の一実施例では、画像融合モデルは、サポートベクターマシンに基づいてトレーニングして取得したモデルであってもよい。本開示の別の実施例では、前記画像融合モデルは、深層学習ネットワークを用いてトレーニングして取得したモデルである。

なお、本開示の実施例では、本開示は、サポートベクターマシンの使用又は深層学習ネットワークのトレーニングにより画像融合モデルを取得することに限定されない。また、画像融合モデルをトレーニングするとき、トレーニングセット内の入力画像は、ノイズが多い低解像度画像であり、ラベル画像（ＧＴ画像）は、ノイズが低い高解像度画像である。トレーニング用データペアを（ｘ，ｙ）で表し、画像融合モデルは、サポートベクターマシンネットワーク又は深層学習ネットワークなどにより、ｘとｙとの間の対応関係ｙ＝ｆ（ｘ）をフィッティングする。関数ｆ（ｘ）は、ノイズ低減機能及び超解像機能を同時に備え、ここで、ｘは、マルチフレームの入力画像を代表し、ｙは、出力画像を代表する。

ステップ１４において、端末は、ノイズが低減されかつ解像度が向上した融合画像を取得した後、融合画像に対して画像強調処理を行って、画質がさらに向上した目的画像を取得して出力する。

本開示の実施例では、出力された目的画像は、写真撮影命令に基づいて最終的にユーザに表示された画像である。

一実施例では、ステップＳ１４は、
前記融合画像に対して鮮明化処理を行って、前記目的画像を取得して出力するステップを含む。

この実施例では、画像強調処理は、鮮明化処理を含み、鮮明化処理により、画像の輪郭を補正して、画像のエッジ及び階調飛びの部分を強調することにより、画像をより鮮明にすることができるので、取得した目的画像は画質がより優れ、ユーザの体験を向上させることができる。

しかしながら、本開示の実施例では、画像強調処理は、鮮明化処理に限定されず、鮮明化処理と他の強調処理方法との組み合わせであってもよいし、コントラストの改善、色補正などの他の画像強調方法の少なくとも１つであってもよい。

超解像アルゴリズムにおいて、ノイズ、ディテール及び汚点は、超解像画質を評価する主な要因である。超解像アルゴリズムの目的は、ディテール、ノイズ及び汚点の３つの点から画質を改善することである。本開示において、マルチフレーム超解像アルゴリズムを用いて、ゴースト除去後のマルチフレームの画像を事前にトレーニングされた画像融合モデルに入力すると、ノイズが低減されかつ解像度が向上した融合画像を同期的に取得することができる。そして、融合画像に対して画像強調処理をさらに行って、画質が向上した目的画像を取得して出力し、独立したノイズ低減モジュール又は超解像モジュールを介して超解像画像を取得する必要がなく、集積度が高くかつ処理効果がよいという特徴がある。

一実施例では、前記画像融合モデルは複数の超解像モデルを含み、ここで、前記超解像モデルは画像タイプと１対１に対応する。
ステップＳ１３は、
前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得するステップと、
前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得するステップであって、前記領域融合画像のノイズが前記同じ画像タイプの複数の領域画像のうちの任意の領域画像のノイズよりも低く、かつ、前記領域融合画像の解像度が前記同じ画像タイプの複数の領域画像のうちの任意の領域画像の解像度よりも高いステップと、
異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップと、を含む。

本開示の実施例では、異なるタイプの画像が人に与える主観的な感覚が異なるため、本開示は、異なる画像タイプについて、超解像モデルをトレーニングし、画像融合モデルには、異なる画像タイプにそれぞれ対応する超解像モデルが含まれており、当該超解像モデルは、深層学習ネットワークトのレーニングに基づいて取得されたモデルであってもよい。

一実施例では、前記画像タイプは、
テクスチャ特徴の画像、
色特徴の画像、
形状特徴の画像、及び
空間関係の画像、のうちの少なくとも１つを含む。

例えば、路面、木目、草地などは、テクスチャのランダム性がより強い領域に属し、その全体の構造性が相対的に弱い可能性があり、モデルは、より多くのノイズを保留することができれば、むしろ、ディテールがより強いという「主観的錯覚」を人に与えることができる。文字、建物及び顔などは、特定の空間関係を有する画像に属し、人は、高いレベルの意味認識に注目するのに対して、テクスチャなどに対する注目が比較的少ない可能性があり、即ち、全体構造により注目する。そのため、モデルは、より強いノイズ低減及びより優れた構造的ディテールを必要とする。図４は、本開示の文字の概略図であり、人は、各々の文字の構造特徴に注目する可能性がある。

また、例えば、空は青色であること、木は緑色又は黄色であること、川は無色透明に近いこと、及び人の肌は黄色又は黒色であることなどからは、特定のオブジェクトを基に、そのオブジェクトはよりあり得る色を有する。そのため、モデルは、色の特徴により注目する必要がある。また例えば、太陽は円形であること、月は鎌形又は円形であることなどからは、特定のオブジェクトを基に、そのオブジェクトはよりあり得る形状を有する。そのため、モデルは、形状特徴に注目する必要がある。

したがって、本開示は、異なるタイプの画像について、画像タイプに対応する超解像モデルを有する。なお、本開示は、画像融合モデルをトレーニングするとき、入力として、ノイズが大きくかつ解像度が低い、同じくテクスチャ特性を主とする画像を大量選択することができる一方、対応するノイズが小さくかつ解像度が高い画像をラベル画像として、超解像モデルをトレーニングする。同じ原理で、構造特性を主とする超解像モデル、色特徴を主とする超解像モデル、又は空間関係を主とする超解像モデルをそれぞれトレーニングすることもでき、本開示では詳細な説明を省略する。

しかしながら、通常、収集された画像は、単一オブジェクトの画像ではなく、例えば、収集された画面に建物があり、木や空などがある。異なるオブジェクトは異なる特徴を有し、前述したように、建物の場合は構造全体に注目することがより多く、木の場合はテクスチャに注目することがより多く、空の場合は色への注目は一層多い可能性がある。本開示は、ゴースト除去後のシングルフレームの画像に含まれている異なるタイプの領域画像を取得するために、ゴースト除去後のマルチフレームの画像のうちのシングルフレームの画像に対して、それぞれ画像分割を事前に行うことができる。例えば、画像分割により、上記の画像を建物領域、木領域及び空領域に分ける。

なお、マルチフレームの画像は連続的に収集されたものであるため、画面の内容の類似度が高いので、通常、異なるゴースト除去後のシングルフレームの画像に対して画像分割を行った後、いずれも同じタイプの画像領域を有するように分割することができる。無論、ゴーストを部分的に除去した後のシングルフレームの画像に対して画像分割を行った後に、一部の画像タイプの画像領域が欠落する可能性もある。本開示では、欠落がある場合、当該シングルフレームの画像の当該画像タイプの画像領域を無視する。

本開示の一実施例では、画像分割を行うとき、事前にトレーニングされたニューラルネットワークモデルに基づいて画像分割結果を取得してもよく、画像分割結果は、分割後の領域画像、及び当該領域画像に対応する画像タイプを含む。

別の実施例では、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得するステップは、
前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像について、前記シングルフレームの画像の各画素のタイプを判断するステップと、
前記各画素のタイプに基づいて、前記画素が属する画像タイプを決定するステップと、
同じシングルフレームの画像内の同じ画像タイプに属する画素を同じ領域画像に分割して、前記領域画像を複数取得するステップと、を含む。

この実施例では、ゴースト除去後のシングルフレームの画像について各画素のタイプを統計することが可能であり。例えば、領域拡張法を用いて、単一画素から始めて、同じシングルフレームの画像のうちの同じ画像タイプに属する画素を同じ領域に段階的に統合することにより、複数の分割後の領域画像を得る。ゴースト除去後のシングルフレームの画像に含まれている異なる画像タイプの領域画像を取得すると、異なるマルチフレームの画像のうちの同じ突出表示タイプに属するマルチフレームの領域画像を、同じ画像タイプに対応する超解像モデルに入力することにより、同じ画像タイプの領域融合画像を取得することができる。例えば、現在の同じ画像タイプのマルチフレームの領域画像がテクスチャタイプである場合、当該マルチフレームの領域画像をテクスチャタイプに対応する超解像モデルに入力することができ、それにより、より多くのテクスチャディテールが保留され、他のノイズが低減されかつ解像度が向上した領域融合画像を取得する。

異なるタイプの領域融合画像を取得すると、画像分割時の各タイプ画像の領域位置情報に基づいて、領域融合画像を完全な融合画像に繋ぎ合わせる。各領域融合画像のノイズが低減されてその解像度が向上するため、取得された融合画像もノイズが低減されかつ解像度が向上した画像である。

一実施例では、異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップは、
異なるタイプの領域融合画像に対応する領域画像の画素の重みに基づいて、前記異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップを含む。

本開示の実施例では、各タイプの画像の領域位置情報に基づいて、領域融合画像を完全な融合画像に繋ぎ合わせるとき、異なるタイプの領域画像の重みに基づいて、各領域融合画像を融合画像に融合することができる。例えば、テクスチャ特徴の領域画像が画像の中央領域に位置するので、融合画像の中央領域が突出する（目立つ）ように、当該テクスチャ特徴の領域画像内の各画素の重みを大きく設定することができる。

なお、本開示の実施例では、画像融合モデルの入力画像は、１つの画像からの部分領域画像であってもよく、当該部分領域画像もトレーニング用画像に対して画像分割を行ってから取得されるものであり、本開示では詳細な説明を省略する。

深層学習ネットワークを用いてモデルをトレーニングする場合、畳み込みニューラルネットワークの特殊性のため、関連技術は、いずれも画像中の異なる領域のタイプ特徴に注目せず、モデルを画像全体に対して操作するため、取得された超解像画像の画質を良好に向上させることができない。これに対し、本開示は、撮影シーンの複雑さを考慮して、異なる画像タイプについての超解像モデルをトレーニングし、続いて、現在のゴースト除去後の各シングルフレームの画像に対して画像分割を行った後、領域画像の入力タイプに対応する超解像モデルについての領域融合結果を取得し、超解像画像の画質を極めて大きく向上させることができる。また、本開示は、モデルを画像全体に対して操作することを必要とせず、対応する超解像モデルを画像領域別に入力し、計算量を大幅に低減することができる。

一実施例では、前記超解像モデルは複数のモジュールを含み、各々のモジュールは畳み込み層、正規化層及び活性化層を含み、
前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得するステップは、
前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得するステップと、
前記畳み込み結果を正規化層に入力して、正規化結果を取得するステップと、
前記正規化結果及び前記活性化層に基づいて、前記同じ画像タイプの領域融合画像を取得するステップであって、前記活性化層の入力が前記正規化結果である、前記同じ画像タイプの領域融合画像を取得するステップと、を含む。

前述したように、超解像モデルは、深層学習ネットワークのトレーニングを用いて取得したモデルであってもよい。本開示の実施例では、超解像モデルは、複数のモジュールを含み、例えば１６個のモジュールを含んでもよい。各モジュールは、畳み込み層、正規化層及び活性化層を含む。超解像モデルを使用する場合、同じ画像タイプの複数の領域画像を、対応する超解像モデルの各モジュールの畳み込み層に入力することができる。畳み込み結果を取得し、続いて、畳み込み結果を、正規化層を通させて値が所定の値区間にある正規化結果を取得して、以降の計算を容易にする。さらに、正規化結果及び活性化層に基づいて、同じ画像タイプの領域融合画像を取得するときる。モデルの表現能力を向上させるために、正規化結果を活性化層に入力し、続いて、各モジュールの活性化層の出力をプール化層に入力することができる。プール化層の出力を全結合層の入力とすることにより、同じ画像タイプの領域融合画像を取得する。

前述したように、本開示は、モデルを画像全体に対して操作することを必要とせず、対応する超解像モデルを画像領域別に入力し、計算量を大幅に低減することができる。具体的には、各々の超解像モデルは、そのタイプに対応する領域画像上でのみ畳み込み操作を行い、他の領域では畳み込み操作を行わず、このような計算量は、モデルの数と関わらないため、計算量を大幅に低減することができる。

一実施例では、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得するステップは、
前記同じ画像タイプに対応する超解像モデルの前記畳み込み層のＭ個のＰ行、Ｌ列の畳み込みカーネルを、Ｍ行、Ｐ×Ｌ列の２次元畳み込み行列（前記Ｍ、Ｐ、Ｌはいずれも正の整数）に変換するステップと、
前記畳み込みカーネルのサイズ、予め設定された畳み込みのスライドステップサイズ及び前記複数の領域画像に基づいて、複数の２次元畳み込み対象の画像行列を取得するステップであって、前記２次元畳み込み対象の画像行列の各列には、合計Ｐ＊Ｌ個のデータがあり、１列のデータが、前記畳み込みカーネルが領域画像上で畳み込み操作を１回行うときのキャプチャ対象データであり、前記２次元畳み込み対象の画像行列の列数が、１つの領域画像によってサポートされる畳み込みの最大回数であるステップと、
前記２次元畳み込み行列に各前記２次元畳み込み対象の画像行列を掛けて、前記畳み込み結果を取得するステップと、を含む。

本開示の実施例では、超解像モデルにＭ個のＰ×Ｌの畳み込みカーネルが含まれてもよく、Ｍ行、Ｐ×Ｌ列の２次元畳み込み行列に変換される。即ち、ある２次元畳み込みカーネルが１次元畳み込みカーネルに変換され、複数の変換後の１次元畳み込みカーネルによって２次元畳み込み行列が形成される。変換後の２次元畳み込み行列の各行が１つの２次元畳み込みカーネルの重み値である。

例えば、Ｍは、畳み込みカーネルの数であり、畳み込みカーネルのサイズＰ×Ｌはｋ×ｋであり、変換後の２次元畳み込み行列の各行は１つの畳み込みカーネルベクトルであり、各行にはｋ×ｋ個の重み値があり、合計Ｍ行があり、Ｍ個の畳み込みカーネルを表す。

さらに、本開示は、畳み込みカーネルのサイズ、予め設定された畳み込みのスライドステップサイズ及びシングルフレームの領域画像に基づいて、２次元畳み込み対象の画像行列を取得する。

なお、本開示の実施例では、畳み込み後の行列の大きさが畳み込み層を入力する領域画像の大きさと一致するように維持することを保証するために、畳み込みカーネルのサイズ、畳み込みのスライドステップサイズ及び畳み込み対象の領域画像大きさが上記の要件を満たすのに十分でない場合、領域画像の周りに対して充填処理し、充填後の領域画像を取得して、充填後の領域画像を処理することが可能である。

例えば、畳み込みカーネルがｋ×ｋの２次元行列であり、予め設定された畳み込みのスライドステップサイズは、行方向ではｓｔｒｉｄｅ＿ｈであり、列方向ではｓｔｒｉｄｅ＿ｗであり、予め設定された充填サイズは、行方向での充填長さはｐａｄ＿ｈであり、列方向ではｐａｄ＿ｗであり、シングルフレームの領域画像のサイズはｉｍａｇｅ＿ｈ×ｉｍａｇｅ＿ｗである。すると、取得した２次元畳み込み対象の画像行列は、合計ｋ×ｋ行（即Ｐ×Ｌ行）、Ｎ列があり、Ｎは、次の式（１）で表すことができる。
Ｎ＝（（ｉｍａｇｅ＿ｈ＋２×ｐａｄ＿ｈ-ｋ）／ｓｔｒｉｄｅ＿ｈ＋１）×（（ｉｍａｇｅ＿ｗ＋２×ｐａｄ＿ｗ-ｋ）／ｓｔｒｉｄｅ＿ｗ＋１） （１）

２次元畳み込み対象の画像行列の各列には、合計ｋ×ｋ個のデータがある。１列のデータは、充填後のシングルフレームの領域画像上で畳み込みカーネルが畳み込み操作を１回行う際の、キャプチャされたデータである。充填後のシングルフレームの領域画像の各画素点の画素値は、Ｎ列のデータによってカバーされ、Ｎ値は、充填後のシングルフレームの領域画像によってサポートされる畳み込みの最大回数でもある。ここで、シングルフレームの領域画像を充填する際に、シングルフレームの領域画像の周辺に、予め設定された充填サイズを満たす一周りの値が０であるデータを充填してもよい。

領域画像を充填する必要がない場合、２次元畳み込み対象の画像行列の列数Ｎの値は、ｐａｄ＿ｈ及びｐａｄ＿ｗの両方とも０であるときに対応する値であり、領域画像によってサポートされる畳み込みの最大回数でもある。

図５は、本開示の畳み込みの概略図である。図５に示すように、Ｐ×Ｌの２次元畳み込みカーネルのサイズをＫと記すと、上記の畳み込みプロセスは、Ｍ×Ｋの２次元畳み込み行列にＫ×Ｎの２次元畳み込み対象画像行列を掛けることであり、取得されたのはＭ×Ｎの畳み込み結果行列であり、行列の１行は１つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）である。

なお、本開示の実施例では、画像分割時に、分割して取得した領域画像が規則的な長方形領域ではない可能性があり、かつ、領域画像に異なる形状及び大きさがある可能性がある。そのため、本開示では、畳み込み要件を満たすために各不規則的な領域画像を充填することを必要とせず、目的性を持って元の規則的な長方形畳み込み操作を不規則的なスライドに変更し、かつ、最終的な計算の複雑さも、領域画像の数とは無関係で、シングルフレームの画像の総面積のみに関連するため、アルゴリズムの複雑さを低減させ、畳み込み効率を極めて大幅に向上させる。

図６は、本開示の写真撮影に適用される超解像アルゴリズムの例示的なフローチャートであり、図６に示すように、超解像アルゴリズムは、次のステップＳ２１～Ｓ２４を含む。

ステップＳ２１において、マルチフレームの位置合わせをする。

この実施例では、マルチフレームの位置合わせとは、写真撮影命令に基づいて連続的に収集されたマルチフレームの画像の位置合わせをすることを言う。

ステップＳ２２において、ゴーストを除去する。

この実施例では、位置合わせ後のマルチフレームの画像に対してゴースト除去操作を行って、ゴースト除去後のマルチフレームの画像を取得する。

ステップＳ２３において、深層学習でマルチフレームを融合する。

この実施例では、ゴースト除去後のマルチフレームの画像を、深層学習ネットワークを使用して事前にトレーニングされた画像融合モデルに入力する。当該画像融合モデルは、ノイズ低減機能と解像度向上機能を同時に備えるため、ゴースト除去後のマルチフレームの画像を当該画像融合モデルに入力した後に、ノイズが低減されかつ解像度が向上した融合画像を取得することができる。

ステップＳ２４において、鮮明化する。

この実施例では、ステップＳ２３により、ノイズが低減されかつ解像度が向上した融合画像を取得した後、画質が向上した目的画像を取得してユーザに表示するために、融合画像に対して鮮明化処理を行うことができる。

なお、本開示は、マルチフレーム超解像アルゴリズムを用いて、位置合わせとゴースト除去後のマルチフレームの画像を、深層学習ネットワークを基で事前にトレーニングされた画像融合モデルに入力すると、ノイズが低減されかつ解像度が向上した融合画像を同期的に取得することができる。さらに、融合画像に対して鮮明化処理を行って、画質が向上した目的画像を取得して出力し、独立したノイズ低減モジュール又は超解像モジュールを介して超解像画像を取得する必要がなく、集積度が高くかつ処理効果がよいという特徴がある。

図７は、例示的な実施例による写真撮影装置を示す図である。図７を参照すると、写真撮影装置は、
写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集するように構成される収集モジュール１０１と、
前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するように構成される除去モジュール１０２と、
前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するように構成される融合モジュール１０３であって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高い融合モジュール１０３と、
前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するように構成される強調モジュール１０４と、を含む。

選択可能に、前記画像融合モデルは複数の超解像モデルを含み、ここで、前記超解像モデルは画像タイプと１対１に対応する。
選択可能に、前記融合モジュール１０３は、具体的には、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得し、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得し、前記領域融合画像のノイズが前記同じ画像タイプの複数の領域画像のうちの任意の領域画像のノイズよりも低く、かつ、前記領域融合画像の解像度が前記同じ画像タイプの複数の領域画像のうちの任意の領域画像の解像度よりも高く、異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するように構成される。

選択可能に、前記融合モジュール１０３は、具体的には、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像について、前記シングルフレームの画像の各画素のタイプを判断し、前記各画素のタイプに基づいて、前記画素が属する画像タイプを決定し、同じシングルフレームの画像内の同じ画像タイプに属する画素を同じ領域画像に分割して、前記領域画像を複数取得するように構成される。

選択可能に、前記融合モジュール１０３は、具体的には、異なるタイプの領域融合画像に対応する領域画像の画素の重みに基づいて、前記異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するように構成される。

選択可能に、前記超解像モデルは複数のモジュールを含み、各々のモジュールは畳み込み層、正規化層及び活性化層を含む。
選択可能に、前記融合モジュール１０３は、具体的には、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得し、前記畳み込み結果を正規化層に入力して、正規化結果を取得し、前記正規化結果及び前記活性化層に基づいて、前記同じ画像タイプの領域融合画像を取得し、前記活性化層の入力が前記正規化結果であるように構成される。

選択可能に、前記融合モジュール１０３は、具体的には、前記同じ画像タイプに対応する超解像モデルの前記畳み込み層のＭ個のＰ行、Ｌ列の畳み込みカーネルを、Ｍ行、Ｐ×Ｌ列の２次元畳み込み行列（前記Ｍ、Ｐ、Ｌはいずれも正の整数）に変換し、前記畳み込みカーネルのサイズ、予め設定された畳み込みのスライドステップサイズ及び前記複数の領域画像に基づいて、複数の２次元畳み込み対象の画像行列を取得し前記２次元畳み込み対象の画像行列の各列には、合計Ｐ×Ｌ個のデータがあり、１列のデータが、前記畳み込みカーネルが領域画像上で畳み込み操作を１回行うときのキャプチャ対象データであり、前記２次元畳み込み対象の画像行列の列数が、１つの領域画像によってサポートされる畳み込みの最大回数であり、前記２次元畳み込み行列に前記２次元畳み込み対象の画像行列を掛けて、前記畳み込み結果を取得するように構成される。

選択可能に、前記画像タイプは、
テクスチャ特徴の画像、
色特徴の画像、
形状特徴の画像、及び
空間関係の画像、のうちの少なくとも１つを含む。

選択可能に、前記除去モジュール１０２は、具体的には、前記マルチフレームの画像の位置合わせをし、位置合わせ後のマルチフレームの画像に対してゴースト除去処理を行って、前記ゴースト除去後のマルチフレームの画像を取得するように構成される。

選択可能に、前記強調モジュール１０４は、具体的には、前記融合画像に対して鮮明化処理を行って、前記目的画像を取得して出力するように構成される。

上記の実施例の装置の各モジュールが操作を実行する具体的な方法については、当該方法に関連する実施例で詳細に説明したため、ここでは詳細な説明を省略する。

図８は、例示的な実施例による移動端末装置８００のブロック図である。例えば、装置８００は、携帯電話、モバイルコンピュータなどであり得る。

図８を参照すると、装置８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つ又は複数を含んでもよい。

処理コンポーネント８０２は、通常、表示、電話コール、データ通信、カメラ操作及び記録操作に関連する操作などのような装置８００全体の操作を制御する。処理コンポーネント８０２は、上記の方法のステップの一部又は全部を完了するために、命令を実行するための１つ又は複数のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、処理コンポーネント８０２と他のコンポーネントとの間のインタラクションを容易にするために、１つ又は複数のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８と処理コンポーネント８０２との間のインタラクションを容易にするために、マルチメディアモジュールを含んでもよい。

メモリ８０４は、様々なタイプのデータを記憶して、装置８００上での操作をサポートするように構成される。これらのデータの例示は、装置８００上で操作されるいずれのアプリケーションプログラムや方法に用いられる命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオなどを含む。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどのような、いずれのタイプの揮発性又は不揮発性の記憶装置、又はそれらの組合せによって実現され得る。

電源コンポーネント８０６は、装置８００の様々なコンポーネントに電力を供給する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び他の装置８００のために電力を生成、管理及び分配するのに関連するコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は、前記装置８００とユーザとの間にある、出力インターフェースを提供するスクリーンを含む。一部の実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装され得る。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャを感知するための１つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチやスライド動作の境界を感知するだけでなく、前記タッチやスライド操作に関連する持続時間と圧力も検出することができる。一部の実施例では、マルチメディアコンポーネント８０８は、前面カメラ及び／又は背面カメラを含む。装置８００が、撮影モード又はビデオモードなどの操作モードにある場合、前面カメラ及び／又は背面カメラは、外部のマルチメディアデータを受信できる。各々の前面カメラ及び背面カメラは、固定の光学レンズシステムであっても、焦点距離及び光学ズームの能力を有するものであってもよい。

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を含み、装置８００が、コールモード、記録モード及び音声認識モードなどの操作モードにあるとき、マイクロホンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらに、メモリ８０４に記憶されるか、又は、通信コンポーネント８１６を介して送信される。一部の実施例では、オーディオコンポーネント８１０は、さらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２及び周辺インターフェースモジュールとの間にインターフェースを提供し、上記の周辺インターフェースモジュールは、キーボード、クリックホイル、ボタンなどであり得る。これらのボタンは、ホームページボタン、音量ボタン、開始ボタン及びロックボタンを含むが、これらに限定されない。

センサコンポーネント８１４は、装置８００に各態様の状態の評価を提供するための１つ又は複数のセンサを含む。例えば、センサコンポーネント８１４は、装置８００の開閉状態、及びコンポーネントの相対的な位置決めを検出することができ、例えば、前記コンポーネントは装置８００のディスプレイ及びキーパッドであり、センサコンポーネント８１４は、装置８００又は装置８００のあるコンポーネントの位置変化、ユーザと装置８００との接触の有無、装置８００の方位又は加速／減速、及び装置８００の温度変化も検出することができる。センサコンポーネント８１４は、いずれの物理的な接触がないときに近傍の被写体を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサなどの、撮像応用に使用される光センサを含んでもよい。一部の実施例では、センサコンポーネント８１４は、加速センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ又は温度センサをさらに含んでもよい。

通信コンポーネント８１６は、装置８００と他の装置との間の有線又は無線方式の通信を容易にするように構成される。装置８００は、Ｗｉ－Ｆｉ、２Ｇや３Ｇ、又はそれらの組合せなどの、通信規格に基づく無線ネットワークにアクセスしてもよい。例示的な一実施例では、通信コンポーネント８１６は、放送チャネルを介して外部放送管理システムからの放送信号又は放送関連の情報を受信する。例示的な一実施例では、通信コンポーネント８１６は、さらに、短距離通信（ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を促進するための近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域無線（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現されてもよい。

例示的な実施例では、装置８００は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたはその他の電子部品のうちの１つ又は複数によって実行されてもよく、上記の方法を実行するために用いられる。

例示的な実施例では、さらに、命令を含むメモリ８０４などのような、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体を提供し、上記の命令が装置８００のプロセッサ８２０によって実行されて、上記の方法を完了する。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、テープ、フロッピーディスク、及び光データ記憶装置などであり得る。

非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体内の命令が端末のプロセッサによって実行されると、端末が行写真撮影方法を実行できる。
前記方法は、
写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集するステップと、
前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するステップと、
前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するステップであって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高い、融合画像を取得するステップと、
前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するステップと、を含む。

当業者であれば、明細書を検討し、明細書に開示された発明を実践した後、本開示の他の実施形態を容易に想到し得る。本開示は、本開示のいずれの変形、用途又は適応性変化を網羅することを意図し、これらの変形、用途又は適応性変化は、本開示の一般的な原理に従い、かつ、本開示に開示されていない本技術分野の周知の知識又は慣用の技術手段を含む。明細書及び実施例を例示的なものと見なし、本開示の真の範囲及び趣旨は、以下の特許請求の範囲によって定義される。

なお、本開示は、すでに上で説明しかつ図面に示した正確な構造に限定されず、その範囲から逸脱することなく様々な修正及び変更を行うことができる。本開示の範囲は、添付の特許請求の範囲のみによって制限される。

Claims (11)

1. 写真撮影方法であって、
   写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集するステップと、
   前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するステップと、
   前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するステップであって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高い、前記融合画像を取得するステップと、
   前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するステップと、を含み、
   前記画像融合モデルは複数の超解像モデルを含み、前記超解像モデルは画像タイプと１対１に対応し、
   前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するステップは、
   前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得するステップと、
   前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得するステップであって、前記領域融合画像のノイズが前記同じ画像タイプの複数の領域画像のうちの任意の領域画像のノイズよりも低く、かつ、前記領域融合画像の解像度が前記同じ画像タイプの複数の領域画像のうちの任意の領域画像の解像度よりも高い、前記同じ画像タイプの領域融合画像を取得するステップと、
   異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップと、を含む、
   ことを特徴とする写真撮影方法。
2. 前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得するステップは、
   前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像について、前記シングルフレームの画像の各画素のタイプを判断するステップと、
   前記各画素のタイプに基づいて、前記画素が属する画像タイプを決定するステップと、
   同じシングルフレームの画像内の同じ画像タイプに属する画素を同じ領域画像に分割して、前記領域画像を複数取得するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
3. 異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップは、
   異なるタイプの領域融合画像に対応する領域画像の画素の重みに基づいて、前記異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するステップを含む、
   ことを特徴とする請求項１に記載の方法。
4. 前記超解像モデルは複数のモジュールを含み、各々のモジュールは畳み込み層、正規化層及び活性化層を含み、
   前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得するステップは、
   前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得するステップと、
   前記畳み込み結果を正規化層に入力して、正規化結果を取得するステップと、
   前記正規化結果及び前記活性化層に基づいて、前記同じ画像タイプの領域融合画像を取得するステップであって、前記活性化層の入力が前記正規化結果である、前記同じ画像タイプの領域融合画像を取得するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する前記超解像モデル内の畳み込み層に入力して、畳み込み結果を取得するステップは、
   前記同じ画像タイプに対応する超解像モデルの前記畳み込み層のＭ個のＰ行、Ｌ列の畳み込みカーネルを、Ｍ行、Ｐ×Ｌ列の２次元畳み込み行列（Ｍ、Ｐ、Ｌはいずれも正の整数）に変換するステップと、
   前記畳み込みカーネルのサイズ、予め設定された畳み込みのスライドステップサイズ及び前記複数の領域画像に基づいて、複数の２次元畳み込み対象の画像行列を取得するステップであって、前記２次元畳み込み対象の画像行列の各列には、合計Ｐ×Ｌ個のデータがあり、１列のデータが、前記畳み込みカーネルが領域画像上で畳み込み操作を１回行うときのキャプチャ対象データであり、前記２次元畳み込み対象の画像行列の列数が、１つの領域画像によってサポートされる畳み込みの最大回数である、複数の２次元畳み込み対象の画像行列を取得するステップと、
   前記２次元畳み込み行列に各前記２次元畳み込み対象の画像行列を掛けて、前記畳み込み結果を取得するステップと、を含む、
   ことを特徴とする請求項４に記載の方法。
6. 前記画像タイプは、
   テクスチャ特徴の画像、
   色特徴の画像、
   形状特徴の画像、及び
   空間関係の画像、のうちの少なくとも１つを含む、
   ことを特徴とする請求項１に記載の方法。
7. 前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するステップは、
   前記マルチフレームの画像の位置合わせをするステップと、
   位置合わせ後のマルチフレームの画像に対してゴースト除去処理を行って、前記ゴースト除去後のマルチフレームの画像を取得するステップと、を含む、
   ことを特徴とする請求項１～６のいずれか１項に記載の方法。
8. 前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するステップは、
   前記融合画像に対して鮮明化処理を行って、前記目的画像を取得して出力するステップを含む、
   ことを特徴とする請求項１に記載の方法。
9. 写真撮影装置であって、
   写真撮影命令が検出される場合、マルチフレームの画像を連続的に収集するように構成される収集モジュールと、
   前記マルチフレームの画像に基づいて、ゴースト除去後のマルチフレームの画像を取得するように構成される除去モジュールと、
   前記ゴースト除去後のマルチフレームの画像を画像融合モデルに入力して、融合画像を取得するように構成される融合モジュールであって、前記融合画像のノイズが前記マルチフレームの画像のうちの任意のフレームの画像のノイズよりも低く、かつ、前記融合画像の解像度が前記マルチフレームの画像のうちの任意のフレームの画像の解像度よりも高い融合モジュールと、
   前記融合画像に対して画像強調処理を行って、目的画像を取得して出力するように構成される強調モジュールと、を含み、
   前記画像融合モデルは複数の超解像モデルを含み、前記超解像モデルは画像タイプと１対１に対応し、
   前記融合モジュールは、具体的には、前記ゴースト除去後のマルチフレームの画像のうちの各々のシングルフレームの画像に対して画像分割を行って、複数の領域画像を取得し、前記複数の領域画像のうちの同じ画像タイプに属する複数の領域画像を、前記同じ画像タイプに対応する超解像モデルに入力して、前記同じ画像タイプの領域融合画像を取得し、前記領域融合画像のノイズが前記同じ画像タイプの複数の領域画像のうちの任意の領域画像のノイズよりも低く、かつ、前記領域融合画像の解像度が前記同じ画像タイプの複数の領域画像のうちの任意の領域画像の解像度よりも高く、異なる画像タイプの領域融合画像を融合して、前記融合画像を取得するように構成される、
   ことを特徴とする写真撮影装置。
10. 端末であって、
    プロセッサと、
    プロセッサが実行可能な命令を記憶するためのメモリと、を含み、
    前記プロセッサは、請求項１～８のいずれか１項に記載の写真撮影方法を実行するように構成される、
    ことを特徴とする端末。
11. 非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体内の命令が端末のプロセッサによって実行されると、端末が請求項１～８のいずれか１項に記載の写真撮影方法を実行できる、
    非一時的なコンピュータ読み取り可能な記憶媒体。

Images