JP7136956B2 - 画像処理方法及び装置、端末並びに記憶媒体 - Google Patents

Description

本願は、２０２０年７月３１日に中国特許局に提出された、出願番号が２０２０１０７６１６４５．２である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本発明は、電子機器の技術分野に関し、特に、画像処理方法及び装置、端末並びに記憶媒体に関する。

端末技術の不断の発展に伴い、人々の日常生活にますます便利さがもたらされ、端末機器の外見などに対するユーザの要求も徐々に高まっている。ここで、フルスクリーンは、既に、移動端末の開発動向となっている。

現在、フルスクリーンは、全て、部材昇降や、スライドカバーや、サイドスピンなどの昇降機構を使用する昇降手段によって実現され、また、水滴スクリーンやパンチホールスクリーンなどの設計手段によって実現されている。

上記のフルスクリーンの設計手段では、撮影用のカメラ部は、全て、ディスプレイスクリーンの裏側に配置されている。ディスプレイスクリーンには、金属回路が配置されているため、これらの領域において、透過率を低減させ、且つ回路部の一部の透光領域に散乱や回折が発生する。よって、ディスプレイスクリーンの裏側に配置されたカメラ部にて写真を撮る時、画質が低下するという問題がある。

本発明は、画像処理方法及び装置、端末並びに記憶媒体を提供する。

本開示の実施例の第１態様によれば、画像処理方法を提供し、前記画像処理方法は、
第１画像における画素の輝度に基づいて、ハイライト領域を決定することであって、前記ハイライト領域に含まれた画素の輝度が前記ハイライト領域の周辺における画素の輝度より大きいことと、
前記ハイライト領域に基づいて、前記第１画像における回折領域を決定することであって、前記回折領域が前記ハイライト領域の周辺に分布される画像領域であることと、
前記回折領域の輝度を低下させることにより、第２画像を取得することとを含む。

オプションとして、前記ハイライト領域に基づいて、前記第１画像における回折領域を決定することは、
前記第１画像における画素の輝度のライトフィールドの分布を決定することと、
前記ライトフィールドの分布に基づいて、前記第１画像における前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することと、
前記回折現象を満たす画像領域が存在すると、前記画像領域が前記回折領域であると決定することとを含む。

オプションとして、前記ライトフィールドの分布に基づいて、前記第１画像の前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することは、
前記ライトフィールドの分布及び前記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定することであって、前記高次位置は、前記第１画像の前記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きいことと、
前記高次位置が存在すると、前記回折現象を満たす前記画像領域が存在すると決定することとを含む。

オプションとして、前記高次位置が存在すると、前記回折現象を満たす前記画像領域が存在すると決定することは、
前記高次位置に位置する画素で構成された形状と前記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定することと、
前記第１類似度閾値より大きいと、前記回折現象を満たす前記画像領域が存在すると決定することとを含む。
オプションとして、前記第１画像は、Ｋ（ただし、Ｋ≧２）次の前記高次位置を含み、第Ｋ次の前記高次位置の画素の輝度は、第Ｋ－１次の前記高次位置の画素の輝度と等しいか、前記Ｋ値との逆相関を有する。

オプションとして、前記画像処理方法は、さらに、
前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定することを含み、
前記回折領域の輝度を低下させることにより、第２画像を取得することは、
前記回折領域に分散現象が存在すると、前記回折領域の輝度及び彩度を低下させることにより、前記第２画像を取得することを含む。

オプションとして、前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定することは、
前記回折領域内の画素の色と前記回折領域外の画素の色との間の色差値を取得することと、
前記色差値がプリセットされた色閾値より大きいと、前記回折領域に前記分散現象が存在すると決定することとを含む。

オプションとして、前記回折領域の輝度を低下させることにより、第２画像を取得することは、
前記回折領域内の各画素点の輝度値に基づき、前記輝度値との正相関関係に基づいて、調整される輝度値を決定することと、
前記回折領域内の各画素点の輝度値から前記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する前記第２画像を取得することとを含む。

オプションとして、前記回折領域の輝度を低下させることにより、第２画像を取得することは、
逆Ｇａｍｍａ関数に従って前記回折領域の輝度を低下させることにより、輝度調整後の前記第２画像を取得することを含む。

オプションとして、前記第１画像における画素の輝度に基づいて、ハイライト領域を決定することは、
前記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、異なる領域を分割することであって、前記領域内の画素点間の輝度差がいずれもプリセットされた差の範囲内にあることと、
分割された前記領域において、領域の平均輝度値が最も大きい領域を前記ハイライト領域として取得することとを含む。

オプションとして、前記回折領域の輝度を低下させることにより、第２画像を取得することは、
前記回折領域を含む第１画像を、プリセットされた画質補償モデルに入力することにより、輝度調整後の前記第２画像を取得することを含み、ここで、前記プリセットされた画質補償モ償モデルが、ニューラルネットワーク手段にてトレーニングすることにより取得されたものである。

本開示の実施例の第２態様によれば、画像処理装置を提供し、前記画像処理装置は、
第１画像における画素の輝度に基づいて、ハイライト領域を決定するように構成される第１決定モジュールであって、前記ハイライト領域に含まれた画素の輝度が前記ハイライト領域の周辺における画素の輝度より大きい第１決定モジュールと、
前記ハイライト領域に基づいて、前記第１画像における回折領域を決定するように構成される第２決定モジュールであって、前記回折領域が、前記ハイライト領域の周辺に分布される画像領域である第２決定モジュールと、
前記回折領域の輝度を低下させることにより、第２画像を取得するように構成される調整モジュールとを備える。

オプションとして、前記第２決定モジュールは、具体的に、前記第１画像における画素の輝度のライトフィールドの分布を決定し、前記ライトフィールドの分布に基づいて、前記第１画像の前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定し、前記回折現象を満たす画像領域が存在すると、前記画像領域が前記回折領域であると決定するように構成される。

オプションとして、前記第２決定モジュールは、具体的に、前記ライトフィールドの分布及び前記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定して、前記高次位置が存在すると、前記回折現象を満たす前記画像領域が存在するように構成されて、前記高次位置は、前記第１画像の前記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きい。
オプションとして、前記第２決定モジュールは、具体的に、前記高次位置に位置する画素で構成された形状と前記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定し、前記第１類似度閾値より大きいと、前記回折現象を満たす前記画像領域が存在すると決定するように構成される。
オプションとして、前記第１画像は、Ｋ（Ｋは２より大きいか等しい）次の前記高次位置を含み、第Ｋ次の前記高次位置の画素の輝度は、第Ｋ－１次の前記高次位置の画素の輝度と等しいか、前記Ｋ値との逆相関を有し、
オプションに、前記画像処理装置は、さらに、
具体的に、前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定するように構成される第３決定モジュールを備え、
前記調整モジュールは、具体的に、前記回折領域に分散現象が存在すると、前記回折領域の輝度及び彩度を低下させることにより、前記第２画像を取得するように構成される。

オプションとして、前記第３決定モジュールは、具体的に、前記回折領域内の画素の色と前記回折領域外の画素の色との間の色差値を取得し、前記色差値がプリセットされた色閾値より大きいと、前記回折領域に前記分散現象が存在すると決定するように構成される。

オプションとして、前記調整モジュールは、具体的に、前記回折領域内の各画素点の輝度値に基づき、前記輝度値との正相関関係に基づいて、調整される輝度値を決定し、前記回折領域内の各画素点の輝度値から前記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する前記第２画像を取得するように構成される。

オプションとして、前記調整モジュールは、具体的に、逆Ｇａｍｍａ関数に従って前記回折領域の輝度を低下させることにより、輝度調整後の前記第２画像を取得するように構成される。

オプションとして、前記調整モジュールは、具体的に、前記回折領域を含む第１画像をプリセットされた画質補償モデルに入力することにより、輝度調整後の前記第２画像を取得するように構成され、前記プリセットされた画質補償モ償モデルが、ニューラルネットワーク手段にてトレーニングすることにより取得されたものである。

オプションとして、前記第１決定モジュールは、具体的に、前記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、異なる領域を分割し、前記領域内の画素点間の輝度差がいずれもプリセットされた差の範囲内にあり、分割された前記領域において、領域の平均輝度値が最も大きい領域を前記ハイライト領域として取得するように構成される。
本開示の実施例の第３態様によれば、端末を提供し、前記端末は、上記の第２態様における画像処理装置を備える。
本開示の実施例の第４態様によれば、記憶媒体を提供し、前記記憶媒体は、前記記憶媒体の命令がコンピュータのプロセッサによって実行されるときに、コンピュータが上記の第１態様に記載の画像処理方法を実行できるように構成される。
例えば、本願は以下の項目を提供する。
（項目１）
第１画像における画素の輝度に基づいて、含まれた画素の輝度がその周辺における画素の輝度より大きいハイライト領域を決定することと、
上記ハイライト領域に基づいて、上記第１画像における上記ハイライト領域の周辺に分布される回折領域を決定することと、
上記回折領域の輝度を低下させることにより、第２画像を取得することと、を含むことを特徴とする、
画像処理方法。
（項目２）
上記ハイライト領域に基づいて、上記第１画像における回折領域を決定することは、
上記第１画像における画素の輝度のライトフィールドの分布を決定することと、
上記ライトフィールドの分布に基づいて、上記第１画像における上記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することと、
上記回折現象を満たす画像領域が存在すると、上記画像領域が上記回折領域であると決定することと、を含むことを特徴とする、
上記項目に記載の画像処理方法。
（項目３）
上記ライトフィールドの分布に基づいて、上記第１画像における上記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することは、
上記ライトフィールドの分布及び上記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定することと、
上記高次位置が存在すると、上記回折現象を満たす上記画像領域が存在すると決定することと、を含み、
上記高次位置は、上記第１画像の上記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、上記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きくされるように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目４）
上記高次位置が存在すると、上記回折現象を満たす上記画像領域が存在すると決定することは、
上記高次位置に位置する画素で構成された形状と上記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定することと、
上記第１類似度閾値より大きいと、上記回折現象を満たす上記画像領域が存在すると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目５）
上記第１画像において、Ｋ（ただし、Ｋ≧２）次の上記高次位置を含み、
第Ｋ次の上記高次位置の画素の輝度は、第Ｋ－１次の上記高次位置の画素の輝度と等しいか、上記Ｋ値との逆相関を有することを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目６）
上記画像処理方法は、さらに、
上記回折領域内の画素と上記回折領域外の画素との間の色彩の違いの程度に基づいて、上記回折領域に分散現象が存在するか否かを決定することを含み、
上記回折領域の輝度を低下させることにより、第２画像を取得することは、
上記回折領域に分散現象が存在すると、上記回折領域の輝度及び彩度を低下させることにより、上記第２画像を取得することを含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目７）
上記回折領域内の画素と上記回折領域外の画素との間の色彩の違いの程度に基づいて、上記回折領域に分散現象が存在するか否かを決定することは、
上記回折領域内の画素の色と上記回折領域外の画素の色との間の色差値を取得することと、
上記色差値がプリセットされた色閾値より大きいと、上記回折領域に上記分散現象が存在すると決定することとを含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目８）
上記回折領域の輝度を低下させることにより、第２画像を取得することは、
上記回折領域内の各画素点の輝度値に基づき、上記輝度値との正相関関係に基づいて、調整される輝度値を決定することと、
上記回折領域内の各画素点の輝度値から上記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する上記第２画像を取得することと、を含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目９）
上記回折領域の輝度を低下させることにより、第２画像を取得することは、
逆Ｇａｍｍａ関数に従って上記回折領域の輝度を低下させることにより、輝度調整後の上記第２画像を取得することを含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目１０）
上記回折領域の輝度を低下させることにより、第２画像を取得することは、
プリセットされた、ニューラルネットワーク手段にてトレーニングすることにより取得された画質補償モデルに、上記回折領域を含む第１画像を入力することにより、輝度調整後の上記第２画像を取得することを含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目１１）
上記第１画像における画素の輝度に基づいて、ハイライト領域を決定することは、
上記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、画素点間の輝度差がいずれもプリセットされた差の範囲内にある、異なる領域を分割することと、
分割された上記領域において、領域の平均輝度値が最も大きい領域を上記ハイライト領域として取得することとを含むことを特徴とする、
上記項目のいずれか一項に記載の画像処理方法。
（項目１２）
第１画像における画素の輝度に基づいて、含まれた画素の輝度がその周辺における画素の輝度より大きいハイライト領域を決定するように構成される第１決定モジュールと、
上記ハイライト領域に基づいて、上記第１画像における上記ハイライト領域の周辺に分布される回折領域を決定するように構成される第２決定モジュールと、
上記回折領域の輝度を低下させることにより、第２画像を取得するように構成される調整モジュールと、を備えることを特徴とする、
画像処理装置。
（項目１３）
上記第２決定モジュールにおいて、具体的に、
上記第１画像における画素の輝度のライトフィールドの分布を決定し、上記ライトフィールドの分布に基づいて、上記第１画像における上記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定し、上記回折現象を満たす画像領域が存在すると、上記画像領域が上記回折領域であると決定するように構成されることを特徴とする、
上記項目に記載の画像処理装置。
（項目１４）
上記第２決定モジュールにおいて、具体的に、
上記ライトフィールドの分布及び上記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定して、上記高次位置が存在すると、上記回折現象を満たす上記画像領域が存在するように構成されて、
上記高次位置は、上記第１画像の上記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、上記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きくされるように構成されることを特徴とする
上記項目のいずれか一項に記載の画像処理装置。
（項目１５）
上記第２決定モジュールにおいて、具体的に、
上記高次位置に位置する画素で構成された形状と上記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定し、上記第１類似度閾値より大きいと、上記回折現象を満たす上記画像領域が存在すると決定するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目１６）
上記第１画像において、Ｋ（ただし、Ｋ≧２）次の上記高次位置を含み、
第Ｋ次の上記高次位置の画素の輝度は、第Ｋ－１次の上記高次位置の画素の輝度と等しいか、上記Ｋ値との逆相関を有することを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目１７）
上記画像処理装置は、さらに、
具体的に、上記回折領域内の画素と上記回折領域外の画素との間の色彩の違いの程度に基づいて、上記回折領域に分散現象が存在するか否かを決定するように構成される第３決定モジュールを備え、
上記調整モジュールにおいて、具体的に、
上記回折領域に分散現象が存在すると、上記回折領域の輝度及び彩度を低下させることにより、上記第２画像を取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目１８）
上記第３決定モジュールにおいて、具体的に、
上記回折領域内の画素の色と上記回折領域外の画素の色との間の色差値を取得し、上記色差値がプリセットされた色閾値より大きいと、上記回折領域に上記分散現象が存在すると決定するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目１９）
上記調整モジュールにおいて、具体的に、
上記回折領域内の各画素点の輝度値に基づき、上記輝度値との正相関関係に基づいて、調整される輝度値を決定し、上記回折領域内の各画素点の輝度値から上記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する上記第２画像を取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目２０）
上記調整モジュールにおいて、具体的に、
逆Ｇａｍｍａ関数に従って上記回折領域の輝度を低下させることにより、輝度調整後の上記第２画像を取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目２１）
上記調整モジュールにおいて、具体的に、
プリセットされた、ニューラルネットワーク手段にてトレーニングすることにより取得された画質補償モデルに、上記回折領域を含む第１画像を入力することにより、輝度調整後の上記第２画像を取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目２２）
上記第１決定モジュールにおいて、具体的に、
上記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、画素点間の輝度差がいずれもプリセットされた差の範囲内にある、異なる領域を分割し、分割された上記領域において、領域の平均輝度値が最も大きい領域を上記ハイライト領域として取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像処理装置。
（項目２３）
上記項目のいずれか一項に記載の画像処理装置を備えることを特徴とする、
端末。
（項目２４）
上記記憶媒体における命令がコンピュータのプロセッサによって実行されるときに、コンピュータが上記項目のいずれか一項に記載の画像処理方法を実行できるように構成されることを特徴とする、
非一時的なコンピュータ読み取り可能な記憶媒体。
（摘要）
本発明は、画像処理方法及び装置、端末並びに記憶媒体に関するものである。当該方法は、第１画像における画素の輝度に基づいて、含まれた画素の輝度がその周辺における画素の輝度より大きいハイライト領域を決定することと、前記ハイライト領域に基づいて、前記第１画像における前記ハイライト領域の周辺に分布される回折領域を決定することと、前記回折領域の輝度を低下させることにより、第２画像を取得することとを含む。当該方法によれば、回折領域の輝度を低下させた後、回折によるオーバーラップ映像が低減され、画像がよりリアルになる。

本開示の実施例による技術的解決策は、以下の有利な効果を含み得る。

本開示は、先ず、第１画像におけるハイライト領域を決定し、次に、ハイライト領域に基づいて回折領域を決定し、回折領域の輝度を低下させることにより第２画像を取得する。複数組の露光値による画像を合成して回折現象を低減する手段と比べると、一方では、シングルフレームの画像に基づき輝度を低下させることにより、回折によるオーバーラップ映像を低減する手段は、シングルフレームの画像のみに基づいて処理するため、他の異なる露光で取得された画像の影響を受けることがないため、回折によって形成されたオーバーラップ映像を低減する時の効果がより安定になり、他方では、露光値を調整してマルチフレームの画像を撮影する必要がないため、頻繁に撮影することによる移動端末の消費電力を削減することができ、さらに、複数組の露光値による画像を合成する時にゴーストなどが生成するという逆効果を回避することができる。

上記した一般的な説明および後述する詳細な説明は、あくまでも、単なる例示および説明に過ぎず、本開示を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、本発明と一致する実施例を示し、明細書とともに本発明の原理を説明するために使用される。
本開示の実施例によって示された画像処理方法のフローチャートである。 本開示の実施例における画像の第１の模式図である。 本開示の実施例における画像の第２の模式図である。 本開示の実施例における回折画像の第３の模式図である。 本開示の実施例における回折画像の第４の模式図である。 本開示の実施例における回折画像の第５の模式図である。 本開示の実施例における回折領域の輝度を低減することの模式図である。 本発明の実施例における露光画像の模式図である。 回折現象に対応する光強度分布のグラフである。 本発明の実施例における、回折領域に分散現象が存在することの模式図である。 本発明の実施例における、回折領域におけるエッジ部分のカラーの彩度を低減することの模式図である。 逆Ｇａｍｍａ関数のグラフの模式図である。 一例示的な実施例によって示された画像処理装置の模式図である。 本発明の実施例によって示された端末のブロック図である。

ここで、例示的な実施例について詳細に説明し、その例は図面に示す。以下の説明が添付の図面に関する場合、特に明記しない限り、異なる図面の同じ数字は、同様または類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本発明と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されたように、本発明のいくつの態様と一致する装置および方法の例である。

図１は、本開示の実施例によって示された画像処理方法のフローチャートであり、図１に示すように、画像処理方法は、次のステップを含む。

ステップＳ１１において、第１画像における画素の輝度に基づいて、ハイライト領域を決定し、ここで、前記ハイライト領域に含まれた画素の輝度が、前記ハイライト領域の周辺における画素の輝度より大きい。

ステップＳ１２において、前記ハイライト領域に基づいて、前記第１画像における回折領域を決定し、前記回折領域が、前記ハイライト領域の周辺に分布される画像領域である。

ステップＳ１３において、前記回折領域の輝度を低下させることにより、第２画像を取得する。

本開示の画像処理方法は、移動端末に適用されてもよく、サーバに適用されてもよい。サーバに適用される場合、移動端末は、収集した第１画像をサーバに送信して、サーバは、ステップＳ１１～Ｓ１３により第１画像を処理して第２画像を取得した後、移動端末に表示するように、第２画像を移動端末に送信することができる。
画像処理方法が移動端末に適用されることを例とすると、移動端末は、携帯電話、タブレットコンピュータ、カメラまたはスマートウェアラブルデバイスなどを含む。移動端末は、例えば、画像収集を実行できる携帯電話におけるフロントウェブカメラまたはリアウェブカメラのような画像収集部を含む。

図２ａは、本開示の実施例における画像の第１の模式図であり、図２ｂは、本開示の実施例における画像の第２の模式図である。図２ａに示す画像は、ディスプレイスクリーン又はガラスなどの障害物の影響を受けずに取得された画像であり、図２ｂは、ディスプレイスクリーンまたはガラスなどの障害物の影響を受けて取得された画像である。図２ａと図２ｂを比べると、図２ａに示す画像の精細度及びコントラストが図２ｂよりも優れていることが分かる。

上記の画質が低下する現象は、特に、照明光源や太陽光など比較的輝度の大きい被写体を撮影する時に顕著になる。

図３は、本開示の実施例における回折画像の第３の模式図であり、図４は、本開示の実施例における回折画像の第４の模式図である。図３及び図４に示すように、ディスプレイスクリーンの影響により、照明光源を撮像する場合、ディスプレイスクリーンの影響により、回折によって生成されたオーバーラップ映像が光源の近くに現れ、画像が非現実的になる。

これらについて、本開示は、画像における輝度の大きい領域（ハイライト領域）を検出し、ハイライト領域の近くで、画像回折によって生成されたオーバーラップ領域を見つけて補償することにより、回折によって生成されたオーバーラップ映像を除去してよりリアルな画像を取得する。
本開示の実施例において、第１画像における画素の輝度に基づいて、ハイライト領域を決定し、ハイライト領域に含まれる画素の輝度は、ハイライト領域の周辺における画素の輝度より大きく、ここで、ハイライト領域に含まれる画素の輝度がハイライト領域の周辺における画素の輝度より大きいこととは、ハイライト領域の輝度とハイライト領域の周辺における画素の輝度との間の差分値が所定値より大きいことであってもよく、ハイライト領域の輝度の平均値がハイライト領域の周辺における画素の平均値より高いことであってもよい。

一実施例において、ステップＳ１１において、当該ハイライト領域は、画像内で輝度が最も大きい連続領域であり得、ハイライト領域に含まれる画素の輝度がいずれもハイライト領域の周辺における画素の輝度より高い。

別の実施例において、ステップＳ１１において、当該ハイライト領域は、画像画素の輝度が急激に変化する画像における複数の領域のうち、輝度の高い１つまたは複数の領域であり得る。例えば、画像収集中に収集される空間内に離散的に分布した複数のライトがついている場合、画像にはライトに対応するハイライト領域が複数形成される。

一形態において、通常光源などの明るい物体を撮影する時、明るい被写体が撮像された画像の各画素の値は収集ビット幅の彩度になる傾向があるため、彩度に近い閾値を事前設定してハイライト領域を決定することができる。例えば、画像の収集ビット幅が８ビットである場合、画素値の範囲は０～２５５であり、ここで、２５５は彩度である。この場合、閾値を２３０に設定し、閾値２３０を超えた画素をハイライト領域に属する画素として決定する。

別の形態において、前記第１画像における画素の輝度に基づいて、ハイライト領域を決定することは、
前記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、異なる領域を分割することであって、前記領域内の画素点間の輝度差は、いずれも、プリセットされた差の範囲内にあることと、
分割された前記領域において、領域の平均輝度値が最も大きい領域を前記ハイライト領域として取得することとを含む。

当該実施例において、画像処理装置は、第１画像における各画素点の輝度値をクラスタリングし、輝度が類似する（即ち、輝度差は、プリセットされた差の範囲内にある）画素を１つのカテゴリにクラスタリングすることにより、異なる領域を分割する。分割された異なる輝度領域について、領域の平均輝度値を統計し、最も大きい平均輝度値を有する領域をハイライト領域として使用することができる。

領域内の輝度差がプリセットされた差の範囲内にあるため、領域の平均輝度値が最も大きい領域をハイライト領域として使用する場合、当該ハイライト領域に含まれた画素の輝度もハイライト領域の周辺における画素の輝度より大きいことを理解することができる。ハイライト領域を決定するための閾値に基づく方法と比べると、クラスタリング手段がより普遍的である。

ステップＳ１２において、画像処理装置は、ハイライト領域に基づいて、第１画像においてハイライト領域の周辺に分布される回折領域を決定する。回折とは、光が伝播中に障害物に遭遇して元の直線から外れて伝播され、光強度分布を形成する物理現象である。回折によって形成された回折領域は、明暗（即ち、輝度が不均一である）を有する各サブ領域を含み、且つハイライト領域の形状に類似するサブ領域が存在する場合がある。

図３を例にとると、Ｌ１で識別される領域は全てハイライト領域であり、ハイライト領域はリング状であり、ハイライト領域の近くに輝度が不均一な回折領域があり、当該回折領域は、リング状に似た形状のサブ領域を含む。

図４を例にとると、Ｌ２で識別される領域はハイライト領域であり、ハイライト領域の両側にも輝度が不均一な回折領域があり、且つ回折領域は、長方形に似た形状のサブ領域を含む。

回折現象は照明光源または太陽などの輝度の大きい被写体を撮影する時に顕著になるため、撮影された第１画像では、回折領域の輝度が背景領域の輝度より大きい場合があることに留意されたい。ここで、背景領域とは、第１画像において、回折領域及びハイライト領域を除く領域を指す。これらについて、本発明は、ステップＳ１３において回折領域の輝度を低下させることにより、第２画像を取得する。回折領域の輝度を低減することにより、即ち、回折によって生成されたオーバーラップ映像による影響を低減することにより、よりリアルな画像を取得できることを理解することができる。

回折領域の輝度を低減する場合、背景領域の輝度に基づき回折領域の輝度の調整値を決定して、回折領域の輝度が背景と一致する傾向を有するようにすることができ、フィッティング関数にて回折領域の輝度を低減することもでき、本発明の実施例は、これらに対して限定しない。

図５ａは、本開示の実施例における回折画像の模式図であり、図５ｂは、本開示の実施例における、回折領域の輝度を低減することの模式図である。図５ａに示すように、Ｂに示される縦方向の領域は、ハイライト領域及び回折領域を含む部分であり、図５ａから分かるように、ハイライト領域の周辺の回折領域の輝度が背景領域よりも大きい。図５ｂに示すように、回折領域の輝度を低下させた後、回折によって生成されたオーバーラップ映像が低減され、画像がよりリアルになる。

一形態において、回折による非現実的な現象を低減するために、ハイダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ－Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を使用する手段により、通常の露光で取得された画像と、露光を低下させた時に取得された１セット又は複数のセットの画像を合成して回折によって生成されたオーバーラップ映像を低減することができる。

図６は、本開示の実施例における露光画像の模式図であり、図６の左側の画像は通常の露光で取得された画像であり、右側の画像は、露光値が通常の露光より低い時に取得された画像である。図６に示すように、通常の露光の画像には回折によって生成されたオーバーラップ映像が存在し、右側の低い露光値に対応する画像では回折によって生成されたオーバーラップ映像が目立たないため、当該２つの画像を合成することにより、回折によって生成されたオーバーラップ映像現象を低減することができ、それにより、合成後の画像はよりリアルになる。

しかしながら、上記のＨＤＲを使用する方式では、露光値を制御し難いため、調整された露光値が低すぎると、元の明るい領域の合成に影響を及ぼす可能性があり、調整された露光値が足りない場合、低い露光で取得された画像に依然として回折によって生成されたオーバーラップ映像が存在する可能性があるため、合成する時、回折によって生成されたオーバーラップ映像を削除することができないという問題がある。

上記の方式と比べると、本発明の、先ず、第１画像におけるハイライト領域を決定し、次に、ハイライト領域に基づいて回折領域を決定し、回折領域の輝度を低下させて輝度調整後の第２画像を低減する方式は、一方では、露光値を調整することなくマルチフレームの画像を撮影するため、頻繁に撮影することによる移動端末の消費電力を削減することができ、他方では、シングルフレームの画像に基づき輝度を低下させて回折によるオーバーラップ映像を低減し、他の異なる露光で取得された画像の影響を受ける必要がないため、回折によって生成されたオーバーラップ映像を低減する効果がより良くなる。

一実施例において、ステップＳ１２は、
前記第１画像における画素の輝度のライトフィールドの分布を決定することと、
前記ライトフィールドの分布に基づいて、前記第１画像の前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することと、
前記回折現象を満たす画像領域が存在すると、前記画像領域が前記回折領域であると決定することとを含む。

上記のように、回折とは、光が伝播中に障害物に遭遇して元の伝播経路から外れることにより形成された光強度分布現象である。図７は、回折現象に対応する光強度分布のグラフであり、図７に示すように、横軸は、外側に拡張する光源の範囲を表し、縦軸は、対応する拡張範囲での光強度と光源の光強度の比を表す。

図７から分かるように、光源の光強度は最も大きく、光源を中心に、光源から離れた部分範囲内の光強度は正規分布している。図７に示すＫ１のように、正規分布の境界で、光源から離れる方向で、光強度は、再び徐々に増加し始め、最大値に増加した後、光強度は再び徐々に低減し始め、正規分布に似た新しい現象を示す。図７から分かるように、当該正規分布現象が繰り返し発生し、光源から離れるほど、正規分布のピーク値は小さくなり、光強度分布グラフには、さらに、正規分布Ｋ２がある。もちろん、他のピーク値が徐々に低減する他の正規分布現象もあり得るが、図７には示されていない。上記の光強度分布の変化傾向は、即ち、回折領域内に明暗サブ領域が存在する現象である。

図７に示す光強度分布グラフは、点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）に対応するグラフである。画像の輝度は光強度の具現であるため、第１画像における各画素の輝度とＰＳＦモデルをフィッティングして、第１画像における画素の輝度のライトフィールドの分布を決定することができる。回折がある場合、第１画像における各画素の輝度のライトフィールドの分布は、図７の光強度分布グラフに類似していることを理解することができる。

当該実施例において、第１画像における各画素のライトフィールドの分布に基づいて、第１画像におけるハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定する。なお、回折現象は、回折実験に基づいて、回折時の光強度分布をフィッティングして、図７の光強度分布グラフに存在する、繰り返し発生する正規分布（Ｋ１及びＫ２部分など）現象によって決定された画像モードを得ることができ、当該画像モードには、明暗領域が存在し、即ち回折領域には、明暗サブ領域が存在する。

したがって、本開示の実施例において、回折現象が存在する場合、第１画像には明暗パターンがあり、この場合、明暗パターンを含む画像領域を回折領域として決定する。

一実施例において、前記ライトフィールドの分布に基づいて、前記第１画像の前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することは、
前記ライトフィールドの分布及び前記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定することであって、前記高次位置が、前記第１画像の前記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きいことと、
前記高次位置が存在すると、前記回折現象を満たす前記画像領域があると決定することとを含む。

本開示の実施例において、回折現象の輝度特性は、実験に従って決定することができる。例えば、回折実験に従って取得された図７に示す光強度分布グラフでは、Ｋ１で識別される正規分布は１次位置であり、Ｋ２で識別される正規分布は２次位置であり、２次位置に対応する光強度値は、１次位置に対応する光強度値より小さい。当該１次位置及び２次位置は、両方とも回折により、部分領域の輝度が実際の輝度より高くなる位置であり、１次位置の画素の輝度は、１次位置の周辺の部分領域の画素の輝度より高く、２次位置の画素の輝度も２次位置の周辺の部分領域の画素の輝度より高いことに留意されたい。本開示の実施例では、１次位置及び２次位置は、両方とも高次位置に属する。高次位置があり、及び高次位置の画素の輝度は、光源の輝度と一定の比例関係を持つことができ、高次位置の画素の輝度は、周辺の部分領域の画素の輝度より高く、次数の増加に伴い、高次位置の画素の輝度は低下し、上記の特徴は全て回折現象の輝度特性に属する。

本開示では、高次位置は１次位置及び２次位置に限定されないことに留意されたい。例えば、光源輝度が十分に強い場合、３次位置、４次位置などの２次より高い次数を有する高次位置を含むこともでき、ここで、３次位置の輝度は２次位置の輝度より低く、４次位置の輝度は３次位置の輝度より低い。なお、回折現象が存在する場合、少なくとも１次位置が存在する。

上記の回折現象の輝度特性に基づいて、本開示は、第１画像のライトフィールドの分布及び回折現象の輝度特性に従って高次位置が存在するか否かを決定することができる。具体的に、第１画像における各画素の輝度のライトフィールドの分布に基づいて、図７のようなの光強度分布グラフに含まれた高次位置が存在するか否かを決定する。当該高次位置は、第１画像のハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度は第２部分領域の画素の輝度より大きい。

当該実施例において、ハイライト領域以外の領域は、第１部分領域及び第２部分領域を含む。第１部分領域と第２部分領域の画素の輝度の差が第１閾値より大きい場合、画素の輝度の大きい第１領域の画素の所在位置を高次位置として決定する。ここで、第１部分領域及び第２部分領域は、隣接する領域である。

本開示の実施例において、クラスタリングアルゴリズムを使用して、ハイライト領域以外の領域の各画素の輝度に対して輝度クラスタリングを実行して、異なる輝度の部分領域を決定し、隣接する部分領域の輝度間の差分値が第１閾値より大きいか否かを比較して、高次位置を決定することができることに留意されたい。

一実施例において、第１画像は、１つの前記高次位置を含み、例えば、画像処理装置は、ライトフィールドの分布において、図７のＫ１で識別された１次位置のようなものが存在するか否かを決定する。

別の実施例において、第１画像は、Ｋ次の前記高次位置を含み、ここで、前記Ｋは２より大きいか等しく、第Ｋ次の前記高次位置の画素の輝度は、第Ｋ－１次の前記高次位置の画素の輝度と等しいか、前記Ｋ値との逆相関を有する。例えば、２つの次数を有する高次位置が存在する場合、画像処理装置は、ライトフィールドの分布において、Ｋ１で識別された１次位置及びＫ２で識別された２次位置のようなものが存在するか否かを決定し、ここで、１次位置の画素の輝度は、２次位置の画素の輝度より大きい。さらに例えば、３つの高次位置が存在する場合、画像処理装置はまた、図７で識別されていない３次位置が存在するか否かを決定し、ここで、３次位置の画素の輝度は、２次位置の画素の輝度より小さい。

さらに、本開示の実施例において、異なる次数を有する高次位置を決定する場合、第１閾値は可変であり、例えば、第１閾値は、Ｋ値と逆相関を有することができることに留意されたい。

一実施例において、前記高次位置が存在すると、前記回折現象を満たす前記画像領域があると決定することは、
前記高次位置に位置する画素で構成された形状と前記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定することと、
前記第１類似度閾値より大きいと、前記回折現象を満たす前記画像領域が存在すると決定することとを含む。

回折が発生する時、ハイライト領域の形状に類似するサブ領域が回折領域に存在する場合がある。当該サブ領域は、高次位置の１次位置又は２次位置の画素で構成された領域に対応する。したがって、当該実施例において、高次位置の画素で構成された形状とハイライト領域の形状との類似度が第１類似度閾値より大きいか否かをさらに決定する必要がある。第１類似度閾値より大きい場合、回折現象を満たす画像領域が存在すると決定する。

なお、高次位置が１次位置を含む場合、１次位置の画素で構成された形状とハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定し、高次位置が１次位置及び２次位置を含む場合、１次位置及び２次位置の画素で構成された形状とハイライト領域の形状との類似度が第１類似度閾値より大きいか否かをそれぞれ決定する必要がある。

図４を例にとると、図４のＡ１は１次位置であり、Ａ１の画素の輝度は、ハイライト領域Ｌ２に含まれる画素の輝度に次ぐものであり、Ａ１の形状は長方形であり、図４のＡ２は２次位置であり、Ａ２の画素の輝度はＡ１の画素の輝度より小さく、Ａ２の形状も長方形である。

なお、第１画像において、ハイライト領域、１次位置及び２次位置の画素で構成された形状を決定する場合、ｃａｎｎｙ演算子、ｓｏｂｅｌ演算子など、エッジ検出演算子を使用して輪郭を決定することができる。決定された輪郭に基づいて、１次位置に対応する輪郭特徴及び２次位置に対応する輪郭特徴と、ハイライト領域の輪郭特徴との類似度をそれぞれ比較することができる。ここで、輪郭特徴は、輪郭の曲率、輪郭の長さ及び直径の類似度などであってもよく、本開示は、形状の類似度をどのように決定するかに対して特に限定しない。

本開示の実施例において、回折領域が存在するか否かを決定場合、回折現象が発生する時の輝度特性に基づいて、高次位置が存在するか否かを決定することだけでなく、高次位置とハイライト領域の形状の類似度が条件を満たすか否かに基づいて、回折領域が存在するか否かも決定するため、回折領域の決定精度を向上させることができることを理解することができる。

一実施例において、前記画像処理方法は、
前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定することをさらに含み、
前記回折領域の輝度を低下させることにより、第２画像を取得することは、
前記回折領域に分散現象が存在すると、前記回折領域の輝度及び彩度を低下させることにより、前記第２画像を取得することを含む。第２画像分散現象を得ることは、多色光が複数の単色光に分解される現象を指す。例えば、白色光は、異なる波長の光によって合成され、白色光が媒体（三角柱など）を通過するとき、７つの色に分散された単色光を見つけ、これは、分散現象に属する。分散現象が発生すると、画像の色が変化することを理解することができる。

回折領域の分散現象は、分散がない場合、回折領域内のエッジの画素の色彩が背景部分と一致するため、偶にエッジ領域で発生することがある。ここで、背景部分とは、ハイライト領域及び回折領域以外の部分を指す。分散が発生すると、回折領域内のエッジの画素の色彩は背景部分と異なる。本開示の実施例において、回折領域内のエッジの画素と回折領域外の画素との間の色彩の違いの程度は、次の態様に具現される。１、回折領域内のエッジの画素のカラーモードが回折領域外の画素のカラーモードと一致するか否か。例えば、回折領域外の画素は単色であり、回折領域内のエッジの画素は様々な色を有すると、カラーモードが異なると見なされ、カラーモードが異なると分散がある可能性がある。２、回折領域内のエッジの画素のカラーの彩度と回折領域外の画素のカラーの彩度に違いがあるか否か。

これらについて、本開示は、回折領域内の画素と回折領域外の画素との間の色彩の違いの程度に基づいて、回折領域に分散現象が存在するか否かを決定する。当該実施例において、回折領域に分散現象が存在する場合、分散現象を低減するために、分散現象のある回折領域の彩度を低減する。

図８ａは、本開示の実施例における、回折領域に分散現象が存在することの模式図であり、図８ｂは、本開示の実施例における、回折領域内のエッジ部分のカラーの彩度を低減することの模式図である。図８ａに示すように、照明光源の周辺に回折領域があり、且つ白色光の照明光源が回折された後、回折領域は複数の色成分を含み、即ち、回折領域に分散現象が存在する。図８ｂに示すように、分散現象のある回折領域のカラーの彩度を低下させた後、回折領域のエッジの色彩は背景部分の色彩になる傾向がある。

当該実施例において、回折領域に分散が存在する場合、回折領域の輝度を低減するだけでなく、分散現象を有する回折領域のエッジの彩度を低下させて第２画像を取得する。この手段により、回折領域の輝度を低下させて回折によって生成されたオーバーラップ映像を低減することができるだけでなく、分散による偽色彩の問題を軽減することもできるため、よりリアルな画像を取得することができることを理解することができる。

一実施例において、前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定することは、
前記回折領域内の分散現象がある画素の色と前記回折領域外の画素の色との間の色差値を取得することと、
前記色差値がプリセットされた色閾値より大きいと、前記回折領域に前記分散現象が存在すると決定することとを含む。
当該実施例において、回折領域内の画素と回折領域外の画素との間の色彩の違いの程度に基づいて、回折領域に分散現象が存在するか否かを決定する時、色差値及びプリセットされた色閾値に基づいて判断することができる。

色差値を決定する時、ＲＧＢ色空間での各画素の色成分：赤画素（Ｒ）、緑画素（Ｇ）及び青画素（Ｂ）など、回折領域内の画素及び回折領域外の画素の色情報に基づいて、Ｒ成分の平均値、Ｇ成分の平均値及びＢ成分の平均値をそれぞれ決定し、分散現象を有する回折領域内の画素の色成分の平均値と回折領域外の画素の対応する色成分の平均値とを減算する。同時に、プリセットされた各色成分に対する色閾値に基づいて、各色成分の平均値間の差分値が対応するプリセットされた色閾値より大きいと決定した場合、分散現象が回折領域に存在すると決定する。

ＲＧＢ空間では、各色成分の値は全て輝度と密接に関連しているため、輝度が変化する限り、各色成分の値もそれに応じて変化する。したがって、ＲＧＢ空間は、色関連情報をよりダイレクトに反映することができない可能性がある。これらについて、本開示は、ＲＧＢ空間に属する第１画像をＨＳＶ／ＨＳＬ空間に変換し、ＨＳＶ／ＨＳＬ空間で分散現象を有する回折領域内の画素の色と回折領域外の画素の色との色差値を取得することができる。

ＨＳＶ／ＨＳＬ空間では、色調（Ｈ）は色相を反映し、彩度（Ｓ）は、色相空間の色の彩度を反映し、Ｈ及びＳは両方とも色を反映する情報であるため、色空間変換度のＨ及びＳの情報に従って色差値を決定することができ、これにより、色差の決定精度を向上させる。

ＨＳＶ／ＨＳＬ空間では、例えば、回折領域内の画素と回折領域外の画素のＨ成分の平均値、Ｓ成分の平均値をそれぞれ統計し、平均値間の差及び対応する成分のプリセットされた色閾値に基づいて、各成分の平均値間の差値が対応するプリセットされた色閾値より大きいと決定した場合、分散現象が回折領域に存在すると決定することができる。

一実施例において、ステップＳ１３は、
前記回折領域内の各画素点の輝度値に基づき、前記輝度値との正相関関係に基づいて、調整される輝度値を決定することと、
前記回折領域内の各画素点の輝度値から前記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する前記第２画像を取得することとを含む。

当該実施例において、回折領域の輝度を低下させることにより、輝度調整後の第２画像を取得する時、回折領域内の各画素点の輝度値に基づき、輝度値との正相関関係に基づいて、調整される輝度値を決定する。ここで、正相関とは、回折領域内の画素点の輝度値が大きいほど、決定された調整される輝度値が大きい。

上記のように、第１画像における各画素の輝度のライトフィールドの分布は、図７の光強度分布グラフに類似し、回折領域は、Ｋ１及びＫ２を含む正規分布部分を含む。Ｋ１を例にとると、調整される輝度値を決定する時、ピーク値の調整される値が最も大きいと設定することができ、ピーク値の周辺の画素点に対応する調整される値は比較的小さいため、Ｋ１部分の調整される値は、逆正規分布に類似するグラフで示される。上記の方式に基づいて、調整される値を決定した後、Ｋ１部分の各画素点の輝度値から当該部分に対応する調整される値を差し引くことで、Ｋ１部分を直線に近づけることができる。同様に、ｋ２部分についても同様に調整される値を決定し、Ｋ２部分の各画素点の輝度値を使用して当該部分に対応する調整される値を差し引くことで、正規分布を有するＫ２部分のグラフも直線に近づけるように変化する。

回折領域内の各画素点の輝度値から各画素点に対応する調整される輝度値を差し引いた後、図７のＫ１及びＫ２と同様の正規分布現象がなくなり、全体の輝度がガウス分布（即ち、正規分布）を有するグラフが示されることを理解することができる。即ち、取得された第２画像の輝度値はガウス分布で示される。

一実施例において、ステップＳ１３は、
逆Ｇａｍｍａ関数に従って前記回折領域の輝度を低下させることにより、輝度調整後の前記第２画像を取得することを含む。

本開示の実施例において、逆Ｇａｍｍａ関数に従って回折領域の輝度を低減することもできる。図９は、逆Ｇａｍｍａ関数のグラフの模式図であり、図９に示す逆Ｇａｍｍａ関数グラフに基づき、第１画像の基で逆Ｇａｍｍａ関数を使用して輝度を低減する時に、図７に示す回折領域に属するＫ１及びＫ２の輝度の一部は低減し、Ｋ１及びＫ２の光源部分はそのままで維持することを理解することができる。したがって、当該方法によって取得された輝度調整後の第２画像も、回折によって生成されたオーバーラップ映像をある程度低減することができ、第２画像が第１画像よりもリアルになる。

一実施例において、ステップＳ１３は、
前記回折領域を含む第１画像をプリセットされた画質補償モデルに入力することにより、輝度調整後の前記第２画像を取得することを含み、ここで、前記プリセットされた画質補償モ償モデルは、ニューラルネットワーク方式を用いてトレーニングすることにより取得されたものである。

本開示の実施例において、プリセットされた画質補償モデルを介して第１画像の画質を補償することもでき、当該画質補償モデルは、画像の画質を改善するために入力画像の輝度を調整するため、第１画像を当該モデルに入力した後、輝度調整後の第２画像を取得することができる。

当該実施例において、プリセットされた画質補償モ償モデルは、ニューラルネットワーク方式を用いてトレーニングすることにより取得されたものであり、例えば、画質補償モデルは、畳み込みニューラルネットワーク又は深層ニューラルネットワークを介して、大量のサンプル画像をトレーニングすることにより取得されたモデルである。具体的に、サンプル画像は、端末が出荷する前に、同じ目標対象に対して画像収集を実行することによりそれぞれ取得した、回折現象を含む実際の画像及び回折現象を含まないベンチマーク画像であり得る。ここで、回折現象を含む実際の画像は、端末のウエブカメラの上にディスプレイスクリーンが分布されたシーンで取得したものであり、回折現象を含まないベンチマーク画像は、端末のウエブカメラの上にディスプレイスクリーンが分布されていないシーンで取得したものである。取得した回折現象を含まない実際の画像に基づき、ニューラルネットワークモデルを使用してトレーニングし、トレーニング中、損失関数を介して、実際の画像のトレーニング値とベンチマーク画像の間の画質の差を測定する。従って、誤差逆伝播にてネットワークのパラメータを不断に最適化して、トレーニングされた画質補償モデルを取得することができる。

図１０は、一例示的な実施例によって示された画像処理装置の模式図である。図１０を参照すると、当該画像処理装置は、
第１画像における画素の輝度に基づいて、ハイライト領域を決定するように構成される第１決定モジュール１０１であって、前記ハイライト領域に含まれた画素の輝度が前記ハイライト領域の周辺における画素の輝度より大きい第１決定モジュール１０１と、
前記ハイライト領域に基づいて、前記第１画像における回折領域を決定するように構成される第２決定モジュール１０２であって、前記回折領域が、前記ハイライト領域の周辺に分布される画像領域である第２決定モジュール１０２と、
前記回折領域の輝度を低下させることにより、第２画像を取得するように構成される調整モジュール１０３とを備える。

オプションとして、前記第２決定モジュール１０２は、具体的に、前記第１画像における画素の輝度のライトフィールドの分布を決定し、前記ライトフィールドの分布に基づいて、前記第１画像の前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定し、前記回折現象を満たす画像領域が存在すると、前記画像領域が前記回折領域であると決定するように構成される。

オプションとして、前記第２決定モジュール１０２は、具体的に、前記ライトフィールドの分布及び前記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定するように構成され、前記高次位置は、前記第１画像の前記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度は第２部分領域の画素の輝度より大きい。

オプションとして、前記第２決定モジュールは、具体的に、前記高次位置に位置する画素で構成された形状と前記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定し、前記第１類似度閾値より大きいと、前記回折現象を満たす前記画像領域があると決定するように構成される。

オプションとして、前記第１画像は、Ｋ（ただし、Ｋ≧２）次の前記高次位置を含み、ここで、第Ｋ次の前記高次位置の画素の輝度は、第Ｋ－１次の前記高次位置の画素の輝度と等しいか、前記Ｋ値との逆相関を有する。

オプションとして、前記画像処理装置は、さらに、
具体的に、前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定するように構成される第３決定モジュールを備え、
前記調整モジュール１０３は、具体的に、前記回折領域に分散現象が存在すると、前記回折領域の輝度及び彩度を低下させることにより、前記第２画像を取得するように構成される。

オプションとして、前記第３決定モジュール１０４は、具体的に、前記回折領域内の画素の色と前記回折領域外の画素の色との間の色差値を取得し、前記色差値がプリセットされた色閾値より大きいと、前記回折領域に前記分散現象が存在すると決定するように構成される。

オプションとして、前記調整モジュール１０３は、具体的に、前記回折領域内の各画素点の輝度値に基づき、前記輝度値との正相関関係に基づいて、調整される輝度値を決定し、前記回折領域内の各画素点の輝度値から前記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する前記第２画像を取得するように構成される。

オプションとして、前記調整モジュール１０３は、具体的に、逆Ｇａｍｍａ関数に従って前記回折領域の輝度を低下させることにより、輝度調整後の前記第２画像を取得するように構成される。

オプションとして、前記調整モジュール１０３は、具体的に、前記回折領域を含む第１画像をプリセットされた画質補償モデルに入力することにより、輝度調整後の前記第２画像を取得するように構成され、前記プリセットされた画質補償モ償モデルは、ニューラルネットワーク方式を用いてトレーニングすることにより取得されたものである。

オプションとして、前記第１決定モジュール１０１は、具体的に、前記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、異なる領域を分割し、前記領域内の画素点間の輝度差はいずれも、プリセットされた差の範囲内にあり、分割された前記領域において、領域の平均輝度値が最も大きい領域を前記ハイライト領域として取得するように構成される。

上述の実施例の装置に関して、ここで、各モジュールが動作を実行する具体的な手段は、既に、前記方法に関する実施例で詳細に説明されており、ここでは詳細に説明しない。

図１１は、一例示的な実施例によって示された端末装置８００のブロック図である。例えば、装置８００は、モバイル電話、モバイルコンピュータなどであり得る。

図１１を参照すると、装置８００は、処理ユニット８０２、メモリ８０４、電力ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサユニット８１４、及び通信ユニット８１６のうちの１つまたは複数のユニットを備えることができる。

処理ユニット８０２は、一般的に、表示、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような装置８００の全体操作を制御する。処理ユニット８０２は、上記の方法のステップのすべてまたは一部を完了するために、１つまたは複数のプロセッサ８２０を備えて命令を実行することができる。加えて、処理ユニット８０２は、処理ユニット８０２と他のユニットの間のやり取りを容易にするために、１つまたは複数のモジュールを備えることができる。例えば、処理ユニット８０２は、マルチメディアユニット８０８と処理ユニット８０２との間のやり取りを容易にするために、マルチメディアモジュールを備えることができる。

メモリ８０４は、機器８００での操作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、装置８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。第１メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。

電力ユニット８０６は、装置８００の様々なユニットに電力を供給する。電力ユニット８０６は、電力管理システム、１つまたは複数の電源、及び装置８００の電力の生成、管理および分配に関する他のユニットを備えることができる。
マルチメディアユニット８０８は、前記装置８００とユーザとの間の、出力インターフェースを提供するスクリーンを備える。一部の実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を備えることができる。スクリーンがタッチパネルを備える場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャーを感知するための１つまたは複数のタッチセンサを備える。前記タッチセンサは、タッチまたはスライドの操作の境界を感知するだけでなく、前記タッチまたはスライド動作に関連する持続時間及び圧力も検出することができる。一部の実施例において、マルチメディアユニット８０８は、１つのフロントウェブカメラおよび／またはリアウェブカメラを備える。機器８００が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントウェブカメラおよび／またはリアウェブカメラは、外部のマルチメディアデータを受信することができる。各フロントウェブカメラ及びリアウェブカメラは、固定された光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。

オーディオユニット８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオユニット８１０は、１つのマイクロフォン（ＭＩＣ）を備え、装置８００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ８０４にさらに記憶されてもよく、または通信ユニット８１６を介して送信されてもよい。一部の実施例において、オーディオユニット８１０は、さらに、オーディオ信号を出力するためのスピーカを備える。

Ｉ／Ｏインターフェース８１２は、処理ユニット８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えることができるが、これらに限定されない。

センサユニット８１４は、装置８００に各態様の状態の評価を提供するための１つまたは複数のセンサを備える。例えば、センサユニット８１４は、機器８００のオン／オフ状態と、装置８００のディスプレイやキーパッドなどのユニットの相対的な位置づけを検出することができ、センサユニット８１４は、装置８００または装置８００のユニットの位置の変化、ユーザとの装置８００の接触の有無、装置８００の向きまたは加速／減速、及び装置８００の温度の変化も検出することができる。センサユニット８１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサユニット８１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサをさらに備えることができる。一部の実施例において、当該センサユニット８１４は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。

通信ユニット８１６は、装置８００と他の装置の間の有線または無線通信を容易にするように構成される。装置８００は、Ｗｉ－Ｆｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信ユニット８１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信ユニット８１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールを備える。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて具現することができる。

例示的な実施例において、装置８００は、上記の方法を実行するように構成される、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができる。

例示的な実施例において、命令を含むメモリ８０４などの、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令は、装置８００のプロセッサ８２０によって実行されて上記の方法を完了することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクおよび光学データ記憶装置などであってもよい。

非一時的なコンピュータ読み取り可能な記憶媒体は、前記記憶媒体の命令が端末のプロセッサによって実行されると、端末が制御方法を実行することができるようにし、前記方法は、
第１画像における画素の輝度に基づいて、ハイライト領域を決定することであって、前記ハイライト領域に含まれた画素の輝度が前記ハイライト領域の周辺における画素の輝度より大きいことと、
前記ハイライト領域に基づいて、前記第１画像における回折領域を決定することであって、前記回折領域が、前記ハイライト領域の周辺に分布される画像領域であることと、
前記回折領域の輝度を低下させることにより、第２画像を取得することとを含む。

当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本発明の他の実施形態を容易に想到し得ることである。本出願は、本発明のあらゆる変形、応用または適応変化を網羅することを意図し、これらの変形、応用または適応変化は、本発明の普通の原理に準拠し、本発明によって開示されない本技術分野における公知知識または慣用技術手段を含む。明細書と実施例は、例示としてのみ考慮され、本発明の本質的な範囲および思想は添付の特許請求の範囲によって示される。

本発明は、上記に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正及び変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims (22)

1. 画像処理方法であって、
   第１画像における画素の輝度に基づいて、含まれた画素の輝度がその周辺における画素の輝度より大きいハイライト領域を決定することと、
   前記ハイライト領域に基づいて、前記第１画像における前記ハイライト領域の周辺に分布される回折領域を決定することと、
   前記回折領域の輝度を低下させることにより、第２画像を取得することと
   を含み、
   前記第１画像における画素の輝度に基づいて、ハイライト領域を決定することは、
   前記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、画素点間の輝度差がいずれもプリセットされた差の範囲内にある、異なる領域を分割することと、
   分割された前記領域において、領域の平均輝度値が最も大きい領域を前記ハイライト領域として取得することと
   を含む、画像処理方法。
2. 前記ハイライト領域に基づいて、前記第１画像における回折領域を決定することは、
   前記第１画像における画素の輝度のライトフィールドの分布を決定することと、
   前記ライトフィールドの分布に基づいて、前記第１画像における前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することと、
   前記回折現象を満たす画像領域が存在すると、前記画像領域が前記回折領域であると決定することと
   を含む、請求項１に記載の画像処理方法。
3. 前記ライトフィールドの分布に基づいて、前記第１画像における前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することは、
   前記ライトフィールドの分布及び前記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定することと、
   前記高次位置が存在すると、前記回折現象を満たす前記画像領域が存在すると決定することと
   を含み、
   前記高次位置は、前記第１画像の前記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きくされるように構成されている、請求項２に記載の画像処理方法。
4. 前記高次位置が存在すると、前記回折現象を満たす前記画像領域が存在すると決定することは、
   前記高次位置に位置する画素で構成された形状と前記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定することと、
   前記第１類似度閾値より大きいと、前記回折現象を満たす前記画像領域が存在すると決定することと
   を含む、請求項３に記載の画像処理方法。
5. 前記第１画像において、Ｋ（ただし、Ｋ≧２）次の前記高次位置を含み、
   第Ｋ次の前記高次位置の画素の輝度は、第Ｋ－１次の前記高次位置の画素の輝度と等しいか、前記Ｋの値との逆相関を有する、請求項３に記載の画像処理方法。
6. 前記画像処理方法は、
   前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定することをさらに含み、
   前記回折領域の輝度を低下させることにより、第２画像を取得することは、
   前記回折領域に分散現象が存在すると、前記回折領域の輝度及び彩度を低下させることにより、前記第２画像を取得することを含む、請求項１に記載の画像処理方法。
7. 前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定することは、
   前記回折領域内の画素の色と前記回折領域外の画素の色との間の色差値を取得することと、
   前記色差値がプリセットされた色閾値より大きいと、前記回折領域に前記分散現象が存在すると決定することと
   を含む、請求項６に記載の画像処理方法。
8. 前記回折領域の輝度を低下させることにより、第２画像を取得することは、
   前記回折領域内の各画素点の輝度値に基づき、前記輝度値との正相関関係に基づいて、調整される輝度値を決定することと、
   前記回折領域内の各画素点の輝度値から前記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する前記第２画像を取得することと
   を含む、請求項１に記載の画像処理方法。
9. 前記回折領域の輝度を低下させることにより、第２画像を取得することは、
   逆Ｇａｍｍａ関数に従って前記回折領域の輝度を低下させることにより、輝度調整後の前記第２画像を取得することを含む、請求項１に記載の画像処理方法。
10. 前記回折領域の輝度を低下させることにより、第２画像を取得することは、
    プリセットされた、ニューラルネットワーク手段にてトレーニングすることにより取得された画質補償モデルに、前記回折領域を含む第１画像を入力することにより、輝度調整後の前記第２画像を取得することを含む、請求項１に記載の画像処理方法。
11. 画像処理装置であって、
    第１画像における画素の輝度に基づいて、含まれた画素の輝度がその周辺における画素の輝度より大きいハイライト領域を決定するように構成されている第１決定モジュールと、
    前記ハイライト領域に基づいて、前記第１画像における前記ハイライト領域の周辺に分布される回折領域を決定するように構成されている第２決定モジュールと、
    前記回折領域の輝度を低下させることにより、第２画像を取得するように構成されている調整モジュールと
    を備え、
    前記第１決定モジュールは、
    前記第１画像における各画素点の輝度値に基づきクラスタリングすることにより、画素点間の輝度差がいずれもプリセットされた差の範囲内にある、異なる領域を分割することと、
    分割された前記領域において、領域の平均輝度値が最も大きい領域を前記ハイライト領域として取得することと
    を行うようにさらに構成されている、画像処理装置。
12. 前記第２決定モジュールは、
    前記第１画像における画素の輝度のライトフィールドの分布を決定することと、
    前記ライトフィールドの分布に基づいて、前記第１画像における前記ハイライト領域の輝度の低下方向で、回折現象を満たす画像領域が存在するか否かを決定することと、
    前記回折現象を満たす画像領域が存在すると、前記画像領域が前記回折領域であると決定することと
    を行うようにさらに構成されている、請求項１１に記載の画像処理装置。
13. 前記第２決定モジュールは、
    前記ライトフィールドの分布及び前記回折現象の輝度特性に基づいて、高次位置が存在するか否かを決定することと、
    前記高次位置が存在すると、前記回折現象を満たす前記画像領域が存在すると決定することと
    を行うようにさらに構成されており、
    前記高次位置は、前記第１画像の前記ハイライト領域以外の領域において、第１部分領域の画素の輝度と第２部分領域の画素の輝度との間の差分値が第１閾値より大きい場合、第１部分領域の画素の所在位置であり、前記第１部分領域の画素の輝度が第２部分領域の画素の輝度より大きくされるように構成されている、請求項１２に記載の画像処理装置。
14. 前記第２決定モジュールは、
    前記高次位置に位置する画素で構成された形状と前記ハイライト領域の形状との類似度が第１類似度閾値より大きいか否かを決定することと、
    前記第１類似度閾値より大きいと、前記回折現象を満たす前記画像領域が存在すると決定することと
    を行うようにさらに構成されている、請求項１３に記載の画像処理装置。
15. 前記第１画像において、Ｋ（ただし、Ｋ≧２）次の前記高次位置を含み、
    第Ｋ次の前記高次位置の画素の輝度は、第Ｋ－１次の前記高次位置の画素の輝度と等しいか、前記Ｋの値との逆相関を有する、請求項１３に記載の画像処理装置。
16. 前記画像処理装置は、
    前記回折領域内の画素と前記回折領域外の画素との間の色彩の違いの程度に基づいて、前記回折領域に分散現象が存在するか否かを決定するように構成されている第３決定モジュールをさらに備え、
    前記調整モジュールは、
    前記回折領域に分散現象が存在すると、前記回折領域の輝度及び彩度を低下させることにより、前記第２画像を取得するようにさらに構成されている、請求項１１に記載の画像処理装置。
17. 前記第３決定モジュールは、
    前記回折領域内の画素の色と前記回折領域外の画素の色との間の色差値を取得することと、
    前記色差値がプリセットされた色閾値より大きいと、前記回折領域に前記分散現象が存在すると決定することと
    を行うようにさらに構成されている、請求項１６に記載の画像処理装置。
18. 前記調整モジュールは、
    前記回折領域内の各画素点の輝度値に基づき、前記輝度値との正相関関係に基づいて、調整される輝度値を決定することと、
    前記回折領域内の各画素点の輝度値から前記各画素点に対応する調整される輝度値を減算することにより、ガウス分布を示す輝度値を有する前記第２画像を取得することと
    を行うようにさらに構成されている、請求項１１に記載の画像処理装置。
19. 前記調整モジュールは、
    逆Ｇａｍｍａ関数に従って前記回折領域の輝度を低下させることにより、輝度調整後の前記第２画像を取得するようにさらに構成されている、請求項１１に記載の画像処理装置。
20. 前記調整モジュールは、
    プリセットされた、ニューラルネットワーク手段にてトレーニングすることにより取得された画質補償モデルに、前記回折領域を含む第１画像を入力することにより、輝度調整後の前記第２画像を取得するようにさらに構成されている、請求項１１に記載の画像処理装置。
21. 請求項１１～２０のいずれか一項に記載の画像処理装置を備える端末。
22. 命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記命令は、コンピュータのプロセッサによって実行されると、請求項１～１０のいずれか一項に記載の画像処理方法を実行することを前記プロセッサに行わせる、非一時的なコンピュータ読み取り可能な記憶媒体。

Images