JP7333467B2 - 学習に基づくレンズフレア除去 - Google Patents

Description

関連出願の参照
本願は、２０２０年９月２８日に提出された米国特許仮出願第６３／０８４３７７号の優先権を主張する。当該出願の全ての内容は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

背景
レンズフレアは、カメラが強い光源に向けられているときに生じた写真中の共通のアーチファクトである。レンズフレアは、環境の一部の表現を不明瞭にするまたは干渉することによって、写真の画質を低下させる可能性がある。

概要
機械学習モデル、例えば畳み込みニューラルネットワークを訓練して、画像内のレンズフレアの表現を決定することができる。具体的には、機械学習モデルは、レンズフレアの表現を含む入力画像を処理することによって、少なくとも一部のレンズフレアの表現が除去された入力画像のフレア除去画像を生成するように構成されてもよい。機械学習モデルは、レンズフレアの表現を有しない複数の基準画像と、レンズフレアを表す複数のレンズフレア画像とを合成することによって形成された複数の訓練画像に基づいて、訓練されてもよい。一部のレンズフレア画像は、物理的なカメラを用いて実験的に撮影されてもよく、他のレンズフレア画像は、カメラのコンピュータシミュレーションに基づいて生成されてもよい。

第１の例示的な実施形態において、方法は、（ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することを含むことができる。また、この方法は、複数の基準画像の各基準画像と、複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成することを含むことができる。この方法は、複機械学習モデルを用いて複数の訓練画像の各訓練画像を処理することによって、各訓練画像の修正画像を決定することをさらに含むことができる。修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された各訓練画像を含むことができる。さらに、この方法は、修正画像と、各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された損失関数に基づいて、複数の訓練画像の各訓練画像の損失値を決定することを含むことができる。この方法は、（ｉ）各訓練画像について決定された損失値および（ｉｉ）損失関数に基づいて、機械学習モデルの１つ以上のパラメータを調整することをさらに含むことができる。

第２の例示的な実施形態において、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに動作を実行させる命令を記憶する非一時的コンピュータ可読媒体とを含むことができる。動作は、（ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することを含むことができる。また、動作は、複数の基準画像の各基準画像と、複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成することを含むことができる。動作は、機械学習モデルを用いて各訓練画像を処理することによって、複数の訓練画像の各訓練画像の修正画像を決定することをさらに含むことができる。修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された各訓練画像を含むことができる。さらに、動作は、修正画像と、各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された損失関数に基づいて、複数の訓練画像の各訓練画像の損失値を決定することを含むことができる。動作は、ｉ）各訓練画像について決定された損失値および（ｉｉ）損失関数に基づいて、機械学習モデルの１つ以上のパラメータを調整することをさらに含むことができる。

第３の例示的な実施形態において、製品は、コンピューティング装置によって実行されると、コンピューティング装置に動作を実行させる命令を記憶する非一時的コンピュータ可読媒体を含むことができる。動作は、（ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することを含むことができる。また、動作は、複数の基準画像の各基準画像と、複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成することを含むことができる。動作は、機械学習モデルを用いて各訓練画像を処理することによって、複数の訓練画像の各訓練画像の修正画像を決定することをさらに含むことができる。修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された各訓練画像を含むことができる。さらに、動作は、修正画像と、各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された損失関数に基づいて、複数の訓練画像の各訓練画像の損失値を決定することを含むことができる。動作は、（ｉ）各訓練画像について決定された損失値および（ｉｉ）損失関数に基づいて、機械学習モデルの１つ以上のパラメータを調整することをさらに含むことができる。

第４の例示的な実施形態において、システムは、（ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得するための手段を含むことができる。また、システムは、複数の基準画像の各基準画像と、複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成するための手段を含むことができる。システムは、機械学習モデルを用いて各訓練画像を処理することによって、複数の訓練画像の各訓練画像の修正画像を決定するための手段をさらに含むことができる。修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された各訓練画像を含むことができる。さらに、システムは、修正画像と、各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された損失関数に基づいて、複数の訓練画像の各訓練画像の損失値を決定するための手段を含むことができる。動作は、（ｉ）各訓練画像について決定された損失値および（ｉｉ）損失関数に基づいて、機械学習モデルの１つ以上のパラメータを調整することをさらに含むことができる。

第５の例示的な実施形態において、方法は、特定のレンズフレアの表現を含む入力画像を取得することを含むことができる。また、この方法は、機械学習モデルを用いて入力画像を処理することによって、特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むフレア除去画像を生成することを含むことができる。機械学習モデルは、画像内のレンズフレアの表現を決定するように訓練されてもよい。さらに、この方法は、フレア除去画像を出力することを含むことができる。

第６の例示的な実施形態において、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに動作を実行させる命令を記憶する非一時的コンピュータ可読媒体とを含むことができる。動作は、特定のレンズフレアの表現を含む入力画像を取得することを含むことができる。また、動作は、機械学習モデルを用いて入力画像を処理することによって、特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むフレア除去画像を生成することを含むことができる。機械学習モデルは、画像内のレンズフレアの表現を決定するように訓練されてもよい。動作は、フレア除去画像を出力することをさらに含むことができる。

第７の例示的な実施形態において、製品は、コンピューティング装置によって実行されると、コンピューティング装置に動作を実行させる命令を記憶する非一時的コンピュータ可読媒体を含むことができる。動作は、特定のレンズフレアの表現を含む入力画像を取得することを含むことができる。また、動作は、機械学習モデルを用いて入力画像を処理することによって、特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むフレア除去画像を生成することを含むことができる。機械学習モデルは、画像内のレンズフレアの表現を決定するように訓練されてもよい。動作は、フレア除去画像を出力することをさらに含むことができる。

第８の例示的な実施形態において、システムは、特定のレンズフレアの表現を含む入力画像を取得するための手段を含むことができる。また、システムは、機械学習モデルを用いて入力画像を処理することによって、特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むフレア除去画像を生成するための手段を含むことができる。機械学習モデルは、画像内のレンズフレアの表現を決定するように訓練されてもよい。システムは、フレア除去画像を出力するための手段をさらに含むことができる。

これらの実施形態および他の実施形態の態様、利点、および代替例は、添付の図面を適宜参照しながら、以下の詳細な説明を読むことによって当業者に明らかになるであろう。また、本明細書に記載された概要、他の説明および図面は、単なる例として実施形態を例示することを意図しており、多数の変形が可能である。例えば、特許請求される実施形態の範囲を逸脱することなく、構造要素および処理ステップを再配置、結合、分散、削除、または変更することができる。

本明細書に記載の実施例に従ったコンピューティング装置を示す図である。 本明細書に記載の実施例に従ったコンピューティングシステムを示す図である。 本明細書に記載の実施例に従ったシステムを示す図である。 本明細書に記載の実施例に従った画像を示す図である。 本明細書に記載の実施例に従った画像を示す図である。 本明細書に記載の実施例に従って、機械学習モデルを訓練するためのシステムを示す図である。 本明細書に記載の実施例に従ったシステムを示す図である。 本明細書に記載の実施例に従ったフローチャートを示す図である。 本明細書に記載の実施例に従ったフローチャートを示す図である。

詳細な説明
本明細書において、例示的な方法、装置、およびシステムを説明する。理解すべきことは、「例示」および「例示的な」という用語は、本明細書において、「例示、事例、または実例として機能する」という意味で使用されることである。本明細書において、「例示的な」、「例証的な」、および／または「実例的な」ものとして記載された任意の実施形態または特徴は、特に明記しない限り、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるべきではない。したがって、本明細書に記載された主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。

したがって、本明細書に記載された例示的実施形態は、限定的であることを意味していない。本明細書において概して説明され、図示された本開示の態様は、様々な異なる構成で配置、置換、結合、分離、および設計され得ることが容易に理解されるであろう。

また、文脈が他の意味を示唆しない限り、各図面に示された特徴は、互いに組み合わせて使用されてもよい。したがって、図面は、１つ以上の実施形態の全体的な構成要素の態様として概してみなすべきであり、各実施形態は、図示された全ての特徴を必要するとは限らないことを理解すべきである。

さらに、本明細書または特許請求の範囲内の要素、ブロック、またはステップの列挙は、明確にする目的である。したがって、このような列挙は、これらの要素、ブロック、またはステップを特定の配置に配置することまたは特定の順序で実行することを要求または暗示すると解釈すべきではない。特に断りのない限り、図面は、縮尺通りに描かれていない。

Ｉ．概要
レンズフレアは、カメラが比較的強い／明るい光源から出射された光を捕捉するときに観察される光学現象である。レンズフレアは、画像データにおいて、他の可能な視覚的アーチファクト／パターンの中でも特に、条斑、線条、および／または不規則な斑点に類似する視覚的アーチファクト／パターンを引き起こすことができ、および／またはそれらとして表されてもよい。画像データ内のレンズフレアの表現は、カメラの光学要素（例えば、レンズ）による光の内部反射によって引き起こされてもよく、表現の特定の視覚パターンは、光学要素の光学特性に応じて変動してもよい。また、画像データ内のレンズフレアの表現は、カメラの光学要素内および／または上に存在する欠陥による光の散乱および／または回折によって引き起こされてもよく、表現の特定の視覚パターンは、欠陥の特定の種類、サイズ、および／または空間分布に応じて変動してもよい。

一般的に、シーンの多くの部分からの光は、内部反射、散乱、および／または回折によって影響されることがある。入射光の強度が比較的低い場合、内部反射、散乱、および／または回折によって影響された光は、感知可能なレンズフレアの表現を引き起こさない可能性がある。しかしながら、入射光の強度が比較的高い場合、例えば強い／明るい光源がシーン内に存在するときに、内部反射、散乱、および／または回折によって影響された光は、感知可能なレンズフレアの表現を引き起こすことができる。場合によって、画像からレンズフレアの表現を除去して、レンズフレアが存在しないときのシーンを表すことが望ましい場合がある。他の場合に、他の可能性の中でも特に、例えば、表現を強めること、表現を弱めること、および／または表現の色を調整することによって、レンズフレアの表現を調整することが望ましい場合がある。

レンズフレアは、任意の特定の撮像シナリオにおいて予測および／または制御することが困難である様々な複雑な光学現象によって引き起こされる可能性がある。したがって、レンズフレアの表現は、典型的には、画像を手動処理することによって除去される。この場合、ユーザは、目視検査によって画像内のレンズフレアを特定し、レンズフレアを除去または低減するように画像を修正する。しかしながら、このような画像の手動処理は、時間がかかり、画像の熟練操作を必要とする。撮像シナリオのレンズフレアの制御に関連する課題は、画像内のレンズフレアの表現を除去するための自動画像処理が必要であることを意味する。撮像シナリオのレンズフレアの制御に関連する課題を解決するために、既存のレンズフレア技術は、一般的にレンズフレアの表現の形状特性を特徴付け、これらの特性を用いてレンズフレアの表現を特定しようとする。しかしながら、レンズフレアを引き起こす光学現象が多種多様であるため、レンズフレアの表現の特性を用いる技術は、一般的にうまく機能しない。

したがって、機械学習モデル、例えば畳み込みニューラルネットワーク（ＣＮＮ）を訓練して、画像内のレンズフレアの表現を決定することができる。具体的には、機械学習モデルを用いて入力画像内の特定のレンズフレアの表現を決定することは、（ｉ）レンズフレアを表すレンズフレア復元画像を生成すること、および／または（ｉｉ）特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むフレア除去画像を生成することを含むことができる。

（ｉ）シーンの表現およびシーンの一部を形成する光源によって引き起こされたレンズフレアの表現と、（ｉｉ）レンズフレアの表現を含まないシーンの表現とをそれぞれ含む訓練画像対を取得することは、困難であり、時間がかかり、および／または実行不可能である。具体的には、レンズフレアを引き起こすカメラ装置の性状が仮に制御可能であっても容易に制御可能ではないため、このような訓練画像対を取得することは、困難であり、時間がかかり、および／または実行不可能である。

したがって、機械学習モデルを訓練するための訓練データは、（ｉ）フレアフリー基準画像と、（ｉｉ）フレアのみのレンズフレア画像とを合成することによって生成されてもよい。フレアフリー基準画像は、フレアのみの画像とは独立して撮影／生成されてもよい。したがって、訓練データ内の各訓練画像を、（ｉ）フレアフリーシーンに対応する表現と、（ｉｉ）レンズフレアに対応する表現とに明示的に分離することができ、機械学習モデルの監視を提供する。レンズフレア画像は、カメラ装置および光源のコンピュータシミュレーションによって生成されてもよく、および／または物理的なカメラ装置を用いて物理的な光源の画像を実験的／物理的に撮影することによって生成されてもよい。

特に、コンピュータシミュレーションによって生成されたレンズフレア模擬画像は、少なくとも、様々な光学欠陥による光の散乱および／または回折によって引き起こされたレンズフレアを表すことができる。物理的なカメラ上の光学欠陥を制御および／または変更することが困難であるが、シミュレートすることが比較的に容易である。これによって、散乱および／または回折によって引き起こされた広範囲の視覚的パターン（例えば、第１のレンズフレアパターン）を決定論的に生成することができる。物理的に取得された画像は、少なくとも、光学要素（および対応する物理的なカメラ装置に関連する特定の光学欠陥による光の散乱および／または回折）による光の内部反射によって引き起こされたレンズフレアを表すことができる。内部反射のシミュレーションが（公的に利用できない）光学要素の精確なモデルに基づく必要があるため、内部反射をシミュレートすることが困難であるが、物理的に取得することが比較的容易である。これによって、内部反射によって引き起こされた広範囲の視覚パターン（例えば、第２のレンズフレアパターン）を決定論的に生成することができる。

レンズフレア模擬画像およびレンズフレア実験画像は、共同で、画像内に存在し得るレンズフレアの様々な可能な表現の代表的なサンプルを提供することができる。また、シーン内に存在する強い光源がレンズフレアを引き起こすが、（光源を除く）シーン内の物体の存在および／または配置がレンズフレアを引き起こすおよび／またはレンズフレアに影響を与える可能性が低いため、レンズフレアの表現の視覚パターンは、一般的にシーンの構成とは無関係である。レンズフレアの除去がシーン構成に依存する可能性が低いため、異なる且つ独立して生成された基準画像とレンズフレア画像とを合成することによって生成された合成訓練データは、推論時に機械学習モデルを実際のシーン／非合成シーンに外挿する能力に有害な影響を与えない。実際に、得られたシーンとフレアとの組み合わせが多種多様であり、訓練されたモデルを新しい実際のシーン／非合成シーンに外挿する能力を改善することができるため、このように生成された合成訓練データは、望ましい。

訓練された機械学習モデルは、レンズフレアの表現を含む入力画像を処理することによって、フレア除去画像を生成することができる。フレア除去画像は、レンズフレアの表現の少なくとも一部が除去された入力画像に対応し得る。一例において、機械学習モデルは、フレア除去画像を直接に生成する（すなわち、フレア除去画像が機械学習モデルの出力である）ように構成されてもよい。別の例において、機械学習モデルは、レンズフレア復元画像を生成し、入力画像からレンズフレア復元画像を減算することによって、フレア除去画像を生成するように構成されてもよい。いずれの場合に、機械学習モデルは、入力画像内のレンズフレアの表現を決定／特定するように構成されてもよい。

追加的にまたは代替的に、レンズフレア復元画像は、入力時間からフレア除去画像を減算することによって生成されてもよい。したがって、レンズフレア復元画像は、機械学習モデルによって決定／特定された入力画像内のレンズフレアの表現の部分を表すことができる。場合によって、復元されたレンズフレアの強度および／または色を修正して、フレア除去画像に加算することによって、特定の様式でレンズフレアの表現の視覚外観を変更した入力画像の変形を生成することができる。

機械学習モデルは、平面視カメラを用いて撮影された平面視画像データに対して動作するように構成されてもよい。したがって、機械学習モデルは、任意の特定の種類のハードウェア（例えば、立体カメラ）を用いて取得され、および／または画像データ自体の他に追加の任意の注釈（例えば、視差マップ）を含む入力画像に依存しなくてもよい。

場合によって、機械学習モデルは、レンズフレアを引き起こす光源の表現を決定することによって、レンズフレアの表現を決定するように訓練されてもよい。したがって、レンズフレアの表現と共に光源の表現を決定／特定することができ、フレア除去画像を生成するときに入力画像から光源の表現を除去することができる。したがって、光源マスクを生成し、生成した光源マスクを用いて入力画像からの光源の表現をフレア除去画像にコピーすることによって、（ｉ）レンズフレアの表現が除去され且つ（ｉｉ）光源の表現を含む入力画像の修正画像を生成することができる。場合によって、上述したように、光源の表現は、対応するレンズフレアの表現が修正された入力画像の変形にコピーされてもよい。

ＩＩ．例示的なコンピューティング装置およびシステム
図１は、例示的なコンピューティング装置１００を示す。コンピューティング装置１００は、携帯電話のフォームファクタで示されている。しかしながら、代替的に、コンピューティング装置１００は、他の可能性の中でも特に、ラップトップコンピュータ、タブレットコンピュータ、またはウェアラブルコンピューティング装置として実装されてもよい。コンピューティング装置１００は、様々な要素、例えば、本体１０２、ディスプレイ１０６、およびボタン１０８、１１０を含むことができる。コンピューティング装置１００は、１つ以上のカメラ、例えば、前面カメラ１０４および背面カメラ１１２をさらに含むことができる。

前面カメラ１０４は、一般的に動作中ユーザに面する本体１０２の側面（例えば、ディスプレイ１０６と同じ側面）に配置されてもよい。背面カメラ１１２は、前面カメラ１０４の反対側の本体１０２の側面に配置されてもよい。前面カメラおよび背面カメラは、任意であり、コンピューティング装置１００は、本体１０２の様々な側面にそれぞれ配置された複数のカメラを含むことができる。

ディスプレイ１０６は、陰極線管（ＣＲＴ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶（ＬＣＤ）ディスプレイ、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または当技術分野で知られている任意の他の種類のディスプレイを表すことができる。いくつかの例において、ディスプレイ１０６は、前面カメラ１０４および／または背面カメラ１１２によって撮影された現在の画像のデジタル表現、および／またはこれらのカメラのうちの１つ以上によって撮影され得るまたは最近撮影された画像を表示することができる。したがって、ディスプレイ１０６は、カメラのビューファインダとして機能することができる。また、ディスプレイ１０６は、任意の態様のコンピューティング装置１００の設定および／または構成を調整することができるタッチスクリーン機能をサポートすることができる。

前面カメラ１０４は、画像センサと、レンズなどの関連光学要素とを含んでもよい。前面カメラ１０４は、ズーム機能を提供することができ、または固定の焦点距離を有することができる。他の例において、交換可能なレンズを前面カメラ１０４に使用することができる。前面カメラ１０４は、可変な機械絞り、機械シャッタおよび／または電子シャッタを有してもよい。また、前面カメラ１０４は、静止画像、ビデオ画像、または両方を取得するように構成されてもよい。また、前面カメラ１０４は、例えば、平面視カメラであってもよい。背面カメラ１１２は、同様に配置されてもよく、または異なって配置されてもよい。さらに、前面カメラ１０４および／または背面カメラ１１２のうちの１つ以上は、１つ以上のカメラからなるアレイであってもよい。一例において、背面カメラ１１２は、立体カメラの一部を構成および／または形成することができる。

前面カメラ１０４および／または背面カメラ１１２のうちの１つ以上は、目標物体を照明するように、光照射野を提供する照明要素を含んでもよく、またはそれに関連付けられてもよい。例えば、照明要素は、目標物体のフラッシュ照明または連続照明を提供することができる。また、照明要素は、構造化光、偏光、および特定のスペクトル成分を有する光のうちの１つ以上を含む光照射野を提供するように構成されてもよい。公知であり、物体から３次元（３Ｄ）モデルを復元するために使用される他の種類の光照射野は、本明細書の例示に使用されてもよい。

また、コンピューティング装置１００は、周囲光センサを含むことができ、周囲光センサは、カメラ１０４および／または１１２を用いて撮影することができるシーンの周囲輝度を連続的にまたは断続的に決定することができる。いくつかの実装形態において、周囲光センサを用いて、ディスプレイ１０６の表示輝度を調整することができる。また、周囲光センサを用いて、カメラ１０４または１１２のうちの１つ以上の露光時間を決定することができ、または露光時間の決定を支援することができる。

コンピューティング装置１００は、ディスプレイ１０６、前面カメラ１０４および／または背面カメラ１１２を用いて、目標物体の画像を撮影するように構成されてもよい。撮影された画像は、複数の静止画像であってもよく、またはビデオストリームであってもよい。画像の撮影は、ボタン１０８を作動することによって、ディスプレイ１０６上のソフトキーを押すことによって、または何らかの他の機構によってトリガされてもよい。実装に応じて、画像は、例えば、ボタン１０８を押すことによって、目標物体の適切な照明条件に応じて、デジタルカメラ装置１００を所定の距離に移動することによって、または所定の撮影スケジュールに従って、特定の間隔で自動的に撮影されてもよい。

図２は、例示的なコンピューティングシステム２００の一部の構成要素を示す概略ブロック図である。限定ではなく一例として、コンピューティングシステム２００は、セルラー携帯電話（例えば、スマートフォン）、コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、またはハンドヘルドコンピュータ）、ホーム自動化装置、デジタルビデオレコーダ（ＤＶＲ）、デジタルテレビ、リモートコントロール、ウェアラブルコンピューティング装置、ゲームコンソール、ロボット装置、車両、または他の種類の装置であってもよい。コンピューティングシステム２００は、例えば、コンピューティング装置１００の特性を示してもよい。

図２に示すように、コンピューティングシステム２００は、通信インターフェイス２０２と、ユーザインターフェイス２０４と、プロセッサ２０６と、データ記憶装置２０８と、カメラ要素２２４とを含んでもよい。これらの全ての要素は、システムバス、ネットワーク、または他の接続機構２１０によって通信可能に連結されてもよい。コンピューティングシステム２００は、少なくともいくつかの画像取得能力および／または画像処理能力を備えてもよい。なお、コンピューティングシステム２００は、物理的な画像処理システム、画像感知および処理アプリケーションがソフトウェアとして動作する特定の物理的なハードウェアプラットフォーム、または画像の取得機能および／または処理機能を実行するように構成されたハードウェアとソフトウェアとの他の組み合わせであってもよい。

通信インターフェイス２０２を介して、コンピューティングシステム２００は、アナログまたはデジタル変調を用いて、他の装置、アクセスネットワーク、および／またはトランスポートネットワークと通信することができる。したがって、通信インターフェイス２０２は、回線交換通信および／またはパケット交換通信、例えば、ＰＯＴＳ（plain old telephone service）通信および／またはＩＰ（Internet protocol）通信または他のパケット通信を容易にすることができる。例えば、通信インターフェイス２０２は、無線アクセスネットワークまたはアクセスポイントとワイヤレス通信するように構成されたチップセットおよびアンテナを含むことができる。また、通信インターフェイス２０２は、イーサネット（登録商標）、ユニバーサルシリアルバス（ＵＳＢ）、または高解像度マルチメディアインターフェイス（ＨＤＭＩ（登録商標））ポートなどの有線インターフェイスであってもよく、またはそれを含んでもよい。また、通信インターフェイス２０２は、Ｗｉ－Ｆｉ（登録商標）、ブルートゥース（登録商標）、全地球測位システム（ＧＰＳ）、または広域ワイヤレスインターフェイス（例えば、ＷｉＭＡＸまたは３ＧＰＰ（登録商標）ロングタームエボリューション（ＬＴＥ））などのワイヤレスインターフェイスであってもよく、またはそれを含むことができる。しかしながら、通信インターフェイス２０２を介して、他の形態の物理層インターフェイスおよび他の種類の標準通信プロトコルまたは専用通信プロトコルを使用してもよい。さらに、通信インターフェイス２０２は、複数の物理通信インターフェイス（例えば、Ｗｉ－Ｆｉ（登録商標）インターフェイス、ブルートゥース（登録商標）インターフェイス、および広域無線インターフェイス）を含んでもよい。

ユーザインターフェイス２０４を介して、コンピューティングシステム２００は、人間または非人間ユーザと対話すること、例えば、ユーザから入力を受信することができ、ユーザに出力を提供することができる。したがって、ユーザインターフェイス２０４は、入力要素、例えば、キーパッド、キーボード、タッチ感知パネル、コンピュータマウス、トラックボール、ジョイスティック、およびマイクロホンを含んでもよい。また、ユーザインターフェイス２０４は、１つ以上の出力要素、例えば、タッチ感知パネルと組み合わせられ得るディスプレイスクリーンを含んでもよい。ディスプレイスクリーンは、ＣＲＴ、ＬＣＤ、および／またはＬＥＤ技術、もしくは現在知られているまたは将来に開発され得る他の技術に基づくことができる。また、ユーザインターフェイス２０４は、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力装置、イヤホン、および／または他の類似装置を介して、可聴出力を生成するように構成されてもよい。さらに、ユーザインターフェイス２０４は、マイクロフォンおよび／または他の類似装置を介して、可聴発話、ノイズ、および／または信号を受信および／または取得するように構成されてもよい。

いくつかの例において、ユーザインターフェイス２０４は、コンピューティングシステム２００によってサポートされている静止カメラ機能および／またはビデオカメラ機能のビューファインダとして動作するディスプレイを含むことができる。また、ユーザインターフェイス２０４は、カメラ機能の構成および焦点合わせならびに画像の取得を容易にする１つ以上のボタン、スイッチ、ノブ、および／またはダイヤルを含んでもよい。これらのボタン、スイッチ、ノブ、および／またはダイヤルの一部または全ては、タッチ感知パネルによって実装されてもよい。

プロセッサ２０６は、１つ以上の汎用プロセッサ（例えば、マイクロプロセッサ）および／または１つ以上の専用プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、浮動小数点ユニット（ＦＰＵ）、ネットワークプロセッサ、または特定用途向け集積回路（ＡＳＩＣ））を含んでもよい。場合によって、専用プロセッサは、他の可能性の中でも特に、画像の処理、画像の整列、および画像の結合を行うことができる。データ記憶装置２０８は、１つ以上の揮発性および／または不揮発性記憶要素、例えば、磁気記憶要素、光学記憶要素、フラッシュ記憶要素、または有機記憶要素を含むことができ、その一部または全体がプロセッサ２０６と一体化されてもよい。データ記憶装置２０８は、取り外し可能な要素および／または取り外せない要素を含むことができる。

プロセッサ２０６は、データ記憶装置２０８に記憶されたプログラム命令２１８（例えば、コンパイルされたプログラム論理および／または機械コードまたはコンパイルされていないプログラム論理および／または機械コード）を実行することによって、本明細書に記載された様々な機能を実行することができる。したがって、データ記憶装置２０８は、プログラム命令を記憶する非一時的コンピュータ可読媒体を含むことができ、これらのプログラム命令は、コンピューティングシステム２００によって実行されると、コンピューティングシステム２００に本明細書および／または添付図面に開示された方法、プロセス、または動作のいずれかを実行させる。プロセッサ２０６によるプログラム命令２１８の実行は、プロセッサ２０６によって使用されるデータ２１２を生成することができる。

一例として、プログラム命令２１８は、オペレーティングシステム２２２（例えば、オペレーティングシステムカーネル、装置ドライバ、および／または他のモジュール）と、コンピューティングシステム２００にインストールされた１つ以上のアプリケーションプログラム２２０（例えば、カメラ機能、アドレス帳、電子メール、ウェブブラウジング、ソーシャルネットワーキング、音声テキスト変換機能、テキスト変換機能、および／またはゲームアプリケーション）とを含むことができる。同様に、データ２１２は、オペレーティングシステムデータ２１６と、アプリケーションデータ２１４とを含むことができる。オペレーティングシステムデータ２１６は、主にオペレーティングシステム２２２によってアクセス可能であり、アプリケーションデータ２１４は、主に１つ以上のアプリケーションプログラム２２０によってアクセス可能である。アプリケーションデータ２１４は、コンピューティングシステム２００のユーザに可視であるまたはユーザから隠されているファイルシステムに配置されてもよい。

アプリケーションプログラム２２０は、１つ以上のアプリケーションプログラミングインターフェイス（ＡＰＩ）を介して、オペレーティングシステム２２２と通信することができる。これらのＡＰＩは、例えば、アプリケーションプログラム２２０が、アプリケーションデータ２１４を読み取るおよび／または書き込むこと、通信インターフェイス２０２を介して情報を送信または受信すること、ユーザインターフェイス２０４上で情報を受信および／または表示することを容易にすることができる。

場合によって、アプリケーションプログラム２２０は、略して「アプリ」と呼ばれてもよい。また、アプリケーションプログラム２２０は、１つ以上のオンラインアプリケーションストアまたはアプリケーションマーケットから、コンピューティングシステム２００にダウンロードされてもよい。しかしながら、アプリケーションプログラムは、他の方法で、例えば、ウェブブラウザを介して、またはコンピューティングシステム２００上の物理インターフェイス（例えば、ＵＳＢポート）を介して、コンピューティングシステム２００上にインストールされてもよい。

カメラ要素２２４は、絞り、シャッタ、記録面（例えば、写真フィルムおよび／または画像センサ）、レンズ、シャッタボタン、赤外線プロジェクタ、および／または可視光プロジェクタを含むことができるが、これらに限定されない。カメラ要素２２４は、可視光スペクトル（例えば、３８０～７００ｎｍの波長を有する電磁放射線）で画像を取得するように構成された要素と、赤外光スペクトル（例えば、７０１ｎｍ～１ｍｍの波長を有する電磁放射線）で画像を取得するように構成された要素とを含むことができる。カメラ要素２２４は、プロセッサ２０６によって実行されるソフトウェアによって少なくとも部分的に制御されてもよい。

ＩＩＩ．画像からレンズフレアの表現を除去するための例示的なシステム
図３Ａは、画像からレンズフレアの表現を除去するための例示的なシステムを示す。具体的には、図３Ａは、機械学習モデル３０４と、フレアコントローラ３１０と、マスク生成器３１４と、逆演算子３１８とを含むシステム３００を示す。システム３００は、他の可能性の中でも特に、コンピューティング装置１００および／またはコンピューティングシステム２００の一部を形成することができる。システム３００は、ハードウェア要素（例えば、専用回路）、ソフトウェア命令、またはそれらの組み合わせであってもよい。

システム３００は、入力画像３０２を受信し、受信した入力画像３０２に基づいて、各々が入力画像３０２の修正画像であり得る修正入力画像３１２、修正入力画像３２０、および／または修正入力画像３１２および３２０の組み合わせを生成するように構成されてもよい。具体的には、入力画像３０２は、レンズフレアの表現を含むことができる。機械学習モデル３０４は、入力画像３０２内の少なくとも一部のレンズフレアの表現を決定および／または特定するように構成されてもよい。

一例において、機械学習モデル３０４による入力画像３０２内のレンズフレアの表現の決定は、（ｉ）レンズフレアの表現の少なくとも一部を有しないが、（ｉｉ）入力画像３０２の基礎シーンの表現を有する新たな画像を生成することを含むことができる。したがって、機械学習モデル３０４は、レンズフレアの表現の少なくとも一部が除去された入力画像３０２に対応するフレア除去画像３０６を生成するように構成されてもよい。機械学習モデル３０４は、例えば、他の可能性の中でも特に、Ｕ－ＮｅｔアーキテクチャまたはＶＧＧ－１９アーキテクチャに従って構成され得る畳み込み人工ニューラルネットワークを含むことができる。

また、システム３００は、入力画像３０２からフレア除去画像３０６を減算することによって、レンズフレア復元画像３０８を生成するように構成されてもよい。レンズフレア復元画像３０８は、機械学習モデル３０４が入力画像３０２から決定され、フレア除去画像３０６を生成するときに入力画像３０２から除去されたレンズフレアの表現を含むことができる。したがって、フレア除去画像３０６とレンズフレア復元画像３０８との合計は、入力画像３０２に等しい。

第２の例において、機械学習モデル３０４による入力画像３０２内のレンズフレアの表現の決定は、代わりに、（ｉ）レンズフレアの表現の少なくとも一部を有するが、（ｉｉ）入力画像３０２の基礎シーンの表現を有しない新たな画像を生成することを含むことができる。すなわち、機械学習モデル３０４は、代わりに、入力画像３０２から決定／特定されたレンズフレアの表現の少なくとも一部を表すレンズフレア復元画像３０８を生成するように構成されてもよい。したがって、システム３００は、代わりに、レンズフレア復元画像３０８を入力画像３０２から減算することによって、フレア除去画像３０６を生成するように構成されてもよい。

フレアコントローラ３１０は、１つ以上のフレア修正値を生成し、生成した１つ以上のフレア修正値をレンズフレア復元画像３０８の複数のピクセルに乗算することによって、レンズフレアの表現の視覚外観を修正するように構成されてもよい。具体的には、レンズフレアを表さない入力画像３０２のいくつかのピクセルは、フレア除去画像３０６を決定するときに修正されない。したがって、レンズフレア復元画像３０８の対応するピクセルは、ゼロの値を有することができる。したがって、レンズフレア復元画像３０８内の各非ゼロピクセルは、フレアコントローラ３１０によって生成された１つ以上のフレア修正値に従って修正されてもよい。

具体的には、レンズフレア復元画像３０８内のレンズフレアの表現の強度および／または色は、レンズフレア復元画像３０８のピクセルの各色成分（例えば、赤、緑、青）に、対応する値を乗算することによって修正されてもよい。例えば、レンズフレアの表現の強度は、各色成分に１よりも大きい値を乗算することによって増加されてもよい。別の例において、レンズフレアの表現の色は、各色成分に異なる値を乗算することによって所望の色を達成するように（例えば、緑ピクセル成分および青ピクセル成分に１を乗算し、赤ピクセル成分に２を乗算することによって、レンズフレアの表現をより赤くするように）、修正されてもよい。レンズフレアの表現は、レンズフレア復元画像３０８内の各非ゼロ値にゼロを乗算することによって、完全に除去されてもよい。その結果、修正入力画像３１２は、フレア除去画像３０６に等しい。

システム３００は、レンズフレア復元画像３０８のピクセルに１つ以上のフレア修正値を乗算して、乗算されたレンズフレア復元画像３０８をフレア除去画像３０６に加算することによって、修正入力画像３１２を生成するように構成されてもよい。修正入力画像３１２は、１つ以上のフレア修正値に従って修正されたレンズフレアの表現を有する入力画像３０２を表すことができる。例えば、修正入力画像３１２は、他の可能性の中でも特に、レンズフレアの表現が増減されたおよび／または表現の色が修正された入力画像３０２と等価であってもよい。したがって、システム３００は、レンズフレア復元画像３０８を生成し、フレアコントローラ３１０を用いてレンズフレア復元画像３０８を修正し、修正されたレンズフレア復元画像３０８をフレア除去画像３０６に加算することによって、入力画像３０２内のレンズフレアの表現に対する様々な視覚的修正を行うことができる。

いくつかの実装形態において、機械学習モデル３０４は、入力画像３０２から、レンズフレアを引き起こす１つ以上の光源の表現を決定および／または特定するように構成されてもよい（例えば、機械学習モデル３０４は、１つ以上の光源をレンズフレアと同様に取り扱うことができる）。したがって、このような実装形態において、フレア除去画像３０６は、レンズフレアを引き起こす１つ以上の光源を示さないことがある。しかしながら、場合によって、このレンズフレアを引き起こす対応する１つ以上の光源の表現を維持しながら、入力画像３０２からレンズフレアの表現を除去することが望ましい場合がある。したがって、システム３００は、光源マスク３１６を生成するように構成されたマスク生成器３１４を含むことができる。光源マスク３１６を用いて、レンズフレアを引き起こす１つ以上の光源の表現をフレア除去画像３０６に追加することができる。

具体的には、光源マスク３１６は、例えば、複数のピクセルを含み、入力画像３０２および／またはフレア除去画像３０６と同じ解像度を有するグレースケール画像を含んでもよい。第１の値（例えば、２５５）を有するピクセルは、入力画像３０２中の対応するピクセルが光源を表すことを示すことができ、第２の値（例えば、０）を有するピクセルは、入力画像３０２中の対応するピクセルが光源を表さないことを示すことができる。第１の値と第２の値との間の値を用いて、光源を表す領域と光源を表さない領域との間の滑らかなおよび／または緩やかな遷移を生成することができる。

マスク生成器３１４は、例えば、輝度閾値（例えば、０．９５）を超える特定のピクセルに関連付けられた輝度値に基づいて、入力画像３０２から光源を表す当該特定のピクセルを決定するように構成されてもよい。したがって、マスク生成器３１４は、入力画像３０２内の空間的に対応するピクセルの輝度値が輝度閾値を超えるか否かに基づいて、対応する値（例えば、２５５または０）を光源マスク３１６の各ピクセルに割り当てることによって、光源マスク３１６を生成するように構成されてもよい。

場合によって、（逆演算子３１８によって修正された）光源マスク３１６をフレア除去画像３０６に適用する代わりに、システム３００は、（逆演算子３１８によって修正された）光源マスク３１６を修正入力画像３１２に適用するように構成されてもよい。したがって、フレアコントローラ３１０に従って入力画像３０２に含まれるレンズフレアの表現を修正することができると共に、レンズフレアの表現を引き起こす光源を修正しないままに維持することができる。これによって、修正入力画像３２０は、レンズフレアの表現が修正され、レンズフレアを引き起こす１つ以上の光源の表現を含む入力画像３０２を表すことができる。代替的に、同様の効果は、（逆演算子３１８によって修正された）光源マスク３１６をフレアコントローラ３１０の出力に適用することによって達成されてもよい。その結果、レンズフレア復元画像３０８内の光源の表現は、修正されないままフレア除去画像３０６に加算される。

図３Ｂおよび３Ｃは、入力画像３０２、フレア除去画像３０６、レンズフレア復元画像３０８、光源マスク３１６、修正入力画像３１２、および修正入力画像３２０の例示的な視図を含む。具体的には、入力画像３０２は、光源（例えば、太陽）の表現３３０と、光源によって引き起こされたレンズフレア（光源から出射する線条）の表現３３２と、入力画像３０２によって表される基礎シーンの一部を形成する山の表現３３４とを含むことができる。フレア除去画像３０６は、山の表現３３４を含むが、レンズフレアの表現３３２を含まない。場合によって、ハッチングパターンによって示されるように、フレア除去画像３０６は、光源の表現３３０を含まなくてもよい。レンズフレア復元画像３０８は、レンズフレアの表現３３２と、場合によっては光源の表現３３０とを含む。

光源マスク３１６は、光源の表現３３０に対応するマスク領域３３６と、入力画像３０２の残りの部分（すなわち、レンズフレアを引き起こす光源を表さない部分）に対応するマスク領域３３８とを含む。マスク領域３３６は、そのピクセルに第１の値（例えば、グレースケール画像では２５５、またはバイナリ画像では１）が割り当てられ、したがって、入力画像３０２の全ての対応するピクセルを「パスする」ことを示す白色で示され、マスク領域３３８は、そのピクセルに第２の値（例えば、グレースケール画像および／またはバイナリ画像では０）が割り当てられ、したがって、入力画像３０２の全ての対応するピクセルを「ブロックする」ことを示す黒色で示される。中間ピクセル値は、光源マスク３１６の一部として示されていないが、中間ピクセル値を用いて、マスク領域３３６とマスク領域３３８との間に緩やかな遷移を生成することができる。光源マスク３１６の反転（図示せず）は、第２の値（例えば、黒色に対応する０）が割り当てられ、したがって、フレア除去画像３０６の全ての対応するピクセルを「ブロックする」ように構成されるマスク領域３３６の各ピクセルと、第１の値（例えば、白色に対応する２５５または１）が割り当てられ、したがって、フレア除去画像３０６の全ての対応するピクセルを「パスする」ように構成されたマスク領域３３８の各ピクセルとを含む。

修正入力画像３１２は、表現３３０、３３２および３３４を含み、入力画像３０２内の線条に対応するより太い線条によって示すように、表現３３２（場合によって、および表現３３０）は、レンズフレアの視覚外観を強めるように修正されている。他の場合において、表現３３２は、他の可能性の中でも特に、その色を変更することによっておよび／またはその強度を減少させる（例えば、対応するピクセルの輝度を低下させる）ことによって、代替的および／または追加的に修正されてもよい。修正入力画像３２０は、表現３３０および表現３３４を含むが、表現３３２を含まない。したがって、修正入力画像３２０は、レンズフレアが存在していないときのシーンを表す。

ＩＶ．例示的な訓練動作

レンズフレア模擬画像４０８は、少なくとも（ｉ）光源、および（ｉｉ）１つ以上の光学要素をそれぞれ含む１つ以上のカメラ装置に基づいたコンピュータシミュレーションによって生成されてもよい。レンズフレア模擬画像４０８は、カメラ装置のそれぞれの光学要素上に存在する欠陥（例えば、粉塵、擦り傷）による光の散乱および／または回折によって引き起こされたレンズフレアを表すことができる。これらの欠陥がランダムであるため、実際に遭遇し得る欠陥を表す多くの欠陥によって引き起こされたレンズフレアを表す複数の画像を実験的に収集することは、課題であり、時間がかかり、困難であり、および／または実行不可能である。しかしながら、シミュレーションは、多くの欠陥を制御することができ、したがって、実際に遭遇し得る多くの可能な欠陥を含むおよび／またはそれらを表す画像を生成することができる。場合によって、レンズフレア模擬画像４０８は、追加的にまたは代替的に、カメラ装置の光学要素（例えば、レンズ）からの光の内部反射によって引き起こされたレンズフレアを表すことができる。

レンズフレア実験画像４１４は、１つ以上の物理的なカメラ装置を用いて物理光源の画像を撮影することによって、生成されてもよい。レンズフレア実験画像４１４は、カメラ装置の光学要素（例えば、レンズ）からの光の内部反射によって引き起こされたレンズフレアを表すことができる。内部反射によって引き起こされたレンズフレアを表す複数の画像をシミュレートすることは、公的に利用できない光学要素（例えば、レンズ）の精確な光学モデルに依存するため、課題であり、時間がかかり、困難であり、および／または実行不可能である。

しかしながら、内部反射によって引き起こされたレンズフレアの表現は、通常、類似するカメラ装置および／または類似する光学要素（例えば、レンズ）の間で類似であり得る。例えば、レンズフレアの表現は、特定のカメラモデルの異なるインスタンスの間で類似であり得る。したがって、様々な（例えば、通常の）カメラ装置および／または光学要素を用いて物理的に取得した画像は、同様のまたは類似するカメラ装置および／または光学要素に関連するレンズフレアの種々の可能な表現を含むおよび／または表すことができる。場合によって、レンズフレア実験画像４１４は、追加的にまたは代替的に、カメラ装置の各光学要素上に存在する欠陥（例えば、粉塵、擦り傷）による光の散乱および／または回折によって引き起こされたレンズフレアを表すことができる。

具体的には、レンズフレア実験画像４１４は、１つ以上のカメラ装置によって、１つ以上のカメラと光源との間の複数の異なる相対位置（例えば、線形位置および／または角度位置）から取得された光源の表現を含んでもよい。光源および１つ以上のカメラ装置は、１つ以上のカメラ装置が実質的に光源によって出射された光のみを撮影するように、光学的に隔離された環境に配置されてもよい。追加的にまたは代替的に、光源は、単調（例えば、黒色）背景に対して撮影されてもよい。これによって、背景から（例えば、黒色以外の色を有するレンズフレアの表現に基づいて）レンズフレアの表現および／または光源の表現を分離することができる。

レンズフレア実験画像４１４を撮影している間に、光源は、固定されてもよく、カメラは、光源に対する姿勢を制御および／または修正できるように、回転および／または並進ステージ上に配置されてもよい（またはその逆でもよい）。一例において、特定の方向に沿って、－５５°～＋５５°までカメラ装置を等距離角度で掃引することによって、１°ごとにレンズフレア実験画像をそれぞれ撮影してもよい。別の例において、特定の方向に沿って、カメラ装置を直線掃引することによって、複数の直線位置でレンズフレア実験画像をそれぞれ撮影してもよい。さらに、場合によって、隣接する姿勢で撮影された実験的レンズフレア画像を補間することによって、隣接する姿勢の間に観察された可能性が高いレンズフレアを表す追加的な画像を生成することができる。例えば、２つの隣接する実験画像を用いて、例えば、１、２、４、８、または別の数の補間実験画像を生成することができる。

レンズフレアの表現の視覚パターンが光の入射角に依存するため、異なる相対位置から光源の画像を撮影することは、内部反射によって引き起こされたレンズフレアの複数の異なる表現を生成することができる。同様に、レンズフレアの表現の視覚パターンが各カメラ装置の光学要素の光学特性に依存するため、複数の異なるカメラ装置を用いて光源の画像を撮影することは、内部反射によって引き起こされたレンズフレアの異なる表現の多様性をさらに増加させることができる。

訓練画像４２０は、訓練画像４２２から４２４までの訓練画像（すなわち、訓練画像４２２～４２４）を含むことができる。各訓練画像４２０は、基準画像４００のうち、対応する基準画像とレンズフレア画像４０６のうち、対応するレンズフレア画像とを合成することによって形成されてもよい。例えば、訓練画像４２２は、基準画像４０２とレンズフレア画像４１０とを合成することによって形成されてもよく、訓練画像４２４は、基準画像４０４とレンズフレア画像４１８とを合成することによって形成されてもよい。場合によって、基準画像４００のうち、特定の基準画像と、レンズフレア画像４０６のうち、複数の異なるレンズフレア画像とを合成することによって、複数の異なる訓練画像４２０を形成することができる。同様に、レンズフレア画像４０６のうち、特定のレンズフレア画像と、基準画像４００のうち、複数の異なる基準画像とを組み合わることによって、複数の異なる訓練画像４２０を形成することができる。したがって、基準画像４００の数とレンズフレア画像４０６の数とは、異なってもよい。場合によって、訓練画像４２０は、レンズフレア実験画像４１４ではなく、レンズフレア模擬授業画像４０８に基づいて生成されてもよく、またはその逆、レンズフレア模擬授業画像４０８ではなく、レンズフレア実験画像４１４に基づいて生成されてもよい。

別の例において、訓練ピクセル値は、基準ピクセル値と対応するレンズフレアピクセル値との加重和に基づくことができる。さらなる例において、特定の基準画像内の複数のピクセル値を対応するレンズフレア画像からの対応するピクセル値で置換することによって、特定の基準画像と対応するレンズフレア画像とを合成することができる。具体的には、対応するレンズフレア画像内の（単調背景ではない）レンズフレアを表すピクセルのピクセル値は、特定の基準画像内の空間的に対応するピクセルを置換することができる。したがって、元々レンズフレアを表さなかった特定の基準画像のピクセルに関連付けられたピクセル値は、対応するレンズフレア画像から得られた新しい値に置換されてもよい。結果として得られた訓練画像は、レンズフレアの表現を追加した基準画像のシーンを表す。

機械学習モデル３０４の訓練が完了すると、修正画像４３０は、対応する訓練画像に存在しているレンズフレアの表現を殆どまたは実質的に含まないフレア除去画像である。機械学習モデル３０４の訓練中に、修正画像４３０は、対応する訓練画像からレンズフレアの表現を除去する試みを表してもよい。修正画像４３０を用いて、機械学習モデル３０４の１つ以上のパラメータを調整するこれによって、レンズフレアの表現を除去する精度を向上させることができる。

Ｖ．例示的な画像の再サンプリング
図５は、様々な解像度の入力画像に適用されるシステム３００の態様を示す。具体的には、機械学習モデル３０４は、入力として特定の解像度を有する画像データを受け入れ、出力として特定の解像度を有する画像データを生成するように構成されてもよい。例えば、図５に示すように、特定の解像度は、５１２ピクセル×５１２ピクセル（すなわち、５１２×５１２）であってもよい。したがって、異なるサイズを有する画像データに対して動作するために、システム３００は、ダウンサンプラ５０２と、アップサンプラ５１０とを含むことができる。例えば、ダウンサンプラ５０２は、４という倍率で、２０４８ピクセル×２０４８ピクセル（すなわち、２０４８×２０４８）の（第１の）解像度を有する入力画像５００をダウンサンプリングすることによって、５１２ピクセル×５１２ピクセルの（第２の）解像度を有する入力画像５０４を生成することができる。

機械学習モデル３０４は、入力画像５０４を処理することによって、５１２ピクセル×５１２ピクセルの解像度を有するフレア除去画像５０６を生成するように構成されてもよい。システム３００は、フレア除去画像５０６と入力画像５０４との間の差異に基づいて、５１２×５１２ピクセルの解像度を有するレンズフレア復元画像５０８を生成するように構成されてもよい。代替的な実装形態において、機械学習モデル３０４は、入力画像５０４を処理することによってレンズフレア復元画像５０８を生成するように構成されてもよく、システム３００は、レンズフレア復元画像５０８と入力画像５０４との間の差異に基づいてフレア除去画像５０６を生成するように構成されてもよい。代替的には、フレア除去画像５０６は、生成されなくてもよい。

アップサンプラ５１０は、４という倍率でレンズフレア復元画像５０８をアップサンプリングすることによって、２０４８ピクセル×２０４８ピクセルの解像度を有するレンズフレア復元画像５１２を生成するように構成されてもよい。システム３００は、レンズフレア復元画像５１２と入力画像５００との間の差異に基づいて、２０４８×２０４８ピクセルの解像度を有するフレア除去画像５１４を生成するように構成されてもよい。

したがって、システム３００の入力および出力は、２０４８×２０４８ピクセルの第１のより高い解像度で提供されるが、機械学習モデル３０４の入力および出力は、５１２ピクセル×５１２ピクセルの第２のより小さい解像度で提供されてもよい。場合によって、他の解像度を使用してもよい。例えば、特定のカメラモデルに特有の機械学習モデル３０４は、特定の解像度の画像を受け入れるおよび生成するように訓練されてもよい。特定の解像度の画像は、特定のカメラモデルが生成するように構成されたフル解像度画像データをＮ倍（例えば、２倍、４倍、８倍）にダウンサンプリングしたものに対応してもよい。カメラ特有の機械学習モデル３０４は、対応するフル解像度画像データのアスペクト比を考慮することができ、フル解像度画像データの入力および出力のアスペクト比は、１：１ではなくてもよい。

また、マスク生成器３１４は、機械学習モデルによって使用される第２の解像度（例えば、５１２×５１２）で、および／または入力および出力画像データの第１の解像度（例えば、２０４８×２０４８）で、光源マスク３１６を生成するように構成されてもよい。したがって、第１の例において、第１の解像度（２０４８×２０４８）を有する光源マスク３１６は、入力画像５００およびフレア除去画像５１４に適用されてもよい。代替的に、第２の例において、第２の解像度（５１２×５１２）を有する光源マスク３１６は、入力画像５０４およびフレア除去画像５０６に適用されてもよく、その後、第２の解像度（２０４８×２０４８）にアップサンプリングされてもよい。

ＶＩ．さらなる例示的な動作
図６は、レンズフレアの表現を含む画像を処理するように機械学習モデルを訓練することに関連する動作のフローチャートを示す。図７は、画像からレンズフレアの表現を除去するために、機械学習モデルを用いて画像を処理することに関連する動作のフローチャートを示す。図６および／または７の動作は、コンピューティング装置１００、コンピューティングシステム２００、システム３００、および／または他の種類のコンピューティング装置によって実行されてもよい。図６および／または７の動作は、１つ以上のカメラ装置を備えるコンピューティング装置によって実行されてもよく、および／またはカメラ装置を備えないコンピューティング装置によって実行されてもよい。図６および／または７の実施形態は、図示された特徴のうち、任意の１つ以上を除去することによって簡略化されてもよい。さらに、これらの実施形態は、前述した図面または本明細書に記載された特徴、特性および／または実装例と組み合わせられてもよい。

図６を参照して、ブロック６００は、（ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することを含むことができる。

ブロック６０２は、複数の基準画像の各基準画像を複数のレンズフレア画像のうち、対応するレンズフレア画像と合成することによって複数の訓練画像を生成することを含むことができる。例えば、各基準画像内の１つ以上のピクセルの値は、対応するレンズフレア画像内の（背景ではない）レンズフレアを表す１つ以上のピクセルの値に追加されてもよく、またはそれによって置換されてもよい。

ブロック６０４は、機械学習モデルを用いて各訓練画像を処理することによって、複数の訓練画像の各訓練画像の修正入力画像を決定することを含むことができる。修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された各訓練画像を含むことができる。機械学習モデルの訓練中に、機械学習モデルが訓練画像内のレンズフレアの対応する表現を決定する程度および／または精度を改善することができる。したがって、各訓練画像から対応するレンズフレアの表現を除去する程度および／または精度を改善することもできる。

ブロック６０６は、修正画像と、各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された損失関数に基づいて、複数の訓練画像の各訓練画像の損失値を決定することを含むことができる。

ブロック６０８は、（ｉ）各訓練画像について決定された損失値および（ｉｉ）損失関数に基づいて、機械学習モデルの１つ以上のパラメータを調整することを含むことができる。例えば、１つ以上のパラメータは、損失値またはその近傍における損失関数の勾配値に基づいて調整されてもよい。

いくつかの実施形態において、複数のレンズフレア画像は、１つ以上の第１のレンズフレアパターンの表現を生成するためにカメラ装置の光学系をコンピュータにおいてシミュレートすることによって生成された１つ以上のレンズフレア模擬画像を含むことができる。例えば、レンズおよび画像センサなどのカメラ装置の光学要素は、カメラ装置によって撮影される光を出射するために使用される光源と共にシミュレートされてもよい。

いくつかの実施形態において、１つ以上の第１のレンズフレアパターンの表現の少なくとも一部は、カメラ装置のレンズ上に存在する１つ以上の欠陥による光の散乱を表すことができる。例えば、欠陥は、レンズ上に存在する粉塵および／またはレンズ上に存在する擦り傷もしくは他の物理欠陥を含むことができる。カメラ装置の物理要素上に存在する物理欠陥を精確に制御することが困難であり得るため、広範囲の欠陥を含む実験データを取得することは、困難であり、時間がかかり、および／または非実用的であり得る。しかしながら、シミュレーションは、欠陥のサイズ、位置決めおよび／または他の属性をより容易に制御することができるため、レンズフレアの広範囲の異なる表現を表すレンズフレア画像を容易に収集することができる。

いくつかの実施形態において、カメラ装置の光学システムをコンピュータにおいてシミュレートすることは、カメラ装置の開口関数を決定することを含むことができる。開口関数は、カメラ装置のレンズ上に存在する１つ以上の欠陥を表すことができる。例えば、シミュレートされたカメラ装置のシミュレートされた絞りに沿った各ポイントは、対応する光透過性に関連付けられてもよい。欠陥は、絞りの非欠陥部分とは異なる透明性を有する。線形位相シフトは、模擬光源に対するカメラ装置の角度位置に基づいて決定されてもよい。ピンぼけレベルは、模擬光源に対するカメラ装置の深度に基づいて決定されてもよい。カメラ装置の点像分布関数は、（ｉ）開口関数と、（ｉｉ）線形位相シフトおよびピンぼけレベルの和の指数関数との積のフーリエ変換に基づいて決定されてもよい。したがって、コンピュータシミュレーションを用いて、（対応する欠陥を有する）１つ以上のカメラ装置が様々な模擬光源に対する物理的応答をモデル化することができる。

いくつかの実施形態において、カメラ装置の光学システムをコンピュータにおいてシミュレートすることは、複数の異なる波長で点像分布関数をサンプリングすることによって、非干渉性光源を表すマルチチャネル点像分布関数を生成することをさらに含んでもよい。例えば、３８０ｎｍから７４０ｎｍまでの範囲において、５ｎｍの増分で点像分布関数をサンプリングすることによって、７３個チャネルの点像分布関数を生成することができる。マルチチャネル点像分布関数に、マルチチャネル点像分布関数を画像空間に変換するように構成されたカラーマトリックスを乗算することによって、１つ以上のレンズフレア模擬画像の特定のレンズフレア模擬画像を生成することができる。したがって、シミュレートされたカメラ装置の画像平面上に形成される画像は、開口関数によって表された対応する欠陥によって引き起こされた各レンズフレアの表現を含む対応する画像を集合的に画定するピクセル値（例えば、赤－緑－青のピクセル値）に変換されてもよい。

いくつかの実施形態において、１つ以上のレンズフレア模擬画像の追加のレンズフレア模擬画像は、（ｉ）開口関数、（ｉｉ）模擬光源に対するカメラ装置の位置、または（ｉｉｉ）カラーマトリックスのうち、１つ以上を調整することによって生成されてもよい。したがって、レンズフレア模擬画像は、広範囲のレンズフレアの異なる表現を引き起こす広範囲の可能な物理条件を表すことができる。

いくつかの実施形態において、複数のレンズフレア画像は、物理的なカメラ装置を用いて撮影された１つ以上のレンズフレア実験画像を含んでもよい。１つ以上のレンズフレア実験画像は、カメラ装置に向かって光を出射する１つ以上の光源によって引き起こされた１つ以上の第２のレンズフレアパターンの表現を含んでもよい。１つ以上のレンズフレア実験画像は、１つ以上の光源に対して１つ以上の異なる姿勢で配置されたカメラ装置でを用いて撮影されてもよい。

いくつかの実施形態において、１つ以上のレンズフレア実験画像は、１つ以上の光源に対して複数の異なる姿勢で配置されたカメラ装置を用いて撮影された複数のレンズフレア実験画像を含んでもよい。したがって、レンズフレア実験画像は、現実の条件下で実際のカメラ装置で取得されたレンズフレアを表すことができる。光源に対してカメラの位置および／または向きを変更することは、様々なレンズフレアの異なる表現を生成し、それによって訓練画像に多様性を与えることができる。

いくつかの実施形態において、カメラ装置は、複数の異なるカメラ装置を含んでもよい。複数の異なるカメラ装置の各カメラ装置は、少なくとも１つの撮像／光学パラメータで、複数の異なるカメラ装置の他のカメラ装置と異なってもよい。したがって、レンズフレア実験画像は、様々な可能なカメラ設計／実装に起因するレンズフレアの表現を含むことができる。これによって、カメラ装置によって取得され、機械学習モデルが具体的に訓練されていないレンズフレアの表現に外挿するように、機械学習モデルを学習させることができる。

いくつかの実施形態において、１つ以上の第２のレンズフレアパターンの表現の少なくとも一部は、カメラ装置のレンズの１つ以上の表面からの光の反射を表すことができる。レンズ設計者および／または製造業者がカメラ装置に使用されるレンズの精確なモデルを公的に利用不可／アクセス不可にしており、取得／決定することが困難であるため、レンズによる光の反射から生じるレンズフレアをシミュレートすることは、困難であり得る。また、特定のカメラによって取得された反射から生じるレンズフレアの表現は、類似するカメラ装置および／またはレンズモデルの間で類似であり得る。したがって、特定のカメラによって取得されるレンズフレア実験画像は、類似するカメラ装置に関連付けられたレンズフレアを表すことができる。２つ以上の異なるカメラモデルを用いてレンズフレア画像を取得することは、訓練画像の多様性をさらに改善することができる。

いくつかの実施形態において、複数の訓練画像の各訓練画像に対応するレンズフレア復元画像は、（ｉ）機械学習モデルを用いるか、または（ｉｉ）修正画像と各訓練画像との間の差異に基づいて、決定されてもよい。例えば、レンズフレア復元画像は、各訓練画像に含まれたレンズフレアの表現を含んでもよく、各訓練画像によって表されたシーンの他の特性を殆どまたは全く表さなくてもよい。場合によって、訓練された機械学習モデルは、レンズフレアの表現を実質的に含まない修正画像を生成することによって、シーンの他の部分を実質的に表すことなく、レンズフレアの表現のみを実質的に含むレンズフレア復元画像を生成するように構成されてもよい。他の場合において、訓練された機械学習モデルは、シーンの他の部分を実質的に表すことなく、レンズフレアの表現を実質的に含むレンズフレア復元画像を生成するように構成されてもよい。レンズフレア復元画像と、各訓練画像を生成するために使用された対応するレンズフレア画像とを比較するように構成された第２の損失関数にさらに基づいて、各訓練画像の損失値を決定することができる。

したがって、損失値は、機械学習モデルが訓練画像内のレンズフレアの表現を決定／特定する精度、およびこれらのレンズフレアの表現と、訓練画像を生成するために使用された元のレンズフレアの表現とマッチングする精度を示すことができる。第２の損失関数を使用することは、正解データに対する機械学習モデルの出力の追加の品質メトリックを提供することによって、訓練された機械学習モデルの精度を改善することができる。

いくつかの実施形態において、損失値を決定することは、（ｉ）第１の重み値と損失関数の出力との積と、（ｉｉ）第２の重み値と第２の損失関数の出力との積との和を決定することを含むことができる。例えば、第１の重み値と第２の重み値とは、等しい（例えば、各重み値は、０．５に等しい）。その結果、損失関数および第２の損失関数は、損失値の計算に等しく寄与する。他の重み値も可能である。他の重み値を用いて、精度および／または訓練速度などの機械学習モデルの様々な特性を改善することができる。

いくつかの実施形態において、機械学習モデルは、畳み込みニューラルネットワークを含んでもよい。例えば、機械学習モデルは、他の可能なアーキテクチャの中でも特に、Ｕ－ＮｅｔアーキテクチャまたはＶＧＧ－１９アーキテクチャに従って構成されてもよい。

いくつかの実施形態において、複数の基準画像は、複数の平面視画像を含んでもよい。したがって、機械学習モデルは、他の可能性の中でも特に、例えば、立体視画像および／または逐次に撮影された複数の画像に存在するヒントおよび／または情報に頼らず、レンズフレアの表現を決定するように訓練されてもよい。

いくつかの実施形態において、複数の基準画像の少なくとも一部は、レンズフレアの表現を含まないフレアフリー画像を含んでもよい。したがって、レンズフレア画像がレンズフレアの表現のソースであり、基準画像が他のレンズフレアの表現を含まないため、このような基準画像をレンズフレア画像に合成すると、得られた画像内のレンズフレアの表現を精確に判断ことができる。基準画像が多種多様の異なるシーン／環境を表すことができるため、広範囲の可能な入力に一般化するように機械学習モデルを訓練することができる。

いくつかの実施形態において、複数のレンズフレア画像は、単調背景に対して示された各レンズフレアの表現を含んでもよい。単調背景は、背景からレンズフレアの表現を容易に分離できるように選択されてもよい。したがって、例えば、単調背景は、レンズフレアの表現とのコントラストを高レベルにするように黒色であってもよい。また、複数のレンズフレア画像は、光学的に隔離された環境で取得されてもよい。その結果、実質的に撮影されている光源のみがレンズフレアを引き起こす。レンズフレア画像を対応する基準画像に合成するときに、レンズフレアの表現を基準画像に追加してもよく、単調背景を破棄してもよい。

いくつかの実施形態において、特定のレンズフレアの表現を含む入力画像を得ることができる。機械学習モデルの１つ以上のパラメータを調整した後、機械学習モデルを用いて入力画像を処理することによって、フレア除去画像を生成することができる。フレア除去画像は、出力（例えば、記憶および／または表示）されてもよい。フレア除去画像は、特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むことができる。場合によって（例えば、機械学習モデルがよく訓練された場合）、機械学習モデルによる処理は、特定のレンズフレアの表現の全体を実質的に除去することができる。

いくつかの実施形態において、特定のレンズフレア復元画像は、（ｉ）機械学習モデルを用いるか、または（ｉｉ）（機械学習モデルによって生成され得る）フレア除去画像と入力画像との間の差異に基づいて、決定されてもよい。特定のレンズフレア復元画像は、入力画像から除去された特定のレンズフレアの表現の部分を構成することができる。入力画像の第１の修正画像は、特定のレンズフレア復元画像に基づいて入力画像内の特定のレンズフレアの表現の視覚外観を調整することによって、生成されてもよい。入力画像の第１の修正画像は、出力（例えば、記憶および／または表示）されてもよい。

いくつかの実施形態において、入力画像内の特定のレンズフレアの表現の視覚外観を調整することは、（ｉ）視覚外観の強度を増加させること、（ｉｉ）視覚外観の強度を低下させること、または（ｉｉｉ）視覚外観の色を調整することのうち、１つ以上を含んでもよい。したがって、特定のレンズフレア復元画像を用いて、入力画像内の特定のレンズフレアの表現に様々な視覚効果を適用することができる。

いくつかの実施形態において、入力画像のダウンサンプリング画像は、入力画像を第１の解像度から第２の解像度にダウンサンプリングすることによって生成されてもよい。フレア除去画像は、入力画像のダウンサンプリング画像に基づいて生成されてもよい。フレア除去画像は、第２の解像度を有してもよい。特定のレンズフレア復元画像は、（ｉ）機械学習モデルによって、または（ｉｉ）入力画像のダウンサンプリング画像からフレア除去画像を減算することによって決定されてもよい。特定のレンズフレア復元画像は、第２の解像度を有してもよい。特定のレンズフレア復元画像のアップサンプリング画像は、特定のレンズフレア復元画像を第２の解像度から第１の解像度にアップサンプリングすることによって生成されてもよい。入力画像の第１の修正画像は、特定のレンズフレア復元画像のアップサンプリング画像に基づいて入力画像内の特定のレンズフレアの表現の外観を調整することによって、生成されてもよい。したがって、第２の解像度で計算集約的な動作を実行することができ、第１の解像度で得られた視覚効果を適用することができるため、計算コストを低減しながら利益を実現することができる。

いくつかの実施形態において、光源マスクは、入力画像に基づいて決定されてもよい。光源マスクは、（ｉ）入力画像内に表されるとともに（ｉｉ）特定のレンズフレアの表現を引き起こす１つ以上の光源を、マスクするように構成されてもよい。入力画像の第２の修正画像は、（ｉ）入力画像と光源マスクとの間のピクセルごとの乗算の第１の積と、（ｉｉ）フレア除去画像と光源マスクの逆数との間のピクセルごとの乗算の第２の積とを合計することによって生成されてもよい。入力画像の第２の修正画像は、出力（例えば、記憶および／または表示）されてもよい。

場合によって、機械学習モデルは、レンズフレアの表現と共に光源の表現を決定／特定し、光源の表現を除去するように構成されてもよい。したがって、光源マスクを用いて、光源の表現をフレア除去画像に再導入することによって、より現実的な画像を形成することができる。

いくつかの実施形態において、光源マスクは、複数のピクセルを含んでもよく、入力画像と同じ解像度を有してもよい。光源マスクを決定することは、入力画像において、輝度閾値を超える輝度値をそれぞれ有する１つ以上のピクセルを特定することと、（ｉ）１つ以上のピクセルの各位置に空間的に対応する複数のピクセルのうちの１つ以上のピクセルに割り当てるとともに、（ｉｉ）複数のピクセルのうちの１つ以上の他のピクセルに第２の値を割り当てることによって光源マスクを決定することとを含んでもよい。例えば、光源に対応するピクセルはそれぞれ、１または２５５の値に設定されてもよく、光源に対応しない他のピクセルはそれぞれ、ゼロの値に設定されてもよい。

図７を参照して、ブロック７００は、特定のレンズフレアの表現を含む入力画像を取得することを含むことができる。

ブロック７０２は、機械学習モデルを用いて入力画像を処理することによって、特定のレンズフレアの表現の少なくとも一部が除去された入力画像を含むフレア除去画像を生成することを含むことができる。機械学習モデルは、画像内のレンズフレアの表現を決定／特定するように訓練されている。

ブロック７０４は、フレア除去画像を出力することを含むことができる。
いくつかの実施形態において、特定のレンズフレア復元画像は、（ｉ）機械学習モデルを用いるか、または（ｉｉ）フレア除去画像と入力画像との間の差異に基づいて、決定されてもよい。入力画像の第１の修正画像は、特定のレンズフレア復元画像に基づいて、入力画像内の特定のレンズフレアの表現の視覚外観を調整することによって生成されてもよい。入力画像の第１の修正画像は、出力（例えば、記憶および／または表示）されてもよい。

いくつかの実施形態において、入力画像内の特定のレンズフレアの表現の視覚外観を調整することは、（ｉ）視覚外観の強度を増加させること、（ｉｉ）視覚外観の強度を低下させること、または（ｉｉｉ）視覚外観の色を調整することのうち、１つ以上を含んでもよい。

いくつかの実施形態において、入力画像のダウンサンプリング画像は、入力画像を第１の解像度から第２の解像度にダウンサンプリングすることによって生成されてもよい。フレア除去画像は、入力画像のダウンサンプリング画像に基づいて生成されてもよい。フレア除去画像は、第２の解像度を有してもよい。特定のレンズフレア復元画像は、（ｉ）機械学習モデルによって、または（ｉｉ）入力画像のダウンサンプリング画像からフレア除去画像を減算することによって決定されてもよい。特定のレンズフレア復元画像は、第２の解像度を有してもよい。特定のレンズフレア復元画像のアップサンプリング画像は、特定のレンズフレア復元画像を第２の解像度から第１の解像度にアップサンプリングすることによって生成されてもよい。入力画像の第１の修正画像は、特定のレンズフレア復元画像のアップサンプリング画像に基づいて入力画像内の特定のレンズフレアの表現の外観を調整することによって、生成されてもよい。

いくつかの実施形態において、光源マスクは、入力画像に基づいて決定されてもよい。光源マスクは、（ｉ）入力画像内に表されるとともに（ｉｉ）特定のレンズフレアの表現を引き起こす１つ以上の光源を、マスクするように構成されてもよい。入力画像の第２の修正画像は、（ｉ）入力画像と光源マスクとの間のピクセルごとの乗算の第１の積と、（ｉｉ）フレア除去画像と光源マスクの逆数との間のピクセルごとの乗算の第２の積とを合計することによって生成されてもよい。入力画像の第２の修正画像は、出力（例えば、記憶および／または表示）されてもよい。

いくつかの実施形態において、光源マスクは、複数のピクセルを含んでもよく、入力画像と同じ解像度を有してもよい。光源マスクを決定することは、入力画像において、輝度閾値を超える輝度値をそれぞれ有する１つ以上のピクセルを特定することと、（ｉ）１つ以上のピクセルの各位置に空間的に対応する複数のピクセルのうちの１つ以上のピクセルに第１の値を割り当てるとともに、（ｉｉ）複数のピクセルのうちの１つ以上の他のピクセルに第２の値を割り当てることによって光源マスクを決定することとを含んでもよい。

いくつかの実施形態において、機械学習モデルは、複数の基準画像の各基準画像と、複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって生成された複数の訓練画像に基づいて訓練されてもよい。

いくつかの実施形態において、機械学習モデルは、（ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することによって、画像内のレンズフレアの表現を決定／特定するように訓練されてもよい。複数の訓練画像は、複数の基準画像の各基準画像と、複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって生成されてもよい。複数の訓練画像の各訓練画像の修正画像は、機械学習モデルを用いて、各訓練画像を処理することによって決定されてもよい。修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された各訓練画像を含んでもよい。複数の訓練画像の各訓練画像の損失値は、修正画像と、各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された損失関数に基づいて、決定されてもよい。機械学習モデルの１つ以上のパラメータは、（ｉ）各訓練画像について決定された損失値および（ｉｉ）損失関数に基づいて調整されてもよい。

いくつかの実施形態において、複数の訓練画像の各訓練画像のレンズフレア復元画像は、（ｉ）機械学習モデルによって、または（ｉｉ）修正画像とそれぞれの訓練画像との間の差異に基づいて、決定されてもよい。複数の訓練画像の各訓練画像の損失値は、レンズフレア復元画像と、各訓練画像を生成するために使用された対応するレンズフレア画像とを比較するように構成された第２の損失関数に基づいて、決定されてもよい。１つ以上のパラメータは、第２の損失関数に基づいてさらに調整されてもよい。

いくつかの実施形態において、損失値を決定することは、（ｉ）第１の重み値と損失関数の出力との積と、（ｉｉ）第２の重み値と第２の損失関数の出力との積との和を決定することを含んでもよい。

いくつかの実施形態において、複数のレンズフレア画像は、１つ以上の第１のレンズフレアパターンの表現を生成するために、カメラ装置の光学系をコンピュータにおいてシミュレートすることによって生成された１つ以上のレンズフレア模擬画像を含んでもよい。

いくつかの実施形態において、１つ以上の第１のレンズフレアパターンの表現の少なくとも一部は、カメラ装置のレンズ上に存在する１つ以上の欠陥による光の散乱を表すことができる。

いくつかの実施形態において、カメラ装置の光学システムをコンピュータにおいてシミュレートすることは、カメラ装置の開口関数を決定することを含んでもよい。開口関数は、カメラ装置のレンズ上に存在する１つ以上の欠陥を表すことができる。線形位相シフトは、模擬光源に対するカメラ装置の角度位置に基づいて決定されてもよい。ピンぼけレベルは、模擬光源に対するカメラ装置の深度に基づいて決定されてもよい。カメラ装置の点像分布関数は、（ｉ）開口関数と、（ｉｉ）線形位相シフトおよびピンぼけレベルの和の指数関数との積のフーリエ変換に基づいて決定されてもよい。非干渉性光源を表すマルチチャネル点像分布関数は、複数の異なる波長で点像分布関数をサンプリングすることによって生成されてもよい。１つ以上のレンズフレア模擬画像のうち、特定のレンズフレア模擬画像は、マルチチャネル点像分布関数に、マルチチャネル点像分布関数を画像空間に変換するように構成されたカラーマトリックスを乗算することによって生成されてもよい。１つ以上のレンズフレア模擬画像の追加のレンズフレア模擬画像は、（ｉ）開口関数、（ｉｉ）模擬光源に対するカメラ装置の位置、または（ｉｉｉ）カラーマトリックスのうち、１つ以上を調整することによって生成されてもよい。

いくつかの実施形態において、複数のレンズフレア画像は、カメラ装置を用いて撮影された１つ以上のレンズフレア実験画像を含んでもよい。１つ以上のレンズフレア実験画像は、カメラ装置に向かって光を出射する１つ以上の光源によって引き起こされた１つ以上の第２のレンズフレアパターンの表現を含んでもよい。１つ以上のレンズフレア実験画像は、１つ以上の光源に対して１つ以上の異なる姿勢で配置されたカメラ装置を用いて撮影されてもよい。

いくつかの実施形態において、１つ以上のレンズフレア実験画像は、１つ以上の光源に対して複数の異なる姿勢で配置されたカメラ装置を用いて撮影された複数のレンズフレア実験画像を含んでもよい。

いくつかの実施形態において、１つ以上の第２のレンズフレアパターンの表現の少なくとも一部は、カメラ装置のレンズの１つ以上の表面からの光の反射を表すことができる。

いくつかの実施形態において、機械学習モデルは、畳み込みニューラルネットワークを含んでもよい。

いくつかの実施形態において、複数の基準画像は、複数の平面視画像を含んでもよい。
いくつかの実施形態において、複数の基準画像の少なくとも一部は、レンズフレアの表現を含まないフレアフリー画像を含んでもよい。

いくつかの実施形態において、複数のレンズフレア画像は、単調背景に対して示された各レンズフレアの表現を含んでもよい。

いくつかの実施形態において、フレア除去画像を出力することは、フレア除去画像を記憶すること、および／またはフレア除去画像を表示することを含んでもよい。

ＶＩＩ．結び
本開示は、本明細書に記載された特定の実施形態に限定されない。これらの実施形態は、様々な態様の例示として意図される。当業者には明らかなように、本開示の範囲から逸脱することなく、多くの修正および変形を行うことができる。本明細書に記載されるものに加えて、本開示の範囲と機能的に等価な方法および装置は、前述した説明から当業者には明らかであろう。このような修正および変形は、添付の特許請求の範囲に含まれることが意図される。

上記の詳細な説明は、添付の図面を参照して、開示されたシステム、装置および方法の様々な特徴および動作を説明する。図面において、文脈上別段の説明がない限り、同様の記号は、一般的に同様の構成要素を特定する。本明細書および図面に記載の例示的な実施形態は、限定的であることを意味していない。本明細書に記載された主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、図示された本開示の態様は、多種多様の異なる構成で配置、置換、結合、分離、および設計され得ることが容易に理解される。

本明細書に記載され、図面に示されたメッセージフロー図、シナリオ、およびフローチャートのいずれかまたは全てに関して、各ステップ、ブロック、および／または通信は、例示的な実施形態に従って、情報の処理および／または情報の送信を表すことができる。代替的な実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替的な実施形態において、ステップ、ブロック、伝送、通信、要求、応答、および／またはメッセージとして記載された動作は、例えば、必要とする機能に応じて、図示または記載された順序とは異なる順序で、例えば実質的に同時にまたは逆の順序で実行されてもよい。また、より多いまたはより少ないブロックおよび／または動作は、本明細書に記載されたメッセージフロー図、シナリオ、およびフローチャートのいずれかと共に使用されてもよく、これらのメッセージフロー図、シナリオ、およびフローチャートの一部または全体は、互いに組み合わせられてもよい。

情報の処理を表すステップまたはブロックは、本明細書に記載された方法または技法の特定のロジック機能を実行するように構成された回路に対応してもよい。代替的または追加的に、情報の処理を表すブロックは、モジュール、セグメント、または（関連データを含む）プログラムコードの一部に対応してもよい。プログラムコードは、方法または技法の特定のロジック演算または動作を実行するためのプロセッサによって実行可能な１つ以上の命令を含んでもよい。プログラムコードおよび／または関連データは、任意の種類のコンピュータ可読媒体、例えば、ランダムアクセスメモリ（ＲＡＭ）を含む記憶装置、ディスクドライブ、ソリッドステートドライブ、または別の記憶媒体に記憶されてもよい。

また、コンピュータ可読媒体は、非一時的コンピュータ可読媒体、例えば、レジスタメモリ、プロセッサキャッシュ、およびＲＡＭなどのデータを短期間で記憶するコンピュータ可読媒体を含んでもよい。コンピュータ可読媒体は、プログラムコードおよび／またはデータを長期間で記憶する非一時的コンピュータ可読媒体を含んでもよい。したがって、コンピュータ可読媒体は、二次記憶装置または持続的長期記憶装置、例えば、読取り専用メモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、ソリッドステートドライブ、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）を含むことができる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形記憶装置であってもよい。

さらに、１つ以上の情報送信を表すステップまたはブロックは、同じ物理装置内のソフトウェアモジュールおよび／またはハードウェアモジュール間の情報送信に対応してもよい。しかしながら、他の情報伝送は、異なる物理的装置内のソフトウェアモジュールおよび／またはハードウェアモジュール間で行われてもよい。

図面に示された特定の配置は、限定的であると見なされるべきではない。なお、他の実施形態は、所定の図に示された要素よりも多くまたは少ない要素を含んでもよい。また、図示された要素の一部は、結合されてもよく、または省略されてもよい。さらに、例示的な実施形態は、図示されていない要素を含んでもよい。

本明細書は、様々な態様および実施形態を開示したが、当業者には他の態様および実施形態が明らかであろう。本明細書に開示された様々な態様および実施形態は、例示を目的としており、限定することを意図しておらず、真の範囲は、以下の特許請求の範囲によって示される。

Claims (20)

1. コンピュータ実施方法であって、
   （ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することと、
   前記複数の基準画像の各基準画像と、前記複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成することと、
   機械学習モデルを用いて前記複数の訓練画像の各訓練画像を処理することによって、前記各訓練画像の修正画像を決定することとを含み、前記修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された前記各訓練画像を含み、
   前記コンピュータ実施方法はさらに、
   （ｉ）前記機械学習モデルを用いるか、または（ｉｉ）前記修正画像と前記複数の訓練画像の各訓練画像との間の差異に基づいて、前記各訓練画像のレンズフレア復元画像を決定することと、
   （ｉ）前記修正画像と、前記各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された第１の損失関数および（ｉｉ）前記レンズフレア復元画像と、前記各訓練画像を生成するために使用された対応するレンズフレア画像とを比較するように構成された第２の損失関数に基づいて、損失値を決定することと、
   （ｉ）各訓練画像について決定された前記損失値、（ｉｉ）前記第１の損失関数、および（ｉｉｉ）前記第２の損失関数に基づいて、前記機械学習モデルの１つ以上のパラメータを調整することとを含む、コンピュータ実施方法。
2. 特定のレンズフレアの表現を含む入力画像を取得することと、
   機械学習モデルを用いて前記入力画像を処理することによって、前記特定のレンズフレアの表現の少なくとも一部が除去された前記入力画像を含むフレア除去画像を生成することと、
   前記フレア除去画像を出力することとをさらに含む、請求項１に記載のコンピュータ実施方法。
3. 前記機械学習モデルを用いて前記各訓練画像を処理することによって、前記修正画像を決定することは、
   前記機械学習モデルを用いて前記修正画像を決定することか、または
   前記レンズフレア復元画像と前記各訓練画像との間の差異に基づいて前記修正画像を決定することを含み、
   前記機械学習モデルを用いて前記修正画像を決定する場合、前記レンズフレア復元画像は、前記修正画像と前記各訓練画像との間の差異に基づき、
   前記レンズフレア復元画像と前記各訓練画像との間の前記差異に基づいて前記修正画像を決定する場合、前記レンズフレア復元画像は、前記機械学習モデルを用いて決定される、請求項１または２に記載のコンピュータ実施方法。
4. 前記損失値を決定することは、（ｉ）第１の重み値と前記第１の損失関数の出力との積と、（ｉｉ）第２の重み値と前記第２の損失関数の出力との積との和を決定することを含む、請求項１～３のいずれか１項に記載のコンピュータ実施方法。
5. 前記複数のレンズフレア画像は、１つ以上の第１のレンズフレアパターンの表現を生成するために、カメラ装置の光学システムをコンピュータにおいてシミュレートすることによって生成された１つ以上のレンズフレア模擬画像を含む、請求項１～４のいずれか１項に記載のコンピュータ実施方法。
6. 前記１つ以上の第１のレンズフレアパターンの前記表現の少なくとも一部は、前記カメラ装置のレンズ上に存在する１つ以上の欠陥による光の散乱を表す、請求項５に記載のコンピュータ実施方法。
7. 前記カメラ装置の前記光学システムをコンピュータにおいてシミュレートすることは、
   前記カメラ装置の開口関数を決定することを含み、前記開口関数は、前記カメラ装置のレンズ上に存在する１つ以上の欠陥を表し、
   模擬光源に対する前記カメラ装置の角度位置に基づいて、線形位相シフトを決定することと、
   前記模擬光源に対する前記カメラ装置の深度に基づいて、ピンぼけレベルを決定することと、
   （ｉ）前記開口関数と、（ｉｉ）前記線形位相シフトおよび前記ピンぼけレベルの和の指数関数との積のフーリエ変換に基づいて、前記カメラ装置の点像分布関数を決定することと、
   複数の異なる波長で前記点像分布関数をサンプリングすることによって、非干渉性光源を表すマルチチャネル点像分布関数を生成することと、
   前記マルチチャネル点像分布関数に、前記マルチチャネル点像分布関数を画像空間に変換するように構成されたカラーマトリックスを乗算することによって、前記１つ以上のレンズフレア模擬画像のうち、特定のレンズフレア模擬画像を生成することとを含み、前記１つ以上のレンズフレア模擬画像の追加のレンズフレア模擬画像は、（ｉ）前記開口関数、（ｉｉ）前記模擬光源に対する前記カメラ装置の位置、または（ｉｉｉ）前記カラーマトリックスのうち、１つ以上を調整することによって生成される、請求項５または６に記載のコンピュータ実施方法。
8. 前記複数のレンズフレア画像は、カメラ装置を用いて撮影された１つ以上のレンズフレア実験画像を含み、
   前記１つ以上のレンズフレア実験画像は、前記カメラ装置に向かって光を出射する１つ以上の光源によって引き起こされた１つ以上の第２のレンズフレアパターンの表現を含み、
   前記１つ以上のレンズフレア実験画像は、前記１つ以上の光源に対して１つ以上の異なる姿勢で配置された前記カメラ装置を用いて撮影される、請求項１～４のいずれか１項に記載のコンピュータ実施方法。
9. 前記１つ以上の第２のレンズフレアパターンの前記表現の少なくとも一部は、前記カメラ装置のレンズの１つ以上の表面からの光の反射を表す、請求項８に記載のコンピュータ実施方法。
10. 前記複数の基準画像は、複数の平面視画像を含む、請求項１～９のいずれか１項に記載のコンピュータ実施方法。
11. 前記複数の基準画像の少なくとも一部は、レンズフレアの表現を含まないフレアフリー画像を含む、請求項１～１０のいずれか１項に記載のコンピュータ実施方法。
12. 前記複数のレンズフレア画像は、単調背景に対して示されたレンズフレアの表現をそれぞれ含む、請求項１～１１のいずれか１項に記載のコンピュータ実施方法。
13. （ｉ）前記機械学習モデルを用いるか、または（ｉｉ）前記フレア除去画像と前記入力画像との間の差異に基づいて、特定のレンズフレア復元画像を決定することと、
    前記特定のレンズフレア復元画像に基づいて前記入力画像内の前記特定のレンズフレアの表現の視覚外観を調整することによって、前記入力画像の第１の修正画像を生成することと、
    前記入力画像の前記第１の修正画像を出力することとをさらに含む、請求項２に記載のコンピュータ実施方法。
14. 前記入力画像内の前記特定のレンズフレアの表現の前記視覚外観を調整することは、（ｉ）前記視覚外観の強度を増加させること、（ｉｉ）前記視覚外観の強度を低下させること、または（ｉｉｉ）前記視覚外観の色を調整することのうち、１つ以上を含む、請求項１３に記載のコンピュータ実施方法。
15. 前記入力画像を第１の解像度から第２の解像度にダウンサンプリングすることによって、前記入力画像のダウンサンプリング画像を生成することをさらに含み、前記フレア除去画像は、前記入力画像の前記ダウンサンプリング画像に基づいて生成され、前記フレア除去画像は、前記第２の解像度を有し、前記特定のレンズフレア復元画像は、（ｉ）前記機械学習モデルによって決定されるか、または（ｉｉ）前記入力画像の前記ダウンサンプリング画像から前記フレア除去画像を減算することによって決定され、前記特定のレンズフレア復元画像は、前記第２の解像度を有し、前記コンピュータ実施方法は、
    前記特定のレンズフレア復元画像を前記第２の解像度から前記第１の解像度にアップサンプリングすることによって、前記特定のレンズフレア復元画像のアップサンプリング画像を生成することをさらに含み、前記入力画像の前記第１の修正画像は、前記特定のレンズフレア復元画像の前記アップサンプリング画像に基づいて、前記入力画像内の前記特定のレンズフレアの表現の前記視覚外観を調整することによって生成される、請求項１３または１４に記載のコンピュータ実施方法。
16. 前記入力画像に基づいて、（ｉ）前記入力画像内に表されるとともに（ｉｉ）前記特定のレンズフレアの表現を引き起こす１つ以上の光源を、マスクするように構成された光源マスクを決定することと、
    （ｉ）前記入力画像と前記光源マスクとの間のピクセルごとの乗算の第１の積と、（ｉｉ）前記フレア除去画像と前記光源マスクの逆数との間のピクセルごとの乗算の第２の積とを合計することによって、前記入力画像の第２の修正画像を生成することと、
    前記入力画像の前記第２の修正画像を出力することとをさらに含む、請求項２に記載のコンピュータ実施方法。
17. 前記光源マスクは、複数のピクセルを含み、前記入力画像と同じ解像度を有し、
    前記光源マスクを決定することは、
    前記入力画像において、輝度閾値を超える輝度値をそれぞれ有する１つ以上のピクセルを特定することと、
    （ｉ）前記１つ以上のピクセルの各位置に空間的に対応する複数のピクセルのうちの１つ以上のピクセルに第１の値を割り当てるとともに、（ｉｉ）前記複数のピクセルのうちの１つ以上の他のピクセルに第２の値を割り当てることによって、前記光源マスクを決定することとを含む、請求項１６に記載のコンピュータ実施方法。
18. 前記機械学習モデルは、畳み込みニューラルネットワークを含む、請求項１～１７のいずれか１項に記載のコンピュータ実施方法。
19. システムであって、
    プロセッサと、
    前記プロセッサによって実行されると、以下の動作を前記プロセッサに実行させる命令を記憶するコンピュータ可読媒体とを備え、
    前記動作は、
    （ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することと、
    前記複数の基準画像の各基準画像と、前記複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成することと、
    機械学習モデルを用いて前記複数の訓練画像の各訓練画像を処理することによって、前記各訓練画像の修正画像を決定することとを含み、前記修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された前記各訓練画像を含み、
    前記動作はさらに、
    （ｉ）前記機械学習モデルを用いるか、または（ｉｉ）前記修正画像と前記複数の訓練画像の各訓練画像との間の差異に基づいて、前記各訓練画像のレンズフレア復元画像を決定することと、
    （ｉ）前記修正画像と、前記各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された第１の損失関数および（ｉｉ）前記レンズフレア復元画像と、前記各訓練画像を生成するために使用された対応するレンズフレア画像とを比較するように構成された第２の損失関数に基づいて、損失値を決定することと、
    （ｉ）各訓練画像について決定された前記損失値、（ｉｉ）前記第１の損失関数、および（ｉｉｉ）前記第２の損失関数に基づいて、前記機械学習モデルの１つ以上のパラメータを調整することとを含む、システム。
20. 命令を記憶するコンピュータプログラムであって、
    前記命令は、コンピューティング装置によって実行されると、以下の動作を前記コンピューティング装置に実行させ、
    前記動作は、
    （ｉ）複数の基準画像と（ｉｉ）複数のレンズフレア画像とを取得することと、
    前記複数の基準画像の各基準画像と、前記複数のレンズフレア画像のうち、対応するレンズフレア画像とを合成することによって、複数の訓練画像を生成することと、
    機械学習モデルを用いて前記複数の訓練画像の各訓練画像を処理することによって、前記各訓練画像の修正画像を決定することとを含み、前記修正画像は、対応するレンズフレアの表現の少なくとも一部が除去された前記各訓練画像を含み、
    前記動作はさらに、
    （ｉ）前記機械学習モデルを用いるか、または（ｉｉ）前記修正画像と前記複数の訓練画像の各訓練画像との間の差異に基づいて、前記各訓練画像のレンズフレア復元画像を決定することと、
    （ｉ）前記修正画像と、前記各訓練画像を生成するために使用された対応する基準画像とを比較するように構成された第１の損失関数および（ｉｉ）前記レンズフレア復元画像と、前記各訓練画像を生成するために使用された対応するレンズフレア画像とを比較するように構成された第２の損失関数に基づいて、損失値を決定することと、
    （ｉ）各訓練画像について決定された前記損失値、（ｉｉ）前記第１の損失関数、および（ｉｉｉ）前記第２の損失関数に基づいて、前記機械学習モデルの１つ以上のパラメータを調整することとを含む、コンピュータプログラム。

Images