JP2024013652A - 画像処理方法、画像処理装置、プログラム - Google Patents

Abstract

【課題】機械学習モデルを用いて、幾何変換による画質の低下を高精度に補正することができる画像処理方法、画像処理装置、画像処理システム、プログラム及び記憶媒体並びに学習装置及び学習済みモデルの製造方法を提供する。【解決手段】画像処理方法は、光学系に関する情報２１及び第１の画像２２に幾何変換を施すことで得られた第２の画像２３を取得するステップと、幾何変換における第１の画像の変形量に関する情報２４を取得するステップと、第２の画像２３と変形量に関する情報２４とを機械学習モデルに入力し、第３の画像２５を生成するステップと、を有する。【選択図】図１

Description

本発明は、画像に幾何変換を施すことによる画質の低下を補正する技術に関する。

魚眼レンズを用いて被写体を撮影することで、広範囲で鮮明な画像を取得することができる。しかし、魚眼レンズを用いて取得された画像は端になるほど大きく歪曲する。そのため、魚眼レンズを用いて取得された画像は、幾何変換によって歪曲を補正する必要がある。幾何変換における画像の変形量（補正量）が多い領域ほど、幾何変換を施された画像の画質は大きく低下する。

非特許文献１には、機械学習モデルを用いて、画像に幾何変換を施すことによる画質の低下を補正する方法が開示されている。

Ｙ．Ｚｈａｎｇ ｅｔ ａｌ．，Ｔｏｗａｒｄ Ｒｅａｌ－ｗｏｒｌｄ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ，２０２０ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ（ＣＶＰＲＷ），２０２０，ｐｐ．２６７５－２６８４．

しかしながら、非特許文献１に開示された方法では、画像に施された幾何変換に関わらず、画素ごとに一定の変形量にて画質の低下を補正する。したがって、画像に施された幾何変換によっては、補正不足や過剰補正に陥るおそれがある。

そこで本発明は、機械学習モデルを用いて、画像に幾何変換を施すことによる画質の低下を高精度に補正することを目的とする。

本発明の一側面としての画像処理方法は、第１の画像に幾何変換を施された第２の画像を取得するステップと、幾何変換における第１の画像の変形量に関する情報を取得するステップとを有する。さらに、第２の画像と変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成するステップと有する。

本発明によれば、機械学習モデルを用いて、幾何変換による画質の低下を高精度に補正するこができる。

実施例１における推定画像の生成の流れを示す図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１におけるウエイトの更新の流れを示す図である。 実施例１におけるウエイトの更新に関するフローチャートである。 実施例１における画像処理方法に関するフローチャートである。 実施例１における変形量に関する情報の説明図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における画像処理方法に関するフローチャートである。 実施例２における変形量に関する情報の説明図である。 実施例３における画像処理システムのブロック図である。 実施例３における画像処理方法に関するフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、実施例の具体的な説明を行う前に、本実施形態の要旨を説明する。本実施形態では、原画像（第１の画像）に幾何変換を施すことで生成された画像（第２の画像）と幾何変換における第１の画像の変形量に関する情報とを機械学習モデルに入力し、推定画像（第３の画像）を生成する。

本実施形態に係る幾何変換は、例えば第１の画像を取得する際に用いた撮像装置における光学系の特性によって生じる歪曲収差や色収差を低減するために行われる。さらに、幾何変換は中心射影方式とは異なる射影方式を採用し、被写体を歪ませて広い範囲を結像する光学系（例えば魚眼レンズ）を用いて取得した画像を表示する際に、原画像と互いに異なる射影方式若しくは表示方法にて表される画像にするために行われてもよい。幾何変換によって得られる画像の射影方式は、等距離射影方式、等立体角射影方式、正射影方式、立体射影方式、中心射影方式などを含む。幾何変換によって得られる画像の表示方法は方位図法、円筒図法、円錐図法などを含む。

本実施形態における幾何変換による画質の低下は、解像度の低下又は折り返し雑音の発生によるものである。解像度の低下は、ナイキスト周波数に対して周波数成分の相対的な低周波側へのシフトによって起こる。一方で、折り返し雑音は、ナイキスト周波数に対して相対的に高い周波数成分が低周波側に折り返されること（エイリアシング）によって、元々の被写体にはない偽構造が画像に生じることである。画像における周波数成分は、幾何変換における画像の変形量によって変化するため、折り返し雑音は変形量に基づいて理論値（計算値）を求めることができる。

本実施形態において画像の変形量に関する情報は、幾何変換前後の画像の対応する形状（線分又は面積）の比率（拡大率又は縮小率）で表される。ただし、変形量に関する情報はこれに限定されない。例えば、第１の画像内の一点から第１の画像の一点に対応する第２の画像の一点までの移動量で表されてもよい。画像の変形量は、幾何変換の方法によって画像内における位置によってそれぞれ異なる場合がある。このとき、幾何変換による画質の低下も画像内における位置によってそれぞれ異なる。なお、画像における画素とは、画像を取得する際に用いた撮像装置における撮像素子の１画素に対応する画像の領域のことである。さらに、変形量に関する情報は、第１の画像において異なる複数の領域又は画素ごとの変形量を有していてもよい。

第１の画像に施された幾何変換における第１の画像の変形量に関する情報と第２の画像とを機械学習モデルに入力することによって、機械学習モデルに第２の画像の画素ごとの画質の低下に応じた補正処理を行わせることができる。したがって、幾何変換による補正不足や過剰補正を低減することができるため、第２の画像における幾何変換による画質の低下を高精度に補正することが可能となる。

本実施形態において機械学習モデルは、ニューラルネットワークを用いた学習を行うことで生成される。機械学習モデルは、遺伝的プログラミング、ベイジアンネットワークなどで学習されてもよい。なお、ニューラルネットワークとして、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを採用できる。ニューラルネットワークでは、画像に対して畳み込むフィルタ及び足し合わせるバイアス、非線形変換を行う活性化関数を用いる。フィルタ及びバイアスは、ウエイトと呼ばれ訓練画像及び正解画像を用いて更新（学習）される。本実施形態ではこの工程を学習フェーズと呼ぶ。また、本実施形態における画像処理方法は、幾何変換により生成された画像と上述した変形量に関する情報とを機械学習モデルに入力し、画像に幾何変換を施すことによる画質の低下（解像感の劣化）を補正した推定画像を出力する処理を行う。本実施形態ではこの工程を推定フェーズと呼ぶ。なお、上記の画像処理方法は一例であり、本発明はこれに限定されるものではない。その他の画像処理方法などの詳細は以下の実施例に述べる。

［実施例１］
図２及び図３を参照して、実施例１に係る画像処理システム１００に関して説明する。本実施例では、機械学習モデルに幾何変換による画質の低下を補正する処理を学習、実行させる。図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。画像処理システム１００は、学習装置１０１、撮像装置１０２を有し、学習装置１０１と撮像装置１０２は、互いに有線又は無線のネットワーク１０３で接続されている。

学習装置１０１は、記憶部１１１、取得部１１２、生成部１１３、及び更新部１１４を有し、機械学習モデルのウエイトを決定する。

撮像装置１０２は、光学系１２１、撮像素子１２２、画像推定部１２３、記憶部１２４、記録媒体１２５、表示部１２６及びシステムコントローラ１２７を有する。光学系１２１は、被写体空間から入射した光を集光し、被写体像を生成する。光学系１２１は、必要に応じて、ズーム、絞り調節及びオートフォーカスなどの機能を有する。本実施例において、光学系１２１は歪曲収差を有することを前提とする。撮像素子１２２は、光学系１２１により生成された被写体像を電気信号に変換し、原画像を生成する。撮像素子１２２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。

画像推定部１２３は、取得部１２３ａ、演算部１２３ｂ、推定部１２３ｃを有する。画像推定部１２３は、原画像を取得し、幾何変換により入力画像を生成する。さらに、機械学習モデルを用いて推定画像を生成する。幾何変換による画質の低下は、多層のニューラルネットワークを用いて補正される。多層のニューラルネットワークにおけるウエイトの情報は学習装置１０１で生成されたものであり、撮像装置１０２は、事前にネットワーク１０３を介して記憶部１１１からウエイトの情報を読み出し、記憶部１２４に保存している。保存されるウエイトの情報は、ウエイトの数値そのものでもよいし、符号化された形式でもよい。ウエイトの更新及びウエイトを用いた推定画像の生成に関する詳細は、後述する。画像推定部１２３は、必要に応じて現像処理やその他の画像処理を行うことで、出力画像を生成する機能を有する。なお、推定画像を出力画像としてもよい。画像推定部１２３として撮像装置１０２内のプロセッサ、外部の装置若しくは別の記憶媒体を用いることができる。

記録媒体１２５は、出力画像を記録する。表示部１２６は、ユーザから出力画像の出力に関する指示がなされた場合、出力画像を表示する。以上の動作は、システムコントローラ１２７にて制御される。

次に、図４及び図５を参照して、本実施例における学習装置１０１により実行されるウエイト（ウエイトの情報）の更新方法（学習済みモデルの製造方法）に関して説明する。図４は、学習フェーズの流れを示す図である。図５は、ウエイトの更新に関するフローチャートである。図５の各ステップは、主に、取得部１１２、生成部１１３、及び更新部１１４にて実施される。

まず、ステップＳ１０１において、正解パッチ、訓練パッチ及び変形量パッチ変形量パッチを取得する。正解パッチ、訓練パッチ及び変形量パッチは、生成部１１３によって生成される。パッチとは既定の画素数（例えば、６４×６４画素など）を有する画像を指す。なお、正解パッチ、訓練パッチ及び変形量パッチの生成に関しては後述する。

続いて、ステップＳ１０２において、生成部１１３は訓練パッチと変形量パッチを多層のニューラルネットワークへ入力し、推定パッチを生成する。推定パッチは、訓練パッチから機械学習モデルによって得られた画像であり、理想的には正解パッチと一致する。畳み込み層ＣＮ及び逆畳み込み層ＤＣは、入力とフィルタの畳み込み、及びバイアスとの和が算出され、その結果を活性化関数によって処理を行う。フィルタの各成分とバイアスの初期値は任意であり、本実施例では乱数によって決定する。活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを使うことができる。最終層を除く各層の出力は、特徴マップと呼ばれる。スキップコネクション３２、３３は、連続していない層から出力された特徴マップを合成する。特徴マップの合成は要素ごとの和をとってもよいし、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）してもよい。本実施例では要素ごとの和を採用する。スキップコネクション３１は、訓練パッチと正解パッチとの推定された残差と、訓練パッチとの和を取り、推定パッチを生成する。なお、本実施例では図４に示されるニューラルネットワークの構成を使用するが、本発明はこれに限定されるものではない。

続いて、ステップＳ１０３において、更新部１１４は推定パッチと正解パッチの誤差に基づいて、ニューラルネットワークのウエイトを更新する。本実施例では、ウエイトは、各層のフィルタの成分とバイアスを含む。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本発明はこれに限定されるものではない。ミニバッチ学習の場合、複数の正解パッチとそれらに対応する複数の推定パッチのそれぞれの誤差を求め、ウエイトを更新する。誤差関数（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）には、例えばＬ２ノルムやＬ１ノルムなどを用いればよい。ただし本発明は、これに限定されるものではなく、オンライン学習又はバッチ学習を用いてもよい。

続いて、ステップＳ１０４において、更新部１１４はウエイトの更新が完了したか否かを判定する。更新の完了は、ウエイトの更新の反復回数が所定の回数に達したかや、更新時のウエイトの変化量が所定値より小さいかなどで判定することができる。ウエイトの更新が完了していないと判定された場合、ステップＳ１０１へ戻り、取得部１１２は、１組以上の新たな正解パッチ、訓練パッチ及び変形量パッチを取得する。一方、ウエイトの更新が完了したと判定された場合、更新部１１４は学習を終了し、ウエイトの情報を記憶部１１１に記憶する。

次に、学習データの生成方法に関して説明する。学習データは、正解パッチ、訓練パッチ及び変形量パッチであり、主に生成部１１３によって生成される。

まず、生成部１１３は記憶部１１１から正解画像１０と、第１の訓練画像１２と、第１の訓練画像１２に対応する光学系に関する情報１１とを取得する。

正解画像１０は複数の画像であり、撮像装置１０２によって取得された画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像でもよい。なお、正解画像１０はグレースケールで表現されていても、複数のチャンネル成分を有してもよい。また、正解画像１０を様々な被写体を撮像して得られた画像とすることで、多様な被写体に対して機械学習モデルのロバスト性を向上させることができる。例えば、様々な強度と方向を有するエッジ、テクスチャ、グラデーション、平坦部などを有する画像とするとよい。なお、必要に応じて正解画像１０に対応する光学系に関する情報を記憶部１１１に記憶していてもよい。

本実施例において光学系に関する情報１１は、第１の訓練画像１２を取得するために用いた光学系が有する歪曲収差についての情報であり、光学系の理想像高と実像高の関係を表すルックアップテーブルとして、記憶部１２４に記憶されている。理想像高とは無収差の場合に結像する像高、実像高とは歪曲収差を加味した場合に実際に結像する像高である。また、ルックアップテーブルは、撮像条件ごとに生成されている。撮像条件は、例えば焦点距離、Ｆ値、及び被写体距離などである。歪曲収差Ｄ［％］は、理想像高ｒと実像高ｒ’を用いて以下の式（１）で表される。
Ｄ＝（ｒ’－ｒ）／ｒ・１００…（１）
ただし、光学系に関する情報１１は、光学系の理想像高と実像高の関係を表すルックアップテーブルに限定されず、光学系の歪曲収差量として記憶されていてもよい。例えば、理想像高と歪曲収差量の関係又は実像高と歪曲収差量の関係を表すルックアップテーブルでもよい。

本実施例において第１の訓練画像１２は、正解画像１０と同一の被写体を撮像して得られた画像であり、光学系に由来する歪曲収差を有している。なお、第１の訓練画像１２は、正解画像１０と正解画像１０に対応する光学系に関する情報に基づいて幾何変換を施すことで、生成された画像を用いてもよい。

また、正解画像１０に幾何変換を施す前に、第１の訓練画像１２に発生する折り返し雑音を低減するための処理を行ってもよい（アンチエイリアス）。正解画像１０に変形量に応じたアンチエイリアスを行うことで、第１の訓練画像１２に発生する折り返し雑音を所望の水準に低減できる。

続いて、第２の訓練画像１３及び幾何変換における第１の訓練画像１２の変形量（第１の変形量）に関する情報１４を生成する。第２の訓練画像１３及び変形量に関する情報１４は、光学系に関する情報１１及び第１の訓練画像１２から算出される。

第２の訓練画像１３は、光学系に関する情報１１に基づいて、第１の訓練画像１２に幾何変換を施すことで得られる画像である。また、第２の訓練画像１３は、必要に応じて補間処理をされていてもよい。なお、補間の方法は、ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ補間、ｂｉｌｉｎｅａｒ補間、ｂｉｃｕｂｉｃ補間など公知の補間方法を用いることができる。さらに、光軸が変換前後の各画像中心と一致しない場合は、光軸から各画像中心へのシフト量を考慮する必要がある。また、第２の訓練画像１３は、未現像のＲＡＷ画像であってもよい。第２の訓練画像１３及び正解画像１０にそれぞれＲＡＷ画像及び現像画像を用いて学習を行った場合、生成された機械学習モデルは、幾何変換による画質の低下の補正に加え、現像処理をすることができる。なお、現像処理は、ＲＡＷ画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などの画像ファイルに変換する処理である。

変形量に関する情報１４は、スカラー値や二次元マップ（特徴マップ）で表される情報であり、第１の訓練画像１２及び第２の訓練画像１３内の対応する形状の変形量を示している。なお、第１の訓練画像１２及び第２の訓練画像１３内の対応する形状の変形量は、位置ごとに複数取得されてもよい。形状は、例えば第１の訓練画像１２及び第２の訓練画像１３の対応する二点の間（線分）の距離や対応する領域の面積である。また、変形量を比率で表す場合、例えば拡大されるほど値が大きく縮小されるほど値が小さくなる拡大率や、拡大されるほど値が小さく縮小されるほど値が大きくなる縮小率で表すことができる。また、画像の変形量は、幾何変換前後の画像の対応する形状の差（変化量）を用いて表されてもよい。さらに、画像の変形量は、第１の画像２２の一点から第１の画像２２の一点に対応する第２の画像の一点までの移動量を用いて表されてもよい。

本実施例において変形量に関する情報１４は、それぞれ異なる方向における変形量を示す２種類以上の二次元マップである。本実施例における変形量に関する情報１４は、それぞれ画素の配列方向である水平方向及び垂直方向に対応する２種類の二次元マップで表される。水平方向の変形量は、第２の訓練画像１３内における水平方向の任意の二点の間の距離と、第２の訓練画像１３内における水平方向の任意の二点の間の距離に対応する第１の訓練画像１２内における二点の間の距離とを用いて算出される値である。水平方向の二次元マップは、第１の訓練画像１２及び第２の訓練画像１３の異なる任意の二点の間の距離に基づいて複数の変形量を求めることで生成される。また、垂直方向の二次元マップについても、同様にして生成することができる。第１の訓練画像１２及び第２の訓練画像１３の異なる位置における変形量を多く含む二次元マップとすることで、画質の低下を高精度に補正可能なニューラルネットワークを生成することができる。

なお、水平方向及び垂直方向における変形量を示す２種類の二次元マップの例を示したが、互いに異なる複数の方向における変形量であればよい。例えば水平方向から４５度及び１３５度傾けた方向の二方向や、同心円方向と放射方向の二方向であってもよい。なお、変形量に関する情報１４は、画像の一部の領域について変形量を算出したものや、その一部の領域の変形量から補間などによって第２の訓練画像１３の対応する全ての画素の変形量を算出したものを用いてもよい。また、変形量に関する情報１４は正規化処理を施されてもよい。

また、第１の訓練画像１２及び光学系に関する情報１１から複数組の第２の訓練画像１３及び変形量に関する情報１４が抽出されてもよい。変形量に関する情報１４が示す変形量に応じて、抽出するパッチの枚数に偏りがあってもよい。例えば、変形量が大きい領域からより多くのパッチを抽出することで、画質の低下の補正効果が高いウエイトを更新することができる。

なお、第２の訓練画像１３及び正解画像１０の関係について、第２の訓練画像１３及び正解画像１０は同一の被写体を含む領域であれば、第２の訓練画像１３のサンプリングピッチと正解画像１０のサンプリングピッチはそれぞれ異なっていてもよい。例えば正解画像１０と、正解画像１０に対してサンプリングピッチが小さい第２の訓練画像１３とを組み合わせて学習データに用いることで、幾何変換における画質の低下の補正に加え、アップスケール処理を実施可能な機械学習モデルを生成することができる。なお、アップスケール処理は、推定フェーズにおいて出力画像のサンプリングピッチを入力画像のサンプリングピッチより小さくする処理である。

最後に、正解パッチ、訓練パッチ及び変形量パッチを生成する。正解パッチ、訓練パッチ及び変形量パッチは、それぞれ正解画像１０、第２の訓練画像１３及び変形量に関する情報１４から同じ被写体を示す領域から既定の画素数の画像を抽出することで生成される。なお、正解画像１０、第２の訓練画像１３及び変形量に関する情報１４をそれぞれ正解パッチ、訓練パッチ及び変形量パッチとしてもよい。また、本実施例における変形量パッチはパッチ内の位置により異なる画素値を有するが、パッチ内での画素値は同じであってもよい。例えば、本実施例における変形量パッチ内での画素値の平均値や中心位置での画素値を全画素で持つパッチを用いてもよい。また、変形量パッチの代わりに、パッチ内での画素値の平均値や中心位置での画素値をスカラー値として用いて学習を行ってもよい。

さらに、学習データの生成には、撮像装置１０２よって取得された画像を使用してもよい。このとき、取得された画像を第１の訓練画像１２として用いることで、第２の訓練画像１３を生成することができる。このとき正解画像１０は、光学系１２１に比べ歪曲収差が少ない光学系を用いて、第１の訓練画像１２と同一の被写体を撮像することで得られる。

次に、図１と図６を参照して、学習済みの機械学習モデルを用いた画像処理方法（推定フェーズ）に関して詳細に述べる。図１は、推定フェーズの流れを示す図。図６は、本実施例における推定フェーズに関するフローチャートである。図６の各ステップは、画像推定部１２３における取得部１２３ａ、演算部１２３ｂ、もしくは、推定部１２３ｃにて実施される。

まず、ステップＳ２０１において、取得部１２３ａは光学系に関する情報２１、第１の画像２２、及びウエイトの情報を取得する。光学系に関する情報２１は、記憶部１２４にあらかじめ記憶されており、取得部１２３ａは撮像条件に対応する光学系に関する情報２１を取得する。なお、ウエイトの情報はあらかじめ記憶部１１１から読み出され、記憶部１２４に記憶されている。光学系に関する情報２１は、学習フェーズにおける光学系に関する情報１１に相当する。また、第１の画像２２は、学習フェーズにおける第１の訓練画像１２に相当する。

続いて、ステップＳ２０２において、演算部１２３ｂは光学系に関する情報２１及び第１の画像２２から第２の画像２３を生成する。本実施例おいて第２の画像２３は、光学系１２１によって第１の画像２２に生じた歪曲収差を低減するために、第１の画像２２に幾何変換を施すことによって生成された画像である。

第２の画像２３は、学習フェーズにおける第２の訓練画像に相当し、光学系に関する情報２１に基づいて第１の画像２２に幾何変換を施すことで得られる画像である。また、第２の画像２３は必要に応じて補間処理をされていてもよい。

続いて、ステップＳ２０３において、演算部１２３ｂは光学系に関する情報２１及び第１の画像２２を用いて、幾何変換における第１の画像２２の変形量（第２の変形量）に関する情報２４を生成する。変形量に関する情報２４は、ステップＳ２０２において第２の画像２３を生成する際の変形量を表す。本実施例における変形量に関する情報２４は、２種類の二次元マップであり、それぞれ水平方向又は垂直方向の変形量を示す。ここで図７を参照して本実施例における変形量に関する情報２４について説明する。図７（Ａ）は第１の画像２２の例、図７（Ｂ）は第２の画像２３の例である。図７（Ｃ）は、第１の画像２２から第２の画像２３を生成した際の水平方向の変形量を示す二次元マップである。図７（Ｄ）は、第１の画像２２から第２の画像２３を生成した際の垂直方向の変形量を示す二次元マップである。本実施例において、図７（Ｃ）及び図７（Ｄ）に示す２種類の二次元マップが変形量に関する情報２４である。変形量に関する情報２４の生成方法は、変形量に関する情報１４と同様である。なお、本実施例におけるステップＳ２０２及びステップＳ２０３は、同時に処理されてもよい。

なお、変形量に関する情報２４は、ステップＳ２０２において複数の第１の画像２２と、複数の第１の画像２２に対応する複数の光学系に関する情報２１とを用いて、複数の第２の画像２３を生成する場合、複数の変形量に関する情報２４を取得することができる。このとき複数の第１の画像２２は、それぞれ幾何変換によって歪曲収差の補正をされる。

また、画像推定部１２３は、撮像装置１０２とは異なる画像処理装置に含まれていてもよい。その場合、取得部１２３ａが取得する画像は第１の画像２２ではなく第２の画像２３に相当する画像でもよい。つまり、あらかじめ画像推定部１２３とは異なる画像処理装置でステップＳ２０２を実施し、光学系に関する情報２１及び第１の画像２２から第２の画像２３を生成してもよい。

続いて、ステップＳ２０４において、推定部１２３ｃは第２の画像２３と変形量に関する情報２４を機械学習モデルに入力することで、推定画像（第３の画像）２５を生成する。第３の画像２５は、第２の画像２３から幾何変換による画質の低下が補正された画像である。

以上のように、本実施例によれば、幾何変換によって歪曲収差が低減された第２の画像２３における幾何変換による画質の低下を、機械学習モデルを用いて高精度に補正することが可能な画像処理システムを提供することができる。

［実施例２］
次に、図８及び図９を参照して、実施例２に係る画像処理システム２００に関して説明する。本実施例では、機械学習モデルに幾何変換による画質の低下を補正する処理を学習、実行させる。本実施例の画像処理システム２００は、撮像装置２０２から原画像を取得し、画像推定装置２０３が画像処理する点で、実施例１と異なる。図８は、本実施例における画像処理システム２００のブロック図である。図９は、画像処理システム２００の外観図である。画像処理システム２００は、学習装置２０１、撮像装置２０２、画像推定装置２０３、表示装置２０４、記憶媒体２０５、出力装置２０６及びネットワーク２０７を有する。

学習装置２０１は、記憶部２０１ａ、取得部２０１ｂ、生成部２０１ｃ及び更新部２０１ｄを有し、機械学習モデルのウエイトを決定する。

撮像装置２０２は、光学系２０２ａと撮像素子２０２ｂを有し、第１の画像２２を取得する。光学系２０２ａは、被写体空間から入射した光を集光し、被写体像を生成する。撮像素子２０２ｂは、光学系２０２ａにより生成された被写体像を電気信号に変換し、第１の画像２２を生成する。なお、本実施例における光学系２０２ａは、等立体角射影方式を採用する魚眼レンズを有し、第１の画像２２の被写体は等立体角射影方式に応じた歪曲を有している。なお、光学系２０２ａはこれに限定されず任意の射影方式を採用した光学系を用いてもよい。

画像推定装置２０３は、記憶部２０３ａ、取得部２０３ｂ、生成部２０３ｃ及び推定部２０３ｄを有する。画像推定装置２０３は、機械学習モデルを用いて推定画像を生成する。以下、本実施例における幾何変換は、等立体角射影方式（第１の射影方式）で表される第１の画像２２から中心射影方式（第２の射影方式）で表される第２の画像２３への変換である。なお、本実施例はこれに限定されず、任意の射影方式又は表現方法で表される画像を用いてもよい。幾何変換による画質の低下を補正は、機械学習モデルを用いて行われ、機械学習モデルのウエイトの情報は、学習装置２０１で生成されたものである。画像推定装置２０３は、ネットワーク２０７を介して記憶部２０１ａからウエイトの情報を読み出し、記憶部２０３ａに保存している。なお、学習装置２０１が行うウエイトの更新は、実施例１の学習装置１０１と同様のため、説明を省略する。また、学習データの生成方法及びウエイトを用いた画像処理に関しての詳細は、後述する。なお、画像推定装置２０３は、必要に応じて現像処理やその他の画像処理を行うことで、出力画像を生成する機能を有していてもよい。

画像推定装置２０３にて生成された出力画像は、表示装置２０４、記憶媒体２０５又は出力装置２０６の少なくとも１つに出力される。表示装置２０４は、例えば液晶ディスプレイやプロジェクタなどである。表示装置２０４を介して、ユーザが処理途中の画像を確認しながら編集作業などを行えるようにしてもよい。記憶媒体２０５は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバなどであり、出力画像を保存する。出力装置２０６は、例えばプリンタなどである。

記録媒体１２５は、出力画像を記録する。表示部１２６は、ユーザから出力画像の出力に関する指示がなされた場合、出力画像を表示する。以上の動作は、システムコントローラ１２７にて制御される。

次に、学習データの生成方法に関して説明する。学習データは、正解パッチ、訓練パッチ及び変形量パッチであり、主に生成部２０１ｃによって生成される。

まず、取得部２０１ｂは記憶部２０１ａから正解画像１０及び正解画像１０に対応する光学系に関する情報１１を取得する。本実施例において正解画像１０は中心射影方式を採用する光学系にて取得された画像である。

本実施例において光学系に関する情報１１は、各画像を取得するために用いた光学系が採用している射影方式についての情報を有する。射影方式は、それぞれ焦点距離ｆの光学系が光軸からの角度θに存在する被写体を二次元平面上に表現する方法を、光学系の像高ｒを用いて表される。

等立体角射影方式は、被写体の立体角と二次元平面上の面積が比例することを特徴とする射影方式である。等立体角射影方式を採用する光学系は、以下の式（２）に従い被写体を二次元平面上に表現する。
ｒ＝２・ｆ・ｓｉｎ（θ／２）…（２）

また、中心射影方式を採用する光学系は、以下の式（３）に従い被写体を二次元平面上に表現する。
ｒ＝ｆ・ｔａｎθ…（３）

なお、光学系に関する情報１１は、被写体の光軸からの角度と光学系の像高の関係に限らず、被写体の位置とその被写体が表現される二次元平面上の位置を対応づけられるものであればよい。

続いて、第１の訓練画像１２を生成する。本実施例において第１の訓練画像１２は、正解画像１０と同一の被写体を撮像して得られた画像であり、等立体角射影方式を採用する光学系にて取得された画像である。なお、第１の訓練画像１２の射影方式はこれに限定されない。

続いて、第２の訓練画像１３及び変形量に関する情報１４を生成する。第２の訓練画像１３及び変形量に関する情報１４は、光学系に関する情報１１及び第１の訓練画像１２から算出される。第２の訓練画像１３は、等立体角射影方式で表現された第１の訓練画像１２に幾何変換を施すことで生成される画像であり、中心射影方式で表されている。また、第２の訓練画像１３は必要に応じて補間処理をされていてもよい。なお、第２の訓練画像１３はこれに限定されず、少なくとも正解画像１０と同様の射影方式で表されていればよい。

変形量に関する情報１４は、実施例１と同様の方法で生成される。また、正解パッチ、訓練パッチ、及び変形量パッチは、実施例１と同様の方法で生成される。

次に、図１と図１０を参照して、学習済みの機械学習モデルを用いた画像処理方法に関して詳細に述べる。図１０は、本実施例における推定フェーズに関するフローチャートである。図１０の各ステップは、取得部２０３ｂ、生成部２０３ｃ及び推定部２０３ｄによって実施される。

まず、ステップＳ３０１において、取得部２０３ｂは光学系に関する情報２１、第１の画像２２、及びウエイトの情報を取得する。本実施例において光学系に関する情報２１は、第１の画像２２を取得するために用いた光学系が採用している射影方式についての情報を有する。ウエイトの情報はあらかじめ記憶部２０１ａから読み出され、記憶部２０３ａに記憶されている。

続いて、ステップＳ３０２において、生成部２０３ｃは光学系に関する情報２１及び第１の画像２２を用いて、第２の画像２３を生成（算出）する。第２の画像２３は、等立体角射影方式で表現された第１の画像２２に幾何変換を施すことで生成される画像であり、中心射影方式で表されている。また、第２の画像２３は必要に応じて補間処理をされていてもよい。

続いて、ステップＳ３０３において、生成部２０３ｃは光学系に関する情報２１及び第１の画像２２を用いて、変形量に関する情報２４を生成する。本実施例における変形量に関する情報２４は、等立体角射影方式から中心射影方式への変換（幾何変換）に伴う水平方向及び垂直方向の変形量を示す２種類の二次元マップである。ここで図１１を参照して変形量に関する情報２４について説明する。図１１（Ａ）は、等立体角射影方式で表現された第１の画像２２の例である。図１１（Ｂ）は、中心射影方式で表現された第２の画像２３の例である。図１１（Ｃ）は、第１の画像２２から第２の画像２３を生成した際の水平方向の変形量を示す二次元マップである。図１１（Ｄ）は、第１の画像２２から第２の画像２３を生成した際の垂直方向の変形量を示す二次元マップである。本実施例において、図１１（Ｃ）及び図１１（Ｄ）に示す２種類の二次元マップが変形量に関する情報２４である。変形量に関する情報２４の生成方法は、変形量に関する情報１４と同様である。なお、本実施例におけるステップＳ３０２及びステップＳ３０３は、同時に処理されてもよい。

続いて、ステップＳ３０４において、推定部２０３ｄは第２の画像２３と変形量に関する情報２４とを機械学習モデルに入力することで、第３の画像２５を生成する。第３の画像２５は、第２の画像２３における幾何変換による画質の低下が補正された画像である。

以上のように、本実施例によれば、幾何変換によって射影方式を変換された第２の画像２３における幾何変換による画質の低下を、機械学習モデルを用いて高精度に補正することが可能な画像処理システムを提供することができる。

［実施例３］
次に、図１２及び図１３を参照して、実施例３に係る画像処理システム３００に関して説明する。本実施例では、機械学習モデルに幾何変換による画質の低下を補正する処理を学習、実行させる。

本実施例の画像処理システム３００は、撮像装置３０２から光学系に関する情報２１及び第１の画像２２を取得し、画像推定装置（画像処理装置）３０３に第１の画像２２に対する画像処理に関する要求を行う制御装置３０４を有する点で実施例１と異なる。

図１２は、本実施例における画像処理システム３００のブロック図である。画像処理システム３００は、学習装置３０１、撮像装置３０２、画像推定装置３０３、制御装置３０４を有する。本実施例において学習装置３０１及び画像推定装置３０３はサーバでもよい。制御装置３０４は、例えばパーソナルコンピュータ若しくはスマートフォンのようなユーザ端末である。制御装置３０４はネットワーク３０５を介して画像推定装置３０３に接続されている。画像推定装置３０３はネットワーク３０６を介して学習装置３０１に接続されている。つまり、制御装置３０４及び画像推定装置３０３並びに画像推定装置３０３及び学習装置３０１は互いに通信可能に構成されている。

画像処理システム３００における学習装置３０１及び撮像装置３０２は、それぞれ学習装置２０１及び撮像装置２０２と同様の構成のため説明を省略する。

画像推定装置３０３は、記憶部３０３ａ、取得部（取得手段）３０３ｂ、生成部（生成手段）３０３ｃ、推定部（推定手段）３０３ｄ、通信部（受信手段）３０３ｅを有する。画像推定装置３０３における記憶部３０３ａ、取得部３０３ｂ、生成部３０３ｃ、推定部３０３ｄは、それぞれ記憶部２０３ａ、取得部２０３ｂ、生成部２０３ｃ、推定部２０３ｄと同様である。

制御装置３０４は、通信部（送信手段）３０４ａ、表示部（表示手段）３０４ｂ、入力部（入力手段）３０４ｃ、処理部（処理手段）３０４ｄ、記録部３０４ｅを有する。通信部３０４ａは、第１の画像２２に対する処理を画像推定装置３０３に実行させるための要求を画像推定装置３０３に送信することができる。また、画像推定装置３０３によって処理された出力画像を受信することができる。なお、通信部３０４ａは、撮像装置３０２と通信を行ってもよい。表示部３０４ｂは、種々の情報を表示する。表示部３０４ｂによって表示される種々の情報は、例えば第１の画像２２、第２の画像２３、若しくは画像推定装置３０３から受信した出力画像を含む。入力部３０４ｃは、ユーザから画像処理を開始する指示などを入力できる。処理部３０４ｄは、画像推定装置３０３から受信した出力画像に対して任意の画像処理を施すことができる。記録部３０４ｅは、撮像装置３０２から取得した光学系に関する情報２１及び第１の画像２２、画像推定装置３０３から受信した出力画像を保存する。

なお、処理対象である第１の画像２２を画像推定装置３０３に送信する方法は問わず、例えば第１の画像２２はＳ４０１と同時に画像推定装置３０３にアップロードされてもよいし、Ｓ４０１以前に画像推定装置３０３にアップロードされていてもよい。また、第１の画像２２は画像推定装置３０３とは異なるサーバ上に保存された画像でもよい。

次に、本実施例における出力画像（推定画像）の生成に関して説明する。図１３は、本実施例における推定フェーズに関するフローチャートである。

制御装置３０４の動作について説明する。本実施例における画像処理は、制御装置３０４を介してユーザにより画像処理開始の指示によって処理が開始される。

まず、ステップＳ４０１（第１の送信ステップ）において、通信部３０４ａは第１の画像２２に対する処理の要求を画像推定装置３０３へ送信する。なお、ステップＳ４０１において、制御装置３０４は第１の画像２２に対する処理の要求と共に、ユーザを認証するＩＤや、第１の画像２２に対応する撮影条件などを送信してもよい。

続いて、ステップＳ４０２（第１の受信ステップ）において、通信部３０４ａは推定装置３０３によって生成された第３の画像２５を受信する。

次に、画像推定装置３０３の動作について説明する。まずステップＳ５０１（第２の受信ステップ）において、通信部３０３ｅは通信部３０４ａから送信された第１の画像２２に対する処理の要求を受信する。画像推定装置３０３は、第１の画像２２に対する処理が指示を受けることによって、ステップＳ５０２以降の処理を実行する。

続いてステップＳ５０２において、取得部３０３ｂは、光学系に関する情報２１及び第１の画像２２を取得する。本実施例において、光学系に関する情報２１及び第１の画像２２は、制御装置３０４から送信されたものである。なお、ステップＳ５０１及びステップＳ５０２の処理は同時に行われてもよい。また、ステップＳ５０３乃至Ｓ５０５は、ステップＳ２０２乃至Ｓ２０４と同様であるため、説明を省略する。

続いてステップＳ５０６（第２の送信ステップ）において、画像推定装置３０３は第３の画像２５を制御装置３０４へ送信する。

以上のように、本実施例によれば、第２の画像２３における幾何変換による画質の低下を、機械学習モデルを用いて高精度に補正することが可能な画像処理システムを提供することができる。なお、本実施例において制御装置３０４は特定の画像に対する処理を要求するのみである。実際の画像処理は画像推定装置３０３によって行われる。したがって、制御装置３０４をユーザ端末とすれば、ユーザ端末による処理負荷を低減することが可能となる。したがって、ユーザ側は低い処理負荷で出力画像を得ることが可能となる。

（その他の実施形態）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。本発明における画像処理装置は本発明の画像処理機能を有する装置であればよく、撮像装置やＰＣの形態で実現され得る。

各実施例によれば、幾何変換を施された画像における幾何変換による画質の低下を、機械学習モデルを用いて高精度に補正することが可能な画像処理方法、画像処理システム、及びプログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で様々な変形及び変更が可能である。

［方法１］
第１の画像に幾何変換を施すことで得られた第２の画像を取得するステップと、
前記幾何変換における前記第１の画像の変形量に関する情報を取得するステップと、
前記第２の画像と前記変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成するステップとを有することを特徴とする画像処理方法。

［方法２］
前記変形量に関する情報は、前記第１の画像内の二点の間の距離と前記第２の画像の前記二点に対応する二点の間の距離との比率を含む特徴とする方法１に記載の画像処理方法。

［方法３］
前記変形量に関する情報は、前記第１の画像内の領域の面積と前記第２の画像の前記領域に対応する領域の面積との比率を含む特徴とする方法１又は２の何れか一項に記載の画像処理方法。

［方法４］
前記変形量に関する情報は、前記第１の画像の一点から前記第２の画像の前記一点に対応する一点までの移動量を含むことを特徴とする方法１乃至３の何れか一項に記載の画像処理方法。

［方法５］
前記変形量に関する情報は、前記第１の画像における画素の位置ごとの前記変形量の値を含むことを特徴とする方法１乃至４の何れか一項に記載の画像処理方法。

［方法６］
前記幾何変換は、前記第１の画像における画素の位置ごとに前記変形量が異なる変換であることを特徴とする方法１乃至５の何れか一項に記載の画像処理方法。

［方法７］
前記幾何変換は、前記第１の画像の第１の射影方式から前記第２の画像の第２の射影方式への変換であることを特徴とする方法１乃至６の何れか一項に記載の画像処理方法。

［プログラム８］
方法１乃至７の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

［構成９］
プログラム８に記載のプログラムを記憶していることを特徴とする記憶媒体。

［構成１０］
第１の画像に幾何変換を施すことで得られた第２の画像を取得する手段と、
前記幾何変換における前記第１の画像の変形量に関する情報を取得する手段と、
前記第２の画像と前記変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成する手段とを有することを特徴とする画像処理装置。

［構成１１］
光学系及び撮像素子を用いた撮影により取得された第１の訓練画像と、前記光学系に関する情報と、正解画像とを取得する手段と、
前記光学系に関する情報に基づいて前記第１の訓練画像に幾何変換を施すことで、第２の訓練画像を生成する手段と、
前記幾何変換における前記第１の訓練画像の変形量に関する情報を取得する手段と、
前記第２の訓練画像と前記変形量に関する情報とを機械学習モデルに入力し、推定画像を生成する手段と、
前記正解画像及び前記推定画像に基づいてニューラルネットワークのウエイトを更新する手段とを有することを特徴とする学習装置。

［方法１２］
光学系及び撮像素子を用いた撮影により取得された第１の訓練画像と、前記光学系に関する情報と、正解画像とを取得するステップと、
前記光学系に関する情報に基づいて前記第１の訓練画像に幾何変換を施すことで、第２の訓練画像を生成するステップと、
前記幾何変換における前記第１の訓練画像の変形量に関する情報を取得するステップと、
前記第２の訓練画像と前記変形量に関する情報とを機械学習モデルに入力し、推定画像を生成するステップと、
前記正解画像及び前記推定画像に基づいてニューラルネットワークのウエイトを更新する手段とを有することを特徴とする学習済みモデルの製造方法。

［プログラム１３］
方法１２に記載の学習済みモデルの製造方法をコンピュータに実行させることを特徴とするプログラム。

［構成１４］
撮像装置及び前記撮像装置と互いに通信可能な学習装置を含む画像処理システムであって、
前記学習装置は、
光学系及び撮像素子を用いた撮影により取得された第１の訓練画像と、前記光学系に関する情報と、正解画像とを取得する手段と、
前記光学系に関する情報に基づいて前記第１の訓練画像に幾何変換を施すことで、第２の訓練画像を生成する手段と、
前記第１の訓練画像の幾何変換における前記第１の訓練画像の第１の変形量に関する情報を取得する手段と、
前記第２の訓練画像と前記第１の変形量に関する情報とを機械学習モデルに入力し、推定画像を生成する手段と、
前記正解画像及び前記推定画像に基づいてニューラルネットワークのウエイトを更新する手段とを有し、
前記撮像装置は、光学系、撮像素子、画像推定部を有し、
画像推定部は、
前記撮像装置を用いて取得された第１の画像と前記撮像装置の光学系に関する情報とを取得する手段と、
前記光学系に関する情報に基づいて前記第１の画像に幾何変換を施すことで、第２の画像を生成する手段と、
前記第１の画像の幾何変換における前記第１の画像の第２の変形量に関する情報を取得する手段と、
前記第２の画像と前記第２の変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成する手段とを備えることを特徴とする画像処理システム。

［構成１５］
制御装置及び前記制御装置と互いに通信可能な画像処理装置を含む画像処理システムであって、
前記制御装置は、光学系及び撮像素子を用いた撮影により取得された第１の画像に対する処理を前記画像処理装置に実行させるための要求を送信する手段を有し、
前記画像処理装置は、
前記要求を受信する手段と、
前記第１の画像と前記光学系の情報とを取得する取得手段と、
前記光学系の情報に基づいて前記第１の画像に幾何変換を施された第２の画像を取得する手段と、
前記幾何変換における前記第１の画像の変形量に関する情報を取得する手段と、
前記第２の画像と前記変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成する手段とを有することを特徴とする画像処理システム。

２２ 第１の画像
２３ 第２の画像
２４ 変形量に関する情報

Claims (15)

1. 第１の画像に幾何変換を施すことで得られた第２の画像を取得するステップと、
   前記幾何変換における前記第１の画像の変形量に関する情報を取得するステップと、
   前記第２の画像と前記変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成するステップとを有することを特徴とする画像処理方法。
2. 前記変形量に関する情報は、前記第１の画像内の二点の間の距離と前記第２の画像の前記二点に対応する二点の間の距離との比率を含む特徴とする請求項１に記載の画像処理方法。
3. 前記変形量に関する情報は、前記第１の画像内の領域の面積と前記第２の画像の前記領域に対応する領域の面積との比率を含む特徴とする請求項１に記載の画像処理方法。
4. 前記変形量に関する情報は、前記第１の画像の一点から前記第２の画像の前記一点に対応する一点までの移動量を含むことを特徴とする請求項１に記載の画像処理方法。
5. 前記変形量に関する情報は、前記第１の画像における画素の位置ごとの前記変形量の値を含むことを特徴とする請求項１に記載の画像処理方法。
6. 前記幾何変換は、前記第１の画像における画素の位置ごとに前記変形量が異なる変換であることを特徴とする請求項１に記載の画像処理方法。
7. 前記幾何変換は、前記第１の画像の第１の射影方式から前記第２の画像の第２の射影方式への変換であることを特徴とする請求項１に記載の画像処理方法。
8. 請求項１乃至７の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶していることを特徴とする記憶媒体。
10. 第１の画像に幾何変換を施すことで得られた第２の画像を取得する手段と、
    前記幾何変換における前記第１の画像の変形量に関する情報を取得する手段と、
    前記第２の画像と前記変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成する手段とを有することを特徴とする画像処理装置。
11. 光学系及び撮像素子を用いた撮影により取得された第１の訓練画像と、前記光学系に関する情報と、正解画像とを取得する手段と、
    前記光学系に関する情報に基づいて前記第１の訓練画像に幾何変換を施すことで、第２の訓練画像を生成する手段と、
    前記幾何変換における前記第１の訓練画像の変形量に関する情報を取得する手段と、
    前記第２の訓練画像と前記変形量に関する情報とを機械学習モデルに入力し、推定画像を生成する手段と、
    前記正解画像及び前記推定画像に基づいてニューラルネットワークのウエイトを更新する手段とを有することを特徴とする学習装置。
12. 光学系及び撮像素子を用いた撮影により取得された第１の訓練画像と、前記光学系に関する情報と、正解画像とを取得するステップと、
    前記光学系に関する情報に基づいて前記第１の訓練画像に幾何変換を施すことで、第２の訓練画像を生成するステップと、
    前記幾何変換における前記第１の訓練画像の変形量に関する情報を取得するステップと、
    前記第２の訓練画像と前記変形量に関する情報とを機械学習モデルに入力し、推定画像を生成するステップと、
    前記正解画像及び前記推定画像に基づいてニューラルネットワークのウエイトを更新する手段とを有することを特徴とする学習済みモデルの製造方法。
13. 請求項１２に記載の学習済みモデルの製造方法をコンピュータに実行させることを特徴とするプログラム。
14. 撮像装置及び前記撮像装置と互いに通信可能な学習装置を含む画像処理システムであって、
    前記学習装置は、
    光学系及び撮像素子を用いた撮影により取得された第１の訓練画像と、前記光学系に関する情報と、正解画像とを取得する手段と、
    前記光学系に関する情報に基づいて前記第１の訓練画像に幾何変換を施すことで、第２の訓練画像を生成する手段と、
    前記第１の訓練画像の幾何変換における前記第１の訓練画像の第１の変形量に関する情報を取得する手段と、
    前記第２の訓練画像と前記第１の変形量に関する情報とを機械学習モデルに入力し、推定画像を生成する手段と、
    前記正解画像及び前記推定画像に基づいてニューラルネットワークのウエイトを更新する手段とを有し、
    前記撮像装置は、光学系、撮像素子、画像推定部を有し、
    画像推定部は、
    前記撮像装置を用いて取得された第１の画像と前記撮像装置の光学系に関する情報とを取得する手段と、
    前記光学系に関する情報に基づいて前記第１の画像に幾何変換を施すことで、第２の画像を生成する手段と、
    前記第１の画像の幾何変換における前記第１の画像の第２の変形量に関する情報を取得する手段と、
    前記第２の画像と前記第２の変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成する手段とを備えることを特徴とする画像処理システム。
15. 制御装置及び前記制御装置と互いに通信可能な画像処理装置を含む画像処理システムであって、
    前記制御装置は、光学系及び撮像素子を用いた撮影により取得された第１の画像に対する処理を前記画像処理装置に実行させるための要求を送信する手段を有し、
    前記画像処理装置は、
    前記要求を受信する手段と、
    前記第１の画像と前記光学系の情報とを取得する取得手段と、
    前記光学系の情報に基づいて前記第１の画像に幾何変換を施された第２の画像を取得する手段と、
    前記幾何変換における前記第１の画像の変形量に関する情報を取得する手段と、
    前記第２の画像と前記変形量に関する情報とを機械学習モデルに入力し、第３の画像を生成する手段とを有することを特徴とする画像処理システム。

Images