JP7677003B2 - 撮像装置およびモデル学習システム - Google Patents

Description

画像処理機能を備えた撮像装置、および、モデル学習システムに関する。

非特許文献１には、撮像画像を表している受光素子毎の輝度信号を入力データとして事前に学習しておいて学習型ネットワークモデルに入力し、撮像画像のボケを改善する技術が開示されている。

"Learned large field-of-view imaging with thin-plate optics", ACM Transactions on Graphics, Volume 38, Issue 6, November 2019 Article No.: 219, pp 1-14

非特許文献１に開示された技術は、まだボケの改善が十分ではない。より、ボケの程度が少ない画像を出力できる技術が望まれる。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、ボケの程度が少ない補正後撮像画像を得られる撮像装置、および、撮像装置が使うモデルを学習するモデル学習システムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的態様との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

上記目的を達成するための撮像装置に係る１つの開示は、
画像のボケが光軸（１１ａ）に対して対称性をもつ撮像画像を、複数の受光素子を備えた受光センサ（１２）により撮像し、受光素子別の輝度を示す輝度信号を出力する撮像部（１０）と、
撮像部が出力した輝度信号と、輝度信号を検出した受光素子の位置を示す極座標成分とを入力データとし、入力データを学習型ネットワークモデルに入力してボケを補正した補正後撮像画像を生成し、生成した補正後撮像画像を所定の演算装置へ出力する画像処理部（２０、２２０）と、を備え、
学習型ネットワークモデルは、撮像画像に対してボケが改善されている教師画像を受光素子の位置に対応した画像位置別の輝度信号により示す教師輝度信号と、画像位置を示す極座標成分とを教師データとし、入力データと教師データとを含む学習データにより学習されている、撮像装置であって、
撮像部は、直交座標の配列で輝度信号を出力し、
画像処理部は、
撮像部が出力した輝度信号を極座標の配列に変換する座標変換部（２２１）と、
座標変換部が変換した後の輝度信号のそれぞれに、極座標成分である光軸からの距離を加えた入力データを生成する入力データ生成部（２２２）と、
入力データを学習型ネットワークモデルに入力して補正後撮像画像を生成する画像補正部（２２３）とを備え、
学習型ネットワークモデルは、教師画像を受光素子に対応した画像位置別の輝度信号により示し、かつ、極座標系で配列している教師輝度信号のそれぞれに、光軸からの距離を加えたデータを教師データとし、入力データと教師データとを含む学習データにより学習されている、撮像装置である。

撮像部が撮像する画像は、画像のボケが光軸に対して対称性を持っている。画像処理部は、学習型ネットワークモデルにより撮像画像のボケを補正する。学習型ネットワークモデルは、輝度信号だけでなく、輝度信号を検出した受光素子の位置を示す極座標成分も入力データとするモデルである。

この学習型ネットワークモデルは、撮像画像に対してボケが改善されている教師画像をベースとして学習されている。詳しくは、教師画像において受光素子に対応した画像位置別の輝度信号（すなわち教師輝度信号）と画像位置を示す極座標成分とを教師データとしている。学習型ネットワークモデルは、この教師データと入力データとを学習データとして学習されている。

学習型ネットワークモデルがこの学習データにより学習されていると、輝度信号のみを入力データとして学習されたモデルよりも補正精度が向上する。補正精度が向上する理由は以下の通りである。ボケが光軸に対して対称性を持つ撮像画像は、座標を極座標系とすると、互いに対称となる座標のボケが同様になる。そのため、上記の学習データとすることで、学習時にボケの対称性が利用されて学習型ネットワークモデルのパラメータが学習されるので、学習効率が向上する。学習効率が向上することは、よりボケを改善できる学習型ネットワークモデルになることを意味する。このようにして学習された学習型ネットワークモデルを用いて撮像画像を補正するので、ボケの程度が少ない補正後撮像画像を得られるのである。

上記目的を達成するための他の開示は、撮像装置が備える学習型ネットワークモデルを学習するモデル学習システムである。このモデル学習システムは、
画像のボケが光軸（１１ａ）に対して対称性をもつ撮像画像を、複数の受光素子を備えた受光センサ（１２）により撮像し、受光素子別の輝度を示す輝度信号を出力する撮像部（１０）と、
撮像画像に対してボケが改善されている教師画像を複数の受光素子に対応した画像位置別の輝度信号により示す教師輝度信号と、画像位置を示す極座標成分とを含む教師データを生成する教師データ生成部（１２３、３２３）と、
撮像部が出力した輝度信号と、輝度信号を検出した受光素子の位置を示す極座標成分とを入力データとし、入力データと教師データ生成部が生成した教師データとを含む学習データにより、学習型ネットワークモデルのパラメータを学習するモデル学習部（１２４、３２４）とを備え、
撮像部は、直交座標の配列で輝度信号を出力し、
教師データ生成部は、直交座標の配列で教師輝度信号を取得し、取得した教師輝度信号を極座標の配列に変換し、変換した後の教師輝度信号のそれぞれに、極座標成分である光軸からの距離を加えたデータを教師データとして生成する。

第１実施形態の撮像装置１の構成を示す図。 入力データ生成部２２と画像補正部２３が実行する処理を説明する図。 モデル学習システム１００の構成図。 第１実施形態の効果を説明する図。 第２実施形態の撮像装置２００の構成を示す図。 座標変換部２２１、入力データ生成部２２２および画像補正部２２３が実行する処理を説明する図。 モデル学習システム３００の構成図。 第２実施形態の効果を説明する図。

＜第１実施形態＞
以下、実施形態を図面に基づいて説明する。図１は、第１実施形態の撮像装置１の構成を示す図である。本実施形態の撮像装置１は車両に搭載され、車両の周囲の画像を撮像する。

撮像装置１は、撮像部１０と画像処理部２０とを備えている。撮像部１０は、車両の周囲を撮像し、撮像した画像（以下、撮像画像）を示すデジタルデータを画像処理部２０に出力する。撮像部１０は、レンズ１１と受光センサ１２と撮像制御部１３とを備えている。

レンズ１１は、車両外部からレンズ１１に入射する光を受光センサ１２の受光面１２ａに集光する。レンズ１１は、第１面を凹面、第２面を凸面とする非球面レンズとし、中央部のコントラストに優れる設計とする。また、レンズ１１は、車両で用いる場合の耐候性を考慮して、ガラス製とすることが好ましい。

受光センサ１２は、受光面１２ａに縦横に多数の受光素子が配置された構成である。受光素子は受光画素、あるいは、単に画素と言われることもある。受光素子は、光の強度を電気信号に変換する素子である。受光センサ１２としては、ＣＭＯＳセンサ、ＣＣＤセンサなどを用いることができる。受光センサ１２は、赤、緑、青のカラーフィルタが光路手前に配置されることにより、赤色の光の強度、緑色の光の強度、青色の光の強度を検出する。

受光面１２ａは、非点収差を補正するために、レンズ１１の光軸１１ａから離れるほどレンズ１１側に近づく湾曲形状である。受光面１２ａの湾曲の程度は、非点収差を補正できるように、レンズ１１の特性に応じて適宜、決定する。

前述のように、レンズ１１は、中央のコントラストに優れる。換言すれば、このレンズ１１を用いて撮像される撮像画像は、視野中心から視野周辺に向かうほどボケの程度が大きくなる。また、レンズ１１は、光軸１１ａに対して対称形状であるので、撮像画像は、ボケが光軸１１ａに対して対称性を持つ画像である。

撮像制御部１３は、受光センサ１２が備える受光素子を制御するものである。撮像制御部１３は、少なくとも１つのプロセッサを備えた構成により実現できる。撮像制御部１３は、受光センサ１２に撮像画像を逐次撮像させ、また、撮像画像を示す画像信号を画像処理部２０に逐次出力する。画像信号は、詳しくは、受光素子別の輝度信号である。受光センサ１２の受光面１２ａには、格子状に受光素子が配列しているので、撮像制御部１３は、受光素子別の輝度信号を、１列ずつ順番に直交座標系において連続する配列で、画像処理部２０に出力する。画像処理部２０は、逐次、画像処理部２０に入力される輝度信号の順番により、各輝度信号がどの受光素子が検出した輝度信号であるかを特定できる。なお、撮像制御部１３は、受光素子別の輝度信号に直交座標を付与して画像処理部２０に出力してもよい。

画像処理部２０は、撮像画像のボケを改善した補正後撮像画像を生成し、補正後撮像画像を示す画像データを演算装置２へ出力する。演算装置２は、画像データを演算する装置であればよい。演算装置２は、たとえば、画像データを処理して補正後撮像画像に写っている障害物を検出する装置である。演算装置２の他の具体例は、補正後撮像画像を表示する表示器である。

画像処理部２０は、少なくとも１つのプロセッサを備えた構成により実現できる。なお、撮像制御部１３と画像処理部２０が、同じプロセッサにより実現されてもよい。画像処理部２０は、プロセッサが実行する機能として、入力データ生成部２２と、画像補正部２３とを備える。

入力データ生成部２２は、画像補正部２３に入力する入力データを生成する。入力データの１単位は、１つの画素位置についての赤色の輝度値ＬＲ、緑色の輝度値ＬＧ、青色の輝度値ＬＢ、および、その画素位置の極座標（ｒ、θ）である。輝度値ＬＲ、ＬＧ、ＬＢは、輝度信号に基づいて定まる値とすることができる。

画素位置の極座標における距離ｒは、光軸１１ａからの距離を意味する。極座標における角度θは、始線からの角度である。入力データ生成部２２は、生成した入力データを画像補正部２３に出力する。

画像補正部２３は、入力データを学習型ネットワークモデルに入力して補正後撮像画像を生成する。そして、画像補正部２３は、生成した補正後撮像画像を演算装置２に出力する。画像処理部２０は、記憶部２４を備える。記憶部２４は不揮発性であり、記憶部２４に、画像補正部２３が用いる学習済みの学習型ネットワークモデルが記憶されている。

学習型ネットワークモデルは、学習型フィルタを用い、逆畳み込み演算を行うように構築されたモデルである。たとえば、非特許文献１にも開示されているＵ－ｎｅｔを用いることができる。なお、非特許文献１では、Ｕ－ｎｅｔの段数は６段になっている。本実施形態でも、段数は６段とすることができる。ただし、５段など６段以外の段数でもよい。入力データの１セットが５つのパラメータを備えるので、本実施形態で用いる学習型ネットワークモデルは入力チャンネルを５チャンネルとする。また、初段の変換は、たとえば、１２８チャンネルとする。

図２は、入力データ生成部２２と画像補正部２３が実行する処理を説明する図である。図２において、「Image_RGB」は、撮像制御部１３が出力する画像信号である。画像信号は、画素位置毎に、赤色、緑色、青色の３つの輝度値Ｌが、直交座標の配列で配列されている信号群である。「Adress_rθ」は、距離ｒ、角度θにより定まる極座標位置である。入力データ生成部２２は、これら５つのパラメータを結合して、１セットの入力データ「Input_RGBrθ」とする。

画像補正部２３は、入力データを、所定の大きさで順次切り出す。図２では、２５６×２５６の大きさを例示している。この切り出した入力データを、学習型ネットワークモデルに入力して出力データを得る。「Output_RGBrθ」は、入力データを順次、学習型ネットワークモデルに入力して得られた出力データを意味する。画像補正部２３は、この出力データから、極座標（ｒ、θ）のデータを除去することで、「Image_RGB」を得る。画像補正部２３側の「Image_RGB」は、補正後撮像画像を表す画像データである。

〔学習処理〕
次に、学習型ネットワークモデルの学習処理について説明する。図３に、学習処理をするモデル学習システム１００の構成を示す。モデル学習システム１００は、撮像部１０、教師画像撮像装置１１０、モデル生成装置１２０を備える。

教師画像撮像装置１１０は、教師画像を撮像する装置である。教師画像は、撮像部１０が撮像する撮像画像に対してボケが改善されている画像である。教師画像撮像装置１１０は、このような教師画像を撮像するために、複数枚のレンズを組み合わせたりする。教師画像撮像装置１１０は、教師画像を、受光素子の位置に対応した画像位置別の輝度信号により示す教師輝度信号に、各教師輝度信号の画像位置を示す直交座標を付与して、モデル生成装置１２０に出力する。

撮像部１０は、撮像装置１が備えるものと同じである。学習時、撮像部１０は、教師画像撮像装置１１０が撮像する範囲と同じ範囲を撮像する。なお、教師画像は、コンピュータグラフィックスにより作成したものでもよい。教師画像がコンピュータグラフィックスにより作成した画像である場合、撮像部１０は、教師画像を撮像する。

モデル生成装置１２０は、入力データ生成部１２２、教師データ生成部１２３、モデル学習部１２４、記憶部１２５を備える。入力データ生成部１２２は、撮像装置１が備える入力データ生成部２２と同じ処理により、入力データを生成する。

教師データ生成部１２３は、教師輝度信号を教師画像撮像装置１１０から取得し、この教師輝度信号をもとに教師データを生成する。教師データは、入力データにおける撮像画像を教師画像に置き換えたデータである。したがって、教師データは、画像位置別の輝度信号に、各画像位置を示す極座標（ｒ、θ）を加えたデータである。

モデル学習部１２４は、入力データ生成部１２２が生成した入力データと、教師データ生成部１２３が生成した教師データとを学習データとして、学習型ネットワークモデルのパラメータを学習する。そして、モデル学習部１２４は、パラメータを学習した学習型ネットワークモデルを記憶部１２５に記憶する。撮像装置１が備える記憶部２４に記憶されている学習型ネットワークモデルは、このモデル学習システム１００により学習された学習型ネットワークモデルである。学習済みの学習型ネットワークモデルを記憶部２４に記憶するために、撮像装置１とモデル学習システム１００は、相互に通信できるようになっていてもよい。また、作業者が可搬型記憶媒体を用いて、記憶部１２５から記憶部２４へ、学習型ネットワークモデルをコピーしてもよい。

このように、学習型ネットワークモデルは、教師輝度信号と極座標で示す画像位置とを教師データとして学習されている。学習型ネットワークモデルがこのようにして学習されていると、以下の理由により、輝度信号のみを入力データとして学習されたモデルよりも補正精度が向上する。

撮像画像は、ボケが光軸に対して対称性を持っているため、極座標を入力データの一部として学習することで、ボケの対称性が利用されて学習型ネットワークモデルのパラメータが学習されるからである。このようにして学習された学習型ネットワークモデルを用いて撮像画像を補正することで、撮像装置１は、ボケの程度が少ない補正後撮像画像を得られる。

〔画像改善効果〕
図４に、撮像装置１による画像改善効果を確認した結果を示す。図４は、横軸がＨａｌｆＦｏＶ（°）である。ＨａｌｆＦｏＶは、光軸を０°とし、光軸に対して一方の側のみの視野を意味する。全体の視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）は、ＨａｌｆＦｏＶの２倍である。図４の縦軸は、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）である。

図４において非特許文献１として示した結果は、第１実施形態の撮像装置１の構成において、学習型ネットワークモデルのみ、非特許文献１に開示されているモデルとした装置を用いた結果である。非特許文献１に開示されているモデルは、Ｕ－ｎｅｔを用いるが、入力データが、各画素の輝度信号のみであり、各画素の輝度信号に極座標情報は追加されない。

図４に示されるように、第１実施形態によれば、非特許文献１に開示されている入力データと学習型ネットワークモデルを用いるよりも、全体的にＰＳＮＲが向上していることが分かる。

また、非特許文献１では、回折型ＤＯＥを用いたシングルレンズを採用している。非特許文献１には、ＨａｌｆＦｏＶが９°～１３°付近では、非球面レンズを採用するよりもＰＳＮＲが向上しているグラフが開示されている。しかし、このグラフは、換言すれば、ＨａｌｆＦｏＶが０°から９°付近では、非球面レンズを採用したほうが、ＰＳＮＲがよいことを意味している。そこで、本実施形態では、非球面のレンズ１１を採用している。これにより、視野中央部の解像度が、非特許文献１に開示された構成よりも向上する。

ただし、非球面のレンズ１１を採用すると、非点収差により、周辺視野ではＰＳＮＲが低くなる。そこで、非点収差を補正するために、撮像装置１では、受光面１２ａが湾曲形状になっている受光センサ１２を備える。この構成により、視野周辺の解像度も向上する。

＜第２実施形態＞
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

図５に、第２実施形態の撮像装置２００の構成を示す。撮像装置２００は、撮像装置１が備えているものと同じ撮像部１０を備える。撮像装置２００は、この撮像部１０と、画像処理部２２０とを備える。

画像処理部２２０は、座標変換部２２１、入力データ生成部２２２、画像補正部２２３、記憶部２２４を備える。座標変換部２２１は、撮像部１０が出力した輝度信号を、極座標の配列に変換する。

入力データ生成部２２２は、画像補正部２２３に入力する入力データを生成する。第２実施形態での入力データの１単位は、１つの画素位置についての赤色の輝度値ＬＲ、緑色の輝度値ＬＧ、青色の輝度値ＬＢ、および、その画素位置の極座標成分の距離ｒである。第１実施形態とは異なり、入力データに、画素位置の極座標成分の角度θは含ませない。したがって、入力データは４チャンネルのデータになる。

撮像画像は光軸１１ａに対してボケの程度が対称性を持つ画像である。したがって、角度θが変わっても、ボケの程度は同じである。そこで、輝度信号の配列を極座標系に変換している第２実施形態では、画素位置の極座標成分のうち角度θは、入力データに含ませないのである。

画像補正部２２３は、入力データ生成部２２２が生成した入力データを学習型ネットワークモデルに入力して補正後撮像画像を生成する。そして、画像補正部２２３は、生成した補正後撮像画像を演算装置２に出力する。画像処理部２２０は、記憶部２２４を備える。記憶部２２４には、画像補正部２２３が用いる学習済みの学習型ネットワークモデルが記憶されている。

図６は、座標変換部２２１、入力データ生成部２２２および画像補正部２２３が実行する処理を説明する図である。図６において、座標変換部２２１の「Image_RGB」は撮像制御部１３が出力する画像信号、「Polar_RGB」は極座標の順で配列された画像信号である。「Adress_r」は画素位置の極座標成分である距離ｒ、「Input_RGBr」は入力データである。

画像補正部２２３は、入力データを、所定の大きさで順次切り出し、切り出した入力データを、学習型ネットワークモデルに入力して出力データを得る。「Output_RGBr」は、入力データを順次、学習型ネットワークモデルに入力して得られた出力データを意味する。画像補正部２２３は、この出力データから、極座標（ｒ）のデータを除去して、「Polar_RGB」を得る。この「Polar_RGB」は極座標の配列になっている補正後撮像画像であるので、さらに、「Polar_RGB」を直交座標の配列に変換して「Image_RGB」を得る。画像補正部２２３側の「Image_RGB」は、直交座標系で補正後撮像画像を表す画像データである。

〔学習処理〕
次に、第２実施形態において学習型ネットワークモデルを学習する学習処理について説明する。図７に、学習処理をするモデル学習システム３００の構成を示す。モデル学習システム３００は、撮像部１０、教師画像撮像装置１１０、モデル生成装置３２０を備える。撮像部１０と教師画像撮像装置１１０は、モデル学習システム１００が備えるものと同じである。

モデル生成装置３２０は、座標変換部３２１、入力データ生成部３２２、教師データ生成部３２３、モデル学習部３２４、記憶部３２５を備える。座標変換部３２１、入力データ生成部３２２は、それぞれ、撮像装置２００が備える座標変換部２２１、入力データ生成部２２２と同じ処理を実行する。

教師データ生成部３２３は、教師輝度信号を教師画像撮像装置１１０から取得する。教師画像撮像装置１１０から取得する教師輝度信号は直交座標系で配列している。教師データ生成部３２３は、教師画像撮像装置１１０から取得した教師輝度信号を極座標の配列に変換する。さらに、教師データ生成部３２３は、変換後の各画像位置別の教師輝度信号に、その画像位置を示す極座標のうちの距離ｒを加えて教師データとする。

モデル学習部３２４は、入力データ生成部３２２が生成した入力データと、教師データ生成部３２３が生成した教師データとを学習データとして、学習型ネットワークモデルのパラメータを学習する。そして、モデル学習部３２４は、パラメータを学習した学習型ネットワークモデルを記憶部３２５に記憶する。撮像装置２００が備える記憶部３２５に記憶されている学習型ネットワークモデルは、このモデル学習システム３００により学習された学習型ネットワークモデルである。

学習型ネットワークモデルがこのようにして学習されても、輝度信号のみを入力データとして学習されたモデルよりも補正精度が向上する。

〔画像改善効果〕
図８に、撮像装置２００による画像改善効果を確認した結果を示す。図８も、図４と同じく、横軸がＨａｌｆＦｏＶ、縦軸がＰＳＮＲである。図８に示されるように、第２実施形態のようにしても、非特許文献１に開示されている入力データと学習型ネットワークモデルを用いるよりも、全体的にＰＳＮＲが向上していることが分かる。

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。

撮像装置１、２００は、車両に搭載されていなくてもよい。車両以外の移動体に搭載されてもよいし、移動しない場所に設定されてもよい。

また、撮像装置１、２００とモデル学習システム１００、３００とを備えた１つのシステムが構成されていてもよい。

撮像制御部１３、画像処理部２０、２２０、モデル生成装置１２０、３２０は、専用ハードウエア論理回路により実現されてもよいし、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより実現されてもよい。ハードウエア論理回路は、たとえば、ＡＳＩＣ、ＦＰＧＡである。上記コンピュータプログラムは、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記コンピュータプログラムが記憶される。

１：撮像装置 ２：演算装置 １０：撮像部 １１：レンズ １１ａ：光軸 １２：受光センサ １２ａ：受光面 １３：撮像制御部 ２０：画像処理部 ２２：入力データ生成部 ２３：画像補正部 ２４：記憶部 １００：モデル学習システム １１０：教師画像撮像装置 １２０：モデル生成装置 １２２：入力データ生成部 １２３：教師データ生成部 １２４：モデル学習部 １２５：記憶部 ２００：撮像装置 ２２０：画像処理部 ２２１：座標変換部 ２２２：入力データ生成部 ２２３：画像補正部 ２２４：記憶部 ３００：モデル学習システム ３２０：モデル生成装置 ３２１：座標変換部 ３２２：入力データ生成部 ３２３：教師データ生成部 ３２４：モデル学習部 ３２５：記憶部 ｒ：距離 θ：角度

Claims (6)

1. 画像のボケが光軸（１１ａ）に対して対称性をもつ撮像画像を、複数の受光素子を備えた受光センサ（１２）により撮像し、前記受光素子別の輝度を示す輝度信号を出力する撮像部（１０）と、
   前記撮像部が出力した前記輝度信号と、前記輝度信号を検出した前記受光素子の位置を示す極座標成分とを入力データとし、前記入力データを学習型ネットワークモデルに入力して前記ボケを補正した補正後撮像画像を生成し、生成した前記補正後撮像画像を所定の演算装置へ出力する画像処理部（２０、２２０）と、を備え、
   前記学習型ネットワークモデルは、前記撮像画像に対して前記ボケが改善されている教師画像を前記受光素子の位置に対応した画像位置別の前記輝度信号により示す教師輝度信号と、前記画像位置を示す極座標成分とを教師データとし、前記入力データと前記教師データとを含む学習データにより学習されている、撮像装置であって、
   前記撮像部は、直交座標の配列で前記輝度信号を出力し、
   前記画像処理部は、
   前記撮像部が出力した前記輝度信号を極座標の配列に変換する座標変換部（２２１）と、
   前記座標変換部が変換した後の前記輝度信号のそれぞれに、前記極座標成分である前記光軸からの距離を加えた前記入力データを生成する入力データ生成部（２２２）と、
   前記入力データを前記学習型ネットワークモデルに入力して前記補正後撮像画像を生成する画像補正部（２２３）とを備え、
   前記学習型ネットワークモデルは、前記教師画像を前記受光素子に対応した画像位置別の前記輝度信号により示し、かつ、極座標系で配列している前記教師輝度信号のそれぞれに、前記光軸からの距離を加えたデータを前記教師データとし、前記入力データと前記教師データとを含む学習データにより学習されている、撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記画像処理部は、
   前記輝度信号のそれぞれに、前記極座標成分である、前記光軸からの距離（ｒ）と始線からの角度（θ）とを加えた前記入力データを生成する入力データ生成部（２２）と、
   前記入力データを前記学習型ネットワークモデルに入力して前記補正後撮像画像を生成する画像補正部（２３）とを備え、
   前記学習型ネットワークモデルは、前記教師画像を前記受光素子の位置に対応した画像位置別の前記輝度信号により示し、かつ、直交座標系で配列している前記教師輝度信号のそれぞれに、前記光軸からの距離と、前記始線からの角度とを加えたデータを前記教師データとし、前記入力データと前記教師データとを含む学習データにより学習されている、撮像装置。
3. 請求項１または２に記載の撮像装置であって、
   前記撮像部は、光軸から離れるほどボケが大きくなる非球面のレンズ（１１）を備える、撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記撮像部は、受光面（１２ａ）が、前記光軸から離れるほど前記レンズ側に近づく湾曲形状になっている受光センサ（１２）を備える、撮像装置。
5. 請求項３または４に記載の撮像装置であって、
   前記レンズはガラス製である、撮像装置。
6. 画像のボケが光軸（１１ａ）に対して対称性をもつ撮像画像を、複数の受光素子を備えた受光センサ（１２）により撮像し、前記受光素子別の輝度を示す輝度信号を出力する撮像部（１０）と、
   前記撮像画像に対してボケが改善されている教師画像を複数の前記受光素子に対応した画像位置別の前記輝度信号により示す教師輝度信号と、前記画像位置を示す極座標成分とを含む教師データを生成する教師データ生成部（１２３、３２３）と、
   前記撮像部が出力した前記輝度信号と、前記輝度信号を検出した前記受光素子の位置を示す極座標成分とを入力データとし、前記入力データと前記教師データ生成部が生成した前記教師データとを含む学習データにより、学習型ネットワークモデルのパラメータを学習するモデル学習部（１２４、３２４）とを備え、
   前記撮像部は、直交座標の配列で前記輝度信号を出力し、
   前記教師データ生成部は、直交座標の配列で前記教師輝度信号を取得し、取得した前記教師輝度信号を極座標の配列に変換し、変換した後の前記教師輝度信号のそれぞれに、前記極座標成分である前記光軸からの距離を加えたデータを前記教師データとして生成する、モデル学習システム。

Images