JP7476361B2 - 情報処理装置、撮像装置、情報処理方法、及びプログラム - Google Patents

Description

本開示の技術は、情報処理装置、撮像装置、情報処理方法、及びプログラムに関する。

特開２０１８－２０６３８２号公報には、入力層、出力層、及び入力層と出力層との間に設けられる中間層を有するニューラルネットワークを用いて、入力層に入力される入力画像に対して処理を行う処理部と、中間層に含まれる１以上のノードの少なくとも１つの内部パラメータであって、学習によって算出される内部パラメータを、学習の後に処理を行うとき、入力画像に関連するデータに基づいて調整する調整部と、を備える画像処理システムが開示されている。

また、特開２０１８－２０６３８２号公報に記載の画像処理システムにおいて、入力画像は、ノイズを含む画像であり、入力画像は、処理部が行う処理により、入力画像からノイズを除去、又は低減される。

また、特開２０１８－２０６３８２号公報に記載の画像処理システムにおいて、ニューラルネットワークは、第１のニューラルネットワークと、第２のニューラルネットワークと、入力画像を高周波成分画像と低周波成分画像とに分割し、高周波成分画像を第１のニューラルネットワークに入力する一方、低周波成分画像を第２のニューラルネットワークに入力する分割ユニットと、第１のニューラルネットワークから出力される第１の出力画像と、第２のニューラルネットワークから出力される第２の出力画像とを合成する合成ユニットと、を有し、調整部は、第１のニューラルネットワークの内部パラメータを入力画像に関連するデータに基づいて調整する一方、第２のニューラルネットワークの内部パラメータは調整しない。

更に、特開２０１８－２０６３８２号公報には、ニューラルネットワークを用いて、ノイズが低減された出力画像を入力画像から生成する処理部と、ニューラルネットワークの内部パラメータを、入力画像の撮像条件に応じて調整する調整部と、を備える画像処理システムが開示されている。

特開２０２０－１６６８１４号公報には、被検者の所定部位の医用画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、第１の画像から、第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、第１の画像の少なくとも一部の領域に関する情報を用いて得た割合により第１の画像と第２画像とを合成して得た合成画像を表示部に表示させる表示制御部と、を備える医用画像処理装置が開示されている。

特開２０２０－１８４３００号公報には、少なくとも１つの命令語を保存するメモリと、メモリと電気的に接続され、命令語を実行することで、入力イメージから入力イメージの品質を示すノイズマップを獲得し、入力イメージ及びノイズマップを複数のレイヤを含む学習ネットワークモデルに適用し、入力イメージの品質の改善された出力イメージを獲得するプロセッサと、を含み、プロセッサは、複数のレイヤのうち少なくとも一つの中間レイヤにノイズマップを提供し、学習ネットワークモデルは、複数のサンプルイメージ、各サンプルイメージに対するノイズマップ及び各サンプルイメージに対する原本イメージの関係を人工知能アルゴリズムを通じて学習して獲得された学習済み人工知能モデルである電子装置が開示されている。

本開示の技術に係る一つの実施形態は、ニューラルネットワークを用いたＡＩ方式でのみ画像が処理される場合に比べ、画質が調整された画像を得ることができる情報処理装置、撮像装置、情報処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、ニューラルネットワークを用いたＡＩ方式で撮像画像を処理し、撮像画像がＡＩ方式で処理されることで得られた第１画像と、撮像画像がＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行う情報処理装置である。

本開示の技術に係る第２の態様は、プロセッサが、ＡＩ方式で撮像画像に含まれるノイズを調整するＡＩ方式ノイズ調整処理を行い、合成処理を行うことでノイズを調整する、第１の態様に係る情報処理装置である。

本開示の技術に係る第３の態様は、プロセッサが、ニューラルネットワークを用いない非ＡＩ方式でノイズを調整する非ＡＩ方式ノイズ調整処理を行い、第２画像が、撮像画像について非ＡＩ方式ノイズ調整処理によってノイズが調整されることで得られた画像である、第２の態様に係る情報処理装置である。

本開示の技術に係る第４の態様は、第２画像が、撮像画像についてノイズが調整されずに得られた画像である、第２の態様又は第３の態様に係る情報処理装置である。

本開示の技術に係る第５の態様は、プロセッサが、第１画像及び第２画像に対して重みを付与し、重みに応じて第１画像及び第２画像を合成する、第２の態様から第４の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第６の態様は、重みが、第１画像に対して付与される第１重みと、第２画像に対して付与される第２重みとに類別され、プロセッサが、第１重み及び第２重みを用いた重み付け平均を行うことで第１画像及び第２画像を合成する、第５の態様に係る情報処理装置である。

本開示の技術に係る第７の態様は、プロセッサが、撮像画像に関連する関連情報に応じて重みを変更する、第５の態様又は第６の態様に係る情報処理装置である。

本開示の技術に係る第８の態様は、関連情報が、撮像画像を得る撮像で用いられたイメージセンサの感度に関連する感度関連情報を含む、第７の態様に係る情報処理装置である。

本開示の技術に係る第９の態様は、関連情報が、撮像画像の明るさに関連する明るさ関連情報を含む、第７の態様又は第８の態様に係る情報処理装置である。

本開示の技術に係る第１０の態様は、明るさ関連情報が、撮像画像の少なくとも一部の画素統計値である、第９の態様に係る情報処理装置である。

本開示の技術に係る第１１の態様は、関連情報が、撮像画像の空間周波数を示す空間周波数情報を含む、第７の態様から第１０の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１２の態様は、プロセッサが、撮像画像に基づいて、撮像画像に写り込んでいる被写体を検出し、検出した被写体に応じて重みを変更する、第５の態様から第１１の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１３の態様は、プロセッサが、撮像画像に基づいて、撮像画像に写り込んでいる被写体の部位を検出し、検出した部位に応じて重みを変更する、第５の態様から第１２の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１４の態様は、ニューラルネットワークが、撮像シーン毎に設けられており、プロセッサが、撮像シーン毎にニューラルネットワークを切り替え、ニューラルネットワークに応じて重みを変更する、第５の態様から第１３の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１５の態様は、プロセッサが、第１画像の特徴値と第２画像の特徴値との相違度に応じて重みを変更する、第５の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１６の態様は、プロセッサが、ニューラルネットワークに入力される画像を得る撮像で用いられたイメージセンサ及び撮像条件に応じて定まる画像特性パラメータについて、ニューラルネットワークに入力される画像を正規化する、第２の態様から第１５の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１７の態様は、ニューラルネットワークを学習させる場合にニューラルネットワークに入力される学習用画像が、第１撮像装置によって撮像されることで得られた第１ＲＡＷ画像のビット数及びオフセット値のうちの少なくとも１つの第１パラメータについて第１ＲＡＷ画像が正規化された画像である、第２の態様から第１６の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１８の態様は、撮像画像が、推論用画像であり、第１パラメータが、学習用画像が入力されたニューラルネットワークに関連付けられており、学習用画像が入力されることで学習が行われたニューラルネットワークに、第２撮像装置によって撮像されることで得られた第２ＲＡＷ画像が推論用画像として入力される場合、プロセッサが、学習用画像が入力されたニューラルネットワークに関連付けられている第１パラメータと、第２ＲＡＷ画像のビット数及びオフセット値のうちの少なくとも１つの第２パラメータとを用いて第２ＲＡＷ画像を正規化する、第１７の態様に係る情報処理装置である。

本開示の技術に係る第１９の態様は、第１画像が、第１パラメータ及び第２パラメータを用いて正規化された第２ＲＡＷ画像について、学習用画像が入力されることで学習が行われたニューラルネットワークを用いたＡＩ方式ノイズ調整処理によってノイズが調整されることで得られた正規化後ノイズ調整画像であり、プロセッサが、第１パラメータ及び第２パラメータを用いて正規化後ノイズ調整画像を、第２パラメータの画像に調整する、第１８の態様に係る情報処理装置である。

本開示の技術に係る第２０の態様は、プロセッサが、第１画像及び第２画像に対して、指定された設定値に従って信号処理を行い、設定値が、第１画像に対して信号処理を行う場合と第２画像に対して信号処理を行う場合とで異なる、第２の態様から第１９の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第２１の態様は、プロセッサが、ＡＩ方式ノイズ調整処理によって失われたシャープネスを補う処理を第１画像に対して行う、第２の態様から第２０の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第２２の態様は、合成処理で合成対象とされる第１画像が、撮像画像に対してＡＩ方式ノイズ調整処理が行われることで得られた色差信号により示される画像である、第２の態様から第２１の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第２３の態様は、合成処理で合成対象とされる第２画像が、撮像画像に対してＡＩ方式ノイズ調整処理が行われず得られた輝度信号により示される画像である、第２の態様から第２２の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第２４の態様は、合成処理で合成対象とされる第１画像が、撮像画像に対してＡＩ方式ノイズ調整処理が行われることで得られた色差信号により示される画像であり、第２画像が、撮像画像に対してＡＩ方式ノイズ調整処理が行われず得られた輝度信号により示される画像である、第２の態様から第２３の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第２５の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、イメージセンサと、を備え、プロセッサが、イメージセンサによって撮像されることで得られた撮像画像を、ニューラルネットワークを用いたＡＩ方式で処理し、撮像画像がＡＩ方式で処理されることで得られた第１画像と、撮像画像がＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行う撮像装置である。

本開示の技術に係る第２６の態様は、イメージセンサによって撮像されることで得られた撮像画像を、ニューラルネットワークを用いたＡＩ方式で処理すること、及び、撮像画像がＡＩ方式で処理されることで得られた第１画像と、撮像画像がＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行うことを含む情報処理方法である。

本開示の技術に係る第２７の態様は、コンピュータに、イメージセンサによって撮像されることで得られた撮像画像を、ニューラルネットワークを用いたＡＩ方式で処理すること、及び、撮像画像がＡＩ方式で処理されることで得られた第１画像と、撮像画像がＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行うことを含む処理を実行させるためのプログラムである。

撮像装置の全体の構成の一例を示す概略構成図である。 撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。 画像処理エンジンの機能の一例を示すブロック図である。 学習実行システムの構成の一例を示す概念図である。 ＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。 重み導出部の処理内容の一例を示すブロック図である。 重み付与部及び合成部の処理内容の一例を示す概念図である。 信号処理部の機能の一例を示す概念図である。 画質調整処理の流れの一例を示すフローチャートである。 第１変形例に係る重み導出部の処理内容の一例を示す概念図である。 第１変形例に係る重み付与部及び合成部の処理内容の一例を示す概念図である。 第２変形例に係る重み導出部の処理内容の一例を示す概念図である。 第３変形例及び第４変形例に係る重み導出部の処理内容の一例を示す概念図である。 第５変形例に係る重み導出部の処理内容の一例を示す概念図である。 第６変形例に係るＮＶＭの記憶内容の一例を示すブロック図である。 第６変形例に係るＡＩ方式処理部の処理内容の一例を示す概念図である。 第６変形例に係る重み導出部の処理内容の一例を示すブロック図である。 第７変形例に係る学習実行システムの構成の一例を示す概念図である。 第７変形例に係る画像処理エンジンの処理内容の一例を示す概念図である。 第８変形例に係る信号処理部及びパラメータ調整部の機能の一例を示すブロック図である。 第９変形例に係るＡＩ方式処理部、非ＡＩ方式処理部、及び信号処理部の処理内容の一例を示す概念図である。 第９変形例に係る第１画像処理部の処理内容の一例を示す概念図である。 第９変形例に係る第２画像処理部の処理内容の一例を示す概念図である。 第９変形例に係る合成部の処理内容の一例を示す概念図である。 画質調整処理の変形例を示す概念図である。 撮像システムの一例を示す概略構成図である。

以下、添付図面に従って本開示の技術に係る画像処理装置、撮像装置、画像処理方法、及びプログラムの実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＮＮとは、“Neural Network”の略称を指す。ＣＮＮとは、“Convolutional Neural Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＦＩＲとは、“Finite Impulse Response”の略称を指す。ＩＩＲとは、“Infinite Impulse Response”の略称を指す。ＪＰＥＧとは、“Joint Photographic Experts Group”の略称を指す。ＴＩＦＦとは、“Tagged Image File Format”の略称を指す。ＪＰＥＧ ＸＲとは、“Joint Photographic Experts Group Extended Range”の略称を指す。ＩＤとは、“Identification”の略称を指す。ＬＳＢとは、“Least Significant Bit”の略称を指す。

一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、画像処理エンジン１２、撮像装置本体１６、及び交換レンズ１８を備えている。画像処理エンジン１２は、本開示の技術に係る「情報処理装置」及び「コンピュータ」の一例である。画像処理エンジン１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対するピントの調整を手動で行う場合にユーザ等によって操作される。

図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像範囲を撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。

本実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。

レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。

撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。

タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。

ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。

タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。

本実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。

一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素を有しており、受光面７２Ａは、複数の感光画素によって形成されている。各感光画素は、マイクロレンズ（図示省略）を有する。各感光画素は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

また、複数の感光画素には、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。

なお、以下では、説明の便宜上、マイクロレンズ及びＲのカラーフィルタを有する感光画素をＲ画素と称し、マイクロレンズ及びＧのカラーフィルタを有する感光画素をＧ画素と称し、マイクロレンズ及びＢのカラーフィルタを有する感光画素をＢ画素と称する。また、以下では、説明の便宜上、Ｒ画素から出力される電気信号を「Ｒ信号」と称し、Ｇ画素から出力される電気信号を「Ｇ信号」と称し、Ｂ画素から出力される電気信号を「Ｂ信号」と称する。また、以下では、説明の便宜上、Ｒ信号、Ｇ信号、及びＢ信号を「ＲＧＢの色信号」とも称する。

交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。

また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。

なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。

第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。

第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。

第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。

フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。

撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。

ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。

撮像装置本体１６は、イメージセンサ２０、画像処理エンジン１２、システムコントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及びＡ／Ｄ変換器７４を備えている。

入出力インタフェース７０には、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

システムコントローラ４４は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を備えている。システムコントローラ４４において、ＮＶＭは、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。システムコントローラ４４のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、システムコントローラ４４のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。システムコントローラ４４において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像装置１０の全体を制御する。すなわち、図２に示す例では、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がシステムコントローラ４４によって制御される。

画像処理エンジン１２は、システムコントローラ４４の制御下で動作する。画像処理エンジン１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ここで、ＣＰＵ６２は、本開示の技術に係る「プロセッサ」の一例であり、ＮＶＭ６４は、本開示の技術に係る「メモリ」の一例である。

ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ＮＶＭ６４は、非一時的記憶媒体であり、システムコントローラ４４のＮＶＭに記憶されている各種パラメータ及び各種プログラムとは異なる各種パラメータ及び各種プログラムを記憶している。各種プログラムには、後述の画質調整処理プログラム８０（図３参照）が含まれる。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。

ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って画像処理を行う。

光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとしてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。

Ａ／Ｄ変換器７４は、アナログ画像データをデジタル化することでＲＡＷ画像７５Ａを生成する。ＲＡＷ画像７５Ａは、本開示の技術に係る「撮像画像」の一例である。ＲＡＷ画像７５Ａは、Ｒ画素、Ｇ画素、及びＢ画素がモザイク状に配列された画像である。また、本実施形態では、一例として、ＲＡＷ画像７５Ａに含まれるＲ画素、Ｂ画素、及びＧ画素の各画素のビット数、すなわち、ビット長は、１４ビットである。

本実施形態において、一例として、画像処理エンジン１２のＣＰＵ６２は、Ａ／Ｄ変換器７４からＲＡＷ画像７５Ａを取得し、取得したＲＡＷ画像７５Ａに対して画像処理を行う。

画像メモリ４６には、処理済み画像７５Ｂが記憶される。処理済み画像７５Ｂは、ＣＰＵ６２によってＲＡＷ画像７５Ａに対して画像処理が行われることで得られた画像である。

ＵＩ系デバイス４８は、ディスプレイ２８を備えており、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。

外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。

通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続されている。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とシステムコントローラ４４との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、システムコントローラ４４からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してシステムコントローラ４４に出力する。

一例として図３に示すように、撮像装置１０のＮＶＭ６４には、画質調整処理プログラム８０が記憶されている。画質調整処理プログラム８０は、本開示の技術に係る「プログラム」の一例である。また、撮像装置１０のＮＶＭ６４には、学習済みニューラルネットワーク８２が記憶されている。なお、以下では、説明の便宜上、「ニューラルネットワーク」を簡略化して「ＮＮ」とも称する。

ＣＰＵ６２は、ＮＶＭ６４から画質調整処理プログラム８０を読み出し、読み出した画質調整処理プログラム８０をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行する画質調整処理プログラム８０に従って画質調整処理（図９参照）を行う。画質調整処理は、ＣＰＵ６２が画質調整処理プログラム８０に従ってＡＩ方式処理部６２Ａ、非ＡＩ方式処理部６２Ｂ、重み導出部６２Ｃ、重み付与部６２Ｄ、合成部６２Ｅ、及び信号処理部６２Ｆとして動作することで実現される。

一例として図４に示すように、学習済みＮＮ８２は、学習実行システム８４によって生成される。学習実行システム８４は、記憶装置８６及び学習実行装置８８を備えている。記憶装置８６の一例としては、ＨＤＤが挙げられる。なお、ＨＤＤは、あくまでも一例に過ぎず、ＳＳＤ等の他種類の記憶装置であってもよい。また、学習実行装置８８は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を有するコンピュータ等によって実現される装置である。

学習済みＮＮ８２は、学習実行装置８８によってＮＮ９０に対して機械学習が実行されることで生成される。学習済みＮＮ８２は、ＮＮ９０が機械学習によって最適化されることで生成された学習済みモデルである。ＮＮ９０の一例としては、ＣＮＮが挙げられる。

記憶装置８６には、複数（例えば、数万～数千億）の教師データ９２が記憶されている。学習実行装置８８は、記憶装置８６に接続されている。学習実行装置８８は、記憶装置８６から複数の教師データ９２を取得し、取得した複数の教師データ９２を用いてＮＮ９０に対して機械学習を行わせる。

教師データ９２は、ラベル付きデータである。ラベル付きデータとしては、例えば、学習用ＲＡＷ画像７５Ａ１と正解データ７５Ｃとが対応付けられたデータである。学習用ＲＡＷ画像７５Ａ１としては、例えば、撮像装置１０によって撮像されることで得られたＲＡＷ画像７５Ａ、及び／又は、撮像装置１０とは異なる撮像装置によって撮像されることで得られたＲＡＷ画像が挙げられる。

正解データ７５Ｃは、学習用ＲＡＷ画像７５Ａ１からノイズが取り除かれた画像である。ここで、ノイズとは、例えば、撮像装置１０による撮像に起因して生じるノイズを指す。ノイズとしては、例えば、画素欠陥、暗電流ノイズ、及び／又はビートノイズ等が挙げられる。

学習実行装置８８は、記憶装置８６から１つずつ教師データ９２を取得する。学習実行装置８８は、記憶装置８６から取得した教師データ９２から学習用ＲＡＷ画像７５Ａ１をＮＮ９０に入力する。ＮＮ９０は、学習用ＲＡＷ画像７５Ａ１が入力されると、推論を行い、推論結果を示す画像９４を出力する。

学習実行装置８８は、ＮＮ９０に入力された学習用ＲＡＷ画像７５Ａ１に対応付けられている正解データ７５Ｃと画像９４との誤差９６を算出する。学習実行装置８８は、誤差９６を最小にする複数の調整値９８を算出する。そして、学習実行装置８８は、複数の調整値９８を用いてＮＮ９０内の複数の最適化変数を調整する。ここで、複数の最適化変数とは、例えば、ＮＮ９０に含まれる複数の結合荷重及び複数のオフセット値等を指す。

学習実行装置８８は、学習用ＲＡＷ画像７５Ａ１のＮＮ９０への入力、誤差９６の算出、複数の調整値９８の算出、及びＮＮ９０内の複数の最適化変数の調整、という学習処理を、記憶装置８６に記憶されている複数の教師データ９２を用いて繰り返し行う。すなわち、学習実行装置８８は、記憶装置８６に記憶されている複数の教師データ９２に含まれる複数の学習用ＲＡＷ画像７５Ａ１の各々について、誤差９６が最小になるように算出した複数の調整値９８を用いてＮＮ９０内の複数の最適化変数を調整することで、ＮＮ９０を最適化する。

学習実行装置８８は、ＮＮ９０を最適化することで学習済みＮＮ８２を生成する。学習実行装置８８は、撮像装置本体１６の外部Ｉ／Ｆ５０又は通信Ｉ／Ｆ５２（図２参照）に接続され、学習済みＮＮ８２をＮＶＭ６４（図３参照）に記憶させる。

ところで、例えば、ＲＡＷ画像７５Ａ（図２参照）が学習済みＮＮ８２に入力されると、学習済みＮＮ８２からは、殆どのノイズが除去された画像が出力される。学習済みＮＮ８２の特性として、ＲＡＷ画像７５Ａに含まれるノイズが除去されると、ＲＡＷ画像７５Ａに写り込んでいる被写体の微細な構造（例えば、被写体の微細な輪郭及び／又は微細な模様等）も削ってしまうことが考えられる。被写体の微細な構造が削られると、ＲＡＷ画像７５Ａは、シャープネスの乏しい画像になってしまう虞がある。このような画像が学習済みＮＮ８２から得られてしまうのは、学習済みＮＮ８２が、ノイズと被写体の微細な構造との判別が不得意であることが原因と考えられる。特に、ＮＮ９０に含まれる層数が削られて学習済みＮＮ８２が簡素化されると、学習済みＮＮ８２にとって、ノイズと被写体の微細な構造（以下、「微細構造」とも称する）との判別が、より困難になることが予想される。

このような事情に鑑み、撮像装置１０は、ＣＰＵ６２によって画質調整処理（図３及び図６～図９参照）が行われるように構成されている。ＣＰＵ６２は、画質調整処理を行うことで、学習済みＮＮ８２を用いたＡＩ方式で推論用ＲＡＷ画像７５Ａ２（図５参照）を処理し、推論用ＲＡＷ画像７５Ａ２をＡＩ方式で処理されることで得られた第１画像７５Ｄ（図５及び図７参照）と、推論用ＲＡＷ画像７５Ａ２をＡＩ方式で処理されず得られた第２画像７５Ｅ（図５及び図７参照）とを合成する合成処理を行う。推論用ＲＡＷ画像７５Ａ２は、学習済みＮＮ８２によって推論される画像である。本実施形態では、推論用ＲＡＷ画像７５Ａ２として、撮像装置１０によって撮像されることで得られたＲＡＷ画像７５Ａが適用されている。なお、ＲＡＷ画像７５Ａは、あくまでも一例に過ぎず、推論用ＲＡＷ画像７５Ａ２は、ＲＡＷ画像７５Ａ以外の画像（例えば、ＲＡＷ画像７５Ａが加工された画像）等であってもよい。

一例として図５に示すように、ＡＩ方式処理部６２Ａには、推論用ＲＡＷ画像７５Ａ２が入力される。ＡＩ方式処理部６２Ａは、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理を行う。ＡＩ方式ノイズ調整処理は、推論用ＲＡＷ画像７５Ａ２に含まれるノイズをＡＩ方式で調整する処理である。ＡＩ方式処理部６２Ａは、ＡＩ方式ノイズ調整処理として、学習済みＮＮ８２を用いた処理を行う。

この場合、ＡＩ方式処理部６２Ａは、学習済みＮＮ８２に推論用ＲＡＷ画像７５Ａ２を入力する。学習済みＮＮ８２は、推論用ＲＡＷ画像７５Ａ２が入力されると、推論用ＲＡＷ画像７５Ａ２に対して推論を行い、推論結果として第１画像７５Ｄを出力する。第１画像７５Ｄは、推論用ＲＡＷ画像７５Ａ２よりもノイズが低減された画像である。第１画像７５Ｄは、本開示の技術に係る「第１画像」の一例である。

非ＡＩ方式処理部６２Ｂにも、ＡＩ方式処理部６２Ａと同様に、推論用ＲＡＷ画像７５Ａ２が入力される。非ＡＩ方式処理部６２Ｂは、推論用ＲＡＷ画像７５Ａ２に対して非ＡＩ方式ノイズ調整処理を行う。非ＡＩ方式ノイズ調整処理は、推論用ＲＡＷ画像７５Ａ２に含まれるノイズを、ＮＮを用いない非ＡＩ方式で調整する処理である。

非ＡＩ方式処理部６２Ｂは、デジタルフィルタ１００を有する。非ＡＩ方式処理部６２Ｂは、非ＡＩ方式ノイズ調整処理として、デジタルフィルタ１００を用いた処理を行う。デジタルフィルタ１００は、例えば、ＦＩＲフィルタである。なお、ＦＩＲフィルタは、あくまでも一例に過ぎず、ＩＩＲフィルタ等の他のデジタルフィルタであってもよく、非ＡＩ方式で推論用ＲＡＷ画像７５Ａ２に含まれるノイズを低減する機能を有するデジタルフィルタであればよい。

非ＡＩ方式処理部６２Ｂは、デジタルフィルタ１００を用いて推論用ＲＡＷ画像７５Ａ２に対してフィルタリングを行うことで、第２画像７５Ｅを生成する。第２画像７５Ｅは、デジタルフィルタ１００によるフィルタリングが行われることによって得られた画像、すなわち、非ＡＩ方式ノイズ調整処理によってノイズが調整されることで得られた画像である。第２画像７５Ｅは、推論用ＲＡＷ画像７５Ａ２よりもノイズが低減された画像であるが、第１画像７５Ｄに比べ、ノイズが残存している画像でもある。第２画像７５Ｅは、本開示の技術に係る「第２画像」の一例である。

第２画像７５Ｅには、推論用ＲＡＷ画像７５Ａ２から学習済みＮＮ８２によって除去されたノイズが残存している一方で、推論用ＲＡＷ画像７５Ａ２から学習済みＮＮ８２によって削られた微細構造も残存している。そこで、ＣＰＵ６２は、第１画像７５Ｄと第２画像７５Ｅとを合成することで、単にノイズを低減するだけでなく、微細構造の消失を回避した画像（例えば、シャープネスを維持した画像）を生成する。

ところで、推論用ＲＡＷ画像７５Ａ２にノイズが入り込む一因として、イメージセンサ２０の感度（例えば、ＩＳＯ感度）が挙げられる。イメージセンサ２０の感度は、アナログ画像データの増幅に用いられるアナログゲインに依存しており、アナログゲインを上げることでノイズも増大するからである。また、本実施形態において、イメージセンサ２０の感度に起因して生じるノイズを除去する能力は、学習済みＮＮ８２とデジタルフィルタ１００とでは異なっている。

そのため、ＣＰＵ６２は、合成対象とされる第１画像７５Ｄ及び第２画像７５Ｅに対して異なる重みを付与し、付与した重みに応じて第１画像７５Ｄ及び第２画像７５Ｅを合成する。第１画像７５Ｄ及び第２画像７５Ｅに付与される重みは、第１画像７５Ｄと第２画像７５Ｅとの間において画素位置が対応する画素の合成に用いる第１画像７５Ｄの画素値の度合い及び第２画像７５Ｅの画素値の度合いとを意味している。

例えば、イメージセンサ２０の感度に起因して生じるノイズを除去する能力が学習済みＮＮ８２よりもデジタルフィルタ１００が低い場合は、第１画像７５Ｄに対しては、第２画像７５Ｅよりも小さな重みが付与される。また、第１画像７５Ｄ及び第２画像７５Ｅに対して付与される重みの差は、イメージセンサ２０の感度に起因して生じるノイズを除去する能力の差等に応じて定められる。

一例として図６に示すように、ＮＶＭ６４には、関連情報１０２が記憶されている。関連情報１０２は、推論用ＲＡＷ画像７５Ａ２に関連する情報である。関連情報１０２には、感度関連情報１０２Ａが含まれている。感度関連情報１０２Ａは、推論用ＲＡＷ画像７５Ａ２を得る撮像で用いられたイメージセンサ２０の感度に関連する情報である。感度関連情報１０２Ａの一例としては、ＩＳＯ感度を示す情報が挙げられる。

重み導出部６２Ｃは、ＮＶＭ６４から関連情報１０２を取得する。重み導出部６２Ｃは、ＮＶＭ６４から取得した関連情報１０２に基づいて、第１画像７５Ｄ及び第２画像７５Ｅに付与される重みとして、第１重み１０４及び第２重み１０６を導出する。第１画像７５Ｄ及び第２画像７５Ｅに付与される重みは、第１重み１０４と第２重み１０６とに類別される。第１重み１０４は、第１画像７５Ｄに対して付与される重みであり、第２重み１０６は、第２画像７５Ｅに対して付与される重みである。

重み導出部６２Ｃは、重み演算式１０８を有する。重み演算式１０８は、関連情報１０２から特定されるパラメータを独立変数とし、第１重み１０４を従属変数とする演算式である。ここで、関連情報１０２から特定されるパラメータとは、例えば、イメージセンサ２０の感度を示す値が挙げられる。イメージセンサ２０の感度を示す値は、感度関連情報１０２Ａから特定される。なお、イメージセンサ２０の感度を示す値としては、例えば、ＩＳＯ感度を示す値が挙げられる。但し、これは、あくまでも一例に過ぎず、イメージセンサ２０の感度を示す値は、アナログゲインを示す値であってもよい。

重み導出部６２Ｃは、イメージセンサ２０の感度を示す値を重み演算式１０８に代入することで第１重み１０４を算出する。ここで、第１重み１０４を“ｗ”とすると、第１重み１０４は、“０＜ｗ＜１”の大小関係を満たす値である。第２重みは、“１－ｗ”である。重み導出部６２Ｃは、重み演算式１０８を用いて算出した第１重み１０４から第２重み１０６を算出する。

このように、第１重み１０４及び第２重み１０６は、関連情報１０２に依存した値であるため、重み導出部６２Ｃによって算出される第１重み１０４及び第２重み１０６は、関連情報１０２に応じて変更される。例えば、第１重み１０４及び第２重み１０６は、イメージセンサ２０の感度を示す値に応じて、重み導出部６２Ｃによって変更される。

一例として図７に示すように、重み付与部６２Ｄは、ＡＩ方式処理部６２Ａから第１画像７５Ｄを取得し、非ＡＩ方式処理部６２Ｂから第２画像７５Ｅを取得する。重み付与部６２Ｄは、重み導出部６２Ｃによって導出された第１重み１０４を第１画像７５Ｄに付与する。重み付与部６２Ｄは、重み導出部６２Ｃによって導出された第２重み１０６を第２画像７５Ｅに付与する。

合成部６２Ｅは、第１画像７５Ｄ及び第２画像７５Ｅを合成することで、推論用ＲＡＷ画像７５Ａ２に含まれるノイズを調整する。すなわち、第１画像７５Ｄ及び第２画像７５Ｅが合成部６２Ｅによって合成されることで得られた画像（図７に示す例では、合成画像７５Ｆ）が、推論用ＲＡＷ画像７５Ａ２に含まれるノイズが調整された画像である。

合成部６２Ｅは、第１重み１０４及び第２重み１０６に応じて第１画像７５Ｄ及び第２画像７５Ｅを合成することで合成画像７５Ｆを生成する。合成画像７５Ｆは、第１画像７５Ｄと第２画像７５Ｅとの間で画素毎に画素値が第１重み１０４及び第２重み１０６に応じて合成されることで得られた画像である。合成画像７５Ｆの一例としては、第１重み１０４及び第２重み１０６を用いた重み付け平均が行われることで得られた重み付け平均画像が挙げられる。第１重み１０４及び第２重み１０６を用いた重み付け平均とは、例えば、第１画像７５Ｄと第２画像７５Ｅとの間において画素位置が対応する画素毎の画素値について第１重み１０４及び第２重み１０６を用いた重み付け平均を指す。なお、重み付け平均画像は、あくまでも一例であり、第１重み１０４と第２重み１０６との差の絶対値が閾値（例えば、０．０１）未満の場合に、第１重み１０４及び第２重み１０６を用いずに画素値の単純な平均が行われることで得られた画像を合成画像７５Ｆとしてもよい。

一例として図８に示すように、信号処理部６２Ｆは、オフセット補正部６２Ｆ１、ホワイトバランス補正部６２Ｆ２、デモザイク処理部６２Ｆ３、色補正部６２Ｆ４、ガンマ補正部６２Ｆ５、色空間変換部６２Ｆ６、輝度処理部６２Ｆ７、色差処理部６２Ｆ８、色差処理部６２Ｆ９、リサイズ処理部６２Ｆ１０、及び圧縮処理部６２Ｆ１１を備えており、合成画像７５Ｆに対して各種の信号処理を施す。

オフセット補正部６２Ｆ１は、合成画像７５Ｆに対してオフセット補正処理を行う。オフセット補正処理は、合成画像７５Ｆに含まれるＲ画素、Ｇ画素、及びＢ画素に含まれる暗電流成分を補正する処理である。オフセット補正処理の一例としては、光電変換素子７２（図２参照）に含まれる遮光された感光画素から得られるオプティカルブラックの信号値を、ＲＧＢの色信号から減算することでＲＧＢの色信号を補正する処理が挙げられる。

ホワイトバランス補正部６２Ｆ２は、オフセット補正処理が行われた合成画像７５Ｆに対してホワイトバランス補正処理を行う。ホワイトバランス補正処理は、Ｒ画素、Ｇ画素、及びＢ画素の各々について設定されたホワイトバランスゲインを、ＲＧＢの色信号に乗じることで、ＲＧＢの色信号について光源種の色の影響を補正する処理である。ホワイトバランスゲインは、例えば、白色に対するゲインである。白色に対するゲインの一例としては、合成画像７５Ｆに写り込んでいる白色の被写体に対してＲ信号、Ｇ信号、及びＢ信号の各信号レベルが等しくなるように定められたゲインが挙げられる。ホワイトバランスゲインは、例えば、画像解析が行われることによって特定された光源種に応じて設定されたり、ユーザ等によって指定された光源種に応じて設定されたりする。

デモザイク処理部６２Ｆ３は、ホワイトバランス補正処理が行われた合成画像７５Ｆに対してデモザイク処理を行う。デモザイク処理は、合成画像７５ＦをＲ、Ｇ、及びＢに３板化する処理である。すなわち、デモザイク処理部６２Ｆ３は、Ｒ信号、Ｇ信号、及びＢ信号に色補間処理を施すことにより、Ｒに対応する画像を示すＲ画像データ、Ｂに対応する画像を示すＢ画像データ、及びＧに対応する画像を示すＧ画像データを生成する。ここで、色補間処理とは、各画素が有さない色を周辺画素から補間する処理を指す。すなわち、光電変換素子７２の各感光画素においては、Ｒ信号、Ｇ信号、又はＢ信号（すなわち、Ｒ、Ｇ、及びＢのうちの１色の画素値）しか得られないため、デモザイク処理部６２Ｆ３は、各画素において得られない他の色について、周辺の画素の画素値を用いて補間する。なお、以下では、Ｒ画像データ、Ｂ画像データ、及びＧ画像データを、「ＲＧＢ画像データ」とも称する。

色補正部６２Ｆ４は、デモザイク処理が行われることで得られたＲＧＢ画像データに対して色補正処理（ここでは、一例として、リニアマトリクスによる色補正（すなわち、混色補正））を行う。色補正処理は、色相及び色飽和特性を調整する処理である。色補正処理の一例としては、ＲＧＢ画像データに対して色再現係数（例えば、リニアマトリクス係数）を乗じることで色再現性を変化させる処理が挙げられる。なお、色再現係数は、Ｒ、Ｇ、及びＢの分光特性を人間の視感度特性に近付けるように定められた係数である。

ガンマ補正部６２Ｆ５は、色補正処理が行われたＲＧＢ画像データに対してガンマ補正処理を行う。ガンマ補正処理は、画像の階調の応答特性を示す値、すなわち、ガンマ値に従ってＲＧＢ画像データにより示される画像の階調を補正する処理である。

色空間変換部６２Ｆ６は、ガンマ補正処理が行われたＲＧＢ画像データに対して色空間変換処理を行う。色空間変換処理は、ガンマ補正処理が行われたＲＧＢ画像データの色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する処理である。すなわち、色空間変換部６２Ｆ６は、ＲＧＢ画像データを輝度・色差信号に変換する。輝度・色差信号は、Ｙ信号、Ｃｂ信号、及びＣｒ信号である。Ｙ信号は、輝度を示す信号である。以下、Ｙ信号を輝度信号と記載する場合もある。Ｃｂ信号は、Ｂ信号から輝度成分を減じた信号を調整することで得られた信号である。Ｃｒ信号は、Ｒ信号から輝度成分を減じた信号を調整することで得られた信号である。以下、Ｃｂ信号及びＣｒ信号を色差信号と記載する場合もある。

輝度処理部６２Ｆ７は、Ｙ信号に対して輝度フィルタ処理を行う。輝度フィルタ処理は、Ｙ信号を、輝度フィルタ（図示省略）を用いてフィルタリングする処理である。例えば、輝度フィルタは、デモザイク処理で生じた高周波ノイズを低減したり、シャープネスを強調したりするフィルタである。Ｙ信号に対する信号処理、すなわち、輝度フィルタによるフィルタリングは、輝度フィルタパラメータに従って行われる。輝度フィルタパラメータは、輝度フィルタに対して設定されるパラメータである。輝度フィルタパラメータは、デモザイク処理で生じた高周波ノイズを低減する度合い、及びシャープネスを強調する度合いを規定している。輝度フィルタパラメータは、例えば、関連情報１０２（図６参照）、撮像条件、及び／又は、受付デバイス７６によって受け付けられた指示に従って変更される。

色差処理部６２Ｆ８は、Ｃｂ信号に対して第１色差フィルタ処理を行う。第１色差フィルタ処理は、Ｃｂ信号を、第１色差フィルタ（図示省略）を用いてフィルタリングする処理である。例えば、第１色差フィルタは、Ｃｂ信号に含まれる高周波ノイズを低減するローパスフィルタである。Ｃｂ信号に対する信号処理、すなわち、第１色差フィルタによるフィルタリングは、指定された第１色差フィルタパラメータに従って行われる。第１色差フィルタパラメータは、第１色差フィルタに対して設定されるパラメータである。第１色差フィルタパラメータは、Ｃｂ信号に含まれる高周波ノイズを低減する度合いを規定している。第１色差フィルタパラメータは、例えば、関連情報１０２（図６参照）、撮像条件、及び／又は、受付デバイス７６によって受け付けられた指示に従って変更される。

色差処理部６２Ｆ９は、Ｃｒ信号に対して第２色差フィルタ処理を行う。第２色差フィルタ処理は、Ｃｒ信号を、第２色差フィルタ（図示省略）を用いてフィルタリングする処理である。例えば、第２色差フィルタは、Ｃｒ信号に含まれる高周波ノイズを低減するローパスフィルタである。Ｃｒ信号に対する信号処理、すなわち、第２色差フィルタによるフィルタリングは、指定された第２色差フィルタパラメータに従って行われる。第２色差フィルタパラメータは、第２色差フィルタに対して設定されるパラメータである。第２色差フィルタパラメータは、Ｃｒ信号に含まれる高周波ノイズを低減する度合いを規定している。第２色差フィルタパラメータは、例えば、関連情報１０２（図６参照）、撮像条件、及び／又は、受付デバイス７６によって受け付けられた指示に従って変更される。

リサイズ処理部６２Ｆ１０は、輝度・色差信号に対してリサイズ処理を行う。リサイズ処理は、輝度・色差信号により示される画像のサイズを、ユーザ等によって指定されたサイズに合わせるように輝度・色差信号を調節する処理である。

圧縮処理部６２Ｆ１１は、リサイズ処理が行われた輝度・色差信号に対して圧縮処理を行う。圧縮処理は、例えば、輝度・色差信号を既定の圧縮方式に従って圧縮する処理である。既定の圧縮方式としては、例えば、ＪＰＥＧ、ＴＩＦＦ、又は、ＪＰＥＧ ＸＲ等が挙げられる。輝度・色差信号に対して圧縮処理が行われることによって処理済み画像７５Ｂが得られる。圧縮処理部６２Ｆ１１は、処理済み画像７５Ｂを画像メモリ４６に記憶させる。

次に、撮像装置１０の作用について図９を参照しながら説明する。図９には、ＣＰＵ６２によって実行される画質調整処理の流れの一例が示されている。

図９に示す画質調整処理では、先ず、ステップＳＴ１００で、ＡＩ方式処理部６２Ａは、イメージセンサ２０（図２参照）によって推論用ＲＡＷ画像７５Ａ２（図５参照）が生成されたか否かを判定する。ステップＳＴ１００において、イメージセンサ２０によって推論用ＲＡＷ画像７５Ａ２が生成されていない場合は、判定が否定されて、画質調整処理はステップＳＴ１２６へ移行する。ステップＳＴ１００において、イメージセンサ２０によって推論用ＲＡＷ画像７５Ａ２が生成された場合は、判定が肯定されて、画質調整処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、ＡＩ方式処理部６２Ａは、イメージセンサ２０から推論用ＲＡＷ画像７５Ａ２を取得する。また、非ＡＩ方式処理部６２Ｂも、イメージセンサ２０から推論用ＲＡＷ画像７５Ａ２を取得する。ステップＳＴ１０２の処理が実行された後、画質調整処理はステップＳＴ１０４へ移行する。

ステップＳＴ１０４で、ＡＩ方式処理部６２Ａは、ステップＳＴ１０２で取得した推論用ＲＡＷ画像７５Ａ２を学習済みＮＮ８２に入力する。ステップＳＴ１０４の処理が実行された後、画質調整処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０６で、重み付与部６２Ｄは、ステップＳＴ１０４で推論用ＲＡＷ画像７５Ａ２が学習済みＮＮ８２に入力されることによって学習済みＮＮ８２から出力された第１画像７５Ｄを取得する。ステップＳＴ１０６の処理が実行された後、画質調整処理はステップＳＴ１０８へ移行する。

ステップＳＴ１０８で、非ＡＩ方式処理部６２Ｂは、ステップＳＴ１０２で取得した推論用ＲＡＷ画像７５Ａ２を、デジタルフィルタ１００を用いてフィルタリングすることで、推論用ＲＡＷ画像７５Ａ２に含まれるノイズを非ＡＩ方式で調整する。ステップＳＴ１０８の処理が実行された後、画質調整処理はステップＳＴ１１０へ移行する。

ステップＳＴ１１０で、重み付与部６２Ｄは、ステップＳＴ１０８で推論用ＲＡＷ画像７５Ａ２に含まれるノイズが非ＡＩ方式で調整されることで得られた第２画像７５Ｅを取得する。ステップＳＴ１１０の処理が実行された後、画質調整処理はステップＳＴ１１２へ移行する。

ステップＳＴ１１２で、重み導出部６２Ｃは、ＮＶＭ６４から関連情報１０２を取得する。ステップＳＴ１１２の処理が実行された後、画質調整処理はステップＳＴ１１４へ移行する。

ステップＳＴ１１４で、重み導出部６２Ｃは、ステップＳＴ１１２で取得した関連情報１０２から感度関連情報１０２Ａを抽出する。ステップＳＴ１１４の処理が実行された後、画質調整処理はステップＳＴ１１６へ移行する。

ステップＳＴ１１６で、重み導出部６２Ｃは、ステップＳＴ１１４で抽出した感度関連情報１０２Ａに基づいて、第１重み１０４及び第２重み１０６を算出する。すなわち、重み導出部６２Ｃは、感度関連情報１０２Ａから、イメージセンサ２０の感度を示す値を特定し、イメージセンサ２０の感度を示す値を重み演算式１０８に代入することで第１重み１０４を算出し、算出した第１重み１０４から第２重み１０６を算出する。ステップＳＴ１１６の処理が実行された後、画質調整処理はステップＳＴ１１８へ移行する。

ステップＳＴ１１８で、重み付与部６２Ｄは、ステップＳＴ１０６で取得した第１画像７５Ｄに対して、ステップＳＴ１１６で算出した第１重み１０４を付与する。ステップＳＴ１１８の処理が実行された後、画質調整処理はステップＳＴ１２０へ移行する。

ステップＳＴ１２０で、重み付与部６２Ｄは、ステップＳＴ１１０で取得した第２画像７５Ｅに対して、ステップＳＴ１１６で算出した第２重み１０６を付与する。ステップＳＴ１２０の処理が実行された後、画質調整処理はステップＳＴ１２２へ移行する。

ステップＳＴ１２２で、合成部６２Ｅは、ステップＳＴ１１８で第１画像７５Ｄに対して付与された第１重み１０４、及びステップＳＴ１２０で第２画像７５Ｅに対して付与された第２重み１０６に応じて、第１画像７５Ｄ及び第２画像７５Ｅを合成することで合成画像７５Ｆを生成する。すなわち、合成部６２Ｅは、第１画像７５Ｄと第２画像７５Ｅとの間で画素毎に画素値が第１重み１０４及び第２重み１０６に応じて合成することで合成画像７５Ｆ（例えば、第１重み１０４及び第２重み１０６を用いた重み付け平均画像）を生成する。ステップＳＴ１２２の処理が実行された後、画質調整処理はステップＳＴ１２４へ移行する。

ステップＳＴ１２４で、信号処理部６２Ｆは、ステップＳＴ２２で得られた合成画像７５Ｆに対して各種の信号処理（例えば、オフセット補正処理、ホワイトバランス補正処理、デモザイク処理、色補正処理、ガンマ補正処理、色空間変換処理、輝度フィルタ処理、第１色差フィルタ処理、第２色差フィルタ処理、リサイズ処理、及び圧縮処理）を行うことで得られた画像を処理済み画像７５Ｂとして既定の出力先（例えば、画像メモリ４６）に出力する。ステップＳＴ１２４の処理が実行された後、画質調整処理はステップＳＴ１２６へ移行する。

ステップＳＴ１２６で、信号処理部６２Ｆは、画質調整処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としては、画質調整処理を終了させる指示が受付デバイス７６によって受け付けられた、との条件等が挙げられる。ステップＳＴ１２６において、終了条件を満足していない場合は、判定が否定されて、画質調整処理はステップＳＴ１００へ移行する。ステップＳＴ１２６において、終了条件を満足した場合は、判定が肯定されて、画質調整処理が終了する。

以上説明したように、撮像装置１０では、学習済みＮＮ８２を用いたＡＩ方式で推論用ＲＡＷ画像７５Ａ２が処理されることによって第１画像７５Ｄが得られる。また、撮像装置１０では、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式で処理されずに第２画像７５Ｅが得られる。ここで、学習済みＮＮ８２の特性として、ＲＡＷ画像７５Ａに含まれるノイズが除去されると、これに伴って微細構造も削られてしまう虞がある。一方、第２画像７５Ｅには、推論用ＲＡＷ画像７５Ａ２が学習済みＮＮ８２によって削られた微細構造も残存している。そこで、撮像装置１０では、第１画像７５Ｄと第２画像７５Ｅとが合成されることで合成画像７５Ｆが生成される。これにより、学習済みＮＮ８２を用いたＡＩ方式でのみ画像が処理された場合に比べ、画像に含まれるノイズの過不足の抑制と、画像に写り込んでいる被写体の微細構造の鮮鋭度の過不足の抑制との両立を図ることができる。従って、本構成によれば、学習済みＮＮ８２を用いたＡＩ方式でのみ画像が処理された場合に比べ、画質が調整された画像を得ることができる。

また、撮像装置１０では、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われることで得られた第１画像７５Ｄと、推論用ＲＡＷ画像７５Ａ２がＡＩ方式で処理されずに得られた第２画像７５Ｅとが合成されることによってノイズが調整される。従って、本構成によれば、ＡＩ方式ノイズ調整処理のみが行われた画像、すなわち、第１画像７５Ｄに比べ、ノイズ過多と微細構造の消失との両方が抑制された画像を得ることができる。

また、撮像装置１０では、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われることで得られた第１画像７５Ｄと、推論用ＲＡＷ画像７５Ａ２に対して非ＡＩ方式ノイズ調整処理が行われることで得られた第２画像７５Ｅとが合成されることによってノイズが調整される。従って、本構成によれば、ＡＩ方式ノイズ調整処理のみが行われた画像、すなわち、第１画像７５Ｄに比べ、ノイズ過多と微細構造の消失との両方が抑制された画像を得ることができる。

また、撮像装置１０では、第１画像７５Ｄに対して第１重み１０４が付与され、第２画像７５Ｅに第２重み１０６が付与される。そして、第１画像７５Ｄに対して付与された第１重み１０４と第２画像７５Ｅに対して付与された第２重みに応じて第１画像７５Ｄと第２画像７５Ｅとが合成される。従って、本構成によれば、合成画像７５Ｆとして、画質に対して第１画像７５Ｄが及ぼす影響の度合い及び第２画像７５Ｅが及ぼす影響の度合いが調整された画像を得ることができる。

また、撮像装置１０では、第１重み１０４及び第２重み１０６を用いた重み付け平均が行われることで第１画像７５Ｄ及び第２画像７５Ｅが合成される。従って、本構成によれば、第１画像７５Ｄと第２画像７５Ｅとの合成が行われた後に、合成されることで得られた画像の画質に対して第１画像７５Ｄが及ぼす影響の度合い及び第２画像７５Ｅが及ぼす影響の度合いの調整が行われる場合に比べ、第１画像７５Ｄと第２画像７５Ｅとの合成と、合成画像７５Ｆの画質に対して第１画像７５Ｄが及ぼす影響の度合い及び第２画像７５Ｅが及ぼす影響の度合いの調整と、を容易に行うことができる。

また、撮像装置１０では、関連情報１０２に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、関連情報１０２とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、関連情報１０２に起因する画質の低下を抑制することができる。

更に、撮像装置１０では、関連情報１０２に含まれている感度関連情報１０２Ａに応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２を得る撮像で用いられたイメージセンサ２０の感度とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、イメージセンサ２０の感度に起因する画質の低下を抑制することができる。

なお、本実施形態では、イメージセンサ２０の感度を示す値から第１重み１０４が算出される重み演算式１０８を例示したが、本開示の技術はこれに限定されず、重み演算式１０８から第２重み１０６が算出される重み演算式を用いてもよい。この場合、第２重み１０６から第１重み１０４が算出される。

また、本実施形態では、重み演算式１０８を例示したが、本開示の技術はこれに限定されず、イメージセンサ２０の感度を示す値と第１重み１０４又は第２重み１０６とが対応付けられた重み導出テーブルを用いてもよい。

［第１変形例］
学習済みＮＮ８２は、暗い画像領域よりも明るい画像領域についてノイズと微細構造との判別がし難い、という性質を有している。この性質は、学習済みＮＮ８２の層構造が簡素化されるほど、顕著に現れる。この場合、一例として図１０に示すように、関連情報１０２に、推論用ＲＡＷ画像７５Ａ２の明るさに関連する明るさ関連情報１０２Ｂを含め、明るさ関連情報１０２Ｂに応じた第１重み１０４及び第２重み１０６が重み導出部６２Ｃによって導出されるようにするとよい。

明るさ関連情報１０２Ｂの一例としては、推論用ＲＡＷ画像７５Ａ２の少なくとも一部の画素統計値が挙げられる。画素統計値は、例えば、画素平均値である。

図１０に示す例では、推論用ＲＡＷ画像７５Ａ２が、複数の分割エリア７５Ａ２ａで区分されており、関連情報１０２には、分割エリア７５Ａ２ａ毎の画素平均値が含まれている。画素平均値とは、例えば、分割エリア７５Ａ２ａ内に含まれる全画素の画素値の平均値を指す。画素平均値は、例えば、推論用ＲＡＷ画像７５Ａ２が生成される毎に、ＣＰＵ６２によって算出される。

ＮＶＭ６４には、重み演算式１１０が記憶されている。重み導出部６２Ｃは、ＮＶＭ６４から重み演算式１１０を取得し、取得した重み演算式１１０を用いて第１重み１０４及び第２重み１０６を算出する。

重み演算式１１０は、画素平均値を独立変数とし、第１重み１０４を従属変数とした演算式である。第１重み１０４は、画素平均値に応じて変更される。重み演算式１１０により示される画素平均値と第１重み１０４との相関は、例えば、画素平均値の閾値ｔｈ１未満の第１重み１０４は、“ｗ１”という固定値である。また、画素平均値の閾値ｔｈ２（＞ｔｈ１）を上回る第１重み１０４は、“ｗ２（＜ｗ１）”という固定値である。閾値ｔｈ１以上閾値ｔｈ２以下の範囲では、画素平均値の増加に伴って第１重み１０４が減少する。なお、図１０に示す例では、閾値ｔｈ１と閾値ｔｈ２との間でのみ、第１重みが変化しているが、これは、あくまでも一例であり、重み演算式１１０は、閾値ｔｈ１及びｔｈ２とは無関係に画素平均値に応じて第１重み１０４が変化するように定められた演算式であればよい。

また、画像領域が明るい程、ノイズと微細構造との判別が困難となるので、画素平均値の増加に伴って第１重み１０４が減少するのが好ましい。なぜならば、ノイズと微細構造と判別されているかどうか判然としない画素が合成画像７５Ｆに影響を及ぼす度合いを抑えるためである。これに対し、第２重み１０６は、“１－ｗ”であるため、第１重み１０４の減少に伴って増加する。すなわち、第１重み１０４の減少に伴って、第２画像７５Ｅが合成画像７５Ｆに対して影響を及ぼす度合いは、第１画像７５Ｄが合成画像７５Ｆに対して影響を及ぼす度合いよりも大きくなる。

一例として図１１に示すように、第１画像７５Ｄは、複数の分割エリア７５Ｄ１で区分されており、第２画像７５Ｅも、複数の分割エリア７５Ｅ１で区分されている。第１画像７５Ｄ内での複数の分割エリア７５Ｄ１の位置は、推論用ＲＡＷ画像７５Ａ２内での複数の分割エリア７５Ａ２ａの位置に対応しており、第２画像７５Ｅ内での複数の分割エリア７５Ｅ１の位置も、推論用ＲＡＷ画像７５Ａ２内での複数の分割エリア７５Ａ２ａの位置に対応している。

重み付与部６２Ｄは、各分割エリア７５Ｄ１に対して、位置が対応する分割エリア７５Ａ２ａについて重み導出部６２Ｃによって算出された第１重み１０４を付与する。また、重み付与部６２Ｄは、各分割エリア７５Ｅ１に対して、位置が対応する分割エリア７５Ａ２ａについて重み導出部６２Ｃによって算出された第２重み１０６を付与する。

合成部６２Ｅは、互いに位置が対応する分割エリア７５Ｄ１及び分割エリア７５Ｅ１を、第１重み１０４及び第２重み１０６に応じて合成することで合成画像７５Ｆを生成する。第１重み１０４及び第２重み１０６に応じた分割エリア７５Ｄ１及び分割エリア７５Ｅ１の合成は、上記実施形態と同様に、例えば、第１重み１０４及び第２重み１０６を用いた重み付け平均、すなわち、分割エリア７５Ｄ１と分割エリア７５Ｅ１との間での画素毎の重み付け平均によって実現される。

このように、本第１変形例では、関連情報１０２には、推論用ＲＡＷ画像７５Ａ２の明るさに関連する明るさ関連情報１０２Ｂが含まれており、明るさ関連情報１０２Ｂに応じた第１重み１０４及び第２重み１０６が重み導出部６２Ｃによって導出される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２の明るさとは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２の明るさに起因する画質の低下を抑制することができる。

また、本第１変形例では、明るさ関連情報１０２Ｂとして、推論用ＲＡＷ画像７５Ａ２の各分割エリア７５Ａ２ａの画素平均値が用いられている。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２に関する画素統計値とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２に関する画素統計値に起因する画質の低下を抑制することができる。

なお、本第１変形例では、分割エリア７５Ａ２ａ毎の画素平均値に応じて第１重み１０４及び第２重み１０６が導出される形態例を示したが、本開示の技術はこれに限定されず、推論用ＲＡＷ画像７５Ａ２の１フレーム毎の画素平均値に応じて第１重み１０４及び第２重み１０６が導出されるようにしてもよいし、推論用ＲＡＷ画像７５Ａ２の一部の画素平均値に応じて第１重み１０４及び第２重み１０６が導出されるようにしてもよい。また、推論用ＲＡＷ画像７５Ａ２の画素毎の輝度に応じて第１重み１０４及び第２重み１０６が導出されるようにしてもよい。

また、本第１変形例では、重み演算式１１０を例示したが、本開示の技術はこれに限定されず、複数の画素平均値と複数の第１重み１０４とが対応付けられた重み導出テーブルを用いてもよい。

また、本第１変形例では、画素平均値を例示したが、これは、あくまでも一例に過ぎず、画素平均値に代えて、画素中央値を用いてもよいし、画素最頻値を用いてもよい。

［第２変形例］
学習済みＮＮ８２は、低周波成分の画像領域よりも高周波成分の画像領域についてノイズと微細構造との判別がし難い、という性質を有している。この性質は、学習済みＮＮ８２の層構造が簡素化されるほど、顕著に現れる。この場合、一例として図１２に示すように、関連情報１０２に、推論用ＲＡＷ画像７５Ａ２の空間周波数を示す空間周波数情報１０２Ｃを含め、空間周波数情報１０２Ｃに応じた第１重み１０４及び第２重み１０６が重み導出部６２Ｃによって導出されるようにするとよい。

図１２に示す例は、図１０に示す例と比べ、分割エリア７５Ａ２ａ毎の画素平均値に代えて、分割エリア７５Ａ２ａ毎の空間周波数情報１０２Ｃを適用している点、及び、重み演算式１１０に代えて重み演算式１１２を適用している点が異なる。分割エリア７５Ａ２ａ毎の空間周波数情報１０２Ｃは、例えば、推論用ＲＡＷ画像７５Ａ２が生成される毎に、ＣＰＵ６２によって算出される。

重み演算式１１２は、空間周波数情報１０２Ｃを独立変数とし、第１重み１０４を従属変数とした演算式である。第１重み１０４は、空間周波数情報１０２Ｃに応じて変更される。また、空間周波数情報１０２Ｃにより示される空間周波数が高い程、ノイズと微細構造との判別が困難となるので、空間周波数情報１０２Ｃに対して第１重み１０４は、空間周波数情報１０２Ｃにより示される空間周波数が高くなるのに伴って第１重み１０４が減少するのが好ましい。なぜならば、ノイズと微細構造と判別されているかどうか判然としない画素が合成画像７５Ｆに影響を及ぼす度合いを抑えるためである。これに対し、第２重み１０６は、“１－ｗ”であるため、第１重み１０４の減少に伴って増加する。すなわち、第１重み１０４の減少に伴って、第２画像７５Ｅが合成画像７５Ｆに対して影響を及ぼす度合いは、第１画像７５Ｄが合成画像７５Ｆに対して影響を及ぼす度合いよりも大きくなる。なお、合成画像７５Ｆの生成方法は、第１変形例で説明した通りである。

このように、本第２変形例では、関連情報１０２には、推論用ＲＡＷ画像７５Ａ２の空間周波数を示す空間周波数情報１０２Ｃが含まれており、空間周波数情報１０２Ｃに応じた第１重み１０４及び第２重み１０６が重み導出部６２Ｃによって導出される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２の空間周波数とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２の空間周波数に起因する画質の低下を抑制することができる。

なお、本第２変形例では、分割エリア７５Ａ２ａ毎の空間周波数情報１０２Ｃに応じて第１重み１０４及び第２重み１０６が導出される形態例を示したが、本開示の技術はこれに限定されず、推論用ＲＡＷ画像７５Ａ２の１フレーム毎の空間周波数情報１０２Ｃに応じて第１重み１０４及び第２重み１０６が導出されるようにしてもよいし、推論用ＲＡＷ画像７５Ａ２の一部の空間周波数情報１０２Ｃに応じて第１重み１０４及び第２重み１０６が導出されるようにしてもよい。

また、本第２変形例では、重み演算式１１２を例示したが、本開示の技術はこれに限定されず、複数の空間周波数情報１０２Ｃと複数の第１重み１０４とが対応付けられた重み導出テーブルを用いてもよい。

［第３変形例］
ＣＰＵ６２は、推論用ＲＡＷ画像７５Ａ２に基づいて、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体を検出し、検出した被写体に応じて第１重み１０４及び第２重み１０６を変更するようにしてもよい。この場合、一例として図１３に示すように、ＮＶＭ６４には、重み導出テーブル１１４が記憶されており、重み導出部６２Ｃは、ＮＶＭ６４から重み導出テーブル１１４を読み出し、重み導出テーブル１１４を参照して第１重み１０４及び第２重み１０６を導出する。重み導出テーブル１１４は、複数の被写体と複数の第１重み１０４とが１対１で対応付けられたテーブルである。

重み導出部６２Ｃは、被写体検出機能を有する。重み導出部６２Ｃは、被写体検出機能を働かせることで、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体を検出する。被写体の検出は、ＡＩ方式の検出であってもよいし、非ＡＩ方式の検出（例えば、テンプレートマッチングによる検出）であってもよい。

重み導出部６２Ｃは、検出した被写体に対応する第１重み１０４を重み導出テーブル１１４から導出し、導出した第１重み１０４から第２重み１０６を算出する。重み導出テーブル１１４には、被写体毎に異なる第１重み１０４が対応付けられているので、第１画像７５Ｄに対して適用される第１重み１０４、及び第２画像７５Ｅに対して適用される第２重み１０６は、推論用ＲＡＷ画像７５Ａ２から検出された被写体に応じて変更される。

なお、重み付与部６２Ｄは、第１画像７５Ｄの全画像領域のうちの重み導出部６２Ｃによって検出された被写体を示す画像領域に対してのみ、第１重み１０４を付与し、第２画像７５Ｅの全画像領域のうちの重み導出部６２Ｃによって検出された被写体を示す画像領域に対してのみ、第２重み１０６を付与するようにしてもよい。そして、第１重み１０４が付与された画像領域と第２重み１０６が付与された画像領域に対してのみ、第１重み１０４及び第２重み１０６に応じた合成処理が行われるようにしてもよい。但し、これは、あくまでも一例に過ぎず、第１画像７５Ｄの全画像領域に対して第１重み１０４が付与され、第２画像７５Ｅの全画像領域に対して第２重み１０６が付与され、第１画像７５Ｄの全画像領域と第２画像７５Ｅの全画像領域に対して第１重み１０４及び第２重み１０６に応じた合成処理が行われるようにしてもよい。

このように、本第３変形例では、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体が検出され、検出された被写体に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体に起因する画質の低下を抑制することができる。

［第４変形例］
ＣＰＵ６２は、推論用ＲＡＷ画像７５Ａ２に基づいて、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位を検出し、検出した部位に応じて第１重み１０４及び第２重み１０６を変更するようにしてもよい。この場合、一例として図１３に示すように、ＮＶＭ６４には、重み導出テーブル１１６が記憶されており、重み導出部６２Ｃは、ＮＶＭ６４から重み導出テーブル１１６を読み出し、重み導出テーブル１１６を参照して第１重み１０４及び第２重み１０６を導出する。重み導出テーブル１１６は、複数の被写体の部位と複数の第１重み１０４とが１対１で対応付けられたテーブルである。

重み導出部６２Ｃは、被写体部位検出機能を有する。重み導出部６２Ｃは、被写体部位検出機能を働かせることで、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位（例えば、人物の顔、及び／又は人物の瞳等）を検出する。被写体の部位の検出は、ＡＩ方式の検出であってもよいし、非ＡＩ方式の検出（例えば、テンプレートマッチングによる検出）であってもよい。

重み導出部６２Ｃは、検出した被写体の部位に対応する第１重み１０４を重み導出テーブル１１６から導出し、導出した第１重み１０４から第２重み１０６を算出する。重み導出テーブル１１４には、被写体の部位毎に異なる第１重み１０４が対応付けられているので、第１画像７５Ｄに対して適用される第１重み１０４、及び第２画像７５Ｅに対して適用される第２重み１０６は、推論用ＲＡＷ画像７５Ａ２から検出された被写体の部位に応じて変更される。

なお、重み付与部６２Ｄは、第１画像７５Ｄの全画像領域のうちの重み導出部６２Ｃによって検出された被写体の部位を示す画像領域に対してのみ、第１重み１０４を付与し、第２画像７５Ｅの全画像領域のうちの重み導出部６２Ｃによって検出された被写体の部位を示す画像領域に対してのみ、第２重み１０６を付与するようにしてもよい。そして、第１重み１０４が付与された画像領域と第２重み１０６が付与された画像領域に対してのみ、第１重み１０４及び第２重み１０６に応じた合成処理が行われるようにしてもよい。但し、これは、あくまでも一例に過ぎず、第１画像７５Ｄの全画像領域に対して第１重み１０４が付与され、第２画像７５Ｅの全画像領域に対して第２重み１０６が付与され、第１画像７５Ｄの全画像領域と第２画像７５Ｅの全画像領域に対して第１重み１０４及び第２重み１０６に応じた合成処理が行われるようにしてもよい。

このように、本第４変形例では、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位が検出され、検出された部位に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位に起因する画質の低下を抑制することができる。

［第５変形例］
ＣＰＵ６２は、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度に応じて第１重み１０４及び第２重み１０６を変更するようにしてもよい。一例として図１４に示すように、重み導出部６２Ｃは、第１画像７５Ｄの特徴値として第１画像７５Ｄの分割エリア７５Ｄ１毎の画素平均値を算出し、第２画像７５Ｅの特徴値として第２画像７５Ｅの分割エリア７５Ｅ１毎の画素平均値を算出する。重み導出部６２Ｃは、互いの位置が対応している分割エリア７５Ｄ１及び７５Ｅ１毎に、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度として画素平均値の差分（以下、単に「差分」とも称する）を算出する。

重み導出部６２Ｃは、重み導出テーブル１１８を参照して第１重み１０４を導出する。重み導出テーブル１１８には、複数の差分と複数の第１重み１０４とが１対１で対応付けられている。重み導出部６２Ｃは、分割エリア７５Ｄ１及び７５Ｅ１毎に、算出した差分に対応する第１重み１０４を重み導出テーブル１１８から導出し、導出した第１重み１０４から第２重み１０６を算出する。重み導出テーブル１１８には、差分毎に異なる第１重み１０４が対応付けられているので、第１画像７５Ｄに対して適用される第１重み１０４、及び第２画像７５Ｅに対して適用される第２重み１０６は、差分に応じて変更される。

このように、本第５変形例では、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度に起因する画質の低下を抑制することができる。

なお、本第５変形例では、分割エリア７５Ｄ１及び７５Ｅ１毎に画素平均値の差分が算出される形態例を挙げて説明したが、本開示の技術はこれに限定されず、１フレーム毎に画素平均値の差分が算出されるようにしてもよいし、画素毎に画素値の差分が算出されるようにしてもよい。

また、本第５変形例では、第１画像７５Ｄの特徴値及び第２画像７５Ｅの特徴値として画素平均値を例示したが、本開示の技術はこれに限定されず、画素中央値又は画素最頻値等であってもよい。

また、本第５変形例では、重み導出テーブル１１８を例示したが、本開示の技術はこれに限定されず、差分を独立変数とし、第１重み１０４を従属変数とする演算式を用いてもよい。

［第６変形例］
学習済みＮＮ８２は、撮像シーン毎に設けられていてもよい。この場合、一例として図１５に示すように、複数の学習済みＮＮ８２がＮＶＭ６４に記憶されている。ＮＶＭ６４内の学習済みＮＮ８２は撮像シーン毎に作成されている。各学習済みＮＮ８２には、ＩＤ８２Ａが付与されている。ＩＤ８２Ａは、学習済みＮＮ８２を特定可能な識別子である。ＣＰＵ６２は、撮像シーン毎に、使用する学習済みＮＮ８２を切り替え、使用する学習済みＮＮ８２に応じて第１重み１０４及び第２重み１０６を変更する。

図１５に示す例では、ＮＶＭ６４に、ＮＮ決定テーブル１２０及びＮＮ別重みテーブル１２２が記憶されている。ＮＮ決定テーブル１２０には、複数の撮像シーンと複数のＩＤ８２Ａとが１対１で対応付けられている。ＮＮ別重みテーブル１２２には、複数のＩＤ８２Ａと複数の第１重み１０４とが１対１で対応付けられている。

一例として図１６に示すように、ＡＩ方式処理部６２Ａは、撮像シーン検出機能を有する。ＡＩ方式処理部６２Ａは、撮像シーン検出機能を働かせることで、推論用ＲＡＷ画像７５Ａ２に写り込んでいるシーンを撮像シーンとして検出する。撮像シーンの検出は、ＡＩ方式の検出であってもよいし、非ＡＩ方式の検出（例えば、テンプレートマッチングによる検出）であってもよい。なお、撮像シーンは、受付デバイス７６によって受け付けられた指示に従って決定されるようにしてもよい。

ＡＩ方式処理部６２Ａは、検出した撮像シーンに対応するＩＤ８２ＡをＮＮ決定テーブル１２０から導出し、導出したＩＤ８２Ａから特定される学習済みＮＮ８２をＮＶＭ６４から取得する。そして、ＡＩ方式処理部６２Ａは、撮像シーンの検出対象とされた推論用ＲＡＷ画像７５Ａ２を学習済みＮＮ８２に入力することにより第１画像７５Ｄを取得する。

一例として図１７に示すように、重み導出部６２Ｃは、ＡＩ方式処理部６２Ａで使用されている学習済みＮＮ８２のＩＤ８２Ａに対応する第１重み１０４をＮＮ別重みテーブル１２２から導出し、導出した第１重み１０４から第２重み１０６を算出する。ＮＮ別重みテーブル１２２には、ＩＤ８２Ａ毎に異なる第１重み１０４が対応付けられているので、第１画像７５Ｄに対して適用される第１重み１０４、及び第２画像７５Ｅに対して適用される第２重み１０６は、ＡＩ方式処理部６２Ａで使用されている学習済みＮＮ８２に応じて変更される。

本第６変形例では、学習済みＮＮ８２が撮像シーン毎に設けられており、撮像シーン毎に、ＡＩ方式処理部６２Ａで使用される学習済みＮＮ８２が切り替えられる。そして、ＡＩ方式処理部６２Ａで使用されている学習済みＮＮ８２に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、撮像シーン毎に学習済みＮＮ８２が切り替えられたとしても常に一定の重みが用いられる場合に比べ、撮像シーン毎に学習済みＮＮ８２が切り替えられることに伴って画質が低下することを抑制することができる。

なお、本第６変形例では、ＮＮ決定テーブル１２０とＮＮ別重みテーブル１２２とが別個のテーブルとされているが、１つのテーブルにまとめてもよい。この場合、例えば、撮像シーン毎に、ＩＤ８２Ａ及び第１重み１０４が１対１で対応付けられたテーブルであればよい。

［第７変形例］
ＣＰＵ６２は、既定の画像特性パラメータについて、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２を正規化するようにしてよい。画像特性パラメータは、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２を得る撮像で用いられるイメージセンサ２０及び撮像条件に応じて定まるパラメータである。本第７変形例では、一例として図１８に示すように、画像特性パラメータは、各画素のビット数（以下、「画像特性ビット数」とも称する）、及びオプティカルブラックに関するオフセット値（以下、「ＯＢオフセット値」とも称する）である。例えば、画像特性ビット数は、１４ビットであり、ＯＢオフセット値は、１０２４ＬＳＢである。

一例として図１８に示すように、学習実行システム１２４は、図４に示す学習実行システム８４に比べ、学習実行装置８８に代えて学習実行装置１２６を適用した点が異なる。学習実行装置１２６は、学習実行装置８８に比べ、正規化処理部１２８を有する点が異なる。

正規化処理部１２８は、記憶装置８６から学習用ＲＡＷ画像７５Ａ１を取得し、取得した学習用ＲＡＷ画像７５Ａ１を画像特性パラメータについて正規化する。例えば、正規化処理部１２８は、記憶装置８６から取得した学習用ＲＡＷ画像７５Ａ１の画像特性ビット数を１４ビットに合わせ、学習用ＲＡＷ画像７５Ａ１のＯＢオフセット値を１０２４ＬＳＢに合わせる。正規化処理部１２８は、画像特性パラメータについて正規化した学習用ＲＡＷ画像７５Ａ１をＮＮ９０に入力する。これにより、図４に示す例と同様に学習済みＮＮ８２が生成される。学習済みＮＮ８２には、正規化に用いられた画像特性パラメータ、すなわち、画像特性ビット数の１４ビット及びＯＢオフセット値の１０２４ＬＳＢが関連付けられている。なお、画像特性ビット数の１４ビット及びＯＢオフセット値の１０２４ＬＳＢは、本開示の技術に係る「第１パラメータ」の一例である。以下では、説明の便宜上、学習済みＮＮ８２に関連付けられている画像特性ビット数及びＯＢオフセット値を区別して説明する必要がない場合、第１パラメータと称する。

一例として図１９に示すように、ＡＩ方式処理部６２Ａは、正規化処理部１３０及びパラメータ復元部１３２を有する。正規化処理部１３０は、第１パラメータと、推論用ＲＡＷ画像７５Ａ２の画像特性ビット数及びＯＢオフセット値である第２パラメータとを用いて推論用ＲＡＷ画像７５Ａ２を正規化する。

なお、本第７変形例において、撮像装置１０は、本開示の技術に係る「第１撮像装置」及び「第２撮像装置」の一例である。また、正規化処理部１２８によって正規化された学習用ＲＡＷ画像７５Ａ１は、本開示の技術に係る「学習用画像」の一例である。また、学習用ＲＡＷ画像７５Ａ１は、本開示の技術に係る「第１ＲＡＷ画像」の一例である。また、推論用ＲＡＷ画像７５Ａ２は、本開示の技術に係る「推論用画像」及び「第２ＲＡＷ画像」の一例である。

正規化処理部１３０は、次の数式（１）を用いて推論用ＲＡＷ画像７５Ａ２を正規化する。数式（１）において、“Ｂ_ｔ”は、学習済みＮＮ８２に関連付けられている画像特性ビット数であり、“Ｏ_ｔ”は、学習済みＮＮ８２に関連付けられているＯＢオフセット値であり、 “Ｂ_ｉ”は、推論用ＲＡＷ画像７５Ａ２の画像特性ビット数であり、“Ｏ_ｉ”は、推論用ＲＡＷ画像７５Ａ２のＯＢオフセット値であり、“Ｐ_０”は、推論用ＲＡＷ画像７５Ａ２の画素値であり、“Ｐ_１”は、推論用ＲＡＷ画像７５Ａ２の正規化後の画素値である。

正規化処理部１３０は、数式（１）を用いて正規化した推論用ＲＡＷ画像７５Ａ２を学習済みＮＮ８２に入力する。学習済みＮＮ８２に推論用ＲＡＷ画像７５Ａ２が入力されることによって学習済みＮＮ８２から、第１パラメータで規定された第１画像７５Ｄとして、正規化後ノイズ調整画像１３４が出力される。

パラメータ復元部１３２は、正規化後ノイズ調整画像１３４を取得する。そして、パラメータ復元部１３２は、第１パラメータ及び第２パラメータを用いて、正規化後ノイズ調整画像１３４を第２パラメータの画像に調整する。すなわち、パラメータ復元部１３２は、次の数式（２）を用いて、正規化後ノイズ調整画像１３４の画像特性ビット数及びＯＢオフセット値から、正規化処理部１３０によって正規化される前の画像特性ビット数及びＯＢオフセット値を復元する。数式（２）に従って復元した第２パラメータで規定された正規化後ノイズ調整画像１３４は、第１重み１０４が付与される画像として用いられる。数式（２）において、“Ｐ_２”は、推論用ＲＡＷ画像７５Ａ２が正規化処理部１３０によって正規化される前の画像特性ビット数及びＯＢオフセット値に復元された後の画素値である。

このように、本第７変形例では、既定の画像特性パラメータについて、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２が正規化される。従って、本構成によれば、画像特性パラメータについて正規化されていない推論用ＲＡＷ画像７５Ａ２が学習済みＮＮ８２に入力される場合に比べ、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２の画像特性パラメータの違いに起因する画質の低下を抑制することができる。

また、本第７変形例では、ＮＮ９０を学習させる場合にＮＮ９０に入力される学習用画像として、画像特性パラメータについて正規化処理部１２８によって正規化された学習用ＲＡＷ画像７５Ａ１が用いられている。従って、本構成によれば、画像特性パラメータについて正規化されていない学習用ＲＡＷ画像７５Ａ１がＮＮ９０の学習用画像として用いられる場合に比べ、画像特性パラメータが、ＮＮ９０に学習用画像として入力される学習用ＲＡＷ画像７５Ａ１毎に異なることに起因する画質の低下を抑制することができる。

また、本第７変形例では、学習済みＮＮ８２に入力される推論用画像として、画像特性パラメータについて正規化処理部１３０によって正規化された推論用ＲＡＷ画像７５Ａ２が用いられている。従って、本構成によれば、画像特性パラメータについて正規化されていない推論用ＲＡＷ画像７５Ａ２が学習済みＮＮ８２の推論用画像として用いられる場合に比べ、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２の画像特性パラメータの違いに起因する画質の低下を抑制することができる。

更に、本第７変形例では、学習済みＮＮ８２から出力された正規化後ノイズ調整画像１３４の画像特性パラメータが、正規化処理部１３０によって正規化される前の推論用ＲＡＷ画像７５Ａ２の第２パラメータに復元される。そして、第２パラメータに復元された正規化後ノイズ調整画像１３４が、第１重み１０４の付与対象とされる第１画像７５Ｄとして用いられる。従って、本構成によれば、正規化後ノイズ調整画像１３４の画像特性パラメータが、正規化処理部１３０によって正規化される前の推論用ＲＡＷ画像７５Ａ２の第２パラメータに復元されない場合に比べ、画質の低下を抑制することができる。

なお、本第７変形例では、学習用ＲＡＷ画像７５Ａ１の画像特性ビット数及びＯＢオフセット値の両方が正規化される形態例を挙げて説明したが、本開示の技術はこれに限定されず、学習用ＲＡＷ画像７５Ａ１の画像特性ビット数又はＯＢオフセット値が正規化されるようにしてもよい。

また、本第７変形例は、推論用ＲＡＷ画像７５Ａ２の画像特性ビット数及びＯＢオフセット値の両方が正規化される形態例を挙げて説明したが、本開示の技術はこれに限定されず、推論用ＲＡＷ画像７５Ａ２の画像特性ビット数又はＯＢオフセット値が正規化されるようにしてもよい。なお、学習段階で学習用ＲＡＷ画像７５Ａ１の画像特性ビット数が正規化された場合、推論用ＲＡＷ画像７５Ａ２の画像特性ビット数が正規化されるようにし、学習段階で学習用ＲＡＷ画像７５Ａ１のＯＢオフセット値が正規化された場合、推論用ＲＡＷ画像７５Ａ２のＯＢオフセット値が正規化されるようにすることが好ましい。

また、本第７変形例では、正規化を例示したが、これは、あくまでも一例に過ぎず、正規化に代えて第１画像７５Ｄ及び第２画像７５Ｅに対して付与する重みを変えるようにしてもよい。

また、本第７変形例では、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２が正規化されるので、画像特性パラメータが互いに異なる複数の推論用ＲＡＷ画像７５Ａ２を１つの学習済みＮＮ８２に対して適用したとしても、画像特性パラメータのばらつきに起因する画質の低下を抑制することができるが、本開示の技術はこれに限定されない。例えば、画像特性パラメータ毎に学習済みＮＮ８２がＮＶＭ６４に記憶されていてもよい。この場合、推論用ＲＡＷ画像７５Ａ２の画像特性パラメータに応じて、学習済みＮＮ８２を使い分ければよい。

また、本第７変形例では、学習用ＲＡＷ画像７５Ａ１が正規化処理部１２８によって正規化される形態例が挙げられているが、学習用ＲＡＷ画像７５Ａ１の正規化は必須ではない。すなわち、ＮＮ９０に入力される全ての学習用ＲＡＷ画像７５Ａ１が一定の画像特性パラメータ（例えば、画像特性ビット数の１４ビット及びＯＢオフセット値の１０２４ＬＳＢ）の画像であれば、正規化処理部１２８は不要である。

［第８変形例］
ＣＰＵ６２は、第１画像７５Ｄ及び第２画像７５Ｅに対して、指定された設定値に従って信号処理を行い、設定値は、第１画像７５Ｄに対して信号処理を行う場合と第２画像７５Ｅに対して信号処理を行う場合とで異なるようにしてもよい。この場合、一例として図２０に示すように、ＣＰＵ６２は、パラメータ調整部６２Ｇを更に有する。パラメータ調整部６２Ｇは、輝度処理部６２Ｆ７に対して設定される輝度フィルタパラメータを、第１画像７５Ｄに対して信号処理部６２Ｆによって信号処理が行われる場合と第２画像７５Ｅに対して信号処理部６２Ｆによって信号処理が行われる場合とで異ならせる。なお、輝度フィルタパラメータは、本開示の技術に係る「設定値」の一例である。

信号処理部６２Ｆには、第１画像７５Ｄ、第２画像７５Ｅ、及び合成画像７５Ｆが選択的に入力される。信号処理部６２Ｆに第１画像７５Ｄ、第２画像７５Ｅ、及び合成画像７５Ｆが選択的に入力されるようにするには、例えば、ＣＰＵ６２が第１重み１０４を変更すればよい。例えば、第１重み１０４が“０”の場合、第１画像７５Ｄ、第２画像７５Ｅ、及び合成画像７５Ｆのうちの第２画像７５Ｅのみが信号処理部６２Ｆに入力される。また、例えば、第１重み１０４が“１”の場合、第１画像７５Ｄ、第２画像７５Ｅ、及び合成画像７５Ｆのうちの第１画像７５Ｄのみが信号処理部６２Ｆに入力される。更に、例えば、第１重み１０４が“０”よりも大きく“１”未満の場合、第１画像７５Ｄ、第２画像７５Ｅ、及び合成画像７５Ｆのうちの合成画像７５Ｆのみが信号処理部６２Ｆに入力される。

第１重み１０４が“０”の場合、パラメータ調整部６２Ｇは、輝度フィルタパラメータを、第２画像７５Ｅの輝度の調整に特化した第１基準値に設定する。例えば、第１基準値は、デジタルフィルタ１００（図５参照）の特性に起因して第２画像７５Ｅから消失したシャープネスを補足することが可能な値である。

第１重み１０４が“１”の場合、パラメータ調整部６２Ｇは、輝度フィルタパラメータを、第１画像７５Ｄの輝度の調整に特化した第２基準値に設定する。例えば、第２基準値は、学習済みＮＮ８２（図７参照）の特性に起因して第１画像７５Ｄから消失したシャープネスを補足することが可能な値である。

第１重み１０４が“０”よりも大きく“１”未満の場合、パラメータ調整部６２Ｇは、上記実施形態で説明したように、重み導出部６２Ｃによって導出された第１重み１０４及び第２重み１０６に応じて輝度フィルタパラメータを変更する。

このように、本第８変形例では、第１画像７５Ｄに対して信号処理を行う場合と第２画像７５Ｅに対して信号処理を行う場合とで輝度フィルタパラメータを異ならせている。従って、本構成によれば、第１画像７５ＤのＹ信号及び第２画像７５ＥのＹ信号に対して常に同じ輝度フィルタパラメータに従って輝度フィルタによるフィルタリングが行われる場合に比べ、ＡＩ方式ノイズ調整処理の影響を受けた第１画像７５Ｄに適したシャープネス、及びＡＩ方式ノイズ調整処理の影響を受けていない第２画像７５Ｅに適したシャープネスを実現することができる。

また、本第８変形例では、第１重み１０４が“１”の場合及び第１重み１０４が“０”を上回り“１”未満の場合に、ＡＩ方式ノイズ調整処理によって失われたシャープネスを補う処理として、輝度処理部６２Ｆ７による第１画像７５ＤのＹ信号に対して、輝度フィルタを用いたフィルタリングが行われる。従って、本構成によれば、ＡＩ方式ノイズ調整処理によって失われたシャープネスを補う処理が第１画像７５Ｄに対して行われない場合に比べ、鮮鋭度の高い画像を得ることができる。

なお、本第８変形例では、第１画像７５Ｄに対して信号処理が行われる場合と第２画像７５Ｅに対して信号処理が行われる場合とで輝度フィルタパラメータを異ならせる形態例を挙げて説明したが、本開示の技術はこれに限定されず、オフセット補正処理で用いられるパラメータ、ホワイトバランス補正処理で用いられるパラメータ、デモザイク処理で用いられるパラメータ、色補正処理で用いられるパラメータ、ガンマ補正処理で用いられるパラメータ、第１色差フィルタパラメータ、第２色差フィルタパラメータ、リサイズ処理で用いられるパラメータ、及び／又は、圧縮処理で用いられるパラメータが第１画像７５Ｄに対して信号処理が行われる場合と第２画像７５Ｅに対して信号処理が行われる場合とで異ならせるようにしてもよい。また、信号処理部６２Ｆに、画像のシャープネスを調整するシャープネス処理を行うシャープネス補正処理部（図示省略）が設けられている場合、シャープネス補正処理部で用いられるパラメータ（例えば、シャープネスを強調する度合いを調整可能なパラメータ）を、第１画像７５Ｄに対して信号処理が行われる場合と第２画像７５Ｅに対して信号処理が行われる場合とで異ならせるようにしてもよい。

［第９変形例］
学習済みＮＮ８２は、暗い画像領域よりも明るい画像領域についてノイズと微細構造との判別がし難い、という性質を有している。この性質は、学習済みＮＮ８２の層構造が簡素化されるほど、顕著に現れる。暗い画像領域よりも明るい画像領域についてノイズと微細構造との判別がし難いと、学習済みＮＮ８２によって微細構造がノイズとして判別されて除去されるので、シャープネスが不足した画像が第１画像７５Ｄとして得られることが予想される。第１画像７５Ｄのシャープネスが不足する原因の１つとしては、微細構造を形成している輝度の不足が考えられる。なぜならば、輝度は、色に比べ、微細構造の形成に寄与する度合いが大きいにも関わらず、学習済みＮＮ８２によってノイズとして判別されて除去される可能性が高いからである。

そこで、本第９変形例では、合成処理で合成対象とされる第１画像７５Ｄ及び第２画像７５ＥをＹ信号、Ｃｂ信号、及びＣｒ信号で表現された画像に変換し、第１画像７５ＤのＹ信号よりも第２画像７５ＥのＹ信号の重みを大きくし、第２画像７５ＥのＣｂ信号及びＣｒ信号よりも第１画像のＣｂ信号及びＣｒの重みを大きくするように第１画像７５Ｄ及び第２画像７５Ｅに対して信号処理が行われる。具体的には、第１重み１０４及び第２重み１０６に従って、Ｙ信号の信号レベルについては第１画像７５Ｄよりも第２画像７５Ｅを高くし、Ｃｂ信号及びＣｒ信号の信号レベルについては第２画像７５Ｅよりも第１画像７５Ｄを高くするように第１画像７５Ｄ及び第２画像７５Ｅに対して信号処理が行われる。

この場合、一例として図２１に示すように、ＣＰＵ６２は、上記実施形態で説明した合成部６２Ｅ及び信号処理部６２Ｆに代えて信号処理部６２Ｈを有する。信号処理部６２Ｈは、第１画像処理部６２Ｈ１、第２画像処理部６２Ｈ２、合成処理部６２Ｈ３、リサイズ処理部６２Ｈ４、及び圧縮処理部６２Ｈ５を有する。第１画像処理部６２Ｈ１は、ＡＩ方式処理部６２Ａから第１画像７５Ｄを取得し、第１画像７５Ｄに対して信号処理を行う。第２画像処理部６２Ｈ２は、非ＡＩ方式処理部６２Ｂから第２画像７５Ｅを取得し、第２画像７５Ｅに対して信号処理を行う。合成処理部６２Ｈ３は、上述した合成部６２Ｅと同様に、合成処理を行う。すなわち、合成処理部６２Ｈ３は、第１画像処理部６２Ｈ１によって信号処理が行われた第１画像７５Ｄと、第２画像処理部６２Ｈ２によって信号処理が行われた第２画像７５Ｅとを合成することで、上述した合成画像７５Ｆを生成する。リサイズ処理部６２Ｈ４は、合成処理部６２Ｈ３によって生成された合成画像７５Ｆに対して、上述したリサイズ処理を行う。圧縮処理部６２Ｈ５は、リサイズ処理部６２Ｈ４によってリサイズ処理が行われた合成画像７５Ｆに対して、上述した圧縮処理を行う。圧縮処理が行われることによって、上述したように処理済み画像７５Ｂ（図２、図８及び図２０参照）が得られる。

一例として図２２に示すように、第１画像処理部６２Ｈ１は、上述したオフセット補正部６２Ｆ１と同様の機能を有するオフセット補正部６２Ｈ１ａ、上述したホワイトバランス補正部６２Ｆ２と同様の機能を有するホワイトバランス補正部６２Ｈ１ｂ、上述したデモザイク処理部６２Ｆ３と同様の機能を有するデモザイク処理部６２Ｈ１ｃ、上述した色補正部６２Ｆ４と同様の機能を有する色補正部６２Ｈ１ｄ、上述したガンマ補正部６２Ｆ５と同様の機能を有するガンマ補正部６２Ｈ１ｅ、色空間変換部６２Ｆ６と同様の機能を有する色空間変換部６２Ｈ１ｆ、及び第１画像用重み付与部６２ｉを備えている。第１画像用重み付与部６２ｉは、上述した輝度処理部６２Ｆ７と同様の機能を有する輝度処理部６２Ｈ１ｇ、上述した色差処理部６２Ｆ８と同様の機能を有する色差処理部６２Ｈ１ｈ、及び上述した色差処理部６２Ｆ９と同様の機能を有する色差処理部６２Ｈ１ｉを有する。

ＡＩ方式処理部６２Ａから第１画像処理部６２Ｈ１に第１画像７５Ｄが入力されると（図２１参照）、第１画像７５Ｄに対して、オフセット補正処理、ホワイトバランス処理、デモザイク処理、色補正処理、ガンマ補正処理、及び色空間変換処理がシーケンシャルに行われる。

輝度処理部６２Ｈ１ｇは、輝度フィルタパラメータに従って、Ｙ信号に対して輝度フィルタを用いたフィルタリングを行う。第１画像用重み付与部６２ｉは、重み導出部６２Ｃから第１重み１０４を取得し、取得した第１重み１０４を輝度処理部６２Ｈ１ｇから出力されるＹ信号に対して設定する。これにより、第１画像用重み付与部６２ｉは、第２画像７５ＥのＹ信号（図２３及び図２４参照）よりも信号レベルが低いＹ信号を生成する。

色差処理部６２Ｈ１ｈは、第１色差フィルタパラメータに従って、Ｃｂ信号に対して第１色差フィルタを用いたフィルタリングを行う。

色差処理部６２Ｈ１ｉは、第２色差フィルタパラメータに従って、Ｃｒ信号に対して第２色差フィルタを用いたフィルタリングを行う。

第１画像用重み付与部６２ｉは、重み導出部６２Ｃから第２重み１０６を取得し、取得した第２重み１０６を、色差処理部６２Ｈ１ｈから出力されるＣｂ信号及び色差処理部６２Ｈ１ｉから出力されるＣｒ信号に設定する。これにより、第１画像用重み付与部６２ｉは、第２画像７５ＥのＣｂ信号（図２３及び図２４参照）よりも信号レベルが高いＣｂ信号を生成し、第２画像７５ＥのＣｒ信号（図２３及び図２４参照）よりも信号レベルが高いＣｒ信号を生成する。

一例として図２３に示すように、第２画像処理部６２Ｈ２は、上述したオフセット補正部６２Ｆ１と同様の機能を有するオフセット補正部６２Ｈ２ａ、上述したホワイトバランス補正部６２Ｆ２と同様の機能を有するホワイトバランス補正部６２Ｈ２ｂ、上述したデモザイク処理部６２Ｆ３と同様の機能を有するデモザイク処理部６２Ｈ２ｃ、上述した色補正部６２Ｆ４と同様の機能を有する色補正部６２Ｈ２ｄ、上述したガンマ補正部６２Ｆ５と同様の機能を有するガンマ補正部６２Ｈ２ｅ、色空間変換部６２Ｆ６と同様の機能を有する色空間変換部６２Ｈ２ｆ、及び第２画像用重み付与部６２ｊを備えている。第１画像用重み付与部６２ｊは、上述した輝度処理部６２Ｆ７と同様の機能を有する輝度処理部６２Ｈ２ｇ、上述した色差処理部６２Ｆ８と同様の機能を有する色差処理部６２Ｈ２ｈ、及び上述した色差処理部６２Ｆ９と同様の機能を有する色差処理部６２Ｈ２ｉを有する。

非ＡＩ方式処理部６２Ｂから第２画像処理部６２Ｈ２に第２画像７５Ｅが入力されると（図２１参照）、第２画像７５Ｅに対して、オフセット補正処理、ホワイトバランス処理、デモザイク処理、色補正処理、ガンマ補正処理、及び色空間変換処理がシーケンシャルに行われる。

輝度処理部６２Ｈ２ｇは、輝度フィルタパラメータに従って、Ｙ信号に対して輝度フィルタを用いたフィルタリングを行う。第２画像用重み付与部６２ｊは、重み導出部６２Ｃから第１重み１０４を取得し、取得した第１重み１０４を、輝度処理部６２Ｈ２ｇから出力されるＹ信号に対して設定する。これにより、第２画像用重み付与部６２ｊは、第１画像７５ＤのＹ信号（図２２及び図２４参照）よりも信号レベルが高いＹ信号を生成する。

色差処理部６２Ｈ２ｈは、第２色差フィルタパラメータに従って、Ｃｂ信号に対して第２色差フィルタを用いたフィルタリングを行う。

色差処理部６２Ｈ２ｉは、第２色差フィルタパラメータに従って、Ｃｒ信号に対して第２色差フィルタを用いたフィルタリングを行う。

第２画像用重み付与部６２ｊは、重み導出部６２Ｃから第２重み１０６を取得し、取得した第２重み１０６を色差処理部６２Ｈ２ｈから出力されるＣｂ信号及び色差処理部６２Ｈ２ｉから出力されるＣｒ信号に設定する。これにより、第２画像用重み付与部６２ｊは、第１画像７５ＤのＣｂ信号（図２２及び図２４参照）よりも信号レベルが低いＣｂ信号を生成し、第１画像７５ＤのＣｒ信号（図２２及び図２４参照）よりも信号レベルが低いＣｒ信号を生成する。

一例として図２４に示すように、合成処理部６２Ｈ３は、第１画像７５Ｄとして第１画像用重み付与部６２ｉからＹ信号、Ｃｂ信号、及びＣｒ信号を取得し、第２画像７５Ｅとして第２画像用重み付与部６２ｊからＹ信号、Ｃｂ信号、及びＣｒ信号を取得する。そして、合成処理部６２Ｈ３は、Ｙ信号、Ｃｂ信号、及びＣｒ信号で表現された第１画像７５Ｄと、Ｙ信号、Ｃｂ信号、及びＣｒ信号で表現された第２画像７５Ｅとを合成することで、Ｙ信号、Ｃｂ信号、及びＣｒ信号で表現された合成画像７５Ｆを生成する。リサイズ処理部６２Ｈ４は、合成処理部６２Ｈ３によって生成された合成画像７５Ｆに対して、上述したリサイズ処理を行う。圧縮処理部６２Ｈ５は、リサイズ処理が行われた合成画像７５Ｆに対して、上述した圧縮処理を行う。

このように、本第９変形例では、Ｙ信号の信号レベルについては第１画像７５Ｄよりも第２画像７５Ｅを高くし、Ｃｂ信号及びＣｒ信号の信号レベルについては第２画像７５Ｅよりも第１画像７５Ｄを高くするように第１画像７５Ｄ及び第２画像７５Ｅに対して信号処理が行われる。これにより、Ｙ信号の信号レベルについては第１画像７５Ｄよりも第２画像７５Ｅを低くし、Ｃｂ信号及びＣｒ信号の信号レベルについては第２画像７５Ｅよりも第１画像７５Ｄを低くするように第１画像７５Ｄ及び第２画像７５Ｅに対して信号処理が行われる場合に比べ、画像に含まれるノイズの除去不足の抑制と、画像のシャープネス不足の抑制との両立を図ることができる。

なお、本第９変形例では、Ｙ信号の信号レベルについては第１画像７５Ｄよりも第２画像７５Ｅを高くし、Ｃｂ信号及びＣｒ信号の信号レベルについては第２画像７５Ｅよりも第１画像７５Ｄを高くするように第１画像７５Ｄ及び第２画像７５Ｅに対して信号処理が行われる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、Ｙ信号の信号レベルについて第１画像７５Ｄよりも第２画像７５Ｅを低くする第１処理、及びＣｂ信号及びＣｒ信号の信号レベルについて第２画像７５Ｅよりも第１画像７５Ｄを低くする第２処理のうち、第１処理のみが行われるようにしてもよい。

また、本第９変形例では、第１画像用重み付与部６２ｉから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第１画像７５Ｄとして用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成処理で合成対象とされる第１画像７５Ｄとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われることで得られたＣｂ信号及びＣｒ信号により示される画像が用いられるようにしてもよい。この場合、例えば、輝度処理部６２Ｈ１ｇから出力される信号に対する重みを“０”にすればよい。従って、本構成によれば、第１画像７５ＤとしてＹ信号が用いられる場合に比べ、輝度に起因するノイズを抑制することができる。

また、本第９変形例では、第２画像用重み付与部６２ｊから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第２画像７５Ｅとして用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成処理で合成対象とされる第２画像７５Ｅとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われず得られたＹ信号により示される画像が用いられるようにしてもよい。この場合、色差処理部６２Ｈ２ｈから出力される信号に対する重みを“０”とし、かつ、色差処理部６２Ｈ２ｉから出力される信号に対する重みも“０”とすればよい。従って、本構成によれば、第２画像７５ＥとしてＣｂ信号及びＣｒ信号が含まれる画像と第１画像７５Ｄとが合成されることで得られる合成画像７５Ｆに比べ、第１画像７５Ｄと第２画像７５Ｅとが合成されることで得られる合成画像７５Ｆの微細構造の鮮鋭度の低下を抑制することができる。

更に、本第９変形例では、第１画像用重み付与部６２ｉから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第１画像７５Ｄとして用いられ、かつ、第２画像用重み付与部６２ｊから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第２画像７５Ｅとして用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成処理で合成対象とされる第１画像７５Ｄとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われることで得られたＣｂ信号及びＣｒ信号により示される画像が用いられ、かつ、合成処理で合成対象とされる第２画像７５Ｅとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われず得られたＹ信号により示される画像が用いられるようにしてもよい。この場合、例えば、輝度処理部６２Ｈ１ｇから出力される信号に対する重みを“０”とし、色差処理部６２Ｈ２ｈから出力される信号に対する重みを“０”とし、かつ、色差処理部６２Ｈ２ｉから出力される信号に対する重みも“０”とすればよい。従って、本構成によれば、第１画像７５ＤとしてＹ信号、Ｃｂ信号、及びＣｒ信号が用いられ、かつ、第２画像７５ＥとしてＹ信号、Ｃｂ信号、及びＣｒ信号が用いられる場合に比べ、画像に含まれるノイズの除去不足の抑制と、画像のシャープネス不足の抑制との両立を図ることができる。

なお、上記実施形態（例えば、図７に示す例）では、推論用ＲＡＷ画像７５Ａ２から非ＡＩ方式でノイズが調整されることによって得られた第２画像７５Ｅに対して第２重み１０６が付与される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、一例として図２５に示すように、推論用ＲＡＷ画像７５Ａ２に対してノイズが調整されずに得られた画像、すなわち、推論用ＲＡＷ画像７５Ａ２に対して第２重み１０６が付与されるようにしてもよい。この場合、推論用ＲＡＷ画像７５Ａ２が本開示の技術に係る「第２画像」の一例である。

このように、推論用ＲＡＷ画像７５Ａ２に対して第２重み１０６が付与されると、合成部６２Ｅは、第１重み１０４及び第２重み１０６に応じて第１画像７５Ｄと推論用ＲＡＷ画像７５Ａ２とを合成する。第１画像７５Ｄからは、学習済みＮＮ８２の性質上、輝度がノイズとして判別されることによって過剰に除去されてしまうが、第２重み１０６が付与された推論用ＲＡＷ画像７５Ａ２には、輝度に起因するノイズが残存している。よって、第１画像７５Ｄと推論用ＲＡＷ画像７５Ａ２とが合成されることで、輝度不足に起因する微細構造の消失を回避することができる。

上記の各例では、撮像装置１０に含まれる画像処理エンジン１２のＣＰＵ６２によって画質調整処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、画質調整処理を行うデバイスは、撮像装置１０の外部に設けられていてもよい。この場合、一例として図２６に示すように、撮像システム１３６を用いればよい。撮像システム１３６は、撮像装置１０と外部装置１３８を備えている。外部装置１３８は、例えば、サーバである。サーバは、例えば、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバは、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部装置１３８の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を外部装置１３８として用いてもよい。

外部装置１３８は、ＣＰＵ１４０、ＮＶＭ１４２、ＲＡＭ１４４、及び通信Ｉ／Ｆ１４６を備えており、ＣＰＵ１４０、ＮＶＭ１４２、ＲＡＭ１４４、及び通信Ｉ／Ｆ１４６は、バス１４８で接続されている。通信Ｉ／Ｆ１４６は、ネットワーク１５０を介して撮像装置１０に接続されている。ネットワーク１５０は、例えば、インターネットである。なお、ネットワーク１５０は、インターネットに限らず、ＷＡＮ、及び／又は、イントラネット等のＬＡＮであってもよい。

ＮＶＭ１４２には、画質調整処理プログラム８０及び学習済みＮＮ８２が記憶されている。ＣＰＵ１４０は、ＲＡＭ１４４で画質調整処理プログラム８０を実行する。ＣＰＵ１４０は、ＲＡＭ１４４上で実行する画質調整処理プログラム８０に従って、上述した画質調整処理を行う。ＣＰＵ１４０は、画質調整処理を行う場合に、上記の各例で説明したように学習済みＮＮ８２を用いて推論用ＲＡＷ画像７５Ａ２を処理する。推論用ＲＡＷ画像７５Ａ２は、例えば、撮像装置１０からネットワーク１５０を介して外部装置１３８に送信される。外部装置１３８の通信Ｉ／Ｆ１４６は、推論用ＲＡＷ画像７５Ａ２を受信する。ＣＰＵ１４０は、通信Ｉ／Ｆ１４６によって受信された推論用ＲＡＷ画像７５Ａ２に対して画質調整処理を行う。ＣＰＵ１４０は、画質調整処理を行うことで合成画像７５Ｆを生成し、生成した合成画像７５Ｆを撮像装置１０に送信する。撮像装置１０は、外部装置１３８から送信された合成画像７５を通信Ｉ／Ｆ５２（図２参照）で受信する。

なお、図２６に示す例において、外部装置１３８は、本開示の技術に係る「情報処理装置」の一例であり、ＣＰＵ１４０は、本開示の技術に係る「プロセッサ」の一例であり、ＮＶＭ１４２は、本開示の技術に係る「メモリ」の一例である。

また、画質調整処理は、撮像装置１０及び外部装置１３８を含む複数の装置によって分散して行われるようにしてもよい。

また、上記実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

上記実施形態では、ＮＶＭ６２に画質調整処理プログラム８０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画質調整処理プログラム８０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている画質調整処理プログラム８０は、撮像装置１０の画像処理エンジン１２にインストールされる。ＣＰＵ６２は、画質調整処理プログラム８０に従って画質調整処理を実行する。

また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に画質調整処理プログラム８０を記憶させておき、撮像装置１０の要求に応じて画質調整処理プログラム８０がダウンロードされ、画像処理エンジン１２にインストールされるようにしてもよい。

なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６２に画質調整処理プログラム８０の全てを記憶させておく必要はなく、画質調整処理プログラム８０の一部を記憶させておいてもよい。

また、図１及び図２に示す撮像装置１０には画像処理エンジン１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、画像処理エンジン１２が撮像装置１０の外部に設けられるようにしてもよい。

上記実施形態では、画像処理エンジン１２が例示されているが、本開示の技術はこれに限定されず、画像処理エンジン１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、画像処理エンジン１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記実施形態で説明した画質調整処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画質調整処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画質調整処理を実行する。

画質調整処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画質調整処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画質調整処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画質調整処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、画質調整処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の画質調整処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
ニューラルネットワークを用いたＡＩ方式で撮像画像を処理し、
前記撮像画像を前記ＡＩ方式で処理されることで得られた第１画像と、前記撮像画像が前記ＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行い、
前記第１画像の輝度信号よりも前記第２画像の輝度信号の重みを大きくする第１処理、及び前記第２画像の色差信号よりも前記第１画像の色差信号の重みを大きくする第２処理のうち、少なくとも前記第１処理を行う
情報処理装置。

Claims (26)

1. プロセッサと、
   前記プロセッサに接続又は内蔵されたメモリと、を備え、
   前記プロセッサは、
   ニューラルネットワークを用いたＡＩ方式で撮像画像に含まれるノイズを調整するＡＩ方式ノイズ調整処理を行い、
   前記撮像画像が前記ＡＩ方式で処理されることで得られた第１画像と、前記撮像画像が前記ＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行うことで前記ノイズを調整する
   情報処理装置。
2. 前記プロセッサは、前記ニューラルネットワークを用いない非ＡＩ方式で前記ノイズを調整する非ＡＩ方式ノイズ調整処理を行い、
   前記第２画像は、前記撮像画像について前記非ＡＩ方式ノイズ調整処理によって前記ノイズが調整されることで得られた画像である
   請求項１に記載の情報処理装置。
3. 前記第２画像は、前記撮像画像について前記ノイズが調整されずに得られた画像である
   請求項１又は請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記第１画像及び前記第２画像に対して重みを付与し、
   前記重みに応じて前記第１画像及び前記第２画像を合成する
   請求項１から請求項３の何れか一項に記載の情報処理装置。
5. 前記重みは、前記第１画像に対して付与される第１重みと、前記第２画像に対して付与される第２重みとに類別され、
   前記プロセッサは、前記第１重み及び前記第２重みを用いた重み付け平均を行うことで前記第１画像及び前記第２画像を合成する
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、前記撮像画像に関連する関連情報に応じて前記重みを変更する
   請求項４又は請求項５に記載の情報処理装置。
7. 前記関連情報は、前記撮像画像を得る撮像で用いられたイメージセンサの感度に関連する感度関連情報を含む
   請求項６に記載の情報処理装置。
8. 前記関連情報は、前記撮像画像の明るさに関連する明るさ関連情報を含む
   請求項６又は請求項７に記載の情報処理装置。
9. 前記明るさ関連情報は、前記撮像画像の少なくとも一部の画素統計値である
   請求項８に記載の情報処理装置。
10. 前記関連情報は、前記撮像画像の空間周波数を示す空間周波数情報を含む
    請求項６から請求項９の何れか一項に記載の情報処理装置。
11. 前記プロセッサは、
    前記撮像画像に基づいて、前記撮像画像に写り込んでいる被写体を検出し、
    検出した前記被写体に応じて前記重みを変更する
    請求項４から請求項１０の何れか一項に記載の情報処理装置。
12. 前記プロセッサは、
    前記撮像画像に基づいて、前記撮像画像に写り込んでいる被写体の部位を検出し、
    検出した前記部位に応じて前記重みを変更する
    請求項４から請求項１１の何れか一項に記載の情報処理装置。
13. 前記ニューラルネットワークは、撮像シーン毎に設けられており、
    前記プロセッサは、
    前記撮像シーン毎に前記ニューラルネットワークを切り替え、
    前記ニューラルネットワークに応じて前記重みを変更する
    請求項４から請求項１２の何れか一項に記載の情報処理装置。
14. 前記プロセッサは、前記第１画像の特徴値と前記第２画像の特徴値との相違度に応じて前記重みを変更する
    請求項４から請求項１３の何れか一項に記載の情報処理装置。
15. 前記プロセッサは、前記ニューラルネットワークに入力される画像を得る撮像で用いられたイメージセンサ及び撮像条件に応じて定まる画像特性パラメータについて、前記ニューラルネットワークに入力される画像を正規化する
    請求項１から請求項１４の何れか一項に記載の情報処理装置。
16. 前記ニューラルネットワークを学習させる場合に前記ニューラルネットワークに入力される学習用画像は、第１撮像装置によって撮像されることで得られた第１ＲＡＷ画像のビット数及びオフセット値のうちの少なくとも１つの第１パラメータについて前記第１ＲＡＷ画像が正規化された画像である
    請求項１から請求項１５の何れか一項に記載の情報処理装置。
17. 前記撮像画像は、推論用画像であり、
    前記第１パラメータは、前記学習用画像が入力された前記ニューラルネットワークに関連付けられており、
    前記学習用画像が入力されることで学習が行われた前記ニューラルネットワークに、第２撮像装置によって撮像されることで得られた第２ＲＡＷ画像が前記推論用画像として入力される場合、前記プロセッサは、前記学習用画像が入力された前記ニューラルネットワークに関連付けられている前記第１パラメータと、前記第２ＲＡＷ画像のビット数及びオフセット値のうちの少なくとも１つの第２パラメータとを用いて前記第２ＲＡＷ画像を正規化する
    請求項１６に記載の情報処理装置。
18. 前記第１画像は、前記第１パラメータ及び前記第２パラメータを用いて正規化された前記第２ＲＡＷ画像について、前記学習用画像が入力されることで学習が行われた前記ニューラルネットワークを用いた前記ＡＩ方式ノイズ調整処理によって前記ノイズが調整されることで得られた正規化後ノイズ調整画像であり、
    前記プロセッサは、前記第１パラメータ及び前記第２パラメータを用いて前記正規化後ノイズ調整画像を、前記第２パラメータの画像に調整する
    請求項１７に記載の情報処理装置。
19. 前記プロセッサは、前記第１画像及び前記第２画像に対して、指定された設定値に従って信号処理を行い、
    前記設定値は、前記第１画像に対して前記信号処理を行う場合と前記第２画像に対して前記信号処理を行う場合とで異なる
    請求項１から請求項１８の何れか一項に記載の情報処理装置。
20. 前記プロセッサは、前記ＡＩ方式ノイズ調整処理によって失われたシャープネスを補う処理を前記第１画像に対して行う
    請求項１から請求項１９の何れか一項に記載の情報処理装置。
21. 前記合成処理で合成対象とされる前記第１画像は、前記撮像画像に対して前記ＡＩ方式ノイズ調整処理が行われることで得られた色差信号により示される画像である
    請求項１から請求項２０の何れか一項に記載の情報処理装置。
22. 前記合成処理で合成対象とされる前記第２画像は、前記撮像画像に対して前記ＡＩ方式ノイズ調整処理が行われず得られた輝度信号により示される画像である
    請求項１から請求項２１の何れか一項に記載の情報処理装置。
23. 前記合成処理で合成対象とされる前記第１画像は、前記撮像画像に対して前記ＡＩ方式ノイズ調整処理が行われることで得られた色差信号により示される画像であり、
    前記第２画像は、前記撮像画像に対して前記ＡＩ方式ノイズ調整処理が行われず得られた輝度信号により示される画像である
    請求項１から請求項２２の何れか一項に記載の情報処理装置。
24. プロセッサと、
    前記プロセッサに接続又は内蔵されたメモリと、
    イメージセンサと、を備え、
    前記プロセッサは、
    ニューラルネットワークを用いたＡＩ方式で、前記イメージセンサによって撮像されることで得られた撮像画像に含まれるノイズを調整するＡＩ方式ノイズ調整処理を行い、
    前記撮像画像が前記ＡＩ方式で処理されることで得られた第１画像と、前記撮像画像が前記ＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行うことで前記ノイズを調整する
    撮像装置。
25. ニューラルネットワークを用いたＡＩ方式で、イメージセンサによって撮像されることで得られた撮像画像に含まれるノイズを調整するＡＩ方式ノイズ調整処理を行うこと、及び、
    前記撮像画像が前記ＡＩ方式で処理されることで得られた第１画像と、前記撮像画像が前記ＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行うことで前記ノイズを調整すること
    を含む情報処理方法。
26. コンピュータに、
    ニューラルネットワークを用いたＡＩ方式で、イメージセンサによって撮像されることで得られた撮像画像に含まれるノイズを調整するＡＩ方式ノイズ調整処理を行うこと、及び、
    前記撮像画像が前記ＡＩ方式で処理されることで得られた第１画像と、前記撮像画像が前記ＡＩ方式で処理されずに得られた第２画像とを合成する合成処理を行うことで前記ノイズを調整することを含む処理を実行させるためのプログラム。