JPWO2022163440A5

JPWO2022163440A5 -

Info

Publication number: JPWO2022163440A5
Application number: JP2022578269A
Authority: JP
Filing date: 2022-01-18
Publication date: 2023-03-15
Anticipated expiration: 2042-01-18

Description

特開２０２０－１８４３００号公報には、少なくとも１つの命令語を保存するメモリと、メモリと電気的に接続され、命令語を実行することで、入力イメージから入力イメージの品質を示すノイズマップを獲得し、入力イメージ及びノイズマップを複数のレイヤを含む学習ネットワークモデルに適用し、入力イメージの品質の改善された出力イメージを獲得するプロセッサと、を含み、プロセッサは、複数のレイヤのうち少なくとも一つの中間レイヤにノイズマップを提供し、学習ネットワークモデルは、複数のサンプルイメージ、各サンプルイメージに対するノイズマップ及び各サンプルイメージに対する原本イメージの関係を人工知能アルゴリズムを通じて学習して獲得された学習済み人工知能モデルである電子装置が開示されている。

本開示の技術に係る第６の態様は、重みが、第１画像に対して付与される第１重みと、第２画像に対して付与される第２重みとに類別され、プロセッサが、第１重み及び第２重みを用いた重み付け平均を行うことで第１画像及び第２画像を合成する、第５の態様に係る情報処理装置である。

本開示の技術に係る第１８の態様は、撮像画像が、推論用画像であり、第１パラメータが、学習用画像が入力されたニューラルネットワークに関連付けられており、学習用画像が入力されることで学習が行われたニューラルネットワークに、第２撮像装置によって撮像されることで得られた第２ＲＡＷ画像が推論用画像として入力される場合、プロセッサが、学習用画像が入力されたニューラルネットワークに関連付けられている第１パラメータと、第２ＲＡＷ画像のビット数及びオフセット値のうちの少なくとも１つの第２パラメータとを用いて第２ＲＡＷ画像を正規化する、第１７の態様に係る情報処理装置である。

入出力インタフェース７０には、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

システムコントローラ４４は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を備えている。システムコントローラ４４において、ＮＶＭは、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。システムコントローラ４４のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、システムコントローラ４４のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。システムコントローラ４４において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像装置１０の全体を制御する。すなわち、図２に示す例では、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がシステムコントローラ４４によって制御される。

学習実行装置８８は、ＮＮ９０に入力された学習用ＲＡＷ画像７５Ａ１に対応付けられている正解データ７５Ｃと画像９４との誤差９６を算出する。学習実行装置８８は、誤差９６を最小にする複数の調整値９８を算出する。そして、学習実行装置８８は、複数の調整値９８を用いてＮＮ９０内の複数の最適化変数を調整する。ここで、複数の最適化変数とは、例えば、ＮＮ９０に含まれる複数の結合荷重及び複数のオフセット値等を指す。

一例として図５に示すように、ＡＩ方式処理部６２Ａには、推論用ＲＡＷ画像７５Ａ２が入力される。ＡＩ方式処理部６２Ａは、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理を行う。ＡＩ方式ノイズ調整処理は、推論用ＲＡＷ画像７５Ａ２に含まれるノイズをＡＩ方式で調整する処理である。ＡＩ方式処理部６２Ａは、ＡＩ方式ノイズ調整処理として、学習済みＮＮ８２を用いた処理を行う。

非ＡＩ方式処理部６２Ｂにも、ＡＩ方式処理部６２Ａと同様に、推論用ＲＡＷ画像７５Ａ２が入力される。非ＡＩ方式処理部６２Ｂは、推論用ＲＡＷ画像７５Ａ２に対して非ＡＩ方式ノイズ調整処理を行う。非ＡＩ方式ノイズ調整処理は、推論用ＲＡＷ画像７５Ａ２に含まれるノイズを、ＮＮを用いない非ＡＩ方式で調整する処理である。

デモザイク処理部６２Ｆ３は、ホワイトバランス補正処理が行われた合成画像７５Ｆに対してデモザイク処理を行う。デモザイク処理は、合成画像７５ＦをＲ、Ｇ、及びＢに３板化する処理である。すなわち、デモザイク処理部６２Ｆ３は、Ｒ信号、Ｇ信号、及びＢ信号に色補間処理を施すことにより、Ｒに対応する画像を示すＲ画像データ、Ｂに対応する画像を示すＢ画像データ、及びＧに対応する画像を示すＧ画像データを生成する。ここで、色補間処理とは、各画素が有さない色を周辺画素から補間する処理を指す。すなわち、光電変換素子７２の各感光画素においては、Ｒ信号、Ｇ信号、又はＢ信号（すなわち、Ｒ、Ｇ、及びＢのうちの１色の画素値）しか得られないため、デモザイク処理部６２Ｆ３は、各画素において得られない他の色について、周辺の画素の画素値を用いて補間する。なお、以下では、Ｒ画像データ、Ｂ画像データ、及びＧ画像データを、「ＲＧＢ画像データ」とも称する。

色補正部６２Ｆ４は、デモザイク処理が行われることで得られたＲＧＢ画像データに対して色補正処理（ここでは、一例として、リニアマトリクスによる色補正（すなわち、混色補正））を行う。色補正処理は、色相及び色飽和特性を調整する処理である。色補正処理の一例としては、ＲＧＢ画像データに対して色再現係数（例えば、リニアマトリクス係数）を乗じることで色再現性を変化させる処理が挙げられる。なお、色再現係数は、Ｒ、Ｇ、及びＢの分光特性を人間の視感度特性に近付けるように定められた係数である。

色空間変換部６２Ｆ６は、ガンマ補正処理が行われたＲＧＢ画像データに対して色空間変換処理を行う。色空間変換処理は、ガンマ補正処理が行われたＲＧＢ画像データの色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する処理である。すなわち、色空間変換部６２Ｆ６は、ＲＧＢ画像データを輝度・色差信号に変換する。輝度・色差信号は、Ｙ信号、Ｃｂ信号、及びＣｒ信号である。Ｙ信号は、輝度を示す信号である。以下、Ｙ信号を輝度信号と記載する場合もある。Ｃｂ信号は、Ｂ信号から輝度成分を減じた信号を調整することで得られた信号である。Ｃｒ信号は、Ｒ信号から輝度成分を減じた信号を調整することで得られた信号である。以下、Ｃｂ信号及びＣｒ信号を色差信号と記載する場合もある。

このように、本第３変形例では、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体が検出され、検出された被写体に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体に起因する画質の低下を抑制することができる。

このように、本第４変形例では、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位が検出され、検出された部位に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、推論用ＲＡＷ画像７５Ａ２に写り込んでいる被写体の部位に起因する画質の低下を抑制することができる。

［第５変形例］
ＣＰＵ６２は、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度に応じて第１重み１０４及び第２重み１０６を変更するようにしてもよい。一例として図１４に示すように、重み導出部６２Ｃは、第１画像７５Ｄの特徴値として第１画像７５Ｄの分割エリア７５Ｄ１毎の画素平均値を算出し、第２画像７５Ｅの特徴値として第２画像７５Ｅの分割エリア７５Ｅ１毎の画素平均値を算出する。重み導出部６２Ｃは、互いの位置が対応している分割エリア７５Ｄ１及び７５Ｅ１毎に、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度として画素平均値の差分（以下、単に「差分」とも称する）を算出する。

このように、本第５変形例では、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度に応じて第１重み１０４及び第２重み１０６が変更される。従って、本構成によれば、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度とは全く無関係な情報のみに依拠して定められた一定の重みが用いられる場合に比べ、第１画像７５Ｄの特徴値と第２画像７５Ｅの特徴値との相違度に起因する画質の低下を抑制することができる。

［第７変形例］
ＣＰＵ６２は、既定の画像特性パラメータについて、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２を正規化するようにしてよい。画像特性パラメータは、学習済みＮＮ８２に入力される推論用ＲＡＷ画像７５Ａ２を得る撮像で用いられるイメージセンサ２０及び撮像条件に応じて定まるパラメータである。本第７変形例では、一例として図１８に示すように、画像特性パラメータは、各画素のビット数（以下、「画像特性ビット数」とも称する）、及びオプティカルブラックに関するオフセット値（以下、「ＯＢオフセット値」とも称する）である。例えば、画像特性ビット数は、１４ビットであり、ＯＢオフセット値は、１０２４ＬＳＢである。

正規化処理部１２８は、記憶装置８６から学習用ＲＡＷ画像７５Ａ１を取得し、取得した学習用ＲＡＷ画像７５Ａ１を画像特性パラメータについて正規化する。例えば、正規化処理部１２８は、記憶装置８６から取得した学習用ＲＡＷ画像７５Ａ１の画像特性ビット数を１４ビットに合わせ、学習用ＲＡＷ画像７５Ａ１のＯＢオフセット値を１０２４ＬＳＢに合わせる。正規化処理部１２８は、画像特性パラメータについて正規化した学習用ＲＡＷ画像７５Ａ１をＮＮ９０に入力する。これにより、図４に示す例と同様に学習済みＮＮ８２が生成される。学習済みＮＮ８２には、正規化に用いられた画像特性パラメータ、すなわち、画像特性ビット数の１４ビット及びＯＢオフセット値の１０２４ＬＳＢが関連付けられている。なお、画像特性ビット数の１４ビット及びＯＢオフセット値の１０２４ＬＳＢは、本開示の技術に係る「第１パラメータ」の一例である。以下では、説明の便宜上、学習済みＮＮ８２に関連付けられている画像特性ビット数及びＯＢオフセット値を区別して説明する必要がない場合、第１パラメータと称する。

第１重み１０４が“０”よりも大きく“１”未満の場合、パラメータ調整部６２Ｇは、上記実施形態で説明したように、重み導出部６２Ｃによって導出された第１重み１０４及び第２重み１０６に応じて輝度フィルタパラメータを変更する。

輝度処理部６２Ｈ２ｇは、輝度フィルタパラメータに従って、Ｙ信号に対して輝度フィルタを用いたフィルタリングを行う。第２画像用重み付与部６２ｊは、重み導出部６２Ｃから第１重み１０４を取得し、取得した第１重み１０４を、輝度処理部６２Ｈ２ｇから出力されるＹ信号に対して設定する。これにより、第２画像用重み付与部６２ｊは、第１画像７５ＤのＹ信号（図２２及び図２４参照）よりも信号レベルが高いＹ信号を生成する。

第２画像用重み付与部６２ｊは、重み導出部６２Ｃから第２重み１０６を取得し、取得した第２重み１０６を色差処理部６２Ｈ２ｈから出力されるＣｂ信号及び色差処理部６２Ｈ２ｉから出力されるＣｒ信号に設定する。これにより、第２画像用重み付与部６２ｊは、第１画像７５ＤのＣｂ信号（図２２及び図２４参照）よりも信号レベルが低いＣｂ信号を生成し、第１画像７５ＤのＣｒ信号（図２２及び図２４参照）よりも信号レベルが低いＣｒ信号を生成する。

なお、本第９変形例では、Ｙ信号の信号レベルについては第１画像７５Ｄよりも第２画像７５Ｅを高くし、Ｃｂ信号及びＣｒ信号の信号レベルについては第２画像７５Ｅよりも第１画像７５Ｄを高くするように第１画像７５Ｄ及び第２画像７５Ｅに対して信号処理が行われる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、Ｙ信号の信号レベルについて第１画像７５Ｄよりも第２画像７５Ｅを低くする第１処理、及びＣｂ信号及びＣｒ信号の信号レベルについて第２画像７５Ｅよりも第１画像７５Ｄを低くする第２処理のうち、第１処理のみが行われるようにしてもよい。

また、本第９変形例では、第２画像用重み付与部６２ｊから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第２画像７５Ｅとして用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成処理で合成対象とされる第２画像７５Ｅとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われず得られたＹ信号により示される画像が用いられるようにしてもよい。この場合、色差処理部６２Ｈ２ｈから出力される信号に対する重みを“０”とし、かつ、色差処理部６２Ｈ２ｉから出力される信号に対する重みも“０”とすればよい。従って、本構成によれば、第２画像７５ＥとしてＣｂ信号及びＣｒ信号が含まれる画像と第１画像７５Ｄとが合成されることで得られる合成画像７５Ｆに比べ、第１画像７５Ｄと第２画像７５Ｅとが合成されることで得られる合成画像７５Ｆの微細構造の鮮鋭度の低下を抑制することができる。

更に、本第９変形例では、第１画像用重み付与部６２ｉから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第１画像７５Ｄとして用いられ、かつ、第２画像用重み付与部６２ｊから得られたＹ信号、Ｃｂ信号、及びＣｒ信号が第２画像７５Ｅとして用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成処理で合成対象とされる第１画像７５Ｄとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われることで得られたＣｂ信号及びＣｒ信号により示される画像が用いられ、かつ、合成処理で合成対象とされる第２画像７５Ｅとして、推論用ＲＡＷ画像７５Ａ２に対してＡＩ方式ノイズ調整処理が行われず得られたＹ信号により示される画像が用いられるようにしてもよい。この場合、例えば、輝度処理部６２Ｈ１ｇから出力される信号に対する重みを“０”とし、色差処理部６２Ｈ２ｈから出力される信号に対する重みを“０”とし、かつ、色差処理部６２Ｈ２ｉから出力される信号に対する重みも“０”とすればよい。従って、本構成によれば、第１画像７５ＤとしてＹ信号、Ｃｂ信号、及びＣｒ信号が用いられ、かつ、第２画像７５ＥとしてＹ信号、Ｃｂ信号、及びＣｒ信号が用いられる場合に比べ、画像に含まれるノイズの除去不足の抑制と、画像のシャープネス不足の抑制との両立を図ることができる。

ＮＶＭ１４２には、画質調整処理プログラム８０及び学習済みＮＮ８２が記憶されている。ＣＰＵ１４０は、ＲＡＭ１４４で画質調整処理プログラム８０を実行する。ＣＰＵ１４０は、ＲＡＭ１４４上で実行する画質調整処理プログラム８０に従って、上述した画質調整処理を行う。ＣＰＵ１４０は、画質調整処理を行う場合に、上記の各例で説明したように学習済みＮＮ８２を用いて推論用ＲＡＷ画像７５Ａ２を処理する。推論用ＲＡＷ画像７５Ａ２は、例えば、撮像装置１０からネットワーク１５０を介して外部装置１３８に送信される。外部装置１３８の通信Ｉ／Ｆ１４６は、推論用ＲＡＷ画像７５Ａ２を受信する。ＣＰＵ１４０は、通信Ｉ／Ｆ１４６によって受信された推論用ＲＡＷ画像７５Ａ２に対して画質調整処理を行う。ＣＰＵ１４０は、画質調整処理を行うことで合成画像７５Ｆを生成し、生成した合成画像７５Ｆを撮像装置１０に送信する。撮像装置１０は、外部装置１３８から送信された合成画像７５を通信Ｉ／Ｆ５２（図２参照）で受信する。