WO2023042435A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、フレアの発生による画像の主観画質の低減を抑制することができるようにする画像処理装置および方法に関する。 少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定し、そのステレオマッチングの結果に基づいて、基準画像を更新する。本開示は、例えば、画像処理装置、電子機器、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法

　本開示は、画像処理装置および方法に関し、特に、主観画質の低減を抑制することができるようにした画像処理装置および方法に関する。

　従来、カメラとモニタを用いるテレビ会議システム等においては、カメラとモニタが異なる場所に位置する。そのため、ユーザの目線が表示画面の中央付近に置かれるとカメラの光軸からユーザの目線が逸れることになる。そのため、相手側に表示される撮像画像は、目線の合わない違和感のあるものとなるおそれがあった。

　そこで、ユーザの目線がカメラの方を向く撮像画像が得られるように、表示部下にカメラを設置することが提案された（例えば特許文献１参照）。

　このような条件下では、特許文献１に記載の様に、表示部を通過する光の一部は、反射や回折を起こしてカメラに入射されるため、反射によるフレアや回折の影響を受けて、撮像画像の主観的画質が低減するおそれがあった。

　そこで、特許文献１においては、ディスプレイ部に開口を設け、その開口レイアウトを変更することにより、フレアの延伸方向を制御することが提案された。

国際公開第２０２１／０９５５８１号

　しかしながら、特許文献１に記載の電子機器の撮像部は２眼であるため、フレア発生部の正しい奥行き検出ができず、正しく画像合成を行うことができないおそれがあった。

　本開示は、このような状況に鑑みてなされたものであり、フレアの発生による撮像画像の主観的画質の低減を抑制するものである。

　本技術の一側面の画像処理装置は、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定する奥行推定部と、前記ステレオマッチングの結果に基づいて、前記基準画像を更新する画像更新部とを備える画像処理装置である。

　本技術の一側面の画像処理方法は、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定し、前記ステレオマッチングの結果に基づいて、前記基準画像を更新する画像処理方法である。

　本技術の一側面の画像処理装置および方法においては、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングが行われ、実空間の奥行が推定され、そのステレオマッチングの結果に基づいて、基準画像が更新される。

画像処理について説明する図である。 画像処理について説明する図である。 フレアが発生した撮像画像の例を説明する図である。 奥行推定の例を説明する図である。 奥行推定の例を説明する図である。 奥行推定の例を説明する図である。 画像更新の例を示す図である。 画像更新の例を示す図である。 画像更新の例を示す図である。 画像更新の例を示す図である。 画像更新の例を示す図である。 画像更新の例を示す図である。 平均輝度値の算出方法の例を示す図である。 撮像部の構成例を示す図である。 格子状配線の例を示す図である。 格子状配線の角度の例を示す図である。 格子状配線の角度の例を示す図である。 格子状配線の角度の例を示す図である。 フレアの抑制の様子の例を示す図である。 電子機器の主な構成例を示す断面図である。 電子機器の主な構成例を示す外観図である。 撮像光学系の主な構成例を示す断面図である。 撮像光学系の主な構成例を示す断面図である。 電子機器の主な構成例を示すブロック図である。 画像処理部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 画像更新処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．表示部重畳カメラ
　２．３以上の画像を用いたフレア抑制処理
　３．第１の実施の形態（電子機器）
　４．付記

　＜１．表示部重畳カメラ＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。

　特許文献１　：（上述）

　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。

　　＜フレアの発生と抑制＞
　従来、カメラとモニタを用いるテレビ会議システム等においては、カメラとモニタが異なる場所に位置する。そのため、ユーザの目線が表示画面の中央付近に置かれるとカメラの光軸からユーザの目線が逸れることになる。そのため、相手側に表示される撮像画像は、目線の合わない違和感のあるものとなるおそれがあった。

　そこで、例えば特許文献１等においては、ユーザの目線がカメラの方を向く撮像画像が得られるように、表示部下にカメラを設置することが提案された。

　このような条件下では、特許文献１に記載の様に、表示部を通過する光の一部は、反射や回折を起こしてカメラに入射されるため、反射によるフレアや回折の影響を受けて、撮像画像の主観的画質が低減するおそれがあった。

　そこで、特許文献１においては、ディスプレイ部に開口を設け、その開口レイアウトを変更することにより、フレアの延伸方向を制御することが提案された。なお、本明細書においては、開口レイアウトと配線パタンは、同義であるとする。

　しかしながら、特許文献１に記載の電子機器の撮像部は２眼であるため、撮像画像のフレアが発生した部分において正しい奥行き検出ができず、正しく画像合成を行うことができないおそれがあった。

　＜２．３以上の画像を用いたフレア抑制処理＞
　そこで、例えば、図１に示される表の最上段に記載されているように、奥行推定部が、少なくともフレアの方向が互いに異なる３画像を含む３以上の画像に対して、２画像ずつステレオマッチングを行って実空間の奥行推定し、画像更新部が、マッチング結果に基づいて基準画像を更新する（方法１）。以下、実空間の奥行を単に「奥行」という場合がある。また、本開示において"３以上の画像"を"少なくとも３つの（撮像）画像"という場合がある。また、本開示において基準画像とステレオマッチングを行う画像を比較画像という場合がある。

　例えば、画像処理方法において、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定し、そのステレオマッチングの結果に基づいて、基準画像を更新するようにする。

　また、画像処理装置が、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定する奥行推定部と、ステレオマッチングの結果に基づいて、基準画像を更新する画像更新部とを備えてもよい。

　フレアは、例えば光源等のような、画像内の高輝度部分が所定の方向に延伸する現象である。例えば、強い光がイメージセンサに入射した際に反射等によって生じる。一般的には、フレアは十字状に延伸することが多い。本明細書においては、フレアは、画像平面内における互いに垂直な２方向（すなわち十字状）に延伸するものとする。本明細書において、このフレアの延伸方向を"フレアの方向"とも称する。

　例えば図３に示される画像１０１乃至画像１０３は、互いに同様の被写体を、互いに異なる位置（視差となる程度に互いに離れた位置）から撮像した撮像画像である。画像１０１、画像１０２、および画像１０３には、それぞれ、フレア１０１Ａ、フレア１０２Ａ、およびフレア１０３Ａが発生している。なお、画像１０１乃至画像１０３は、模式的に示した画像例であり、フレア以外の絵柄を省略している。また、図３に示されるように、画像１０１のフレア１０１Ａ、画像１０２のフレア１０２Ａ、および画像１０３のフレア１０３Ａは、互いに異なる方向に延伸している。

　奥行推定部および画像更新部は、このような画像を処理対象とし、画像内に発生したフレアを抑制するように画像処理を行う。なお、処理対象とする画像の数は、３以上であれば任意である。少なくとも、図３の例のように、互いに異なる方向のフレアが発生した３つの画像が含まれていればよい。つまり、その他の画像は、画像１０１乃至画像１０３のいずれかと同一の方向に延伸するフレアが発生していてもよいし、画像１０１乃至画像１０３のいずれとも異なる方向に延伸するフレアが発生していてもよい。以下においては、説明の便宜上、画像１０１乃至画像１０３を処理対象として説明する。

　上述したように、フレアを抑制するための画像処理として、奥行推定部および画像更新部は、画像１０１乃至画像１０３の中から、処理対象（基準画像と称する）を１つ選択する。例えば、奥行推定部および画像更新部は、画像１０１を基準画像とする。以下は、この基準画像（画像１０１）に発生したフレアを抑制するための処理である。奥行推定部は、画像１０１乃至画像１０３に対して、２画像ずつステレオマッチングを行って奥行推定する。そして、画像更新部は、そのマッチング結果に基づいて、例えば基準画像以外の他の画像を用いる等して基準画像の各画素値を更新することにより、基準画像のフレアを低減させる。

　このようにすることにより、フレアが小さくなるように基準画像を修正することができる。したがって、フレアの発生による画像の主観的画質の低減を抑制することができる。

　換言するに、ステレオマッチングが失敗した場合（マッチングしなかった場合）、画像の更新を行うことができない。上述のように画像１０１乃至画像１０３は、互いにほぼ同様の被写体の撮像画像であるので、基本的にマッチングに成功しやすい。しかしながら、フレアの発生部分のような高輝度画素においては、マッチングは困難である。例えば特許文献１に記載の方法のように、２つの画像を用いてフレアを抑制する場合、少なくとも一方にフレアが発生した部分については奥行推定を正しく行うことができないため、基準画像の修正が困難である。

　これに対して、上述の奥行推定部は、３以上の画像についてステレオマッチングを行い、画像更新部は、そのステレオマッチングの結果を利用して画像修正を行う。したがって、仮に１つの画像においてフレアが発生した部分であっても、その他の画像のマッチング結果に基づいて基準画像の修正を行うことができる。したがって、より確実にフレアを低減させることができる。つまり、フレアの発生による画像の主観的画質の低減を、より確実に抑制することができる。

　なお、その他の画像（例えば画像１０２や画像１０３等）についてもフレアを抑制したい場合、奥行推定部および画像更新部は、基準画像を他の画像に変更して同様の処理を繰り返す。

　また、基準画像の画素値の更新は、基準画像そのものを更新してもよいし、基準画像の画素値の更新を反映した画像を別途生成してもよい。つまり、更新前の状態の基準画像を残してもよいし、残さなくてもよい。

　　＜奥行推定＞
　次に、上述した奥行の推定の詳細について説明する。奥行推定部は、処理対象の画像群（例えば画像１０１乃至画像１０３）に対して、２画像ずつステレオマッチングを行って奥行推定する。つまり、奥行推定部は、１画素ずつ画像間でマッチングする画素を探索する。なお、本明細書においては、説明の便宜上、フレアが発生した部分の画素は、マッチングに失敗し、それ以外の部分の画素はマッチングに成功するものとする。

　例えば、画像１０１乃至画像１０３の全ての画像間でマッチングした場合、奥行推定部は、そのマッチング結果を示すマッチングカメラ情報を４に設定する。図４は、この場合の例を示す。画像１０１の画素１１１、画像１０２の画素１１２、画像１０３の画素１１３は、互いに対応する画素（同一の被写体が表示される画素）である。図４の例の場合、画素１１１乃至画素１１３は、いずれもフレアが発生していないため、マッチングに成功する。

　また、基準画像（画像１０１）に対して、画像１０２がマッチングし、画像１０３がマッチングしなかった場合、奥行推定部は、そのマッチング結果を示すマッチングカメラ情報を２に設定する。図５は、この場合の例を示す。画像１０３の画素１１３にはフレア１０３Ａが発生しているためマッチングは困難である。画像１０１の画素１１１と画像１０２の画素１１２は、フレアが発生していないため、マッチングに成功する。

　同様に、基準画像（画像１０１）に対して、画像１０３がマッチングし、画像１０２がマッチングしなかった場合、奥行推定部は、そのマッチング結果を示すマッチングカメラ情報を３に設定する。

　また、基準画像（画像１０１）に対して、画像１０２および画像１０３がマッチングせず、画像１０２と画像１０３とがマッチングした場合、奥行推定部は、そのマッチング結果を示すマッチングカメラ情報を０に設定する。図６は、この場合の例を示す。機銃が増（画像１０１）の画素１１１にはフレア１０１Ａが発生しているためマッチングは困難である。画像１０２の画素１１２と画像１０３の画素１１３は、フレアが発生していないため、マッチングに成功する。

　奥行推定部は、以上のように設定したマッチングカメラ情報をステレオマッチングの結果として画像更新部に供給する。なお、このマッチングカメラ情報は、２進数の情報としてもよい。

　　＜基準画像の更新１＞
　例えば、図１の表の上から２段目に示されるように、画像更新部は、上述のマッチングの結果が条件を満たす場合、基準画像の処理対象画素の画素値を他の画像の対応画素の画素値に置き換えてもよい（方法１－１）。すなわち、画像更新部は、ステレオマッチングの結果が所定の条件を満たす場合、基準画像の処理対象画素の画素値を、比較画像のうち少なくとも１つにおける処理対象画素に対応する対応画素の画素値に置き換えてもよい。対応画素とは、基準画像の処理対象画素に対応する画素、すなわち、その処理対象画素と同一の被写体が表示される画素のことを示す。

　例えば、図１の表の上から４段目に示されるように、画像更新部は、基準画像がいずれかの他の画像とマッチングした場合、基準画像の処理対象画素の画素値を更新しないようにしてもよい（方法１－１－２）。すなわち、画像更新部は、ステレオマッチングの結果が、複数のフレアの方向において基準画像がいずれかの比較画像とマッチするという結果である場合、その基準画像の処理対象画素の画素値の置き換えを省略してもよい。つまり、この場合、処理対象画素の画素値の置き換えが省略される。

　例えば、図４の例のように、画像１０１乃至画像１０３の全ての画像間でマッチングした場合、すなわち、マッチングカメラ情報が４の場合、処理対象画素にフレアは発生していないので、図７に示されるように、基準画像の処理対象画素の画素値の更新が省略される。

　また、図５の例のように、基準画像に対して、他の画像のいずれか１つのみがマッチングした場合（例えば、画像１０１に対して、画像１０２および画像１０３のいずれか一方がマッチングし、他方がマッチしない場合）、すなわち、マッチングカメラ情報が２または３の場合、処理対象画素にフレアは発生していないので、図８に示されるように、基準画像の処理対象画素の画素値の更新が省略される。

　これに対して、例えば、図１の表の上から３段目に示されるように、画像更新部は、基準画像が他の画像のいずれともマッチしない場合、基準画像の処理対象画素の画素値を、いずれかの他の画像の対応画素の画素値に置き換えてもよい（方法１－１－１）。すなわち、方法１－１における条件が、複数のフレアの方向において基準画像が比較画像のいずれともマッチしないという条件であるようにしてもよい。

　例えば、図６の例のように、画像１０１に対して、画像１０２および画像１０３の両方がマッチングしなかった場合、すなわち、マッチングカメラ情報が０の場合、処理対象画素にフレアが発生しているので、図９に示されるように、基準画像の処理対象画素の画素値が、いずれかの他の画像の対応画素の画素値に置き換えられる。図９の例の場合、処理対象画素である画素１１１の画素値が、画像１０２の対応画素である画素１１２の画素値に置き換えられている。つまり、処理対象画素値が、フレアが発生していない画素値に置き換えられる。なお、この場合、画素１１１の画素値が、画像１０３の対応画素である画素１１３の画素値に置き換えられるようにしてもよい。

　以上のように３以上の画像を用いて画素値を更新することにより、フレアの発生による画像の主観的画質の低減を、より確実に抑制することができる。

　　＜基準画像の更新２＞
　例えば、図１の表の上から５段目に示されるように、画像更新部は、上述のマッチング結果が条件を満たす場合、基準画像の画素値と他の画像の画素値とをブレンドしてもよい（方法１－２）。つまり、画像更新部が、ステレオマッチングの結果に応じた方法で少なくとも３つの画像のうち少なくとも２つをブレンドし、基準画像の処理対象画素の画素値を、そのブレンディングの結果に置き換えるようにしてもよい。ブレンド（ブレンディング）とは、複数の画素値を用いて所定の演算を行い、１つの画素値を導出する処理のことを示す。

　例えば、図１の表の上から６段目に示されるように、画像更新部は、基準画像がいずれかの他の画像とマッチングした場合、基準画像の処理対象画素の画素値と、基準画像にマッチングした他の画像の対応画素の画素値とをブレンドし、処理対象画素の画素値を、そのブレンド結果（つまり、処理対象画素の画素値と基準画像にマッチングした他の画像の対応画素の画素値とのブレンド結果）に置き換えてもよい（方法１－２－１）。すなわち、画像更新部は、ステレオマッチングの結果が、複数のフレアの方向において基準画像がいずれかの比較画像とマッチするという結果である場合、その基準画像の処理対象画素の画素値と、その基準画像にマッチする比較画像の処理対象画素に対応する対応画素の画素値とをブレンドし、処理対象画素の画素値を、そのブレンディングにより得られる画素値に置き換えてもよい。

　例えば、図１の表の上から７段目に示されるように、画像更新部は、処理対象画素の画素値を、処理対象画素の画素値と基準画像にマッチングした他の画像の対応画素の画素値との平均値に置き換えてもよい（方法１－２－１－１）。つまり、ブレンディングにより得られる画素値は、処理対象画素の画素値と対応画素の画素値との平均値であってもよい。

　例えば、図４の例のように、画像１０１乃至画像１０３の全ての画像間でマッチングした場合、すなわち、マッチングカメラ情報が４の場合、処理対象画素および対応画素のいずれにもフレアは発生していない。そこで、処理対象画素の画素値は、それらの画素の画素値の平均値に置き換えられる。例えば、図１０の場合、画素１１１（処理対象画素）は、画素１１２（対応画素）および画素１１３（対応画素）の両方とマッチングしているので、画素１１１の画素値は、画素１１１乃至画素１１３の画素値の平均値１２１に置き換えられる。

　また、図５の例のように、基準画像に対して、他の画像のいずれか１つのみがマッチングした場合、すなわち、マッチングカメラ情報が２または３の場合、マッチングした処理対象画素と対応画素にフレアは発生していない。そこで、処理対象画素の画素値は、そのマッチングした処理対象画素と対応画素の画素値の平均値に置き換えられる。例えば図１１の場合、画素１１１（処理対象画素）は、画素１１２（対応画素）とマッチングし、画素１１３（対応画素）とマッチングしていない。つまり、画素１１３においてフレアが発生している。このような場合、画素１１１の画素値は、画素１１１および画素１１２の画素値の平均値１２２に置き換えられる。

　これに対して、例えば、図１の表の上から８段目に示されるように、画像更新部は、基準画像が他の画像のいずれともマッチングしなかった場合、基準画像の処理対象画素の画素値を、他の複数の画像の対応画素の画素値の平均値に置き換えてもよい（方法１－２－２）。すなわち、画像更新部は、ステレオマッチングの結果が、複数のフレアの方向において基準画像が比較画像のいずれともマッチしないという結果である場合、処理対象画素の画素値を、その処理対象画素にそれぞれ対応する複数の比較画像の対応画素の画素値の平均値に置き換えてもよい。

　例えば、図６の例のように、画像１０１に対して、画像１０２および画像１０３の両方がマッチングしなかった場合、すなわち、マッチングカメラ情報が０の場合、処理対象画素にフレアが発生している。そこで、処理対象画素の画素値は、他の複数の画像の対応画素の画素値の平均値に置き換えられる。例えば、図１２の場合、画素１１１（処理対象画素）には、フレアが発生している。つまり、画素１１１は、画素１１２（対応画素）および画素１１３（対応画素）の両方とマッチングしていない。そこで、画素１１１の画素値は、画素１１２および画素１１３の画素値の平均値１２３に置き換えられる。

　以上のように３以上の画像を用いて画素値を更新することにより、フレアの発生による画像の主観的画質の低減を、より確実に抑制することができる。また、この方法の場合、複数の画像をブレンドした画素値に置き換えるので、ノイズを低減させ、S/N比を向上させることができる。

　　＜基準画像の更新３＞
　例えば、図２の表の最上段に示されるように、画像更新部は、上述のマッチング結果が条件を満たす場合、基準画像の画素値と他の画像の画素値とを重みづけブレンドしてもよい（方法１－３）。すなわち、画像更新部が、ステレオマッチングの結果に応じた方法で少なくとも３つの画像のうち少なくとも２つを重みづけブレンドし、フレアの方向における基準画像の処理対象画素の画素値を、その重みづけブレンディングにより得られる画素値に置き換えるようにしてもよい。重みづけブレンド（重みづけブレンディング）とは、複数の画素値のそれぞれに重み値を乗算し、その乗算結果をブレンドすることを示す。

　例えば、図２の表の上から２段目に示されるように、画像更新部は、基準画像と他の複数の画像とがマッチングした場合、基準画像の処理対象画素の画素値と、基準画像にマッチングした他の複数の画像の対応画素の画素値とを、所定のブレンド比でブレンドしてもよい（方法１－３－１）。ブレンド比とは、ブレンドする各画素値に乗算する重み値の比を示す。つまり、画像更新部が、重みづけブレンディングにおいて、基準画像が複数の比較画像とマッチする場合、基準画像の処理対象画素の画素値と、マッチした複数の比較画像の対応画素の画素値とを所定のブレンド比でブレンドしてもよい。

　例えば、図２の表の上から３段目に示されるように、画像更新部は、基準画像の処理対象画素周辺領域における対象奥行同一画素の平均画素値、並びに、他の複数の画像のそれぞれの対応画素周辺領域における対応奥行同一画素の平均画素値に基づいてブレンド比を設定してもよい（方法１－３－１－１）。

　ここで、処理対象画素周辺領域とは、処理対象画素と、その処理対象画素の周辺に位置する他の画素（周辺画素とも称する）により構成される画素領域のことを示す。この処理対象画素周辺領域の大きさ（すなわち、処理対象画素周辺領域に含まれる周辺画素の数）は任意である。また、対象奥行同一画素とは、処理対象画素周辺領域における、奥行が処理対象画素と同一の画素のことを示す。対象奥行同一画素には、奥行が処理対象画素と同一の、処理対象画素の周辺画素だけでなく、処理対象画素も含まれる。

　さらに、対応画素周辺領域とは、対応画素と、その対応画素の周辺に位置する他の画素（周辺画素とも称する）により構成される画素領域のことを示す。この対応画素周辺領域の大きさ（すなわち、対応画素周辺領域に含まれる周辺画素の数）は任意である。また、対応奥行同一画素とは、対応画素周辺領域における、奥行が対応画素と同一の画素のことを示す。対応奥行同一画素には、奥行が対応画素と同一の、対応画素の周辺画素だけでなく、対応画素も含まれる。

　つまり、画像更新部は、基準画像の所定の画素の平均画素値と、基準画像にマッチする複数の比較画像の所定の画素の平均画素値とに基づいてブレンド比を設定してもよい。ここで、基準画像の所定の画素の平均画素値は、処理対象画素、並びに、奥行が処理対象画素と同一の、処理対象画素の周辺画素の平均画素値を示す。また、複数の比較画像の所定の画素の平均画素値は、対応画素、並びに、奥行が対応画素と同一の、対応画素の周辺画素の平均画素値を示す。

　つまり、この場合、処理対象画素やその対応画素だけでなく、それらの周辺画素の画素値も用いてブレンド比が設定される。

　例えば、図１３に示されるように、画像１０１（基準画像）の画素１１１（処理対象画素）に対し、その画素１１１を中心とする５×５画素からなる処理対象画素周辺領域１３１が設定される。この処理対象画素周辺領域１３１において、例えば、画素１１１と、グレーの四角形で示される周辺画素が、対象奥行同一画素であるとする。この場合、その対象奥行同一画素の平均画素値（平均輝度）S1が導出される。

　同様に、画像１０２（他の画像）の画素１１２（対応画素）に対し、その画素１１２を中心とする５×５画素からなる対応画素周辺領域１３２が設定される。この対応画素周辺領域１３２において、例えば、画素１１２と、グレーの四角形で示される周辺画素が、対応奥行同一画素であるとする。この場合、その対応奥行同一画素の平均画素値（平均輝度）S2が導出される。

　同様に、画像１０３（他の画像）の画素１１３（対応画素）に対し、その画素１１３を中心とする５×５画素からなる対応画素周辺領域１３３が設定される。この対応画素周辺領域１３３において、例えば、画素１１３と、グレーの四角形で示される周辺画素が、対応奥行同一画素であるとする。この場合、その対応奥行同一画素の平均画素値（平均輝度）S3が導出される。

　画像更新部は、これらの平均画素値S1乃至S3に基づいて、ブレンド比（つまり、各画像に乗算される重み値）を導出する。このブレンド比の導出方法は任意である。

　例えば、図２の表の上から４段目に示されるように、画像更新部は、各平均画素値の差がいずれも所定の閾値以下の場合、各画素値のブレンド比を均一に設定してもよい（方法１－３－１－１－１）。

　例えば、図１３の例において、画像１０１（基準画像）の画素１１１（処理対象画素）の画素値をXとし、画像１０２の画素１１２（対応画素）の画素値をYとし、画像１０３の画素１１３（対応画素）の画素値をZとする。また、画素１１１に対応する重み値をαとし、画素１１２に対応する重み値をβとし、画素１１３に対応する重み値をγとする。そして、画像更新部が、重みづけブレンドを、以下の式（１）のように行うとする。なお、画素値Iは、この画素１１１乃至画素１１３の画素値の重みづけブレンド結果を示す。

　I = αX＋βY＋γZ　・・・（１）

　このような例において、平均画素値S1乃至S3の互いの差の絶対値が全て所定の閾値TH以下である場合（|S1-S2|<=THかつ|S1-S3|<=THかつ|S3-S2|<=TH）、画像更新部は、重み値α、β、およびγを、互いに同一値に設定してもよい（α=β=γ）。つまり、画像更新部は、画素１１１乃至画素１１３の各画素値を均一の重みでブレンドしてもよい。

　また、図２の表の上から５段目に示されるように、画像更新部は、他の平均画素値との差が所定の閾値より大きい平均画素値に対応する比較画像の画素値のブレンド比を他の比較画像のブレンド比よりも小さくしてもよい（方法１－３－１－１－２）。

　図１３の例において、平均画素値S1およびS3の差の絶対値と、平均画素値S2およびS3の差の絶対値とが、所定の閾値（TH）よりも大きいとする（|S1-S2|<=THかつ|S1-S3|<=THかつ|S3-S2|<=TH）。つまり、平均画素値S1およびS2に比べて、平均画素値S3が十分に大きいか、十分に小さいとする。このような場合、画像更新部は、重み値γを、重み値αおよびβに比べて小さくしてもよい（α=β>γ）。

　また、図２の表の上から６段目に示されるように、画像更新部は、各平均画素値の差の絶対値がいずれも所定の閾値より大きい場合、閾値を変更してもよい（方法１－３－１－１－３）。

　図１３の例において、平均画素値S1乃至S3の互いの差の絶対値がいずれも所定の閾値（TH）よりも大きいとする（|S1-S2|>THかつ|S1-S3|>THかつ|S3-S2|>TH）。つまり、平均画素値S1乃至S3が互いにバラバラであるとする。このような場合、画像更新部が、平均画素値の差に対して閾値が適切でないと判定し、その閾値THを変更し、ブレンド比の設定をやり直してもよい。

　また、図２の表の上から７段目に示されるように、画像更新部は、各平均画素値の差がいずれも所定の閾値より大きい場合、各画素値のブレンド比を均一に設定してもよい（方法１－３－１－１－４）。

　図１３の例において、平均画素値S1乃至S3の互いの差の絶対値がいずれも所定の閾値（TH）よりも大きいとする（|S1-S2|>THかつ|S1-S3|>THかつ|S3-S2|>TH）。つまり、平均画素値S1乃至S3が互いにバラバラであるとする。このような場合、画像更新部が、重み値α、β、およびγを、互いに同一値に設定してもよい（α=β=γ）。つまり、画像更新部は、画素１１１乃至画素１１３の各画素値を均一の重みでブレンドしてもよい。

　また、図２の表の上から８段目に示されるように、画像更新部は、基準画像と他の１つの画像とがマッチングした場合、基準画像の処理対象画素の画素値と、他の画像の対応画素の画素値とを、所定のブレンド比でブレンドしてもよい（方法１－３－２）。つまり、画像更新部は、重みづけブレンディングにおいて、基準画像がいずれか１つの比較画像とマッチする場合、基準画像の処理対象画素の画素値と、基準画像にマッチする比較画像の対応画素の画素値とを所定のブレンド比でブレンドしてもよい。

　例えば、図２の表の上から９段目に示されるように、画像更新部は、基準画像の処理対象画素周辺領域における対象奥行同一画素の平均画素値と、他の複数の画像のそれぞれの対応画素周辺領域における対応奥行同一画素の平均画素値との差の大きさに基づいてブレンド比を設定してもよい（方法１－３－２－１）。

　つまり、画像更新部は、基準画像の所定の画素の平均画素値と、基準画像にマッチする比較画像の所定の画素の平均画素値とに基づいてブレンド比を設定してもよい。ここで、基準画像の所定の画素の平均画素値は、処理対象画素、並びに、奥行が処理対象画素と同一の、処理対象画素の周辺画素の平均画素値である。また、基準画像にマッチする比較画像の所定の画素の平均画素値は、対応画素、並びに、奥行が対応画素と同一の、対応画素の周辺画素の平均画素値である。

　例えば、図１３において、画素１１１と画素１１２とがマッチングし、画素１１１と画素１１３とがマッチングしなかったとする。

　この場合、画像更新部は、マッチングした画像１０１および画像１０２について、平均画素値S1および平均画素値S2を算出する。つまり、画像更新部は、画像１０１（基準画像）の画素１１１（処理対象画素）に対し、その画素１１１を中心とする５×５画素からなる処理対象画素周辺領域１３１を設定し、この処理対象画素周辺領域１３１における対象奥行同一画素の平均画素値（平均輝度）S1を導出する。同様に、画像更新部は、画像１０２（他の画像）の画素１１２（対応画素）に対し、その画素１１２を中心とする５×５画素からなる対応画素周辺領域１３２を設定し、この対応画素周辺領域１３２における対応奥行同一画素の平均画素値（平均輝度）S2を導出する。

　ここで、画像１０１（基準画像）の画素１１１（処理対象画素）の画素値をXとし、画像１０２の画素１１２（対応画素）の画素値をYとする。また、画素１１１に対応する重み値をαとし、画素１１２に対応する重み値をβとする。この場合の重みづけブレンドは、以下の式（２）のように表される。なお、画素値I'は、この画素１１１および画素１１２の画素値の重みづけブレンド結果を示す。

　I' = αX＋βY　・・・（２）

　画像更新部は、これらの平均画素値S1およびS2に基づいて、ブレンド比（つまり、重み値αおよびβ）を導出する。このブレンド比の導出方法は任意である。

　例えば、平均画素値S1およびS2の差の絶対値が所定の閾値THより小さい場合（|S1-S2|<=TH）、画像更新部が、重み値αおよびβを、互いに同一値に設定してもよい（α=β=0.5）。つまり、この場合の式（２）は、以下の式（３）のように表される。

　I' = 0.5X＋0.5Y　・・・（３）

　また、平均画素値S1およびS2の差の絶対値が所定の閾値TH以上であり、かつ、所定の閾値TH1よりも小さい場合（TH1>=|S2-S1|>TH）、平均画素値が小さい方の重み値を、平均画素値が大きい方の重み値よりも大きくしてもよい。例えば、S2>S1の場合、α>βとしてもよい。この場合の式（２）は、例えば、以下の式（４）のように表される。

　I' = 0.7X＋0.3Y　・・・（４）

　また、平均画素値S1およびS2の差の絶対値が所定の閾値TH1以上である場合（|S2-S1|>TH1>TH）、平均画素値が大きい方の重み値を０にし、平均画素値が小さい方の重み値を１にしてもよい。例えば、S2>S1の場合、α=1,β=0としてもよい。この場合の式（２）は、例えば、以下の式（５）のように表される。

　I' = 1.0X　・・・（５）

　なお、このように重み値を変える基準とする閾値の数は任意である。例えば画像更新部が、より多くの閾値を用いて、重み値をより細かく設定してもよい。また、画像更新部が、閾値を用いる代わりに、所定の関数を用いて、平均画素値S1の差の絶対値の大きさから各重み値を算出してもよい。つまり、画像更新部は、任意の方法で、平均画素値の差の絶対値の大きさに応じて重み値を設定する。

　また、例えば、画素１１１と画素１１３がマッチングし、画素１１１と画素１１２とがマッチングしなかった場合も、画像更新部は、画素１１２の代わりに画素１１３について同様の処理を行う。つまり、平均画素値S1およびS3の差の絶対値の大きさに応じて重み値を設定する。

　　＜奥行推定と基準画像更新の処理範囲＞
　以上に説明した奥行推定と基準画像の更新に関する処理は、基準画像の任意の画素に対して行われるようにしてもよい。

　例えば、図２の表の上から１０段目に示されるように、奥行推定と基準画像の更新に関する処理が基準画像の全画素に対して行われるようにしてもよい（方法１－４）。つまり、奥行推定部が、基準画像の全画素について、ステレオマッチングを行って奥行を推定し、画像更新部が、基準画像の全画素について、ステレオマッチングの結果に基づいて画素値を更新してもよい。

　また、例えば、図２の表の上から１１段目に示されるように、奥行推定と基準画像の更新に関する処理が基準画像の高輝度画素に対して行われるようにしてもよい（方法１－５）。つまり、奥行推定部が、基準画像の輝度が所定の閾値以上の画素について、ステレオマッチングを行って奥行を推定し、画像更新部が、基準画像の輝度が所定の閾値以上の画素について、ステレオマッチングの結果に基づいて画素値を更新してもよい。

　　＜撮像部＞
　上述したフレアの方向が互いに異なる３以上の画像の生成方法は任意である。例えば、この画像が、複数の撮像部のそれぞれにおいて生成された被写体の撮像画像であってもよい。

　例えば、図２の表の上から１２段目に示されるように、表示部の格子状の配線下にある３以上の撮像部が、被写体を撮像し、少なくともフレアの方向が互いに異なる３つの画像を含む３以上の画像を生成してもよい（方法１－６）。つまり、画像処理装置が、３以上の撮像部をさらに備え、その撮像部の光入射側に表示部の格子状の配線が設けられる。すなわち、格子状の配線は被写体と撮像部の間に設けられる。撮像画像に含まれる互いに異なる方向を有する複数のフレアは、撮像部が配線を介して被写体する際に生成される。

　例えば、図１４において、撮像装置２００は、イメージセンサ２０１、イメージセンサ２０２、およびイメージセンサ２０３を有する。イメージセンサ２０１乃至イメージセンサ２０３は、互いに異なる位置に配置されており、それぞれ、入射光を項電変換して、撮像画像を生成する。

　イメージセンサ２０１の光入射面側には、マイクロレンズ等の光学系２１１が設けられている。そして、その光学系２１１の光入射面側には、表示部の格子状の配線２２１が設置されている。つまり、イメージセンサ２０１、光学系２１１、および配線２２１が互いに重畳して配置されている。

　イメージセンサ２０２の光入射面側には、マイクロレンズ等の光学系２１２が設けられている。そして、その光学系２１２の光入射面側には、表示部の格子状の配線２２２が設置されている。つまり、イメージセンサ２０２、光学系２１２、および配線２２２が互いに重畳して配置されている。

　イメージセンサ２０３の光入射面側には、マイクロレンズ等の光学系２１３が設けられている。そして、その光学系２１３の光入射面側には、表示部の格子状の配線２２３が設置されている。つまり、イメージセンサ２０３、光学系２１３、および配線２２３が互いに重畳して配置されている。

　つまり、イメージセンサ２０１乃至イメージセンサ２０３は、表示部に重畳するように配置されている。したがって、イメージセンサ２０１乃至イメージセンサ２０３は、その表示部（配線２２１乃至配線２２３）を介して被写体を撮像する。換言するに、イメージセンサ２０１は、配線２２１の奥側に位置する被写体を撮像して撮像画像を生成する。イメージセンサ２０２は、配線２２２の奥側に位置する被写体を撮像して撮像画像を生成する。イメージセンサ２０３は、配線２２３の奥側に位置する被写体を撮像して撮像画像を生成する。

　そのため、イメージセンサ２０１乃至イメージセンサ２０３に入射する入射光は、それらの格子状の配線（配線２２１乃至配線２２３）によって反射しやすい。したがって、例えば、イメージセンサ２０１乃至イメージセンサ２０３の画角内に、光源等の高輝度な部分が存在する場合、イメージセンサ２０１乃至イメージセンサ２０３が生成する撮像画像にフレアが発生しやすい。

　このような構成の撮像部により生成される、互いに異なる方向のフレアが発生した撮像画像に対して、奥行推定部および画像処理部が、上述したように処理を行うことにより、そのフレアが小さくなるように画像を修正することができる。つまり、フレアの発生による画像の主観的画質の低減を抑制することができる。

　なお、図１４においては、３つのイメージセンサを示しているが、イメージセンサの数は３以上であればいくつであってもよい。そのイメージセンサ群が、少なくとも、互いに異なる方向のフレアを含む撮像画像を生成する３つのイメージセンサ（イメージセンサ２０１乃至イメージセンサ２０３）を含むようにすればよい。

　また、図１４においては、イメージセンサ２０１乃至イメージセンサ２０３が直線状に並ぶように配置される例を示しているが、複数のイメージセンサの位置関係は任意であり、この例に限定されない。例えば、複数のイメージセンサが、曲線状やＬ字状に並ぶように配置されてもよいし、多角形状等に並ぶように配置されてもよい。また、各イメージセンサ間が均等になるように配置されてもよい。もちろん、各イメージセンサ間の距離に偏りが生じてもよい。

　例えば、図２の表の上から１３段目に示されるように、少なくとも３以上の撮像部に重畳する配線により形成される格子の向きが互いに異なるようにしてもよい（方法１－６－１）。つまり、上述の撮像部（イメージセンサ２０１乃至イメージセンサ２０３）の光入射側に設けられた配線は、互いに異なる向きを有する複数の格子を備えるようにしてもよい。

　図１５は、イメージセンサ２０１乃至イメージセンサ２０３を光入射側（被写体側）から見た場合の模式図である。図１５に示されるように、イメージセンサ２０１乃至イメージセンサ２０３には、それぞれ、表示部の格子状の配線２２１乃至配線２２３が重畳している。そして、この配線２２１乃至配線２２３の格子の向き（傾き）が互いに異なる。

　撮像画像のフレアの方向は、この表示部の配線により形成される格子の向きによって制御可能である。したがって、図１５の例のように、各イメージセンサに重畳される配線の格子の向きが互いに異なるようにすることにより、各イメージセンサが生成する撮像画像に発生するフレアの向きが互いに異なるようにすることができる。

　各配線の格子の向きは任意である。例えば、図２の表の最下段に示されるように、Ｎ個の撮像部に重畳する配線により形成される格子の向きが互いに異なる場合、各撮像部に重畳する配線により形成される格子の向きは、互いに90/N度ずつ異なるようにしてもよい（方法１－６―１－１）。つまり、撮像部はＮ個（Ｎ≧３）であり、その撮像部の光入射側に設けられた配線の複数の格子の向きが、90/Nずつ異なるようにしてもよい。

　例えば、配線パタンが縦横90度に交わる格子状であるとする。そして、図１６に示されるように、イメージセンサ２０１に重畳される配線２２１の配線パタンの角度が0度と90度（180度と270度）であるとする。このイメージセンサ２０１により生成される撮像画像２３１に発生するフレア２３１Ａの角度は、0度、90度、180度、270度となる。

　また、図１７に示されるように、イメージセンサ２０２に重畳される配線２２２の配線パタンの角度がθ₁度とθ₁+90度（θ₁+180度とθ₁+270度）であるとする。このイメージセンサ２０２により生成される撮像画像２３２に発生するフレア２３２Ａの角度は、θ₁度、θ₁+90度、θ₁+180度、θ₁+270度となる。

　また、図１８に示されるように、イメージセンサ２０３に重畳される配線２２３の配線パタンの角度がθ₂度とθ₂+90度（θ₂+180度とθ₂+270度）であるとする。このイメージセンサ２０３により生成される撮像画像２３３に発生するフレア２３３Ａの角度は、θ₂度、θ₂+90度、θ₂+180度、θ₂+270度となる。

　これらの角度が重なることなくできるだけ離れた値であれば、フレアの延伸方向を分散させることができ、フレア除去をより効率的に行うことができる。例えば、図１５に示されるようにイメージセンサが３つの場合、θ₁=30度、θ₂=60度とすることにより、最も効率よくフレア除去を行うことができる。この条件を一般化すると、N眼のカメラを用いてフレア除去をする場合のθnは、以下の式（６）を用いて算出することができる。

　θn = n (90 / N)　・・・（６）
　ただしn = 1からN-1

　　＜フレアの抑制＞
　以上のような画像処理の結果の例を図１９に示す。図１９において、画像２５１はフレア２５１Ａを含み、画像２５２はフレア２５２Ａを含み、画像２５３はフレア２５３Ａを含む。また、フレア２５１Ａ、フレア２５２Ａ、およびフレア２５３Ａは、その延伸方向が互いに異なる。このような画像を処理対象とし、画像２５１を基準画像として、上述の画像処理（フレアを低減させる処理）を行うことにより、画像２５１を画像２６１のように更新することができる。画像２６１においては、光源２６１Ａのみが表示され、フレアが抑制されている。

　このように、本技術を適用することにより、フレアの発生による画像の主観画質の低減を抑制することができる。

　＜３．第１の実施の形態＞
　　＜電子機器＞
　次に、上述した本技術を適用する画像処理装置の構成について説明する。図２０は、本技術を適用した画像処理装置の一実施の形態である電子機器の主な構成例を示す断面図である。

　図２０に示される電子機器３００は、スマートフォンや携帯電話、タブレット、パーソナルコンピュータなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図の左下に示すように、第１方向を図面右側向き、第２方向を図面と垂直な方向、第３方向を図面下向きとする。すなわち、第２方向は、第１方向と交わる向きであり、第３方向は、第１方向および第２方向と交わる向きである。なお、交わるとは、90°の角度で交わることを含んでもよいし、厳密に90°ではなくてもよい。また、図からわかるように、第１方向と第２方向は、便宜的に区別されるものであり、入れ替えても同等のものである。

　電子機器３００は、表示部３０１の表示面とは反対側に配置される撮像光学系（カメラモジュール等）を備えている。このように、電子機器３００は、表示部３０１の表示面の裏側（反対側）に撮像光学系３０２を設けている。したがって、撮像光学系３０２は、表示部３０１を通して撮影を行うことになる。

　表示部３０１は、表示パネル３０３、円偏光板３０４、タッチパネル３０５、およびカバーガラス３０６を順に積層した構造体である。この積層は、一例と示したものであり、表示パネル３０３、円偏光板３０４、タッチパネル３０５、カバーガラス３０６の間には、粘着層または接着層が必要に応じて備えられていてもよい。また、円偏光板３０４、タッチパネル３０５の順番は、その設計により適宜入れ替えてもよい。

　撮像光学系３０２は、表示部３０１の表示面の反対側に備えられる。撮像光学系３０２は、例えば、光を受光してアナログ信号へと光電変換する光電素子（受光素子）等を有する撮像部３０７と、表示面に照射された光を撮像部３０７へと伝播する、光学系３０８とを備える。光学系３０８は、例えば、表示パネル３０３に備えられる開口であってもよい。この撮像光学系３０２は、電子機器３００の１つの表示部３０１に対して少なくとも３つ備えられる。表示面に照射された光は、図の矢印で示すように、光学系３０８を介して撮像部３０７へと伝播される。また、光学系３０８が、開口だけではなく、何らかの光学的特徴、例えば、光路長を調節したり、偏光状態を変更したりする光学的特徴を有する光学素子等を備えていてもよい。

　複数の撮像光学系３０２は、例えば、第２方向に異なる座標を有するように配置されるが、これには限られない。例えば、第１方向に異なる座標を有していてもよいし、第１方向および第２方向の双方において異なる座標を有していてもよい。

　表示パネル３０３は、詳細は図示していないが、例えば、表示するための光学系(表示光学系)として、OLED（Organic Light Emitting Device）を備えていてもよいし、TFT（Thin Film Transistor）等の液晶を備えていてもよいし、MicroLED（Light Emitting Diode）を備えていてもよい。表示光学系は、その他の表示原理に基づく発光素子を備えていてもよい。表示光学系としての発光素子は、例えば、ストライプ配列であってもよいし、モザイク配列であってもよく、第１方向および第２方向にアレイ状に配置されてもよいし、斜め方向や部分的な画素間引きがされていてもよい。また、表示光学系は、発光素子が積層型のフィルタを備えて表示色を変更するものであってもよい。OLED等を備える場合、表示パネル３０３は、例えば、アノード層、カソード層等の複数の層で構成されていてもよい。また、これらの層は、透過率が高い材料により形成されていてもよい。

　表示パネル３０３には、カラーフィルタ層等の透過率が低い部材が設けられることもある。また、表示パネル３０３がOLEDを備える場合、例えば、基板３０３Ａと、OLED部と、を備えていてもよい。基板３０３Ａは、例えば、ポリイミド等から形成されていてもよい。基板３０３Ａがポリイミド等のように光の透過率が低い材質である場合、撮像光学系３０２の配置場所に合わせて、開口を形成してもよい。開口を通った被写体光が撮像光学系３０２に入射されるようにすれば、撮像光学系３０２で撮像される画像の画質を向上できる。また、開口ではなく、透過率の高い物質により形成された光の伝搬路を備えていてもよい。この場合も、表示部３０１の表示面から入射した光は、撮像光学系３０２において受光され、信号へと変換される。

　円偏光板３０４は、例えば、ギラツキを低減し、または、明るい環境下でも表示画面３００Ａ（図２）の視認性を高めるために設けられている。タッチパネル３０５には、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル３０５と表示パネル３０３を一体化してもよい。カバーガラス３０６は、表示パネル３０３等を保護するために設けられている。上述したように、適切な箇所に、OCA（Optical Clear Adhesive）等の接着層や粘着層を備えていてもよい。また、設計により、円偏光板３０４とタッチパネル３０５の第３方向における順番は、入れ替わって配置されてもよい。

　図２１は、図２０に示される電子機器３００の模式的な外観図と、断面図を示す。断面図は、表示部３０１を含むディスプレイ部分の断面を示したものである。電子機器３００の筐体およびディスプレイ部分以外の回路等は、省略している。

　外観図において、電子機器３００の外径サイズの近くまで表示画面３００Ａが拡がっており、表示画面３００Ａの周囲にあるベゼル３００Ｂの幅を数mm以下にしている。通常、ベゼル３００Ｂには、フロントカメラが搭載されることが多い。本実施形態においては、例えば、フロントカメラは、複数の撮像光学系３０２として、外観図において点線で示されるように、表示画面３００Ａ内に位置する。このように、フロントカメラを撮像光学系として表示部３０１の表示面の反対側に配置することにより、ベゼル３００Ｂにフロントカメラを配置する必要がなくなり、ベゼル３００Ｂの幅を狭めることができる。

　なお、図２１の外観図は、一例として示したものであり、撮像光学系３０２、すなわち、フロントカメラは、表示画面３００Ａにおいて、任意の第１方向および第２方向における位置に、表示部３０１の表示面と反対側（裏面側）に配置されてもよい。例えば、表示画面３００Ａの周縁部（端部、境界部分）に配置されてもよい。また、複数の撮像光学系３０２は、例えば、第１方向に異なる座標を有するように備えられる。任意の位置に撮像光学系３０２が配置される場合にも、第１方向および第２方向の少なくとも１方向において異なる座標を有するように配置されればよい。また、撮像光学系３０２は、３つ描かれているがこれには限られず、さらに多くの撮像光学系が表示面と反対側に備えられていてもよい。

　例えば、撮像光学系３０２は、断面図に示されるように、表示部３０１の表示面であるディスプレイ表面側とは反対側の裏面側に備えられる。なお、この断面図は、省略して示されたものである。例えば、上述と同様に、粘着層等は、図２１の断面図の構成においても備えられているが、説明の簡単のため省略している。

　図２２は、撮像光学系３０２の一例を示す図である。撮像光学系３０２は、例えば、撮像部３０７と、光学系３０８とを備える。光学系３０８は、撮像部３０７の光の入射面側、すなわち、表示部３０１に近い側に配置される。表示部３０１の表示面を透過した光は、光学系３０８により撮像部３０７に伝播される。

　撮像部３０７は、例えば、フォトダイオード等の受光素子、光電素子を備えている。光学系３０８により集光、拡散等され、伝播された光は、撮像部３０７に備えられる撮像画素アレイにより受光され、アナログ信号を出力する。撮像画素アレイは、それぞれの撮像素子の入射面側に、例えば、ベイヤ配列等のカラーフィルタが備えられていてもよいし、積層型のカラーフィルタが備えられていてもよい。この他、カラー画像を取得するためのフィルタが備えられていてもよい。また、図示しないが、その他受光およびアナログ信号を出力するのに必要となる素子、回路等が備えられる。例えば、光電素子は、CMOS（Complementary Metal-Oxide-Semiconductor）素子、CCD（Charge Coupled Device）素子であってもよい。この他、上述のフィルタ、さらに、偏光素子等を備えてもよい。

　光学系３０８は、例えば、レンズを備えていてもよい。また、光学系３０８は、上述した、表示パネル３０３に設けられる開口を含める概念としてもよい。例えば、光学系３０８として、表示パネル３０３に設けられた開口と、第３方向においてこの開口よりも撮像部３０７に近い位置にレンズが配置される。この開口は、例えば、透過率の低い基板３０３Ａに備えられ、この開口部を透過した光を撮像部３０７に伝播させるレンズが備えられていてもよい。例えば、このレンズと開口により、それぞれの撮像光学系３０２における開口数Na（Numerical Aperture）や、F値（F-Number）といった光学的特徴が定義される。またさらに、この光学系３０８により、撮像光学系３０２が異なるアッベ数を有する等、他の光学的特徴を有するようにしてもよい。レンズは、１枚のレンズとして示されているが、これには限られず、複数の多種の種類のレンズを備えたレンズ系として備えられていてもよい。

　なお、開口とレンズは、一例として示したものであり、光学系３０８の構成は、必ずしもこれらの組み合わせに限定されるものではない。また、図においては、開口１つに対して１つのレンズが備えられているがこれには限られない。例えば、図２３のように、光学系３０８において１つのレンズに対して、複数の開口が設けられてもよい。開口の存在しない領域においては、例えば、表示パネル３０３の発光素子が備えられ、これらの発光素子の間を縫うように開口が備えられてもよい。このように配置することにより、表示を崩すことなく、撮像光学系３０２を備えることが可能となる。

　複数の撮像光学系３０２は、このように、開口の形状、レンズの性能等により、異なる光学的特徴を備えて形成されてもよい。３以上の撮像光学系３０２がある場合には、それぞれに対応する光学系３０８において別々の光学的特徴を持たせてもよい。別の例として、撮像光学系３０２を複数のグループに分け、グループごとに異なる光学的特徴を持たせてもよい。例えば、共通する光学的特徴を有する２つの撮像光学系３０２と、異なる光学的特徴を有する１つの撮像光学系３０２となるように、光学系３０８が、その開口の形状、向き、または、レンズの素材等を変えて備えられていてもよい。本開示においては、開口の形状、向きを含めた表現として、開口のレイアウトと称する。

　図２２に矢印で示すように、表示部３０１の表示面側から入射した光は、光学系３０８により屈折等し、撮像部３０７において受光される。光学系３０８が備えられない箇所においては、通常のディスプレイと同様に、適切に反射等が抑制され、表示部３０１における表示が見やすく調整されてもよい。例えば、表示パネル３０３の発光画素間に開口を備え、第３方向において開口の表示面とは反対側にレンズを備え、撮像部３０７へと表示面から入射した光を投射する。また、連続する発光画素の間のそれぞれの間に開口を備えていてもよい。換言するに、開口と開口の間に発光画素が備えられるような構成であってもよい。

　図２４は、本実施形態に係る電子機器３００の撮像動作に関連する構成を表したブロック図の一例を示す。電子機器３００は、表示部３０１、複数の撮像光学系３０２（撮像部３０７および光学系３０８）を有する。また、電子機器３００は、制御部３３１および記憶部３３２を有する。さらに、電子機器３００は、前処理部３４１、画像処理部３４２と、後処理部３４３、および出力部３４４を有する。

　先に説明した図面と同様に、１つの表示部３０１に対して、その表示面と反対側に、複数の（３以上の）撮像光学系３０２（撮像部３０７および光学系３０８）を備える。これらの撮像部３０７は、被写体を撮像して撮像画像（またはRAW画像）を取得（生成）し、その撮像画像（またはRAW画像）を前処理部３４１に供給する。その際、少なくとも３つの撮像部３０７が同時に被写体を撮像して撮像画像（またはRAW画像）を取得する。また、その同時に取得された撮像画像のうち少なくとも３つ以上の撮像画像において、互いに異なる方向に延伸するフレアが発生している。

　例えば、上述した方法１－６を適用し、電子機器３００が、少なくとも３つの撮像部３０７と格子状の配線を備える表示部３０１とを備え、その格子状の配線は、被写体と少なくとも３つの撮像部３０７との間に設けられ、複数のフレアの方向は、撮像部３０７がその配線を介して被写体を撮像する際に生成されるようにしてもよい。

　その方法１－６が適用される場合、上述した方法１－６－１を適用し、各撮像部３０７の光入射側に設けられた表示部３０１の配線（例えば、図１４の配線２２１乃至配線２２３）は、互いに異なる向きを有する複数の格子を備えるようにしてもよい。

　その方法１－６－１が適用される場合、上述した方法１－６－１－１を適用し、撮像部３０７はＮ個（Ｎ≧３）であり、その撮像部３０７の光入射側に設けられた表示部３０１の配線（例えば、図１４の配線２２１乃至配線２２３）の複数の格子の向きが、90/Nずつ異なるようにしてもよい。

　前処理部３４１は、撮像部３０７が出力するアナログ信号を処理する回路である。前処理部３４１は、例えば、ADC（Analog to Digital Converter）を備え、入力されたアナログ信号をデジタル画像データへと変換する。つまり、前処理部３４１は、撮像部３０７において生成された撮像画像（またはRAW画像）に対して前処理を行う。なお、この前処理には現像処理が含まれていてもよい。前処理部３４１は、前処理を施した撮像画像を画像処理部３４２に供給する。

　画像処理部３４２は、前処理部３４１により変換されたデジタル画像データ（撮像画像）に対して画像処理を施す。例えば、画像処理部３４２は、それぞれの撮像光学系３０２から供給される撮像画像において発生したフレアを抑制するようにその撮像画像を更新して更新画像を生成する。画像処理部３４２は、複数の撮像光学系３０２により得られた撮像画像を用いてこのような画像処理を行う。画像処理部３４２は、生成した更新画像を後処理部３４３に供給する。

　後処理部３４３は、画像処理部３４２から供給された更新画像に対して適切な処理を施す。適切な処理とは、例えば、画素欠陥補正、エッジ強調、ノイズ除去、明るさ調整、色補正、ホワイトバランス調整、歪み補正、オートフォーカス処理、等の画像処理または信号処理のことであってもよい。また、この適切な処理は、ユーザにより指定された処理であってもよい。後処理部３４３は、処理後の更新画像を出力部３４４に供給する。

　出力部３４４は、後処理部３４３から供給される更新画像を取得し、その更新画像を電子機器３００の外部へ出力する。出力部３４４は、例えば、出力インタフェースを備える。出力インタフェースは、例えば、USB（Universal Serial Bus）等のデジタル信号を出力するインタフェースであってもよいし、ディスプレイ等のユーザインタフェースであってもよい。また、出力部３４４に備えられる出力インタフェースは、入力インタフェースを兼ね備えるものであってもよい。

　制御部３３１は、電子機器３００における処理を制御する。制御部３３１は、例えば、CPU（Central Processing Unit）を備えていてもよく、前処理部３４１、画像処理部３４２、後処理部３４３、出力部３４４等の処理を制御してもよい。また、ユーザインタフェースからの指示された撮像タイミングに基づいて、撮像光学系３０２による撮影を行う制御をも実行してもよい。

　記憶部３３２は、電子機器３００におけるデータを格納する。記憶部３３２は、例えば、DRAM（Dynamic Random Access Memory）等のメモリ、SSD（Solid State Drive）等のストレージであってもよい。記憶部３３２は、内蔵のメモリであってもよいし、取り外し可能なメモリカード等のメモリであってもよい。また、記憶部３３２は、必ずしも電子機器３００の内部に備えられるものではなく、入出力インタフェースを介して接続される外部にストレージ等であってもよい。記憶部３３２には、電子機器３００において必要なタイミングで適切に情報が入出力される。

　上述した説明のうち、一部または全部は、同じ基板上に形成されてもよい。例えば、撮像光学系３０２、前処理部３４１、画像処理部３４２、後処理部３４３、出力部３４４、制御部３３１、および記憶部３３２は、１チップ上に形成されてもよいし、適宜これらの一部が別のチップとして形成されていてもよい。また、１チップの同一基板上に形成された一部の構成が、他の基板上に形成された一部の構成と、その製造工程においてCoC（Chip on Chip）、CoW（Chip on Wafer）、WoW（Wafer on Wafer）等の技術により積層されて形成されてもよい。

　　＜画像処理部＞
　図２５は、画像処理部３４２の主な構成例を示すブロック図である。図２５に示されるように、画像処理部３４２は、キャリブレーション情報参照部３５１、奥行推定部３５２、および画像更新部３５３を有する。

　キャリブレーション情報参照部３５１は、各カメラ間の距離や歪み情報などキャリブレーション情報を、必要に応じて奥行推定部３５２に提供する。例えば、キャリブレーション情報は、記憶部３３２により記憶されていてもよい。その場合、キャリブレーション情報参照部３５１は、必要に応じて記憶部３３２を参照し、必要なキャリブレーション情報を取得し、奥行推定部３５２に供給する。なお、キャリブレーション情報参照部３５１が、キャリブレーション情報を予め記憶するようにしてもよい。

　奥行推定部３５２は、前処理部３４１から供給される撮像画像を取得する。つまり、奥行推定部３５２は、各撮像部３０７において生成された撮像画像、すなわち、フレアの方向が互いに異なる３つの画像を含む３以上の画像を取得する。

　奥行推定部３５２は、＜２．３以上の画像を用いたフレア抑制処理＞において上述した本技術を適用して、その複数の撮像画像に対して２画像ずつステレオマッチングを行い、視差量を特定し、基準画像の奥行き推定を行う。その際、奥行推定部３５２は、キャリブレーション情報参照部３５１からキャリブレーション情報を適宜取得し、奥行推定に適用する。奥行推定部３５２は、複数の撮像画像、基準画像の画素毎に得られた奥行き情報と、マッチング結果を示すマッチングカメラ情報等を、画像更新部３５３に供給する。

　例えば、上述した方法１を適用し、奥行推定部３５２が、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定してもよい。

　画像更新部３５３は、奥行推定部３５２から供給される複数の撮像画像、奥行情報、マッチングカメラ情報等の各種情報を取得する。画像更新部３５３は、撮像画像のフレアを抑制するように処理を実行し、撮像画像を更新して更新画像を生成する。その際、画像更新部３５３は、＜２．３以上の画像を用いたフレア抑制処理＞において上述した本技術を適用して、この画像更新処理を実行し、更新画像を生成する。

　例えば、上述した方法１を適用し、画像更新部３５３が、ステレオマッチングの結果に基づいて、基準画像を更新してもよい。

　方法１の場合、上述した方法１－１を適用し、画像更新部３５３が、上述のマッチングの結果が条件を満たす場合、基準画像の処理対象画素の画素値を比較画像のうち少なくとも１つにおける対応画素の画素値に置き換えてもよい。

　方法１－１の場合、上述した方法１－１－１を適用し、画像更新部３５３が、基準画像が他の画像のいずれともマッチしない場合、基準画像の処理対象画素の画素値を、いずれかの他の画像の対応画素の画素値に置き換えてもよい。つまり、方法１－１における条件が、複数のフレアの方向において基準画像が比較画像のいずれともマッチしないという条件であるようにしてもよい。

　方法１－１の場合、上述した方法１－１－２を適用し、画像更新部３５３が、ステレオマッチングの結果が、複数のフレアの方向において基準画像がいずれかの比較画像とマッチするという結果である場合、基準画像の処理対象画素の画素値を更新しない（すなわち、省略する）ようにしてもよい。

　方法１の場合、上述した方法１－２を適用し、画像更新部３５３が、ステレオマッチングの結果に応じた方法で少なくとも３つの画像のうち少なくとも２つをブレンドし、基準画像の処理対象画素の画素値を、そのブレンディングの結果に置き換えるようにしてもよい。

　方法１－２の場合、上述した方法１－２－１を適用し、画像更新部３５３が、ステレオマッチングの結果が、複数のフレアの方向において基準画像がいずれかの比較画像とマッチするという結果である場合、基準画像の処理対象画素の画素値と、基準画像にマッチする比較画像の対応画素の画素値とをブレンドし、処理対象画素の画素値を、そのブレンディングにより得られる画素値に置き換えてもよい。

　方法１－２－１の場合、上述した方法１－２－１－１を適用し、画像更新部３５３が、処理対象画素の画素値を、処理対象画素の画素値と基準画像にマッチする比較画像の対応画素の画素値との平均値に置き換えてもよい。

　方法１－２の場合、上述した方法１－２－２を適用し、画像更新部３５３が、ステレオマッチングの結果が、複数のフレアの方向において基準画像が比較画像のいずれともマッチしないという結果である場合、基準画像の処理対象画素の画素値を、複数の比較画像の対応画素の画素値の平均値に置き換えてもよい。

　方法１の場合、上述した方法１－３を適用し、画像更新部３５３が、ステレオマッチングの結果に応じた方法で少なくとも３つの画像のうち少なくとも２つを重みづけブレンドし、フレアの方向における基準画像の処理対象画素の画素値を、その重みづけブレンディングにより得られる画素値に置き換えるようにしてもよい。

　方法１－３の場合、上述した方法１－３－１を適用し、画像更新部３５３が、その重みづけブレンディングにおいて、基準画像が複数の比較画像とマッチする場合、基準画像の処理対象画素の画素値と、マッチした複数の比較画像の対応画素の画素値とを所定のブレンド比でブレンドしてもよい。

　方法１－３－１の場合、上述した方法１－３－１－１を適用し、画像更新部３５３が、基準画像の所定の画素の平均画素値と、基準画像にマッチする複数の比較画像の所定の画素の平均画素値とに基づいてブレンド比を設定してもよい。ここで、基準画像の所定の画素の平均画素値は、処理対象画素、並びに、奥行が処理対象画素と同一の、処理対象画素の周辺画素の平均画素値を示す。また、複数の比較画像の所定の画素の平均画素値は、対応画素、並びに、奥行が対応画素と同一の、対応画素の周辺画素の平均画素値を示す。

　方法１－３－１－１の場合、上述した方法１－３－１－１－１を適用し、画像更新部３５３が、各平均画素値の差がいずれも所定の閾値以下の場合、各画素値のブレンド比を均一に設定してもよい。

　また、方法１－３－１－１の場合、上述した方法１－３－１－１－２を適用し、画像更新部３５３が、他の平均画素値との差が所定の閾値より大きい平均画素値に対応する比較画像の画素値のブレンド比を他の比較画像のブレンド比よりも小さくしてもよい。

　また、方法１－３－１－１の場合、上述した方法１－３－１－１－３を適用し、画像更新部３５３が、各平均画素値の差の絶対値がいずれも所定の閾値より大きい場合、閾値を変更してもよい。

　また、方法１－３－１－１の場合、上述した方法１－３－１－１－４を適用し、画像更新部３５３が、各平均画素値の差がいずれも所定の閾値より大きい場合、各画素値のブレンド比を均一に設定してもよい。

　方法１－３の場合、上述した方法１－３－２を適用し、画像更新部３５３が、重みづけブレンディングにおいて、基準画像がいずれか１つの比較画像とマッチする場合、基準画像の処理対象画素の画素値と、基準画像にマッチする比較画像の対応画素の画素値とを所定のブレンド比でブレンドしてもよい。

　方法１－３－２の場合、上述した方法１－３－２－１を適用し、画像更新部３５３が、基準画像の所定の画素の平均画素値と、基準画像にマッチする比較画像の所定の画素の平均画素値とに基づいてブレンド比を設定してもよい。ここで、基準画像の所定の画素の平均画素値は、処理対象画素、並びに、奥行が処理対象画素と同一の、処理対象画素の周辺画素の平均画素値である。また、基準画像にマッチする比較画像の所定の画素の平均画素値は、対応画素、並びに、奥行が対応画素と同一の、対応画素の周辺画素の平均画素値である。

　なお、方法１の場合、上述した方法１－４を適用し、奥行推定部３５２が、基準画像の全画素について、ステレオマッチングを行って奥行を推定し、画像更新部３５３が、基準画像の全画素について、ステレオマッチングの結果に基づいて画素値を更新してもよい。

　また、方法１の場合、上述した方法１－５を適用し、奥行推定部３５２が、基準画像の輝度が所定の閾値以上の画素について、ステレオマッチングを行って奥行を推定し、画像更新部３５３が、基準画像の輝度が所定の閾値以上の画素について、ステレオマッチングの結果に基づいて画素値を更新してもよい。

　画像更新部３５３は、生成した更新画像を後処理部３４３に供給する。

　以上のような構成を有することにより、電子機器３００は、複数の撮像画像を用いて、フレアが小さくなるように基準画像を修正することができる。この場合、電子機器３００は、例えば基準画像のフレア発生部においても、他の複数の画像を用いて正しく奥行き情報が取得でき、フレア除去処理を行うことができる。したがって、電子機器３００は、フレアの発生による画像の主観的画質の低減を、より確実に抑制することができる。

　　＜撮像処理の流れ＞
　電子機器３００により実行される撮像処理の流れの例を、図２６のフローチャートを参照して説明する。

　撮像処理が開始されると、撮像部３０７は、ステップＳ３０１において、被写体を撮像し、撮像画像を生成する。この処理は、電子機器３００に設けられた複数の撮像部３０７のそれぞれにおいて実行される。すなわち、複数の撮像画像が生成される。

　ステップＳ３０２において、前処理部３４１は、ステップＳ３０１において生成された各撮像画像に対して前処理を施す。

　ステップＳ３０３において、画像処理部３４２は、ステップＳ３０２において前処理が施された撮像画像に対して画像処理を実行し、その撮像画像を、フレアを抑制するように更新した更新画像を生成する。

　ステップＳ３０４において、後処理部３４３は、ステップＳ３０３において生成された更新画像に対して後処理を施す。

　ステップＳ３０５において、出力部３４４は、ステップＳ３０４において後処理が施された更新画像を出力する。

　　＜画像処理の流れ＞
　次に、図２６のステップＳ３０３において実行される画像処理の流れの例を、図２７のフローチャートを参照して説明する。図２７においては、基準画像の全画素に対して画像処理を施す場合の例を説明する。

　画像処理が開始されると、画像処理部３４２の奥行推定部３５２は、ステップＳ３２１において、各撮像部３０７において得られる複数の撮像画像を取得する。また、奥行推定部３５２は、その複数の画像の中から処理対象とする基準画像を選択する。

　ステップＳ３２２において、キャリブレーション情報参照部３５１は、その基準画像に対する奥行処理のために、キャリブレーション情報を参照するか否かを判定する。参照すると判定された場合、処理はステップＳ３２３に進む。

　ステップＳ３２３において、キャリブレーション情報参照部３５１は、キャリブレーション情報を読み込み、奥行推定部３５２にセットする。ステップＳ３２３の処理が終了すると処理はステップＳ３２４に進む。

　また、ステップＳ３２２において、キャリブレーション情報を参照しないと判定された場合、ステップＳ３２３の処理が省略され、処理はステップＳ３２４に進む。

　ステップＳ３２４において、奥行推定部３５２は、基準画像において処理対象画素を選択する。

　ステップＳ３２５において、奥行推定部３５２は、ステップＳ３２４において選択した処理対象画素について、ステレオマッチングを行い、奥行を推定する。その際、奥行推定部３５２は、＜２．３以上の画像を用いたフレア抑制処理＞において上述した本技術を適用して、その複数の撮像画像に対して２画像ずつステレオマッチングを行い、視差量を特定し、基準画像の奥行き推定を行う。

　例えば、上述した方法１を適用し、奥行推定部３５２が、少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定してもよい。

　ステップＳ３２６において、画像更新部３５３は、画像更新処理を実行し、基準画像を更新して更新画像を生成する。その際、画像更新部３５３は、＜２．３以上の画像を用いたフレア抑制処理＞において上述した本技術を適用して、この画像更新処理を実行し、更新画像を生成する。

　例えば、上述した方法１を適用し、画像更新部３５３が、ステレオマッチングの結果に基づいて、基準画像を更新してもよい。

　ステップＳ３２７において、奥行推定部３５２は、全画素を処理したか否かを判定する。未処理の画素が存在し、全画素を処理していないと判定された場合、処理はステップＳ３２４に戻り、それ以降の処理が繰り返される。

　ステップＳ３２４乃至ステップＳ３２７の処理が各画素について実行され、ステップＳ３２７において全画素を処理したと判定された場合、処理はステップＳ３２８に進む。

　ステップＳ３２８において、奥行推定部３５２は、他の画像も処理するか否かを判定する。他の画像も基準画像として処理する（更新する）と判定された場合、処理はステップＳ３２２に戻り、それ以降の処理が繰り返される。

　ステップＳ３２２乃至ステップＳ３２８の処理が各画素について実行され、ステップＳ３２８において他の画像を処理しないと判定された場合、画像処理が終了し、処理は図２６に戻る。

　　＜画像更新処理の流れ＞
　次に、図２８のフローチャートを参照して、ステップＳ３２６において実行される画像更新処理の流れの例を説明する。

　画像更新処理が開始されると、ステップＳ３４１において、画像更新部３５３は、基準画像の処理対象画素周辺領域における対象奥行同一画素の平均画素値を算出する。

　ステップＳ３４２において、画像更新部３５３は、他の画像のそれぞれについて、対応画素周辺領域における対応奥行同一画素の平均画素値を算出する。

　ステップＳ３４３において、画像更新部３５３は、ステップＳ３４１およびステップＳ３４２において生成された平均画素値を用いて、重み値を算出する。なお、画像の更新に重み値を適用しない場合、このステップの処理は省略し得る。

　ステップＳ３４４において、画像更新部３５３は、ステップＳ３４３において算出された重み値を用いる等して、更新用の画素値を算出する。すなわち、画像更新部３５３は、更新画像を生成する。なお、ステップＳ３４３の処理が省略される場合、画像更新部３５３は、他の方法で更新画像を生成する。

　ステップＳ３４４の処理が終了すると、画像更新処理が終了し、処理は図２７に戻る。

　以上のように各処理を実行することにより、電子機器３００は、複数の撮像画像を用いて、フレアが小さくなるように基準画像を修正することができる。この場合、電子機器３００は、例えば基準画像のフレア発生部においても、他の複数の画像を用いて正しく奥行き情報が取得でき、フレア除去処理を行うことができる。したがって、電子機器３００は、フレアの発生による画像の主観的画質の低減を、より確実に抑制することができる。

　　＜画像処理の流れ＞
　なお、上述したように、画像処理は、基準画像の高輝度画素に対してのみ実行してもよい。その場合の画像処理の流れの例を、図２９のフローチャートを参照して説明する。

　画像処理が開始されると、ステップＳ３６１乃至ステップＳ３６４の各処理は、図２７のステップＳ３２１乃至ステップＳ３２４の各処理と同様に実行される。

　ステップＳ３６５において、奥行推定部３５２は、基準画像の、ステップＳ３６４の処理により選択された処理対象画素が高輝度画素であるか否かを判定する。すなわち、奥行推定部３５２は、基準画像の、ステップＳ３６４の処理により選択された処理対象画素の輝度が所定の閾値以上であるか否かを判定する。処理対象画素の輝度がその閾値以上である（すなわち、処理対象画素が高輝度画素である）と判定された場合、処理はステップＳ３６６に進む。

　ステップＳ３６６およびステップＳ３６７の各処理は、図２７のステップＳ３２５およびステップＳ３２６の各処理と同様に実行される。

　ステップＳ３６７の処理が終了すると処理はステップＳ３６８に進む。また、ステップＳ３６５において、基準画像の、ステップＳ３６４の処理により選択された処理対象画素の輝度が所定の閾値より小さいと判定された場合、すなわち、処理対象画素が高輝度画素でないと判定された場合、処理はステップＳ３６８に進む。

　ステップＳ３６８およびステップＳ３６９の各処理は、図２７のステップＳ３２７およびステップＳ３２８の各処理と同様に実行される。

　ステップＳ３６９において、これ以上、他の画像を処理しないと判定された場合、画像処理が終了し、処理は図２６に戻る。

　このように各処理を実行することにより、基準画像の高輝度画素に対してのみ画像処理を実行することができる。したがって、図２７の場合よりも画像処理による負荷の増大を抑制することができる。

　＜４．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　図３０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が実行される。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。

　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。

　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　また、コンピュータが実行するプログラムは、以下のような特徴を有していてもよい。例えば、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよい。また、プログラムを記述するステップの処理が並列に実行されるようにしてもよい。さらに、プログラムを記述するステップの処理が、呼び出されとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。また、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と組み合わせて実行されるようにしてもよい。

　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定する奥行推定部と、
　前記ステレオマッチングの結果に基づいて、前記基準画像を更新する画像更新部と
　を備える画像処理装置。
　（２）　前記画像更新部は、前記ステレオマッチングの結果が所定の条件を満たす場合、前記基準画像の処理対象画素の画素値を、前記比較画像のうち少なくとも１つにおける前記処理対象画素に対応する対応画素の画素値に置き換える
　（１）に記載の画像処理装置。
　（３）　前記所定の条件は、複数の前記フレアの方向において前記基準画像が前記比較画像のいずれともマッチしないという条件である
　（２）に記載の画像処理装置。
　（４）　前記画像更新部は、前記ステレオマッチングの結果が、複数の前記フレアの方向において前記基準画像がいずれかの前記比較画像とマッチするという結果である場合、前記基準画像の前記処理対象画素の画素値の置き換えを省略する
　（２）または（３）に記載の画像処理装置。
　（５）　前記画像更新部は、前記ステレオマッチングの結果に応じた方法で前記少なくとも３つの画像のうち少なくとも２つをブレンドし、前記基準画像の処理対象画素の画素値を、前記ブレンディングの結果に置き換える
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記画像更新部は、前記ステレオマッチングの結果が、複数の前記フレアの方向において前記基準画像がいずれかの前記比較画像とマッチするという結果である場合、前記基準画像の前記処理対象画素の画素値と、前記基準画像にマッチする前記比較画像の前記処理対象画素に対応する対応画素の画素値とをブレンドし、前記処理対象画素の画素値を、前記ブレンディングにより得られる画素値に置き換える
　（５）に記載の画像処理装置。
　（７）　前記ブレンディングにより得られる画素値は、前記処理対象画素の画素値と前記対応画素の画素値との平均値である
　（６）に記載の画像処理装置。
　（８）　前記画像更新部は、前記ステレオマッチングの結果が、複数の前記フレアの方向において前記基準画像が前記比較画像のいずれともマッチしないという結果である場合、前記処理対象画素の画素値を、前記処理対象画素にそれぞれ対応する複数の前記比較画像の対応画素の画素値の平均値に置き換える
　（５）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記画像更新部は、前記ステレオマッチングの結果に応じた方法で前記少なくとも３つの画像のうち少なくとも２つを重みづけブレンドし、前記フレアの方向における前記基準画像の処理対象画素の画素値を、前記重みづけブレンディングにより得られる画素値に置き換える
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記画像更新部は、前記重みづけブレンディングにおいて、前記基準画像が複数の前記比較画像とマッチする場合、前記基準画像の前記処理対象画素の画素値と、マッチした複数の前記比較画像の前記処理対象画素にそれぞれ対応する画素値とを所定のブレンド比でブレンドする
　（９）に記載の画像処理装置。
　（１１）　前記画像更新部は、前記基準画像の所定の画素の平均画素値と、前記基準画像にマッチする複数の前記比較画像の所定の画素の平均画素値とに基づいて前記ブレンド比を設定し、
　前記基準画像の前記平均画素値は、前記処理対象画素、並びに、奥行が前記処理対象画素と同一の前記処理対象画素の周辺画素の平均画素値であり、
　複数の前記比較画像の前記平均画素値は、前記対応画素、並びに、奥行が前記対応画素と同一の前記対応画素の周辺画素の平均画素値である
　（１０）に記載の画像処理装置。
　（１２）　前記画像更新部は、前記平均画素値の差がいずれも所定の閾値以下の場合、各画像の前記ブレンド比を均一にする
　（１１）に記載の画像処理装置。
　（１３）　前記画像更新部は、他の前記平均画素値との差が所定の閾値より大きい前記平均画素値に対応する前記比較画像の前記ブレンド比を他の前記比較画像の前記ブレンド比よりも小さくする
　（１１）または（１２）に記載の画像処理装置。
　（１４）　前記画像更新部は、前記平均画素値の差がいずれも所定の閾値より大きい場合、前記閾値を変更する
　（１１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記画像更新部は、前記平均画素値の差がいずれも所定の閾値より大きい場合、各画像の前記ブレンド比を均一にする
　（１１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記画像更新部は、前記重みづけブレンディングにおいて、前記基準画像がいずれか１つの前記比較画像とマッチする場合、前記基準画像の前記処理対象画素の画素値と、前記基準画像にマッチする前記比較画像の前記処理対象画素に対応する対応画素の画素値とを所定のブレンド比でブレンドする
　（９）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記画像更新部は、前記基準画像の所定の画素の平均画素値と、前記基準画像にマッチする前記比較画像の所定の画素の平均画素値とに基づいて前記ブレンド比を設定し、
　前記基準画像の前記平均画素値は、前記処理対象画素、並びに、奥行が前記処理対象画素と同一の前記処理対象画素の周辺画素の平均画素値であり、
　前記基準画像にマッチする前記比較画像の前記平均画素値は、前記対応画素、並びに、奥行が前記対応画素と同一の前記対応画素の周辺画素の平均画素値である
　（１６）に記載の画像処理装置。
　（１８）　前記少なくとも３つの撮像部と、
　格子状の配線を備える表示部と
　をさらに備え、
　前記格子状の配線は、被写体と前記少なくとも３つの撮像部との間に設けられ、
　複数の前記フレアの方向は、前記撮像部が前記配線を介して前記被写体を撮像する際に生成される
　（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）前記配線は、互いに異なる向きを有する複数の格子を備える
　（１８）に記載の画像処理装置。
　（２０）　前記撮像部はＮ個（Ｎ≧３）であり、
　前記配線の複数の格子の向きが、90/Nずつ異なる
　（１９）に記載の画像処理装置。
　（２１）　前記奥行推定部は、前記基準画像の全画素について、前記奥行を推定し、
　前記画像更新部は、前記基準画像の全画素について、前記ステレオマッチングの結果に基づいて画素値を更新する
　（１）乃至（２０）のいずれかに記載の画像処理装置。
　（２２）　前記奥行推定部は、前記基準画像の輝度が所定の閾値以上の画素について、前記奥行を推定し、
　前記画像更新部は、前記基準画像の前記輝度が前記閾値以上の画素について、前記ステレオマッチングの結果に基づいて画素値を更新する
　（１）乃至（２０）のいずれかに記載の画像処理装置。
　（２３）　少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定し、
　前記ステレオマッチングの結果に基づいて、前記基準画像を更新する
　画像処理方法。

　３００　電子機器，　３０１　表示部，　３０２　撮像光学系，　３０３　表示パネル，　３０４　円偏光板，　３０５　タッチパネル，　３０６　カバーガラス，　３０７　撮像部，　３０８　光学系，　３３１　制御部，　３３２　記憶部，　３４１　前処理部，　３４２　画像処理部，　３４３　後処理部，　３４４　出力部，　３５１　キャリブレーション情報参照部，　３５２　奥行推定部，　３５３　画像更新部，　９００　コンピュータ

Claims (20)

1. 　少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定する奥行推定部と、
   　前記ステレオマッチングの結果に基づいて、前記基準画像を更新する画像更新部と
   　を備える画像処理装置。
2. 　前記画像更新部は、前記ステレオマッチングの結果が所定の条件を満たす場合、前記基準画像の処理対象画素の画素値を、前記比較画像のうち少なくとも１つにおける前記処理対象画素に対応する対応画素の画素値に置き換える
   　請求項１に記載の画像処理装置。
3. 　前記所定の条件は、複数の前記フレアの方向において前記基準画像が前記比較画像のいずれともマッチしないという条件である
   　請求項２に記載の画像処理装置。
4. 　前記画像更新部は、前記ステレオマッチングの結果に応じた方法で前記少なくとも３つの画像のうち少なくとも２つをブレンドし、前記基準画像の処理対象画素の画素値を、前記ブレンディングの結果に置き換える
   　請求項１に記載の画像処理装置。
5. 　前記画像更新部は、前記ステレオマッチングの結果が、複数の前記フレアの方向において前記基準画像がいずれかの前記比較画像とマッチするという結果である場合、前記基準画像の前記処理対象画素の画素値と、前記基準画像にマッチする前記比較画像の前記処理対象画素に対応する対応画素の画素値とをブレンドし、前記処理対象画素の画素値を、前記ブレンディングにより得られる画素値に置き換える
   　請求項４に記載の画像処理装置。
6. 　前記ブレンディングにより得られる画素値は、前記処理対象画素の画素値と前記対応画素の画素値との平均値である
   　請求項５に記載の画像処理装置。
7. 　前記画像更新部は、前記ステレオマッチングの結果が、複数の前記フレアの方向において前記基準画像が前記比較画像のいずれともマッチしないという結果である場合、前記処理対象画素の画素値を、前記処理対象画素にそれぞれ対応する複数の前記比較画像の対応画素の画素値の平均値に置き換える
   　請求項４に記載の画像処理装置。
8. 　前記画像更新部は、前記ステレオマッチングの結果に応じた方法で前記少なくとも３つの画像のうち少なくとも２つを重みづけブレンドし、前記フレアの方向における前記基準画像の処理対象画素の画素値を、前記重みづけブレンディングにより得られる画素値に置き換える
   　請求項１に記載の画像処理装置。
9. 　前記画像更新部は、前記重みづけブレンディングにおいて、前記基準画像が複数の前記比較画像とマッチする場合、前記基準画像の前記処理対象画素の画素値と、マッチした複数の前記比較画像の前記処理対象画素にそれぞれ対応する画素値とを所定のブレンド比でブレンドする
   　請求項８に記載の画像処理装置。
10. 　前記画像更新部は、前記基準画像の所定の画素の平均画素値と、前記基準画像にマッチする複数の前記比較画像の所定の画素の平均画素値とに基づいて前記ブレンド比を設定し、
    　前記基準画像の前記平均画素値は、前記処理対象画素、並びに、奥行が前記処理対象画素と同一の前記処理対象画素の周辺画素の平均画素値であり、
    　複数の前記比較画像の前記平均画素値は、前記対応画素、並びに、奥行が前記対応画素と同一の前記対応画素の周辺画素の平均画素値である
    　請求項９に記載の画像処理装置。
11. 　前記画像更新部は、前記平均画素値の差がいずれも所定の閾値以下の場合、各画像の前記ブレンド比を均一にする
    　請求項１０に記載の画像処理装置。
12. 　前記画像更新部は、他の前記平均画素値との差が所定の閾値より大きい前記平均画素値に対応する前記比較画像の前記ブレンド比を他の前記比較画像の前記ブレンド比よりも小さくする
    　請求項１０に記載の画像処理装置。
13. 　前記画像更新部は、前記重みづけブレンディングにおいて、前記基準画像がいずれか１つの前記比較画像とマッチする場合、前記基準画像の前記処理対象画素の画素値と、前記基準画像にマッチする前記比較画像の前記処理対象画素に対応する対応画素の画素値とを所定のブレンド比でブレンドする
    　請求項８に記載の画像処理装置。
14. 　前記画像更新部は、前記基準画像の所定の画素の平均画素値と、前記基準画像にマッチする前記比較画像の所定の画素の平均画素値とに基づいて前記ブレンド比を設定し、
    　前記基準画像の前記平均画素値は、前記処理対象画素、並びに、奥行が前記処理対象画素と同一の前記処理対象画素の周辺画素の平均画素値であり、
    　前記基準画像にマッチする前記比較画像の前記平均画素値は、前記対応画素、並びに、奥行が前記対応画素と同一の前記対応画素の周辺画素の平均画素値である
    　請求項１３に記載の画像処理装置。
15. 　前記少なくとも３つの撮像部と、
    　格子状の配線を備える表示部と
    　をさらに備え、
    　前記格子状の配線は、被写体と前記少なくとも３つの撮像部との間に設けられ、
    　複数の前記フレアの方向は、前記撮像部が前記配線を介して前記被写体を撮像する際に生成される
    　請求項１に記載の画像処理装置。
16. 　前記配線は、互いに異なる向きを有する複数の格子を備える
    　請求項１５に記載の画像処理装置。
17. 　前記撮像部はＮ個（Ｎ≧３）であり、
    　前記配線の複数の格子の向きが、90/Nずつ異なる
    　請求項１５に記載の画像処理装置。
18. 　前記奥行推定部は、前記基準画像の全画素について、前記奥行を推定し、
    　前記画像更新部は、前記基準画像の全画素について、前記ステレオマッチングの結果に基づいて画素値を更新する
    　請求項１に記載の画像処理装置。
19. 　前記奥行推定部は、前記基準画像の輝度が所定の閾値以上の画素について、前記奥行を推定し、
    　前記画像更新部は、前記基準画像の前記輝度が前記閾値以上の画素について、前記ステレオマッチングの結果に基づいて画素値を更新する
    　請求項１に記載の画像処理装置。
20. 　少なくとも３つの撮像部により同時に取得されたそれぞれ互いに異なるフレアの方向を示す少なくとも３つの画像のうち基準画像に対して少なくとも２つの比較画像でステレオマッチングを行い、実空間の奥行を推定し、
    　前記ステレオマッチングの結果に基づいて、前記基準画像を更新する
    　画像処理方法。

Images