JP7171563B2

JP7171563B2 - 撮像装置

Info

Publication number: JP7171563B2
Application number: JP2019524544A
Authority: JP
Inventors: 寿雄池田; 秀貴魚地
Original assignee: Semiconductor Energy Laboratory Co Ltd
Current assignee: Semiconductor Energy Laboratory Co Ltd
Priority date: 2017-06-23
Filing date: 2018-06-12
Publication date: 2022-11-15
Anticipated expiration: 2038-06-12
Also published as: JPWO2018234925A1; WO2018234925A1

Description

本発明の一態様は、撮像装置および撮像システムに関する。

ただし、本発明の一態様は、上記の技術分野に限定されるものではない。本明細書等で開示する発明の一態様は、物、方法、または、製造方法に関する。または、本明細書等で開示する発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関する。

より具体的には、本明細書等で開示する本発明の一態様の技術分野の一例として、表示装置（液晶表示装置、発光表示装置など）、投影装置、照明装置、電気光学装置、蓄電装置、記憶装置、半導体回路、撮像装置、電子機器、それらの駆動方法、または、それらの製造方法、を挙げることができる。

なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、表示装置、投影装置、照明装置、電気光学装置、蓄電装置、記憶装置、半導体回路、撮像装置および電子機器などは、半導体装置と言える場合がある。もしくは、これらは半導体装置を有すると言える場合がある。

液晶素子と偏光フィルタを組み合わせた光学素子を撮像素子の受光面側に設けて、入射光の偏光軸を所定角度ずつ回転させて複数の画像を取得し、反射光に起因する写りこみを低減する光学装置が知られている（特許文献１）。

特開２０１１－４０８３９号公報

特許文献１に記載の方法では、複数の画像を取得する期間中（連続撮像中）に被写体や反射光などの状況が変化すると、反射光の検出精度が低下し、十分な写りこみ除去効果が得られない。よって、特許文献１に記載の方法では撮像間隔の短縮が求められる。しかしながら、従来の撮像方法では、１回の撮像毎にリセット動作と読み出し動作を行う必要があるため、撮像間隔の短縮が難しい。

本発明の一態様は、高速動作可能な撮像装置などを提供することを課題の一つとする。または、高速動作可能な撮像システムなどを提供することを課題の一つとする。または、優れた画像品位の画像を取得できる撮像装置などを提供することを課題の一つとする。または、優れた画像品位の画像を取得できる撮像システムなどを提供することを課題の一つとする。または、撮像された画像の品位が良好な撮像システムなどを提供することを課題の一つとする。または、低消費電力の撮像装置などを提供することを課題の一つとする。または、低消費電力の撮像システムなどを提供することを課題の一つとする。または、信頼性の高い撮像装置などを提供することを課題の一つとする。または、信頼性の高い撮像システムなどを提供することを課題の一つとする。または、新規な撮像装置などを提供することを課題の一つとする。または、新規な撮像システムなどを提供することを課題の一つとする。または、新規な半導体装置などを提供することを課題の一つとする。

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

撮像部にマトリクス状に配置された複数の画素ユニットを設ける。１つの画素ユニットは複数のサブ画素ユニットを有し、１つのサブ画素ユニットは、偏光素子と画素を有する。サブ画素ユニットは、特定の偏光角の光を電気信号に変換する機能を有する。１つの画素ユニットに含まれる複数のサブ画素ユニットは、それぞれが異なる偏光角の光を電気信号に変換する。演算部において、画素ユニット毎に最も暗い光を変換した電気信号を抽出し、画像データを生成する。

本発明の一態様は、演算部と、撮像部と、を有する撮像装置であって、撮像部は複数の画素ユニットを有し、複数の画素ユニットのそれぞれは、複数のサブ画素ユニットを有し、複数のサブ画素ユニットのそれぞれは、偏光素子と、画素と、を有し、偏光素子は、画素と重なる領域を有し、複数の画素ユニットのそれぞれが有する複数の偏光素子の偏光角は互いに異なり、画素は偏光素子を透過した光を電気信号に変換する機能を有し、演算部は、ニューラルネットワークによる学習または推論を実行する機能と、画素ユニット毎に、最も暗い光を変換した画素の電気信号を第１電気信号として抽出する機能と、画素ユニット毎に抽出した第１電気信号を組み合わせて画像データを生成する機能と、を有する撮像装置である。

また、本発明の別の一態様は、演算部と、撮像部と、を有する撮像装置であって、撮像部は複数の画素ユニットを有し、複数の画素ユニットのそれぞれは、複数のサブ画素ユニットを有し、複数のサブ画素ユニットのそれぞれは、偏光素子と、複数の画素と、を有し、偏光素子は、複数の画素の少なくとも一と重なる領域を有し、複数の画素ユニットのそれぞれが有する複数の偏光素子の偏光角は互いに異なり、画素は偏光素子を透過した光を電気信号に変換する機能を有し、演算部は、ニューラルネットワークによる学習または推論を実行する機能と、画素ユニット毎に、最も暗い光を変換したサブ画素ユニットの電気信号を第１電気信号として抽出する機能と、画素ユニット毎に抽出した第１電気信号を組み合わせて画像データを生成する機能と、を有する撮像装置である。

偏光素子として、例えば液晶素子を用いることができる。例えばＴＮモードで動作する液晶素子を用いることができる。

ニューラルネットワークは、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、または深層信念ネットワークなどである。

本発明の一態様によれば、高速動作可能な撮像装置などを提供することができる。または、高速動作可能な撮像システムなどを提供することができる。または、優れた画像品位の画像を取得できる撮像装置などを提供することができる。または、優れた画像品位の画像を取得できる撮像システムなどを提供することができる。または、撮像された画像の品位が良好な撮像システムなどを提供することができる。または、低消費電力の撮像装置などを提供することができる。または、低消費電力の撮像システムなどを提供することができる。または、信頼性の高い撮像装置などを提供することができる。または、信頼性の高い撮像システムなどを提供することができる。または、新規な撮像装置などを提供することができる。または、新規な撮像システムなどを提供することができる。または、新規な半導体装置などを提供することができる。

撮像装置と外部機器の構成例を説明する図。光学素子と撮像素子を説明する図。画素の構成例を説明する図。撮像部を説明する図。撮像部を説明する図。撮像動作を説明する図。撮像動作を説明するフローチャート。撮像動作を説明する図。ニューラルネットワークの構成例を説明する図。撮像動作例を説明するフローチャート。ニューラルネットワークの構成例を説明する図。ニューラルネットワークの構成例を説明する図。半導体装置の構成例を説明する図。メモリセルの構成例を説明する図。オフセット回路の構成例を説明する図。半導体装置の動作例を説明するタイミングチャート。画素回路を説明する図、および撮像の動作を説明するタイミングチャート。撮像素子のブロック図。撮像素子の画素の構成を説明する図。撮像素子の画素の構成を説明する図。撮像素子の画素の構成を説明する図。撮像素子の画素の構成を説明する図。撮像素子の画素の構成を説明する図。撮像素子を収めたパッケージ、モジュールの斜視図。電子機器の構成例を説明する図。

実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する場合がある。

また、図面などにおいて示す各構成の、位置、大きさ、範囲などは、発明の理解を容易とするため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面などに開示された位置、大きさ、範囲などに限定されない。例えば、実際の製造工程において、エッチングなどの処理により層やレジストマスクなどが意図せずに目減りすることがあるが、発明の理解を容易とするため、省略して示すことがある。

特に、上面図（「平面図」ともいう。）や斜視図などにおいて、発明の理解を容易とするため、一部の構成要素の記載を省略する場合がある。また、一部の隠れ線などの記載を省略する場合がある。

本明細書等において、「第１」、「第２」などの序数詞は、構成要素の混同を避けるために付すものであり、工程順または積層順など、なんらかの順番や順位を示すものではない。また、本明細書等において序数詞が付されていない用語であっても、構成要素の混同を避けるため、特許請求の範囲において序数詞が付される場合がある。また、本明細書等において付された序数詞と、特許請求の範囲において付された序数詞が異なる場合がある。また、本明細書等において序数詞が付されている用語であっても、特許請求の範囲などにおいて序数詞を省略する場合がある。

本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって設けられている場合なども含む。

なお、「膜」という言葉と、「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。

本明細書等においてトランジスタとは、特に断りがない場合、ゲート（ゲート端子、またはゲート電極）、ソース（ソース端子、ソース領域またはソース電極）、およびドレイン（ドレイン端子、ドレイン領域またはドレイン電極）を含む少なくとも三つの端子を有する素子、または、バックゲート（バックゲート端子、またはバックゲート電極）を含む少なくとも四つの端子を有する素子である。そして、ソースとドレインの間にチャネル形成領域を有しており、チャネル形成領域を介して、ソースとドレインとの間に電流を流すことができるものである。なお、本明細書等において、チャネル形成領域とは、電流が主として流れる領域をいう。

また、本明細書等に示すトランジスタは、特に断りがない場合、エンハンスメント型（ノーマリーオフ型）の電界効果トランジスタとする。また、本明細書等に示すトランジスタは、特に断りがない場合、ｎチャネル型のトランジスタとする。よって、そのしきい値電圧（「Ｖｔｈ」ともいう。）は、特に断りがない場合、０Ｖよりも大きいものとする。

なお、本明細書等において、特に断りがない場合、バックゲートを有するトランジスタのＶｔｈとは、バックゲートの電位をソースまたはゲートと同電位としたときのＶｔｈをいう。

また、本明細書等において、特に断りがない場合、オフ電流とは、トランジスタがオフ状態（非導通状態、遮断状態、ともいう）にあるときのドレイン電流（「Ｉｄ」ともいう。）をいう。オフ状態とは、特に断りがない場合、ｎチャネル型トランジスタでは、ソースを基準とした時のゲートとソースの間の電位差（「ゲート電圧」または「Ｖｇ」ともいう。）がしきい値電圧よりも低い状態、ｐチャネル型トランジスタでは、Ｖｇがしきい値電圧よりも高い状態をいう。例えば、ｎチャネル型のトランジスタのオフ電流とは、ＶｇがＶｔｈよりも低いときのドレイン電流を言う場合がある。

上記オフ電流の説明において、ドレインをソースと読み替えてもよい。つまり、オフ電流は、トランジスタがオフ状態にあるときのソースを流れる電流を言う場合もある。

また、本明細書等では、オフ電流と同じ意味で、リーク電流と記載する場合がある。また、本明細書等において、オフ電流とは、例えば、トランジスタがオフ状態にあるときに、ソースとドレインとの間に流れる電流を指す場合がある。

また、本明細書等において、電位ＶＤＤとは、電位ＶＳＳよりも高い電位の電源電位を示す。また、電位ＶＳＳとは、電位ＶＤＤよりも低い電位の電源電位を示す。また、接地電位をＶＤＤまたはＶＳＳとして用いることもできる。例えばＶＤＤが接地電位の場合には、ＶＳＳは接地電位より低い電位であり、ＶＳＳが接地電位の場合には、ＶＤＤは接地電位より高い電位である。

また、一般に「電圧」とは、ある電位と基準の電位（例えば、接地電位（ＧＮＤ）またはソース電位など）との電位差のことを示す場合が多い。また、「電位」は相対的なものであり、基準となる電位によって配線等に与える電位が変化する場合がある。よって「電圧」と「電位」は互いに言い換えることが可能な場合がある。なお、本明細書等では、明示される場合を除き、ＶＳＳを基準の電位とする。

なお、本明細書等において「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層Ａ上の電極Ｂ」の表現であれば、絶縁層Ａの上に電極Ｂが直接接して設けられている必要はなく、絶縁層Ａと電極Ｂとの間に他の構成要素を含むものを除外しない。

また、本明細書等において、「平行」とは、明示されている場合を除き、二つの直線が－１０°以上１０°以下の角度で配置されている状態をいう。従って、－５°以上５°以下の場合も含まれる。また、「略平行」とは、明示されている場合を除き、二つの直線が－３０°以上３０°以下の角度で配置されている状態をいう。また、「垂直」および「直交」とは、明示されている場合を除き、二つの直線が８０°以上１００°以下の角度で配置されている状態をいう。従って、８５°以上９５°以下の場合も含まれる。また、「略垂直」とは、明示されている場合を除き、二つの直線が６０°以上１２０°以下の角度で配置されている状態をいう。

なお、本明細書等において、計数値および計量値に関して「同一」、「同じ」、「等しい」または「均一」（これらの同意語を含む）などと言う場合は、明示されている場合を除き、プラスマイナス２０％の誤差を含むものとする。

本明細書等において、ニューラルネットワーク（人工ニューラルネットワーク（ＡＮＮ）ともいう。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。

シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化させることができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」と呼ぶ場合がある。

また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」と呼ぶ場合がある。

ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。なお、ＤＮＮには、全結合ニューラルネットワーク（ＦＣ－ＮＮ：ＦｕｌｌＣｏｎｎｅｃｔｅｄ－ＮｅｕｒａｌＮｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）、再帰型ニューラルネットワーク（ＲＮＮ：ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）等が含まれる。

（実施の形態１）
本実施の形態では、本発明の一態様の撮像装置１００の構造例について、図面を用いて説明する。

＜撮像装置の構成例＞
図１（Ａ）は、撮像装置１００の構成例を説明するブロック図である。

なお、図１（Ａ）では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることや、一つの機能が複数の構成要素に係わることもありうる。

また、図１（Ａ）で例示する撮像装置１００の構成は一例であり、全ての構成要素を含む必要はない。撮像装置１００は、図１（Ａ）に示す構成要素のうち必要な構成要素を有していればよい。また、図１（Ａ）に示す構成要素以外の構成要素を有していてもよい。

撮像装置１００は、撮像部１０１、制御部１３０、演算部１４０、画像処理部１５０、記憶部１６０（ｍｅｍｏｒｙ）、補助記憶部１７０（Ｓｔｏｒａｇｅ）、外部入出力部（Ｉｎｔｅｒｆａｃｅ）１８０、および通信部１９０を有する。なお、撮像装置１００はレンズ、ミラー、プリズムなどの光学部材を有してもよい。

〔撮像部１０１〕
撮像部１０１は、光学素子１１０および撮像素子１２０を有する。図１（Ｂ）に、撮像部１０１の構成を説明する斜視図と、撮像部１０１の一部の正面図を示す。

［光学素子１１０、撮像素子１２０］
光学素子１１０は、液晶素子１１１および偏光フィルタ１１２を有する。また、光学素子１１０は、複数の偏光素子１１５を含む偏光素子アレイ１１４を有する。偏光素子１１５は、液晶素子１１１の一部と偏光フィルタ１１２の一部を含む。

撮像素子１２０は、受光面に複数の画素１２５を含む画素アレイ１２４を有する。偏光素子アレイ１１４と画素アレイ１２４は互いに重なる領域を有する。また、偏光素子１１５と画素１２５は、互いに重なる領域を有する。

光学素子１１０は、偏光フィルタ１１２が撮像素子１２０の受光面と向き合うように設けられる。光学素子１１０に入射した光５０１は、一部が偏光素子１１５を透過して撮像素子１２０に到達し、画素１２５により電気信号に変換される。

液晶素子１１１は、液晶素子１１１に印加された電圧に応じて、光５０１の偏光軸を回転させる機能を有する。一般に、液晶素子に用いる液晶材料として、ＴＮ（ＴｗｉｓｔｅｄＮｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ－Ｓｗｉｔｃｈｉｎｇ）モード、ＶＡ（ＶｅｒｔｉｃａｌＡｌｉｇｎｍｅｎｔ）モードなどの様々な動作モードで動作する材料が知られている。本実施の形態では、液晶素子１１１に、ＴＮモードで動作する液晶素子を用いる。

偏光フィルタ１１２は、特定の偏光角（偏光軸の方向）の光を透過する機能を有する。また、当該偏光軸の回転角度は、制御部１３０によって偏光素子１１５毎に制御することができる。光学素子１１０は、偏光素子１１５毎に液晶素子１１１に印加する電圧を制御することにより、任意の偏光角の光の透過率を偏光素子１１５毎に調節する機能を有する。

なお、光学素子１１０と撮像素子１２０については、追って詳細に説明する。

〔制御部１３０〕
制御部１３０（Ｃｏｎｔｒｏｌｌｅｒ）は、撮像にかかわる動作を制御する機能を有する。制御部１３０は、光学素子１１０および撮像素子１２０などの動作を制御する。

〔演算部１４０〕
演算部１４０は、撮像装置全体の動作に関わる演算を行う機能を有し、例えば中央演算処理装置（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを用いることができる。

また、制御部１３０または演算部１４０を、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）やＦＰＡＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＡｎａｌｏｇＡｒｒａｙ）といったＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）によって実現してもよい。

〔画像処理部１５０〕
画像処理部１５０は、画像に関するデータ処理を行う機能を有し、例えば画像処理装置（ＧＰＵ：ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを用いることができる。また、画像処理部１５０は、画像データを生成するためのニューラルネットワーク１５１（ＮＮ）を有する。ニューラルネットワーク１５１はソフトウェアで構成してもよい。画像処理部１５０は撮像素子１２０で取得した映像情報を比較または演算する機能を有する。

〔記憶部１６０〕
記憶部１６０は、撮像装置１００の動作にかかわるプログラムや設定項目を保存する機能を有し、少なくとも一部は書き換え可能なメモリであることが好ましい。例えば、記憶部１６０は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、などの揮発性メモリや、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの不揮発性メモリを備える構成とすることができる。

記憶部１６０に設けられるＲＡＭとしては、例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）が用いられ、記憶部１６０の作業空間として仮想的にメモリ空間が割り当てられ利用される。補助記憶部１７０に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータやプログラム、プログラムモジュールは、演算部１４０に直接アクセスされ、操作される。

一方、ＲＯＭには書き換えを必要としないＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭや、ＯＴＰＲＯＭ（ＯｎｅＴｉｍｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等を用いることができる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ－ＥＰＲＯＭ（Ｕｌｔｒａ－ＶｉｏｌｅｔＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリなどが挙げられる。

〔補助記憶部１７０〕
補助記憶部１７０は、撮像した画像等のデータを保存するための記憶装置である。また、ニューラルネットワーク１５１で使用する教師データなどが格納されている。また、前述したように、補助記憶部１７０は、オペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータなどを格納することができる。

補助記憶部１７０としては、例えば、フラッシュメモリ、ＭＲＡＭ（ＭａｇｎｅｔｏｒｅｓｉｓｔｉｖｅＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＰＲＡＭ（ＰｈａｓｅｃｈａｎｇｅＲＡＭ）、ＲｅＲＡＭ（ＲｅｓｉｓｔｉｖｅＲＡＭ）、ＦｅＲＡＭ（ＦｅｒｒｏｅｌｅｃｔｒｉｃＲＡＭ）などの不揮発性の記憶素子が適用された記憶装置、またはＤＲＡＭ（ＤｙｎａｍｉｃＲＡＭ）やＳＲＡＭ（ＳｔａｔｉｃＲＡＭ）などの揮発性の記憶素子が適用された記憶装置等を用いてもよい。また例えばハードディスクドライブ（ＨａｒｄＤｉｓｃＤｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ：ＳＳＤ）などの記録メディアドライブを用いてもよい。

また、例えば、外部入出力部１８０を介して脱着可能なＨＤＤまたはＳＳＤなどの記憶装置や、フラッシュメモリ、ブルーレイディスク、ＤＶＤなどの記録媒体のメディアドライブを補助記憶部１７０として用いることもできる。なお、補助記憶部１７０を撮像装置１００に内蔵せず、撮像装置１００の外部に置かれる記憶装置を補助記憶部１７０として用いてもよい。その場合、外部入出力部１８０を介して接続される、または通信部１９０によって無線通信でデータのやりとりをする構成であってもよい。

〔外部入出力部１８０〕
外部入出力部１８０は、外部機器と撮像装置１００間の、信号の入出力を制御する機能を有する。また、外部入出力部１８０が有する外部ポートとして、ＨＤＭＩ（登録商標）端子、ＵＳＢ端子、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）接続用端子などを用いてもよい。また、外部入出力部１８０は、赤外線、可視光、紫外線などを用いた光通信用の送受信機能を有していてもよい。

〔通信部１９０〕
通信部１９０は、アンテナを介して通信を行うことができる。例えば演算部１４０からの命令に応じて撮像装置１００をコンピュータネットワークに接続するための制御信号を制御し、当該信号をコンピュータネットワークに発信する。これによって、ＷｏｒｌｄＷｉｄｅＷｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（ＰｅｒｓｏｎａｌＡｒｅａＮｅｔｗｏｒｋ）、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＣＡＮ（ＣａｍｐｕｓＡｒｅａＮｅｔｗｏｒｋ）、ＭＡＮ（ＭｅｔｒｏｐｏｌｉｔａｎＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、ＧＡＮ（ＧｌｏｂａｌＡｒｅａＮｅｔｗｏｒｋ）等のコンピュータネットワークに撮像装置１００を接続させ、通信を行うことができる。またその通信方法として複数の方法を用いる場合には、アンテナは当該通信方法に応じて複数有していてもよい。

通信部１９０には、例えば高周波回路（ＲＦ回路）を設け、ＲＦ信号の送受信を行えばよい。高周波回路は、各国法制により定められた周波数帯域の電磁信号と電気信号とを相互に変換し、当該電磁信号を用いて無線で他の通信機器との間で通信を行うための回路である。実用的な周波数帯域として数１０ｋＨｚ～数１０ＧＨｚが一般に用いられている。アンテナと接続される高周波回路には、複数の周波数帯域に対応した高周波回路部を有し、高周波回路部は、増幅器（アンプ）、ミキサ、フィルタ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＲＦトランシーバ等を有する構成とすることができる。無線通信を行う場合、通信プロトコルまたは通信技術として、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、ＧＳＭ（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎ：登録商標）、ＥＤＧＥ（ＥｎｈａｎｃｅｄＤａｔａＲａｔｅｓｆｏｒＧＳＭＥｖｏｌｕｔｉｏｎ）、ＣＤＭＡ２０００（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ２０００）、ＷＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ：登録商標）などの通信規格、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等のＩＥＥＥにより通信規格化された仕様を用いることができる。

〔光学素子１１０、撮像素子１２０〕
図２（Ａ）に光学素子１１０の正面図を示す。前述した様に、光学素子１１０は複数の偏光素子１１５を含む偏光素子アレイ１１４を有する。複数の偏光素子１１５は、ｍ行ｎ列（ｍおよびｎは、どちらも２以上の整数。）のマトリクス状に配置されている。

本明細書等において、１行１列目の偏光素子１１５を偏光素子１１５［１，１］と示し、ｍ行ｎ列目の偏光素子１１５を偏光素子１１５［ｍ，ｎ］と示す。また、ｉ行ｊ列目（ｉは１以上ｍ以下の整数。ｊは１以上ｎ以下の整数。）の偏光素子１１５を偏光素子１１５［ｉ，ｊ］と示す。また、全ての偏光素子１１５に共通する説明を行なう場合は、単に「偏光素子１１５」と示す場合がある。

図２（Ｂ）に撮像素子１２０の正面（受光面）図を示す。前述した様に、撮像素子１２０は受光面に複数の画素１２５を含む画素アレイ１２４を有する。複数の画素１２５は、ｘ行ｙ列（ｘおよびｙは、どちらも２以上の整数。）のマトリクス状に配置されている。

本明細書等において、１行１列目の画素１２５を画素１２５［１，１］と示し、ｘ行ｙ列目の画素１２５を画素１２５［ｘ，ｙ］と示す。また、ｓ行ｔ列目（ｓは、１以上ｘ以下の整数。ｔは、１以上ｙ以下の整数。）の画素１２５を画素１２５［ｓ，ｔ］と示す。また、全ての画素１２５に共通する説明を行なう場合は、単に「画素１２５」と示す場合がある。

なお、画素１２５に、副画素として機能する複数の画素１２６を設けてもよい。複数の画素１２６それぞれに異なる波長域の光を透過するフィルタ（カラーフィルタ）を設けることで、カラー画像表示を実現するための情報を取得することができる。

図３（Ａ）は、カラー画像を取得するための画素１２５の一例を示す平面図である。図３（Ａ）に示す画素１２５は、赤（Ｒ）の波長域の光を透過するカラーフィルタが設けられた画素１２６（以下、「画素１２６Ｒ」ともいう）、緑（Ｇ）の波長域の光を透過するカラーフィルタが設けられた画素１２６（以下、「画素１２６Ｇ」ともいう）及び青（Ｂ）の波長域の光を透過するカラーフィルタが設けられた画素１２６（以下、「画素１２６Ｂ」ともいう）を有する。画素１２６Ｒ、画素１２６Ｇ、画素１２６Ｂをまとめて一つの画素１２５として機能させる。

なお、画素１２６に用いるカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に限定されず、図３（Ｂ）に示すように、シアン（Ｃ）、黄（Ｙ）及びマゼンタ（Ｍ）の光を透過するカラーフィルタを用いてもよい。１つの画素１２５に３種類の異なる波長域の光を検出する画素１２６を設けることで、フルカラー画像を取得することができる。

図３（Ｃ）は、それぞれ赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の光を透過するカラーフィルタが設けられた画素１２６に加えて、黄（Ｙ）の光を透過するカラーフィルタが設けられた画素１２６を有する画素１２５を例示している。図３（Ｄ）は、それぞれシアン（Ｃ）、黄（Ｙ）及びマゼンタ（Ｍ）の光を透過するカラーフィルタが設けられた画素１２６に加えて、青（Ｂ）の光を透過するカラーフィルタが設けられた画素１２６を有する画素１２５を例示している。１つの画素１２５に４種類の異なる波長域の光を検出する画素１２６を設けることで、取得した画像の色の再現性をさらに高めることができる。

また、例えば、画素１２６Ｒ、画素１２６Ｇ、および画素１２６Ｂの画素数比（または受光面積比）は、必ずしも１：１：１である必要は無い。図３（Ｅ）に示すように、画素数比（受光面積比）を赤：緑：青＝１：２：１とするＢａｙｅｒ配置としてもよい。また、画素数比（受光面積比）を赤：緑：青＝１：６：１としてもよい。

なお、画素１２５に設ける画素１２６は１つでもよいが、２つ以上が好ましい。例えば、同じ波長域の光を検出する画素１２６を２つ以上設けることで、冗長性を高め、撮像装置１００の信頼性を高めることができる。

［画素ユニット］
図４（Ａ）および図４（Ｂ）は、撮像部１０１の一部を拡大した正面図である。撮像部１０１は、複数の画素ユニット１２８を有する。また、１つの画素ユニット１２８には、複数のサブ画素ユニット１２９が含まれる。

図４（Ａ）および図４（Ｂ）に示す撮像部１０１では、１つの偏光素子１１５と１つの画素１２５が互いに重なる領域を有する。言い換えると、図４（Ａ）および図４（Ｂ）に示す撮像部１０１では、偏光素子１１５［ｉ，ｊ］と画素１２５［ｓ，ｔ］が互いに重なる領域を有する。例えば、ｍとｘが同数で、ｎとｙが同数の場合、ｉとｓが等しく、ｊとｔが等しくなる。

互いに重なる領域を有する偏光素子１１５と画素１２５が、サブ画素ユニット１２９として機能する。図４（Ａ）および図４（Ｂ）では、１つのサブ画素ユニット１２９が、１つの偏光素子１１５と１つの画素１２５により構成される場合を示している。サブ画素ユニット１２９は、入射光に含まれる特定の偏光軸の光を、該光の光量（明るさ）に応じた電気信号に変換する機能を有する。

１つのサブ画素ユニット１２９に含まれる偏光素子１１５と画素１２５の比は、１：１に限定されない。サブ画素ユニット１２９に含まれる偏光素子１１５と画素１２５の比は、１：２でもよいし、１：３でもよい。例えば、図５（Ａ）および図５（Ｂ）に示すように、１つのサブ画素ユニット１２９を、１つの偏光素子１１５と４つの画素１２５で構成してもよい。サブ画素ユニット１２９に含まれる画素１２５を増やすことで、サブ画素ユニット１２９の光感度を高めることができる。また、サブ画素ユニット１２９のダイナミックレンジを高めることができる。

図４（Ａ）および図５（Ａ）では、１つの画素ユニット１２８が、４つのサブ画素ユニット１２９により構成される例を示している。この場合、撮像部１０１に含まれる画素ユニット１２８の個数は、ｍ×ｎ÷４個以下になる。また、図４（Ｂ）および図５（Ｂ）では、１つの画素ユニット１２８が、３つのサブ画素ユニット１２９により構成される例を示している。この場合、撮像部１０１に含まれる画素ユニット１２８の個数は、ｍ×ｎ÷３個以下になる。

また、図４（Ａ）および図５（Ａ）では、１つの画素ユニット１２８で、同時に４つの異なる偏光角の光を、それぞれに対応する４つの電気信号に変換することができる。すなわち、４つの異なる偏光角での撮像を１回で行なうことができる。また、図４（Ｂ）および図５（Ｂ）では、１つの画素ユニット１２８で、同時に３つの異なる偏光角の光を、それぞれに対応する３つの電気信号に変換することができる。すなわち、３つの異なる偏光角での撮像を１回で行なうことができる。

２つの異なる偏光角で撮像を行なう場合は、１つの画素ユニット１２８に２つのサブ画素ユニット１２９を設ける構成とすればよい。５つ以上の異なる偏光角で撮像を行なう場合も上記と同様に考えればよい。なお、１つの偏光角で撮像を行なう場合は、１つの画素ユニット１２８に１つのサブ画素ユニット１２９を設ける構成とすればよい。

１つの画素ユニット１２８に複数のサブ画素ユニット１２９が含まれる場合、当該複数のサブ画素ユニット１２９の配列は、マトリクス状の配列に限定されない。例えば、直線状であってもよいし、Ｌ字状であってもよい。例えば、図４（Ｃ）、（Ｄ）、および（Ｅ）のように配列してもよい。１つの画素ユニット１２８に含まれるサブ画素ユニット１２９の数および配置などは、制御部１３０によって任意に設定することができる。１つの画素ユニット１２８に含まれるサブ画素ユニット１２９の数および配置などを撮像毎に変更することも可能である。

本実施の形態は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。

（実施の形態２）
本実施の形態では、撮像装置１００の動作例について、図面を用いて説明する。本実施の形態では、図４（Ａ）のように、１つの画素ユニット１２８が４つのサブ画素ユニット１２９を有する場合について説明する。本発明の一態様の撮像装置１００は、効率よく反射光に起因する写りこみを低減することができる。

＜撮像装置の撮像動作例＞
図６（Ａ）および（Ｂ）は、撮像部１０１が有する光学素子１１０と撮像素子１２０の動作を説明する図である。図６（Ｂ）は１つの画素ユニット１２８の拡大図である。本実施の形態などでは、１つの画素ユニット１２８に含まれる４つのサブ画素ユニット１２９を、サブ画素ユニット１２９［１］乃至サブ画素ユニット１２９［４］と示す場合がある。また、図６（Ａ）では、光学素子１１０を介して撮像素子１２０に入射する像を、光５０１として示している。図７は撮像装置１００の撮像動作例を説明するフローチャートである。

まず、撮像素子１２０のリセット動作を行なう（ステップＳ６００）。

次に、液晶素子１１１に所定の電圧を印加し、サブ画素ユニット１２９毎に光学素子１１０を透過できる光の偏光軸の角度（「偏光角」ともいう。）を決定する（ステップＳ６０５）。この時、サブ画素ユニット１２９［１］乃至サブ画素ユニット１２９［４］でそれぞれ異なる偏光角を設定する。本実施の形態などでは、サブ画素ユニット１２９［１］の偏光角を第１偏光角θ１、サブ画素ユニット１２９［２］の偏光角を第２偏光角θ２、サブ画素ユニット１２９［３］の偏光角を第３偏光角θ３、サブ画素ユニット１２９［４］の偏光角を第４偏光角θ４とする（図６（Ｂ）参照。）。

第１偏光角θ１を基準としたとき、第１偏光角θ１と、第２偏光角θ２乃至第４偏光角θ４それぞれの相対角度は、０°より大きく、１８０°より小さい角度に設定する。例えば、第１偏光角θ１を０°とすると、第２偏光角θ２を４５°、第３偏光角θ３を９０°、第４偏光角θ４を１３５°とすればよい。

次に、光学素子１１０を介して入射した像を撮像素子１２０で撮像する（ステップＳ６１０）。この時得られた画像データを「第１画像データ」という。画像データは、撮像素子１２０で得られた電気信号の集合体といえる。

次に、第１画像データを読み出す（ステップＳ６１５）。読み出した画像データは記憶部１６０に記憶される（ステップＳ６２０）。

次に、画像処理部１５０で、第１画像データに含まれるサブ画素ユニット１２９［１］乃至サブ画素ユニット１２９［４］の明るさを、画素ユニット１２８毎に比較する（ステップＳ６２５）。

次に、サブ画素ユニット１２９［１］乃至サブ画素ユニット１２９［４］の中から最も暗い像を撮像したサブ画素ユニット１２９の電気信号を、画素ユニット１２８毎に抽出する（ステップＳ６３０）。

ステップＳ６３０で抽出した画素ユニット１２８毎の電気信号を組み合わせて、第２画像データを生成する（ステップＳ６３５）。

ここで、図８（Ａ１）乃至（Ｄ１）および図８（Ａ２）乃至（Ｄ２）を用いて、撮像装置１００による写り込み除去の原理について説明しておく。光５０１には、本来の撮影目的である被写体の情報と、不要な写り込みの原因となる反射光の情報が含まれている。光は例えば大気とガラスの境界面などで反射すると、反射面に平行な偏光成分（Ｐ波）が弱まり、反射面に垂直な偏光成分（Ｓ波）が強くなる。前述した通り、光学素子１１０は、液晶素子１１１に印加する電圧を制御することにより、任意の偏光角の光の透過率を調節する機能を有する。特に、反射光は特定の偏光成分が強い。反射光は、光学素子１１０により透過率が制御されやすい。

一方で、光５０１に含まれる反射光の偏光軸は一方向とは限らない。反射光の偏光角は反射面の角度によって変わる。よって、複数の反射光が被写体の異なる場所で反射している場合、それぞれの偏光角は異なる場合が多い。

図８（Ａ１）乃至（Ｄ１）および図８（Ａ２）乃至（Ｄ２）では、被写体７０１の異なる場所に、不要な３つの像（像７０２Ａ、像７０２Ｂ、および像７０２Ｃ）が写り込んでいる例を示している。

図８（Ａ１）および（Ａ２）は、第１偏光角θ１のサブ画素ユニット１２９［１］では、像７０２Ａ、像７０２Ｂ、および像７０２Ｃとも消去できていない様子を示している。図８（Ｂ１）および（Ｂ２）は、第２偏光角θ２のサブ画素ユニット１２９［２］では、像７０２Ａが消去されているが、像７０２Ｂおよび像７０２Ｃは消去できていない様子を示している。図８（Ｃ１）および（Ｃ２）では、第３偏光角θ３のサブ画素ユニット１２９［３］では、像７０２Ｂが消去されているが、像７０２Ａおよび像７０２Ｃは消去できていない様子を示している。図８（Ｄ１）および（Ｄ２）では、第４偏光角θ４のサブ画素ユニット１２９［４］では、像７０２Ｃが消去されているが、像７０２Ａおよび像７０２Ｂは消去できていない様子を示している。

このように、設定する偏光角によって消去される反射光が異なる。また、反射光が消去された像は、消去されていない像よりも暗い像となる。画素ユニット１２８毎に最も暗い像を撮像したサブ画素ユニット１２９の電気信号を抽出して組み合わせることで、第１画像データに含まれる反射光が消去または低減された第２画像データを生成することができる。

また、本発明の一態様の撮像装置は、液晶素子１１１に印加する電圧を制御することで、様々な角度の偏光軸で入射する反射光を効率よく低減することができる。

例えば、光学素子１１０がサブ画素ユニット１２９を有さず、単一の偏光角のみ設定が可能である場合、偏光角を変える度に読み出し動作とリセット動作を行なう必要がある。この場合、撮像間隔が長くなるため、偏光角を変えて撮像している間に被写体や反射光などの状況が変化し、反射光が少ない像の検出精度が低下する。偏光角を変える度に読み出し動作とリセット動作を行なう必要があるため、高速動作が難しい。

本発明の一態様の撮像装置は、異なる偏光角での撮像を同時に行なうことができる。よって、反射光が少ない像を精度よく検出することができる。本発明の一態様の撮像装置によれば、反射光による不要な写りこみ像を、一回の撮像により除去または軽減し、優れた画像品位の画像を取得することができる。

また、必要に応じて画像処理部１５０が有するニューラルネットワーク１５１を用いて撮像画像の補正処理を行い、撮像画像の画質を改善することができる。

ニューラルネットワークは、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、または深層信念ネットワークである。

まず、ユーザーの判断または事前設定により補正処理を行なうか否かを判断し（ステップＳ６４０）、行なわない場合は、ステップＳ６３５で生成された第２画像データを補助記憶部１７０に記憶する（ステップＳ６５０）。

補正処理を行なう場合は、ニューラルネットワーク１５１で補正処理を行なう（ステップＳ６４５）。ニューラルネットワーク１５１は、例えば、除去しきれなかった反射光による映り込みを除去し、新たな画像データを生成する機能を有する。

補正処理を行なうためのニューラルネットワーク１５１に設定する重み係数は、補助記憶部１７０に格納されている教師データを用いて決定される。

ここで、ニューラルネットワーク１５１の構成例を説明しておく（図９参照。）。ニューラルネットワーク１５１は、入力層ＩＬと、中間層ＨＬ１（隠れ層）と、中間層ＨＬ２（隠れ層）と、出力層ＯＬと、を有する。ニューラルネットワーク１５１では、入力層ＩＬ、中間層ＨＬ１、中間層ＨＬ２、および出力層ＯＬと、によって階層型のニューラルネットワークが構成されている。中間層ＨＬ１および中間層ＨＬ２は、任意のノード数を有する。なお、中間層は２層に限らない。中間層は１層でもよく、３層以上でもよい。

第２画像データ３０２は、入力層ＩＬに入力され、重みづけされた情報が中間層ＨＬ１に入力される。また、中間層ＨＬ１に入力された情報は、重みづけされて中間層ＨＬ２に入力される。また、中間層ＨＬ２に入力された情報は、重みづけされて出力層ＯＬに入力される。また、出力層ＯＬからは、第３画像データ３０３が出力される。

ニューラルネットワーク１５１は、階層が進む毎に、ニューロンの数が増加する構成とする。つまり、中間層ＨＬ１が有するニューロンの数は、入力層ＩＬが有するニューロンの数より多く、かつ中間層ＨＬ２が有するニューロンの数は、中間層ＨＬ１が有するニューロンの数より多くなっている。また、出力層ＯＬが有するニューロンの数は、中間層ＨＬ２が有するニューロンの数より多くなっている。なお、図９では、上記ニューロンの数を、それぞれの階層をつなぐ矢印の数で示している。ニューラルネットワーク１５１を階層が進む毎にニューロンの数が増加する構成とすることにより、第１画像データ３０１および第２画像データ３０２を基にして、解像度を高めた第３画像データ３０３を生成することができる。また、第１画像データ３０１および第２画像データ３０２を基にして、階調数を高めた第３画像データ３０３を生成することができる。

階層型のニューラルネットワークは、各層間で全結合とすることもでき、または、各層間で部分結合とすることができる。また、各層間に畳み込み層やプーリング層を用いた構成、すなわちＣＮＮとすることができる。

また、ニューラルネットワーク１５１に用いる重み係数は、外部機器（図示せず）により決定された重み係数を用いてもよい。例えば、撮像装置１００と外部機器を、外部入出力部１８０を介して接続し、外部機器のニューラルネットワークで決定した重み係数をニューラルネットワーク１５１に格納する。したがって、学習済みのニューラルネットワークと同じ動作をニューラルネットワーク１５１で行なうことができる。

例えば、撮像装置１００の工場出荷前に、外部機器で学習した後に決定された重み係数を撮像装置１００に格納することで、ユーザーによる学習作業を不要とすることができる。

また、外部機器による学習を継続して行い、アップデートされた重み係数を撮像装置１００に格納してもよい。また、複数の外部機器を用いて、アップデート用の重み係数を生成してもよい。重み係数の受け渡しは、ＳＤカードなどの記録媒体や各種の通信手段などを介して行なうこともできる。また、撮像装置１００が有する重み係数と、外部機器によりアップデートされた重み係数を用いて、新たな重み係数を決定してもよい。また、他の撮像装置１００が有する重み係数を用いて、新たな重み係数を決定してもよい。他の撮像装置１００や外部機器で学習して得た重み係数を用いることで、より精度の高い補完処理を行なうことができる。

ニューラルネットワーク１５１により生成された第３画像データ３０３は、補助記憶部１７０に記憶される（ステップＳ６５０）。

また、第１画像データと第２画像データを用いて、演算部１４０で改めてサブ画素ユニット１２９の偏光角を決定し、再度撮像動作を行なってもよい。例えば、第１偏光角θ１を０°のままとし、第２偏光角θ２を１５°、第３偏光角θ３を３０°、第４偏光角θ４を６０°に再設定し、再度撮像動作を行なってもよい。偏光角の修正と撮像動作を繰り返すことで、より良好な画像品位の画像を取得することができる。

（実施の形態３）
本実施の形態では、実施の形態２と異なる撮像装置１００の動作例について、図面を用いて説明する。本実施の形態では、実施の形態２と同様に、１つの画素ユニット１２８が４つのサブ画素ユニット１２９を有する場合について説明する。なお、説明の繰り返しを減らすため、主に実施の形態２と異なる部分について説明する。

＜撮像装置の撮像動作例＞
図１０は撮像装置１００の撮像動作例を説明するフローチャートである。ステップＳ６００からステップＳ６２５までは、実施の形態２と同様に行なえばよい。ステップＳ６２５で、第１画像データに含まれるサブ画素ユニット１２９［１］乃至サブ画素ユニット１２９［４］の明るさを画素ユニット１２８毎に比較した後、それぞれの画素ユニット１２８に、含まれるサブ画素ユニット１２９に暗さの順位付けをおこなう（Ｓ６３１）。例えば、サブ画素ユニット１２９［１］乃至サブ画素ユニット１２９［４］のうち、最も暗い像を撮像したサブ画素ユニット１２９にＤ１を付与し、最も明るい像を撮像したサブ画素ユニット１２９にＤ４を付与する。

次に、Ｄ１が付与された全てのサブ画素ユニット１２９の電気信号を組み合わせて、第２画像データＤ１を生成する。また、Ｄ２が付与された全てのサブ画素ユニット１２９の電気信号を組み合わせて、第２画像データＤ２を生成する。また、Ｄ３が付与された全てのサブ画素ユニット１２９の電気信号を組み合わせて、第２画像データＤ３を生成する。また、Ｄ４が付与された全てのサブ画素ユニット１２９の電気信号を組み合わせて、第２画像データＤ４を生成する（Ｓ６３６）。

よって、第２画像データＤ１乃至Ｄ４のうち、第２画像データＤ１が最も暗い（平均輝度が最も小さい）画像データであり、第２画像データＤ４が最も明るい（平均輝度が最も大きい）画像データである。

次に、ニューラルネットワーク１５１で補正処理を行なう（ステップＳ６４５）。

１つの画素ユニット１２８に含まれるサブ画素ユニット１２９の数を増やすと、検出可能な偏光角の数を増やすことができる。すなわち、反射光の検出精度を高めることができる。その一方で、１画素ユニット１２８当たりのサブ画素ユニット１２９数が増加すると、撮像装置１００の解像度が低下する。

本実施の形態では、第２画像データＤ１を基準として、第２画像データＤ２乃至第２画像データＤ４も加えて重み係数を決定する。実施の形態２で説明したように、教師データのみで決定された重み係数を用いて補正処理を行なうことも可能である。重み係数の決定に、教師データのみでなく第２画像データＤ２乃至第２画像データＤ４も加えることで、低下した解像度を補正し、高精度な画像データの生成を行なうことができる。すなわち、ニューラルネットワーク１５１による補正処理に第２画像データＤ１以外の画像データも用いることで、補正処理の精度を高め、画質の良好な画像データを生成することができる。

ニューラルネットワーク１５１の構成例を図１１に示す。本実施の形態の場合、第２画像データＤ１乃至第２画像データＤ４がニューラルネットワーク１５１の入力層ＩＬに入力され、中間層を経て、出力層ＯＬから第３画像データ３０３として出力される。

また、第１画像データと第２画像データＤ１乃至第２画像データＤ４を用いて、演算部１４０で改めてサブ画素ユニット１２９の偏光角を決定し、再度撮像動作を行なってもよい。偏光角の修正と撮像動作を繰り返すことで、より良好な画像品位の画像を再現可能な画像データを取得することができる。

（実施の形態４）
本実施の形態では、上記の実施の形態で説明したニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。

図１２（Ａ）に示すように、ニューラルネットワークＮＮは入力層ＩＬ、出力層ＯＬ、中間層（隠れ層）ＨＬによって構成することができる。入力層ＩＬ、出力層ＯＬ、中間層ＨＬはそれぞれ、１又は複数のニューロン（ユニット）を有する。なお、中間層ＨＬは１層であってもよいし２層以上であってもよい。２層以上の中間層ＨＬを有するニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）と呼ぶこともでき、ディープニューラルネットワークを用いた学習は深層学習と呼ぶこともできる。

入力層ＩＬの各ニューロンには入力データが入力され、中間層ＨＬの各ニューロンには前層又は後層のニューロンの出力信号が入力され、出力層ＯＬの各ニューロンには前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし（全結合）、一部のニューロンと結合されていてもよい。

図１２（Ｂ）に、ニューロンによる演算の例を示す。ここでは、ニューロンＮと、ニューロンＮに信号を出力する前層の２つのニューロンを示している。ニューロンＮには、前層のニューロンの出力ｘ_１と、前層のニューロンの出力ｘ_２が入力される。そして、ニューロンＮにおいて、出力ｘ_１と重みｗ_１の乗算結果（ｘ_１ｗ_１）と出力ｘ_２と重みｗ_２の乗算結果（ｘ_２ｗ_２）の総和ｘ_１ｗ_１＋ｘ_２ｗ_２が計算された後、必要に応じてバイアスｂが加算され、値ａ＝ｘ_１ｗ_１＋ｘ_２ｗ_２＋ｂが得られる。そして、値ａは活性化関数ｈによって変換され、ニューロンＮから出力信号ｙ＝ｈ（ａ）が出力される。

このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる（上記のｘ_１ｗ_１＋ｘ_２ｗ_２）。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。この積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、又は、メモリへのアクセス回数の減少による処理速度の向上及び消費電力の低減を図ることができる。

積和演算回路は、チャネル形成領域にシリコン（単結晶シリコンなど）を含むトランジスタ（「Ｓｉトランジスタ」ともいう）によって構成してもよいし、チャネル形成領域に金属酸化物の一種である酸化物半導体を含むトランジスタ（「ＯＳトランジスタ」ともいう）によって構成してもよい。特に、ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。以下、積和演算回路の機能を備えた半導体装置の構成例について説明する。

＜半導体装置の構成例＞
図１３に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。半導体装置ＭＡＣは、ニューロン間の結合強度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータ及び第２のデータはそれぞれ、アナログデータ又は多値のデジタルデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。

半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、及び活性化関数回路ＡＣＴＶを有する。

セルアレイＣＡは、複数のメモリセルＭＣ及び複数のメモリセルＭＣｒｅｆを有する。図１３には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（ＭＣ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータ又は多値のデジタルデータとすることができる。

メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、及び配線ＢＬ［ｊ］と接続されている。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線ＢＬ［ｊ］間を流れる電流をＩ_{ＭＣ［ｉ，ｊ］}と表記し、メモリセルＭＣｒｅｆ［ｉ］と配線ＢＬｒｅｆ間を流れる電流をＩ_{ＭＣｒｅｆ［ｉ］}と表記する。

メモリセルＭＣ及びメモリセルＭＣｒｅｆの具体的な構成例を、図１４に示す。図１４には代表例としてメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］を示しているが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆにも同様の構成を用いることができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆはそれぞれ、トランジスタＴｒ１１、Ｔｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１及びトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。

メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、ソース又はドレインの一方はトランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続され、ソース又はドレインの他方は配線ＷＤと接続されている。トランジスタＴｒ１２のソース又はドレインの一方は配線ＢＬと接続され、ソース又はドレインの他方は配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線ＶＲから低電源電位（接地電位など）が供給される場合について説明する。

トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモリセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［２，１］と表記する。

メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセルＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線ＢＬｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［２］と表記する。

ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆには参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］のトランジスタＴｒ１２には、それぞれ電流Ｉ_{ＭＣ［１，１］}、Ｉ_{ＭＣ［２，１］}が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジスタＴｒ１２には、それぞれ電流Ｉ_{ＭＣｒｅｆ［１］}、Ｉ_{ＭＣｒｅｆ［２］}が流れる。

トランジスタＴｒ１１は、ノードＮＭ又はノードＮＭｒｅｆの電位を保持する機能を有するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トランジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい。これにより、ノードＮＭ又はノードＮＭｒｅｆの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードＮＭ又はノードＮＭｒｅｆの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。

トランジスタＴｒ１２は特に限定されず、例えばＳｉトランジスタ又はＯＳトランジスタなどを用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャネル型であってもｐチャネル型であってもよい。

電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆと接続されている。電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆに電流を供給する機能を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至［ｎ］に供給される電流をＩ_Ｃ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩ_Ｃｒｅｆと表記する。

カレントミラー回路ＣＭは、配線ＩＬ［１］乃至［ｎ］及び配線ＩＬｒｅｆを有する。配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。

カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流Ｉ_ＣＭを配線ＩＬｒｅｆに流す機能と、この電流Ｉ_ＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。図１３には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流Ｉ_ＣＭが排出され、配線ＢＬ［１］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流Ｉ_ＣＭが排出される例を示している。また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに流れる電流を、Ｉ_Ｂ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、Ｉ_Ｂｒｅｆと表記する。

回路ＷＤＤは、配線ＷＤ［１］乃至［ｎ］及び配線ＷＤｒｅｆと接続されている。回路ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬＤは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを行うメモリセルＭＣ又はメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続されている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に供給する機能を有する。

オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］及び配線ＯＬ［１］乃至［ｎ］と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流量、及び／又は、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセット回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット回路ＯＦＳＴの間を流れる電流を、Ｉ_α［１］乃至［ｎ］と表記する。

オフセット回路ＯＦＳＴの構成例を図１５に示す。図１５に示すオフセット回路ＯＦＳＴは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２１、及び抵抗素子Ｒ１を有する。各素子の接続関係は図１５に示す通りである。なお、容量素子Ｃ２１の第１の電極及び抵抗素子Ｒ１の第１の端子と接続されたノードを、ノードＮａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソース又はドレインの一方、及びトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂとする。

配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給する機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。ここでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、配線ＶＳＳＬ、及び配線ＶｂＬによって、ソースフォロワ回路が構成される。

次に、回路ＯＣ［１］乃至［ｎ］の動作例を説明する。なお、ここでは代表例として回路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させることができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１はオフ状態となる。

次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化をΔＶ_Ｎａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶ_Ｎａとなる。そして、トランジスタＴｒ２２のしきい値電圧をＶ_ｔｈとすると、配線ＯＬ［１］から電位Ｖａ＋ΔＶ_Ｎａ－Ｖ_ｔｈが出力される。ここで、Ｖａ＝Ｖ_ｔｈとすることにより、配線ＯＬ［１］から電位ΔＶ_Ｎａを出力することができる。

電位ΔＶ_Ｎａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１、及び電位Ｖｒｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶ_Ｎａから配線ＢＬに流れる電流の変化量を求めることができる。

上記のようにオフセット回路ＯＦＳＴによって検出された電流量、及び／又は電流の変化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入力される。

活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至［ｎ］、及び、配線ＮＩＬ［１］乃至［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路ＡＣＴＶによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力される。

＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。

図１６に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図１６には、図１４における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮＭ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２］、配線ＲＷ［１］、及び配線ＲＷ［２］の電位の推移と、電流Ｉ_Ｂ［１］－Ｉ_α［１］、及び電流Ｉ_Ｂｒｅｆの値の推移を示している。電流Ｉ_Ｂ［１］－Ｉ_α［１］は、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。

なお、ここでは代表例として図１４に示すメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆも同様に動作させることができる。

［第１のデータの格納］
まず、時刻Ｔ０１－Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶ_ＰＲ－Ｖ_{Ｗ［１，１］}大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶ_ＰＲ大きい電位となる。また、配線ＲＷ［１］、及び配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位Ｖ_{Ｗ［１，１］}はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位Ｖ_ＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶ_ＰＲ－Ｖ_{Ｗ［１，１］}、ノードＮＭｒｅｆ［１］の電位がＶ_ＰＲとなる。

このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［１，１］，０}は、次の式で表すことができる。ここで、ｋはトランジスタＴｒ１２のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定数である。また、Ｖ_ｔｈはトランジスタＴｒ１２のしきい値電圧である。

また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［１］，０}は、次の式で表すことができる。

次に、時刻Ｔ０２－Ｔ０３において、配線ＷＬ［１］の電位がローレベルとなる。これにより、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位が保持される。

なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ましい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位を正確に保持することができる。

次に、時刻Ｔ０３－Ｔ０４において、配線ＷＬ［２］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位よりもＶ_ＰＲ－Ｖ_{Ｗ［２，１］}大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶ_ＰＲ大きい電位となる。なお、電位Ｖ_{Ｗ［２，１］}はメモリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［２，１］の電位がＶ_ＰＲ－Ｖ_{Ｗ［２，１］}、ノードＮＭｒｅｆ［２］の電位がＶ_ＰＲとなる。

このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［２，１］，０}は、次の式で表すことができる。

また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［２］，０}は、次の式で表すことができる。

次に、時刻Ｔ０４－Ｔ０５において、配線ＷＬ［２］の電位がローレベルとなる。これにより、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位が保持される。

以上の動作により、メモリセルＭＣ［１，１］、［２，１］に第１のデータが格納され、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。

ここで、時刻Ｔ０４－Ｔ０５において、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩ_Ｃｒｅｆ、配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩ_ＣＭ，０とすると、次の式が成り立つ。

配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回路ＣＳから配線ＢＬ［１］に供給される電流をＩ_Ｃ，０、配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩ_α，０とすると、次の式が成り立つ。

［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５－Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶ_Ｘ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位Ｖ_Ｘ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖ_Ｘ［１］はメモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。

トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ１１の容量、トランジスタＴｒ１２のゲート容量、及び寄生容量などによって算出される。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数を考慮して電位Ｖ_Ｘを決定すればよい。

メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位Ｖ_Ｘ［１］が供給されると、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶ_Ｘ［１］上昇する。

ここで、時刻Ｔ０５－Ｔ０６において、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［１，１］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［１］に電位Ｖ_Ｘ［１］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣ［１，１］}＝Ｉ_{ＭＣ［１，１］，１}－Ｉ_{ＭＣ［１，１］，０}増加する。

また、時刻Ｔ０５－Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［１］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［１］に電位Ｖ_Ｘ［１］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣｒｅｆ［１］}＝Ｉ_{ＭＣｒｅｆ［１］，１}－Ｉ_{ＭＣｒｅｆ［１］，０}増加する。

また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流Ｉ_Ｃｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩ_ＣＭ，１とすると、次の式が成り立つ。

配線ＢＬ［１］には、電流源回路ＣＳから電流Ｉ_Ｃが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩ_α，１とすると、次の式が成り立つ。

そして、式（Ｅ１）乃至式（Ｅ１０）から、電流Ｉ_α，０と電流Ｉ_α，１の差（差分電流ΔＩ_α）は次の式で表すことができる。

このように、差分電流ΔＩ_αは、電位Ｖ_{Ｗ［１，１］}とＶ_Ｘ［１］の積に応じた値となる。

その後、時刻Ｔ０６－Ｔ０７において、配線ＲＷ［１］の電位は接地電位となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４－Ｔ０５と同様になる。

次に、時刻Ｔ０７－Ｔ０８において、配線ＲＷ［１］の電位が基準電位よりもＶ_Ｘ［１］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶ_Ｘ［２］大きい電位となる。これにより、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１に電位Ｖ_Ｘ［１］供給され、容量結合によりノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶ_Ｘ［１］上昇する。また、メモリセルＭＣ［２，１］、及びメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位Ｖ_Ｘ［２］が供給され、容量結合によりノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位がそれぞれＶ_Ｘ［２］上昇する。

ここで、時刻Ｔ０７－Ｔ０８において、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［２，１］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［２］に電位Ｖ_Ｘ［２］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣ［２，１］}＝Ｉ_{ＭＣ［２，１］，１}－Ｉ_{ＭＣ［２，１］，０}増加する。

また、時刻Ｔ０５－Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［２］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［２］に電位Ｖ_Ｘ［２］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣｒｅｆ［２］}＝Ｉ_{ＭＣｒｅｆ［２］，１}－Ｉ_{ＭＣｒｅｆ［２］，０}増加する。

また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流Ｉ_Ｃｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩ_ＣＭ，２とすると、次の式が成り立つ。

配線ＢＬ［１］には、電流源回路ＣＳから電流Ｉ_Ｃが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩ_α，２とすると、次の式が成り立つ。

そして、式（Ｅ１）乃至式（Ｅ８）、及び、式（Ｅ１２）乃至式（Ｅ１５）から、電流Ｉ_α，０と電流Ｉ_α，２の差（差分電流ΔＩ_α）は次の式で表すことができる。

このように、差分電流ΔＩ_αは、電位Ｖ_{Ｗ［１，１］}と電位Ｖ_Ｘ［１］の積と、電位Ｖ_{Ｗ［２，１］}と電位Ｖ_Ｘ［２］の積と、を足し合わせた結果に応じた値となる。

その後、時刻Ｔ０８－Ｔ０９において、配線ＲＷ［１］、［２］の電位は接地電位となり、ノードＮＭ［１，１］、［２，１］及びノードＮＭｒｅｆ［１］、［２］の電位は時刻Ｔ０４－Ｔ０５と同様になる。

式（Ｅ９）及び式（Ｅ１６）に示されるように、オフセット回路ＯＦＳＴに入力される差分電流ΔＩ_αは、第１のデータ（重み）に対応する電位Ｖ_Ｘと、第２のデータ（入力データ）に対応する電位Ｖ_Ｗの積を足し合わせた結果に応じた値となる。すなわち、差分電流ΔＩ_αをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータの積和演算の結果を得ることができる。

なお、上記では特にメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］に着目したが、メモリセルＭＣ及びメモリセルＭＣｒｅｆの数は任意に設定することができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆの行数ｍを任意の数とした場合の差分電流ΔＩαは、次の式で表すことができる。

また、メモリセルＭＣ及びメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列して実行される積和演算の数を増やすことができる。

以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの積和演算を行うことができる。なお、メモリセルＭＣ及びメモリセルＭＣｒｅｆとして図１４に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。

半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭＣの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの列数ｎはニューロンの数に対応させることができる。例えば、図１２（Ａ）に示す中間層ＨＬにおいて半導体装置ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入力層ＩＬから供給される入力データの数（入力層ＩＬのニューロンの数）に設定し、メモリセルＭＣの列数ｎは、中間層ＨＬのニューロンの数に設定することができる。

なお、半導体装置ＭＡＣを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置ＭＡＣは、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、オートエンコーダ、ボルツマンマシン（制限ボルツマンマシンを含む）などに用いることもできる。

以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイＣＡに図１４に示すメモリセルＭＣ及びメモリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、又は回路規模の縮小を図ることが可能な集積回路を提供することができる。

（実施の形態５）
本実施の形態では、撮像素子の一例について図面を参照して説明する。

＜画素回路および動作＞
図１７（Ａ）は、撮像素子の画素に用いることができる画素回路の一例を説明する図である。当該画素回路は、光電変換素子５０と、トランジスタ５１と、トランジスタ５２と、トランジスタ５３と、トランジスタ５４と、容量素子５５と、を有する。

光電変換素子５０の一方の電極は、トランジスタ５１のソースまたはドレインの一方と電気的に接続される。トランジスタ５１のソースまたはドレイン一方は、トランジスタ５２のソースまたはドレインの一方と電気的に接続される。トランジスタ５１のソースまたはドレインの他方は、トランジスタ５３のゲートと電気的に接続される。トランジスタ５３のゲートは、容量素子５５の一方の電極と電気的に接続される。トランジスタ５３のソースまたはドレインの一方は、トランジスタ５４のソースまたはドレインの一方と電気的に接続される。なお、容量素子５５が設けられない構成であってもよい。

光電変換素子５０の他方の電極は、配線７１と電気的に接続される。トランジスタ５１のゲートは、配線７６と電気的に接続される。トランジスタ５２のゲートは、配線７７と電気的に接続される。トランジスタ５２のソースまたはドレインの他方は、配線７２と電気的に接続される。トランジスタ５３のソースまたはドレインの他方は、配線７３に電気的に接続される。トランジスタ５４のソースまたはドレインの他方は、配線７４と電気的に接続される。トランジスタ５４のゲートは、配線７８と電気的に接続される。

配線７１、配線７２、配線７３、配線７５は、電源線としての機能を有することができる。例えば、配線７１、配線７３は高電位電源線、配線７２、配線７５は低電位電源線とすることができる。配線７６、配線７７、配線７８は、各トランジスタの導通を制御する信号線としての機能を有することができる。また、配線７４は、画素から信号を出力する出力線としての機能を有することができる。

なお、光電変換素子５０の一方の電極、トランジスタ５１のソースまたはドレインの一方、およびトランジスタ５２のソースまたはドレインの一方が接続される配線を電荷蓄積部ＮＲとする。また、トランジスタ５１のソースまたはドレインの他方、トランジスタ５３のゲート、および容量素子５５の一方の電極が接続される配線を電荷検出部ＮＤとする。

トランジスタ５１は、光電変換素子５０の動作に応じて変化する電荷蓄積部ＮＲの電位を電荷検出部ＮＤに転送する機能を有することができる。トランジスタ５２は、電荷蓄積部ＮＲおよび電荷検出部ＮＤの電位を初期化する機能を有することができる。トランジスタ５３は、電荷検出部ＮＤの電位に応じた信号を出力する機能を有することができる。トランジスタ５４は、信号を読み出す画素を選択する機能を有することができる。

光電変換素子５０には、光検出感度を高めるためアバランシェフォトダイオードを用いてもよい。アバランシェフォトダイオードを用いる場合は、比較的高い電位を配線７１に供給する必要がある。

このとき、光電変換素子５０と接続されるトランジスタには、高電圧を印加できる高耐圧のトランジスタを用いることが好ましい。当該トランジスタには、例えば、金属酸化物をチャネル形成領域に用いたトランジスタ（以下、ＯＳトランジスタ）などを用いることができる。具体的には、トランジスタ５１、トランジスタ５２にＯＳトランジスタを適用することが好ましい。

また、トランジスタ５１、トランジスタ５２をＯＳトランジスタとすることで、その低いオフ電流特性によって、電荷検出部ＮＤおよび電荷蓄積部ＮＲで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行い、順次読み出し動作を行うグローバルシャッタ方式を適用することができる。

一方、トランジスタ５３は増幅特性が優れていることが望まれるため、オン電流が高いトランジスタであることが好ましい。したがって、トランジスタ５３、トランジスタ５４には、シリコンをチャネル形成領域に用いたトランジスタ（以下、Ｓｉトランジスタ）を適用することが好ましい。

光電変換素子５０にアバランシェフォトダイオードを用い、トランジスタ５１乃至トランジスタ５４を上述した構成とすることで、低照度における光の検出感度が高く、ノイズの少ない信号を出力することのできる撮像素子を作製することができる。また、光の検出感度が高いため、光の取り込み時間を短くすることができ、撮像を高速に行うことができる。

なお、上記構成に限らず、光電変換素子５０はアバランシェ増倍が生じない素子であってもよい。また、アバランシェフォトダイオードにアバランシェ増倍が生じない電位を印加して使用してもよい。

また、トランジスタ５３、トランジスタ５４にＯＳトランジスタを適用してもよい。または、トランジスタ５１、トランジスタ５２にＳｉトランジスタを適用してもよい。いずれの場合においても当該画素回路を動作させることができる。

次に、図１７（Ｂ）のタイミングチャートを用いて、画素の動作を説明する。なお、以下に説明する一例の動作において、各配線に供給される電位は下記の通りとする。配線７６、配線７７、配線７８には、”Ｈ”としてＶＤＤ、”Ｌ”としてＧＮＤの電位が供給される。配線７１、配線７３には、ＶＤＤの電位が供給される。配線７２、配線７５には、ＧＮＤの電位が供給される。なお、配線７１にＶＤＤより高い電位ＨＶＤＤを供給するなど、各配線に上記以外の電位を供給してもよい。

時刻Ｔ１に配線７６を”Ｈ”、配線７７を”Ｈ”とし、電荷蓄積部ＮＲおよび電荷検出部ＮＤの電位をリセット電位（ＧＮＤ）に設定する（リセット動作）。

時刻Ｔ２に配線７６を”Ｌ”、配線７７を”Ｌ”とすることで、電荷蓄積部ＮＲの電位が変化し始める（蓄積動作）。電荷蓄積部ＮＲの電位は、光電変換素子５０に入射した光の強度に応じて、ＧＮＤ近傍からＶＤＤ近傍まで変化する。

時刻Ｔ３に配線７６を”Ｈ”、配線７７を”Ｌ”とし、電荷蓄積部ＮＲの電荷を電荷検出部ＮＤに転送する（転送動作）。

時刻Ｔ４に配線７６を”Ｌ”、配線７７を”Ｌ”とし、転送動作を終了させる。この時点で電荷検出部ＮＤの電位が確定する。

時刻Ｔ５乃至Ｔ６の期間に配線７６を”Ｌ”、配線７７を”Ｌ”、配線７８を”Ｈ”とし、電荷検出部ＮＤの電位に応じた信号を配線７１に出力する。すなわち、蓄積動作において光電変換素子５０に入射した光の強度に応じた出力信号を得ることができる。

＜周辺回路＞
図１８（Ａ）は、撮像素子の回路構成を説明するブロック図である。当該撮像素子は、マトリクス状に配列された画素１０を有する画素アレイ１１と、画素アレイ１１の行を選択する機能を有する回路１６（ロードライバ）と、画素１０の出力信号に対して相関二重サンプリング処理を行うための回路１３（ＣＤＳ回路）と、回路１３から出力されたアナログデータをデジタルデータに変換する機能を有する回路１４（Ａ／Ｄ変換回路等）と、回路１４で変換されたデータを選択して読み出す機能を有する回路１５（カラムドライバ）と、を有する。なお、回路１３を設けない構成とすることもできる。

なお、画素１０は画素１２５に相当し、画素アレイ１１は画素アレイ１２４に相当する。

図１８（Ｂ）は、画素アレイ１１の１つの列に接続される回路１３の回路図および回路１４のブロック図である。

回路１３は、２つのトランジスタと２つの容量素子を有する構成とすることができる。回路１３では、撮像データの電位からリセット電位（ＲＥＳＥＴ）を差し引くことでノイズ成分を削減することができる。

回路１４は、コンパレータ回路（ＣＯＭＰ）およびカウンター回路（ＣＯＵＮＴＥＲ）を有する構成とすることができる。回路１４では、回路１３からコンパレータ回路に入力される信号電位と、掃引される基準電位（ＲＡＭＰ）とが比較される。そして、コンパレータ回路の出力に応じてカウンター回路が動作し、配線７９にデジタル信号が出力される。回路１４は、逐次変換型やデルタシグマ型にすることもできるが、一般にはコンパレータ回路およびカウンター回路を有する構成がレイアウト面積縮小に有効である。

＜画素回路の構成例＞
図１９（Ａ）に、上述した画素回路を有する画素の構成を例示する。図１９（Ａ）に示す画素は、層６１および層６２の積層構成を有する例である。

層６１は、光電変換素子５０を有する。光電変換素子５０は、図１９（Ｃ）に示すように層６５ａと、層６５ｂと、層６５ｃとの積層とすることができる。

図１９（Ｃ）に示す光電変換素子５０はｐｎ接合型フォトダイオードであり、例えば、層６５ａにｐ^＋型半導体、層６５ｂにｎ型半導体、層６５ｃにｎ^＋型半導体を用いることができる。または、層６５ａにｎ^＋型半導体、層６５ｂにｐ型半導体、層６５ｃにｐ^＋型半導体を用いてもよい。または、層６５ｂをｉ型半導体としたｐｉｎ接合型フォトダイオードであってもよい。

上記ｐｎ接合型フォトダイオードまたはｐｉｎ接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。また、ｐｉｎ接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコンなどの薄膜を用いて形成することもできる。

また、層６１が有する光電変換素子５０は、図１９（Ｄ）に示すように、層６６ａと、層６６ｂと、層６６ｃ、層６６ｄとの積層としてもよい。図１９（Ｄ）に示す光電変換素子５０はアバランシェフォトダイオードの一例であり、層６６ａ、層６６ｄは電極に相当し、層６６ｂ、層６６ｃは光電変換部に相当する。

層６６ａは、低抵抗の金属層などとすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。

層６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム－錫酸化物、ガリウム－亜鉛酸化物、インジウム－ガリウム－亜鉛酸化物、またはグラフェンなどを用いることができる。なお、層６６ｄを省く構成とすることもできる。

光電変換部の層６６ｂ、層６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とすることができる。層６６ｂとしてはｐ型半導体であるセレン系材料を用い、層６６ｃとしてはｎ型半導体であるガリウム酸化物などを用いることが好ましい。

セレン系材料を用いた光電変換素子は、可視光に対する外部量子効率が高い特性を有する。当該光電変換素子では、アバランシェ増倍を利用することにより、入射される光量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法などを用いて形成することができる。

セレン系材料としては、単結晶セレンや多結晶セレンなどの結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、または、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）などを用いることができる。

ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。

図１９（Ａ）に示す層６２としては、例えばシリコン基板を用いることができる。当該シリコン基板には、Ｓｉトランジスタ等が設けられ、前述した画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路等を設けることができる。

また、画素は、図１９（Ｂ）に示すように層６１、層６３および層６２の積層構成を有していてもよい。

層６３は、ＯＳトランジスタ（例えば、画素回路のトランジスタ５１、トランジスタ５２）を有することができる。このとき、層６２は、Ｓｉトランジスタ（例えば、画素回路のトランジスタ５３、トランジスタ５４）を有することが好ましい。

当該構成とすることで、画素回路を構成する要素を複数の層に分散させ、かつ当該要素を重ねて設けることができるため、撮像素子の面積を小さくすることができる。なお、図１９（Ｂ）の構成において、層６２を支持基板とし、層６１および層６３に画素回路を設けてもよい。

図２０（Ａ）は、図１９（Ａ）に示す画素の断面の一例を説明する図である。層６１は光電変換素子５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層６２は、画素回路を構成するＳｉトランジスタ等を有する。

光電変換素子５０において、層６５ａはｐ^＋型領域、層６５ｂはｎ型領域、層６５ｃはｎ^＋型領域とすることができる。また、層６５ｂには、電源線と層６５ｃとを接続するための領域３６が設けられる。例えば、領域３６はｐ^＋型領域とすることができる。

図２０（Ａ）において、Ｓｉトランジスタはシリコン基板４０にチャネル形成領域を有するプレーナー型の構成を示しているが、図２２（Ａ）、（Ｂ）に示すように、シリコン基板４０にフィン型の半導体層を有する構成であってもよい。図２２（Ａ）はチャネル長方向の断面、図２２（Ｂ）はチャネル幅方向の断面に相当する。

または、図２２（Ｃ）に示すように、シリコン薄膜の半導体層４５を有するトランジスタであってもよい。半導体層４５は、例えば、シリコン基板４０上の絶縁層４６上に形成された単結晶シリコン（ＳＯＩ（ＳｉｌｉｃｏｎｏｎＩｎｓｕｌａｔｏｒ））とすることができる。

ここで、図２０（Ａ）では、層６１が有する要素と層６２が有する要素との電気的な接続を貼り合わせ技術で得る構成例を示している。

層６１には、絶縁層４２、導電層３３および導電層３４が設けられる。導電層３３および導電層３４は、絶縁層４２に埋設された領域を有する。導電層３３は、層６５ａと電気的に接続される。導電層３４は、領域３６と電気的に接続される。また、絶縁層４２、導電層３３および導電層３４の表面は、それぞれ高さが一致するように平坦化されている。

層６２には、絶縁層４１、導電層３１および導電層３２が設けられる。導電層３１および導電層３２は、絶縁層４１に埋設された領域を有する。導電層３２は、電源線と電気的に接続される。導電層３１は、トランジスタ５１のソースまたはドレインと電気的に接続される。また、絶縁層４１、導電層３１および導電層３２の表面は、それぞれ高さが一致するように平坦化されている。

ここで、導電層３１および導電層３３は、主成分が同一の金属元素であることが好ましい。導電層３２および導電層３４は、主成分が同一の金属元素であることが好ましい。また、絶縁層４１および絶縁層４２は、同一の成分で構成されていることが好ましい。

例えば、導電層３１、導電層３２、導電層３３、導電層３４には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、ＰｔまたはＡｕなどを用いることができる。接合のしやすさから、好ましくはＣｕ、Ａｌ、Ｗ、またはＡｕを用いる。また、絶縁層４１、絶縁層４２には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタンなどを用いることができる。

つまり、導電層３１および導電層３３の組み合わせと、導電層３２および導電層３４の組み合わせのそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層４１および絶縁層４２のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層６１と層６２の境を接合位置とする、貼り合わせを行うことができる。

当該貼り合わせによって、導電層３１および導電層３３の組み合わせと、導電層３２および導電層３４の組み合わせのそれぞれの電気的な接続を得ることができる。また、絶縁層４１および絶縁層４２の機械的な強度を有する接続を得ることができる。

金属層同士の接合には、表面の酸化膜および不純物の吸着層などをスパッタリング処理などで除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法などを用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。

また、絶縁層同士の接合には、研磨などによって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法などを用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。

層６１と、層６２を貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。

例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法などを用いることができる。また、金属層の表面をＡｕなどの難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。

図２０（Ｂ）は、図１９（Ａ）に示す画素の層６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。一方の電極として層６６ａと、光電変換層として層６６ｂ、層６６ｃと、他方の電極として層６６ｄを有する。

この場合、層６１は、層６２上に直接形成することができる。層６６ａは、トランジスタ５１のソースまたはドレインと電気的に接続される。層６６ｄは、導電層３７を介して電源線と電気的に接続される。

図２１（Ａ）は、図１９（Ｂ）に示す画素の断面の一例を説明する図である。層６１は光電変換素子５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層６２はＳｉトランジスタ等を有する。層６３はＯＳトランジスタ等を有する。層６１と層６３とは、貼り合わせで電気的な接続を得る構成例を示している。

図２１（Ａ）において、ＯＳトランジスタはセルフアライン型の構成を示しているが、図２２（Ｄ）に示すように、ノンセルフアライン型のトップゲート型トランジスタであってもよい。

トランジスタ５１はバックゲート３５を有する構成を示しているが、バックゲートを有さない形態であってもよい。バックゲート３５は、図２２（Ｅ）に示すように、対向して設けられるトランジスタのフロントゲートと電気的に接続する場合がある。または、バックゲート３５にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。

ＯＳトランジスタが形成される領域とＳｉトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層４３が設けられる。トランジスタ５３、トランジスタ５４のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ５１のチャネル形成領域の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。

絶縁層４３により、一方の層に水素を閉じ込めることでトランジスタ５３、トランジスタ５４の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ５１の信頼性も向上させることができる。

絶縁層４３としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。

図２１（Ｂ）は、図１９（Ｂ）に示す画素の層６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。層６１は、層６３上に直接形成することができる。層６１、層６２、層６３の詳細は、前述の説明を参照できる。

＜その他の画素の構成要素＞
図２３（Ａ）は、本発明の一態様の撮像素子の画素にカラーフィルタ等を付加した例を示す斜視図である。当該斜視図では、複数の画素の断面もあわせて図示している。光電変換素子５０が形成される層６１上には、絶縁層８０が形成される。絶縁層８０は可視光に対して透光性の高い酸化シリコン膜などを用いることができる。また、パッシベーション層として窒化シリコン膜を積層してもよい。また、反射防止層として、酸化ハフニウムなどの誘電体膜を積層してもよい。

絶縁層８０上には、遮光層８１が形成されてもよい。遮光層８１は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層８１には、アルミニウム、タングステンなどの金属膜を用いることができる。また、当該金属膜と反射防止層としての機能を有する誘電体膜を積層してもよい。

絶縁層８０および遮光層８１上には、平坦化膜として有機樹脂層８２を設けることができる。また、画素別にカラーフィルタ８３（カラーフィルタ８３ａ、カラーフィルタ８３ｂ、カラーフィルタ８３ｃ）が形成される。例えば、カラーフィルタ８３ａ、カラーフィルタ８３ｂ、カラーフィルタ８３ｃに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）などの色を割り当てることにより、カラー画像を得ることができる。

カラーフィルタ８３上には、可視光に対して透光性を有する絶縁層８６などを設けることができる。

また、図２３（Ｂ）に示すように、カラーフィルタ８３の代わりに光学変換層８５を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像素子とすることができる。

例えば、光学変換層８５に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像素子とすることができる。また、光学変換層８５に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像素子とすることができる。また、光学変換層８５に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像素子とすることができる。可視光のカラーフィルタと赤外線若しくは紫外線のフィルタを組み合わせてもよい。

また、光学変換層８５にシンチレータを用いれば、Ｘ線撮像素子などに用いる放射線の強弱を可視化した画像を得る撮像素子とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線などの光（蛍光）に変換される。そして、当該光を光電変換素子５０で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像素子を用いてもよい。

シンチレータは、Ｘ線やガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Ｇｄ_２Ｏ_２Ｓ：Ｔｂ、Ｇｄ_２Ｏ_２Ｓ：Ｐｒ、Ｇｄ_２Ｏ_２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ_２、ＢａＦ_２、ＣｅＦ_３、ＬｉＦ、ＬｉＩ、ＺｎＯなどを樹脂やセラミクスに分散させたものを用いることができる。

なお、セレン系材料を用いた光電変換素子５０においては、Ｘ線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。

また、図２３（Ｃ）に示すように、カラーフィルタ８３上にマイクロレンズアレイ８４を設けてもよい。マイクロレンズアレイ８４が有する個々のレンズを通る光が直下のカラーフィルタ８３を通り、光電変換素子５０に照射されるようになる。また、図２３（Ｂ）に示す光学変換層８５上にマイクロレンズアレイ８４を設けてもよい。

＜パッケージ、モジュールの構成例＞
以下では、イメージセンサチップを収めたパッケージおよびカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像素子の構成を用いることができる。

図２４（Ａ１）は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。

図２４（Ａ２）は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌｇｒｉｄａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄｇｒｉｄａｒｒａｙ）やＰＧＡ（ＰｉｎＧｒｉｄＡｒｒａｙ）などを有していてもよい。

図２４（Ａ３）は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。

また、図２４（Ｂ１）は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１を固定するパッケージ基板４１１、レンズカバー４２１、およびレンズ４３５等を有する。また、パッケージ基板４１１およびイメージセンサチップ４５１の間には撮像素子の駆動回路および信号変換回路などの機能を有するＩＣチップ４９０も設けられており、ＳｉＰ（Ｓｙｓｔｅｍｉｎｐａｃｋａｇｅ）としての構成を有している。

図２４（Ｂ２）は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄｆｌａｔｎｏ－ｌｅａｄｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄｆｌａｔｐａｃｋａｇｅ）や前述したＢＧＡが設けられていてもよい。

図２４（Ｂ３）は、レンズカバー４２１およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。

イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。

（実施の形態６）
本発明の一態様に係る撮像装置および／または撮像システムなどを用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図２５に示す。

図２５（Ａ）は監視カメラであり、筐体９５１、レンズ９５２、支持部９５３等を有する。当該監視カメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。

図２５（Ｂ）はビデオカメラであり、第１筐体９７１、第２筐体９７２、表示部９７３、操作キー９７４、レンズ９７５、接続部９７６等を有する。操作キー９７４およびレンズ９７５は第１筐体９７１に設けられており、表示部９７３は第２筐体９７２に設けられている。当該ビデオカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。

図２５（Ｃ）はデジタルカメラであり、筐体９６１、シャッターボタン９６２、マイク９６３、発光部９６７、レンズ９６５等を有する。当該デジタルカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。

図２５（Ｄ）は腕時計型の情報端末であり、筐体９３１、表示部９３２、リストバンド９３３、操作用のボタン９３５、竜頭９３６、カメラ９３９等を有する。表示部９３２はタッチパネルとなっていてもよい。当該情報端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。

図２５（Ｅ）は携帯電話機の一例であり、筐体９８１、表示部９８２、操作ボタン９８３、外部接続ポート９８４、スピーカ９８５、マイク９８６、カメラ９８７等を有する。当該携帯電話機は、表示部９８２にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指やスタイラスなどで表示部９８２に触れることで行うことができる。当該携帯電話機における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。

図２５（Ｆ）は携帯データ端末であり、筐体９１１、表示部９１２、カメラ９１９等を有する。表示部９１２が有するタッチパネル機能により情報の入出力を行うことができる。当該携帯データ端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。

１００：撮像装置、１０１：撮像部、１１０：光学素子、１１１：液晶素子、１１２：偏光フィルタ、１１４：偏光素子アレイ、１１５：偏光素子、１２０：撮像素子、１２４：画素アレイ、１２５：画素、１２６：画素、１２８：画素ユニット、１２９：サブ画素ユニット、１３０：制御部、１４０：演算部、１５０：画像処理部、１５１：ニューラルネットワーク、１６０：記憶部、１７０：補助記憶部、１８０：外部入出力部、１９０：通信部、３０１：画像データ、３０２：画像データ、３０３：画像データ、４１０：パッケージ基板、４１１：パッケージ基板、４２０：カバーガラス、４２１：レンズカバー、４３０：接着剤、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：イメージセンサチップ、４５１：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５０１：光

Claims

演算部と、撮像部と、を有する撮像装置であって、
前記撮像部は複数の画素ユニットを有し、
前記複数の画素ユニットのそれぞれは、複数のサブ画素ユニットを有し、
前記複数のサブ画素ユニットのそれぞれは、偏光素子と、画素と、を有し、
前記偏光素子は、前記画素と重なる領域を有し、
前記複数の画素ユニットのそれぞれが有する、複数の前記偏光素子の偏光角は互いに異なり、
前記偏光素子は、液晶素子であり、
前記液晶素子に印加する電圧を制御することで、前記偏光素子の偏向角を前記サブ画素ユニットごとに調整することができ、
前記偏光素子の偏向角を調整した後、前記画素は前記偏光素子を透過した光を電気信号に変換することにより、第１画像データを取得する機能を有し、
前記演算部は、
前記画素ユニット毎に、前記第１画像データにおいて、最も暗い光を変換した画素の電気信号を第１電気信号として抽出する機能と、
前記画素ユニット毎に抽出した前記第１電気信号を組み合わせることにより、前記第１画像データに含まれる反射光による映り込みを除去または低減した第２画像データを生成する機能と、
ニューラルネットワークによって、前記第２画像データにおいて除去しきれなかった前記反射光による映り込みを除去して、第３画像データを生成する機能と、を有し、
前記第１画像データと前記第２画像データを用いて、前記演算部にて前記偏光素子の偏向角を調整した後、前記画素は前記偏光素子を透過した光を電気信号に変換することにより、第４画像データを取得する機能を有する撮像装置。
請求項１において、
前記ニューラルネットワークは、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、または深層信念ネットワークである撮像装置。