JP6957210B2 - 撮像装置および電子機器 - Google Patents

撮像装置および電子機器 Download PDF

Info

Publication number
JP6957210B2
JP6957210B2 JP2017109847A JP2017109847A JP6957210B2 JP 6957210 B2 JP6957210 B2 JP 6957210B2 JP 2017109847 A JP2017109847 A JP 2017109847A JP 2017109847 A JP2017109847 A JP 2017109847A JP 6957210 B2 JP6957210 B2 JP 6957210B2
Authority
JP
Japan
Prior art keywords
transistor
pixel
wiring
current
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017109847A
Other languages
English (en)
Other versions
JP2018207273A (ja
Inventor
黒川 義元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Priority to JP2017109847A priority Critical patent/JP6957210B2/ja
Publication of JP2018207273A publication Critical patent/JP2018207273A/ja
Application granted granted Critical
Publication of JP6957210B2 publication Critical patent/JP6957210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Thin Film Transistor (AREA)

Description

本発明の一態様は、撮像装置および電子機器に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの駆動方法、または、それらの製造方法、を一例として挙げることができる。
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。
絶縁表面を有する基板上に形成された半導体薄膜を用いてトランジスタを構成する技術が注目されている。当該トランジスタは集積回路(IC)や表示装置のような電子デバイスに広く応用されている。トランジスタに適用可能な半導体材料として、シリコン系半導体が広く知られているが、その他の材料として金属酸化物が注目されている。
例えば、金属酸化物として酸化亜鉛、またはIn−Ga−Zn系金属酸化物を用いてトランジスタを作製する技術が開示されている(特許文献1および特許文献2参照)。
また、特許文献3では、金属酸化物を有するオフ電流が極めて低いトランジスタを画素回路の一部に用い、CMOS(Complementary Metal Oxide Semiconductor)回路が作製可能なシリコンを有するトランジスタを周辺回路に用いる構成の撮像装置が開示されている。
また、画像処理等を行う際、アナログデータをデジタルデータに変換してから演算処理を行うと、膨大な量の演算処理を実行する必要があり、演算処理に要する時間を抑えることが難しい。そこで、ニューロンを基本的な素子とする脳において実行されるアナログデータの情報処理と同様に、アナログデータをデジタルデータに変換することなく、演算処理を行う各種の方法が提案されている。
下記の特許文献4には、独立した非線形変換演算と重み付け演算とを同時に実行することができる演算回路について開示されている。
特開2007−123861号公報 特開2007−96055号公報 特開2011−119711号公報 特開2004−110421号公報
撮像装置で撮像した画像に画像処理等を施す場合、撮像装置の各画素に保持された撮像データを読み出して、A/D変換によりデジタルデータに変換して撮像装置から出力し、当該デジタルデータに対して、専用の画像処理回路で画像処理を施す。したがって、撮像装置におけるA/D変換、専用の画像処理回路におけるデジタル演算処理等、膨大な電力を消費しながら画像処理を実行することになる。
したがって、本発明の一態様は、アナログデータの演算処理を実行できる撮像装置を提供することを課題の一つとする。または、本発明の一態様は、低消費電力の撮像装置を提供することを課題の一つとする。または、本発明の一態様は、高速に動作する撮像装置を提供することを課題の一つとする。または、本発明の一態様は、新規な撮像装置を提供することを課題の一つとする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項等の記載から、自ずと明らかとなるものであり、明細書、図面、請求項等の記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、第1の画素と、第2の画素と、ニューラルネットワークと、を有する撮像装置であって、第2の画素は、第1の画素と同一行かつ隣接する列に設けられ、第1の画素は、第1の光電変換素子と、第1のトランジスタと、第2のトランジスタと、第1の容量素子と、をそれぞれ有し、第1の光電変換素子の一方の電極は、第1のトランジスタのソースまたはドレインの一方と電気的に接続され、第1のトランジスタのソースまたはドレインの他方は、第2のトランジスタのゲートと電気的に接続され、第2のトランジスタのゲートは、第1の容量素子の一方の電極と電気的に接続され、第2の画素は、第2の光電変換素子と、第3のトランジスタと、第4のトランジスタと、第2の容量素子と、をそれぞれ有し、第2の光電変換素子の一方の電極は、第3のトランジスタのソースまたはドレインの一方と電気的に接続され、第3のトランジスタのソースまたはドレインの他方は、第4のトランジスタのゲートと電気的に接続され、第4のトランジスタのゲートは、第2の容量素子の一方の電極と電気的に接続され、撮像装置は、第1の容量素子に保持されたデータと、第2の容量素子に保持されたデータと、を基に、重みフィルタを用いて畳み込み処理を行う機能を有し、第1の容量素子の他方の電極と、第2の容量素子の他方の電極と、には、重みフィルタが有する重み係数に対応した電位が印加される撮像装置である。
また、上記態様において、撮像装置は、第1の回路を有し、重みフィルタは、第1の重み係数と、第2の重み係数と、を有し、第1の回路は、第1の容量素子の他方の電極に、第1の重み係数に対応する電位を印加する機能を有し、第1の回路は、第2の容量素子の他方の電極に、第2の重み係数に対応する電位を印加する機能を有してもよい。
また、上記態様において、撮像装置は、第2の回路を有し、第2のトランジスタのソースまたはドレインの一方には、第1の電流が流れ、第1の電流の電流値は、第1の光電変換素子に照射された光の照度と、第1の容量素子の他方の電極に印加された電位と、に対応し、第4のトランジスタのソースまたはドレインの一方には、第2の電流が流れ、第2の電流の電流値は、第2の光電変換素子に照射された光の照度と、第2の容量素子の他方の電極に印加された電位と、に対応し、第2の回路は、第1の電流を基に、第3の電流を生成する機能を有し、第2の回路は、第2の電流を基に、第4の電流を生成する機能を有してもよい。
また、上記態様において、第3の電流の電流値は、第1の光電変換素子に照射された光の照度に対応する電位と、第1の容量素子の他方の電極に印加された電位と、の積に対応し、第4の電流の電流値は、第2の光電変換素子に照射された光の照度に対応する電位と、第2の容量素子の他方の電極に印加された電位と、の積に対応してもよい。
また、上記態様において、第1の光電変換素子と、第2の光電変換素子と、は、光電変換層にセレンまたはセレンを含む化合物を有してもよい。
また、上記態様において、第1のトランジスタのチャネル形成領域と、第3のトランジスタのチャネル形成領域と、は金属酸化物を有し、金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Sn、Y、Zr、La、Ce、NdまたはHf)と、を有してもよい。
また、上記態様において、撮像装置は、第3の画素と、第4の画素と、を有し、第3の画素および第4の画素は、第1の画素と同一行に設けられ、第3の画素は、第3の光電変換素子を有し、第4の画素は、第4の光電変換素子を有し、第3の画素および第4の画素は、遮光されていてもよい。
また、上記態様において、第3の光電変換素子は、光電変換層にセレンまたはセレンを含む化合物を有してもよい。
また、本発明の一態様は、第1の画素と、第2の画素と、第3の画素と、第4の画素と、ニューラルネットワークと、を有する撮像装置であって、第2の画素は、第1の画素と同一行かつ隣接する列に設けられ、第3の画素は、第1の画素と同一行、かつn列分(nは2以上の整数)離れた位置に設けられ、第4の画素は、第2の画素と同一行、かつn列分(nは2以上の整数)離れた位置に設けられ、第1の画素は、第1の光電変換素子と、第1のトランジスタと、第2のトランジスタと、第1の容量素子と、をそれぞれ有し、第1の光電変換素子の一方の電極は、第1のトランジスタのソースまたはドレインの一方と電気的に接続され、第1のトランジスタのソースまたはドレインの他方は、第2のトランジスタのゲートと電気的に接続され、第2のトランジスタのゲートは、第1の容量素子の一方の電極と電気的に接続され、第2の画素は、第2の光電変換素子と、第3のトランジスタと、第4のトランジスタと、第2の容量素子と、をそれぞれ有し、第2の光電変換素子の一方の電極は、第3のトランジスタのソースまたはドレインの一方と電気的に接続され、第3のトランジスタのソースまたはドレインの他方は、第4のトランジスタのゲートと電気的に接続され、第4のトランジスタのゲートは、第2の容量素子の一方の電極と電気的に接続され、第3の画素は、第3の光電変換素子と、第5のトランジスタと、第6のトランジスタと、第3の容量素子と、をそれぞれ有し、第3の光電変換素子の一方の電極は、第5のトランジスタのソースまたはドレインの一方と電気的に接続され、第5のトランジスタのソースまたはドレインの他方は、第6のトランジスタのゲートと電気的に接続され、第6のトランジスタのゲートは、第3の容量素子の一方の電極と電気的に接続され、第4の画素は、第4の光電変換素子と、第7のトランジスタと、第8のトランジスタと、第4の容量素子と、をそれぞれ有し、第4の光電変換素子の一方の電極は、第7のトランジスタのソースまたはドレインの一方と電気的に接続され、第7のトランジスタのソースまたはドレインの他方は、第8のトランジスタのゲートと電気的に接続され、第8のトランジスタのゲートは、第4の容量素子の一方の電極と電気的に接続され、第1の容量素子の他方の電極と、第3の容量素子の他方の電極と、は、第1の配線と電気的に接続され、第2の容量素子の他方の電極と、第4の容量素子の他方の電極と、は、第2の配線と電気的に接続され、撮像装置は、n列分の重み係数を有する重みフィルタを用いて、第1の容量素子に保持されたデータと、第2の容量素子に保持されたデータと、を基に第1の畳み込み処理を行う機能、および、第3の容量素子に保持されたデータと、第4の容量素子に保持されたデータと、を基に第2の畳み込み処理を行う機能を有し、第1の配線には、p列目(pは1以上n未満の整数)の重み係数である第1の重み係数に対応した電位が印加され、第2の配線には、p+1列目の重み係数である第2の重み係数に対応した電位が印加される撮像装置である。
また、上記態様において、第1の畳み込み処理と第2の畳み込み処理を並行して行う機能を有してもよい。
また、上記態様において、撮像装置は、第1の回路を有し、第1の回路は、第1の配線、および第2の配線と電気的に接続され、第1の回路は、第1の配線に、第1の重み係数に対応する電位を印加する機能を有し、第1の回路は、第2の配線に、第2の重み係数に対応する電位を印加する機能を有してもよい。
また、上記態様において、撮像装置は、第2の回路を有し、第2のトランジスタのソースまたはドレインの一方には、第1の電流が流れ、第1の電流の電流値は、第1の光電変換素子に照射された光の照度と、第1の配線に印加された電位と、に対応し、第4のトランジスタのソースまたはドレインの一方には、第2の電流が流れ、第2の電流の電流値は、第2の光電変換素子に照射された光の照度と、第2の配線に印加された電位と、に対応し、第6のトランジスタのソースまたはドレインの一方には、第3の電流が流れ、第3の電流の電流値は、第3の光電変換素子に照射された光の照度と、第1の配線に印加された電位と、に対応し、第8のトランジスタのソースまたはドレインの一方には、第4の電流が流れ、第4の電流の電流値は、第4の光電変換素子に照射された光の照度と、第2の配線に印加された電位と、に対応し、第2の回路は、第1の電流を基に、第5の電流を生成する機能を有し、第2の回路は、第2の電流を基に、第6の電流を生成する機能を有し、第2の回路は、第3の電流を基に、第7の電流を生成する機能を有し、第2の回路は、第4の電流を基に、第8の電流を生成する機能を有してもよい。
また、上記態様において、第5の電流の電流値は、第1の光電変換素子に照射された光の照度に対応する電位と、第1の配線に印加された電位と、の積に対応し、第6の電流の電流値は、第2の光電変換素子に照射された光の照度に対応する電位と、第2の配線に印加された電位と、の積に対応し、第7の電流の電流値は、第3の光電変換素子に照射された光の照度に対応する電位と、第1の配線に印加された電位と、の積に対応し、第8の電流の電流値は、第4の光電変換素子に照射された光の照度に対応する電位と、第2の配線に印加された電位と、の積に対応してもよい。
また、上記態様において、第1乃至第4の光電変換素子は、光電変換層にセレンまたはセレンを含む化合物を有してもよい。
また、上記態様において、第1のトランジスタのチャネル形成領域と、第3のトランジスタのチャネル形成領域と、第5のトランジスタのチャネル形成領域と、第7のトランジスタのチャネル形成領域と、は金属酸化物を有し、金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Sn、Y、Zr、La、Ce、NdまたはHf)と、を有してもよい。
また、上記態様において、撮像装置は、第5の画素と、第6の画素と、を有し、第5の画素および第6の画素は、第1の画素と同一行に設けられ、第5の画素は、第5の光電変換素子を有し、第6の画素は、第6の光電変換素子を有し、第5の画素は、第1の配線と電気的に接続され、第6の画素は、第2の配線と電気的に接続され、第5の画素および第6の画素は、遮光されていてもよい。
また、上記態様において、第5の光電変換素子および第6の画素は、光電変換層にセレンまたはセレンを含む化合物を有してもよい。
また、本発明の一態様の撮像装置と、表示装置と、を有する電子機器も本発明の一態様である。
本発明の一態様により、アナログデータの演算処理を実行できる撮像装置を提供することができる。または、本発明の一態様により、低消費電力の撮像装置を提供することができる。または、本発明の一態様により、高速に動作する撮像装置を提供することができる。または、本発明の一態様により、新規な撮像装置を提供することができる。
なお、本発明の一態様はこれらの効果に限定されるものではない。例えば、本発明の一態様は、場合によっては、または、状況に応じて、これらの効果以外の効果を有する場合もある。または、例えば、本発明の一態様は、場合によっては、または、状況に応じて、これらの効果を有さない場合もある。
撮像装置の構成例を説明するブロック図。 画素の構成例を説明する回路図。 撮像装置の構成例を説明する図。 撮像装置の動作例を説明するタイミングチャート。 フィルタの構成例を説明する図。 畳み込み処理の一例を説明する図。 アナログ処理回路の構成例を説明する図。 階層型の人工ニューラルネットワークの一例を示す図。 階層型の人工ニューラルネットワークの一例を示す図。 階層型の人工ニューラルネットワークの一例を示す図。 回路の構成例を説明する図。 回路の構成例を示すブロック図。 積和演算回路の構成例を示すブロック図。 プログラマブルスイッチについて説明するブロック図および回路図。 回路の構成例を示すブロック図。 回路の構成例を示すブロック図。 回路の構成例を示すブロック図。 画素の構成例を説明する回路図。 画素の構成例を説明する回路図およびタイミングチャート。 画素の動作例を説明するタイミングチャート。 画素の構成例を説明する図。 画素の構成例を説明する図。 画素の構成例を説明する図。 画素の構成例を説明する図。 撮像装置を収めたパッケージおよびモジュールの斜視図。 電子機器を説明する図。
以下では、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
図面において、大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。
本明細書において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている場合がある。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。従って、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。
図面に記載したブロック図の各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう示していても、実際の回路ブロックにおいては同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路ブロックにおいては一つの回路ブロックで行う処理を、複数の回路ブロックで行うよう設けられている場合もある。
本明細書等において、半導体装置とは、半導体特性を利用した装置であり、半導体素子(トランジスタ、ダイオード等)を含む回路、同回路を有する装置等をいう。また、半導体特性を利用することで機能しうる装置全般をいう。例えば、集積回路、集積回路を備えたチップは、半導体装置の一例である。また、記憶装置、表示装置、発光装置、照明装置および電子機器等は、それ自体が半導体装置である場合があり、または半導体装置を有している場合がある。
また、本明細書等において、XとYとが接続されている、と明示的に記載されている場合は、XとYとが電気的に接続されている場合と、XとYとが機能的に接続されている場合と、XとYとが直接接続されている場合とが、本明細書等に開示されているものとする。したがって、所定の接続関係、例えば、図または文章に示された接続関係に限定されず、図または文章に示された接続関係以外のものも、図または文章に記載されているものとする。X、Yは、対象物(例えば、装置、素子、回路、配線、電極、端子、導電膜、層、等)であるとする。
トランジスタは、ゲート、ソース、およびドレインと呼ばれる3つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する2つの入出力ノードは、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。また、本明細書等では、ゲート以外の2つの端子を第1端子、第2端子という場合がある。
ノードは、回路構成やデバイス構造等に応じて、端子、配線、電極、導電層、導電体、不純物領域等と言い換えることが可能である。また、端子、配線等をノードと言い換えることが可能である。
電圧は、ある電位と、基準の電位(例えば接地電位(GND)またはソース電位)との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。なお、電位とは、相対的なものである。よって、接地電位と記載されていても、必ずしも、0Vを意味しない場合もある。
本明細書等において、「膜」という言葉と「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を「導電膜」という用語に変更することが可能な場合がある。例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
本明細書等において、“第1”、“第2”、“第3”という序数詞は構成要素の混同を避けるために付す場合があり、その場合は数的に限定するものではなく、また順序を限定するものでもない。
本明細書等において、人工ニューラルネットワーク(ANN、以後、ニューラルネットワークと呼称する。)とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
シナプスの結合(ニューロン同士の結合)の強度(重み係数ともいう。)は、ニューラルネットワークに既存の情報を与えることによって、変化することができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」という場合がある。
また、「学習」を行った(結合強度を定めた)ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」という場合がある。
ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」(DNN)と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。
本明細書等において、金属酸化物(metal oxide)とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体(透明酸化物導電体を含む)、酸化物半導体(Oxide Semiconductorまたは単にOSともいう)等に分類される。例えば、トランジスタの活性層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも1つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体(metal oxide semiconductor)、略してOSということができる。また、OS FET(またはOSトランジスタ)と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
また、本明細書等において、CAAC(c−axis aligned crystal)、およびCAC(Cloud−Aligned Composite)と記載する場合がある。なお、CAACは結晶構造の一例を表し、CACは機能、または材料の構成の一例を表す。
また、本明細書等において、CAC−OSまたはCAC−metal oxideとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。なお、CAC−OSまたはCAC−metal oxideを、トランジスタの活性層に用いる場合、導電性の機能は、キャリアとなる電子(またはホール)を流す機能であり、絶縁性の機能は、キャリアとなる電子を流さない機能である。導電性の機能と、絶縁性の機能とを、それぞれ相補的に作用させることで、スイッチングさせる機能(On/Offさせる機能)をCAC−OSまたはCAC−metal oxideに付与することができる。CAC−OSまたはCAC−metal oxideにおいて、それぞれの機能を分離させることで、双方の機能を最大限に高めることができる。
また、本明細書等において、CAC−OSまたはCAC−metal oxideは、導電性領域、および絶縁性領域を有する。導電性領域は、上述の導電性の機能を有し、絶縁性領域は、上述の絶縁性の機能を有する。また、材料中において、導電性領域と、絶縁性領域とは、ナノ粒子レベルで分離している場合がある。また、導電性領域と、絶縁性領域とは、それぞれ材料中に偏在する場合がある。また、導電性領域は、周辺がぼけてクラウド状に連結して観察される場合がある。
また、CAC−OSまたはCAC−metal oxideにおいて、導電性領域と、絶縁性領域とは、それぞれ0.5nm以上10nm以下、好ましくは0.5nm以上3nm以下のサイズで材料中に分散している場合がある。
また、CAC−OSまたはCAC−metal oxideは、異なるバンドギャップを有する成分により構成される。例えば、CAC−OSまたはCAC−metal oxideは、絶縁性領域に起因するワイドギャップを有する成分と、導電性領域に起因するナローギャップを有する成分と、により構成される。当該構成の場合、キャリアを流す際に、ナローギャップを有する成分において、主にキャリアが流れる。また、ナローギャップを有する成分が、ワイドギャップを有する成分に相補的に作用し、ナローギャップを有する成分に連動してワイドギャップを有する成分にもキャリアが流れる。このため、上記CAC−OSまたはCAC−metal oxideをトランジスタのチャネル領域に用いる場合、トランジスタのオン状態において高い電流駆動力、つまり大きなオン電流、および高い電界効果移動度を得ることができる。
すなわち、CAC−OSまたはCAC−metal oxideは、マトリックス複合材(matrix composite)、または金属マトリックス複合材(metal matrix composite)と呼称することもできる。
(実施の形態1)
本実施の形態では、本発明の一態様である撮像装置について、図面を参照して説明する。
図1は、本発明の一態様の撮像装置である撮像装置10を説明するブロック図である。撮像装置10は、撮像用の画素Pがマトリクス状に配列された画素アレイ21、画像処理用の参照画素PREFが配列された参照画素アレイ23、アナログ処理回路24、スイッチ回路31、デコーダ25、およびA/D変換回路26を有する。なお、A/D変換回路26は、画像処理を行わない場合に使用する。したがって、A/D変換回路26は、画像処理を常に実行する構成とする場合には、省くこともできる。
本明細書等において、a行b列目(a、bは1以上の整数)に配置された画素Pを、画素P[a,b]と記載する。また、他の要素においても、a行b列目に配置された当該要素を[a,b]と記載する場合がある。
画素アレイ21と参照画素アレイ23は分離して図示しているが、画素Pおよび参照画素PREFを構成する回路は同一の形態である。したがって、マトリクス状に形成した複数の画素において、端部を参照画素アレイ23として機能させ、それ以外の画素は画素アレイ21として機能させればよい。また、参照画素アレイ23は、遮光層15で遮光された形態とする。
画素Pは、撮像データを取得し、保持する機能を有する。詳細は後述するが、画素Pは光電変換素子を有し、当該光電変換素子に照射された光の照度を基にした撮像データを取得し、保持することができる。
画素Pは、配線75を介して、デコーダ25と電気的に接続されている。図1では、画素P1行につき、2本の配線75(配線75_1および配線75_2)が設けられた構成を示している。奇数列目の画素Pは配線75_1と電気的に接続され、偶数列目の画素Pは配線75_2と電気的に接続されている。なお、a行目の画素Pと電気的に接続された配線75を、配線75_1[a]または配線75_2[a]等と記載して表現している。
本明細書等において、デコーダ25を行デコーダという場合がある。
撮像装置10が配線75_1および配線75_2を有する構成である場合、1行分の画素Pごとに、参照画素PREF_1および参照画素PREF_2が設けられる。つまり、参照画素PREF_1および参照画素PREF_2が、それぞれ画素Pと同じ行数だけ設けられる。参照画素PREF_1[a]は、配線75_1[a]と電気的に接続され、参照画素PREF_2[a]は、配線75_2[a]と電気的に接続されている。
なお、配線75が、1行あたり3本設けられてもよい。この場合、配線75として、配線75_1および配線75_2の他、配線75_3が設けられる。また、参照画素PREF_1および参照画素PREF_2の他、参照画素PREF_3が設けられる。配線75_1は、例えば3の倍数列+1列目(1列目、4列目等)の画素P、および画素PREF_1と電気的に接続され、配線75_2は、例えば3の倍数列+2列目(2列目、5列目等)の画素P、および画素PREF_2と電気的に接続され、配線75_3は、例えば3の倍数列目(3列目、6列目等)の画素P、および画素PREF_3と電気的に接続されている。また、配線75が、1行あたり4本以上設けられてもよい。
配線75が1行あたりn本(nは2以上の整数)設けられた場合、つまり配線75_1乃至配線75_nが設けられた場合は、参照画素PREF_1乃至参照画素PREF_nが設けられる。この場合、cを0以上の整数として、(n×c+1)列目の画素P、および参照画素PREF_1は配線75_1と電気的に接続され、(n×c+2)列目の画素P、および参照画素PREF_2は配線75_2と電気的に接続され、(n×c+n)列目の画素P、および参照画素PREF_nは配線75_nと電気的に接続されている。nの値は、後述する重みフィルタの幅と等しくすることができる。
画素Pは、配線77を介して、アナログ処理回路24およびA/D変換回路26と電気的に接続されている。なお、b列目に配置された画素Pと電気的に接続された配線77bを、配線77[b]と記載する。また、アナログ処理回路24は、配線77と同じ列数の配線82を介して、スイッチ回路31と電気的に接続されている。なお、配線77[b]に対応する配線82を、配線82[b]と記載する。
図1において、配線77と配線82を別の配線として記載しているが、配線77と配線82が接続されていてもよい。
参照画素PREFは、詳細は後述するが、画素Pから出力されるデータに対して処理を行うために必要なデータを取得し、保持する機能を有する。参照画素PREFは光電変換素子を有するが、前述のように、参照画素アレイ23は遮光層15で遮光されているので、参照画素PREFに保持されるデータは外光の照度に依存しないデータとすることができる。
参照画素PREF_1は、配線78_1を介してアナログ処理回路24と電気的に接続されている。参照画素PREF_2は、配線78_2を介してアナログ処理回路24と電気的に接続されている。なお、撮像装置10が参照画素PREF_1乃至参照画素PREF_nを有する場合、参照画素PREF_1乃至参照画素PREF_nは、それぞれ配線78_1乃至配線78_nを介してアナログ処理回路24と電気的に接続されている。
デコーダ25は、信号を生成して、配線75を介して画素Pおよび画素PREFに供給する機能を有する。デコーダ25が生成した信号を画素Pに供給することにより、それぞれの画素Pから、保持された撮像データの電位とデコーダ25が生成した信号の電位との積を含む電流Iを、配線77に流すことができる。なお、b列目の配線77[b]に流れる電流Iを、電流I[b]と記載する。電流I[b]の電流値は、b列目に配置された画素Pに流れる電流の合計値とすることができる。また、デコーダ25が生成した信号を参照画素PREFに供給することにより、それぞれの画素PREFから、保持されたデータの電位とデコーダ25が生成した信号の電位に対応する電流IREFを、配線78に流すことができる。例えば、配線78_1に流れる電流IREF_1の電流値は、すべての参照画素PREF_1に流れる電流の合計値とすることができる。また、配線78_2に流れる電流IREF_2の電流値は、すべての参照画素PREF_2に流れる電流の合計値とすることができる。なお、撮像装置10が参照画素PREF_1乃至参照画素PREF_nを有する場合、電流IREF_1乃至電流IREF_nの電流値は、それぞれすべての参照画素PREF_1乃至参照画素PREF_nに流れる電流の合計値とすることができる。
デコーダ25は、ニューラルネットワークを用いて構成することができる。この場合、配線75に入力される信号は、重み係数とすることができる。例えば、デコーダ25は、畳み込みニューラルネットワーク(CNN)を用いて構成することができる。この場合、画素Pに保持された撮像データに対し、重み係数を用いて特徴抽出を行い、エッジ検出処理等の画像処理を行うことができる。ニューラルネットワークが学習を行って重み係数を更新することにより、画像処理を行う際の推論の精度が向上し、より正確に画像処理を行うことができるようになる。
アナログ処理回路24は、電流Iに対して、電流IREFを用いて処理等を行う機能を有する。また、アナログ処理回路24は、処理を行った電流に対応する画像データを、配線82を介して出力する機能を有する。詳細は後述するが、アナログ処理回路24は電流IREFから電流Iを引き、さらにオフセット補正を行った電流を、配線82に流すことができる。なお、b列目の配線82[b]に流れる電流を、電流IO[b]と記載する。電流IO[b]は、電流I[b]に対して処理を行った電流である。
スイッチ回路31は、結線する配線82を選択する機能を有する。例えば、配線82[1]と配線82[2]を結線し、配線82[3]と配線82[4]を結線することができる。この場合、スイッチ回路31から出力される電流の電流値は、電流IO[1]と電流IO[2]の合計値、および電流IO[3]と電流IO[4]の合計値とすることができる。また、例えば配線82[2]と配線82[3]を結線することができる。この場合、スイッチ回路31から出力される電流の電流値は、電流IO[2]と電流IO[3]の合計値とすることができる。なお、スイッチ回路31から出力される電流は、表示装置等、撮像装置10の外部に設けられた機器に出力することができる。
A/D変換回路26は、画素Pから配線77に出力された画像データに対してA/D変換を行う機能を有する。また、A/D変換回路26は、A/D変換を行った画像データを、表示装置等、撮像装置10の外部に設けられた機器に出力する機能を有する。前述のように、A/D変換回路26は画像処理を行わない場合に使用することができる。
図2は、画素アレイ21および参照画素アレイ23の具体的な構成例を示す回路図である。なお、参照画素アレイ23は、参照画素PREF_1および参照画素PREF_2を有し、画素PREF_1は配線75_1と電気的に接続され、画素PREF_2は配線75_2と電気的に接続されている。画素P、参照画素PREF_1および参照画素PREF_2は、光電変換素子60、トランジスタ41、トランジスタ42、トランジスタ43および容量素子63を有する。
光電変換素子60の一方の電極は、トランジスタ41のソースまたはドレインの一方と電気的に接続されている。また、トランジスタ41のソースまたはドレインの他方は、トランジスタ42のソースまたはドレインの一方、トランジスタ43のゲート、および容量素子63の一方の電極と電気的に接続されている。なお、トランジスタ41のソースまたはドレインの他方、トランジスタ42のソースまたはドレインの一方、トランジスタ43のゲート、および容量素子63の一方の電極が電気的に接続されているノードをノードN(参照画素PREF_1においてはノードNREF_1、参照画素PREF_2においてはノードNREF_2)とする。
ここで、光電変換素子60の他方の電極は、配線VPDに電気的に接続され、トランジスタ42のソースまたはドレインの他方は、配線VPRに電気的に接続され、トランジスタ43のソースまたはドレインの一方は、配線VOに電気的に接続されている。なお、図2に示す構成例では、光電変換素子60の一方の電極はカソードであり、光電変換素子60の他方の電極はアノードである。
配線VPD、配線VPRおよび配線VOは、電源線としての機能を有し、例えば、配線VPDおよび配線VOは低電源電位線、配線VPRは高電源電位線としての機能を有する。また、配線TXは、トランジスタ41のゲートと電気的に接続され、配線PRは、トランジスタ42のゲートと電気的に接続されている。配線TXおよび配線PRは、トランジスタのオンオフを制御する信号線としての機能を有する。
また、容量素子63の他方の電極は、配線75_1または配線75_2と電気的に接続され、トランジスタ43のソースまたはドレインの他方は、配線77(参照画素PREF_1においては配線78_1、参照画素PREF_2においては配線78_2)と電気的に接続されている。配線75_1および配線75_2は、ノードN、ノードNREF_1またはノードNREF_2に任意の電位、例えば重み係数に対応する電位を供給するための信号線としての機能を有する。また、配線77はノードNの電位に従った信号電流を、配線78_1はノードNREF_1の電位に従った信号電流を、配線78_2はノードNREF_2の電位に従った信号電流をそれぞれトランジスタ43に流すための信号線としての機能を有する。配線75_1および配線75_2は、ワード線としての機能を有することができ、配線77、配線78_1および配線78_2は、出力線としての機能を有することができる。
ここで、トランジスタ41は、光電変換素子60の出力に応じてノードN、ノードNREF_1またはノードNREF_2の電位を制御するための転送トランジスタとしての機能を有する。また、トランジスタ42は、ノードN、ノードNREF_1またはノードNREF_2の電位を初期化するリセットトランジスタとしての機能を有する。また、トランジスタ43は、ノードN、ノードNREF_1またはノードNREF_2の電位に応じた出力を行う増幅トランジスタとしての機能を有する。
トランジスタ41およびトランジスタ42として、チャネル形成領域に金属酸化物を用いたトランジスタ(以下、OSトランジスタという)を用いることが好ましい。OSトランジスタは極めて低いオフ電流特性を示し、チャネル幅で規格化したOSトランジスタのリーク電流は、ソースドレイン間電圧が10V、室温(25℃程度)の状態で10×10−21A/μm(10ゼプトA/μm)以下とすることが可能である。
したがって、トランジスタ41およびトランジスタ42にOSトランジスタを用いれば、その低いオフ電流特性によって、ノードN、ノードNREF_1またはノードNREF_2で電荷を保持できる期間を極めて長くすることができる。このため、回路構成および動作方法を複雑にすることなく、画素Pが取得した撮像データを基にした演算処理を行うことができる。
なお、トランジスタ43として、増幅特性が優れたトランジスタを用いることが好ましいため、オン電流が高いトランジスタであることが好ましい。したがって、トランジスタ43には、チャネル形成領域にシリコンを用いたトランジスタ(以下、Siトランジスタという)を適用することが好ましい。なお、トランジスタ43にOSトランジスタを用いてもよい。トランジスタ43をOSトランジスタとした場合、画素Pが有するトランジスタをすべてOSトランジスタとすることができるため、撮像装置10の作製工程を簡易化することができる。
図2において、画素アレイ21は、画素P[i,j]、画素P[i,j+1]、画素P[i,j+2]、画素P[i,j+3]、画素P[i+1,j]、画素P[i+1,j+1]、画素P[i+1,j+2]、画素P[i+1,j+3]の2行4列で例示している(i、jは1以上の整数)。この場合において、画素P[i,j]が有する容量素子63の他方の電極、および画素P[i,j+2]が有する容量素子63の他方の電極には、配線75_1[i]が電気的に接続されている。また、画素P[i,j+1]が有する容量素子63の他方の電極、および画素P[i,j+3]が有する容量素子63の他方の電極には、配線75_2[i]が電気的に接続されている。また、画素P[i+1,j]が有する容量素子63の他方の電極、および画素P[i+1,j+2]が有する容量素子63の他方の電極には、配線75_1[i+1]が電気的に接続されている。また、画素P[i+1,j+1]が有する容量素子63の他方の電極、および画素P[i+1,j+3]が有する容量素子63の他方の電極には、配線75_2[i+1]が電気的に接続されている。
また、参照画素アレイ23は、参照画素PREF_1[i]、参照画素PREF_1[i+1]、参照画素PREF_2[i]、および参照画素PREF_2[i+1]の2行2列で例示している。
ここで、配線VPD、配線VPRおよび配線VOから電位が供給され、配線TX、配線PR、配線75_1[i]、配線75_2[i]、配線75_1[i+1]、および配線75_2[i+1]から信号が供給されると、配線77[j]、配線77[j+1]、配線77[j+2]、配線77[j+3]に、ノードNの電位に対応する電流Iが流れ、配線78_1に、ノードNREF_1の電位に対応する電流IREF_1が流れ、配線78_2に、ノードNREF_2の電位に対応する電流IREF_2が流れる。
具体的には、配線77[j]に、ノードN[i,j]の電位、およびノードN[i+1,j]の電位に対応する電流I[j]が流れる。また、配線77[j+1]に、ノードN[i,j+1]の電位、およびノードN[i+1,j+1]の電位に対応する電流I[j+1]が流れる。また、配線77[j+2]に、ノードN[i,j+2]の電位、およびノードN[i+1,j+2]の電位に対応する電流I[j+2]が流れる。また、配線77[j+3]に、ノードN[i,j+3]の電位、およびノードN[i+1,j+3]の電位に対応する電流I[j+3]が流れる。また、配線78_1に、ノードNREF_1[i]の電位、およびノードNREF_1[i+1]の電位に対応する電流IREFが流れる。また、配線78_2に、ノードNREF_2[i]の電位、およびノードNREF_2[i+1]の電位に対応する電流IREFが流れる。
ノードN[i,j]の電位、ノードN[i,j+2]の電位、およびノードNREF_1[i]の電位は、撮像データおよび配線75_1[i]の電位に対応する電位となる。ノードN[i,j+1]の電位、ノードN[i,j+3]の電位、およびノードNREF_2[i]の電位は、撮像データおよび配線75_2[i]の電位に対応する電位となる。ノードN[i+1,j]の電位、ノードN[i+1,j+2]の電位、およびノードNREF_1[i+1]は、撮像データおよび配線75_1[i+1]の電位に対応する電位となる。ノードN[i+1,j+1]の電位、ノードN[i+1,j+3]、およびノードNREF_2[i+1]の電位は、撮像データおよび配線75_2[i+1]の電位に対応する電位となる。
前述のように、参照画素PREF_1[i]、参照画素PREF_1[i+1]、参照画素PREF_2[i]、および参照画素PREF_2[i+1]は遮光されており、光電変換素子60には光が当たらない構成とする。これにより、ノードNREF_1[i]の電位、ノードNREF_2[i]の電位、ノードNREF_1[i+1]の電位、およびノードNREF[i+1]の電位は、外光の照度に依存しない電位とすることができる。つまり、電流IREF_1および電流IREF_2は、外光の照度に依存しない電流値とすることができる。
図3は、図2に示すように画素アレイ21が画素P[i,j]乃至画素P[i+1,j+3]を有する場合における、画素アレイ21の構成例を示すブロック図、およびスイッチ回路31の構成例を示す回路図である。なお、図3には、アナログ処理回路24も示している。
スイッチ回路31は、トランジスタ81_1[j]、トランジスタ81_1[j+1]、トランジスタ81_1[j+2]、トランジスタ81_1[j+3]、トランジスタ81_2[j]、トランジスタ81_2[j+1]、トランジスタ81_2[j+2]、およびトランジスタ81_2[j+3]を有する。なお、図3ではトランジスタ81_1[j]乃至トランジスタ81_1[j+3]、およびトランジスタ81_2[j]乃至トランジスタ81_2[j+3]はすべてnチャネル型トランジスタとしているが、pチャネル型トランジスタとしてもよいし、CMOSトランジスタとしてもよい。また、トランジスタ81_1[j]乃至トランジスタ81_1[j+3]、およびトランジスタ81_2[j]乃至トランジスタ81_2[j+3]は、スイッチとしての機能を有していればトランジスタとしなくてもよい。
配線82[j]は、アナログ処理回路24の他、トランジスタ81_1[j]のソースまたはドレインの一方、およびトランジスタ81_2[j]のソースまたはドレインの一方と電気的に接続されている。配線82[j+1]は、アナログ処理回路24の他、トランジスタ81_1[j+1]のソースまたはドレインの一方、およびトランジスタ81_2[j+1]のソースまたはドレインの一方と電気的に接続されている。配線82[j+2]は、アナログ処理回路24の他、トランジスタ81_1[j+2]のソースまたはドレインの一方、およびトランジスタ81_2[j+2]のソースまたはドレインの一方と電気的に接続されている。配線82[j+3]は、アナログ処理回路24の他、トランジスタ81_1[j+3]のソースまたはドレインの一方、およびトランジスタ81_2[j+3]のソースまたはドレインの一方と電気的に接続されている。
配線80[1]は、トランジスタ81_1[j]のソースまたはドレインの他方、トランジスタ81_1[j+1]のソースまたはドレインの他方、トランジスタ81_2[j+1]のソースまたはドレインの他方、およびトランジスタ81_2[j+2]のソースまたはドレインの他方と電気的に接続されている。配線80[2]は、トランジスタ81_1[j+2]のソースまたはドレインの他方、トランジスタ81_1[j+3]のソースまたはドレインの他方、およびトランジスタ81_2[j+3]のソースまたはドレインの他方と電気的に接続されている。
配線71_1は、トランジスタ81_1[j]乃至トランジスタ81_1[j+3]のゲートと電気的に接続されている。配線71_2は、トランジスタ81_2[j]乃至トランジスタ81_2[j+3]のゲートと電気的に接続されている。
また、図示しないが、トランジスタ81_2[j+4]のソースまたはドレインの一方は、配線77[j+4]と電気的に接続され、トランジスタ81_2[j+4]のソースまたはドレインの他方は、配線80[2]と電気的に接続されている。また、配線71_2は、トランジスタ81_2[j+4]のゲートと電気的に接続されている。
配線71_1は、トランジスタ81_1のオンオフを制御する信号線としての機能を有する。配線71_2は、トランジスタ81_2のオンオフを制御する信号線としての機能を有する。トランジスタ81_1をオンとした場合、配線82[j]と配線82[j+1]が結線され、配線80[1]を流れる電流IT[1]の電流値は、電流IO[j]と電流IO[j+1]の合計値となる。また、配線82[j+2]と配線82[j+3]が結線され、配線80[2]を流れる電流IT[2]の電流値は、電流IO[j+2]と電流IO[j+3]の合計値となる。トランジスタ81_2をオンとした場合、配線82[j+1]と配線82[j+2]が結線され、配線80[1]を流れる電流IT[1]の電流値は、電流IO[j+1]と電流IO[j+2]の合計値となる。また、配線82[j+3]と配線82[j+4]が結線され、配線80[2]を流れる電流IT[2]の電流値は、電流IO[j+3]と電流IO[j+4]の合計値となる。なお、配線82[j+4]を流れる電流IO[j+4]は図示していない。
上記のように、トランジスタ81_1のオンオフ、およびトランジスタ81_2のオンオフを制御することにより、配線80[1]を介して撮像装置10の外部に出力される電流IT[1]、および配線80[2]を介して撮像装置10の外部に出力される電流IT[2]を、必要に応じて変更することができる。
次に、撮像装置10の動作方法の一例を、図4乃至図6を用いて説明する。なお、トランジスタ41乃至トランジスタ43はすべてnチャネル型トランジスタとする。また、配線VPDは低電位、配線VPRは高電位、配線VOは低電位とする。トランジスタ41乃至トランジスタ43のすべてまたは一部を例えばpチャネル型とした場合であっても、高電位と低電位を適宜入れ替えること等により、撮像装置10の動作方法の一例は、図4乃至図6を参照することができる。
本明細書において、低電位とは、例えば接地電位とすることができる。
図4は、撮像装置10の動作方法の一例を示すタイミングチャートである。なお、図4では、ノードNREF_1[i]、ノードNREF_2[i]、ノードNREF_1[i+1]、およびノードNREF_2[i+1]の電位をまとめて“NREF”として表している。以降の説明においても、ノードNREF_1[i]、ノードNREF_2[i]、ノードNREF_1[i+1]、およびノードNREF_2[i+1]をまとめてノードNREFと記載する場合がある。また、参照画素PREF_1[i]、参照画素PREF_2[i+1]、参照画素PREF_1[i+1]、および参照画素PREF_2[i+1]をまとめて参照画素PREFと記載する場合がある。
図4において、時刻T01乃至時刻T03は、画素Pおよび参照画素PREFにより撮像データを取得する動作に相当する。時刻T04乃至時刻T07は、畳み込み処理を行う動作に相当する。畳み込み処理は、図5に示す重みフィルタFILを用いて行われる。重みフィルタFILは、重み係数W[1,1]、重み係数W[1,2]、重み係数W[2,1]、および重み係数W[2,2]を有する。つまり、重みフィルタFILは、2行2列分の重み係数Wを有する。以上より、重みフィルタFILは、高さ(行数)が2、幅(列数)が2の重みフィルタと言うことができる。
図6(A)は、時刻T04乃至時刻T05で行われる演算の一例を説明する図であり、図6(B)は、時刻T06乃至時刻T07で行われる演算の一例を説明する図である。
時刻T01乃至時刻T02において、配線PRを高電位とすることによりトランジスタ42をオンとし、配線TXを高電位とすることによりトランジスタ41をオンとする。このとき、ノードNおよびノードNREFの電位は配線VPRの電位(VH)に設定される。なお、時刻T01乃至時刻T02において、配線75_1[i]、配線75_2[i]、配線75_1[i+1]、配線75_2[i+1]、配線71_1、および配線71_2は、例えば低電位とすることができる。
時刻T02乃至時刻T03において、配線PRを低電位とすることにより、トランジスタ42をオフとする。このとき、光電変換素子60に照射する光に応じて、ノードNの電位は低下する。なお、光電変換素子60に照射する光の照度が高い程、ノードNの電位は大きく低下する。
なお、参照画素PREFにおいて、光電変換素子60は遮光されているため、理想的にはノードNREFの電位はVHに保持される。しかしながら、実際には光電変換素子60には暗電流が流れるため、ノードNREFの電位はVHより僅かながら低下する。ただし、画素PにおけるノードNでも同様の暗電流による電位低下は発生する。また、画素PにおけるノードNと、参照画素PREFにおけるノードNREFとの電位差が出力データに寄与するため、上記暗電流による低下分を相殺する。したがって、明示的に考慮しなくてもよい。
時刻T03乃至時刻T04において、配線TXを低電位とすることにより、トランジスタ41をオフとする。これにより、撮像データの取得が完了し、ノードNの電位が保持される。ノードN[i,j]の電位はVH−VID[i,j]に保持され、ノードN[i,j+1]の電位はVH−VID[i,j+1]に保持され、ノードN[i,j+2]の電位はVH−VID[i,j+2]に保持され、ノードN[i,j+3]の電位はVH−VID[i,j+3]に保持され、ノードN[i+1,j]の電位はVH−VID[i+1,j]に保持され、ノードN[i+1,j+1]の電位はVH−VID[i+1,j+1]に保持され、ノードN[i+1,j+2]の電位はVH−VID[i+1,j+2]に保持され、ノードN[i+1,j+3]の電位はVH−VID[i+1,j+3]に保持される。ここで、VID[i,j]乃至VID[i+1,j+3]は、それぞれ配線PRを低電位としてから、配線TXを低電位とするまでにおける、ノードN[i,j]乃至ノードN[i+1,j+3]の電位降下分を表す。
時刻T04乃至時刻T05において、配線71_1を高電位とすることにより、トランジスタ81_1をオンとする。配線75_1[i]を電位VW[1,1]とし、配線75_2[i]を電位VW[1,2]とし、配線75_1[i+1]を電位VW[2,1]とし、配線75_2[i+1]を電位VW[2,2]とする。この場合、画素P[i,j]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i,j]は、トランジスタが飽和領域で動作し、ノードNの容量結合係数を1とすると、数式(1)で表すことができる。なお、電位VW[1,1]乃至電位VW[2,2]は、それぞれ図5に示すフィルタFILが有する重み係数W[1,1]乃至重み係数W[2,2]に対応する電位である。また、kは定数とし、Vthはトランジスタ43のしきい値電圧とする。
Figure 0006957210
同様に、画素P[i,j+1]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i,j+1]、画素P[i+1,j]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i+1,j]、および画素P[i+1,j+1]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i+1,j+1]は、それぞれ数式(2)乃至数式(4)で表すことができる。
Figure 0006957210
Figure 0006957210
Figure 0006957210
画素P[i,j+2]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i,j+2]、画素P[i,j+3]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i,j+3]、画素P[i+1,j+2]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i+1,j+2]、および画素P[i+1,j+3]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i+1,j+3]も、上記と同様に求めることができる。
また、画素PREF_1[i]が有するトランジスタ43のソースまたはドレインの他方に流れる電流IREF_1[i]、画素PREF_2[i]が有するトランジスタ43のソースまたはドレインの他方に流れる電流IREF_2[i]、画素PREF_1[i+1]が有するトランジスタ43のソースまたはドレインの他方に流れる電流IREF_1[i+1]、および画素PREF_2[i+1]が有するトランジスタ43のソースまたはドレインの他方に流れる電流IREF_2[i+1]は、それぞれ数式(5)乃至数式(8)で表すことができる。
Figure 0006957210
Figure 0006957210
Figure 0006957210
Figure 0006957210
配線77[j]乃至配線77[j+3]を流れる電流は、それぞれI[j]=I[i,j]+I[i+1,j]、I[j+1]=I[i,j+1]+I[i+1,j+1]、I[j+2]=I[i,j+2]+I[i+1,j+2]、I[j+3]=I[i,j+3]+I[i+1,j+3]で表すことができる。また、配線78_1を流れる電流IREF_1=IREF_1[i]+IREF_1[i+1]となり、配線78_2を流れる電流IREF_2=IREF_2[i]+IREF_2[i+1]となる。上記電流I[j]乃至電流I[j+3]に対して、アナログ処理回路24は、電流IREF_1または電流IREF_2を用いて処理を行うことができる。具体的には、電流IREFから電流Iを引き、さらにオフセット補正を行うことができる。当該処理後の電流である電流IO[j]乃至電流IO[j+3]は、それぞれ数式(9)乃至数式(12)で表すことができる。なお、電流Ioffset[j]乃至電流Ioffset[j+3]は、電流I[j]乃至電流I[j+3]に対応するオフセット電流を表す。
Figure 0006957210
Figure 0006957210
Figure 0006957210
Figure 0006957210
また、トランジスタ81_1がオンとなっており、トランジスタ81_2がオフとなっているので、配線80[1]を流れる電流IT[1]=IO[j]+IO[j+1]、配線80[2]を流れる電流IT[2]=IO[j+2]+IO[j+3]となる。以上より、電流IT[1]は数式(13)で表され、電流IT[2]は数式(14)で表される。
Figure 0006957210
Figure 0006957210
時刻T04乃至時刻T05において行う演算について、図6(A)を用いて説明する。図6(A)において、画素P[i,j]乃至画素P[i+1,j+4]により保持された画像データを、それぞれ撮像データID[i,j]乃至撮像データID[i+1,j+4]と表す。つまり、撮像データID[i,j]乃至撮像データID[i+1,j+4]は、それぞれ電位VH−VID[i,j]乃至VH−VID[i+1,j+4]に対応する画像データである。なお、後述する図6(B)においても同様とする。
図6(A)に示すように、画素P[i,j]、画素P[i,j+1]、画素P[i+1,j]、および画素P[i+1,j+1]に対して、フィルタFILを用いた畳み込み処理を行うことにより、畳み込みデータCD1を取得する。また、画素P[i,j+2]、画素P[i,j+3]、画素P[i+1,j+2]、および画素P[i+1,j+3]に対して、フィルタFILを用いた畳み込み処理を行うことにより、畳み込みデータCD2を取得する。畳み込みデータCD1は、数式(15)で表すことができ、畳み込みデータCD2は、数式(16)で表すことができる。つまり、撮像データIDと重み係数Wを用いた積和演算を行うことができる。なお、畳み込みデータCD1の取得と、畳み込みデータCD2の取得は、並行して行うことができる。
Figure 0006957210
Figure 0006957210
本明細書等において、畳み込みデータは、例えば画像データ、特に画像処理後の画像データとすることができる。
時刻T05乃至時刻T06において、配線75_1[i]、配線75_2[i]、配線75_1[i+1]、配線75_2[i+1]を、例えば低電位とする。また、配線71_1を低電位とすることにより、トランジスタ81をオフとする。これにより、図6(A)に示す演算処理が完了する。
時刻T06乃至時刻T07において、配線71_2を高電位とすることにより、トランジスタ81_2をオンとする。配線75_1[i]を電位VW[1,2]とし、配線75_2[i]を電位VW[1,1]とし、配線75_1[i+1]を電位VW[2,2]とし、配線75_2[i+1]を電位VW[2,1]とする。この場合、画素P[i,j+1]が有するトランジスタ43のソースまたはドレインの他方に流れる電流I[i,j+1]は、数式(17)で表すことができる。なお、数式(1)等と同様に、kは定数、Vthはトランジスタ43のしきい値電圧とし、トランジスタ43は飽和領域で動作し、ノードNの容量結合係数は1とする。他の画素Pが有するトランジスタ43のソースまたはドレインの他方に流れる電流も、同様に求めることができる。
Figure 0006957210
また、画素PREF_2[i]が有するトランジスタ43のソースまたはドレインの他方に流れる電流IREF_2[i]は、数式(18)で表すことができる。他の画素PREFが有するトランジスタ43のソースまたはドレインの他方に流れる電流も、同様に求めることができる。
Figure 0006957210
アナログ処理回路24により処理を行った後の電流である電流IO[j+1]は、数式(19)で表すことができる。電流IO[j+2]乃至電流IO[j+4]等についても、同様に求めることができる。
Figure 0006957210
また、トランジスタ81_1がオフとなっており、トランジスタ81_2がオンとなっているので、配線80[1]を流れる電流IT[1]=I[j+1]+I[j+2]、配線80[2]を流れる電流IT[2]=I[j+3]+I[j+4]となる。以上より、電流IT[1]は数式(20)で表され、電流IT[2]は数式(21)で表される。
Figure 0006957210
Figure 0006957210
時刻T06乃至時刻T07において行う演算について、図6(B)を用いて説明する。図6(B)に示すように、画素P[i,j+1]、画素P[i,j+2]、画素P[i+1,j+1]、および画素P[i+1,j+2]に対して、フィルタFILを用いた畳み込み処理を行うことにより、畳み込みデータCD3を取得する。また、画素P[i,j+3]、画素P[i,j+4]、画素P[i+1,j+3]、および画素P[i+1,j+4]に対して、フィルタFILを用いた畳み込み処理を行うことにより、畳み込みデータCD4を取得する。畳み込みデータCD3は、数式(22)で表すことができ、畳み込みデータCD4は、数式(23)で表すことができる。つまり、積和演算を行うことができる。なお、畳み込みデータCD3の取得と、畳み込みデータCD4の取得は、並行して行うことができる。
Figure 0006957210
Figure 0006957210
以上より、時刻T06乃至時刻T07は、時刻T04乃至時刻T05よりフィルタを1列分スライドさせて、畳み込みデータを取得する期間ということができる。つまり、ストライド幅を1としている。ストライド幅を1とする場合、i行目の画素Pと、i+1行目の画素Pと、に対する畳み込み処理が全列において完了した場合は、i+1行目の画素Pと、i+2行目の画素Pと、に対する畳み込み処理を行う。
以上の動作を繰り返し、例えばすべての画素Pに対して畳み込み処理を行って畳み込みデータを取得することにより、撮像データの特徴を抽出して推論を行い、これにより画像処理を行うことができる。
なお、図6(A)、(B)では、1種類のフィルタFILを用いて畳み込み処理を行った場合を示したが、複数のフィルタFILを用いてもよい。また、ストライド幅を2以上としてもよい。
また、例えば撮像データIDを取得後に、エッジパディングまたはゼロパディング等を行い、その後畳み込み処理を行ってもよい。これにより、畳み込みデータが、撮像データIDより減衰することを抑制することができる。
また、フィルタFILは、2行2列分の重み係数Wを有するとしたが、1行分の画素Pあたりの配線75の本数を、フィルタFILが有する重み係数Wの列数と同数とすることにより、フィルタFILが3行3列分以上の重み係数Wを有してもよい。例えば、配線75_1および配線75_2の他、配線75をもう1本設けることにより、フィルタFILが3列分の重み係数Wを有する構成とすることができる。フィルタが有する重み係数の数を増加させる、つまりフィルタを大きくすることにより、複雑な特徴を抽出ことができるようになる。これにより、画像処理を行う際の推論の精度が向上し、より性格に画像処理を行うことができるようになる。
なお、フィルタFILが有する重み係数Wの行数と列数は、等しくなくてもよい。例えば、フィルタFILが、2行3列分の重み係数を有してもよい。
図7は、図1に示すアナログ処理回路24の構成例である。アナログ処理回路24は電流ソース回路13、電流シンク回路14、および電流源回路16を有する。電流ソース回路13および電流シンク回路14は、配線77と電気的に接続されており、電流源回路16は、配線77および配線78と電気的に接続されている。アナログ処理回路24には、例えば配線77と同数の電流ソース回路13および電流シンク回路14を設けることができ、配線78と同数の電流源回路16を設けることができる。図7では、配線77[j]と電気的に接続された電流ソース回路13[j]および電流シンク回路14[j]、配線77[j+2]と電気的に接続された電流ソース回路13[j+2]および電流シンク回路14[j+2]、配線78_1と電気的に接続された電流源回路16の構成例を示している。なお、アナログ処理回路24が図7に示す構成である場合、配線82[j]は、ノードCN[j]で配線77[j]と電気的に接続されており、ノードCN[j+2]で配線77[j+2]と電気的に接続されている。
図7に示す構成のアナログ処理回路24において、電流ソース回路13[j]および電流シンク回路14[j]は、配線79[j]と電気的に接続され、配線79[j]は、ノードCN[j]で配線77[j]と電気的に接続されている。また、電流ソース回路13[j+2]および電流シンク回路14[j+2]は、配線79[j+2]と電気的に接続され、配線79[j+2]は、ノードCN[j+2]で配線77[j+2]および配線82[j+2]と電気的に接続されている。また、電流源回路16は、配線78_1、配線79[j]および配線79[j+2]と電気的に接続されている。
なお、アナログ処理回路24には、図7に示す電流源回路16の他、配線78_2と電気的に接続された電流源回路16が設けられている。当該電流源回路16は、配線77[j+1]および配線77[j+3]等と電気的に接続されている。また、配線77[j+1]は、電流ソース回路13[j+1]および電流シンク回路14[j+1]と電気的に接続され、配線77[j+3]は、電流ソース回路13[j+3]および電流シンク回路14[j+3]と電気的に接続されている。
図7に示す電流源回路16は、配線78_1に電流IREF_1を供給する機能を有する。また、電流源回路16は、電流IREF_1と同じ電流、または電流IREF_1に応じた電流を、配線79[j]および配線79[j+2]のそれぞれに供給する機能を有する。電流ソース回路13[j]および電流シンク回路14[j]により、電流源回路16から配線79[j]に供給された電流に対してオフセット補正を行うことができる。また、電流ソース回路13[j+2]および電流シンク回路14[j+2]により、電流源回路16から配線79[j+2]に供給された電流に対してオフセット補正を行うことができる。
電流ソース回路13[j]および電流ソース回路13[j+2]は、トランジスタ47乃至トランジスタ49と、容量素子53とをそれぞれ有する。電流ソース回路13[j]において、トランジスタ47は、電流I[j]が電流IREF_1よりも大きい場合に、電流I[j]と電流IREF_1の差分に相当する電流ICM[j]を生成する機能を有する。また、電流ソース回路13[j+2]において、トランジスタ47は、電流I[j+2]が電流IREF_1よりも大きい場合に、電流I[j+2]と電流IREF_1の差分に相当する電流ICM[j+2]を生成する機能を有する。電流ICM[j]は、前述のIoffset[j]に相当し、電流ICM[j+2]は、前述のIoffset[j+2]に相当する。電流ICM[j]は、電流ソース回路13[j]から配線79[j]に供給され、電流ICM[j+2]は、電流ソース回路13[j+2]から配線79[j+2]に供給される。以上より、電流ソース回路13[j]は、電流I[j]が電流IREF_1よりも大きい場合にオフセット補正を行う機能を有する回路であるということができる。また、電流ソース回路13[j+2]は、電流I[j+2]が電流IREF_1よりも大きい場合にオフセット補正を行う機能を有する回路であるということができる。
電流ソース回路13[j]において、トランジスタ47のソースまたはドレインの一方、およびトランジスタ48のソースまたはドレインの一方は、配線79[j]と電気的に接続されている。また、電流ソース回路13[j+2]において、トランジスタ47のソースまたはドレインの一方、およびトランジスタ48のソースまたはドレインの一方は、配線79[j+2]と電気的に接続されている。電流ソース回路13[j]および電流ソース回路13[j+2]において、トランジスタ47のゲートは、トランジスタ48のソースまたはドレインの他方、トランジスタ49のソースまたはドレインの一方、および容量素子53の一方の電極と電気的に接続されている。トランジスタ47のソースまたはドレインの他方、トランジスタ49のソースまたはドレインの他方、および容量素子53の他方の電極は、それぞれ電源線と電気的に接続されている。
トランジスタ48のゲートは配線OSMに電気的に接続されており、トランジスタ49のゲートは配線ORMに電気的に接続されている。配線ORMを高電位としてトランジスタ49をオンとすることにより、容量素子53によりトランジスタ47のゲートに印加される電位が、トランジスタ49のソースまたはドレインの他方と電気的に接続された電源線の電位となる。当該電源線の電位は、例えば高電位とすることができ、この場合、容量素子53によりトランジスタ47のゲートに印加される電位は高電位となる。これにより、トランジスタ47のゲートに印加される電位がリセットされる。
トランジスタ47のゲートに印加される電位をリセットした後、配線ORMを低電位としてトランジスタ49をオフとし、配線OSMを高電位としてトランジスタ48をオンとする。これにより、配線79に流れる電流に対応する電位を容量素子53に書き込むことができる。つまり、例えば電流IREF_1に対応する電位を容量素子53に書き込むことができる。なお、トランジスタ48をオンとすることにより容量素子53に書き込まれた電位を、オフセット電位ということができる。
容量素子53にオフセット電位を書き込んだ後、配線OSMを低電位としてトランジスタ48をオフとする。これにより、容量素子53にオフセット電位が保持される。
容量素子53にオフセット電位を保持することにより、電流ソース回路13はオフセット補正を行う機能を有することができる。具体的には、電流ソース回路13[j]は、電流I[j]が電流IREF_1よりも大きい場合にオフセット補正を行う機能を有することができる。また、電流ソース回路13[j+2]は、電流I[i+2]が電流IREF_1よりも大きい場合にオフセット補正を行う機能を有することができる。
なお、図7では、トランジスタ47がpチャネル型であり、トランジスタ48および49がnチャネル型である場合を例示している。
また、電流シンク回路14[j]および電流シンク回路14[j+2]は、トランジスタ44乃至トランジスタ46と、容量素子52とを有する。オフセットの電流を設定する際に、電流シンク回路14[j]において、トランジスタ44は、電流I[j]が電流IREF_1よりも小さい場合に、電流IREF_1と電流I[j]の差分に相当する電流ICP[j]を生成する機能を有する。また、電流シンク回路14[j+2]において、トランジスタ44は、電流I[j+2]が電流IREF_1よりも小さい場合に、電流IREF_1と電流I[j+2]の差分に相当する電流ICP[j+2]を生成する機能を有する。電流ICP[j]は、前述のIoffset[j]に相当し、電流ICP[j+2]は、前述のIoffset[j+2]に相当する。電流ICP[j]および電流ICP[j+2]は、配線79[j]および配線79[j+2]から電流シンク回路14[j]および電流シンク回路14[j+2]に引き込まれる。以上より、電流シンク回路14[j]は、電流I[j]が電流IREF_1よりも小さい場合にオフセット補正を行う機能を有する回路であるということができる。また、電流シンク回路14[j+2]は、電流I[j+2]が電流IREF_1よりも小さい場合にオフセット補正を行う機能を有する回路であるということができる。
電流シンク回路14[j]において、トランジスタ44のソースまたはドレインの一方、およびトランジスタ45のソースまたはドレインの一方は、配線79[j]と電気的に接続されている。また、電流シンク回路14[j+2]において、トランジスタ44のソースまたはドレインの一方、およびトランジスタ45のソースまたはドレインの一方は、配線79[j+2]と電気的に接続されている。電流シンク回路14[j]および電流シンク回路14[j+2]において、トランジスタ44のゲートは、トランジスタ45のソースまたはドレインの他方、トランジスタ46のソースまたはドレインの一方、および容量素子52の一方の電極と電気的に接続されている。トランジスタ44のソースまたはドレインの他方、トランジスタ46のソースまたはドレインの他方、および容量素子52の他方の電極は、電源線と電気的に接続されている。
トランジスタ45のゲートは配線OSPに電気的に接続されており、トランジスタ46のゲートは配線ORPに電気的に接続されている。配線ORPを高電位としてトランジスタ46をオンとすることにより、容量素子52によりトランジスタ44のゲートに印加される電位が、トランジスタ46のソースまたはドレインの他方と電気的に接続された電源線の電位となる。当該電源線の電位は、例えば低電位とすることができ、この場合、容量素子52によりトランジスタ44のゲートに印加される電位は低電位となる。これにより、トランジスタ44のゲートに印加される電位がリセットされる。
トランジスタ44のゲートに印加される電位をリセットした後、配線ORPを低電位としてトランジスタ46をオフとし、配線OSPを高電位としてトランジスタ45をオンとする。これにより、配線79に流れる電流に対応する電位を容量素子52に書き込むことができる。つまり、例えば電流IREF_1に対応する電位を容量素子52に書き込むことができる。なお、トランジスタ45をオンとすることにより容量素子52に書き込まれた電位を、オフセット電位ということができる。
容量素子52にオフセット電位を書き込んだ後、配線OSPを低電位としてトランジスタ45をオフとする。これにより、容量素子52にオフセット電位が保持される。
容量素子52にオフセット電位を保持することにより、電流シンク回路14はオフセット補正を行う機能を有することができる。具体的には、電流シンク回路14[j]は、電流I[j]が電流IREF_1よりも小さい場合にオフセット補正を行う機能を有することができる。また、電流シンク回路14[j+2]は、電流I[i+2]が電流IREF_1よりも小さい場合にオフセット補正を行う機能を有することができる。
なお、図7では、トランジスタ44乃至46がnチャネル型である場合を例示している。
また、電流源回路16は、例えば配線79と同数のトランジスタ50を有する。図7では、電流源回路がトランジスタ50[j]およびトランジスタ50[j+2]を有し、トランジスタ50[j]のソースまたはドレインの一方が配線79[j]と電気的に接続され、トランジスタ50[j+2]のソースまたはドレインの一方が配線79[j+2]と電気的に接続されている場合を示している。
また、電流源回路16は、トランジスタ51を有し、トランジスタ51のソースまたはドレインの一方は、配線78_1と電気的に接続されている。配線78_1は、トランジスタ50[j]のゲート、トランジスタ50[j+2]のゲート、およびトランジスタ51のゲートと電気的に接続されている。トランジスタ50[j]のソースまたはドレインの他方、トランジスタ50[j+2]のソースまたはドレインの他方、およびトランジスタ51のソースまたはドレインの他方は、電源線と電気的に接続されている。
トランジスタ50とトランジスタ51とは、同じ極性を有している。図7では、トランジスタ50とトランジスタ51とが、共にpチャネル型を有する場合を例示している。
トランジスタ51のドレイン電流は電流IREF_1に相当する。トランジスタ50とトランジスタ51とはカレントミラー回路としての機能を有するため、トランジスタ50のドレイン電流は、トランジスタ51のドレイン電流とほぼ同じ値、またはトランジスタ51のドレイン電流に応じた値となる。
なお、図7に示した電流ソース回路13[j]と電流シンク回路14[j]の間にスイッチを設けても良い。また、電流ソース回路13[j+2]と電流シンク回路14[j+2]の間にスイッチを設けてもよい。また、電流源回路16が有するトランジスタ51と、画素PREF_1との間にスイッチを設けてもよい。以上により、アナログ処理回路24の誤動作を抑制することができる。
電流ソース回路13[j+1]および電流シンク回路14[j+1]に関しては、jをj+1と読みかえ、配線78_1および電流IREF_1をそれぞれ配線78_2および電流IREF_2と読み替えることにより、上記説明を参照することができる。また、電流ソース回路13[j+3]および電流シンク回路14[j+3]に関しては、j+2をj+3と読みかえ、配線78_1および電流IREF_1をそれぞれ配線78_2および電流IREF_2と読み替えることにより、上記説明を参照することができる。
本発明の一態様の撮像装置では、A/D変換回路または画像処理回路によるデジタル演算処理等を行うことなく、アナログデータである撮像データに対して画像処理を行うことができる。特に、CNN等のニューラルネットワークを用いた画像処理を、デジタル演算処理等を経ずに行うことができる。これにより、本発明の一態様の撮像装置を低消費電力化し、また高速に動作させることができる。
本実施の形態は、他の実施の形態に記載した構成と適宜組み合わせて実施することができる。
(実施の形態2)
本実施の形態では、本発明の一態様の撮像装置に利用できるニューラルネットワークの種類の1つとして、階層型のニューラルネットワークについて説明する。
図8は、階層型のニューラルネットワークの一例を示した図である。第(k−1)層(ここでのkは2以上の整数である。)は、ニューロンをP個(ここでのPは1以上の整数である。)有し、第k層は、ニューロンをQ個(ここでのQは1以上の整数である。)有し、第(k+1)層は、ニューロンをR個(ここでのRは1以上の整数である。)有する。
第(k−1)層の第pニューロン(ここでのpは1以上P以下の整数である。)の出力信号z (k−1)と重み係数wqp (k)と、の積が第k層の第qニューロン(ここでのqは1以上Q以下の整数である。)に入力されるものとし、第k層の第qニューロンの出力信号z (k)と重み係数wrq (k+1)と、の積が第(k+1)層の第rニューロン(ここでのrは1以上R以下の整数である。)に入力されるものとし、第(k+1)層の第rニューロンの出力信号をz (k+1)とする。
このとき、第k層の第qニューロンへ入力される信号の総和は、次の式で表される。
Figure 0006957210
また、第k層の第qニューロンからの出力信号z (k)を次の式で定義する。
Figure 0006957210
関数f(u (k))は、活性化関数であり、ステップ関数、線形ランプ関数、またはシグモイド関数等を用いることができる。なお、式(D1)の積和演算は、乗算回路および加算回路等によって実現できる。なお、式(D2)の演算は、例えば、図11(A)に示す回路171によって実現できる。
なお、活性化関数は、全てのニューロンにおいて同一でもよいし、または異なっていてもよい。加えて、ニューロンの出力関数は、層毎において、同一でもよいし、異なっていてもよい。
ここで、図9に示す、全L層からなる階層型のニューラルネットワークを考える(つまり、ここでのkは2以上(L−1)以下の整数とする。)。第1層は、階層型のニューラルネットワークの入力層となり、第L層は、階層型のニューラルネットワークの出力層となり、第2層乃至第(L−1)層は、隠れ層となる。
第1層(入力層)は、ニューロンをP個有し、第k層(隠れ層)は、ニューロンをQ[k]個(Q[k]は1以上の整数である。)有し、第L層(出力層)は、ニューロンをR個有する。
第1層の第s[1]ニューロン(s[1]は1以上P以下の整数である。)の出力信号をzs[1] (1)とし、第k層の第s[k]ニューロン(s[k]は1以上Q[k]以下の整数である。)の出力信号をzs[k] (k)とし、第L層の第s[L]ニューロン(s[L]は1以上R以下の整数である。)の出力信号をzs[L] (L)とする。
また、第(k−1)層の第s[k−1]ニューロン(s[k−1]は1以上Q[k−1]以下の整数である。)の出力信号zs[k−1] (k−1)と重み係数ws[k]s[k−1] (k)と、の積us[k] (k)が第k層の第s[k]ニューロンに入力されるものとし、第(L−1)層の第s[L−1]ニューロン(s[L−1]は1以上Q[L−1]以下の整数である。)の出力信号zs[L−1] (L−1)と重み係数ws[L]s[L−1] (L)と、の積us[L] (L)が第L層の第s[L]ニューロンに入力されるものとする。
次に、教師付き学習について説明する。教師付き学習とは、上述の階層型のニューラルネットワークの機能において、出力した結果と、所望の結果(教師データ、または教師信号という場合がある。)と異なったときに、階層型のニューラルネットワークの全ての重み係数を、出力した結果と所望の結果とに基づいて、更新する動作をいう。
教師付き学習の具体例として、誤差逆伝播方式による学習方法について説明する。図10は、誤差逆伝播方式による学習方法を説明する図である。誤差逆伝播方式は、階層型のニューラルネットワークの出力と教師データとの誤差が小さくなるに、重み係数を変更する方式である。
例えば、第1層の第s[1]ニューロンに入力データを入力し、第L層の第s[L]ニューロンから出力データzs[L] (L)を出力されたとする。ここで、出力データzs[L] (L)に対する教師信号をts[L]としたとき、誤差エネルギーEは、出力データzs[L] (L)および教師信号ts[L]によって表すことができる。
誤差エネルギーEに対して、第k層の第s[k]ニューロンの重み係数ws[k]s[k−1] (k)の更新量を∂E/∂ws[k]s[k−1] (k)とすることで、新たに重み係数を変更することができる。ここで、第k層の第s[k]ニューロンの出力値zs[k] (k)の誤差δs[k] (k)を∂E/∂us[k] (k)と定義すると、δs[k] (k)および∂E/∂ws[k]s[k−1] (k)は、それぞれ次の式で表すことができる。
Figure 0006957210
Figure 0006957210
f’(us[k] (k))は、ニューロン回路の出力関数の導関数である。なお、式(D3)の演算は、例えば、図11(B)に示す回路173によって実現できる。また、式(D4)の演算は、例えば、図11(C)に示す回路174によって実現できる。出力関数の導関数は、例えば、オペアンプの出力端子に所望の導関数に対応した演算回路を接続することによって実現できる。
また、例えば、式(D3)のΣws[k+1]・s[k] (k+1)・δs[k+1] (k+1)の部分の演算は、加算回路、および乗算回路によって実現できる。
ここで、第(k+1)層が出力層のとき、すなわち、第(k+1)層が第L層であるとき、δs[L] (L)および∂E/∂ws[L]s[L−1] (L)は、それぞれ次の式で表すことができる。
Figure 0006957210
Figure 0006957210
式(D5)の演算は、図11(D)に示す回路175によって実現できる。また、式(D6)の演算は、図11(C)に示す回路174によって実現できる。
つまり、式(D1)乃至式(D6)により、全てのニューロン回路の誤差δs[k] (k)およびδs[L] (L)を求めることができる。なお、重み係数の更新は、誤差δs[k] (k)、δs[L] (L)および所望のパラメータ等に基づいて、設定される。
以上のように、図11(A)乃至図11(D)に示す回路、および後述する積和演算回路MACを用いることによって、教師付き学習を適用した階層型のニューラルネットワークの計算を行うことができる。
図12は、階層型ニューラルネットワークの回路の構成例を示したブロック図である。
NN(ニューラルネットワーク)回路180は、入力端子PDL[1]乃至入力端子PDL[l](ここでのlは1以上の整数である。)、出力端子PDR[1]乃至出力端子PDR[n](ここでのnは1以上の整数である。)、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]、配線L[1]乃至配線L[l]、配線P[1]乃至配線P[m]、配線R[1]乃至配線R[n]、配線Q[1]乃至配線Q[m]、複数のプログラマブルスイッチPSW1、複数のプログラマブルスイッチPSW2、および複数のプログラマブルスイッチPSW3を有する。
なお、図12に示すNN回路180では、入力端子PDL[1]、入力端子PDL[2]、入力端子PDL[l]、出力端子PDR[1]、出力端子PDR[2]、出力端子PDR[n]、プログラマブルロジックエレメントPLE[1]、プログラマブルロジックエレメントPLE[2]、プログラマブルロジックエレメントPLE[m]、配線L[1]、配線L[2]、配線L[l]、配線P[1]、配線P[2]、配線P[m]、配線R[1]、配線R[2]、配線R[n]、配線Q[1]、配線Q[2]、配線Q[m]、プログラマブルスイッチPSW1、プログラマブルスイッチPSW2、プログラマブルスイッチPSW3、後述するスイッチ回路SWCのみを図示しており、それら以外の回路、素子、配線、符号を省略している。
つまり、本発明の一態様は、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]、およびプログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3を用いた、マルチコンテキスト方式のプログラマブルな演算処理装置である。具体的には後述するが、当該演算処理装置は、階層型の人工ニューラルネットワークにおいて、各階層間のネットワークの接続状態を各コンテキストに対応させており、コンテキストを順次切り替えることによって、人工ニューラルネットワークの演算処理を行う。
入力端子PDL[i](ここでのiは1以上l以下の整数である。)は、配線L[i]と電気的に接続されている。出力端子PDR[k](ここでのkは1以上n以下の整数である。)は、配線R[1]乃至配線R[n]のそれぞれと、プログラマブルスイッチPSW3を介して、電気的に接続されている。プログラマブルロジックエレメントPLE[j](ここでのjは1以上m以下の整数である。)の第1端子は、配線Q[j]と電気的に接続され、配線Q[j]は、配線L[1]乃至配線L[l]のそれぞれと、プログラマブルスイッチPSW2を介して、電気的に接続されている。また、配線Q[j]は、配線P[1]乃至配線P[m]のそれぞれと、プログラマブルスイッチPSW1を介して、電気的に接続されている。プログラマブルロジックエレメントPLE[j]の第2端子は、配線R[j]と電気的に接続されている。配線P[1]乃至P[m]のそれぞれは、配線R[1]乃至R[n]のそれぞれと電気的に接続されている。
NN回路180が有するプログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3は、後述するコンフィギュレーションメモリCMSに格納されたコンフィギュレーションデータによって、導通状態、非導通状態を切り替えることができるスイッチである。なお、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3のそれぞれは、スイッチ回路SWCを有する。また、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3の詳細については、後述する。
プログラマブルロジックエレメントPLEは、図13(A)に示す演算処理回路を有する。演算処理回路190は、入力端子In[1]乃至入力端子In[s](ここでのsは1以上の整数である。)と、出力端子OUTと、乗算回路MLT[1]乃至乗算回路MLT[s]と、加算回路ADと、活性化関数回路FCと、保持回路KCと、コンフィギュレーションメモリCMW[1]乃至コンフィギュレーションメモリCMW[s]と、コンフィギュレーションメモリCMFと、を有する。なお、コンフィギュレーションメモリCMW[1]乃至コンフィギュレーションメモリCMW[s]は一つのコンフィギュレーションメモリとしてもよい。また、コンフィギュレーションメモリCMW[1]乃至コンフィギュレーションメモリCMW[s]と、コンフィギュレーションメモリCMFと、は一つのコンフィギュレーションメモリとしてもよい。
入力端子In[h](ここでのhは1以上s以下の整数である。)は、乗算回路MLT[h]の入力端子と電気的に接続され、乗算回路MLT[h]の出力端子は、加算回路ADの入力端子と電気的に接続されている。加算回路ADの出力端子は、活性化関数回路FCの入力と電気的に接続されている。活性化関数回路FCの出力端子は、保持回路KCの端子TA1と電気的に接続されている。保持回路KCの端子TA2は、出力端子OUTと電気的に接続されている。
乗算回路MLT[h]は、コンフィギュレーションメモリCMW[h]に保持されているデータ(以後、重み係数と呼称する。)を乗数とし、入力端子In[h]に入力された入力信号を被乗数とする乗算を行う回路である。加算回路ADは、乗算回路MLT[1]乃至乗算回路MLT[s]から出力されるそれぞれの乗算結果の和を計算する回路である。つまり、乗算回路MLT[1]乃至乗算回路MLT[s]、および加算回路ADによって、積和演算回路が構成されている。
活性化関数回路FCは、入力端子に入力された信号、つまり積和演算結果に対して、コンフィギュレーションメモリCMFに保持されているデータにより定義された関数系に従った演算を行う回路である。当該関数系としては、例えば、シグモイド関数、tanh関数、softmax関数、ReLU関数、しきい値関数等を用いることができる。
保持回路KCは、活性化関数回路FCから出力された演算結果を端子TA1から取得し、当該演算結果を一時的に保持する機能と、一時的に保持した演算結果を端子TA2に出力する機能とを有する。加えて、保持回路KCは、端子CKTに入力されるクロック信号CLKに応じて、上述した2つの機能を切り替えることができる。
例えば、クロック信号CLKが高レベル電位であるとき、保持回路KCは、端子TA1から入力された電位を保持することができ、クロック信号CLKが低レベル電位であるとき、保持回路KCは、端子TA2から出力端子OUTに、該電位を出力することができる。
演算処理回路190はデジタルデータを扱う回路である場合、保持回路KCは、例えば、フリップフロップ回路を適用することができる。
また、演算処理回路190はアナログデータを扱う回路である場合、一例として、図13(B)に示す保持回路KCを適用することができる。図13(B)に示す保持回路KCは、サンプルホールド回路であり、トランジスタTrAと、トランジスタTrBと、容量素子CPと、アンプAMPと、NOT回路NLと、を有する。
トランジスタTrAの第1端子は、端子TA1と電気的に接続され、トランジスタTrAの第2端子は、容量素子CPの第1端子と電気的に接続され、トランジスタTrAのゲートは、端子CKTと電気的に接続されている。アンプAMPの入力端子は、トランジスタTrの第2端子と電気的に接続され、アンプAMPの出力端子は、トランジスタTrBの第1端子と電気的に接続されている。トランジスタTrBの第2端子は、端子TA2と電気的に接続されている。NOT回路NLの入力端子は、端子CKTと電気的に接続され、NOT回路NLの出力端子は、トランジスタTrBのゲートと電気的に接続されている。容量素子CPの第2端子は、配線GNDと電気的に接続されている。なお、トランジスタTrAの第2端子と、アンプAMPの入力端子と、容量素子の第1端子の接続点を、ノードNとする。
アンプAMPは、入力端子に入力された信号を1倍に増幅して、出力端子に増幅した信号を出力する機能を有する。
配線GNDは、基準電位を与える配線である。
端子CKTに入力されるクロック信号CLKが高レベル電位であるとき、トランジスタTrAは導通状態となり、トランジスタTrBは非導通状態となる。このとき、端子TA1から入力された信号は、トランジスタTrAを介して、アンプAMPに入力される。このため、アンプAMPは該信号を増幅して、アンプAMPの出力端子から増幅した信号を出力する。なお、トランジスタTrBは非導通状態であるため、増幅した信号は、端子TA2から出力されない。
また、ノードNの電位は、容量素子CPによって、保持される。このとき、ノードNの電位は、端子TA1から入力された信号の電位となる。
端子CKTに入力されるクロック信号CLKが低レベル電位であるとき、トランジスタTrAは非導通状態となり、トランジスタTrBは導通状態となる。ノードNの電位は、トランジスタTrAが非導通状態となっているので、該電位の変化はない。アンプAMPは、ノードNの電位をトランジスタTrBの第1端子に出力をする。トランジスタTrBは導通状態となっているため、ノードNの電位、つまりクロック信号CLKが高レベル電位のときに端子TA1から入力された信号の電位が、端子TA2から出力される。
トランジスタTrA、および/またはトランジスタTrBは、OSトランジスタであることが好ましい。特に、該OSトランジスタは、チャネル形成領域にインジウム、元素M(元素Mとしては、アルミニウム、ガリウム、イットリウム、スズ等が挙げられる。)、亜鉛の少なくとも一を有する酸化物であることが好ましい。これにより、トランジスタのオフ電流を非常に低くすることができる。このため、トランジスタのオフ電流による電荷のリークの影響を低くすることができる。
なお、図13(A)では、入力端子In[1]、入力端子In[2]、入力端子In[s]、乗算回路MLT[1]、乗算回路MLT[2]、乗算回路MLT[s]、コンフィギュレーションメモリCMW[1]、コンフィギュレーションメモリCMW[2]、コンフィギュレーションメモリCMW[s]、コンフィギュレーションメモリCMF、加算回路AD、活性化関数回路FC、保持回路KC、端子TA1、端子TA2、端子CKT、出力端子OUT、およびクロック信号CLKのみを図示しており、それら以外の回路、素子、配線、符号を省略している。
なお、積和演算回路の保持回路KCは、上述の構成に限定されない。場合によって、または、状況に応じて、保持回路KCの構成を適宜変更することができる。
なお、演算処理回路190が有するコンフィギュレーションメモリCMW[1]乃至CM[s]およびコンフィギュレーションメモリCMFと、後述するプログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3の状態を設定するコンフィギュレーションメモリCMSと、はそれぞれ異なる駆動回路によって、データの書き込みを行う構成としてもよい。つまり、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3のコンフィギュレーションCMSのデータを更新せずに、積和演算回路のコンフィギュレーションメモリCMW[1]乃至CM[s]およびコンフィギュレーションメモリCMFのデータの更新を繰り返し行うことができる。これにより、人工ニューラルネットワークにおいて、効率的な学習が可能となる。
更に、コンフィギュレーションメモリを複数セット有するマルチコンテキスト方式として、各コンテキストにおけるコンフィギュレーションデータに人工ニューラルネットワークの各層の積和演算の重み係数を対応する場合、コンテキストの切り替えを行うことによって、少ない回路資源で各層の積和演算を順次実行することができる。
なお、上述では、1つのプログラマブルロジックエレメントが単独の演算処理回路190を有する構成として説明をしたが、複数のプログラマブルロジックエレメントおよび当該プログラマブルロジックエレメント間を接続するプログラマブルスイッチによって、1つの積和演算回路を構成することも可能である。
次に、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3の構成について説明する。図14(A)は、NN回路180において、配線Q[j]と、プログラマブルスイッチPSW1と、プログラマブルスイッチPSW2と、プログラマブルロジックエレメントPLE[j]と、の接続例について示し、図14(B)は、スイッチ回路SWCの構成例を示している。
なお、図14(A)において、配線Q[j]は、配線q[1]乃至配線q[s]から構成されている。さらに、図14(A)において、プログラマブルロジックエレメントPLE[j]の第1端子は、図13(A)で説明した演算処理回路190の端子In[1]乃至端子In[s]としている。つまり、図14(A)において、配線q[h]は、端子In[h]と電気的に接続されている。
また、図14(A)では、配線q[1]乃至配線q[s]は、プログラマブルスイッチPSW1を介して、配線”0”と電気的に接続されている。配線”0”は、0の値の信号(信号の電位が基準電位)を供給する配線である。
図14(A)に示す構成例において、プログラマブルスイッチPSW1およびプログラマブルスイッチPSW2はスイッチ回路SWCを有する。スイッチ回路SWCの構成例を図14(B)に示す。スイッチSWの第1端子は、配線q[h]と電気的に接続され、スイッチSWの第2端子は、配線Xと電気的に接続されている。なお、配線Xは、配線”0”、配線L[1]乃至配線L[l]、配線P[1]乃至配線P[m]のいずれか一の配線である。スイッチSWは、コンフィギュレーションメモリCMSが保持するデータによって、導通状態、非導通状態を決定する。
つまり、図14(A)に記載するプログラマブルスイッチPSW1、およびプログラマブルスイッチPSW2のそれぞれは、コンフィギュレーションメモリCMSのデータによって、導通状態、非導通状態となる。つまり、コンフィギュレーションメモリCMSのデータによって、配線”0”、配線L[1]乃至配線L[l]、配線P[1]乃至配線P[m]のそれぞれと、端子In[1]乃至端子In[s]のそれぞれと、の接続の有無を制御することができる。
特に、端子In[1]乃至端子In[s]の一部に信号の入力を行わない場合、その一部の端子と、配線”0”とを接続するスイッチ回路SWCを導通状態とする。このとき、該一部の端子に対応する乗算回路は、パワーゲーティングにより消費電力を低減することができる。
図14(B)に示すスイッチSWとしては、例えば、トランジスタ、ダイオード、デジタルマイクロミラーデバイス(DMD)のように、MEMS(マイクロ・エレクトロ・メカニカル・システム)技術を用いたスイッチ等を適用することができる。また、スイッチSWはトランジスタを組み合わせた論理回路でもよい。また、スイッチSWを1個のトランジスタとする場合、オフ電流が非常に低い特性を有するOSトランジスタを用いるのが好ましい。
図14(C)は、NN回路180において、配線R[k]と、プログラマブルスイッチPSW3と、プログラマブルロジックエレメントPLE[j]と、出力端子PDR[1]乃至出力端子PDR[n]の接続例について示している。
なお、図14(C)において、配線R[k]は、配線r[1]乃至配線r[t]から構成されている。さらに、図14(C)において、プログラマブルロジックエレメントPLE[j]の第2端子を、端子O[1]乃至端子O[t](ここでのtは1以上の整数である。)と図示している。つまり、図14(C)において、配線r[k]は、端子O[k]と電気的に接続されている。なお、図14(C)では、第2端子を複数図示しているが、1つの端子としてもよい。
図14(C)に示す構成例において、プログラマブルスイッチPSW3はスイッチ回路SWCを有する。つまり、プログラマブルスイッチPSW1およびプログラマブルスイッチPSW2と同様に、コンフィギュレーションメモリCMSが保持するデータによって、スイッチ回路SWCの有するスイッチSWの導通状態、非導通状態を決定することができる。このため、コンフィギュレーションメモリCMSのデータによって、端子O[1]乃至端子O[t]のそれぞれと、出力端子PDR[1]乃至出力端子PDR[n]のそれぞれと、の接続の有無を制御することができる。
ところで、上述したコンフィギュレーションメモリCMS、コンフィギュレーションメモリCMW[1]乃至コンフィギュレーションメモリCMW[s]、コンフィギュレーションメモリCMFは、例えば、SRAM、MRAM等を適用することができる。また、例えば、OSトランジスタを用いた記憶装置(本明細書では、OSメモリと呼称する。)を適用することができる。特に、上述したコンフィギュレーションメモリとして、OSメモリを適用することによって、少ない素子数で低消費電力の人工ニューラルネットワークを構成することができる。
上述した乗算回路MLT[1]乃至乗算回路MLT[s]、および加算回路ADをアナログ積和演算回路とすることで、積和演算回路を構成するトランジスタ数を低減することができる。なお、アナログ積和演算回路については、本実施の形態で後述する。
次に、NN回路180の動作の一例について、図15乃至図17を用いて説明する。
なお、本動作例において、NN回路180は、コンテキスト数をNとする。つまり、NN回路180が有する複数のコンフィギュレーションメモリCMS、コンフィギュレーションメモリCMW[1]乃至コンフィギュレーションメモリCMW[s]、およびコンフィギュレーションメモリCMFは、それぞれNセットのコンフィギュレーションデータを有するものとする。
また、本動作例で扱う人工ニューラルネットワークは、入力層、第1中間層乃至第N−1中間層からなる階層型の人工ニューラルネットワークとする。特に、第N−1中間層は、階層型の人工ニューラルネットワークにおける出力層とする。
また、図15乃至図17において、導通状態となっているスイッチ回路SWCは、黒丸で図示し、非導通状態となっているスイッチ回路SWCは、白丸で図示している。
また、配線Q[1]乃至配線Q[l]、配線R[1]乃至配線R[n]、およびプログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3の構成は、図14(A)、(B)、(C)、およびそれらの説明を参酌する。
初めに、コンテキスト1が選択される。コンテキスト1とは、入力層と第1中間層との間のネットワークに対応するコンフィギュレーションである。コンテキスト1における、NN回路180を図15に示す。
このとき、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]と、配線L[1]乃至配線L[l]と、の間が電気的に接続されているように、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3にコンフィギュレーションデータが設定される。また、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[l]のそれぞれにおいて、入力層のニューロンの出力信号に対する第1中間層の各ニューロンの重み係数が設定されるように、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[l]にコンフィギュレーションデータが設定される。
入力層から第1中間層へ入力される信号は、入力端子PDL[1]乃至入力端子PDL[l]から入力される信号に相当する。入力端子PDL[i]から入力された信号は、配線L[i]を介して、配線Q[1]乃至配線Q[m]のそれぞれに送信される。そして、配線Q[j]に送られた該信号は、プログラマブルロジックエレメントPLE[j]の第1端子に入力される。
プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第1端子に入力された複数の信号は、各プログラマブルロジックエレメントが有する積和演算回路によって、演算処理が行われる。具体的には、複数の信号と、それぞれの信号に対応する重み係数との積和演算と、当該積和演算結果を入力情報とする活性化関数演算と、が行われる。なお、重み係数、および活性化関数は、上述したとおり、コンテキスト1のコンフィギュレーションに基づく。
当該活性化関数演算の出力結果は、図13に示す保持回路KCによって保持される。なお、保持回路KCへのデータ保持は、クロック信号CLKの電位が低レベル電位から高レベル電位になったときに行われるものとする。また、保持回路KCに保持しているデータの出力は、クロック信号CLKの電位が高レベル電位から低レベル電位になったときに行われるものとする。
次に、コンテキスト2が選択される。コンテキスト2とは、第1中間層と第2中間層との間のネットワークに対応するコンフィギュレーションである。コンテキスト2における、NN回路180を図16に示す。
このとき、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]と、配線P[1]乃至配線P[l]と、の間が電気的に接続されているように、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3にコンフィギュレーションデータが設定される。また、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[l]のそれぞれにおいて、第1中間層のニューロンの出力信号に対する第2中間層の各ニューロンの重み係数が設定されるように、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[l]にコンフィギュレーションデータが設定される。
当該コンフィギュレーションにおいて、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力されるデータは、先に説明した保持回路KCに格納されているデータ、すなわち、コンテキスト1における、積和演算回路および活性化関数演算の結果となる。該結果は、保持回路KCにおいて、クロック信号CLKが高レベル電位から低レベル電位になったときに、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力される。プログラマブルロジックエレメントPLE[j]の第2端子から出力された該結果は、配線P[j]を介して、配線Q[1]乃至配線Q[m]のそれぞれに送信される。そして、配線Q[j]に送られた該信号は、プログラマブルロジックエレメントPLE[j]の第1端子に入力される。
つまり、第1中間層から第2中間層へ入力される信号は、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力される信号に相当する。
プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第1端子に入力された複数の信号は、各プログラマブルロジックエレメントが有する積和演算回路によって、演算処理が行われる。具体的には、複数の信号と、それぞれの信号に対応する重み係数との積和演算と、当該積和演算結果を入力情報とする活性化関数演算と、が行われる。なお、重み係数、および活性化関数は、上述したとおり、コンテキスト2のコンフィギュレーションに基づく。
当該活性化関数演算の出力結果は、コンテキスト1の動作と同様に、図13に示す保持回路KCによって保持される。
以降のNN回路180の動作は、コンテキスト2と同様に行われる。例えば、コンテキストg(ここでのgは3以上N−1以下の整数)が選択された場合を考える。コンテキストgは、第g−1中間層と第g中間層との間のネットワーク対応するコンフィギュレーションとする。なお、コンテキストgにおけるNN回路180の接続の状態は、図16の内容を参酌する。
このとき、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]と、配線P[1]乃至配線P[l]と、の間が電気的に接続されているように、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3にコンフィギュレーションデータが設定される。また、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[l]のそれぞれにおいて、第g−1中間層のニューロンの出力信号に対する第g中間層の各ニューロンの重み係数が設定されるように、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[l]にコンフィギュレーションデータが設定される。
当該コンフィギュレーションにおいて、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力されるデータは、先に説明した保持回路KCに格納されているデータ、すなわち、コンテキストg−1における、積和演算回路および活性化関数演算の結果となる。該結果は、保持回路KCにおいて、クロック信号CLKが高レベル電位から低レベル電位になったときに、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力される。プログラマブルロジックエレメントPLE[j]の第2端子から出力された該結果は、配線P[j]を介して、配線Q[1]乃至配線Q[m]のそれぞれに送信される。そして、配線Q[j]に送られた該信号は、プログラマブルロジックエレメントPLE[j]の第1端子に入力される。
つまり、第g−1中間層から第g中間層へ入力される信号は、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力される信号に相当する。
プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第1端子に入力された複数の信号は、各プログラマブルロジックエレメントが有する積和演算回路によって、演算処理が行われる。具体的には、複数の信号と、それぞれの信号に対応する重み係数との積和演算と、当該積和演算結果を入力情報とする活性化関数演算と、が行われる。なお、重み係数、および活性化関数は、上述したとおり、コンテキストgのコンフィギュレーションに基づく。
当該活性化関数演算の出力結果は、コンテキスト1、コンテキスト2の動作と同様に、図13に示す保持回路KCによって保持される。
最後に、コンテキストNが選択される。コンテキストNとは、第N−1中間層(出力層)と、出力端子PDR[1]乃至出力端子PDR[n]との間の接続に対応するコンフィギュレーションである。コンテキストNにおけるNN回路180を図17に示す。
このとき、プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]と、配線R[1]乃至配線R[n]と、の間が電気的に接続されているように、プログラマブルスイッチPSW1乃至プログラマブルスイッチPSW3にコンフィギュレーションデータが設定される。
当該コンフィギュレーションにおいて、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力されるデータは、先に説明した保持回路KCに格納されているデータ、すなわち、コンテキストN−1における、積和演算回路および活性化関数演算の結果となる。該結果は、保持回路KCにおいて、クロック信号CLKが高レベル電位から低レベル電位になったときに、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力される。プログラマブルロジックエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]のそれぞれの第2端子から出力された該結果は、配線R[1]乃至配線R[n]のそれぞれを介して、出力端子PDR[1]乃至出力端子PDR[n]のそれぞれに送信される。
つまり、第N−1中間層(出力層)から出力される階層型の人工ニューラルネットワークの出力結果は、プログラマブルエレメントPLE[1]乃至プログラマブルロジックエレメントPLE[m]の第2端子から出力される信号に相当する。
なお、入力層、第1中間層乃至第N−1中間層、のそれぞれの層において、各層のニューロンとしてりようされないプログラマブルロジックエレメントは、上述したパワーゲーティングを行うことによって、消費電力を低減することができる。
また、図13の演算処理回路190では、学習によって重み係数を更新することが可能である。この場合、所望の人工ニューラルネットワーク構成となる各コンテキストに対応したコンフィギュレーションデータを生成し、対応するコンテキストの重み係数のコンフィギュレーションデータのみを繰り返し変更する構成が有効である。なお、重み係数の更新は、対応する演算処理を実行する専用の回路を実装することが可能である。
また、図13の演算処理回路190において、サーバで対応する演算処理を実行する構成が可能である。例えば、人工ニューラルネットワークの階層構成の検討および学習は、サーバで行い、学習によって得られた、最適化された階層構造および重み係数に対応する各コンテキストのコンフィギュレーションデータを生成し、図13の演算処理回路190を各コンテキストに切り替えながら、推論(認知)を実行するニューラルネットワークとする構成が可能である。
上述したNN回路180を構成することによって、学習および推論に利用することができる人工ニューラルネットワークの演算処理回路を実現することができる。また、素子数の削減、配線数の削減によって回路面積が低減されたマルチコンテキスト方式のプログラマブルなニューラルネットワークを提供することができる。
本実施の形態は、他の実施の形態に記載した構成と適宜組み合わせて実施することができる。
(実施の形態3)
本実施の形態では、本発明の一態様の撮像装置が有する画素の構成例について説明する。
図18(A)、(B)、(C)、(D)、(E)、および図19(A)は、図2に示す構成の画素Pの変形例を示す回路図である。また、図19(B)および図20は、図19(A)に示す構成の画素Pの動作方法の一例を示すタイミングチャートである。なお、配線75を配線76に、配線77を配線78に、ノードNをノードNREFにそれぞれ置き換えることにより、参照画素PREFを図18(A)乃至(E)、および図19(A)に示す構成とすることができる。
図18(A)に示す構成の画素Pでは、光電変換素子60のアノードが、トランジスタ41のソースまたはドレインの一方と電気的に接続され、光電変換素子60のカソードが、配線VPDと電気的に接続されている点が、図2に示す構成の画素Pと異なる。つまり、図18(A)に示す構成の画素Pは、光電変換素子60の向きが、図2に示す構成の画素Pと逆になっている。この場合、例えば配線VPDが高電源電位線としての機能を有し、配線VPRが低電位電源線としての機能を有する。
図18(B)に示す構成の画素Pは、トランジスタ42のソースまたはドレインの一方が、光電変換素子60の一方の電極、およびトランジスタ41のソースまたはドレインの一方と電気的に接続されている点が、図2に示す構成の画素Pと異なる。図18(B)に示す構成の画素Pでは、トランジスタ41とトランジスタ42の両方をオンとすることにより、ノードNの電位をリセットすることができる。
図18(C)に示す構成の画素Pは、トランジスタ42および配線VPRを有しない点で、図2に示す構成の画素Pと異なる。図18(C)に示す構成の画素Pでは、光電変換素子60のアノードが配線VPDと電気的に接続されている場合、配線VPDに高電位を印加し、トランジスタ41をオンとすることにより、ノードNの電位をリセットすることができる。また、配線VPDに印加する電位を低電位とすることにより、画素Pが撮像データを取得することができる。画素Pを図18(C)に示す構成とすることにより、画素Pが有するトランジスタの数を減少させることができるため、1個当たりの画素Pの占有面積を減少させることができる。
図18(D)、(E)に示す構成の画素Pは、トランジスタ41乃至トランジスタ43がバックゲートを有する点が、図2に示す構成の画素Pと異なる。バックゲートを設けることで、トランジスタのしきい値電圧を制御することができる。図18(D)は、トランジスタ41乃至トランジスタ43のバックゲートを配線73と電気的に接続した構成である。配線73には、定電位を印加してもよいし、画素Pの動作に合わせて印加する電位を制御してもよい。また、図18(F)は、ゲートと同じ電位がバックゲートに印加される構成である。
本明細書等では、バックゲートを有するトランジスタにおいて、単にゲートという場合は、フロントゲートを意味する場合がある。また、バックゲートを有しないトランジスタにおいても、単にゲートという場合は、フロントゲートを意味する場合がある。
図19(A)に示す構成の画素Pは、容量素子62、およびトランジスタ64を有する点が、図2に示す構成の画素Pと異なる。容量素子62の一方の電極は、トランジスタ41のソースまたはドレインの一方、およびトランジスタ42のソースまたはドレインの一方と電気的に接続されている。容量素子62の他方の電極は、トランジスタ43のゲート、容量素子63の一方の電極、およびトランジスタ64のソースまたはドレインの一方と電気的に接続されている。なお、トランジスタ43のゲート、容量素子63の一方の電極、容量素子62の他方の電極、およびトランジスタ64のソースまたはドレインの一方が電気的に接続されているノードを、ノードNとする。また、トランジスタ41のソースまたはドレインの一方、トランジスタ42のソースまたはドレインの一方、および容量素子62の一方の電極が電気的に接続されているノードを、ノードN2とする。
トランジスタ64のソースまたはドレインの他方は、配線VFRと電気的に接続されている。トランジスタ64のゲートは、配線FRと電気的に接続されている。
配線VFRは電源線としての機能を有し、例えば低電源電位線としての機能を有する。配線FRは、トランジスタ64のオンオフを制御する信号線としての機能を有する。
また、図19(A)に示す構成の画素Pにおいて、トランジスタ41は、光電変換素子60の出力に応じてノードN2の電位を制御するための転送トランジスタとしての機能を有する。また、トランジスタ42は、ノードN2の電位を初期化するリセットトランジスタとしての機能を有する。また、トランジスタ64は、ノードNの電位を初期化するリセットトランジスタとしての機能を有する。また、トランジスタ43は、ノードNの電位に応じた出力を行う増幅トランジスタとしての機能を有する。
図19(A)に示す構成の画素Pを有する撮像装置10は、第1の撮像データと、第1の撮像データより後のフレームの撮像データである第2の撮像データと、の差分を検出する機能を有する。また、第1の撮像データと第2の撮像データとの、同一画素における差分を表す差分データと、配線75に印加される電位に対応する重み係数と、を基にした演算を行う機能を有する。なお、第2の撮像データは、例えば第1の撮像データの次のフレームの撮像データとすることができる。または、第2の撮像データは、例えば第1の撮像データの2フレーム後の撮像データとすることができる。
なお、図19(A)に示す構成の画素Pを有する撮像装置10は、図2等に示す構成の画素Pを有する撮像装置10と同様に、撮像データと、重み係数と、を基にした演算を行う機能を有する。
トランジスタ48として、OSトランジスタを用いることが好ましい。前述のように、OSトランジスタはオフ電流が極めて低いので、トランジスタ48としてOSトランジスタを用いることにより、ノードNで電荷を保持できる期間を極めて長くすることができる。このため、回路構成および動作方法を複雑にすることなく、前述の演算を行う機能を有する。
なお、トランジスタ41およびトランジスタ42としてOSトランジスタを用いることにより、ノードN2で電荷を保持できる期間を極めて長くすることができる。
次に、図19(A)に示す構成の画素Pおよび画素PREFを有する撮像装置10の動作方法の一例を、図19(B)および図20を用いて説明する。なお、トランジスタ41乃至トランジスタ43、およびトランジスタ64はすべてnチャネル型トランジスタとする。また、配線VPDは低電位、配線VPRは高電位、配線VOは低電位、配線VFRは低電位とする。トランジスタ41乃至トランジスタ43、およびトランジスタ64のすべてまたは一部を例えばpチャネル型とした場合であっても、高電位と低電位を適宜入れ替えること等により、撮像装置10の動作方法の一例は、図19(B)および図20を参照することができる。
図19(B)は、第1の撮像モードにおける動作方法の一例を示すタイミングチャートである。第1の撮像モードでは、画素Pおよび画素PREFが撮像データを取得する。第1の撮像モードの終了後、図4の時刻T04以降に示す動作を行うことにより、撮像データと、重み係数と、を基にした演算を行うことができる。以上より、図19(B)に示す時刻T1乃至時刻T3では、図4に示す時刻T01乃至時刻T03と同様の動作を行っているということができる。
時刻T1乃至時刻T2において、配線PRを高電位とすることによりトランジスタ42をオンとし、配線FRを高電位とすることによりトランジスタ64をオンとし、配線TXを高電位とすることによりトランジスタ41をオンとする。この時、ノードNの電位は配線VFRの電位(V1とする)に設定され、ノードN2の電位は配線VPRの電位(V2とする)に設定される。
時刻T2乃至時刻T3において、配線PRを低電位とすることによりトランジスタ42をオフとし、配線FRを低電位とすることによりトランジスタ64をオフとする。このとき、光電変換素子60に照射する光に応じて、ノードN2の電位は低下する。ここで、ノードN2の電位降下分をΔV2とすると、ノードN2の電位はV2−ΔV2となる。また、容量素子62(容量値C1)と、容量素子63(容量値C2)と、トランジスタ43のゲート容量(容量値Cg)と、の容量結合により、ノードNの電位も低下する。ここで、ノードNの電位降下分をΔV1、ノードNの容量結合係数を1とすると、ΔV1=ΔV2・C1/(C1+C2+Cg)=ΔV2・αであり、ノードNの電位はV1−ΔV1となる。なお、光電変換素子60に照射する光の照度が高いほど、ノードN2の電位は大きく低下するため、ノードNの電位も大きく低下する。以上により、画素Pが撮像データを取得することができる。なお、画素PREFにおいても、同様の手順で撮像データを取得することができる。
図20は、第2の撮像モードにおける動作方法の一例を示すタイミングチャートである。第2の撮像モードでは、画素Pおよび画素PREFが第1の撮像データおよび第2の撮像データを取得し、これらを基に差分データを取得する。第2の撮像モードの終了後、図4の時刻T04以降に示す動作を行うことにより、差分データと、重み係数と、を基にした演算を行うことができる。
時刻T01乃至時刻T04は、第1の撮像データを取得する期間に相当する。時刻T01乃至時刻T02において、配線PRを高電位とすることによりトランジスタ42をオンとし、配線FRを高電位とすることによりトランジスタ64をオンとし、配線TXを高電位とすることによりトランジスタ41をオンとする。この時、ノードNの電位はV1に設定され、ノードN2の電位はV2に設定される。
時刻T02乃至時刻T03において、配線PRを低電位とすることによりトランジスタ42をオフとする。このとき、光電変換素子60に照射する光に応じて、ノードN2の電位は低下し、V2−ΔV2となる。なお、ノードNの電位は変化しない。
時刻T03乃至時刻T04において、配線FRを低電位とすることによりトランジスタ64をオフとする。なお、時刻T02乃至時刻T03の間隔と、時刻T03乃至時刻T04の間隔とは、Tで等しいとする。このとき、光電変換素子60に照射する光に応じて、ノードN2の電位は低下し、ノードN2の電位はV2−2・ΔV2となる。これに応じて、ノードNの電位も低下し、ノードNの電位はV1−ΔV1となる。なお、時刻T02乃至時刻T03の間隔と、時刻T03乃至時刻T04の間隔とはTで等しいとしたが、時刻T02乃至時刻T03におけるノードN2の電位降下分が、時刻T03乃至時刻T04におけるノードN2の電位降下分と等しくなるように当該間隔を設定することが本質である。したがって、上記条件を満たすように、時刻T02乃至時刻T03の間隔と、時刻T03乃至時刻T04の間隔と、を適宜調整する構成が好ましい。
時刻T11乃至時刻T13は、第1の撮像データと第2の撮像データの間に差分が無い場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。つまり、第2の撮像データを取得する際に光電変換素子60に照射された光の照度が、第1の撮像データを取得する際に光電変換素子60に照射された光の照度と等しい場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。
時刻T11乃至時刻T12において、配線PRを高電位とすることによりトランジスタ42をオンとし、配線TXを高電位とすることによりトランジスタ41をオンとする。このとき、ノードN2の電位はV2に設定される。つまり、時刻T02乃至時刻T04における電位降下分(2・ΔV2)だけ電位が上昇する。一方、ノードNの電位も上昇するが、上昇分(2・ΔV1)は、時刻T03乃至時刻T04における電位降下分の2倍に相当する。つまり、ノードNの電位は、V1+ΔV1となる。
時刻T12乃至時刻T13において、配線PRを低電位とすることにより、トランジスタ42をオフとする。このとき、光電変換素子60に照射する光に応じて、ノードN2の電位は低下し、これに応じて、ノードNの電位も低下する。
ここで、時刻T12乃至時刻T13の間隔をTとし、時刻T02乃至時刻T04と同照度の光が光電変換素子60に照射しているものとすると、ノードN2の電位降下分は、時刻T03乃至時刻T04でのノードN2の電位降下分ΔV2に等しい。また、ノードNの電位降下分も、時刻T03乃至時刻T04でのノードNの電位降下分ΔV1に等しい。したがって、ノードNの電位はV1となる。以上により、第1の撮像データと第2の撮像データとの間に差分が無い場合において、第2の撮像データが取得され、これにより差分データが取得される。
時刻T21乃至時刻T23は、第1の撮像データと第2の撮像データとの差分が負である場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。つまり、第2の撮像データを取得する際に光電変換素子60に照射された光の照度が、第1の撮像データを取得する際に光電変換素子60に照射された光の照度より高い場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。
時刻T21乃至時刻T22において、配線PRを高電位とすることによりトランジスタ42をオンとし、配線TXを高電位とすることによりトランジスタ41をオンとする。このとき、ノードN2の電位はV2に設定される。つまり、時刻T12乃至時刻T13における電位降下分(ΔV2)だけ電位が上昇する。また、ノードNの電位も上昇し、上昇分(ΔV1)は、時刻T12乃至時刻T13における電位降下分に相当する。つまり、ノードNの電位は、V1+ΔV1となる。
時刻T22乃至時刻T23において、配線PRを低電位とすることにより、トランジスタ42をオフとする。このとき、光電変換素子60に照射する光に応じて、ノードN2の電位は低下し、これに応じて、ノードNの電位も低下する。
ここで、時刻T22乃至時刻T23の間隔をTとし、時刻T12乃至時刻T13より高い照度の光が光電変換素子60に照射しているものとすると、ノードN2の電位降下分(ΔV2’)は時刻T12乃至時刻T13での低下分(ΔV2)より大きい(ΔV2’>ΔV2)。また、ノードNの電位降下分(ΔV1’=ΔV2’・α)も時刻T12乃至時刻T13での降下分(ΔV1)より大きい(ΔV1’>ΔV1)。したがって、ノードNの電位(V1+ΔV1−ΔV1’)は、V1より低いことになる。以上により、第1の撮像データと第2の撮像データとの間の差分が負である場合において、第2の撮像データが取得され、これにより差分データが取得される。
時刻T31乃至時刻T33は、時刻T11乃至時刻T13と同様に、第1の撮像データと第2の撮像データの間に差分が無い場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。時刻T33において、ノードNの電位はV1となり、ノードN2の電位はV2−ΔV2となる。
時刻T41乃至時刻T43は、第1の撮像データと第2の撮像データとの間の差分が正である場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。つまり、第2の撮像データを取得する際に光電変換素子60に照射された光の照度が、第1の撮像データを取得する際に光電変換素子60に照射された光の照度より低い場合において、第2の撮像データを取得し、これにより差分データを取得する期間に相当する。
時刻T41乃至時刻T42において、配線PRを高電位とすることによりトランジスタ42をオンとし、配線TXを高電位とすることによりトランジスタ41をオンとする。このとき、ノードN2の電位はV2に設定される。つまり、時刻T32乃至時刻T33における電位降下分(ΔV2)だけ電位が上昇する。一方、ノードNの電位も上昇するが、上昇分(ΔV1)は、時刻T32乃至時刻T33における電位降下分に相当する。つまり、ノードNの電位は、V1+ΔV1となる。
時刻T42乃至時刻T43において、配線PRを低電位とすることにより、トランジスタ42をオフとする。このとき、光電変換素子60に照射する光に応じて、ノードN2の電位は低下し、これに応じて、ノードNの電位も低下する。
ここで、時刻T42乃至時刻T43の間隔をTとし、時刻T32乃至時刻T33より高い照度の光が光電変換素子60に照射しているものとすると、ノードN2の電位降下分(ΔV2’’)は時刻T32乃至時刻T33での低下分(ΔV2)より小さい(ΔV2’’<ΔV2)。また、ノードNの電位降下分(ΔV1’’=ΔV2’’・α)も時刻T32乃至時刻T33での降下分(ΔV1)より小さい(ΔV1’’<ΔV1)。したがって、ノードNの電位(V1+ΔV1−ΔV1’’)は、V1より高いことになる。以上により、第1の撮像データと第2の撮像データとの間の差分が正である場合において、第2の撮像データが取得され、これにより差分データが取得される。
なお、画素PREFにおいても、図20と同様の手順で差分データを取得することができる。
図2、図18(A)乃至(E)、および図19(A)に示す構成は、必要に応じて、または適宜組み合わせることができる。例えば、図19(A)に示す構成の画素Pにおいて、光電変換素子60の向きを逆にしてもよい。
図21(A)は、本発明の一態様の撮像装置が有する画素の層構成の一例を示す図であり、層561、層563、および層562の積層構成である例を示している。
層561は、光電変換素子60を有する。光電変換素子60は、図21(B)に示すように層565aと、層565bと、層565cとの積層とすることができる。
図21(B)に示す光電変換素子60はpn接合型フォトダイオードであり、例えば、層565aにp型半導体、層565bにn型半導体、層565cにn型半導体を用いることができる。または、層565aにn型半導体、層565bにp型半導体、層565cにp型半導体を用いてもよい。または、層565bをi型半導体としたpin接合型フォトダイオードであってもよい。
上記pn接合型フォトダイオードまたはpin接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。また、pin接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコン等の薄膜を用いて形成することもできる。
また、層561が有する光電変換素子60は、図21(C)に示すように、層566aと、層566bと、層566c、層566dとの積層としてもよい。図21(C)に示す光電変換素子60はアバランシェフォトダイオードの一例であり、層566a、層566dは電極に相当し、層566b、566cは光電変換部に相当する。
層566aは、低抵抗の金属層等とすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。
層566dは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、またはグラフェン等を用いることができる。なお、層566dを省く構成とすることもできる。
光電変換部の層566b、566cは、例えばセレン系材料を光電変換層としたpn接合型フォトダイオードの構成とするができる。層566bとしてはp型半導体であるセレン系材料を用い、層566cとしてはn型半導体であるガリウム酸化物等を用いることが好ましい。
セレン系材料を用いた光電変換素子は、可視光に対する外部量子効率が高い特性を有する。当該光電変換素子では、アバランシェ増倍を利用することにより、入射される光量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できる等の生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法等を用いて形成することができる。
セレン系材料としては、単結晶セレンや多結晶セレン等の結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物(CIS)、または、銅、インジウム、ガリウム、セレンの化合物(CIGS)等を用いることができる。
n型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物等を用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
層563は、画素P、画素PREFが有するトランジスタ41およびトランジスタ42等のOSトランジスタを有する。また、画素Pおよび画素PREF以外の回路が有するトランジスタの一部または全部を層563に設けてもよい。
OSトランジスタに用いる半導体材料としては、エネルギーギャップが2eV以上、好ましくは2.5eV以上、より好ましくは3eV以上である金属酸化物を用いることができる。代表的には、インジウムを含む金属酸化物等であり、例えば、後述するCAC−OS等を用いることができる。
半導体層は、例えばインジウム、亜鉛およびM(アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属)を含むIn−M−Zn系酸化物で表記される膜とすることができる。
半導体層を構成する金属酸化物がIn−M−Zn系酸化物の場合、In−M−Zn酸化物を成膜するために用いるスパッタリングターゲットの金属元素の原子数比は、In≧M、Zn≧Mを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、In:M:Zn=1:1:1、In:M:Zn=1:1:1.2、In:M:Zn=3:1:2、In:M:Zn=4:2:3、In:M:Zn=4:2:4.1、In:M:Zn=5:1:6、In:M:Zn=5:1:7、In:M:Zn=5:1:8等が好ましい。なお、成膜される半導体層の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス40%の変動を含む。
半導体層としては、キャリア密度の低い金属酸化物を用いる。例えば、半導体層は、キャリア密度が1×1017/cm以下、好ましくは1×1015/cm以下、さらに好ましくは1×1013/cm以下、より好ましくは1×1011/cm以下、さらに好ましくは1×1010/cm未満であり、1×10−9/cm以上のキャリア密度の金属酸化物を用いることができる。そのような金属酸化物を、高純度真性または実質的に高純度真性な金属酸化物という。これにより不純物濃度が低く、欠陥準位密度が低いため、安定な特性を有する金属酸化物であるといえる。
なお、これらに限られず、必要とするトランジスタの半導体特性および電気特性(電界効果移動度、しきい値電圧等)に応じて適切な組成のものを用いればよい。また、必要とするトランジスタの半導体特性を得るために、半導体層のキャリア密度や不純物濃度、欠陥密度、金属元素と酸素の原子数比、原子間距離、密度等を適切なものとすることが好ましい。
半導体層を構成する金属酸化物において、第14族元素の一つであるシリコンや炭素が含まれると、酸素欠損が増加し、n型化してしまう。このため、半導体層におけるシリコンや炭素の濃度(二次イオン質量分析法により得られる濃度)を、2×1018atoms/cm以下、好ましくは2×1017atoms/cm以下とする。
また、アルカリ金属およびアルカリ土類金属は、金属酸化物と結合するとキャリアを生成する場合があり、トランジスタのオフ電流が増大してしまうことがある。このため、半導体層におけるアルカリ金属またはアルカリ土類金属の濃度(二次イオン質量分析法により得られる濃度)を、1×1018atoms/cm以下、好ましくは2×1016atoms/cm以下にする。
また、半導体層を構成する金属酸化物に窒素が含まれていると、キャリアである電子が生じてキャリア密度が増加し、n型化しやすい。この結果、窒素が含まれている金属酸化物を用いたトランジスタはノーマリーオン特性となりやすい。このため半導体層における窒素濃度(二次イオン質量分析法により得られる濃度)は、5×1018atoms/cm以下にすることが好ましい。
また、半導体層は、例えば非単結晶構造でもよい。非単結晶構造は、例えば、c軸に配向した結晶を有するCAAC−OS(C−Axis Aligned Crystalline Oxide Semiconductor、または、C−Axis Aligned and A−B−plane Anchored Crystalline Oxide Semiconductor)、多結晶構造、微結晶構造、または非晶質構造を含む。非単結晶構造において、非晶質構造は最も欠陥準位密度が高く、CAAC−OSは最も欠陥準位密度が低い。
非晶質構造の金属酸化物膜は、例えば、原子配列が無秩序であり、結晶成分を有さない。または、非晶質構造の酸化物膜は、例えば、完全な非晶質構造であり、結晶部を有さない。
なお、半導体層が、非晶質構造の領域、微結晶構造の領域、多結晶構造の領域、CAAC−OSの領域、単結晶構造の領域のうち、二種以上を有する混合膜であってもよい。混合膜は、例えば上述した領域のうち、いずれか二種以上の領域を含む単層構造、または積層構造を有する場合がある。
以下では、非単結晶の半導体層の一態様であるCAC(Cloud−Aligned Composite)−OSの構成について説明する。
CAC−OSとは、例えば、金属酸化物を構成する元素が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、金属酸化物において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
なお、金属酸化物は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム等から選ばれた一種、または複数種が含まれていてもよい。
例えば、In−Ga−Zn酸化物におけるCAC−OS(CAC−OSの中でもIn−Ga−Zn酸化物を、特にCAC−IGZOと呼称してもよい。)とは、インジウム酸化物(以下、InOX1(X1は0よりも大きい実数)とする。)、またはインジウム亜鉛酸化物(以下、InX2ZnY2Z2(X2、Y2、およびZ2は0よりも大きい実数)とする。)と、ガリウム酸化物(以下、GaOX3(X3は0よりも大きい実数)とする。)、またはガリウム亜鉛酸化物(以下、GaX4ZnY4Z4(X4、Y4、およびZ4は0よりも大きい実数)とする。)等と、に材料が分離することでモザイク状となり、モザイク状のInOX1、またはInX2ZnY2Z2が、膜中に均一に分布した構成(以下、クラウド状ともいう。)である。
つまり、CAC−OSは、GaOX3が主成分である領域と、InX2ZnY2Z2、またはInOX1が主成分である領域とが、混合している構成を有する複合金属酸化物である。なお、本明細書において、例えば、第1の領域の元素Mに対するInの原子数比が、第2の領域の元素Mに対するInの原子数比よりも大きいことを、第1の領域は、第2の領域と比較して、Inの濃度が高いとする。
なお、IGZOは通称であり、In、Ga、Zn、およびOによる1つの化合物をいう場合がある。代表例として、InGaO(ZnO)m1(m1は自然数)、またはIn(1+x0)Ga(1−x0)(ZnO)m0(−1≦x0≦1、m0は任意数)で表される結晶性の化合物が挙げられる。
上記結晶性の化合物は、単結晶構造、多結晶構造、またはCAAC構造を有する。なお、CAAC構造とは、複数のIGZOのナノ結晶がc軸配向を有し、かつa−b面においては配向せずに連結した結晶構造である。
一方、CAC−OSは、金属酸化物の材料構成に関する。CAC−OSとは、In、Ga、Zn、およびOを含む材料構成において、一部にGaを主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。したがって、CAC−OSにおいて、結晶構造は副次的な要素である。
なお、CAC−OSは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Inを主成分とする膜と、Gaを主成分とする膜との2層からなる構造は、含まない。
なお、GaOX3が主成分である領域と、InX2ZnY2Z2、またはInOX1が主成分である領域とは、明確な境界が観察できない場合がある。
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム等から選ばれた一種、または複数種が含まれている場合、CAC−OSは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
CAC−OSは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、CAC−OSをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス(代表的にはアルゴン)、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を0%以上30%未満、好ましくは0%以上10%以下とすることが好ましい。
CAC−OSは、X線回折(XRD:X−ray diffraction)測定法のひとつであるOut−of−plane法によるθ/2θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、X線回折から、測定領域のa−b面方向、およびc軸方向の配向は見られないことが分かる。
また、CAC−OSは、プローブ径が1nmの電子線(ナノビーム電子線ともいう。)を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域と、該リング領域に複数の輝点が観測される。したがって、電子線回折パターンから、CAC−OSの結晶構造が、平面方向、および断面方向において、配向性を有さないnc(nano−crystal)構造を有することがわかる。
また、例えば、In−Ga−Zn酸化物におけるCAC−OSでは、エネルギー分散型X線分光法(EDX:Energy Dispersive X−ray spectroscopy)を用いて取得したEDXマッピングにより、GaOX3が主成分である領域と、InX2ZnY2Z2、またはInOX1が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
CAC−OSは、金属元素が均一に分布したIGZO化合物とは異なる構造であり、IGZO化合物と異なる性質を有する。つまり、CAC−OSは、GaOX3等が主成分である領域と、InX2ZnY2Z2、またはInOX1が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
ここで、InX2ZnY2Z2、またはInOX1が主成分である領域は、GaOX3等が主成分である領域と比較して、導電性が高い領域である。つまり、InX2ZnY2Z2、またはInOX1が主成分である領域を、キャリアが流れることにより、金属酸化物としての導電性が発現する。したがって、InX2ZnY2Z2、またはInOX1が主成分である領域が、金属酸化物中にクラウド状に分布することで、高い電界効果移動度(μ)が実現できる。
一方、GaOX3等が主成分である領域は、InX2ZnY2Z2、またはInOX1が主成分である領域と比較して、絶縁性が高い領域である。つまり、GaOX3等が主成分である領域が、金属酸化物中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
したがって、CAC−OSを半導体素子に用いた場合、GaOX3等に起因する絶縁性と、InX2ZnY2Z2、またはInOX1に起因する導電性とが、相補的に作用することにより、高いオン電流(Ion)、および高い電界効果移動度(μ)を実現することができる。
また、CAC−OSを用いた半導体素子は、信頼性が高い。したがって、CAC−OSは、様々な半導体装置の構成材料として適している。
図21(A)に示す層562としては、例えばシリコン基板を用いることができる。当該シリコン基板は、画素P、画素PREFが有するトランジスタ43等のSiトランジスタ等を有する。また、画素Pおよび画素PREF以外の回路が有するトランジスタの一部または全部を層562に設けることができる。
図21(A)に示すように、層561、層563、および層562が積層された構成とすることにより、画素を構成する要素、および画素以外の回路を構成する要素を複数の層に分散させることができるため、撮像装置の占有面積を小さくすることができる。なお、図21(A)に示す構成において、層562を支持基板とし、層561および層563に画素P、画素PREF、およびその他の回路を設けてもよい。
図22(A)は、図21(A)に示す画素の断面の一例を説明する図である。層561は光電変換素子60として、シリコンを光電変換層とするpn接合型フォトダイオードを有する。層562はSiトランジスタを有し、図22(A)では画素P、画素PREFを構成する、トランジスタ43を示す。層563はOSトランジスタを有し、図22(A)では画素P、画素PREFを構成する、トランジスタ41およびトランジスタ42を示す。層561と層563とは、貼り合わせで電気的な接続を得る構成例を示している。
光電変換素子60において、層565aはp型領域、層565bはn型領域、層565cはn型領域とすることができる。また、層565bには、電源線と層565cとを接続するための領域536が設けられる。例えば、領域536はp型領域とすることができる。
図22(A)において、Siトランジスタはシリコン基板540にチャネル形成領域を有するプレーナー型の構成を示しているが、図23(A)、(B)に示すように、シリコン基板540にフィン型の半導体層を有する構成であってもよい。図23(A)はチャネル長方向の断面、図23(B)はチャネル幅方向の断面に相当する。
または、図23(C)に示すように、シリコン薄膜の半導体層545を有するトランジスタであってもよい。半導体層545は、例えば、シリコン基板540上の絶縁層546上に形成された単結晶シリコン(SOI(Silicon on Insulator))とすることができる。
ここで、図22(A)では、層561が有する要素と層563が有する要素との電気的な接続を貼り合わせ技術で得る構成例を示している。
層561には、絶縁層542、導電層533および導電層534が設けられる。導電層533および導電層534は、絶縁層542に埋設された領域を有する。導電層533は、層565aと電気的に接続されている。導電層534は、領域536と電気的に接続されている。また、絶縁層542、導電層533および導電層534の表面は、それぞれ高さが一致するように平坦化されている。
層563には、絶縁層541、導電層531および導電層532が設けられる。導電層531および導電層532は、絶縁層541に埋設された領域を有する。導電層531は、トランジスタ41のソースまたはドレインと電気的に接続されている。導電層532は、電源線と電気的に接続されている。また、絶縁層541、導電層531および導電層532の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層531および導電層533は、主成分が同一の金属元素であることが好ましい。導電層532および導電層534は、主成分が同一の金属元素であることが好ましい。また、絶縁層541および絶縁層542は、同一の成分で構成されていることが好ましい。
例えば、導電層531、導電層532、導電層533、および導電層534には、Cu、Al、Sn、Zn、W、Ag、PtまたはAu等を用いることができる。接合のしやすさから、好ましくはCu、Al、W、またはAuを用いる。また、絶縁層541、542には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタン等を用いることができる。
つまり、導電層531および導電層533の組み合わせと、導電層532および導電層534の組み合わせのそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層541および絶縁層542のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層561と層562の境を接合位置とする、貼り合わせを行うことができる。
当該貼り合わせによって、導電層531および導電層533の組み合わせと、導電層532および導電層534の組み合わせのそれぞれの電気的な接続を得ることができる。また、絶縁層541および絶縁層542の機械的な強度を有する接続を得ることができる。
金属層同士の接合には、表面の酸化膜および不純物の吸着層等をスパッタリング処理等で除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法等を用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
また、絶縁層同士の接合には、研磨等によって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法等を用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
層561と、層563を貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法等を用いることができる。また、金属層の表面をAu等の難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
図22(B)は、図21(A)に示す画素の層561にセレン系材料を光電変換層とするpn接合型フォトダイオードを用いた場合の断面図である。一方の電極として層566aを、光電変換層として層566bおよび層566cを、他方の電極として層566dを有する。
この場合、層561は、層563上に直接形成することができる。層566aは、トランジスタ41のソースまたはドレインと電気的に接続されている。層566dは、領域536を介して電源線と電気的に接続されている。
図22(A)において、層563に設けられたOSトランジスタはセルフアライン型の構成を示しているが、図23(D)に示すように、ノンセルフアライン型のトップゲート型トランジスタであってもよい。
トランジスタ41およびトランジスタ42はバックゲート535を有する構成を示しているが、バックゲートを有さない形態であってもよい。バックゲート535は、図23(E)に示すように、対向して設けられるトランジスタのゲートと電気的に接続する場合がある。または、バックゲート535にゲートとは異なる固定電位を供給することができる構成であってもよい。
OSトランジスタが形成される領域とSiトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層543が設けられる。トランジスタ43のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ41およびトランジスタ42のチャネル形成領域の近傍に設けられる絶縁層中の水素は、金属酸化物層中にキャリアを生成する要因の一つとなる。
絶縁層543により、一方の層に水素を閉じ込めることでトランジスタ43の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ41およびトランジスタ42の信頼性も向上させることができる。
絶縁層543としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア(YSZ)等を用いることができる。
図24(A)は、本発明の一態様の撮像装置の画素にカラーフィルタ等を付加した例を示す斜視図である。当該斜視図では、複数の画素の断面もあわせて図示している。光電変換素子60が形成される層561上には、絶縁層580が形成される。絶縁層580は可視光に対して透光性の高い酸化シリコン膜等を用いることができる。また、パッシベーション膜として窒化シリコン膜を積層してもよい。また、反射防止膜として、酸化ハフニウム等の誘電体膜を積層してもよい。
絶縁層580上には、遮光層581が形成されてもよい。遮光層581は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層581には、アルミニウム、タングステン等の金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
絶縁層580および遮光層581上には、平坦化膜として有機樹脂層582を設けることができる。また、画素別にカラーフィルタ583(カラーフィルタ583a、583b、583c)が形成される。例えば、カラーフィルタ583a、583b、583cに、R(赤)、G(緑)、B(青)、Y(黄)、C(シアン)、M(マゼンタ)等の色を割り当てることにより、カラー画像を得ることができる。
カラーフィルタ583上には、可視光に対して透光性を有する絶縁層586等を設けることができる。
また、図24(B)に示すように、カラーフィルタ583の代わりに光学変換層585を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像装置とすることができる。
例えば、光学変換層585に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層585に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層585に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。
また、光学変換層585にシンチレータを用いれば、X線撮像装置等に用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したX線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線等の光(蛍光)に変換される。そして、当該光を光電変換素子60で検知することにより画像データを取得する。また、放射線検出器等に当該構成の撮像装置を用いてもよい。
シンチレータは、X線やガンマ線等の放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、GdS:Tb、GdS:Pr、GdS:Eu、BaFCl:Eu、NaI、CsI、CaF、BaF、CeF、LiF、LiI、ZnO等を樹脂やセラミクスに分散させたものを用いることができる。
なお、セレン系材料を用いた光電変換素子60においては、X線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。
また、図24(C)に示すように、カラーフィルタ583上にマイクロレンズアレイ584を設けてもよい。マイクロレンズアレイ584が有する個々のレンズを通る光が直下のカラーフィルタ583を通り、光電変換素子60に照射されるようになる。また、図24(B)に示す光学変換層585上にマイクロレンズアレイ584を設けてもよい。
以下では、イメージセンサチップを収めたパッケージおよびカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像装置の構成を用いることができる。
図25(A1)は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ450を固定するパッケージ基板410、カバーガラス420および両者を接着する接着剤430等を有する。
図25(A2)は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ440としたBGA(Ball grid array)を有する。なお、BGAに限らず、LGA(Land grid array)やPGA(Pin Grid Array)等を有していてもよい。
図25(A3)は、カバーガラス420および接着剤430の一部を省いて図示したパッケージの斜視図である。パッケージ基板410上には電極パッド460が形成され、電極パッド460およびバンプ440はスルーホールを介して電気的に接続されている。電極パッド460は、イメージセンサチップ450とワイヤ470によって電気的に接続されている。
また、図25(B1)は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ451を固定するパッケージ基板411、レンズカバー421、およびレンズ435等を有する。また、パッケージ基板411およびイメージセンサチップ451の間には撮像装置の駆動回路および信号変換回路等の機能を有するICチップ490も設けられており、SiP(System in package)としての構成を有している。
図25(B2)は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板411の下面および側面には、実装用のランド441が設けられたQFN(Quad flat no−lead package)の構成を有する。なお、当該構成は一例であり、QFP(Quad flat package)や前述したBGAが設けられていてもよい。
図25(B3)は、レンズカバー421およびレンズ435の一部を省いて図示したモジュールの斜視図である。ランド441は電極パッド461と電気的に接続され、電極パッド461はイメージセンサチップ451またはICチップ490とワイヤ471によって電気的に接続されている。
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
(実施の形態4)
本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ(ヘッドマウントディスプレイ)、ナビゲーションシステム、音響再生装置(カーオーディオ、デジタルオーディオプレイヤー等)、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機(ATM)、自動販売機等が挙げられる。これら電子機器の具体例を図26に示す。
図26(A)は監視カメラであり、支持台951、カメラユニット952、保護カバー953等を有する。カメラユニット952には回転機構等が設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
図26(B)はビデオカメラであり、第1筐体971、第2筐体972、表示部973、操作キー974、レンズ975、接続部976等を有する。操作キー974およびレンズ975は第1筐体971に設けられており、表示部973は第2筐体972に設けられている。当該ビデオカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
図26(C)はデジタルカメラであり、筐体961、シャッターボタン962、マイク963、発光部967、レンズ965等を有する。当該デジタルカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
図26(D)は腕時計型の情報端末であり、表示部932、筐体兼リストバンド933、カメラ939等を有する。表示部932は、情報端末の操作を行うためのタッチパネルを備える。表示部932および筐体兼リストバンド933は可撓性を有し、身体への装着性が優れている。当該情報端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
図26(E)携帯電話機の一例であり、筐体981、表示部982、操作ボタン983、外部接続ポート984、スピーカ985、マイク986、カメラ987等を有する。当該携帯電話機は、表示部982にタッチセンサを備える。電話を掛ける、或いは文字を入力する等のあらゆる操作は、指やスタイラス等で表示部982に触れることで行うことができる。当該携帯電話機における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
図26(F)は自動車であり、車体901、車輪902、カメラ903等を有する。カメラ903が撮影した画像を解析して、歩行者の有無等、周囲の交通状況を判断することにより、自動運転を行うことができる。カメラ903に、本発明の一態様の撮像装置を備えることができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
10 撮像装置
13 電流ソース回路
14 電流シンク回路
15 遮光層
16 電流源回路
21 画素アレイ
23 参照画素アレイ
24 アナログ処理回路
25 デコーダ
26 A/D変換回路
31 スイッチ回路
41 トランジスタ
42 トランジスタ
43 トランジスタ
44 トランジスタ
45 トランジスタ
46 トランジスタ
47 トランジスタ
48 トランジスタ
49 トランジスタ
50 トランジスタ
51 トランジスタ
52 容量素子
53 容量素子
60 光電変換素子
62 容量素子
63 容量素子
64 トランジスタ
71_1 配線
71_2 配線
73 配線
75 配線
75_n 配線
75_1 配線
75_2 配線
75_3 配線
76 配線
77 配線
77b 配線
78 配線
78_n 配線
78_1 配線
78_2 配線
79 配線
80 配線
81 トランジスタ
81_1 トランジスタ
81_2 トランジスタ
82 配線
171 回路
173 回路
174 回路
175 回路
180 NN回路
190 演算処理回路
410 パッケージ基板
411 パッケージ基板
420 カバーガラス
421 レンズカバー
430 接着剤
435 レンズ
440 バンプ
441 ランド
450 イメージセンサチップ
451 イメージセンサチップ
460 電極パッド
461 電極パッド
470 ワイヤ
471 ワイヤ
490 ICチップ
531 導電層
532 導電層
533 導電層
534 導電層
535 バックゲート
536 領域
540 シリコン基板
541 絶縁層
542 絶縁層
543 絶縁層
545 半導体層
546 絶縁層
561 層
562 層
563 層
565a 層
565b 層
565c 層
566a 層
566b 層
566c 層
566d 層
580 絶縁層
581 遮光層
582 有機樹脂層
583 カラーフィルタ
583a カラーフィルタ
583b カラーフィルタ
583c カラーフィルタ
584 マイクロレンズアレイ
585 光学変換層
586 絶縁層
901 車体
902 車輪
903 カメラ
932 表示部
933 筐体兼リストバンド
939 カメラ
951 支持台
952 カメラユニット
953 保護カバー
961 筐体
962 シャッターボタン
963 マイク
965 レンズ
967 発光部
971 筐体
972 筐体
973 表示部
974 操作キー
975 レンズ
976 接続部
981 筐体
982 表示部
983 操作ボタン
984 外部接続ポート
985 スピーカ
986 マイク
987 カメラ

Claims (14)

  1. 第1の画素と、第2の画素と、第1の回路と、を有する撮像装置であって、
    前記第2の画素は、前記第1の画素と同一行かつ隣接する列に設けられ、
    前記第1の画素は、第1の光電変換素子と、第1のトランジスタと、第2のトランジスタと、第1の容量素子と、をそれぞれ有し、
    前記第1の光電変換素子の一方の電極は、前記第1のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第1のトランジスタのソースまたはドレインの他方は、前記第2のトランジスタのゲートと電気的に接続され、
    前記第2のトランジスタのゲートは、前記第1の容量素子の一方の電極と電気的に接続され、
    前記第2の画素は、第2の光電変換素子と、第3のトランジスタと、第4のトランジスタと、第2の容量素子と、をそれぞれ有し、
    前記第2の光電変換素子の一方の電極は、前記第3のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第3のトランジスタのソースまたはドレインの他方は、前記第4のトランジスタのゲートと電気的に接続され、
    前記第4のトランジスタのゲートは、前記第2の容量素子の一方の電極と電気的に接続され、
    前記第1の回路は、前記第1の容量素子に保持されたデータと、前記第2の容量素子に保持されたデータと、を基に、重みフィルタを用いて畳み込み処理を行う機能を有し、
    前記重みフィルタは、第1の重み係数と、第2の重み係数と、を有し、
    前記第1の回路は、前記第1の容量素子の他方の電極に、前記第1の重み係数に対応する電位を印加する機能を有し、
    前記第1の回路は、前記第2の容量素子の他方の電極に、前記第2の重み係数に対応する電位を印加する機能を有することを特徴とする撮像装置。
  2. 請求項1において、
    前記撮像装置は、第2の回路を有し、
    前記第2のトランジスタのソースまたはドレインの一方には、第1の電流が流れ、
    前記第1の電流の電流値は、前記第1の光電変換素子に照射された光の照度と、前記第1の容量素子の他方の電極に印加された電位と、に対応し、
    前記第4のトランジスタのソースまたはドレインの一方には、第2の電流が流れ、
    前記第2の電流の電流値は、前記第2の光電変換素子に照射された光の照度と、前記第2の容量素子の他方の電極に印加された電位と、に対応し、
    前記第2の回路は、前記第1の電流を基に、第3の電流を生成する機能を有し、
    前記第3の電流の電流値は、前記第1の光電変換素子に照射された光の照度に対応する電位と、前記第1の容量素子の他方の電極に印加された電位と、の積に対応し、
    前記第2の回路は、前記第2の電流を基に、第4の電流を生成する機能を有し、
    前記第4の電流の電流値は、前記第2の光電変換素子に照射された光の照度に対応する電位と、前記第2の容量素子の他方の電極に印加された電位と、の積に対応することを特徴とする撮像装置。
  3. 請求項1または2において、
    前記第1の光電変換素子と、前記第2の光電変換素子と、は、光電変換層にセレンまたはセレンを含む化合物を有することを特徴とする撮像装置。
  4. 請求項1乃至3のいずれか一項において、
    前記第1のトランジスタのチャネル形成領域と、前記第3のトランジスタのチャネル形成領域と、は金属酸化物を有し、
    前記金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Sn、Y、Zr、La、Ce、NdまたはHf)と、を有することを特徴とする撮像装置。
  5. 請求項1乃至4のいずれか一項において、
    前記撮像装置は、第3の画素と、第4の画素と、を有し、
    前記第3の画素および前記第4の画素は、前記第1の画素と同一行に設けられ、
    前記第3の画素は、第3の光電変換素子を有し、
    前記第4の画素は、第4の光電変換素子を有し、
    前記第3の画素および前記第4の画素は、遮光されていることを特徴とする撮像装置。
  6. 請求項において、
    前記第3の光電変換素子は、光電変換層にセレンまたはセレンを含む化合物を有することを特徴とする撮像装置。
  7. 第1の画素と、第2の画素と、第3の画素と、第4の画素と、第1の回路と、を有する撮像装置であって、
    前記第2の画素は、前記第1の画素と同一行かつ隣接する列に設けられ、
    前記第3の画素は、前記第1の画素と同一行、かつn列分(nは2以上の整数)離れた位置に設けられ、
    前記第4の画素は、前記第2の画素と同一行、かつn列分(nは2以上の整数)離れた位置に設けられ、
    前記第1の画素は、第1の光電変換素子と、第1のトランジスタと、第2のトランジスタと、第1の容量素子と、をそれぞれ有し、
    前記第1の光電変換素子の一方の電極は、前記第1のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第1のトランジスタのソースまたはドレインの他方は、前記第2のトランジスタのゲートと電気的に接続され、
    前記第2のトランジスタのゲートは、前記第1の容量素子の一方の電極と電気的に接続され、
    前記第2の画素は、第2の光電変換素子と、第3のトランジスタと、第4のトランジスタと、第2の容量素子と、をそれぞれ有し、
    前記第2の光電変換素子の一方の電極は、前記第3のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第3のトランジスタのソースまたはドレインの他方は、前記第4のトランジスタのゲートと電気的に接続され、
    前記第4のトランジスタのゲートは、前記第2の容量素子の一方の電極と電気的に接続され、
    前記第3の画素は、第3の光電変換素子と、第5のトランジスタと、第6のトランジスタと、第3の容量素子と、をそれぞれ有し、
    前記第3の光電変換素子の一方の電極は、前記第5のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第5のトランジスタのソースまたはドレインの他方は、前記第6のトランジスタのゲートと電気的に接続され、
    前記第6のトランジスタのゲートは、前記第3の容量素子の一方の電極と電気的に接続され、
    前記第4の画素は、第4の光電変換素子と、第7のトランジスタと、第8のトランジスタと、第4の容量素子と、をそれぞれ有し、
    前記第4の光電変換素子の一方の電極は、前記第7のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第7のトランジスタのソースまたはドレインの他方は、前記第8のトランジスタのゲートと電気的に接続され、
    前記第8のトランジスタのゲートは、前記第4の容量素子の一方の電極と電気的に接続され、
    前記第1の容量素子の他方の電極と、前記第3の容量素子の他方の電極と、は、第1の配線と電気的に接続され、
    前記第2の容量素子の他方の電極と、前記第4の容量素子の他方の電極と、は、第2の配線と電気的に接続され、
    前記第1の回路は、前記第1の配線、および前記第2の配線と電気的に接続され、
    前記第1の回路は、n列分の重み係数を有する重みフィルタを用いて、前記第1の容量素子に保持されたデータと、前記第2の容量素子に保持されたデータと、を基に第1の畳み込み処理を行う機能、および、前記第3の容量素子に保持されたデータと、前記第4の容量素子に保持されたデータと、を基に第2の畳み込み処理を行う機能を有し、
    前記第1の配線には、p列目(pは1以上n未満の整数)の重み係数である第1の重み係数に対応した電位が印加され、
    前記第2の配線には、p+1列目の重み係数である第2の重み係数に対応した電位が印加されることを特徴とする撮像装置。
  8. 請求項において、
    前記第1の畳み込み処理と前記第2の畳み込み処理を並行して行う機能を有することを特徴とする撮像装置。
  9. 請求項7または8において、
    前記撮像装置は、第2の回路を有し、
    前記第2のトランジスタのソースまたはドレインの一方には、第1の電流が流れ、
    前記第1の電流の電流値は、前記第1の光電変換素子に照射された光の照度と、前記第1の配線に印加された電位と、に対応し、
    前記第4のトランジスタのソースまたはドレインの一方には、第2の電流が流れ、
    前記第2の電流の電流値は、前記第2の光電変換素子に照射された光の照度と、前記第2の配線に印加された電位と、に対応し、
    前記第6のトランジスタのソースまたはドレインの一方には、第3の電流が流れ、
    前記第3の電流の電流値は、前記第3の光電変換素子に照射された光の照度と、前記第1の配線に印加された電位と、に対応し、
    前記第8のトランジスタのソースまたはドレインの一方には、第4の電流が流れ、
    前記第4の電流の電流値は、前記第4の光電変換素子に照射された光の照度と、前記第2の配線に印加された電位と、に対応し、
    前記第2の回路は、前記第1の電流を基に、第5の電流を生成する機能を有し、
    前記第5の電流の電流値は、前記第1の光電変換素子に照射された光の照度に対応する電位と、前記第1の配線に印加された電位と、の積に対応し、
    前記第2の回路は、前記第2の電流を基に、第6の電流を生成する機能を有し、
    前記第6の電流の電流値は、前記第2の光電変換素子に照射された光の照度に対応する電位と、前記第2の配線に印加された電位と、の積に対応し、
    前記第2の回路は、前記第3の電流を基に、第7の電流を生成する機能を有し、
    前記第7の電流の電流値は、前記第3の光電変換素子に照射された光の照度に対応する電位と、前記第1の配線に印加された電位と、の積に対応し、
    前記第2の回路は、前記第4の電流を基に、第8の電流を生成する機能を有し、
    記第8の電流の電流値は、前記第4の光電変換素子に照射された光の照度に対応する電位と、前記第2の配線に印加された電位と、の積に対応することを特徴とする撮像装置。
  10. 請求項7乃至9のいずれか一項において、
    前記第1乃至第4の光電変換素子は、光電変換層にセレンまたはセレンを含む化合物を有することを特徴とする撮像装置。
  11. 請求項7乃至10のいずれか一項において、
    前記第1のトランジスタのチャネル形成領域と、前記第3のトランジスタのチャネル形成領域と、前記第5のトランジスタのチャネル形成領域と、前記第7のトランジスタのチャネル形成領域と、は金属酸化物を有し、
    前記金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Sn、Y、Zr、La、Ce、NdまたはHf)と、を有することを特徴とする撮像装置。
  12. 請求項7乃至11のいずれか一項において、
    前記撮像装置は、第5の画素と、第6の画素と、を有し、
    前記第5の画素および前記第6の画素は、前記第1の画素と同一行に設けられ、
    前記第5の画素は、第5の光電変換素子を有し、
    前記第6の画素は、第6の光電変換素子を有し、
    前記第5の画素は、前記第1の配線と電気的に接続され、
    前記第6の画素は、前記第2の配線と電気的に接続され、
    前記第5の画素および前記第6の画素は、遮光されていることを特徴とする撮像装置。
  13. 請求項12において、
    前記第5の光電変換素子および前記第6の画素は、光電変換層にセレンまたはセレンを含む化合物を有することを特徴とする撮像装置。
  14. 請求項1乃至13のいずれか一項に記載の撮像装置と、
    表示装置と、
    を有することを特徴とする電子機器。
JP2017109847A 2017-06-02 2017-06-02 撮像装置および電子機器 Active JP6957210B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017109847A JP6957210B2 (ja) 2017-06-02 2017-06-02 撮像装置および電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017109847A JP6957210B2 (ja) 2017-06-02 2017-06-02 撮像装置および電子機器

Publications (2)

Publication Number Publication Date
JP2018207273A JP2018207273A (ja) 2018-12-27
JP6957210B2 true JP6957210B2 (ja) 2021-11-02

Family

ID=64957535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017109847A Active JP6957210B2 (ja) 2017-06-02 2017-06-02 撮像装置および電子機器

Country Status (1)

Country Link
JP (1) JP6957210B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113809A (ja) 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
CN113964220B (zh) * 2021-10-12 2023-09-01 闽都创新实验室 一种突触器件及实现其红外光调制突触行为的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773832B2 (en) * 2014-12-10 2017-09-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
US10389961B2 (en) * 2015-04-09 2019-08-20 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
JP6674838B2 (ja) * 2015-05-21 2020-04-01 株式会社半導体エネルギー研究所 電子装置
KR20170061602A (ko) * 2015-11-26 2017-06-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기

Also Published As

Publication number Publication date
JP2018207273A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
JP6788757B2 (ja) 撮像装置及びチップ
JP7202297B2 (ja) 撮像装置および電子機器
JP7322239B2 (ja) 撮像装置および電子機器
JP7335990B2 (ja) 撮像装置
JP7101530B2 (ja) 撮像表示装置および電子機器
JP7217227B2 (ja) 撮像装置、及び電子機器
JP6957210B2 (ja) 撮像装置および電子機器
WO2020250095A1 (ja) 撮像装置および電子機器
WO2020222059A1 (ja) 撮像装置、その動作方法、および電子機器
JP2019009640A (ja) 撮像装置および電子機器
CN114207828A (zh) 摄像装置及电子设备
WO2021053449A1 (ja) 撮像システムおよび電子機器
JP6942498B2 (ja) 撮像装置
WO2021209868A1 (ja) 撮像装置および電子機器
WO2021214616A1 (ja) 撮像装置
WO2021191719A1 (ja) 撮像装置および電子機器
WO2021176295A1 (ja) 撮像装置および電子機器
JPWO2020021398A1 (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R150 Certificate of patent or registration of utility model

Ref document number: 6957210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150