(第1の実施形態)
以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。
以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、以下の説明では、必要に応じて特定の方向や位置を示す用語(例えば、「上」、「下」、「右」、「左」及び、それらの用語を含む別の用語)を用いる。それらの用語の使用は図面を参照した実施形態の理解を容易にするためであって、それらの用語の意味によって本発明の技術的範囲が限定されるものではない。
本明細書において、平面視とは、半導体層の光入射面に対して垂直な方向から視ることである。また、断面視とは、半導体層の光入射面と垂直な方向における面をいう。なお、微視的に見て半導体層の光入射面が粗面である場合は、巨視的に見たときの半導体層の光入射面を基準として平面視を定義する。
以下の説明において、アバランシェフォトダイオード(APD)のアノードを固定電位とし、カソード側から信号を取り出している。したがって、信号電荷と同じ極性の電荷を多数キャリアとする第1導電型の半導体領域とはN型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第2導電型の半導体領域とはP型半導体領域である。なお、APDのカソードを固定電位とし、アノード側から信号を取り出す場合でも本発明は成立する。この場合は、信号電荷と同じ極性の電荷を多数キャリアとする第1導電型の半導体領域はP型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第2導電型の半導体領域とはN型半導体領域である。以下では、APDの一方のノードを固定電位とする場合について説明するが、両方のノードの電位が変動してもよい。
本明細書において、単に「不純物濃度」という用語が使われた場合、逆導電型の不純物によって補償された分を差し引いた正味の不純物濃度を意味している。つまり、「不純物濃度」とは、NETドーピング濃度を指す。P型の添加不純物濃度がN型の添加不純物濃度より高い領域はP型半導体領域である。反対に、N型の添加不純物濃度がP型の添加不純物濃度より高い領域はN型半導体領域である。
図1は、本発明の実施形態に係る積層型の光電変換装置の構成を示す図である。光電変換装置100は、センサチップ11と、回路チップ21の2枚のチップが積層され、且つ電気的に接続されることにより構成される。
センサチップ11には、画素領域12が配され、回路チップ21には、画素領域12で検出された信号を処理する回路領域22が配される。
図2は、センサチップ11の配置図である。アバランシェフォトダイオード(以下、APD)を含む光電変換部102を有する画素101が二次元状に配列され、画素領域12を形成する。
画素101は、典型的には、画像を形成するための画素であるが、TOF(Time of Flight)に用いる場合には、必ずしも画像を形成しなくてもよい。すなわち、画素101は、光が到達した時刻と光量を測定するための画素であってもよい。
図3は、回路チップ21の構成図である。図2の光電変換部102で光電変換された電荷を処理する信号処理部103、読み出し回路112、制御パルス生成部115、水平走査回路部111、信号線113、垂直走査回路部110を有している。信号処理部103は、光電変換した電気信号を読み出し回路112に出力する。読み出し回路112は、信号処理部103から出力された行単位の信号を格納する。
図2の光電変換部102と、図3の信号処理部103は、画素毎に設けられた接続配線を介して電気的に接続される。
本実施形態では、センサチップ11と回路チップ21の2枚のチップを積層した構成を示したが、センサチップ11の画素領域12と回路チップ21の回路領域22を1枚のチップに配置した構成としてもよい。
垂直走査回路部110は、制御パルス生成部115から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部110にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。
各画素の光電変換部102から出力された信号は、信号処理部103で処理される。信号処理部103は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。
水平走査回路部111は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを信号処理部103に入力する。
信号線113には、選択されている列について、垂直走査回路部110により選択された画素の信号処理部103から信号が出力される。
信号線113に出力された信号は、読み出し回路112および出力回路114を介して、光電変換装置100の外部の記録部または信号処理部に出力する。
図2において、画素領域12における画素101の配列は1次元状に配されていてもよい。信号処理部103の機能は、必ずしも全ての画素101に1つずつ設けられる必要はなく、例えば、複数の画素101によって1つの信号処理部103が共有され、順次信号処理が行われてもよい。
図4は、比較例の図2及び図3の1画素分の等価回路を含むブロック図の一例である。図5は、本実施形態に係る光電変換装置の図2及び図3の1画素分の等価回路を含むブロック図の一例である。図4、図5のそれぞれにおいて、APD201を有する光電変換部102は、センサチップ11に設けられており、その他の部材は、回路チップ21に設けられている。図5に示す本実施形態に係る光電変換装置は、図4に示す比較例の光電変換装置に対して、遮断部205が設けられている点が異なる。
APD201は、光電変換により入射光に応じた電荷対を生成する。APD201のカソードには、アノードに供給される電圧よりも高い電圧が、電源VH(第1電源)より、供給される。また、APD201のアノードには、電源VL(第2電源)より、電圧が供給される。アノードとカソードには、APD201がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。
なお、逆バイアスの電圧が供給される場合において、アノード及びカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードと、アノード及びカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるAPDをSPADと呼ぶ。例えば、電源VLは、-30V、電源VHは、1Vである。
APD201のアノード又はカソードは、nodeA(第1端子)に接続される。また、nodeAは、第1のPMOSトランジスタ206のゲートと第1のNMOSトランジスタ207のゲートとスイッチ202に接続される。
スイッチ202は、電源VHとAPD201の間に設けられ、電源VHとAPD201の間の抵抗値を切り替える。スイッチ202は、APD201で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。スイッチ202は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、APD201に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ(クエンチ動作)。スイッチ202は、スイッチ202が非導通状態となりカソードの電位が保持された状態(待機状態)と、スイッチ202が導通状態でアバランシェ増倍を引き起こす電位がAPD201のカソードに与えられた状態(リチャージ状態)とに制御される。待機状態とリチャージ状態とは、第1制御線215を介して、制御信号Pctrlによって制御される。例えば、制御信号Pctrlがハイレベルの場合にスイッチ202がOFFとなりAPD201は待機状態に制御され、制御信号Pctrlがローレベルの場合にスイッチ202がONとなりAPD201はリチャージ状態に制御される。
図4に示す信号処理部103は、波形整形部210、カウンタ回路211、選択回路212を有し、図5に示す信号処理部103は、波形整形部210、遮断手段205、カウンタ回路211、選択回路212を有する。
波形整形部210は、光子検出時に得られるAPD201のカソードの電位変化を整形して、パルス信号を出力する。波形整形部210は、第1のPMOSトランジスタ206と第1のNMOS207によって構成された、インバータ回路が用いられる。第1のPMOSトランジスタ206のドレインと第1のNMOS207のドレインは、nodeBに接続される。第1のNMOSトランジスタ207のソースは、GND(接地電位)に接続される。例えば、GNDは0Vである。また、nodeBは、カウンタ回路221の入力に接続される。このインバータ回路はAPD201から出力される信号が判定閾値を超えるか否かを判定し、入力される信号の閾値に対する大小関係を反転した信号を出力する。インバータ回路の出力は、カソードの電圧変化が整形されたパルス波となる。すなわち、該インバータ回路はAPDから出力される連続的な信号をパルス状に整形して出力する、波形整形機能を担っている。
ここで、図4を用いて波形整形部210であるインバータ回路に流れる貫通電流について説明する。上述の通り、このインバータ回路はAPD201から出力される信号が判定閾値を超えるか否かを判定する。判定閾値とは第1のPMOSトランジスタ206と第1のNMOS207とのONとOFFとが入れ替わる電位である。例えば、インバータ回路に入力される信号がLowであるとき、該インバータ回路を構成する第1のPMOSトランジスタ206がONになり、第1のNMOS207がOFFになる。VDDによって寄生容量が充電されることで、nodeB出力はHighになる。インバータ回路に入力される信号がHighであるとき、該インバータ回路を構成する第1のPMOSトランジスタ206がOFFになり、第1のNMOS207がONになる。寄生容量からGNDに放電されることで、nodeB出力はLowになる。
入力信号がHighとLowとの遷移状態にあるとき、第1のPMOSトランジスタ206と第1のNMOS207とのONとOFFとが入れ替わる電位(判定閾値)付近を遷移する。このとき、入力信号が第1のPMOSトランジスタ206と第1のNMOS207の双方がオンになる中間電位となる場合がある。入力信号が中間電位になると、VDDとGNDの間に直列に接続された第1のPMOSトランジスタ206と第1のNMOS207の双方がオンになるため、VDDとGNDの間に貫通電流が流れる。
図4及び図5では、波形整形部210としてインバータを一つ用いた例を示したが、波形整形部210はインバータを含む論理回路で構成したものでもよい。
図5において、遮断手段205は、電源VDD(第3電源)とGND(第4電源)の間に設けられ、電源VDDとGNDの間の経路を遮断する。遮断手段205は、第2のPMOSトランジスタ208で構成される。第2のPMOSトランジスタ208のソースは、電源VDDに接続される。例えば、電源VDDは、1Vである。
図5では、電源VHと電源VDDがそれぞれ設けられている構成を示した。しかし、電源VHと電源VDDを共通の電源としてもよい。共通の電源とすることで、光電変換装置100に必要な電源を少なくすることが可能である。
遮断手段205は、ON(動作状態)と、OFF(遮断状態)とに制御される。遮断手段205は、第2制御線216を介して、制御信号Pcutoffによって制御される。例えば、制御信号Pcutoffがローレベルの場合にONに、ハイレベルの場合にOFFに制御される。図5では、遮断手段205としてPMOSトランジスタを用いた例を示したが、NMOSトランジスタを用いてもよいし、電流の遮断効果があるその他の回路を用いてもよい。また、遮断手段205は、GNDと第1のNMOSトランジスタ207の間に設けられてもよい。
カウンタ回路211は、波形整形部210から出力されたパルス信号をカウント及びカウント値を保持する。また、駆動線213を介して制御パルスpRESが供給されたとき、カウンタ回路211に保持された信号がリセットされる。
選択回路212には、図3の垂直走査回路部110から、図5の駆動線214(図3では不図示)を介して制御パルスpSELが供給され、カウンタ回路211と信号線113との電気的な接続、非接続を切り替える。選択回路212には、例えば、信号を出力するためのバッファ回路などを含む。
スイッチ202とAPD201との間や、光電変換部102と信号処理部103との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換部102に供給される電圧の供給をトランジスタ等のスイッチを用いて電気的に切り替えてもよい。
本実施形態では、カウンタ回路211を用いる構成を示した。しかし、カウンタ回路211の代わりに、時間・デジタル変換回路(Time to Digital Converter:以下、TDC)、メモリを用いて、パルス検出タイミングを取得する光電変換装置100としてもよい。このとき、波形整形部210から出力されたパルス信号の発生タイミングは、TDCによってデジタル信号に変換される。TDCには、パルス信号のタイミングの測定に、図1の垂直走査回路部110から駆動線を介して、制御パルスpREF(参照信号)が供給される。TDCは、制御パルスpREFを基準として、波形整形部210を介して各画素から出力された信号の入力タイミングを相対的な時間としたときの信号をデジタル信号として取得する。
図6は、APDの動作と出力信号との関係を模式的に示した図である。図6(a)は、図4のAPD201、スイッチ202、波形整形部210、nodeA、nodeBを抜粋した図である。図6(b)、図6(c)、図6(d)には、スイッチ202が常に導通状態である場合のAPDの動作と出力信号との関係を示す。図6(e)、図6(f)、図6(g)には、スイッチ202が、導通状態と非導通状態に制御される場合のAPDの動作と出力信号との関係を示す。図6(b)、図6(e)は、図6(a)のnodeAの波形変化を、図6(c)、図6(f)は、図6(a)のnodeBの波形変化を、図6(d)、図6(g)は、図6(a)のPctrlの波形変化をそれぞれ示す。
図6(b)から図6(d)を用いて、図6(a)のスイッチ202が常にONの場合のAPDの動作と出力信号との関係について説明する。
時刻t0からt1の間において、図6(a)のAPD201には、VH-VLの電位差が印加されている。
図6(b)において、時刻t1においてフォトンが入射すると、スイッチ202にアバランシェ増倍電流が流れ、nodeAの電圧は降下する。電圧降下量がさらに大きくなり、APD201に印加される電位差が小さくなると、APD201のアバランシェ増倍が停止し、時刻t2においてnodeAの電圧レベルはある一定値以上降下しなくなる。その後、nodeAには電圧降下分を補う電流が流れ、時刻t3においてnodeAは元の電位レベルに静定する。
このとき、図6(c)に示すように、nodeAにおいて出力波形がある閾値を越えた部分は、波形整形部210で波形整形され、nodeBに信号として出力される。
次に、図6(e)から図6(g)を用いて、図6(a)のスイッチ202が、ONとOFFに制御される場合のAPD201の動作と出力信号との関係について説明する。
図6(e)において、時刻t0からt3の間において、スイッチ202はOFFである。そのため、時刻t2からt3の間において、nodeAはアバランシェ増倍の発生に伴う電圧の降下を補う(回復する)ことができない。時刻t3において、スイッチ202がONとなる。その後、nodeAの電圧の降下は補われ、時刻t4においてnodeAは元の電位レベルに復帰し、静定する。時刻t5において、スイッチ202がOFFとなり、APD201は再び待機状態となる。
図7は、図4に示した比較例による1画素の駆動タイミングの一例であり、図8は、図5に示した本実施形態による1画素の駆動タイミングの一例である。
図7、図8に共通して、時刻t1からt4までの期間が(n-1)フレームの非露光期間である。時刻t4から時刻12までの期間がnフレームの露光期間である。時刻t12から時刻14までの期間がnフレームの非露光期間である。時刻t14から時刻t16以降の期間が(n+1)フレームの露光期間である。露光期間を1フレームの最大の露光期間よりも短く設定した場合に、1フレームの期間内に露光期間以外の期間として非露光期間が発生する。ここで、露光期間とはAPD210において光子の検出を行っている期間であり、この期間に検出された光子に応じた光子検出信号がAPD210から出力される。非露光期間とはシャッター動作などによってAPD210における光の検出が行われないよう制御されている期間である。複数並ぶ画素のうちある画素領域の露光期間内の光子検出動作を停止させるクロップ動作や、1行おき、あるいは2行おき、など周期的に画素を間引く間引き動作などによって、光子の検出あるいは出力が停止されている期間も非露光期間と扱う。
また、露光期間を定義する制御信号ENをカウンタ211に入力し、露光期間とカウンタ211の動作を連動させてもよい。すなわち、制御信号ENがローレベルからハイレベルに遷移すると、露光期間が開始し、制御信号ENがハイレベルからローレベルに遷移すると、露光期間が終了し、カウンタ211は停止状態となる。
まず図7について、説明する。
(n-1)フレームの非露光期間中である時刻t1において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。
時刻t2において、nodeAの電位が波形整形部210の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。その後、nodeAの電位はアバランシェ増倍が可能な電位レベルに静定する。
時刻t3において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がOFFになり、APD201が待機状態となる。
時刻t4において、(n-1)フレームの非露光期間が終了し、nフレームの露光期間が開始される。
時刻t5において、APD201に光子が入射し、アバランシェ増倍電流が流れ、nodeAの電位が降下する。
時刻t6において、nodeAの電位が波形整形部210の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。
時刻t7において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。
時刻t8において、nodeA電位が波形整形部210の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。その後、nodeAの電位はアバランシェ増倍が可能な電位レベルに静定する。
時刻t9において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がOFFになり、APD201が待機状態となる。
時刻t10において、APD201に光子が入射し、アバランシェ増倍電流が流れ、nodeAの電位が降下する。
時刻t11において、nodeAの信号が波形整形部210の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。以降の露光期間は、制御信号Pctrlの動作に応じて時刻t4から時刻t11と同様の動作となる。
時刻t12において、nフレームの露光期間が終了し、nフレームの非露光期間が開始される。このとき、Pctrlはハイレベルであり、スイッチ202はOFF状態である。そのため、nodeAはフローティングとなる。nodeAがフローティングの期間にAPD201に逆方向電流が流れると、nodeAの電位が低下する。このときAPD210は待機状態であるため、nodeAはアバランシェ増倍による電圧の降下を補う(回復する)ことができず、nodeAの電位は逆方向電流の発生に伴い低下を続ける。
時刻t13において、nodeAの電位が後段の波形整形部210を構成する第1のPMOSトランジスタ206と第1のNMOSトランジスタ207の双方がONになる中間電位となる。波形整形部210には、t2やt6で流れる貫通電流と比べてより大きな貫通電流が流れる。また、nodeAの信号が波形整形部210の判定閾値を越える。
t13で流れる貫通電流がt2やt6で流れる貫通電流と比べて大きくなる理由を以下に説明する。露光期間中において、APD210は制御信号Pctrlに応じて動作し、アバランシェ増倍の発生によるnodeA電位の低下とリチャージによるnodeA電位の上昇を繰り返している。そのため、アバランシェ増倍の発生によるnodeA電位の低下時及びリチャージに伴うnodeAの電位の上昇時の双方で、nodeAが中間電位になるのはごく短い期間である。一方、非露光期間中のnodeAの電位はAPD210がリニアモードで動作することによって発生する電流に応じて変化するため、nodeAが中間電位に保持されている期間が比較的長くなる。したがって、非露光期間に貫通電流が流れる場合、露光期間中と比べ貫通電流が流れている期間が長くなり、消費電力がより大きくなることが懸念される。
時刻t14において、nフレームの非露光期間が終了し、(n+1)フレームの露光期間となる。
時刻t15において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。
時刻t16において、nodeAの電位が波形整形部210の判定閾値を越える。その後、nodeAはアバランシェ増倍が可能な電位レベルに静定する。時刻t14以降は、nフレームの露光期間と同様の動作となる。
次に図8について、説明する。
時刻t1において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。その後、nodeAの電位はアバランシェ増倍が可能な電位レベルに静定する。
時刻t2において、nodeAの電位が波形整形部210の判定閾値を越える。Pcutoffがハイレベルであり、遮断手段205が遮断状態であるため、電源VDDからGNDの電気的経路は遮断されており、貫通電流も流れない。
時刻t3において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がONになり、APD201が待機状態となる。
時刻t4において、制御信号Pcutoffがハイレベルからローレベルとなり、遮断手段205が動作状態となる。
時刻t5において、APD201に光子が入射し、アバランシェ増倍電流が流れ、nodeAの電位が降下する。
時刻t6において、nodeAの電位が波形整形部210の判定閾値を越える。この時、遮断手段205が動作状態であり、電源VDDからGNDの電気的経路が導通状態であるから、電源VDDからGNDに貫通電流が流れる。
時刻t7において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がOFFになり、APD201がリチャージ状態となる。
時刻t8において、nodeAの電位が波形整形部210の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。その後、nodeAはアバランシェ増倍が可能な電位レベルに静定する。
時刻t9において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がOFFになり、APD201が待機状態となる。
時刻t10において、APD201に光子が入射し、アバランシェ増倍電流が流れ、nodeAの電位が降下する。
時刻t11において、nodeAの電位が波形整形部210の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。以降の露光期間は、時刻t4から時刻t11と同様の動作となる。
時刻t12において、制御信号Pcutoffがローレベルからハイレベルとなり、遮断手段205が遮断状態となる。また、Pctrlはハイレベルであり、スイッチ202がONになり、APD201が待機状態となる。
そのため、nodeAはフローティングとなる。nodeAがフローティングの期間にAPD201で逆方向電流が流れ、nodeAの電位が低下する。
時刻t13において、nodeAの電位が後段の波形整形部210を構成する第1のPMOSトランジスタ206と第1のNMOSトランジスタ207の双方がONになる中間電位となる。しかし、本実施例では、遮断手段205が遮断状態であるため、電源VDDからGNDに流れる貫通電流を防ぐことができる。また、nodeAの信号が波形整形部210の判定閾値を越える。
時刻t14において、制御信号Pcutoffがハイレベルからローレベルとなり、遮断手段205が動作状態となる。
時刻t15において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がリチャージ状態となる。
時刻t16において、nodeAの信号が波形整形部210の判定閾値を越える。その後、nodeAはアバランシェ増倍が可能な元の電位レベルに静定する。時刻t14以降は、nフレームの露光期間と同様の動作となる。
このように、本実施形態によれば、非露光期間において、電源VDDとGNDの間の経路を遮断することにより、波形整形部206の貫通電流を防ぐことが可能である。本実施形態では露光期間と非露光期間とを有する画素について説明したが、本発明は、例えばいわゆるOPB(Optical Black)画素として機能する遮光されたダミー画素にも適用可能である。このようなダミー画素であっても、スイッチ202をOFFにする期間があることで貫通電流が生じる。
なお、図5に示す構成では、遮断手段205がOFF(遮断状態)の場合に、波形整形部210の出力がフローティングとなりうる。しかし、カウンタ回路を構成する素子において電源とGNDの間に貫通電流が流れる可能性があるため、カウンタ回路211の入力信号がフローティングとなることは望ましくない。そのため、遮断手段205が遮断状態の場合に、波形整形部210の出力が、ハイレベルまたはローレベルとなるように、波形整形部210の出力と電源またはGNDの間にスイッチを追加した構成としてもよい。すなわち、波形整形部210の出力端子とカウンタ回路211の入力端子との間のノードにスイッチの第1端子を接続し、電源またはGNDにスイッチの第2端子を接続する構成とする。このような構成とすることで、遮断手段205が遮断状態の場合に、上記スイッチに応じて、波形整形部210の出力がハイレベルまたはローレベルに固定される。そのため、カウンタ回路の入力信号がフローティングとなり、カウンタ回路において貫通電流が発生することを防ぐことが可能である。
(第2の実施形態)
本発明の第2の実施形態に係る光電変換装置について、図9及び図10を用いて説明する。第1の実施形態による光電変換装置と共通する構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、波形整形部210及び遮断手段205が遮断手段205を含む論理回路203により構成された場合について説明する。
図9、図10は、本実施形態に係る光電変換装置の図2及び図3の1画素分の等価回路を含む論理回路図と、ブロック図である。
図9に示すように、論理回路203は、入力にAPD201のカソードnodeA及び第2制御線216が接続され、出力がカウンタ回路211に接続されるNOR回路である。このNOR回路の具体的な構成を図10に示す。
論理回路203は、第1のPMOSトランジスタ206と第2のPMOSトランジスタ208と第1のNMOSトランジスタ207と第2のNMOSトランジスタ209で構成される。遮断手段205は、第2のPMOSトランジスタ208で構成され、論理回路203に含まれる。
図10において、第1のPMOSトランジスタ206のソースがVDDに接続され、第1のNMOSトランジスタ207のソースがGNDに接続される。さらに第1のPMOSトランジスタ206のドレインと第2のPMOSトランジスタ208のソースとが接続される。第2のPMOSトランジスタ208のドレインと、第1のNMOSトランジスタ207のドレインと、第2のNMOSトランジスタ209のドレインが接続される。第1のNMOSトランジスタのソースは第2のNMOSトランジスタ209のソースと接続されている。
NOR回路を構成する入力の一方である入力Aは制御信号Pcutoffにより制御され、他方の入力BはAPD201のカソードであるnodeAの電位により制御される。遮断手段205は、入力Aがローレベルのとき導通状態、ハイレベルのとき非導通状態となる。また、入力Aがハイレベルのとき、論理回路の出力はローレベルとなる。
本実施形態によれば、遮断手段205を含む論理回路203(NOR回路)を用いることにより、非露光期間における波形整形部206の貫通電流を防ぐことが可能である。
(第3の実施形態)
本発明の第3の実施形態に係る光電変換装置について、図11及び図12を用いて説明する。第1の実施形態に係る光電変換装置と共通する構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、論理回路203がNAND回路により構成された場合について説明する。
図11、図12は、本実施形態に係る光電変換装置の図2及び図3の1画素分の等価回路を含む論理回路図と、ブロック図である。
図11に示すように、論理回路203は、入力にAPD201のカソードnodeA及び第3制御線217が接続され、出力がカウンタ回路211に接続されるNAND回路である。このNAND回路の具体的な構成を図12に示す。
論理回路203は、第1のPMOSトランジスタ206と第2のPMOSトランジスタ208と第1のNMOSトランジスタ207と第2のNMOSトランジスタ209で構成される。遮断手段205は、第2のNMOSトランジスタ209で構成され、論理回路203に含まれる。
図12において、第1のPMOSトランジスタ206のソースがVDDに接続され、第1のNMOSトランジスタ207のソースがGNDに接続される。第1のPMOSトランジスタ206のドレインと第2のPMOSトランジスタ208のドレインと第2のNMOSトランジスタ209のドレインが接続され、第1のPMOSトランジスタ206のソースと第2のPMOSトランジスタ208のソースが接続される。第1のNMOSのドレイン207は第2のNMOS209のソースと接続される。
NAND回路を構成する入力の一方である入力Aは制御信号Pcutoffの反転信号である制御信号PcutoffBにより制御され、他方の入力BはAPD201のカソードであるnodeAの電位により制御される。遮断手段205は、入力Aがハイレベルのときに導通状態、ローレベルのときに非導通状態となる。また、入力Aがローレベルのときに、論理回路の出力はハイレベルとなる。
本実施形態によれば、遮断手段205を含む論理回路203(NAND回路)を用いることにより、非露光期間における波形整形部206の貫通電流を防ぐことが可能である。
(第4の実施形態)
本発明の第4の実施形態に係る光電変換装置について、図13を用いて説明する。第1の実施形態に係る光電変換装置と共通する構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、論理回路203がスリーステートバッファ回路により構成された場合について説明する。
図13は、本実施形態に係る図2及び図3の1画素分の等価回路を含むブロック図である。
インバータ回路220は、制御信号Pcutoffが入力され、反転信号である制御信号PcutoffBを出力する。インバータ回路229は、入力に制御線216が接続され、出力に制御線217が接続される。
論理回路203は、入力にAPD201のカソード及び第2制御線216、第3制御線217が接続され、出力がカウンタ回路211に接続されるスリーステートバッファ回路である。遮断手段205は、第2のPMOSトランジスタ208と第2のNMOSトランジスタ209で構成され、論理回路203に含まれる。
図13において、第1のPMOSトランジスタ206のソースがVDDに接続され、第1のNMOSトランジスタ207のソースがGNDに接続される。第1のPMOSトランジスタ206のドレインに第2のPMOSトランジスタ208のソースが接続され、第1のNMOSトランジスタ207のドレインに第2のNMOSトランジスタ209のソースが接続される。第2のPMOSトランジスタ208のドレインは第2のNMOSトランジスタ209のドレインは接続される。
スリーステートバッファ回路を構成する入力の一方である入力Aは制御信号Pcutoffにより制御され、他方の入力BはAPD201のカソードであるnodeAの電位により制御される。遮断手段205は、入力Aがローレベルのときに導通状態、ハイレベルのときに非導通状態となる。スリーステートバッファ回路の動作によれば、電源VDDとGNDの間を遮断するとともに、出力がハイインピーダンスとなる。
本実施形態によれば、遮断手段205を含む論理回路203(スリーステートバッファ回路)を用いることにより、非露光期間における波形整形部206の貫通電流を防ぐことが可能である。
(第5の実施形態)
本発明の第5の実施形態に係る光電変換装置について、図14及び図15を用いて説明する。第1の実施形態に係る光電変換装置と共通する構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、論理回路203がNOR回路により構成された場合の駆動タイミングの一例について説明する。
図12は、本実施形態による図2及び図3の1画素分の等価回路を含むブロック図である。
本実施形態に係る光電変換装置の画素は、第2の実施形態に係る光電変換装置の画素に対して、インバータ回路220及びNAND回路221が追加されている。
インバータ回路220は、制御信号Pctrlが入力され、反転信号である制御信号PctrlBを出力する。インバータ回路220は、入力に第1制御線215が接続され、出力に第5制御線219が接続される。制御信号PctrlBは、第5制御線219を介して、インバータ回路220に入力される。
NAND回路221は、制御信号Pcnten及び制御信号PctrlBが入力され、制御信号Pcutoffを出力する。NAND回路221は、入力に第4制御線218及び第5制御線219が接続され、出力に制御信号Pcutoffが接続される。制御信号Pcntenは、第4制御線218を介して、NAND回路221に入力される。制御信号PctrlBは、第5制御線219を介して、NAND回路221に入力される。
制御信号Pcntenは、カウンタ回路211への入力の有効/無効を制御する。制御信号Pcntenがハイレベルの場合には、光子入射及び制御線信号Pctrlによって、カウンタ回路211への入力が変化する。よって、カウント回路211への入力が有効となり、カウント動作が可能となる。一方、制御信号Pcntenがローレベルの場合には、カウンタ回路211への入力は、ローレベルに固定される。よって、カウンタ回路の入力が無効となり、カウント回路211はカウント動作しない。例えば、制御信号Pcntenがハイレベルの場合が、露光期間となり、制御信号Pcntenがローレベルの場合が、非露光期間となる。
図15は、本実施形態による1画素の駆動タイミングの一例を示す図である。時刻t1からt3までの期間が(n-1)フレームの非露光期間である。時刻t3から時刻t16までの期間がnフレームの露光期間である。時刻t16以降の期間がnフレームの非露光期間である。
時刻t1において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。その後、nodeAはアバランシェ増倍が可能な電位レベルに静定する。
時刻t2において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がOFFになり、APD201が待機状態となる。
時刻t3において、制御信号Pcntenがローレベルからハイレベルとなり、カウンタ回路211への入力が有効となる。
時刻t4において、APD201に光子が入射し、アバランシェ増倍電流が流れ、nodeAの電圧が降下する。
時刻t5において、nodeAの電位が論理回路203の判定閾値を越える。
時刻t6において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。また、制御信号Pcutoffがハイレベルからローレベルとなり、遮断手段205が動作状態となる。
時刻t7において、nodeAの信号が論理回路203の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。その後、nodeAはアバランシェ増倍が可能な電位レベルに静定する。
時刻t8において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がOFFになり、APD201が待機状態となる。また、制御信号Pcutoffがローレベルからハイレベルとなり、遮断手段205が遮断状態となる。そのため、nodeAはフローティングとなる。フローティングとなる期間が長い場合、露光期間であっても、APD201で発生する逆方向電流によって、nodeAの電位が低下してしまう。
時刻t9において、nodeAの信号が論理回路203の判定閾値を越える。このとき、nodeAの電位が後段の論理回路203を構成するトランジスタの中間電位となるが、本実施形態では、露光期間であっても遮断手段205が遮断状態となるため、貫通電流を防ぐことが可能である。
時刻t10において、制御信号Pctrlがハイレベルからローレベルとなり、スイッチ202がONになり、APD201がリチャージ状態となる。また、制御信号Pcutoffがハイレベルからローレベルとなり、遮断手段205が動作状態となる。
時刻t11において、nodeAの信号が論理回路203の判定閾値を越える。この時、電源VDDからGNDに貫通電流が流れる。その後、カソードnodeAはアバランシェ増倍が可能な電位レベルに静定する。
時刻t12において、制御信号Pctrlがローレベルからハイレベルとなり、スイッチ202がOFFになり、APD201が待機状態となる。また、制御信号Pcutoffがローレベルからハイレベルとなり、遮断手段205が遮断状態となる。そのため、nodeAはフローティングとなる。
時刻t13において、APD201に光子が入射し、アバランシェ増倍電流が流れ、nodeAの電圧が降下する。
時刻t14において、nodeAの信号が論理回路203の判定閾値を越える。
時刻t15において、Pcntenがハイレベルからローレベルとなり、カウンタ回路211への入力が無効となる。
このように、本実施形態によれば、露光期間において、制御信号Pctrlと制御信号Pcntenとの論理演算を行うことによりカソードがフローティングとなる場合の波形整形部206の貫通電流を防ぐことが可能である。
図15では、露光期間において、制御信号Pctrlがハイレベルとなり、スイッチ202がOFF、APD210が待機状態となる場合に、遮断手段205が遮断状態となる駆動タイミングの一例を示した。駆動タイミングはこれに限られず、例えば、カウンタ回路211のカウント値が最大となることにより、スイッチ202が待機状態に制御されてもよい。
(第6の実施形態)
本実施形態による光電変換システムについて、図16を用いて説明する。図16は、本実施形態による光電変換システムの概略構成を示すブロック図である。
上記第1~第6実施形態で述べた光電変換装置は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、光電変換システムに含まれる。図16には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図16に例示した光電変換システムは、光電変換装置の一例である撮像装置1004、被写体の光学像を撮像装置1004に結像させるレンズ1002を備える。さらに、レンズ1002を通過する光量を可変にするための絞り1003、レンズ1002の保護のためのバリア1001を有する。レンズ1002及び絞り1003は、撮像装置1004に光を集光する光学系である。撮像装置1004は、上記のいずれかの実施形態の光電変換装置であって、レンズ1002により結像された光学像を電気信号に変換する。
光電変換システムは、また、撮像装置1004より出力される出力信号の処理を行うことで画像を生成する画像生成部である信号処理部1007を有する。信号処理部1007は、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。信号処理部1007は、撮像装置1004が設けられた半導体基板に形成されていてもよいし、撮像装置1004とは別の半導体基板に形成されていてもよい。
光電変換システムは、更に、画像データを一時的に記憶するためのメモリ部1010、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)1013を有する。更に光電変換システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体1012、記録媒体1012に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)1011を有する。なお、記録媒体1012は、光電変換システムに内蔵されていてもよく、着脱可能であってもよい。
更に光電変換システムは、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部1009、撮像装置1004と信号処理部1007に各種タイミング信号を出力するタイミング発生部1008を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システムは少なくとも撮像装置1004と、撮像装置1004から出力された出力信号を処理する信号処理部1007とを有すればよい。
撮像装置1004は、撮像信号を信号処理部1007に出力する。信号処理部1007は、撮像装置1004から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部1007は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、上記のいずれかの実施形態の光電変換装置(撮像装置)を適用した光電変換システムを実現することができる。
(第7の実施形態)
本実施形態の光電変換システム及び移動体について、図17を用いて説明する。図17は、本実施形態の光電変換システム及び移動体の構成を示す図である。
図17(a)は、車載カメラに関する光電変換システムの一例を示したものである。光電変換システム1300は、撮像装置1310を有する。撮像装置1310は、上記のいずれかの実施形態に記載の光電変換装置である。光電変換システム1300は撮像装置1310により取得された複数の画像データに対し画像処理を行う画像処理部1312と、光電変換システム1300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部1314を有する。また、光電変換システム1300は、算出された視差に基づいて対象物までの距離を算出する距離取得部1316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部1318と、を有する。ここで、視差取得部1314や距離取得部1316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部1318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
光電変換システム1300は車両情報取得装置1320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム1300は、衝突判定部1318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御部である制御ECU1330が接続されている。また、光電変換システム1300は、衝突判定部1318での判定結果に基づいて、ドライバーへ警報を発する警報装置1340とも接続されている。例えば、衝突判定部1318の判定結果として衝突可能性が高い場合、制御ECU1330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置1340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザーに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム1300で撮像する。図20図17(b)に、車両前方(撮像範囲1350)を撮像する場合の光電変換システムを示した。車両情報取得装置1320が、光電変換システム1300ないしは撮像装置1310に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光電変換システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
(第8の実施形態)
本実施形態の光電変換システムについて、図18を用いて説明する。図18は、本実施形態の光電変換システムである距離画像センサの構成例を示すブロック図である。
図18に示すように、距離画像センサ401は、光学系407、光電変換装置408、画像処理回路404、モニタ405、およびメモリ406を備えて構成される。そして、距離画像センサ401は、光源装置409から被写体に向かって投光され、被写体の表面で反射された光(変調光やパルス光)を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
光学系407は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光電変換装置408に導き、光電変換装置408の受光面(センサ部)に結像させる。
光電変換装置408としては、上述した各実施形態の光電変換装置が適用され、光電変換装置408から出力される受光信号から求められる距離を示す距離信号が画像処理回路404に供給される。
画像処理回路404は、光電変換装置408から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像(画像データ)は、モニタ405に供給されて表示されたり、メモリ406に供給されて記憶(記録)されたりする。
このように構成されている距離画像センサ401では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
(第9の実施形態)
本実施形態の光電変換システムについて、図19を用いて説明する。図19は、本実施形態の光電変換システムである内視鏡手術システムの概略的な構成の一例を示す図である。
図19では、術者(医師)1131が、内視鏡手術システム1150を用いて、患者ベッド1133上の患者1132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム1150は、内視鏡1100と、術具1110と、内視鏡下手術のための各種の装置が搭載されたカート1134と、から構成される。
内視鏡1100は、先端から所定の長さの領域が患者1132の体腔内に挿入される鏡筒1101と、鏡筒1101の基端に接続されるカメラヘッド1102と、から構成される。図示する例では、硬性の鏡筒1101を有するいわゆる硬性鏡として構成される内視鏡1100を図示しているが、内視鏡1100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒1101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡1100には光源装置1203が接続されており、光源装置1203によって生成された光が、鏡筒1101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者1132の体腔内の観察対象に向かって照射される。なお、内視鏡1100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド1102の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)1135に送信される。
CCU1135は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡1100及び表示装置1136の動作を統括的に制御する。さらに、CCU1135は、カメラヘッド1102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置1136は、CCU1135からの制御により、当該CCU1135によって画像処理が施された画像信号に基づく画像を表示する。
光源装置1203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡1100に供給する。
入力装置1137は、内視鏡手術システム1150に対する入力インターフェースである。ユーザーは、入力装置1137を介して、内視鏡手術システム1150に対して各種の情報の入力や指示入力を行うことができる。
処置具制御装置1138は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具1112の駆動を制御する。
内視鏡1100に術部を撮影する際の照射光を供給する光源装置1203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置1203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド1102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置1203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド1102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置1203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置1203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(第10の実施形態)
本実施形態の光電変換システムについて、図20(a)、(b)を用いて説明する。図20(a)は、本実施形態の光電変換システムである眼鏡1600(スマートグラス)を説明する。眼鏡1600には、光電変換装置1602を有する。光電変換装置1602は、上記の各実施形態に記載の光電変換装置である。また、レンズ1601の裏面側には、OLEDやLED等の発光装置を含む表示装置が設けられていてもよい。光電変換装置1602は1つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置1602の配置位置は図20(a)に限定されない。
眼鏡1600は、制御装置1603をさらに備える。制御装置1603は、光電変換装置1602と上記の表示装置に電力を供給する電源として機能する。また、制御装置1603は、光電変換装置1602と表示装置の動作を制御する。レンズ1601には、光電変換装置1602に光を集光するための光学系が形成されている。
図20(b)は、1つの適用例に係る眼鏡1610(スマートグラス)を説明する。眼鏡1610は、制御装置1612を有しており、制御装置1612に、光電変換装置1602に相当する光電変換装置と、表示装置が搭載される。レンズ1611には、制御装置1612内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ1611には画像が投影される。制御装置1612は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザーの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。
赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザーの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。
より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き(回転角度)を表す視線ベクトルが算出されることにより、ユーザーの視線が検出される。
本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザーの視線情報に基づいて表示装置の表示画像を制御してよい。
具体的には、表示装置は、視線情報に基づいて、ユーザーが注視する第1の視界領域と、第1の視界領域以外の第2の視界領域とを決定される。第1の視界領域、第2の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第1の視界領域の表示解像度を第2の視界領域の表示解像度よりも高く制御してよい。つまり、第2の視界領域の解像度を第1の視界領域よりも低くしてよい。
また、表示領域は、第1の表示領域、第1の表示領域とは異なる第2の表示領域とを有し、視線情報に基づいて、第1の表示領域および第2の表示領域から優先度が高い領域を決定されてよい。第1の視界領域、第2の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。
なお、第1の視界領域や優先度が高い領域の決定には、AIを用いてもよい。AIは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。AIプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。
視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態に含まれる。
また、上記第6の実施形態、第7の実施形態に示した光電変換システムは、光電変換装置を適用しうる光電変換システム例を示したものであって、本発明の光電変換装置を適用可能な光電変換システムは図16乃至図20に示した構成に限定されるものではない。第8の実施形態に示したToFシステム、第9の実施形態に示した内視鏡、第10の実施形態に示したスマートグラスについても同様である。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。