以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
0. 装置の説明
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.イメージセンサの使用例
5.電子機器の例
6.内視鏡手術システムへの応用例
7.移動体への応用例
<0.装置の説明>
<固体撮像装置の概略構成例>
図1は、本技術の各実施の形態に適用されるCMOS(Complementary Metal Oxide Semiconductor)固体撮像装置の一例の概略構成例を示している。
図1に示されるように、固体撮像装置(素子チップ)1は、半導体基板11(例えばシリコン基板)に複数の光電変換素子を含む画素2が規則的に2次元的に配列された画素領域(いわゆる撮像領域)3と、周辺回路領域とを有して構成される。
画素2は、光電変換素子(例えば、PD(Photo Diode))と、複数の画素トランジスタ(いわゆるMOSトランジスタ)を有してなる。複数の画素トランジスタは、例えば、転送トランジスタ、リセットトランジスタ、および増幅トランジスタの3つのトランジスタで構成することができ、さらに選択トランジスタを追加して4つのトランジスタで構成することもできる。
また、画素2は、画素共有構造とすることもできる。画素共有構造は、複数のフォトダイオード、複数の転送トランジスタ、共有される1つのフローティングディフュージョン、および、共有される1つずつの他の画素トランジスタから構成される。フォトダイオードは、光電変換素子である。
周辺回路領域は、垂直駆動回路4、カラム信号処理回路5、水平駆動回路6、出力回路7、および制御回路8から構成される。
制御回路8は、入力クロックや、動作モード等を指令するデータを受け取り、また、固体撮像装置1の内部情報等のデータを出力する。具体的には、制御回路8は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路4、カラム信号処理回路5、および水平駆動回路6の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路8は、これらの信号を垂直駆動回路4、カラム信号処理回路5、および水平駆動回路6に入力する。
垂直駆動回路4は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素2を駆動するためのパルスを供給し、行単位で画素2を駆動する。具体的には、垂直駆動回路4は、画素領域3の各画素2を行単位で順次垂直方向に選択走査し、垂直信号線9を通して各画素2の光電変換素子において受光量に応じて生成した信号電荷に基づいた画素信号をカラム信号処理回路5に供給する。
カラム信号処理回路5は、画素2の例えば列毎に配置されており、1行分の画素2から出力される信号を画素列毎にノイズ除去等の信号処理を行う。具体的には、カラム信号処理回路5は、画素2固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling)や、信号増幅、A/D(Analog/Digital)変換等の信号処理を行う。カラム信号処理回路5の出力段には、水平選択スイッチ(図示せず)が水平信号線10との間に接続されて設けられる。
水平駆動回路6は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路5の各々を順番に選択し、カラム信号処理回路5の各々から画素信号を水平信号線10に出力させる。
出力回路7は、カラム信号処理回路5の各々から水平信号線10を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路7は、例えば、バッファリングだけを行う場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理等を行う場合もある。
入出力端子12は、外部と信号のやりとりをするために設けられる。
<1.第1の実施の形態>
<画素の露光制御>
図2は、アクティブ光の発光タイミング(発光時間)と2種類の画素の露光タイミング(露光時間)について説明する図である。アクティブ光は、例えば、IR光や単色光、白色光などであり、限定されない。
画素2-1と画素2-2は、露光開始タイミング(露光開始時間)と露光終了タイミング(露光終了時間)が異なる画素である。画素2-1は、露光時間T1が長い長蓄動作を行う。アクティブ光は、画素2-1の露光時間中に、発光を開始し、発光を完了する。例えば、図2の例においては、画素2-1は、アクティブ光の発光前後に、露光開始、露光終了を行う。画素2-2は、アクティブ光が発光を始めてから時間Ta1を経た(照射の終わりまでの時間Ta2が残る)タイミングで、画素2-1の露光時間T1よりも露光時間T2が短い短蓄動作を行う。なお、画素2-2の露光開始タイミングが、アクティブ光が発光を始めてから時間Ta1を経たタイミングであれば、画素2-1と露光時間は同一でもよい。
画素2-1の信号をout1、画素2-2の信号をout2、アクティブ光による反射光強さをal、背景光の強さをbg、図2に示されるように、画素2-1の露光時間T1、画素2-2の露光時間T2、アクティブ光の発光時間のうち、画素2-2の露光開始までの時間Ta1とすると、式(1)となる。
アクティブ光による反射光の強さalと背景光の強さbgは、上述した式(1)から求めることができるので、反射光の影響を引くことができる。
特にTa2が0の場合、つまり、アクティブ光と画素2の露光時間が重ならないとき、式(1)は非常に簡単な式になる。なお、露光時間T1と時間Ta1+時間Ta2の比率、露光時間T2と時間Ta2の比率が等しい場合、計算が困難であるので、等しくない値をとる必要がある。つまり、Ta1=0でもよいし、時間Ta2=0でもよい。時間Ta1=0で、かつ、露光時間T1と露光時間T2が同じ値の場合、比率が等しくなるため、計算が困難になるからである。
なお、露光時間の異なる画素は、構造は同一でもよいが、飽和量を鑑み、変換効率やサイズを変えることが可能である。
図3は、出力後の演算処理について説明する図である。
図3の例においては、露光タイミングが異なる(ように制御された)、すなわち、アクティブ光の含まれる(入力される)割合が異なる(ように制御された)画素2-1と画素2-2が、画素領域3において、例えば、市松模様に配置される場合の出力画像21が示されている。この出力画像21を、演算部23が、画像22-1および画像22-2に示されるように、デモザイク処理を行い、ピクセルごとに演算処理を行うことにより、背景光の影響が排除されたアクティブ光による露光画像24を得ることができる。
以上のように、2信号(あるいは複数)に含まれる背景光とアクティブ光の割合が異なることを利用し、演算処理が可能である。これにより、1フレーム完結動作で、フレームメモリが不要で2フレーム動作に比べ電力も低い。
なお、グローバルシャッタが可能な固体撮像素子においては、演算式も全画素同一となり簡易化されるため、次に説明するように非常に効果的な動作となる。
<グローバルシャッタの場合の画素露光動作>
図4は、グローバルシャッタの場合の画素露光動作について説明する図である。図4のAの例においては、上述した図2の例と同様に、露光開始タイミングおよび露光終了タイミングをずらした場合の動作一例が示されている。
画素2-1は、アクティブ光の発光開始前に露光開始され、アクティブ光の発光終了後に露光終了されている。一方、画素2-2は、アクティブ光の発光中に露光開始され、画素2-1の露光終了後に露光終了されており、その後、画素からの読み出しが行われている。
なお、露光時間は、アクティブ光の同期タイミングや信号のSNがとれるアクティブ光の発光時間などで決まるパラメータであるので、例えば、図1の制御回路8などにより、本技術を適用するアプリケーションに合わせてタイミングの制御が可能である。
図4のBの例においては、露光終了タイミングを揃えた場合の動作一例が示されている。
図4のBの例の場合、画素2-1と画素2-2の露光開始タイミングは、それぞれ、図4のAの場合と同様であるが、アクティブ光の発光終了後の同じタイミングで、画素2-1および画素2-2の露光が終了されている。
すなわち、画素2-1と画素2-2の露光時間が重なるため、トータルの露光時間が短くなるため、発光時間を短くすることができ、また、動体に強くなる。さらに、無駄な露光時間が少なくなることによるフレームレート改善効果が期待される。ただし、全画素同時駆動になるため、場合により露光終了を変える動作も適宜対応できる。
次に、ローリングシャッタ動作について説明する。ローリングシャッタの場合、アクティブ光の発光は、画素2-1と画素2-2側で重なってもよいし、重ならなくてもよい。また、ローリングシャッタの場合、各行において演算のための係数が異なるため、後処理が複雑になる欠点があるが、画素にグローバルシャッタ機能を持たせなくてよいため、簡単な構成でよい。
<ローリングシャッタの場合の画素露光動作>
図5は、ローリングシャッタの場合の画素露光動作について説明する図である。図5のAの例においては、画素2-1のみにアクティブ光が入る場合の動作一例が示されている。
すなわち、画素2-1は、アクティブ光の発光開始前に露光開始され、アクティブ光の発光終了後に露光終了されている。一方、画素2-2は、アクティブ光の発光後に露光開始され、画素2-1の露光終了後に露光終了されており、その後、画素からの読み出しが行われている。
図5のAの例の場合、全領域でアクティブ光の露光時間が揃っていなくとも計算することが可能である。また、画素2-1内でアクティブ光の露光時間が異なるため、Row毎に演算が異なる。
図5のBの例においては、画素2-1および画素2-2ともにアクティブ光が入る場合の動作一例が示されている。
図5のAの場合と同様に、画素2-1は、アクティブ光の発光開始前に露光開始され、アクティブ光の発光終了後に露光終了されている。一方、図5のAの場合と異なり、画素2-2は、アクティブ光の発光中に露光開始され、画素2-1の露光終了後に露光終了されており、その後、画素からの読み出しが行われている。
この例においては、一部が加算する動作の場合、上述したように画素2-1と画素2-2とでアクティブ光とトータル露光時間の比が同一にならない設定が必要である。画素2-1および画素2-2に光が入射した場合、演算式がRow毎に異なる。
<グローバルシャッタの場合の回路構成と露光制御タイミング>
図6の例においては、グローバルシャッタの場合の回路構成例と露光制御タイミングが示されている。図6のAの例においては、一般的な埋め込みPD方式で、実動作における露光開始時間はリセット動作で、露光終了は電荷転送で行われる、2画素共有の回路構成例が示されている。
すなわち、画素2-1および画素2-2は、OFGトランジスタ31、TRXトランジスタ32、TRGトランジスタ33、PD(フォトダイオード)34、容量35をそれぞれ有しているが、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、およびFD(フローティングディフュージョン)39は、画素2-1および画素2-2で共有されている。
画素2-1においては、図6のBに示されるように、TRXトランジスタ32にTRX1信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。一方、画素2-2においては、TRXトランジスタ32にTRX2信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。
なお、パルス(制御信号)は一例であり、露光制御のタイミングは、図7を参照して後述するようにOFG信号で制御する例も考えられる。
図7のAの回路構成は、図6のAの回路構成と基本的に同様であるので、その説明は省略される。
画素2-1においては、図7のBに示されるように、OFGトランジスタ31にOFG1信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。一方、画素2-2においては、OFGトランジスタ3にOFG2信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。
なお、図6および図7の例においては、2画素共有の回路例が示されていたが、回路共有をしないもの、または4画素共有などでも対応可能である。また、図6の例においては、TRXが1構成の例が示されているが、複数のゲート(TRX1-1,TRF1-2など)を配置する方式も考えられる。
図8の例においては、グローバルシャッタの場合の他の回路構成例と露光制御タイミングが示されている。
図8のAの回路構成は、画素2-1および画素2-2において、OFGトランジスタ31が除かれている点が、図6のAの回路構成と異なっている。
すなわち、画素2-1および画素2-2は、TRXトランジスタ32、TRGトランジスタ33、PD34、容量35をそれぞれ有しているが、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、およびFD39は、画素2-1および画素2-2で共有されている。
画素2-1においては、図8のBに示されるように、TRXトランジスタ32にTRX1信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。一方、画素2-2においては、TRXトランジスタ32にTRX2信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。
この場合、OFGトランジスタがないので、PD34の露光制御のフレキシビリティが低くなってしまうが、トランジスタ数を減らすことができる。
なお、図8の例においては、2画素共有の回路例が示されていたが、回路共有をしないもの、または4画素共有などでも対応可能である。
図9の例においては、グローバルシャッタの場合のさらに他の回路構成例と露光制御タイミングが示されている。
図9のAに示されるように、画素2-1および画素2-2は、それぞれ、TRGトランジスタ33、PD34、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、およびFD39を有している。すなわち、図9のAに示される回路構成はFD39にPD34からの電荷が転送されるグローバルシャッタ方式の例であるため、画素共有ができない回路構成となっている。
この場合でも、画素2-1においては、図9のBに示されるように、TRGトランジスタ32にTRG1信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。一方、画素2-2においては、TRXトランジスタ32にTRX2信号が入ることによるリセット動作で、露光が開始され、電荷転送により露光が終了されている。
図10の例においては、有機光電変換膜あるいは無機光電変換膜(以下、単に光電変換膜と称する)を用いたグローバルシャッタの場合の回路構成例が示されている。なお、図10の回路構成において、VCは、透明電極42に接続する電源電圧であり、VRは、RSTトランジスタ36に接続される電源電圧である。
図10の回路構成は、画素2-1および画素2-2において、PD34が、光電変換膜41、透明電極42、および下部電極43に入れ替わった点と、TRGトランジスタ33が除かれた点が図9の回路構成と異なっている。
すなわち、図10に示されるように、画素2-1および画素2-2は、それぞれ、光電変換膜41、透明電極42、下部電極43、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、およびFD39を有している。なお、光電変換膜41を有する画素2-1および画素2-2においては、例えば、光電変換膜41が、透明電極42の電圧をコントロールすることで、グローバルシャッタが実現されている。
図10の回路構成の場合、以下の3つの露光開始制御が行える。なお、透明電極42へのVCの入力開始、入力終了は、透明電極42の電圧がコントロールされることで制御されている。
図11のAの例の場合、透明電極42で露光開始制御が行われる例が示されている。画素2-1においては、透明電極42にVC1が入力されるタイミングから、露光が開始され、入力が終了されるタイミングで露光が終了されている。画素2-2においては、透明電極42にVC2が入力されるタイミングから、露光が開始され、入力が終了されるタイミングで露光が終了されている。
図11のBの例の場合、RST信号で露光開始制御が行われる例が示されている。すなわち、画素2-1においては、RSTトランジスタ36にRST信号が入力されたタイミングで、露光が開始され、VC1の入力が終了されるタイミングで露光が終了されている。画素2-2においては、RSTトランジスタ36にRST信号が入力されたタイミングで、露光が開始され、VC2の入力が終了されるタイミングで露光が終了されている。
図11のCの例の場合、VC1およびVC2を同時制御またはVCとして電極が同じである例が示されている。すなわち画素2-1においては、RSTトランジスタ36にRST信号が入力されたタイミングで、露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。画素2-2においては、RSTトランジスタ36にRST信号が入力されたタイミングで、露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。
図12の例においては、光電変換膜を用いたグローバルシャッタの場合の他の回路構成例が示されている。すなわち、図12の例においては、回路を共有した場合の回路構成例が示されている。
すなわち、画素2-1および画素2-2は、光電変換膜41、透明電極42、下部電極43、TRGトランジスタ33をそれぞれ有しているが、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、およびFD39は、画素2-1および画素2-2で共有されている。なお、図12の場合、透明電極42は、VCとして同一端子で記載されているが、物理的に分離してもよい。
図13のAの場合、画素2-1においては、TRGトランジスタ33にTRG信号が入力されたタイミングで、露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。画素2-2においては、TRGトランジスタ33にTRG信号が入力されたタイミングで、露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。
なお、図13のAの例のように、RST信号が入力されるRSTトランジスタ36は読み出し期間以外常時ONでもよいし、TRG1信号TRG2信号が入力されONしている期間を覆うようにパルス状に駆動してもよい。
図13のBの場合、画素2-1においては、透明電極42にVC1が入力されるタイミングから、露光が開始され、入力が終了されるタイミングで露光が終了されている。画素2-2においては、TRGトランジスタ33にTRG信号が入力されたタイミングで、露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。
すなわち、図13のBにおいては、一方の画素の露光開始タイミングを透明電極で実現した例が示されている。
なお、上記説明においては、グローバルシャッタの場合の例について説明してきたが、ローリングシャッタは、通常画素で対応可能、かつ、一般パルス動作のため、その説明は省略される。ローリングシャッタとグローバルシャッタとの違いは、全画素同時露光かどうかの違いであり、行順次に露光を行う動作で、ローリングシャッタの場合も、グローバルシャッタと同一波形となる。
<2.第2の実施の形態>
<画素の露光制御>
図14は、2種類のアクティブ光の発光タイミングと2種類の画素の露光タイミングについて説明する図である。
図2を参照して上述した画素露光制御の他に、2波長の光を使い、吸収係数の差から検出したいものを検出する方法も考えられる。例えば、酸素化、脱酸素ヘモグロビンの濃度変化などを算出することも可能である。
2波長を用いる方式では、2種類の露光だけでは値を求めることができない。アクティブ光61および62を制御し、画素2-1または画素2-2にアクティブ光61および62のどちらかのみが入射されるように制御する。例えば、図14の例においては、画素2-1は、アクティブ光61の発光前後に、露光開始、露光終了を行う。画素2-2は、アクティブ光61の発光終了後で、アクティブ光62の発光前後に露光開始、露光終了を行う。なお、この図14の場合も、画素2-1および画素2-2で、露光終了タイミングを同じにしてもよい。
このようにすることで、背景を引き算することができる。この場合、アクティブ光61とアクティブ光62それぞれの出力を分離できないが、差分を計算することはできる。
画素2-1の信号をout1、画素2-2の信号をout2、アクティブ光61による反射光強さをal61、アクティブ光62による反射光強さをal62、背景光の強さをbg、図14に示されるように、画素2-1の露光時間T1、画素2-2の露光時間T2、アクティブ光61の発光時間Ta61、アクティブ光62の発光時間Ta62とすると、次の式(2)となる。
ここで、T1とT2を同一時間にすると計算を非常にシンプルにすることができ、さらに、Ta61、Ta62を同一時間にすると反射率の違いのみを検出することができる。
なお、図14の場合の出力後の演算処理については、図2の場合の出力後の演算処理を説明した図3の例と基本的に同様であるので、その説明は省略される。
<画素の露光制御>
図15は、2種類のアクティブ光の発光タイミングと3種類の画素の露光タイミングについて説明する図である。なお、この図15の場合も、画素2-1乃至画素2-3のどれか2つで、露光終了タイミングを同じにしてもよい。
図14を参照して上述した画素露光制御より柔軟に検出する場合、画像2-1、画素2-2、画素2-3の各出力をout1,out2,out3、アクティブ光61による反射光強さをal61、アクティブ光62による反射光強さをal62、背景光の強さをbg、図15に示されるように、画素2-1の露光時間T1、画素2-2の露光時間T2、画素2-3の露光時間T3、画素2-Nに各光が含まれる時間Ta(N-61),Ta(N-62)とすると、次の式(3)となる。
上記式(3)における3つの式が比例関係でない条件において、未知の信号、bg,al61,al62を算出することができる。
図16は、出力後の演算処理について説明する図である。
図16の例においては、画素領域3のうちの画素の内、画素2-1、画素2-2、画素2-3の露光時間(タイミング)が制御される。3つの画素の選び方は任意でよいが、3つの画素は、例えば、出力画像71に示されるように配置される。2×2単位で構成してもよいし、3×3単位、4×4単位、2×4単位など様々なパターンが考えられる。
この出力画像71を、画像72-1、画像72-2、画像72-3に示されるように、デモザイク処理を行い、演算部73において、ピクセルごとに演算処理を行うことにより、背景光の影響が排除されたアクティブ光1による露光画像74-1とアクティブ光2による露光画像74-2を得ることができる。
同様に3画素駆動において、図15を参照して上述した駆動により3光源を用いての検出も可能である。さらに4画素独立に露光タイミングを制御することで、光源の数を増やすことも容易である。順にN光源に対して、NまたはN+1画素独立制御することで背景光の影響を引き算することができる。
露光時間が完全に独立に制御できる回路構成の場合、図13および図14の動作は容易に実現が可能である。しかしながら、例えば、透明電極が独立制御できない場合があり、この場合について、次に、図17を参照して説明する。
<グローバルシャッタの場合の回路構成と露光制御タイミング>
図17は、透明電極が独立制御できない場合の回路構成と露光制御タイミングが示されている。図17のAの例においては、3つの画素で、回路を共有した場合の回路構成例が示されている。
すなわち、画素2-1、画素2-2、画素2-3は、光電変換膜41、透明電極42、下部電極43、TRGトランジスタ33をそれぞれ有しているが、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、およびFD39は、画素2-1および画素2-2で共有されている。なお、図17のAの場合、透明電極42は、VCとして同一端子で記載されているが、物理的に分離してもよい。
図17のBに示されるように、画素2-1においては、VCから透明電極42に信号が入力された後のTRG1信号の入力のタイミングで、アクティブ光61の発光前から露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。
画素2-2においては、アクティブ光61の発光後、かつ、アクティブ光62の発光前のTRG2信号の入力のタイミングで、露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。画素2-3においては、アクティブ光62の発光後で、VCの入力が終了される前のTRG3信号の入力のタイミングで、から露光が開始され、VCの入力が終了されるタイミングで露光が終了されている。
なお、上記露光制御により、画素2-1,画素2-2,画素2-3のそれぞれの出力をout1,out2,out3とし、アクティブ光61による反射光強さをal61、アクティブ光62による反射光強さをal62、背景光の強さをbg、画素2-1の露光時間T1、画素2-2の露光時間T2、画素2-3の露光時間T3、アクティブ光61の発光時間Ta61、アクティブ光62の発光時間Ta62とすると、次の式(4)となる。
この式(4)より容易に次の式(5)を計算することができる。
なお、図17のAの回路構成を、2×2の正方配置画素に適用した場合、4個のうちの残り1画素の制御をout3と同様の制御をしてもよい。その場合、TRG3,4を同じ駆動にし、FD加算が可能な場合、加算する。信号量の少ないout3の信号量が増え、SNを向上させることができる。FD加算できない場合は、ソースフォロア加算か、デジタル領域で加算することでも、SNを向上させることができる。
なお、上記説明においては、図18のAに示されるように、画素2-1および画素2-2のチェッカーパターン、かつ、白黒センサを考慮してきたが、その他のパターンおよびカラーフィルタの様々な配列への適用も考えられる。
例えば、図18のBに示されるように、画素2-1の行、画素2-2の行、画素2-1の行、画素2-2の行、というように行毎に制御する例や、画素2-1の列、画素2-2の列、画素2-1の列、画素2-2の列というように列毎に制御する例が考えられる。
なお、図18のBの左側に示される行毎ごとに制御する場合、制御線を増やすことなく、制御することが可能である。
また、例えば、図18のCに示されるように、2×2パターンで制御する例も考えられる。なお、2×2、2×4、4×2、3×3、4×4などのユニットを単位に露光を制御するようにしてもよい。
例えば、図19のAに示されるように、2×2画素のベイヤーパターンに対し、4×4画素単位で、露光時間を制御することも可能である。
さらに、図19のBに示されるように、2×2画素を同一カラーフィルタのベイヤーパターンに対し、2×2画素内で露光時間を制御することも可能である。
また、その他の画素パターンとしては、図20のAに示されるように、2×2画素のフィルタパターンをR,G,B,Wのカラーフィルタ配列にして、W配列の箇所の画素の露光時間を変えることで、本技術が適用可能である。
さらに、図20のBに示されるように、アクティブ光が赤色で行う場合、赤色のフィルタの画素のみ露光制御を行えばよい。アクティブ光の色に合わせたカラーフィルタの画素のみ露光制御することも可能である。
なお、その他、3×3のカラーパターンや4×4、5×5、6×6画素パターンなど様々な画素配列があるが、図19のAのベイヤーパターン同様に、例えば、カラーフィルタの配列のランダム性を上げてモアレなどの影響を少なくする6×6画素単位の繰り返しカラーフィルタの場合、6×6画素単位で露光を制御(すなわち、6×6画素の露光時間と、隣の6×6画素の露光時間を制御)してもよいし、6×6画素内に含まれる同一カラーフィルタ画素の露光を制御することでも対応が可能になる。
<制御線の物理的イメージ>
図21乃至図23は、制御線の物理的イメージの例を示す図である。
図21の例においては、1画素1読み出し回路(画素共有なし)の場合の制御線のイメージが示されている。また、これは、白黒配列のイメージである。
撮像装置1においては、露光制御信号線101L[0]乃至101L[N]および露光制御信号線101R[0]乃至101R[0]と、その他制御信号線102[0]乃至[N]とが画素領域3の画素2に配線されている。
露光制御信号線101L[0]乃至101L[N]および露光制御信号線101R[0]乃至101R[0]は、TRG信号、TRX信号、OFG信号、RST信号など露光時間を制御する配線を示している。ここでは、1本で記載されているが、OFG信号とTRX信号を組み合わせて露光時間を制御する場合は、2本配置されることになる。
その他制御信号線[0]乃至[N]は、SELトランジスタ38やRSTトランジスタ36などの回路から信号を読み出す制御線となる。すべての制御線のうちの露光制御線以外の信号になる。
各画素からの信号は、垂直信号線9を通し、図1のカラム信号処理回路5のA/D(Analog/Digital)変換回路を構成するコンパレータ121に入力され、所定の信号処理が施される。例えば、A/D変換回路を構成するコンパレータ121に入力される。コンパレータ121は、入力される信号と、DAC112の値と比較する。制御回路8を構成するクロック発生器111からのクロックは、DAC112によりアナログデータとしてコンパレータ121に入力され、直接、カウンタ122に入力される。
なお、RSTなどは露光制御信号にもなるし、その他の制御信号にもなりうる。配線数は、制御方法に応じて配線数が1乃至5本に変化する。
より複雑な制御を行う場合、例えば、露光タイミングの異なる画素を3つ以上用意する際に、露光制御線を増やせばよい。
図22の例においては、上下2画素共有の場合の制御線のイメージが示されている。また、これも、白黒配列のイメージである。
図23の例においては、ベイヤー配列に、本技術を適用した場合の例が示されている。4画素共有のうちの上の画素には、露光制御信号線101-1[0]乃至101-3[0]が接続されており、下の画素には、露光制御信号線101-4[0]乃至101-4[0]が接続されている。
図23の例の場合、同一行の2つのR,B、2行跨いだG画素で露光時間を独立に制御することができる。
なお、以上は、一例であり、本技術は、様々なカラーフィルタパターンに適用することができる。露光時間を制御したい数だけ、その塊に対し、露光制御配線数を対応すればよい。
<3.第3の実施の形態>
<その他の構成例>
その他の構成としては、図24に示されるような、X,Yともに2以上の領域ごとにADCが配置される領域ADC方式の撮像装置150にも、本技術を適用することができる。例えば、複数の画素回路161が配列された画素ユニット171が複数配列される画素基板151と、画素ユニット171に対応する回路ブロック181が複数配列される回路基板152とをマイクロバンプ、TSV、Cu-Cu接合などで貼り合わせた構成が考えられ、本技術に適用することができる。
また1画素に1つのADCが配置された画素ADC方式において、各画素の露光時間を変えることで、同様の対応を行うことができる。
さらに、図25に示されるように、例えば、TRGトランジスタ33、PD34、RSTトランジスタ36、AMPトランジスタ37、SELトランジスタ38、FD39からなる画素回路に、トランジスタ201と容量202とからなる変換効率可変機能200を組み合わせてもよい。
この場合、信号レベルが小さい側(おおよそにして露光時間が短い側だが、アクティブ光の入力比率によりそうとは限らない)の変換効率を高くすることができる。その結果、信号レベルが小さい側の信号レベルを上げることができ、SNを向上させることができる。
<4.イメージセンサの使用例>
図26は、上述の固体撮像装置を使用する使用例を示す図である。
上述した固体撮像装置(イメージセンサ)は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<5.電子機器の例>
<電子機器の構成例>
さらに、本技術は、固体撮像装置への適用に限られるものではなく、撮像装置にも適用可能である。ここで、撮像装置とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機等の撮像機能を有する電子機器のことをいう。なお、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールを撮像装置とする場合もある。
ここで、図27を参照して、本技術の電子機器の構成例について説明する。
図27に示される電子機器300は、固体撮像装置(素子チップ)301、光学レンズ302、シャッタ装置303、駆動回路304、および信号処理回路305を備えている。固体撮像装置301としては、上述した本技術の固体撮像装置1が設けられる。また、電子機器300には、図示せぬ発光部として、上述したアクティブ光の発光部が設けられている。なお、信号処理路505として、図3の演算部23や図16の演算部73が設けられている。
光学レンズ302は、被写体からの像光(入射光)を固体撮像装置301の撮像面上に結像させる。これにより、固体撮像装置301内に一定期間信号電荷が蓄積される。シャッタ装置303は、固体撮像装置301に対する光照射期間および遮光期間を制御する。
駆動回路304は、固体撮像装置301の信号転送動作、シャッタ装置303のシャッタ動作、および図示せぬ発光部の発光動作を制御する駆動信号を供給する。駆動回路304は、図示せぬCPUにより設定されたパラメータを用いて各動作を制御する。駆動回路304から供給される駆動信号(タイミング信号)により、固体撮像装置301は信号転送を行う。信号処理回路305は、固体撮像装置301から出力された信号に対して各種の信号処理を行う。信号処理が行われた映像信号は、メモリなどの記憶媒体に記憶されたり、モニタに出力される。
<6.内視鏡手術システムへの応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図28は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図28では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図29は、図28に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡11100や、カメラヘッド11102(の撮像部11402)、CCU11201の画像処理部11412、光源装置11203等に適用され得る。具体的には、例えば、図1の固体撮像装置1は、撮像部11402に適用することができる。例えば、図3の演算部23や図16の演算部73は、画像処理部11412に適用することができる。図示せぬアクティブ光の発光部は、光源装置11203に適用することができる。撮像部11402および画像処理部11412に本開示に係る技術を適用することにより、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。また、図14を参照して上述したように、2波長の光を使い、吸収係数の差から検出したいものを検出することができるので、例えば、酸素化、脱酸素ヘモグロビンの濃度変化などを算出することも可能である。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
<7.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図30は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図30に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図30の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図31は、撮像部12031の設置位置の例を示す図である。
図31では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図31には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031(撮像部12101ないし12104含む)に適用され得る。具体的には、例えば、図1の固体撮像装置1は、撮像部12031に適用することができる。図3の演算部23や図16の演算部73は、車外情報検出ユニット12030などに適用することができる。図示せぬアクティブ光の発光部は、ボディ系制御ユニット12020に適用することができる。撮像部12031に本開示に係る技術を適用することにより、例えば、車載器において、背景光を消したいときに、フレームを跨がないので、動きに強いという格別な効果を得ることができる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
(1) 画素が2次元的に配列される画素アレイ部と、
前記画素アレイ部において、所定の光の発光時間に応じて、露光開始時間および露光終了時間の少なくとも一方が異なるように、第1の画素、および前記第1の画素と露光時間の異なる第2の画素の露光時間を制御する露光制御部と
を備える固体撮像装置。
(2) 前記露光制御部は、前記所定の光の発光時間に応じて、前記露光開始時間が異なるように、前記第1の画素および前記第2の画素の露光時間を制御する
前記(1)に記載の固体撮像装置。
(3) 前記露光制御部は、前記所定の光の発光時間が含まれる割合を変えて、前記露光開始時間が異なるように、前記第1の画素および前記第2の画素の露光時間を制御する
前記(1)または(2)に記載の固体撮像装置。
(4) 前記画素は、PDを有する
前記(1)乃至(3)のいずれかに記載の固体撮像装置。
(5) 前記露光制御部は、前記露光開始時間をリセット動作で制御し、前記露光終了時間を電荷転送で制御する
前記(4)に記載の固体撮像装置。
(6) 前記画素は、有機または無機の光電変換膜を有する
前記(1)乃至(3)のいずれかに記載の固体撮像装置。
(7) 前記露光制御部は、前記露光開始時間をリセット動作で制御し、前記露光終了時間を前記光電変換膜の上部電極で制御する
前記(6)に記載の固体撮像装置。
(8) 前記露光制御部は、前記第1の画素および前記第2の画素の少なくともどちらか一方の前記露光開始時間を前記光電変換膜の上部電極で制御し、前記露光終了時間を前記光電変換膜の上部電極で制御する
前記(6)に記載の固体撮像装置。
(9) 前記露光制御部は、複数の前記所定の光の発光時間に応じて、前記露光開始時間および露光終了時間の少なくとも一方が異なるように、前記第1の画素および前記第2の画素の露光時間を制御する
前記(1)に記載の固体撮像装置。
(10) 前記露光制御部は、複数の前記所定の光の発光時間が含まれる割合をそれぞれ変えて、前記露光開始時間および露光終了時間の少なくとも一方が異なるように、前記第1の画素および前記第2の画素の露光時間を制御する
前記(9)に記載の固体撮像装置。
(11) 前記第1の画素および前記第2の画素からの画像をモザイク処理し、ピクセル毎に演算処理を行う演算部を
さらに備える前記(1)乃至(10)のいずれかに記載の固体撮像装置。
(12) 前記露光制御部は、複数の前記所定の光の発光時間に応じて、前記露光開始時間および露光終了時間の少なくとも一方が異なるように、前記第1の画素、前記第2の画素、並びに前記第1の画素および第2の画素と露光時間の異なる第3の画素の露光時間を制御する
前記(1)に記載の固体撮像装置。
(13) 前記露光制御部は、複数の前記所定の光の発光時間に応じて、前記露光開始時間および露光終了時間の少なくとも一方が異なるように、前記第1の画素、前記第2の画素、および前記第3の画素の露光時間を制御する
前記(12)に記載の固体撮像装置。
(14) 前記第1の画素、前記第2の画素、および前記第3の画素からの画像をモザイク処理し、ピクセル毎に演算処理を行う演算部を
さらに備える前記(12)または(13)に記載の固体撮像装置。
(15) 前記画素アレイ部は、変換効率可変機能付きの画素を有する
前記(1)乃至(14)のいずれかに記載の固体撮像装置。
(16) 固体撮像装置が、
画素が2次元的に配列される画素アレイ部において、所定の光の発光時間に応じて、露光開始時間および露光終了時間の少なくとも一方が異なるように、第1の画素、および前記第1の画素と露光時間の異なる第2の画素の露光時間を制御する
撮像方法。
(17) 光を発光する発光部と、
画素が2次元的に配列される画素アレイ部と、
前記画素アレイ部において、前記発光部による光の発光時間に応じて、露光開始時間および露光終了時間の少なくとも一方が異なるように、第1の画素、および前記第1の画素と露光時間の異なる第2の画素の露光時間を制御する露光制御部と
を有する固体撮像装置と
を備える電子機器。