JP4830270B2 - 固体撮像装置および固体撮像装置の信号処理方法 - Google Patents

Description

本発明は、物理情報取得方法および物理情報取得装置、並びに複数の単位構成要素が配列されてなる物理量分布検知の半導体装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、複数の画像情報に基づいて所定目的（各種アプリケーション）用の情報を取得する演算機能技術に関する。

光や放射線などの外部から入力される電磁波あるいは圧力（接触など）などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。

たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。また、コンピュータ機器の分野では、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置などが使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。

たとえば、固体撮像素子は、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を、画像情報として読み出す。画素部から読み出されたアナログの画素信号は、必要に応じて、アナログ−デジタル変換装置（ＡＤ変換装置；Analog Digital Converter）にてデジタルデータに変換する。

一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。

たとえば近年、ＣＣＤやＣＭＯＳイメージセンサに代表される固体撮像素子の小型化、低価格化により、デジタルスチルカメラやカメラ付き携帯電話などの簡易なカメラシステムが急激に普及しつつある。なかでもＣＭＯＳイメージセンサは、ＣＣＤに比べて低消費電力、低コストで製造可能であることから、将来ＣＣＤを置き換えるものとして注目を集めている。さらに、ＣＭＯＳイメージセンサは通常のＭＯＳプロセスをベースに作られるため、センサ上にロジック回路やアナログの信号処理回路を搭載することが容易であり、この特徴を利用して、センサとして単に画像を取得するのみでなく、受光した光信号をセンサ内部で処理することにより、新たな機能を付加しようとする試みも様々に行なわれている。

たとえば、ビデオカメラや電子スチルカメラにおいて、広いダイナミックレンジを必要とするシーン、たとえば室内から窓辺の人物を撮影する逆光時の撮影の場合、一般的な露光制御を行なうと、目的の人物が黒く潰れ、窓の外の風景に適切な露光が行なわれる。逆に、室内の被写体の黒潰れを防止するべく逆光補正処理を行ない、目的の人物の映像信号が黒く潰れないような補正を行なうと、逆光補正前に最適な露光であった室外の風景は白く飛んでしまう。あるいは、室内外双方の露光の妥協点で撮影を行なうと、室内外ともに満足な画像にならない。

このような広いダイナミックレンジを必要とするシーンを撮影する場合の問題を解消する一手法として、同一被写体について、それぞれ異なる検知時間（たとえば露光時間に基づく信号電荷の蓄積時間）の元で取得された複数の信号を用いて、すなわち屋内画像に適した長時間露光と屋外露光に適した短時間露光を連続で行ない、広ダイナミックレンジの画像を取得する仕組みが考えられている（たとえば特許文献１参照）。

特開２００３−１６３８３１号公報

たとえば、蓄積時間の異なる２系統の出力１，２を使ってデバイス外部（オフチップ）の合成回路にて画像合成することで、より広い入射光量に対して飽和し難い信号出力が得られ、低輝度部分のＳ／Ｎ（Signal (to) Noise ratio ）の低下を防止しつつ、高輝度部分の飽和を防止することでダイナミックレンジを拡大することができる。たとえば、屋内画像は長時間露光のＳ／Ｎの良好な部分を用いる一方、長時間露光で白飛びしてしまう屋外領域を短時間露光の画像を用いることができ、屋内から屋外までの階調を実現できる。

また一方で、そのような新たな機能を持ったイメージセンサを前提に、これまで実現できなかったような新規なシステム、アプリケーションの提案が行なわれている。たとえば、実空間上でデータを転送するデータ通信システム、データ送信装置、並びにデータ受信装置も知られている。

たとえば、機器ＩＤやネットワーク・アドレス、ホスト・ネーム、ＵＲＬなどの実世界上のオブジェクトに関連した情報などを有線または無線ネットワークなどの通信媒体を用いずにオブジェクトから直接データ転送するデータ通信システム、データ送信装置、並びにデータ受信装置が提案されている（たとえば非特許文献１参照）。

松下伸行他，"ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ"，インタラクション２００２；論文セッション１「実世界」

この非特許文献１に記載の仕組みは、目の前のオブジェクトから比較的遠くにあるオブジェクトに至るまで距離的にロバストなデータ転送が可能な仕組みであって、たとえば、通信媒体では接続されていない実世界上のオブジェクトからＩＤなどの情報を入手すると同時にオブジェクトの空間的な位置を認識する技術が提案されている。

図１８は、非特許文献１に記載の仕組みの概要を示した図である。非特許文献１では、カメラシステムとして、通常の画像を取得するとともに、何らかの情報によりコード化されたＬＥＤ光源などの点滅パターンを識別するというものであり、このようなＬＥＤ光源を実空間内の様々なオブジェクトに設定しておくと、点滅パターンを検知してエッジ検出やサンプリング処理を行なうことで、そのオブジェクトの画像とそれに付随したＩＤ情報を取得することが可能となる。

このようなシステムには様々な応用が考えられ、たとえば、情報としてネットワークＩＤを発信することによりオブジェクトとカメラを搭載した端末との通信接続を確立する手段を実現することができる。また、位置情報を提供するナビゲーションシステム、また、広告手段などに利用することもできる。

一方、このようなアプリケーションを実現するためには、通常のイメージセンサでは不可能である。ＣＣＤやＣＭＯＳイメージセンサなど、通常のイメージセンサはおよそ、３０ｆｐｓ（frame per Second）程度のフレーム走査で画像を取得する。特殊なＣＭＯＳイメージセンサでは数百ｆｐｓを達成できるものもあるが、通常の画像を取得するためには、この程度のフレームレートが限界である。

しかしながら、非特許文献１に記載のアプリケーションを実現する場合は、ＬＥＤの点滅間隔を短くすることが、伝達情報量の増大に繋がるため、それを検出するセンサも高速なフレーム走査が必要とされる。たとえば、ＬＥＤ光源が数百ｆｐｓで点滅していた場合、センサ側では、それをサンプリングするために、数ｋｆｐｓ程度の高速動作が必要とされる。よって、上記アプリケーションを実現するためには、使用されるイメージセンサが通常の画像を取得するとともに、高速なフレーム走査により高速で点滅する光の点滅タイミングを検出するという２つの機能を備えている必要がある。このような機能を実現するセンサとしては、たとえば、特許文献２に記載の仕組みがある。

特開２００３−１６９２５１号公報

図１９は、特許文献２に記載の固体撮像装置の全体概要を示した平面図である。この固体撮像装置９０１は、画素部（ピクセルアレイ部）９１０、通常画像取得用の垂直走査回路（ピクセルＶスキャナ部）９１４ａおよび水平走査回路（ピクセルＨスキャナ部）９１２ａ、電流／電圧（Ｉ−Ｖ）変換回路部９２２、ＣＤＳ処理部９２６、カレントミラー回路部９４６、アナログメモリアレイ部９４７、アナログメモリアレイ部９４７を垂直走査する垂直走査回路（メモリＶスキャナ部）９１４ｃ、コンパレータ／ラッチ部９５０、およびＩＤ情報取得用の水平走査をする水平走査回路（メモリＨスキャナ部）９１２ｂを備えている。なお、図示しないが、これらの機能部以外にも、たとえば、バイアス回路部が設けられる。

この固体撮像装置９０１では、通常画像を取得する通常画像撮像モードとＬＥＤの点滅を検出するＩＤ検出モードの２つの動作モードを持つ。それぞれのモードにおいて、光信号はともに、画素部９１０にて受光される。画素部９１０内では、信号線は垂直方向に配線されており、通常画像撮像モードでは信号は画素部９１０の上方の電流／電圧変換回路部９２２やＣＤＳ処理部９２６に読み出され、通常のＣＭＯＳイメージセンサと同様な処理が施されて、センサ外部へ出力される。

一方、ＩＤ検出モードでは、信号は画素部９１０の下方のカレントミラー回路部９４６へ読み出される。アナログメモリアレイ部９４７の下方にはコンパレータ／ラッチ部９５０およびが配置されている。アナログメモリアレイ部９４７には前のフレームの信号が記録されており、画素部９１０からの信号読出し動作において、一旦このアナログメモリアレイ部９４７に画素信号が保存され、その後、さらに下方のコンパレータ／ラッチ部９５０にて前のフレームと新たなフレームとの間で信号強度の比較が行なわれる。

この比較走査により、パルス点滅の立上りもしくは立下りが判定され、それらのデータはバイナリデータとしてセンサ外部に読み出される。読み出されたデータは、センサ外部のプロセッサによりデータコードのデコードが行なわれ、ＩＤ情報の抽出が行なわれる。

しかしながら、このような固体撮像装置９０１によれば、通常画像の取得モードとＩＤ検出モードは完全に分離しており、これらは、最速でもビデオフレーム走査ごと（１／３０ｓｅｃ程度）に切り替えとなる。これは、通常画像撮像モードでは、光感度を十分に保つために、３０ｆｐｓ程度の蓄積時間が必要とされるのに対し、ＩＤ検出モードでは数ｋｆｐｓ以上の走査が必要となるため、センサのスキャン動作を両モードで兼ねることができないためである。

一方、非特許文献１のアプリケーションでは、画像のみを連続的に撮る場合とＩＤ認識のみを連続的に行なう場合を明確に分ける使い方も考えられるが、多くの場合は、画像とＩＤ情報を同時に取得して、リアルタイムにＩＤ情報とオブジェクトを対応させるという使用が想定される。この場合において、通常画像とＩＤ画像の両方を出力する場合、通常画像撮像モードとＩＤ検出モードを交互に繰り返すため、通常画像とＩＤ画像とを組にして、１フレームおきに通常画像やＩＤ画像とを、低フレームレートで出力することになる。通常画像のみに注目した場合、フレームレートが半分（または１／３）に劣化してしまう問題があり、速い動きの被写体を撮像する場合などは違和感が生じてくる。

また、特許文献２の仕組みでは、１／３０ｓｅｃ〜１／６０ｓｅｃぐらいで両モードの切り替えが行なわれるので、ほぼリアルタイムに同時取得を行なっていると見なすことは可能であるが、モードの切替えを行なうと、通常画像のみに注目した場合、フレームレートが半分（または１／３）に劣化してしまう問題があり、やはり、速い動きの被写体を撮像する場合などは違和感が生じてくる。

また、システム開発者から見た場合、画像信号については通常のＣＭＯＳイメージセンサと同様に扱いたいという要望があり、１フレームおきに通常画像やＩＤ画像が出力されるなどのフォーマットはあまり好まれない。

本発明は、上記事情に鑑みてなされたものであり、ダイナミックレンジ拡大機能やＩＤ認識機能などの演算機能を持つに当たって、通常の信号処理（たとえば通常画像の生成）と演算処理とを、違和感なく、あるいは適切なフォーマットで実行可能な仕組みを提供することを目的とする。

本発明によれば、複数の垂直信号線と、当該垂直信号線と直交する複数の垂直制御線と、前記複数の垂直信号線と前記複数の垂直制御線のそれぞれに接続され、入射した光量に応じた電気信号を出力する複数の単位画素とを有する画素部と、前記複数の垂直制御線の一端に接続され、第１の動作モードにおいて、前記垂直制御線に制御信号を印加して、前記複数の垂直信号線に、当該制御信号が印加された垂直制御線に接続された前記複数の単位画素の検出信号を出力させる、第１の垂直走査手段と、前記複数の垂直制御線の他端に接続され、第２の動作モードにおいて、前記垂直制御線に制御信号を印加して、前記複数の垂直信号線に、当該制御信号が印加された垂直制御線に接続された前記複数の単位画素の検出信号を出力させる、第２の垂直走査手段と、前記第１の動作モードにおいて、前記第１の垂直走査手段の動作と共に前記複数の垂直信号線に出力された前記複数の単位画素の検出信号を走査する第１の水平走査手段と、前記第２の動作モードにおいて、前記第２の垂直走査手段の動作と共に前記複数の垂直信号線に出力された前記複数の単位画素の検出信号を走査する第２の水平走査手段と、前記第１の動作モードが指定されたとき、前記第１の垂直走査手段および前記第１の水平走査手段に、当該第１の動作モードの動作期間、駆動する第１の駆動信号を印加し、前記第２の動作モードが指定されたとき、前記第２の垂直走査手段および前記第２の水平走査手段に、当該第２の動作モードの動作期間、駆動する第２の駆動信号を印加する、制御手段と具備する、固体撮像装置が提供される。

また本発明によれば、上記固体撮像装置の信号処理方法が提供される。

好ましくは、前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段の走査時間と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査時間が異なる。
また好ましくは、前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段の走査と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査とを同期させて行う。

また好ましくは、前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段の走査時間と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査時間とを異ならせて取得した、前記第１の動作モードにおける複数の単位画素の信号と前記第２の動作モードにおける複数の単位画素の信号とを同時に取得する。

たとえば、それぞれが独立した駆動制御を行なうと、あるタイミングでは、双方の駆動制御が競合（衝突）する、すなわち、ある時点で同時に同じ単位構成要素にアクセスする事態が起こり得る。あるいは、単純な読出処理をすると、一方の駆動制御によって単位構成要素が検知した物理情報が消滅してしまい、他方の駆動制御による読出処理に悪影響を与え得る。

そこで、たとえば、同一の単位構成要素に対する双方の掃引処理の競合を回避するように駆動制御を行なうようにしたり、あるいは一方の駆動制御においては、単位構成要素から単位信号が出力された後にも、物理量の変化を検知した単位信号が単位構成要素内に保持されるように駆動制御を行なったりするとよい。

たとえば、単位構成要素が信号電荷を保持するフローティングノードを有する構成のものの場合、高速掃引処理を行なう一方の駆動制御においては、当該フローティングノードを初期化することなく所定の電荷蓄積期間ごとの読み出しを行ない、低速掃引処理を行なう他方の駆動制御においては、当該フローティングノードを初期化して所定の電荷蓄積期間ごとの読み出しを行なうようにすればよい。

本発明によれば、半導体装置を構成する単位構成要素に対してそれぞれ独立した駆動制御を行ない、これにより単位構成要素から出力されたそれぞれの単位信号に基づいて、それぞれ独立した信号処理を行なうようにした。

それぞれの信号処理を行なうために必要とする単位信号の取得をそれぞれ独立して行なうことができるので、たとえばダイナミックレンジ拡大機能やＩＤ認識機能などの演算機能を持つに当たって、通常の信号処理（たとえば通常画像の生成）と演算処理とを、違和感なく、あるいは適切なフォーマットで実行可能になる。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子をデバイスとして使用した場合を例に説明する。また、ＣＭＯＳ撮像素子は、全ての画素がＮＭＯＳあるいはＰＭＯＳよりなるものであるとして説明する。

ただしこれは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。

＜固体撮像装置の構成＞
図１は、本発明に係る半導体装置の一実施形態であるＣＭＯＳ固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。なお、このＣＭＯＳ固体撮像装置は、本発明に係る電子機器の一態様でもある。

本実施形態の固体撮像装置１は、イメージセンサの画素（ピクセル）で取得された画素信号に基づき通常画像生成処理と演算処理とを完全分離して行なうことで実画像の高画質化を達成し、かつ演算処理にも最適な設計を可能とするべく、通常の画像出力処理を行なう通常画像処理系統と差分画像や加算画像など所定目的を達成するための演算情報を生成して出力する演算処理系統とを独立して備える点に特徴を有する。また、それぞれの処理系統が使用する画素信号の画素部からの出力処理を制御する垂直走査を、それぞれ独立して行なうことができるように構成している点に特徴を有する。以下、具体的に説明する。

固体撮像装置１は、入射光量に応じた電気信号を出力するフォトダイオードなどの光電変換素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などのデータ処理部が列並列に設けられているものである。

“列並列にデータ処理部が設けられている”とは、垂直列の垂直信号線１９に対して実質的に並列に複数のＣＤＳ処理機能部やデジタル変換部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに画素部１０に対して列方向の一方の端縁側（図の下側に配されている出力側）にのみ配されている形態のものであってもよいし、画素部１０に対して列方向の一方の端縁側（図の下側に配されている出力側）とその反対側である他方の端縁側（図の上側）に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査（水平走査）を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。

たとえば、列並列にＣＤＳ処理機能部やデジタル変換部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、ＣＤＳ処理機能部やデジタル変換部を垂直列（カラム（列）；Column）ごとに設け、順次出力側に読み出すカラム型のものである。また、カラム型に限らず、隣接する複数（たとえば２つ分）の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態や、Ｎ本おき（Ｎは正の整数；間にＮ−１本を配する）のＮ本分の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態などを採ることもできる。

カラム型を除くものは、何れの形態も、複数の垂直信号線１９（垂直列）が１つのＣＤＳ処理機能部やデジタル変換部を共通に使用する構成となるので、画素部１０側から供給される複数列分の画素信号を１つのＣＤＳ処理機能部やデジタル変換部に供給する切替回路（スイッチ）を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が必要になる。

何れにしても、複数の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。

また、列並列に配された複数の信号処理部にて１行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で１つのＣＤＳ処理機能部やデジタル変換部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。

なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路（スイッチ）が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。

図１に示すように、本実施形態の固体撮像装置１は、正方状の複数の単位画素３が行および列に（つまり正方格子状に）配列された画素部（撮像部）１０と、画素部１０の外側に設けられた駆動制御部７と、図中画素部１０の上側に設けられたＣＤＳ処理部（第３の差分情報取得部）およびカラムスイッチを有するカラム処理部（第１の信号処理部）２６と、出力回路２８とを備えている。カラム処理部２６は、画素部１０で取得された画素信号に基づき通常画像生成に関わる信号処理を行なうための通常画像処理系統の主要部として機能する。

なお、カラム処理部２６の前段または後段には、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路やＡＤ(Analog to Digital )変換回路などをカラム処理部２６と同一の半導体領域に設けることも可能である。カラム処理部２６の前段でＡＧＣを行なう場合にはアナログ増幅、カラム処理部２６の後段でＡＧＣを行なう場合にはデジタル増幅となる。ｎビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられる。

また、本実施形態の固体撮像装置１は、画素部１０で取得された画素信号に基づき差分画像や加算画像などの演算処理画像やその他の演算情報を生成して出力する演算処理部（第２の信号処理部）２７を、図中画素部１０の下側に備えている。

演算処理部２７は、演算処理における高速フレームレート（高速な処理単位時間）でのフレーム間の差分情報（高速フレーム差分情報ともいう）を取得する差分演算部（第１の差分情報取得部）２７２と、差分演算部２７２で取得された高速フレーム間差分情報Ｊ１２を保持するアナログメモリアレイ部２７４と、アナログメモリアレイ部２７４内のカレントコピアセルにバイアス電流を供給するバイアス回路部（Offset Generator）２７５とを備えている。アナログメモリアレイ部２７４は、差分演算部２７２からの出力をカレントコピアセル内に一時記憶するように構成されている。

また演算処理部２７は、アナログメモリアレイ部２７４に保持された前高速フレームにおける高速フレーム間差分情報Ｊ１２ａと、現時点の高速フレームにおいて差分演算部２７２で取得された高速フレーム間差分情報Ｊ１２ｂとの差（以下差分情報Ｊ１４ともいう）を検知する第２の差分情報取得部の一例であるコンパレータ部２７６と、コンパレータ部２７６で取得された差分情報Ｊ１４を示すデジタルデータを保持するデータラッチ部２７８とを備えている。

また、駆動制御部７の構成要素として、画素部１０の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部７としては、列アドレスや列走査を制御する水平走査回路（列走査回路）１２と、行アドレスや行走査を制御する垂直走査回路（行走査回路）１４と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部２０とを備えている。水平走査回路１２は、カラム処理部２６や演算処理部２７から画素情報を読み出すための水平駆動制御部（特に水平読出走査部）の機能を持つ。

これらの駆動制御部７の各要素は、画素部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。

ここで、本実施形態特有の構成として、垂直走査回路１４としては、それぞれ独立に設けられたカラム処理部２６と演算処理部２７とに画素部１０からの画素信号を供給する構成要素として、カラム処理部２６用の第１垂直走査回路（画像取得用垂直スキャナ）１４ａと、演算処理部２７用の第２垂直走査回路（ＩＤ検出用垂直スキャナ）１４ｂと、アナログメモリアレイ部２７４のカレントコピアセルを垂直走査方向にスキャンし、セル内のデータを取り出す第３垂直走査回路（メモリＶスキャナ部）１４ｃとを備えている。

また水平走査回路１２は、通常画像生成出力用のカラム処理部２６から出力される画素データを順次水平走査方向に転送して出力回路２８に供給する第１水平走査回路（画像取得用水平スキャナ）１２ａと、演算情報生成出力用の演算処理部２７の出力であるデータラッチ部２７８から出力されるデータを順次水平走査方向に転送してデータ出力バス２７９に供給する第２水平走査回路（ＩＤ検出用水平スキャナ）１２ｂとを備えている。

図１では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の単位画素３が配置される。この単位画素３は、典型的には、受光素子（電荷生成部）としてのフォトダイオードと、増幅用の半導体素子（たとえばトランジスタ）を有する画素内アンプとから構成される。

画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、ＣＭＯＳセンサとして汎用的な４つのトランジスタからなる構成のものを使用することができる。

また、本実施形態の固体撮像装置１は、画素部１０をカラー撮像対応にしている。すなわち、画素部１０における各電荷生成部（フォトダイオードなど）の電磁波（本例では光）が入射される受光面には、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられている。

図示した例は、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いており、正方格子状に配された単位画素３が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタに対応するように、色分離フィルタの繰返単位が２画素×２画素で配されて画素部１０を構成している。

たとえば、奇数行奇数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇偶数列および偶数行奇数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、偶数行偶数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配しており、行ごとに異なったＲ／Ｇ、またはＧ／Ｂの２色のカラー画素が市松模様状に配置されている。

このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、Ｒ／ＧまたはＧ／Ｂの２色が２つごとに繰り返される。

なお、図１では、正方格子状に配された単位画素３に対して、赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタをベイヤ（Ｂａｙｅｒ）配列の基本形に従って配列していたが、フィルタ色やその配列順は図１に示した例に限定されない。たとえば、ベイヤ配列の改良形にすることもできるし、Ｙ（黄），Ｇ（緑），Ｃｙ（シアン），Ｍ（マゼンタ）の４つの補色フィルタあるいはその他のフィルタ色を用いることができる。

たとえば、偶数行偶数列に配した第２のカラー（緑；Ｇ）を感知するための第２のカラー画素に代えて、第４のカラー（エメラルド；Ｅ）を感知するための第４のカラー画素を配してもよい。

色信号処理についての詳細な説明は割愛するが、第４のカラー画素を配する場合、４色カラーフィルタに対応して、４色で撮影された各色の映像信号から、人間の目に近いＲＧＢの３色を作り出すためのマトリックス演算を行なう画像処理プロセッサを出力回路２８の後段に設ける。赤（Ｒ），緑（Ｇ），青（Ｂ）のフィルタに加えてエメラルド（Ｅ）のフィルタを搭載すれば、３色カラーフィルタよりも色再現の差を低減させることができ、たとえば青緑色や赤色の再現性を向上させることができる。

単位画素３は、行選択のための行制御線１５を介して垂直走査回路１４と、また垂直信号線１９を介して通常画像生成出力用のカラム処理部２６や演算情報生成出力用の演算処理部２７と、それぞれ接続されている。ここで、行制御線１５は垂直走査回路１４から画素に入る配線全般を示す。

垂直走査回路１４（１４ａ，１４ｂ，１４ｃ）や水平走査回路１２（１２ａ、１２ｂ）は、デコーダを含んで構成され、通信・タイミング制御部２０から与えられる制御信号ＣＮ１（ＣＮ１ａ，ＣＮ１ｂ，ＣＮ１ｃ），ＣＮ２（ＣＮ２ａ，ＣＮ２ｂ）に応答して、処理対象の画素信号の読出しを開始するようになっている。このため、行制御線１５には、単位画素３を駆動するための種々のパルス信号（たとえば、リセットパルスＲＳＴ、転送制御パルスＴＸ、ＤＲＮ制御パルスＤＲＮ、垂直選択パルスＳＥＬなど）が含まれる。

垂直走査回路１４（１４ａ，１４ｂ）と通信・タイミング制御部２０とで、処理対象の複数の単位画素３のそれぞれの位置を指定して、この単位画素３から複数の画素信号のそれぞれをカラム処理部２６や演算処理部２７（特に差分演算部２７２）に入力させる単位信号選択制御部（垂直駆動制御部）が構成される。

通信・タイミング制御部２０は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、端子５ａを介してマスタークロックCLK0を受け取り、また端子５ｂを介して動作モードなどを指令するデータＤＡＴＡを受け取り、さらに固体撮像装置１の情報を含むデータを出力する通信インタフェースの機能ブロックとを備える。

たとえば、水平アドレス信号を水平デコーダへ、また垂直アドレス信号を垂直デコーダへ出力し、各デコーダは、それを受けて対応する行もしくは列を選択する。

この際、単位画素３を２次元マトリックス状に配置してあるので、画素信号生成部５により生成され垂直信号線１９を介して列方向に出力されるアナログの画素信号を行単位で（列並列で）アクセスし取り込む（垂直）スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号（本例ではデジタル化された画素データ）を出力側へ読み出す（水平）スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。勿論、スキャン読みに限らず、読み出したい単位画素３を直接にアドレス指定することで、必要な単位画素３の情報のみを読み出すランダムアクセスも可能である。

また、本実施形態の通信・タイミング制御部２０では、端子５ａを介して入力されるマスタークロック（マスタークロック）CLK0と同じ周波数のクロックCLK1や、それを２分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査回路１２、垂直走査回路１４、カラム処理部２６、あるいは演算処理部２７などに供給する。以下、２分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2という。

垂直走査回路１４は、画素部１０の行を選択し、その行に必要なパルスを供給するものである。たとえば、第１垂直走査回路および第２垂直走査回路のそれぞれは、垂直方向の読出行を規定する（画素部１０の行を選択する）垂直デコーダと、垂直デコーダにて規定された読出アドレス上（行方向）の単位画素３に対する行制御線１５にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。

水平走査回路１２は、低速クロックCLK2に同期してカラム処理部２６の機能部を順番に選択し、その信号を水平信号線（水平出力線）１８やデータ出力バス２７９に導くものである。たとえば、第１水平走査回路１２ａおよび第２水平走査回路１２ｂａのそれぞれは、水平方向の読出列を規定する（たとえばカラム処理部２６内の個々のＣＤＳ処理部などを選択する、あるいはデータラッチ部２７８の何れかを選択する）水平デコーダと、水平デコーダにて規定された読出アドレスに従って、カラム処理部２６の各信号を水平信号線１８に導く、あるいはデータラッチ部２７８の各画素データをデータ出力バス２７９に導く水平駆動回路とを有する。なお、水平信号線１８やデータ出力バス２７９は、たとえばカラム処理部２６やデータラッチ部２７８が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。

第１垂直走査回路１４ａと第１水平走査回路１２ａとは、第１の駆動制御部に関わる機能部であり、第２垂直走査回路１４ｂと第２水平走査回路１２ｂとは、第２の駆動制御部に関わる機能部である。

このような構成の固体撮像装置１において、単位画素３から出力された画素信号は、垂直列ごとに、垂直信号線１９を介して、カラム処理部２６のＣＤＳ処理部に供給される。

なお、カラム処理部２６と水平走査回路１２との間の信号経路上には、各垂直信号線１９に対してドレイン端子が接続された図示しない負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている（後述する図３を参照）。

通常画像生成出力系統において、画素部１０からの画素信号は、画素部１０の図中の上方向に配置されたカラム処理部２６へと伝達される。このとき、画素部１０は、第１垂直走査回路１４ａによって同一水平行方向の画素が全てが同時選択され、各垂直列からの画素信号は並列に同時出力される、すなわち、列並列動作となる。

カラム処理部２６のＣＤＳ処理機能部では、垂直信号線１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルＶsig との差分をとる処理を行なうＣＤＳ処理を行なう。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。

このカラム処理部２６でＣＤＳ処理などがなされた画素信号は、第１水平走査回路１２ａからの水平選択信号により駆動される水平選択スイッチ（カラムスイッチＳ１）を介して水平信号線１８に伝達され、さらに出力回路２８に入力される。なお、以上のような通常の画像出力時の処理手順は、基本的に従来公知（たとえば、ISSCC/2000/SESSION6/CMOS IMAGE SENSORS WITH EMBEDDED PROCESSORS/6.1(2000IEEE International Solid-State Circults Conference) 参照) のものであるので、詳細説明は省略する。

一方、演算処理系統において、画素部１０からの画素信号は、画素部１０の図中の下方向に配置された演算処理部２７の差分演算部２７２へと伝達される。このとき、画素部１０は、第２垂直走査回路１４ｂによって同一水平行方向の画素が全てが同時選択され、各垂直列からの画素信号は並列に同時出力される、すなわち、列並列動作となる。

差分演算部２７２に伝達された信号は、高速フレームレートの各フレーム間で差分処理がなされ、この差分処理で得られた高速フレーム間差分情報Ｊ１２が、高速フレームごとにアナログメモリアレイ部２７４に保持され、その後に、コンパレータ部２７６によって各高速フレーム間差分情報Ｊ１２のデータ内容が比較され、この比較結果は、データラッチ部２７８によってデジタルデータに変換されてデータラッチされた後に、データ出力バス２７９より出力される。

このような構成によって、電荷生成部としての受光素子が行列状に配された画素部１０からは、行ごとに各垂直列について画素信号が順次カラム処理部２６と演算処理部２７とに、第１垂直走査回路１４ａで駆動される通常フレームレートと、第２垂直走査回路１４ｂで駆動される高速フレームレートで、それぞれ出力される。

そして、受光素子（フォトダイオードなどの光電変換素子）が行列状に配された画素部１０に対応する１枚分の画像すなわち通常のフレーム画像を示す出力回路２８から出力される撮像信号が、画素部１０全体の画素信号の集合で示されることとなる。

一方、データ出力バス２７９から出力される、第２垂直走査回路１４ｂで駆動される高速フレームレートでの演算情報は、様々なＩＴ（Information Technology；情報技術）機器などにおいて、従来は実現が困難であった画像処理や画像認識などの各種アプリケーションの機能を実現するために利用される。各種アプリケーションを実行する演算機能としては、たとえば、三角測量の原理で被写体の各点の距離情報を取得することで距離計測を行なう３次元計測カメラや、実世界オブジェクトのＩＤ（Identification；識別子）や、ネットワーク・アドレス、ホスト・ネーム、ＵＲＬ（Uniform Resource Locator）、データ／コンテンツ、プログラム・コードやその他のオブジェクトに関連する情報を含んだ送信データを表した点滅パターンを持つ光源（ビーコン）からの光線（纏めて光学的ＩＤともいう）を識別するＩＤ認識システムをなすＩＤカメラなどの機能がある。

なお、ここでは、半導体装置の一例としてのイメージセンサの主要部である画素部１０と、この画素部１０を駆動制御する駆動制御部７や画素部１０から出力された画素信号に基づいて所定の信号処理をするカラム処理部２６や演算処理部２７を有する（狭義の）物理情報取得装置とが、１枚の回路基板上に配されたもの、あるいは１つの半導体基板上に形成されたものとして、（広義の）物理情報取得装置の一例である固体撮像装置１を構成しているが、これは一例であって様々な変形形態を採ることができる。たとえば、画素部１０と、その他の機能要素が、個別に提供されるものであってもよい。この場合、駆動制御部７やカラム処理部２６や演算処理部２７とで、物理情報取得装置が構成される。

ここで、本実施形態の固体撮像装置１では、通常画像を生成する通常画像処理系統と演算情報を生成して出力する演算処理系統とを、別な回路ブロックで完全分離して行なうとともに、それぞれ用の画素信号を画素部１０から読み出す垂直走査の機能部も独立に設けるようにしたので、各画素内の構成の簡素化を図り、装置全体の小型化や実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を行なうことが可能となるとともに、それぞれの機能を独立して走査することが可能になる。以下、アプリケーションの事例を用いつつ、本実施形態の固体撮像装置１の具体的な動作について詳細に説明する。

＜具体的構成；第１実施形態＞
図２は、画素部（撮像部）１０における有効画像領域（有効部）と、光学的黒を与える基準画素領域との関係の一例を示す図である。画素部１０は、図２に示すように、画像を取り込む有効領域である有効画像領域（有効部）１１ｂの他に、光学的黒（Optical Black ）を与える基準画素領域１１ｃが、有効画像領域１１ｂの周囲に配されて構成される。

一例としては、垂直列方向の上下に数行（たとえば１〜１０行）分の光学的黒を与える基準画素が配列され、また、有効画像領域（有効部）１１ｂを含む水平行における左右に数画素〜数１０画素（たとえば３〜４０画素）分の光学的黒を与える基準画素が配列される。

光学的黒を与える基準画素は、その受光面側が、フォトダイオードなどからなる電荷生成部に光が入らないように、遮光される。この基準画素からの画素信号は、映像信号の黒基準に使われる。

具体的には、有効画素エリアは６５０（Ｈ；画素）×４８８（Ｖ；ライン）のものでは、垂直列方向の上下にそれぞれ４ライン分の光学的黒を与える基準画素が配列され、また、有効画像領域（有効部）１１ｂを含む水平行における、左側に３０画素分、右側に５画素分の光学的黒を与える基準画素が配列される。基準の黒レベルなどを設定するための基準画素領域１１ｃを含めた総画素エリアは６８５（Ｈ）×４９６（Ｖ）である。

図３は、図１に示した固体撮像装置１における１垂直列に着目したカラム処理部２６や演算処理部２７の具体的な構成例（内部構成）の第１実施形態を示す図である。この第１実施形態では、ＩＤカメラの機能を実現する構成となっている。たとえば、図中の上方側には画像取得機能を実現する回路としてカラム処理部２６が配置され、図中の下方側にはＩＤ検出機能を実現する回路として演算処理部２７が配置されている。

画素部１０内の単位画素（画素セル）３の構成は、通常のＣＭＯＳイメージセンサと同様であり、本実施形態では、ＣＭＯＳセンサとして汎用的な４ＴＲ構成のものを使用している。もちろん、この画素構成は一例であり、非破壊読出しが可能な構造、すなわち読み出し後に、フローティングディフュージョンＦＤなどの電荷蓄積部をリセットする必要が必ずしもなく、フローティングディフュージョンＦＤなどに画素信号を保持可能なものである限り、通常のＣＭＯＳイメージセンサのアレイ構成であれば、何れのものでも使用できる。

図３に示す４ＴＲ構成の単位画素３は、光を受光して電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えた電荷生成部３２と、電荷生成部３２に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ（転送トランジスタ）３４、リセットゲート部の一例であるリセットトランジスタ３６、垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ４２を有する。

この単位画素３は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン３８とからなるＦＤＡ（Floating Diffusion Amp）構成の画素信号生成部５を有するものとなっている。フローティングディフュージョン３８は寄生容量を持った拡散層である。

読出選択用トランジスタ（第２の転送部）３４は、転送配線（読出選択線ＴＸ）５５を介して図示しない転送駆動バッファにより駆動されるようになっている。リセットトランジスタ３６は、リセット配線（ＲＳＴ）５６を介して図示しないリセット駆動バッファにより駆動されるようになっている。垂直選択用トランジスタ４０は、垂直選択線（ＳＥＬ）５２を介して図示しない選択駆動バッファにより駆動されるようになっている。各駆動バッファは、第１垂直走査回路１４ａあるいは第２垂直走査回路１４ｂによって、それぞれ独立に駆動可能になっている。

画素信号生成部５におけるリセットトランジスタ３６は、ソースがフローティングディフュージョン３８に、ドレインが電源ＶＤＤにそれぞれ接続され、ゲート（リセットゲートＲＧ）にはリセットパルスＲＳＴがリセット駆動バッファから入力される。このリセットトランジスタ３６は、フローティングディフュージョン３８の電位をリセットする機能を持つ。

垂直選択用トランジスタ４０は、一例として、ドレインが増幅用トランジスタ４２のソースに、ソースが画素線５１にそれぞれ接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。なおこのような接続構成に限らず、垂直選択用トランジスタ４０は、ドレインが電源ＶＤＤに、ソースが増幅用トランジスタ４２のドレインにそれぞれ接続され、ゲートが垂直選択線５２に接続されるようにしてもよい。

垂直選択線５２には、垂直選択信号ＳＥＬが印加される。増幅用トランジスタ４２は、ゲートがフローティングディフュージョン３８に接続され、ドレインが電源ＶＤＤに、ソースは垂直選択用トランジスタ４０のドレインを介して画素線５１に接続され、さらに垂直信号線１９に接続されるようになっている。

このような構成では、フローティングディフュージョン３８は増幅用トランジスタ４２のゲートに接続されているので、増幅用トランジスタ４２はフローティングディフュージョン３８の電位（以下ＦＤ電位という）に対応した信号を電圧モードで、画素線５１を介して垂直信号線１９に出力する。

リセットトランジスタ３６は、フローティングディフュージョン３８をリセットする。読出選択用トランジスタ（転送トランジスタ）３４は、電荷生成部３２にて生成された信号電荷をフローティングディフュージョン３８に転送する。垂直信号線１９には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ４０をオンする。すると選択画素のみが垂直信号線１９と接続され、垂直信号線１９には選択画素の信号が出力される。

ここで、第１実施形態においては、通常画像生成を制御する第１垂直走査回路１４ａと演算情報生成を制御する第２垂直走査回路１４ｂとは、独立したフレームレートで、すなわち互いに異なる速度で垂直掃引を行なうことで、画素部１０の各単位画素３を制御して、それぞれの出力信号を異なる信号線に出力する、すなわち、画素信号をそれぞれカラム処理部２６側もしくは演算処理部２７側に読み出す。特に、第２垂直走査回路１４ｂによる垂直走査は、第１垂直走査回路１４ａによる垂直走査よりも高速な（たとえば１桁以上の）フレームレートにする。

このため、行ごとに自由な読出処理ができ、たとえば蓄積時間を自由に設定できるようになるので、たとえば演算処理部２７側では、高速点滅しているビーコンを検知する演算情報の取得処理の自由度が大幅に広がるので、所定のアプリケーションを実現するに際して使い勝手がよくなる。また、このような設定を、１つの垂直走査回路１４により行なうのではなく、それぞれ専用の垂直走査回路１４ａ，１４ｂを設けて制御するようにしているので、その制御が容易になる。

ただし、それぞれが独立したフレームレートで単位画素３を制御して画素信号を読み出すので、あるタイミングでは、双方の垂直走査が競合（衝突）する、すなわち、ある時点で同時に同じ単位画素３にアクセスする事態が起こり得るし、単純な読出処理をすると一方（本例では高速フレームレート走査側）の読出処理によって単位画素３が検知した信号電荷が消滅してしまい他方（本例では低速フレームレート走査側）の読出処理に悪影響を与え得る。本実施形態では、これらの問題を解消するように、第１垂直走査回路１４ａと第２垂直走査回路１４ｂとが動作するようになっている。この点については後で詳しく説明する。

なお、第１垂直走査回路１４ａによる低速フレーム走査機能の行選択走査は、第２垂直走査回路１４ｂによる高速フレーム走査機能の行選択走査に同期させるようにしてもよい。この場合、同期位相を調整することで、競合を避けることも可能であるが、たとえばＰＬＬ（phase Lock Loop）回路などを必要とするので、回路規模が増大する。この点では、それぞれの出力信号を時分割で１本の垂直信号線１９を共有するように、第１垂直走査回路１４ａと第２垂直走査回路１４ｂとが動作する仕組みは効果が高い。

単位画素３の、図中の上側には、垂直信号線１９と接続されたカラム処理部２６が設けられている。カラム処理部２６としては、一例として、サンプルホールド機能を持つＣＤＳ処理部２６ａと、ＣＤＳ処理部２６ａによってサンプルホールドされた電位を水平信号線１８に転送する機能を持ち、ＣＤＳ処理部２６ａを選択するカラムスイッチ（水平選択スイッチ）Ｓ１とが設けられている。また、単位画素３の、図中の下側には、負荷ＭＯＳトランジスタ２９０を含む負荷トランジスタ部２９が設けられている。

単位画素３を構成する増幅用トランジスタ４２は、各垂直信号線１９に接続されており、また垂直信号線１９は垂直列ごとに負荷ＭＯＳトランジスタ２９０のドレインに接続され、また各負荷ＭＯＳトランジスタ２９０のゲート端子には、図示しない負荷制御部（負荷ＭＯＳコントローラ）からの負荷制御信号ＶＬ１が共通に入力されて駆動されるようになっており、信号読出し時には、各増幅用トランジスタ４２に接続された負荷ＭＯＳトランジスタ２９０によって、予め決められた定電流を流し続けるようになっている。

たとえば、高速フレームレート走査機能と低速フレームレート走査機能のそれぞれにおいて、垂直信号線１９への電位読出し時に負荷となる負荷ＭＯＳトランジスタ２９０のバイアスを変更することで、応答スピードを調整することができる。

ＣＤＳ処理部２６ａは、第１水平走査回路１２ａからの制御パルスＳＨ，ＣＬＰ１により制御され、またカラムスイッチＳ１は、同じく第１水平走査回路１２ａからの制御パルスＳＥＬＨにより制御される。

カラムスイッチＳ１の出力側は、水平信号線１８に接続されており、カラムスイッチＳ１がオンすることで選択されたＣＤＳ処理部２６ａからの画素信号が図示しない出力回路２８に供給されるようになっている。

一方、単位画素３の、図中の下側に配された演算処理部２７は、演算処理機能の一例であるＩＤカメラの機能を実現する機能要素として、すなわち、垂直信号線１９の電位変化をＩＤ検出用の信号として処理するための回路として、差分演算部２７２、アナログメモリアレイ部２７４をなす１組（本例では２つ）のカレントコピアセル３２０，３４０、アナログメモリアレイ部２７４の出力信号にバイアス電流をオフセット成分として供給するバイアス回路部（バイアス処理部）２７５、コンパレータ部２７６、およびデータラッチ部２７８を備えている。

画素部１０の図中下側の垂直信号線１９上において、すなわち演算処理部２７側において、差分演算部２７２とアナログメモリアレイ部２７４との間に両機能部を開閉するスイッチＳ２が設けられ、アナログメモリアレイ部２７４とバイアス回路部２７５やコンパレータ部２７６との間に両機能部を開閉するスイッチＳ３が設けられ、さらに、データラッチ部２７８とデータ出力バス２７９との間に両者を開閉するスイッチＳ４が設けられている。

差分演算部２７２は、垂直信号線１９上に設けられた結合コンデンサ３０２と、クランプスイッチとして機能するＮchＭＯＳトランジスタ３０４と、電圧信号を電流信号に変換する電圧／電流変換機能を持つＮchＭＯＳドライブトランジスタ３０６とを有している。

ドライブトランジスタ３０６のゲートは、垂直信号線１９上の結合コンデンサ３０２と接続され、ソースが接地されており、またドレインがスイッチＳ２と接続され、かつ当該差分演算部２７２の出力端子として機能するようになっている。

トランジスタ３０４は、ドレインが基準電源Ｖｂに接続され、ソースが垂直信号線１９上の結合コンデンサ３０２とドライブトランジスタ３０６のゲートとの接続点であるノードＮ１に接続されている。また、トランジスタ３０４のゲートには、第２垂直走査回路１４ｂからのクランプパルスＣＬＰ２が入力されるようになっており、クランプパルスＣＬＰ２がＨ（ハイ）レベルのときにトランジスタ３０４がオンすることで、垂直信号線１９上の画素信号が基準電源Ｖｂにクランプされる。

アナログメモリアレイ部２７４は、電流サンプリング部としてカレントコピアセル（電流記憶セル）３２０，３４０を使用した点に特徴を有する。各カレントコピアセル３２０，３４０の出力側には、アナログメモリアレイ部２７４とバイアス回路部２７５やコンパレータ部２７６とを開閉するスイッチＳ３が設けられている。

アナログメモリアレイ部２７４は、差分演算部２７２から出力される電流信号を受け取り、この受け取った電流信号の大きさに対応する大きさの電流信号を記憶し所定のタイミングで出力する機能を持つ。

たとえば、図３に示すように、一方のカレントコピアセル３２０は、当該カレントコピアセル３２０への電流入力や電流出力を制御するスイッチとして機能するトランジスタ３２２と、入出力端子としてのドレインがトランジスタ３２２のドレインと接続され、ソースが電源線ＶＤＤに接続されたＰchＭＯＳトランジスタ３２４と、このＰchＭＯＳトランジスタ３２４のゲートと電源線ＶＤＤとの間に接続されたサンプリング用の容量素子３２６と、ＰchＭＯＳトランジスタ３２４のゲートとドレイン間に接続されたスイッチ素子として機能するＮchＭＯＳトランジスタ３２８とから構成されている。

すなわち、先ず、差分演算部２７２の出力、つまりドライブトランジスタ３０６のドレイン端子を、ＰchＭＯＳトランジスタ３２４のドレイン端子に接続する。ＰchＭＯＳトランジスタ３２４のゲートには、サンプリング用の容量素子３２６が電源電圧ＶＤＤとの間に接続され、また、ゲートとドレインの間にスイッチ素子であるトランジスタ３２８が挿入され、カレントコピア９０として構成される。

ＰchＭＯＳトランジスタ３２４とトランジスタ３２８のドレイン端子同士をつないだノードの先には、スイッチ素子として機能するトランジスタ３２２を介して、垂直信号線１９が接続される。

トランジスタ３２２のゲートには、選択制御パルスＳＭ１が入力されるようになっており、この選択制御パルスＳＭ１がＨ（ハイ）レベルのときに、トランジスタ３２２がオンする。また、トランジスタ３２８のゲートには、書込制御パルスＭＥ１が入力されるようになっており、この書込制御パルスＭＥ１がＨ（ハイ）レベルのときに、トランジスタ３２８がオンする。

このような構成により、選択制御パルスＳＭ１をＨレベルにしてトランジスタ３２２を導通状態（オン）にするとともに、書込制御パルスＭＥ１をＨレベルにしてトランジスタ３２８を導通状態（オン）にすると、カレントコピアセル３２０は入力フェーズ、すなわち差分演算部２７２の出力側の垂直信号線１９上の電流信号を書き込むモードとなる。

一方、選択制御パルスＳＭ１をＨレベルにしてトランジスタ３２２を導通状態（オン）にするとともに、書込制御パルスＭＥ１をＬレベルにしてトランジスタ３２８を非導通状態（オフ）にすると、カレントコピアセル３２０は出力フェーズ、すなわちカレントコピアセル３２０に保持しておいた電流信号を垂直信号線１９上の後段の回路（バイアス回路部２７５やコンパレータ部２７６）に読み出すモードとなる。

また、他方のカレントコピアセル３４０は、当該カレントコピアセル３４０への電流入力や電流出力を制御するスイッチとして機能するトランジスタ３４２と、入出力端子としてのドレインがトランジスタ３４２のドレインと接続され、ソースが電源線ＶＤＤに接続されたＰchＭＯＳトランジスタ３４４と、このＰchＭＯＳトランジスタ３４４のゲートと電源線ＶＤＤとの間に接続されたサンプリング用の容量素子３４６と、ＰchＭＯＳトランジスタ３４４のゲートとドレイン間に接続されたスイッチ素子として機能するＮchＭＯＳトランジスタ３４８とから構成されている。つまり、カレントコピアセル３２０における機能部材の参照番号３２＠を参照番号３４＠に置き換えて考えればよい。

トランジスタ３４２のゲートには、選択制御パルスＳＭ２が入力されるようになっており、この選択制御パルスＳＭ２がＨ（ハイ）レベルのときに、トランジスタ３４２がオンする。また、トランジスタ３４８のゲートには、書込制御パルスＭＥ２が入力されるようになっており、この書込制御パルスＭＥ２がＨ（ハイ）レベルのときに、トランジスタ３４８がオンする。このカレントコピアセル３４０の動作は、前述のカレントコピアセル３２０と同様であるので、詳細な説明を割愛する。

なお、この図３の例では、単位画素３が増幅用トランジスタ４２３としてＮchＭＯＳトランジスタを備えているので、これに応じて、カレントコピアセル３２０のトランジスタ３２４としてＰchＭＯＳを使用しているが、単位画素３が、増幅用トランジスタ４２としてＰchＭＯＳトランジスタを備えている場合には、カレントコピアセル３２０の形態も、トランジスタのＮchとＰchの極性を反転させたものを使用すればよい。

バイアス回路部２７５は、信号の重み付けのために、バイアス制御信号により、バイアス電流を垂直信号線１９上に供給するものであり、具体的にはアナログメモリアレイ部２７４からの信号に任意に重み付けを行なうことが可能にしている。

たとえば、本実施形態のバイアス回路部２７５としては、ＰchＭＯＳトランジスタ３６２とＮchＭＯＳトランジスタ３６４とがカスケード接続されたドライバ構成を使用することができる。トランジスタ３６２のゲートにはアクティブＬ（ロー）のバイアス制御信号ＰＢＩＳが供給され、トランジスタ３６４のゲートにはアクティブＨ（ハイ）のバイアス制御信号ＮＢＩＳが供給される。

もちろん、このような構成に限らず、たとえば列共通のカレントミラーでバイアスされたＰchＭＯＳトランジスタのソースフォロア回路を用いることもできる。

なお、バイアス回路部２７５は、読出し動作以外では、アナログメモリアレイ部２７４との間に設けられているスイッチＳ３をオフすることにより、コンパレータ部２７６の前段の垂直信号線１９の電位を電源電圧にバイアスする機能も持つ。

コンパレータ部２７６は、チョッパ型のコンパレータ機能を持つように構成されている。たとえば、コンパレータ部２７６は、スイッチＳ３以降の垂直信号線１９上の画素信号における所定の信号レベルを当該コンパレータ部２７６の中でクランプするために、コンデンサ３８１、アンプ３８２、およびスイッチ３８３からなる第１のクランプ回路と、コンデンサ３８４、アンプ３８５、およびスイッチ３８６からなる第２のクランプ回路とを有する、２段のクランプ回路（ダブルクランプ回路）構成を有している。コンパレータ部２７６の各スイッチ３８３，３８６には、第２垂直走査回路１４ｂからクランプパルスＣＰ１，ＣＰ２が入力される。第２のクランプ回路の出力は、データ保持機能を持つデータラッチ部２７８に入力される。

このような構成において、コンパレータ部２７６は、２つのクランプ回路を、クランプパルスＣＰ１，ＣＰ２により、初期化動作とコンパレート動作とを行なう。たとえば、クランプパルスＣＰ１，ＣＰ２がともにＨ（ハイ）レベルのときにコンパレータ部２７６が初期化され、この後、クランプパルスＣＰ２をＨレベルに維持したままで、クランプパルスＣＰ１をＬ（ロー）レベルにして、スイッチＳ３以降の垂直信号線１９上の画素信号（第１の画素信号）をクランプし、さらにこの後クランプパルスＣＰ２をＬレベルにしてスイッチＳ３以降の垂直信号線１９上の画素信号（第２の画素信号）を取り込むことで、第１の画素信号と第２の画素信号との大小を比較する。

つまり、高速フレームレートにおける１Ｈ期間の所定タイミングでコンパレータ部２７６の初期化を行ない、その後、第１の画素信号を読み出して、コンパレータ部２７６に信号を送り第１のクランピング処理を行ない、さらにこの後第２の画素信号を読み出して、コンパレータ部２７６に信号を送り第２のクランピング処理を行なうことにより、どのレベルでデジタルデータが反転するかを検出することで、画像情報（本例ではビーコンの点滅情報で表わされるＩＤ情報）の抽出を行なう。

データラッチ部２７８は、ラッチ２７８ａを有している。ラッチ２７８ａの出力データは、データラッチ部２７８とデータ出力バス２７９とを開閉するスイッチＳ４を介してデータ出力バス２７９に伝達されるようになっている。

このデータラッチ部２７８は、コンパレータ部２７６における比較結果を示す“０；Ｌレベル”もしくは“１；Ｈレベル”を取込パルスＣＫＤに同期してラッチ２７８ａに取り込み保持する。この後、第２垂直走査回路１４ｂからの読出パルスで制御されるスイッチＳ４がオンすることで、データ出力バス２７９上に比較結果を１ビットのデジタルデータで出力する。つまり、コンパレータ部２７６とデータラッチ部２７８とで、演算情報をデジタルデータとして取得するＡＤ変換機能部が構成されている。

また、カラム処理部２６と演算処理部２７との後段には、カラム処理部２６と演算処理部２７のそれぞれにて得られた出力に基づいて、所定目的を達成する用途信号を取得する用途信号取得部（第３の信号処理部）１００を備えている。

ここで、第１実施形態の用途信号取得部１００としては、ＩＤカメラを実現するべく、ハードウェア上でビーコンの点滅パターンを認識し、所定の通信インタフェース経由でパーソナルコンピュータなどに送信する機能部が設けられる。

点滅光源としてのビーコンは、たとえば点滅情報によって表わされるＩＤ情報として、８ビットで、２５５通りの識別が可能にしておく。８ビットのＩＤ情報を４ｋＨｚのキャリアでマンチェスター符号化し、２２ビットのパケットとしてＩＤ情報をパソコンなどに送信する。これによりビーコンが障害物などによってパケットを送信中に隠れても、パケット単位でデータを受信可能である。

図示しないが、このようなＩＤカメラ機能を持つ固体撮像装置１を実現する際には、光学レンズ、イメージセンサや駆動制御部７の他に、光学レンズやデコード用の集積回路（たとえばＦＰＧＡ（Field Programmable Gate Array ）や通信ＩＦ部が用意される。ＩＤカメラ機能を実行する際には、演算処理部２７側で取得されるＩＤ情報をデコードし、カラム処理部２６側で取得される通常画像（シーン画像）とデコードしたＩＤ情報とを組にして、所定の通信インタフェース経由で出力するようにする。

あるいは、点滅データをデコードする際には、演算処理部２７は、１２ｋＨｚのサンプリングを２００回繰り返し、ビーコンが送信するキャリア周波数４ｋＨｚの８ビットのＩＤ情報を画素部１０の全画素においてデコードし、１５ｆｐｓでＩＤ画像を作成する。ＩＤ画像は、画像の各画素の値がデコードしたＩＤ情報となっており、通常画像とＩＤ画像を組にして利用することで、通常画像上のビーコンの位置とＩＤ情報の値を合成することが可能である。

＜具体的動作；第１実施形態＞
図４は、図３に示した第１実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。ここで、図４（Ａ）は、画像取得機能の読出動作を示し、図４（Ｂ）は、ＩＤ検出機能の読出動作を示す。本例では、第１垂直走査回路１４ａによる画像取得機能用の低速フレームの行選択走査は、第２垂直走査回路１４ｂによるＩＤ検出機能用の高速フレームの行選択走査に同期させている。ただしこの場合でも、後述するように、競合が避けられないようになっている。

なお、単位画素３を駆動する画素セルタイミング中、画像取得走査ラインにて選択されている垂直選択パルスＳＥＬ、リセットパルスＲＳＴ、転送制御パルスＴＸを、それぞれ垂直選択パルスＳＥＬ（１）、リセットパルスＲＳＴ（１）、転送制御パルスＴＸ（１）と表記する。一方、ＩＤ検出ラインにて選択されている同信号線は、それぞれ垂直選択パルスＳＥＬ（２）、リセットパルスＲＳＴ（２）、転送制御パルスＴＸ（２）と表記し区別する。

第１実施形態では、同一センサ上に、画像取得用の第１垂直走査回路１４ａおよび第１水平走査回路１２ａと、ＩＤ検出用の第２垂直走査回路１４ｂおよび第２水平走査回路１２ｂをそれぞれ独立に用意し、それぞれにより独立した２つの垂直（Ｖ）掃引、水平（Ｈ）掃引走査を行なうことにより、低速フレーム走査を必要とする通常画像取得機能と高速フレーム走査を必要とするＩＤ検出機能を同時に実現する。

たとえば、画像取得機能の読出し動作に際しては、図４（Ａ）に示すように、画像取得用の垂直（Ｖ）掃引はVsync_image信号により、第１垂直走査回路（画像取得用垂直スキャナ）１４ａが掃引を開始し、１／３０ｓｅｃで１フレームの読み出しを完了させる。以下、画像取得動作時のフレームを１画像フレームと呼ぶ。そして、各行の選択は、第１水平走査回路１２ａによる水平（Ｈ）掃引トリガ信号Hsync_imageにより開始され、１Ｈ期間は６４μｓである。

１Ｈ期間はブランキング期間と水平転送期間に区別され、ブランキング期間中に画素からの信号が行一括で読み出され、カラム上方端に設けられたカラム処理部２６のＣＤＳ処理部２６ａにおいて、固定パターンノイズ除去処理の後にサンプルホールドされる。ＣＤＳ処理部２６ａにてサンプルホールドされた画素信号は、水平転送期間において、第１水平走査回路（水平スキャナ）１２ａにより、水平方向にカラムスイッチＳ１が順次選択され、水平信号線１８を介して出力回路２８に画素信号が読み出される。

ここで、単位画素３内の読出し動作は、水平掃引トリガ信号Hsync_imageから一定ディレイ期間ｔｄ後、垂直選択パルスＳＥＬ（１）により特定の行が選択され、対応する垂直選択用トランジスタ４０がオン（ＯＮ）となる。次に、転送制御パルスＴＸ（１）により読出選択用トランジスタ３４をオンすることで電荷生成部３２中の電荷をフローティングディフュージョン３８に読み出し、増幅用トランジスタ４２と負荷ＭＯＳトランジスタ２９０によって構成されるソースフォロア回路により垂直信号線１９の電圧が決定される。

この信号電位は、ＣＤＳ処理部２６ａにおいてクランプパルスＣＬＰ１によりクランプされる。次に、リセットパルスＲＳＴ（１）によりリセットトランジスタ３６をオンとし、フローティングディフュージョン３８をリセットし、そのリセット信号電位を同様に垂直信号線１９に読み出す。ＣＤＳ処理部２６ａは、このリセット電位と先の信号電位を差し引くことにより、画素ごとの固定パターンノイズを除去する。そして、この信号電位をサンプルホールドパルスＳＨによりサンプルホールドする。

なお、通常のＣＭＯＳセンサでは、先にリセット状態が読み出されＣＤＳ処理部２６ａにてクランプし、その後フォトダイオードなどの電荷生成部３２から電荷の転送を行ない信号レベルを読み出すがが、第１実施形態の動作では逆の動作としている。

次に、図４（Ｂ）を参照して、ＩＤ検出機能の読出し動作について説明する。なお、画素セル読出部の期間Ｔｈは、図４（Ａ），図４（Ｂ）において時間レンジを合わせて表記している。

ＩＤ検出機能のＶ掃引は、第２垂直走査回路（ＩＤ検出用垂直スキャナ）１４ｂによりなされる。Vsync_ID信号により第１垂直走査回路（画像取得用垂直スキャナ）１４ａと第３垂直走査回路（メモリ垂直スキャナ）１４ｃの掃引が開始され、１Ｖ期間は５１２μｓｅｃであり約２ｋｆｐｓとなる。以下、ＩＤ検出機能の１Ｖ期間をＩＤフレームと呼ぶ。各行の読出しは、第２水平走査回路１２ｂによる水平（Ｈ）掃引トリガ信号Hsync_IDによって開始され、１Ｈ期間は１μｓである。

先ず、水平（Ｈ）掃引トリガ信号Hsync_IDにより垂直選択パルスＳＥＬ（２）が立ち上がり、垂直選択用トランジスタ４０が選択され、その時点において既にフローティングディフュージョン３８に蓄積されている電荷によって決まる信号が垂直信号線１９に読み出される。

このＦＤ電位は、前のＩＤフレーム走査時に転送された信号電荷による電位か、もしくは画像取得機能の読出し走査によりリセットされたリセット電位に対応するものである。垂直信号線１９の電位は増幅用トランジスタ４２と負荷ＭＯＳトランジスタ２９０の電位分割により決まり、これによる垂直信号線１９の信号電位は、画素部１０の図中下方側に設けられた演算処理部２７の差分演算部２７２において、クランプパルスＣＬＰ２のアクティブＨがトランジスタ３０４のゲートに供給されることによって、ノードＮ１に基準電位Ｖｂでクランプされる。

次に、転送制御パルスＴＸによって、電荷生成部３２の電荷がフローティングディフュージョン３８に読み出される。このとき、転送制御パルスＴＸ（２）印加前の電荷はフローティングディフュージョン３８に残ったままであるので、転送制御パルスＴＸ（２）印加により読み出される電荷は前の電荷に足し加えられることになり、ＦＤ電位も同時に前の信号と転送による信号との加算となる。この加算信号は垂直信号線１９を介して差分演算部２７２に読み出される。

差分演算部２７２は、転送前の信号電位でクランプされているので、ノードＮ１では転送前後の信号の差分に相当する電位が現れる。これにより、単位画素３のリセット動作なしで、１ＩＤフレーム期間に蓄積される信号電位のみを抽出することが可能となる。

またここで、画像取得走査で選択された単位画素３とＩＤ検出により選択された単位画素３は同一カラムでは同じ垂直信号線１９を共有することになるので、時間分割により使用することで垂直走査の競合を回避するようにする。具体的には、この第１実施形態では、ＩＤ検出の垂直選択パルスＳＥＬ（２）の選択期間を、前述した画像取得動作におけるディレイ期間ｔｄ内に終了させるようにする。

ノードＮ１は、ドライブトランジスタ３０６のゲートに接続されており、スイッチＳ２がオンしたときに、アナログメモリアレイ部２７４を構成する入力フェーズ（書込モード）にあるカレントコピアセル３２０，３４０から電流を引く。

アナログメモリアレイ部２７４は、１画素あたり２つのセル（２フレーム分；カレントコピアセル３２０，３４０）が設定されており、第３垂直走査回路（メモリ垂直スキャナ）１４ｃにより、対応するカレントコピアセル３２０，３４０の何れか一方（図のタイミングでは３２０）が選択制御パルスＳＭ１により選択され、書込制御パルスＭＥ１の走査により、カレントコピアセル３２０に書き込みがなされる。

すなわち、先にも説明したように、選択制御パルスＳＭ１をＨレベルにしてトランジスタ３２２をオンにするとともに、書込制御パルスＭＥ１をＨレベルにしてトランジスタ３２８をオンにすることで、カレントコピアセル３２０を入力フェーズにして、垂直信号線１９上の電流信号をカレントコピアセル３２０に書き込む。

この後、コンパレートシーケンスに入り、先ず、前のフレームデータが格納されているカレントコピアセル３２０，３４０の何れか一方（図のタイミングでは３４０）を選択制御パルスＳＭ２により選択し、カレントコピアセル３４０が保持している電流情報をコンパレータ部２７６へ読み出す。

すなわち、先にも説明したように、選択制御パルスＳＭ２をＨレベルにしてトランジスタ３４２をオンにするとともに、書込制御パルスＭＥ２をＬレベルにしてトランジスタ３４８をオフにすることで、カレントコピアセル３２０を出力フェーズにして、カレントコピアセル３４０が保持していた電流信号を垂直信号線１９上に読み出す。

この読出動作における当初には、クランプパルスＣＰ１，ＣＰ２をともにＨレベルにして、チョッパ型のコンパレータ部２７６を初期化し、この後、クランプパルスＣＰ１→クランプパルスＣＰ２の順に、僅かの時間差をおいて順次Ｌレベルにし、スイッチＳ３以降の垂直信号線１９上の画素信号（すなわち前のフレームデータ）をクランプする。

次に、クランプパルスＣＰ１，ＣＰ２をＬレベルにした状態で、現フレームデータが格納されているカレントコピアセル３２０，３４０の何れか一方（図のタイミングではカレントコピアセル３２０）から、選択制御パルスＳＭ１の制御でトランジスタ３２２をオンさせることで、スイッチＳ３以降の垂直信号線１９上の画素信号、すなわちカレントコピアセル３２０が保持している現フレームの電流情報をコンパレータ部２７６へ読み出す。このようにして、コンパレータ部２７６に前フレームデータと現フレームデータとを順次取り込んだ後には、コンパレータ部２７６は、前フレームデータと現フレームデータと比較する。これにより、ＬＥＤ点滅（ビーコン）のエッジを検出することができる。

ここで、バイアス回路部２７５は、オフセット処理機能を持ち、カレントコピアセル３２０，３４０からの電流を引き込む負荷トランジスタとして働くと同時に、コンパレート動作時に、各データに重み付けを行なう。この重み付けは、光変化がない定常状態において、コンパレータ部２７６による比較結果であるコンパレートデータを一定（たとえば“０”データ）に固定するためのものである。

すなわち、光変化がない定常状態においては、前フレームデータと現フレームデータとが微妙に異なる（大小関係が不安定になる）ので、オフセットを与えなければ、コンパレートデータが不安定になるが、適正レベルのオフセットを与えることで、光変化がない定常状態においても、コンパレートデータが安定になる。

たとえば、図４に示すように、コンパレータ部２７６におけるコンパレート処理時に、ＮchＭＯＳトランジスタ３６４のゲートに供給するバイアス制御信号ＮＢＩＳをアクティブＨで一定としておきつつ、ＰchＭＯＳトランジスタ３６２のゲートに供給するバイアス制御信号ＰＢＩＳを、前のフレームデータを保持しているカレントコピアセル３４０の読出し時のみ、アクティブＬにする。

このようにすると、コンパレータ部２７６への入力電位が一定レベル高くなり、現フレーム読出電位が前フレーム時に比べて十分高くなると（ＬＥＤ点滅が立ち下がるとき）、コンパレータの出力値は“０”から“１”に変化する。

以降、このコンパレート結果はバイナリデータとしてカラムごとにデータラッチ部２７８のラッチ２７８ａにラッチされ、データ出力バス２７９を介して、センサ外部に読み出される。

なお、データ出力タイミングについては明示しないが、データバス幅の設定により１Ｈ期間（１μｓ）以内に１Ｈ分の出力がなされるようにし、１μｓのサイクルで読み出しからデータ出力までが繰り返されるようにする。これにより、ＩＤ検出機能において、ＬＥＤ点滅のエッジ検出が可能となる。

以上のＩＤ検出機能のシーケンスは、差分演算部２７２とコンパレータ部２７６とによって、２回の差分演算がなされたことになる。つまり、第１実施形態のアーキテクチャでは、フローティングディフュージョン３８にＩＤフレームごとに逐次蓄積されている電荷に対し、２階差分演算を実行することにより、ＬＥＤ点滅の立上りエッジと立下りエッジを検出していることになる。

以上の画像取得機能の動作とＩＤ検出機能の動作は、それぞれの垂直、水平スキャナを独立して走査することにより、機能として同時に動作させることが可能である。

＜具体的動作；競合時の処理＞
図５は、第１垂直走査回路１４ａと第２垂直走査回路１４ｂとが独立した垂直走査をすることによる競合発生時の対処方法を説明するタイミングチャートである。この図５により、時間軸に対する、第１垂直走査回路（画像用垂直スキャナ）１４ａの選択ラインの移動と、第２垂直走査回路（ＩＤ検出用垂直スキャナ）１４ｂの選択ラインの移動の関係が理解できる。

たとえば、画像フレーム走査の開始時には、画像取得走査とＩＤ検出走査は、それぞれVsyn_image、Vsync_IDパルスにより、画素部１０の下端の１ライン目より同時にスキャン走査が開始される。

しかしながら、１Ｈ期間は画像取得機能では６４μｓ、ＩＤ検出機能では１μｓと大きく異なるため、それぞれの選択ラインは大きく離れていく。たとえば、画像取得走査ラインが８ライン目を選択しているときに、ＩＤ検出走査ラインは丁度１ＩＤフレーム分の走査が終了し、画像取得機能の９ライン目の走査とＩＤ検出の１ライン目の走査が同時となる。このように、画像出力走査の８ライン走査ごとにＩＤ検出走査は１ＩＤフレームを掃引し、以後、これが繰り返されていく。

このとき、先ず、画像取得走査に着目した場合、非選択ラインは本来、１画像フレーム期間において信号電荷の蓄積をフォトダイオードなどの電荷生成部３２にて行なうべきところであるが、ＩＤ検出走査ラインにより常に電荷生成部３２から電荷の読出し動作が行なわれてしまっている。

しかし、通常画像生成処理用の掃引処理よりも高速な掃引処理を行なうＩＤ検出走査では、単位画素３から読み出された信号電荷は単位画素３のフローティングディフュージョン３８にそのまま保持されて残るので、低速掃引側である１画像フレーム期間においては、高速掃引処理によって信号電荷の読出処理を行なっても、物理量（本例では光）の変化を検知した信号電荷が単位画素３に保持され失われることはない。すなわち、高速掃引処理の駆動制御では、非破壊読出を行なっている。

画像取得走査では、前述した通り、最初にフローティングディフュージョン３８の信号を読み出し、後にリセット信号の読出しを行なうので、通常のセンサとは逆の動作となるが、これは以上の走査により、フローティングディフュージョン３８に蓄積されている電荷をリセットする前に読む必要があるからである。以上より、ＩＤ検出走査が画像取得走査をディスターブする、すなわち通常画像生成用の画素信号の読出しに悪影響を与えることはない。

一方、ＩＤ検出走査に注目した場合、常に、電荷転送の前と後のフローティングディフュージョン３８の電位を差分演算部２７２で処理するシーケンスとなっている。よって、フローティングディフュージョン３８の電位状態がライン選択前にどのようであったかは演算結果に影響してこない。画像取得走査が行なわれたラインはフローティングディフュージョン３８のリセット動作が行なわれるが、フローティングディフュージョン３８がいつリセットされたかは、ＩＤ検出走査には影響しない。

また、画像取得走査のＶ掃引開始時（Vsync_imageパルス印加時）と画像取得走査ラインをＩＤ検出ラインが追い越す時（図５のサークル部）は、ライン選択が重なってしまう。しかしながらこの場合も、画素セル内の動作においては、画像取得動作とＩＤ検出動作はディレイ時間ｔｄをおいて時間分けがなされているので、垂直選択パルスＳＥＬ，転送制御パルスＴＸ，リセットパルスＲＳＴの各制御パルスをそれぞれ（１）と（２）を重ね合わせたタイミング設定とすることにより、それぞれの機能を独立して走査することが可能である。

＜具体的動作；第１実施形態の変形例１＞
図６は、図３に示した第１実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能の変形例１を説明するタイミングチャートである。基本的な動作は図４に示したものと同様であるが、単位画素３の駆動タイミングに若干の違いがある。

具体的には、この変形例１は、画像取得走査のＴＸ（１）とＩＤ検出走査のＴＸ（２）を同じタイミングに設定したものである。タイミングを同じとしても、垂直選択線５２（ＳＥＬ（１），ＳＥＬ（２））はそのままであるので、垂直信号線１９の時間分割共有は変わらない。

つまり、それぞれの選択行において、フォトダイオードなどの電荷生成部３２からフローティングディフュージョン３８への電荷の転送が同時に行なわれるが、画像取得行では、垂直信号線１９への信号伝達は選択線ＳＥＬ（１）が選択されてからとなる。

このようにすると、画像取得ライン走査の読出タイミングに余裕ができ、タイミング設定がし易くなるというメリットがある。

＜具体的動作；第１実施形態の変形例２＞
図７は、図３に示した第１実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能の他の変形例２を説明するタイミングチャートである。基本的な動作は図４に示したものと同様であるが、負荷ＭＯＳトランジスタ２９０の駆動タイミングに若干の違いがある。

たとえば、図３において、負荷ＭＯＳトランジスタ２９０は、垂直信号線１９の信号読出し時の負荷となる定電流トランジスタであり、画像取得機能時およびＩＤ検出機能時の何れにおいても、垂直信号線１９への読出し時に定電流源として設定される。通常、この負荷ＭＯＳトランジスタ２９０の設定電流を変えることにより、信号の読出し時の動作点やスピードを調整することが可能である。

図４や図６の事例では、この設定値は画像取得機能時とＩＤ検出機能時で一定であるとしたが、一定にすることに限らず、画像取得機能時とＩＤ検出機能時で設定を変更して最適化することが可能である。たとえば、図７に示すように、垂直選択パルスＳＥＬ（１）と垂直選択パルスＳＥＬ（２）の動作タイミングに合わせて設定を変更するようにしてもよい。

以上説明したように、第１実施形態（その変形例１，２を含む）の固体撮像装置１によれば、従来例で説明したイメージセンサのピクセルごとに保持していた演算回路をカラムごとに共有し、さらに、画像出力の処理と演算処理とを別な回路ブロックで完全分離して行なうことにより、各画素内の構成の簡素化を図り、装置全体の小型化や実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を行なうことが可能となる。

加えて、通常画像用の画素信号を処理するカラム処理部２６とＩＤ画像用の画素信号を処理する演算処理部２７とを独立に設けるとともに、それぞれに関して垂直走査する垂直走査回路１４ａ，１４ｂや水平走査する第１水平走査回路１２ａ，１２ｂ（纏めてイメージセンサを駆動制御する駆動制御部）も独立に設けるようにしているので、このように、通常画像とＩＤ画像の両方を出力する場合でも、通常画像モードとＩＤ検出モードとを交互に繰り返す必要がない。

また、ビーコンの点滅間隔を通常画像のフレームレートを気にすることなく短くすることができ、それを検出する演算処理部２７を高速なフレーム走査で動作させることで、伝達情報量の増大を図ることができる。

たとえば、ＬＥＤ光源が数百ｆｐｓで点滅していた場合でも、それをサンプリングするために、演算処理部２７は、通常画像のフレームレート（一般的には３０ｆｐｓあるいは６０ｆｐｓ）よりも高速な数ｋｆｐｓ程度の高速動作が必要とされるが、本実施形態では、このような設定が容易に実現できる。

つまり、本実施形態によれば、ＩＤカメラのアプリケーションを実現するため、使用されるイメージセンサが通常の画像を取得するととともに、高速なフレーム走査により高速で点滅する光の点滅タイミングを検出するという２つの機能を持つことができる。

また、演算処理部２７の垂直走査を高速動作させることで、ビーコンの点滅タイミングがシステム全体で同期している必要はなく、ビーコンの設置に制限がなく、用途の自由度が非常に広い。たとえば、複数の各ビーコンが同期せずに独自のクロックで動作するものであっても適用可能である。これにより独立な複数のビーコンが同時に環境に存在可能となる。

また、演算処理部２７の垂直走査を高速動作させることで、高速なサンプリングが可能であるので、認識速度も高速であり、たとえば移動物体での利用も可能となる。たとえば、自律移動ロボッットや自動車の車庫入れ制御などの用途においては、移動する物体の位置を高精度に測定する必要がある。

このような場合のアプリケーションとして、第１実施形態を適用して、たとえば作業空間上で位置が既知となっている複数の点に点滅パターン（光ビーコン）を発生する送信機を配置し、ロボットや自動車などの機体上に受信機を搭載して、実空間を撮影する。画像フレーム上の座標と作業空間上の点滅点の組合せが一定数以上同時に分かる場合には、受信機すなわち機体の作業空間上の位置と傾きまたは姿勢を計算することができる。もちろん、ロボットや自動車などの機体上に、１台だけではなく複数台の受信機を装備してもよい。このような場合、広い視野で送信機を探索して自分の位置や傾きを測定することができる。

あるいは、第１実施形態を適用して、受信機をジャイロなどの回転センサと組み合わせて用いてもよい。このような場合、先ず、受信機の絶対座標と方向を決めた後、ジャイロで相対的な回転方向を追跡していくことで、受信機の画面から送信器がはみ出していても、回転運動に追従して送信機を捉えることができる。

また、掃引（走査）の形態は順次走査に限らず、ランダムな掃引も可能である。たとえば、通常の画像出力と演算処理とにおいて、各ピクセルを掃引する順序を変更することにより、最適な処理を行なうことが可能となる。また、画素の掃引の順序として、１画素単位または少数画素ブロック単位によるシリアル処理と複数の信号線による並列処理とを使い分けることが可能となる。

たとえば、画像情報の出力処理時には１画素単位によるシリアル処理を行ない、その他の演算処理時には複数の信号線による並列処理を行なうことができ、各信号処理のそれぞれの特性に合わせた最適化が可能となる。

また、１本の信号線に同時に伝送する画素数を変更することができ、画像情報の出力処理側については画素ごとの信号を１本の信号線に伝送し、その他の演算処理側については複数画素の信号を同時に１本の信号線に伝送することも可能である。こうすることで、各信号処理のそれぞれの特性に合わせた信号伝送の最適化が可能となる。

また、演算処理時に１本の信号線に同時に伝送する画素数として、カラーフィルタの組み合わせに対応した画素数を用いることにより、高精度の演算が可能となる。

また、ピクセルアレイの１つまたは複数のカラムごとにスイッチを設け、これらスイッチの中から信号読出し時にオンするスイッチを選択し、個々の差分演算部２７２に入力されるカラムを選択するような構成や、ピクセルアレイ内の複数行の同時選択または、複数カラムの同時選択により、複数画素の信号を融合・加算し、複数画素を１つの受光画素単位として扱うことにより、演算処理に固有の方法を採用することが可能となり、最適化が可能である。

＜具体的構成；第２実施形態＞
図８は、図１に示した固体撮像装置１における１垂直列に着目したカラム処理部２６や演算処理部２７の具体的な構成例（内部構成）の第２実施形態を示す図である。この第２実施形態も、第１実施形態と同様に、ＩＤカメラの機能を実現する構成となっている。

ここで、第２実施形態の固体撮像装置１は、画像取得用のＣＤＳ処理機能部と、ＩＤ検出用の差分演算処理機能部とを兼用する１つの回路で構成するようにしている点に特徴を有する。

たとえば、第１実施形態の構成では、カラム処理部２６は、画像取得用にＣＤＳ処理部２６ａを備えるとともに、ＩＤ検出用に演算処理部２７を用意していた。しかしながら、これらの機能部は、何れも、実際には、２つの信号差の差分演算をしているものであり、回路も同様に構成することができる。

第２実施形態では、この点に着目して、これら２つの機能において、ＣＤＳ処理部２６ａと演算処理部２７とを１つの回路（ＣＤＳ兼差分演算処理部）で兼用して用いるようにしている。

ＣＤＳ兼差分演算処理部４００は、第１実施形態の結合コンデンサ３０２に対応する結合コンデンサ４０２と、トランジスタ３０４に対応するトランジスタ４０４と、ドライブトランジスタ３０６に対応するドライブトランジスタ４０６とを有している。

また、ＣＤＳ兼差分演算処理部４００は、結合コンデンサ４０２とドライブトランジスタ４０６との間に、アンプ４１０とＮchＭＯＳトランジスタ４１２の縦続回路を有している。さらに、この縦続回路と並列に、ＮchＭＯＳトランジスタ４１６とサンプルホールドキャパシタ４１８の縦続回路を有している。

トランジスタ４１２は、サンプルホールドスイッチとして機能するようになっており、そのドレインはアンプ４１０の出力に接続され、ソースはドライブトランジスタ４０６のゲートに接続され、さらにゲートにはアクティブＨ（ハイ）のサンプルホールドパルスＳＨ２が図示しない第２垂直走査回路１４ｂから供給されるようになっている。

また、トランジスタ４１６も、サンプルホールドスイッチとして機能するようになっており、そのドレインはアンプ４１０の出力に接続され、ソースはサンプルホールドキャパシタ４１８の一方の端子にノードＮ３にて接続されている。サンプルホールドキャパシタ４１８の他方の端子は接地されている。さらにトランジスタ４１６のゲートにはアクティブＨ（ハイ）のサンプルホールドパルスＳＨ１が図示しない第２垂直走査回路１４ｂから供給されるようになっている。

このような構成のＣＤＳ兼差分演算処理部４００では、差分演算がなされるノードＮ１とその電位を増幅するアンプ４１０までは、通常画像生成処理機能とＩＤ検出機能の両機能で共用される。

また、アンプ４１０以降は、サンプルホールドスイッチ機能を持つトランジスタ４１２，４１６により分岐される。たとえば、サンプルホールドパルスＳＨ２で制御される一方のサンプルホールドスイッチ（トランジスタ４１２）以降は、第１実施形態と同様に、ＩＤ検出機能の処理がなされる。

一方、サンプルホールドパルスＳＨ１で制御される他方のサンプルホールドスイッチ（トランジスタ４１６）以降は、画像取得機能用であり、ノードＮ１にてリファレンスレベルを差し引かれた信号がアンプ４１０で増幅され、ノードＮ３に保持される。

この信号電荷は、近傍に配置された図示しない第１垂直走査回路（画像取得用水平スキャナ）１４ａによりカラムスイッチＳ１が順次選択されることにより、水平信号線１８に順次転送される。

この第２実施形態では、第１実施形態と異なり、図示しない第１水平走査回路（画像取得用水平スキャナ）１２ａと図示した水平信号線１８は、ＩＤ検出機能用の演算処理部２７と同じ側に配置される。

＜具体的動作；第２実施形態＞
図９は、図８に示した第２実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。ここで、図９（Ａ）は、画像取得機能の読出動作を示し、図９（Ｂ）は、ＩＤ検出機能の読出動作を示す。

図４に示した第１実施形態に対し、サンプルホールドスイッチＳＨ２のタイミングが加わる点が異なる。サンプルホールドスイッチＳＨ２は、ＩＤ検出機能のタイミングにおいて、転送配線ＴＸ（２）により画素内で信号電荷が転送されてから、アナログメモリアレイ部２７４にデータの書込みが行なわれるまでの期間オンとなる。画像取得機能動作時の選択線ＳＥＬやその他は、第１実施形態と同様である。

なお、サンプルホールドパルスＳＨ１は、第１実施形態のサンプルホールドパルスＳＨと同様であり、サンプルホールドスイッチＳＨ１により信号がサンプルホールドキャパシタ４１８にサンプルホールドされた後は、ＩＤ検出動作と独立して水平信号線１８への転送が可能である。

第２実施形態と同様に、先ず、垂直選択パルスＳＥＬ（２）により対応する垂直選択用トランジスタ４０が選択され、それまで、フローティングディフュージョン３８に蓄積されていた電荷による信号電位が垂直信号線１９に読み出され、その信号電位を、クランプパルスＣＬＰ２のアクティブＨをトランジスタ５０４に供給することで、ノードＮ１にクランプする。

なお、この第２実施形態では、画像取得機能とＩＤ検出機能の処理の切り分けを明確にするために、サンプルホールドスイッチＳＨ１，ＳＨ２を設けているが、この内、サンプルホールドスイッチＳＨ２については無くても問題ない。このときの画素読出タイミングは、第１実施形態と完全に同等で可能となる。

以上説明したように、第２実施形態の固体撮像装置１によれば、画像取得用のＣＤＳ処理機能部と、ＩＤ検出用の差分演算処理機能部とを、１つの処理回路で構成するようにしたので、第１実施形態の構成よりもコンパクトで低コストな仕組みにできる。

＜具体的構成；第３実施形態＞
図１０は、図１に示した固体撮像装置１における１垂直列に着目したカラム処理部２６や演算処理部２７の具体的な構成例（内部構成）の第３実施形態を示す図である。この第３実施形態も、第１実施形態と同様に、ＩＤカメラの機能を実現する構成となっている。

ここで、第３実施形態の固体撮像装置１は、１画素を構成する単位画素３内に、増幅用トランジスタ４２とそれを選択する垂直選択用トランジスタ４０が２組ずつ存在し、それぞれは別の信号線に接続され、１カラム当たり２本の垂直信号線１９ａ．１９ｂが存在する点に特徴を有する。これらの２つの組は、画像取得用とＩＤ検出用で区別される。

たとえば、図１２において、単位画素３は、フォトダイオードＰＤなどからなる電荷生成部３２、読出選択用トランジスタ３４、リセットトランジスタ３６、２つの増幅用トランジスタ４２ａ，４２ｂ、選択トランジスタ４０ａ，４０ｂより構成されている。増幅用トランジスタ４２ｂや選択トランジスタ４０ｂにより第１画素信号生成部５ｂが構成され、増幅用トランジスタ４２ａや選択トランジスタ４０ａにより第２画素信号生成部５ａが構成される。

光信号により電荷生成部３２に蓄積された電荷は、読出選択用トランジスタ３４によりフローティングディフュージョン３８に転送される。増幅用トランジスタ４２ａ，４２ｂのゲート電極は、ともにフローティングディフュージョン３８に接続されており、同じＦＤ電位信号をゲート電極に受ける。

増幅用トランジスタ４２ａ，４２ｂのソース電極は、それぞれ選択トランジスタ４０ａ，４０ｂに接続されており、さらに垂直選択用トランジスタ４０ａ，４０ｂは、それぞれ垂直信号線１９ａ，１９ｂに接続される。それぞれの増幅用トランジスタ４２ａ，４２ｂ、垂直選択用トランジスタ４０ａ，４０ｂ、垂直信号線１９ａ，１９ｂの組合せは、画像取得機能とＩＤ検出機能で区別して使用され、増幅用トランジスタ４２ａ，垂直選択用トランジスタ４０ａ，垂直信号線１９ａは画像取得専用に、また増幅用トランジスタ４２ｂ，垂直選択用トランジスタ４０ｂ，垂直信号線１９ｂは、ＩＤ検出専用に用いられる。

また、垂直信号線１９としては、垂直信号線１９ａ，１９ｂの２本用意されているので、負荷トランジスタ部２９も、定電流源となる負荷ＭＯＳトランジスタとして、２本の垂直信号線１９ａ，１９ｂのそれぞれに用意される（負荷ＭＯＳトランジスタ２９０ａ，２９０ｂ）。

垂直信号線１９ａに読み出される信号は全カラム同時に画素部１０の上方に読み出され、ＣＤＳ処理部２６ａにて、画素ごとの固定パターンノイズなどが除去され、画素部１０の外部に信号が出力される。

一方、ＩＤ検出信号は、垂直信号線１９ｂに沿って画素部１０の下方に読み出され、演算処理部２７の差分演算部２７２、アナログメモリアレイ部２７４、コンパレータ部２７６などを通して、前フレームとの比較処理がなされ、ＬＥＤ点滅（ビーコン）のエッジが検出される。

＜具体的動作；第３実施形態＞
図１１は、図１０に示した第３実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。ここで、図１１（Ａ）は、画像取得機能の読出動作を示し、図１１（Ｂ）は、ＩＤ検出機能の読出動作を示す。Ｖ掃引期間やＨ掃引期間の走査タイミングは、図４に示した第１実施形態と同様である。

画像取得用の垂直（Ｖ）掃引はVsync_image信号により画像取得用垂直スキャナが掃引を開始し、１／３０ｓｅｃで１フレームの読み出しが完了する（以下画像取得動作時のフレームを１画像フレームと呼ぶ）。各行の読み出しは、水平（Ｈ）掃引トリガ信号Hsync_imageにより開始し、１Ｈ期間は６４μｓである。

１Ｈ期間はブランキング期間と水平転送期間に区別され、ブランキング期間中に画素からの信号が行一括で読み出され、カラム端においてＣＤＳ処理部２６ａによる処理の後サンプルホールドされる。サンプルホールドされたデータはその後、水平方向に順次カラムスイッチＳ１がオンし、読み出しがなされる。

ここで、画素部１０内の読出し動作は、先ず、垂直選択パルスＳＥＬ（１）により特定の行が選択され、対応する垂直選択用トランジスタ４０がオンとなる。そして、転送制御パルスＴＸ（１）により電荷生成部３２中の電荷をフローティングディフュージョン３８に読み出し、増幅用トランジスタ４２により増幅された信号を垂直信号線１９ａに供給する。

この信号電位は、カラム端に配置されたＣＤＳ処理部２６ａにおいてクランプパルスＣＬＰ１によりクランプされる。次に、リセットパルスＲＳＴ（１）によりフローティングディフュージョン３８をリセットし、そのリセット信号電位を同様にＣＤＳ処理部２６ａに読み出す。

ＣＤＳ処理部２６ａは、このリセット電位と先の信号電位を差し引くことで固定パターンノイズが除去された信号電位を生成し、さらに、画素ごとの固定パターンノイズが除去された信号電位を、サンプルホールドパルスＳＨによりサンプルホールドする。

次に、図１３（Ｂ）を参照して、ＩＤ検出の走査を説明する。ＩＤ検出機能のＶ掃引はVsync_ID信号により第２垂直走査回路（ＩＤ検出用垂直スキャナ）１４ｂが掃引を開始し、１Ｖ期間はおよそ５１２μｓｅｃであり、約２ｋｆｐｓである（以下、ＩＤ検出機能のフレームを１ＩＤフレームと呼ぶ）。各行の読み出しは、まず、垂直選択パルスＳＥＬ（２）により、垂直選択用トランジスタ４０が選択され、その時点で既に蓄積されている電荷によって決まるＦＤ電位に対応した信号が垂直信号線１９ｂに読み出される。

このＦＤ電位は前のＩＤフレーム走査時に転送された信号電荷による電位か、もしくは画像取得機能の読出し走査によりリセットされたリセット電位に対応するものである。これによる垂直信号線１９ｂの信号電位は画素部１０の図中下方側の差分演算部２７２のクランプパルスＣＬＰ２によってノードＮ１にクランプされる。

次に、転送制御パルスＴＸによって、電荷生成部３２の電荷がフローティングディフュージョン３８に読み出される。このとき、転送制御パルスＴＸ印加前の電荷はフローティングディフュージョン３８に残ったままであるので、転送制御パルスＴＸ（２）印加により読み出される電荷は前の電荷に足し加えられることになり、ＦＤ電位も同時に前の信号と転送による信号との加算となる。

この加算信号は垂直信号線１９ｂに読み出される。ここで、差分演算部２７２は転送前の信号電位でクランプされているので、ノードＮ１では転送前後の信号の差分に相当する電位が現れる。これにより、単位画素３内のリセット動作なしで、１ＩＤフレーム期間に蓄積される信号電位を抽出することが可能となる。

ノードＮ１は、負荷ＭＯＳトランジスタ２９０のゲートに繋がり、カレントコピアセル３２０，３４０で構成されたアナログメモリアレイ部２７４から電流を引く。アナログメモリアレイ部２７４は、１画素当たり２つのセル（２フレーム分；カレントコピアセル３２０，３４０）が設定されており、対応するカレントコピアセル３２０，３４０が選択され、書き込みがなされる。

以後第１実施形態と同様に、前フレームのデータと現フレームのデータがそれぞれのカレントコピアセル３２０，３４０から順次読み出され、下方のコンパレータ部２７６にて大小の比較がされる。

この結果は、バイナリデータとしてカラムごとにデータラッチ部２７８でラッチされ、データ出力バス２７９よりセンサ外部に読み出される。これにより、ＩＤ検出機能において、ＬＥＤ点滅のエッジ検出が可能となる。

以上の画像取得機能の動作とＩＤ検出機能の動作は、第１実施形態と同様に独立した走査として同時に行なうことが可能である。また、画像取得走査とＩＤ検出走査のライン走査（Ｖスキャン走査）の関係も図５と同様になる。

ただし、この第３実施形態では、画像取得用とＩＤ検出用で垂直信号線１９ａ，１９ｂの２本を用意することにより、タイミング設定のフレキシビリティーを上げることができる。つまり、第１実施形態では、同じ信号線１９を両機能で共有していたために、画像取得時のライン選択（ＳＥＬ（１））とＩＤ検出用のライン選択（ＳＥＬ（２））のタイミングをずらす必要があった。これに対して、第３実施形態では、図１３に示すように、転送制御パルスＴＸの立上りタイミングのみを同時に設定しておけば、両者のタイミングをずらす必要がなくなる。つまり、画像取得の読出し動作を垂直選択パルスＳＥＬ（２）のタイミングに制約されることなく、Ｔｈ時間内で設定することが可能である。

なお、第３実施形態を用いて、第１実施形態と同様に、垂直選択パルスＳＥＬ１，ＳＥＬ２のタイミングをずらして走査するタイミングの設定も可能である。

また、第１実施形態と異なり、第３実施形態では、垂直信号線１９としては、垂直信号線１９ａ，１９ｂの２本用意されているので、定電流源となる負荷ＭＯＳトランジスタ２９０も、２本の垂直信号線１９ａ，１９ｂのそれぞれに用意される（２９ａ１，２９ａ２）。よって、これらの定電流値、タイミングの設定は、図１３中、ＶＬ１、ＶＬ２に示すように、それぞれの機能に対して、自由に設定することが可能である。

＜具体的構成；第４実施形態＞
図１２は、図１に示した固体撮像装置１における１垂直列に着目したカラム処理部２６や演算処理部２７の具体的な構成例（内部構成）の第４実施形態を示す図である。この第４実施形態も、第１実施形態と同様に、ＩＤカメラの機能を実現する構成となっている。

ここで、第４実施形態の固体撮像装置１は、２つのフローティングディフュージョンノードを備えるようにしている点に特徴を有する。たとえば、第１実施形態の構成に対して、転送トランジスタ（第１の転送部）３５を読出選択用トランジスタ３４とリセットトランジスタ３６との間に追加している。転送トランジスタ３５によって分離形成される２つのフローティングノードを、それぞれフローティングディフュージョン３８ａ、３８ｂ（読出選択用トランジスタ３４側がフローティングディフュージョン３８ｂ）とする。

そして、画像取得機能に用いられる増幅用トランジスタ４２ａのゲートは、フローティングディフュージョン３８ａに接続され、ＩＤ検出機能に用いられる増幅用トランジスタ４２ａのゲートはフローティングディフュージョン３８ｂに接続される。リセットトランジスタ３６のソースはフローティングディフュージョン３８ａにのみ接続される。

リセットトランジスタ３６のソースは、２つのフローティングディフュージョン３８ａ，３８ｂのうち、フローティングディフュージョン３８ａにのみ接続される。

また、図１４の画素構成として、フローティングディフュージョン３８ｂからフローティングディフュージョン３８ａへの電荷転送は転送トランジスタ３５の選択により、全電荷完全に行なわれるものとする。

＜具体的動作；第４実施形態＞
図１３は、図１２に示した第４実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。ここで、図１３（Ａ）は、画像取得機能の読出動作を示し、図１３（Ｂ）は、ＩＤ検出機能の読出動作を示す。

Ｖ掃引期間やＨ掃引期間の走査タイミングは、図４に示した第１実施形態と同等で可能である。しかしながら、この第４実施形態の構成にすることにより、さらにフレキシブルなタイミング設定が可能となる。

具体的には、画像取得走査が第１実施形態とは異なる。たとえば、ＩＤ検出動作では、電荷の転送を電荷生成部３２からフローティングディフュージョン３８ｂまでで行ない、フローティングディフュージョン３８ｂの電位を増幅用トランジスタ４２ｂで受けて垂直信号線１９ｂに信号を伝達する。

一方、画像取得走査では、画像フレームの蓄積期間においてフローティングディフュージョン３８ｂに転送されている電荷を転送トランジスタ３５によりフローティングディフュージョン３８ａへ転送する。そして、そのフローティングディフュージョン３８ａの電位を増幅用トランジスタ４２ａで受けて垂直信号線１９ａに信号を伝達する。

このように、第４実施形態においては、第１実施形態の構成におけるフローティングディフュージョン３８の部分に、このフローティングディフュージョン３８を２分割するように転送トランジスタ３５を設けることにより、画像取得機能とＩＤ検出機能で電位をセンスするノードが異なるようにする。

単位画素３内の走査において、ＩＤ検出用の走査は第１実施形態と同様である。一方、画像取得用走査では、第１実施形態と同様に、ＩＤ検出機能の垂直選択パルスＳＥＬ（２）が立ち下がってから垂直選択パルスＳＥＬ（１）の立ち上げを行なう。そして、先ずリセットパルスＲＳＴによりフローティングディフュージョン３８ａのノードをリセットし、そのときの垂直信号線１９ａの電位をＣＤＳ処理部２６ａにてクランプする。次に転送制御パルスＴＸ２によりフローティングディフュージョン３８ｂの電荷をフローティングディフュージョン３８ａに転送する。そして、そのときの信号電位によりＣＤＳ処理部２６ａにてリセットレベルとの差分がとられ、画像信号として出力される。

ここで、第４実施形態の構成では、一旦フローティングディフュージョン３８ｂからフローティングディフュージョン３８ａに電荷転送を行なうとＩＤ検出走査と画像取得走査は独立して行なうことが可能である。

よって、画像取得走査のタイミングはＩＤ検出走査に制限されることなく自由な設定が可能となる。第１実施形態では、垂直選択パルスＳＥＬ（２）の立ち下がりをＩＤ検出の１Ｈ期間内（Ｔｈ）に終了させる必要があったが、第４実施形態では、その必要はなくなる。

なお、フローティングディフュージョン３８ｂのリセットのタイミングは、上述した通り、転送制御パルスＴＸ２による電荷転送前でなくとも、第１実施形態と同様に、電荷転送後に行なう設定も可能である。

＜具体的動作；第４実施形態の変形例＞
図１４は、図１２に示した第４実施形態の固体撮像装置１における、画像取得機能とＩＤ検出機能の変形例を説明するタイミングチャートである。基本的な動作は図１３に示したものと同様であるが、画像取得用の転送選択線ＴＸ１の駆動タイミングに若干の違いがある。

具体的には、この変形例は、画像取得用の転送選択線ＴＸ１を１Ｈ期間ごとに選択するのではなく、転送トランジスタ３５を制御することで、低速フレームレート走査機能の垂直ブランキング期間中に、全ライン同時に選択し、信号電荷をフローティングディフュージョン３８ｂからフローティングディフュージョン３８ａに全ライン一斉に転送する。

そして、各Ｈ期間の走査では転送制御パルスＴＸ１の選択は行なわずに、垂直選択パルスＳＥＬ（１）を選択した時点で、フローティングディフュージョン３８ａの信号電荷を垂直信号線１９ａに読み出すようにする。

このようにすると、画素ごとに、電荷生成部３２と画素信号生成部５をなす増幅用トランジスタ４２などとの間に電荷蓄積部としてのフローティングディフュージョン３８ａを設け、全画素を同時に露光した後、電荷生成部３２にて生成された信号電荷を同時にフローティングディフュージョン３８ａに転送させる構造のものとなる。

各ラインにおいて、フローティングディフュージョン３８ｂからフローティングディフュージョン３８ａへの電荷転送が同時刻となるために、同時シャッター機能、いわゆるグローバルシャッター動作が可能となる。ここで、グローバルシャッター動作とは、電子シャッタ動作を行なったときの各画素の露光蓄積時間が一定となるようにする（同時刻露光する）機能である。

つまり、図１３のタイミングでは、各ラインの電荷転送は各ラインの選択時に行なわれるため、フローティングディフュージョン３８ｂでの電荷蓄積期間の時刻が各ラインによって異なってしまう。このようなシャッタ動作は、フォーカルプレインシャッターと呼ばれる。これは、ラインの上下方向で蓄積時刻が異なることを意味し、動いているものを撮影するときなど、画像に歪みが生じてしまう。このようなことは、ＣＭＯＳセンサ特有の問題として知られていることと同じである。これに対して、第４実施形態の変形例によれば、図１４のような設定とすることにより、このような現象を回避することが可能となる。

以上説明したように、第４実施形態（その変形例を含む）の固体撮像装置１によれば、２つのフローティングディフュージョンノードを備えるように単位画素３の構成を変形したので、画像取得走査のタイミングをＩＤ検出走査に制限されることなく自由に設定でき、第１実施形態の構成よりも使い勝手がよくなる。

なお第１〜第４実施形態（各変形例を含む）において、説明を簡略化するために、１つの電荷生成部３２（フォトダイオードなど）について、１組の画素内トランジスタの組合せを対応させたが、第１実施形態の纏めでも述べたように、複数の電荷生成部３２（フォトダイオードなど）で１組の画素内トランジスタの組合せを対応させてもよい。このような構成は、１つ当たりの実効的な画素サイズを縮小させるときなどに有効な手段となる。

また、イメージセンサより出力される信号データは、画像取得機能、ＩＤ検出機能ともに、画素ごとであることを前提としているが、これは、画素内、または信号線などにおいて、近傍の画素信号を加算して信号処理、出力することも可能である。

また、その時の加算の有無、加算する画素数は、画像取得機能、ＩＤ検出機能で異なってもよい。このような手段は、実効的に総画素数を減らすことになり、より高速なフレーム走査などを行なうときなどに有効となる。さらにＩＤ検出機能の場合は、各画素上に配置されているカラーフィルタの違いを補償するために、カラーフィルタマトリックスの単位構成画素で加算するなどの手段が考えられる。

また、第１〜第４実施形態（各変形例を含む）において、ＩＤ検出機能の差分演算以降の処理はセンサ内で行なうことを前提としているが、画素内構成とその走査方法のみの特徴部分（すなわち画素信号の読出処理用の独立した駆動制御）に着目すれば、画素から読み出されたＩＤ検出用の信号を高速でセンサ外部に読み出し、差分演算以降の処理をセンサ外部のプロセッサにて実効する構成も可能である。

また、第１〜第４実施形態（各変形例を含む）において示した走査のタイミングは一例であり、画素内構成とその走査方法のみの特徴部分（すなわち画素信号の読出処理用の独立した駆動制御）の本質を失わない範囲で、様々なタイミング設定のバリエーションが考えられる。

また、第１〜第４実施形態（各変形例を含む）において、ＩＤ検出機能は高速で変化する光の変化タイミングを検出するものであり、これと同じ動作により、撮影する被写体の動き検出に用いることができる。

＜具体的構成；第５実施形態＞
図１５は、固体撮像装置１における１垂直列に着目したカラム処理部の具体的な構成例（内部構成）の第５実施形態を示す図である。この第５実施形態は、第１〜第４実施形態との構成と同様に、２つの垂直走査回路（垂直スキャナ）１４ａ，１４ｂを異なるスピードで走査するものであるが、それらの走査により出力される信号を、それぞれ、高フレームレート、低フレームレート走査による画像信号とし、これらの複数の信号により、ダイナミックレンジを拡張した画像を得るようにした点に特徴を有する。

すなわち、第１〜第４実施形態（各変形例を含む）のＩＤ検出機能において、最初の差分演算処理された信号は、高速なフレーム走査により得られた自然画像の情報に相当するものである。つまり、この信号をセンサ外部に出力するような構成にした場合、センサからは、低速フレーム走査による自然画像の信号と、高速フレーム走査による自然画像の信号が同時に出力されることになる。一般に、異なる蓄積時間による信号が同時に得られる場合、これらのデータから高ダイナミックレンジの画像を構成することができる。よって、本センサの構成により、電荷蓄積時間の異なる２種の信号の演算処理により、高ダイナミックレンジ画像の取得が可能となる。

たとえば、第５実施形態の固体撮像装置１は、第２実施形態の構成と同様に、ＣＤＳ兼差分演算処理部５００を、第１のフレームレートで動作するカラム処理部２６０ａと第２のフレームレートで動作するカラム処理部２６０ｂといったサンプルホールド機能を持つ２種の信号処理部で共有する構成を採る。

たとえば、ＣＤＳ兼差分演算処理部５００は、第２実施形態の結合コンデンサ４０２に対応する結合コンデンサ５０２と、トランジスタ４０４に対応するトランジスタ５０４と、アンプ４１０に対応するアンプ５１０と、トランジスタ４１６に対応するトランジスタ５１６と、サンプルホールドキャパシタ４１８に対応するサンプルホールドキャパシタ５１８とを有する。これらによって、カラム処理部２６０ａが構成される。

さらに、ＣＤＳ兼差分演算処理部５００は、トランジスタ５１６とサンプルホールドキャパシタ５１８との縦続回路と並列に、トランジスタ５１６に対応するトランジスタ５１２と、サンプルホールドキャパシタ５１８に対応するサンプルホールドキャパシタ５１４の縦続回路を有している。結合コンデンサ５０２と、トランジスタ５０４と、アンプ４１０とがカラム処理部２６０ａと兼用され、かつトランジスタ５１２とサンプルホールドキャパシタ５１４とでカラム処理部２６０ｂが構成される。

トランジスタ５１２も、サンプルホールドスイッチとして機能するようになっており、そのドレインはアンプ５１０の出力に接続され、ソースはサンプルホールドキャパシタ５１４の一方の端子にノードＮ２にて接続されている。サンプルホールドキャパシタ５１４の他方の端子は接地されている。さらにトランジスタ５１２のゲートにはアクティブＨ（ハイ）のサンプルホールドパルスＳＨ２が図示しない第２垂直走査回路１４ｂから供給されるようになっている。

また、この第５実施形態では、第２実施形態と同様に、図示しない第１水平走査回路（画像取得用水平スキャナ）１２ａと図示した水平信号線１８ａは、第２のフレームレートで動作するカラム処理部２６０ｂと同じ側に配置される。

このような構成のＣＤＳ兼差分演算処理部５００では、第２実施形態に準じて、差分演算がなされるノードＮ１とその電位を増幅するアンプ５１０までは、第１のフレームレートでの通常画像生成処理機能と第２のフレームレートでの通常画像生成処理機能の両機能で共用される。

また、アンプ５１０以降は、サンプルホールドスイッチ機能を持つ５１２，５１６により分岐される。たとえば、サンプルホールドパルスＳＨ１で制御される一方のサンプルホールドスイッチ（トランジスタ５１６）以降は、画像取得機能用であるが、ここでは第１のフレームレートでの通常画像生成処理機能の処理がなされる。

たとえば、ノードＮ１にてリファレンスレベルを差し引かれた信号がアンプ５１０で増幅され、ノードＮ３に保持される。この第１のフレームレートで取得された信号電荷は、近傍に配置された図示しない第１垂直走査回路（画像取得用水平スキャナ）１４ａによりカラムスイッチＳ１が順次選択されることにより、第１水平信号線１８ａに画像出力１として順次転送される。

一方、サンプルホールドパルスＳＨ２で制御される他方のサンプルホールドスイッチ（トランジスタ４１２）以降も、画像取得機能用であるが、ここでは第２のフレームレートでの通常画像生成処理機能の処理がなされる。たとえば、ノードＮ１にてリファレンスレベルを差し引かれた信号がアンプ５１０で増幅され、ノードＮ２に保持される。この第２のフレームレートで取得された信号電荷は、近傍に配置された図示しない第２垂直走査回路（画像取得用水平スキャナ）１４ｂによりスイッチＳ２が順次選択されることにより、第２水平信号線１８ｂに画像出力２として順次転送される。

つまり、この第５実施形態では、ＣＤＳ兼差分演算処理部５００は、ノードＮ１にクランプされた信号を、アンプ４１０により増幅した後、サンプルホールドスイッチ機能を持つトランジスタ５１２，５１６にて分岐する。この後、それぞれサンプルホールドキャパシタ５１４，５１８に保持する。さらにこれらのサンプルホールドキャパシタ５１４，５１８に保持した信号電荷を、それぞれ独立な水平走査回路（水平スキャナ）１２ａ、１２ｂにて順に選択されるカラムスイッチＳ１，Ｓ２を介し、水平信号線１８ａ，１８ｂに転送し、それぞれ、画像出力１、画像出力２として、外部に出力する。

たとえば、通常走査による画像出力走査を第１のフレームレートで動作することで画像出力１として取得し、第１のフレームレートよりも高速な第２のフレームレートによる画像出力走査で画像出力２として取得する。

カラム処理部２６０ａとカラム処理部２６０ｂとの後段には、カラム処理部２６０ａとカラム処理部２６０ｂのそれぞれにて得られた画像出力１、画像出力２に基づいて、所定目的を達成する用途信号を取得する用途信号取得部１００を備えている。

ここで、第５実施形態の用途信号取得部１００としては、電子的にすなわち画像データ処理により画像のダイナミックレンジを拡大するダイナミックレンジ拡大処理を行なう機能要素として、電荷蓄積時間の異なる複数枚の画像に基づきダイナミックレンジ拡大処理を行なうレンジ拡大処理部１２０を有している。

レンジ拡大処理部１２０は、カラム処理部２６０ａからの画像出力１とカラム処理部２６０ｂからの画像出力２とに基づき所定の演算処理をして演算画像を生成する演算画像生成部１２２、カラム処理部２６０ａからの画像出力１とカラム処理部２６０ｂからの画像出力２と、演算画像生成部１２２から出力された演算画像（本例ではＤレンジが拡大された１枚の画像）の何れか１つを選択して出力する出力画像選択部１２４、および固体撮像素子１０の撮像領域におけるダイナミックレンジ拡大処理に関わる画素位置（あるいは画像領域）を指定したり当該レンジ拡大処理部１２０における処理動作を制御したりする処理制御部１２６を備えている。

＜具体的動作；第５実施形態＞
図１６は、図１５に示した第５実施形態の固体撮像装置１における、画像取得機能における画素信号読出しのタイミングを説明するタイミングチャートである。ここで、図１６（Ａ）は、第１のフレームレートで動作する画像取得機能の読出動作を示し、図１６（Ｂ）は、第２のフレームレートで動作する画像取得機能の読出動作を示す。

第５実施形態においては、画像出力１を担当するカラム処理部２６０ａは、第２実施形態と同様に、通常（第１）のフレームレートで処理することで、通常の画像を出力するが、画像出力２を担当するカラム処理部２６０ｂ側では、差分演算走査により、通常画像のフレーム走査中にフローティングディフュージョン３８の電荷を破壊することなく、第１のフレームレートよりも高速な第２のフレームレートで画像信号を読み出す。

すなわち、図１６（Ａ）に示すように、画像出力１の走査は、図９（Ａ）で示した第２実施形態と同様である。一方、画像出力２では、一例として、図１６（Ｂ）に示すように、フレームレートを画像出力１の４倍の速さで走査した場合を示している。よって、画像出力２の垂直掃引期間は１／１２０ｓｅｃであり、水平掃引期間は１６μｓｅｃである。

ここで画像出力２の垂直ブランキング期間、水平ブランキング期間は、画像出力１と同様に、それぞれ、出力画素数換算で、２４カウント、１００カウントのタイミングを取っている。画像出力２の画素読出しは、水平ブランキング期間中、画像出力１の読出しに先行するｔｄ期間において行なわれる。

オペレーションは、第２実施形態と同様に、先ず、垂直選択パルスＳＥＬ（２）により対応する垂直選択用トランジスタ４０を選択し、それまで、フローティングディフュージョン３８に蓄積されていた電荷による信号電位を垂直信号線１９に読み出し、その信号電位を、クランプパルスＣＬＰ２のアクティブＨをトランジスタ５０４に供給することで、ノードＮ１にクランプする。

この後、転送制御パルスＴＸ（２）のアクティブＨを読出選択用トランジスタ３４に供給して対応する読出選択用トランジスタ３４を選択し、新たに電荷生成部３２に蓄積された電荷をフローティングディフュージョン３８に転送し、それによる信号電位を垂直信号線１９に読み出し、先の電位との差分に相当する電位をノードＮ１に保持する。

アンプ５１０は、この電位を増幅し、同時にサンプルホールドパルスＳＨ２のアクティブＨをトランジスタ５１２に供給することでトランジスタ５１２をオンさせることにより、サンプルホールドキャパシタ５１４に信号電位を保持する。この信号電位は、以降、第２水平走査回路（水平スキャナ）１２ｂにてスイッチＳ２が順次選択されることで、水平転送期間に、画像出力２として読み出される。

＜ダイナミックレンジ拡大処理機能の概念＞
図１７は、ダイナミックレンジ拡大処理の処理態様を説明する図である。レンジ拡大処理部１２０は、露光時間（電荷蓄積時間）の異なる複数枚の画像をそれぞれカラム処理部２６０ａ，２６０ｂから取り込み、演算画像生成部１２２にて合成処理を行なう。

ここで、レンジ拡大処理部１２０における広ダイナミックレンジ化のための信号処理は、短時間蓄積の画像と長時間蓄積の画像とを１枚に合成した和を使用することもできる。また、両画像を用途によって使い分けることもできる。この選択は出力画像選択部１２４にてなされる。すなわち、垂直走査回路１４ａ，１４ｂを利用したフレームレート独立制御機能を利用して電荷蓄積時間（シャッタ速度に相当）を変え、明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像すればよい。

短時間蓄積（高速シャッタ）では暗い被写体は写らないが、明るい被写体は鮮明に写る。一方、長時間蓄積（低速シャッタ）では明るい被写体は飽和して飛んでしまうが、暗い被写体は鮮明に写る。ダイナミックレンジ拡大処理では、これらの２つの画像から、良好な部分だけを切り出して使用（たとえば合成）するようにすればよい。

何れの場合でも、画像の中の輝度レベルの比較的低い部分は長時間蓄積（低速シャッタ）画像の比率を高くし、輝度レベルの高い部分は短時間蓄積（高速シャッタ）画像の比率を高くするのがよい。このような処理により、高輝度部分の飽和による白飛びがなく、かつ、低輝度部分のＳ／Ｎの良好な画像を得ることができる。

たとえば、ダイナミックレンジ拡大の概念を図１７（Ａ）と図１７（Ｂ）に示している。固体撮像素子１０の信号出力は入射光量に比例して増加するが、出力が飽和レベルに達するとそれ以上は増加しない。たとえば、図１７（Ａ）にａ，ｂで示すように、固体撮像素子１０が飽和する光量がＬ１である。

ここで、垂直走査回路１４ｂを利用したフレームレート独立制御機能を利用して固体撮像素子１０の電荷蓄積時間を短縮すると、入射光量と信号出力の関係は、ｃのように変化し、固体撮像素子１０が飽和する光量は増加する。最大入射光量が増加した場合、電荷蓄積時間を調整してｃのカーブに沿った信号を取り出すことになるが、Ｌ１以下の光量の領域においては電荷蓄積時間の長いａの方が、出力が大きく、Ｓ／Ｎが良好である。

したがって、Ｌ１以下の領域では長時間電荷蓄積の信号ａをより多く使用し、Ｌ１以上の領域では短時間電荷蓄積の信号ｃをより多く使用すれば、飽和する入射光量が大きく、かつ暗い部分でのＳ／Ｎの良好な画像信号が得られる。すなわち、ダイナミックレンジを拡大することができる。

ここで、撮像装置の使用目的によっては、光量と出力が不連続の関係でも使用可能である。すなわち、低光量側の画像を重視する場合には、長時間電荷蓄積の画像を選択出力して使用する一方、高光量側の画像を重視する場合には、短時間電荷蓄積の画像を選択出力して使用する。つまり、高速フレームレート画像と低速フレームレート画像の何れか一方を選択使用する。電荷蓄積時間制御の応答性を気にすることなく、即時に何れかに切り替えることができる。

たとえば、演算画像生成部１２２にて、短時間蓄積の画像と長時間蓄積の画像とを所定の比率で加算することで、非直線あるいはなだらかに連続させて、１つの画像に合成して使用することができる。

ここで、イメージセンサのダイナミックレンジが６０ｄＢあると仮定するとともに、長時間蓄積を１フレーム期間近傍の適当な期間、たとえば約１／１５ｍｓ程度に設定し、また短時間蓄積を１水平期間以下の適当な期間、たとえば約１／１５μｓ程度に設定すると、長時間蓄積時間の光量に対するセンサ出力は、光量の変化に対し３桁まで対応することになる。また、短時間蓄積時間の光量に対するセンサ出力も、光量の変化に対し３桁まで対応することになるが、長時間蓄積時間で検出できる光量と３桁ずれることになる。

よって、蓄積時間の異なる画像を加算演算することで得られる加算演算の画像により、６桁すなわち１２０ｄＢのダイナミックレンジを実現できる。たとえば、長時間蓄積時間では飽和してしまう部分が存在する画像を、短時間蓄積時間で検出された画像で補うことができ、一方の蓄積時間だけでは画像出力できない飽和レベル以上についても、再現することができるようになる。

たとえば、上述したように、第５実施形態によれば、画像出力１の系統（カラム処理部２６０ａ）では、通常画像として、１／３０ｓｅｃのフレームレートで画像が出力される。一方、画像出力２の系統（カラム処理部２６０ｂ）では、その４倍のスピードの１／１２０ｓｅｃのフレームレートで画像が出力される。

これらのフレームレートはフォトダイオードなどの電荷生成部３２での光照射による電荷の蓄積時間に相当するので、４倍異なる蓄積時間による画像情報が同時に取得されることを意味する。

これらフレームレート（すなわち電荷蓄積時間）が異なる２つの画像信号は、光の信号強度に対して、丁度、４倍感度の異なる２種のセンサからの信号と等価の関係となる。よって、これらの２つの画像信号を、レンジ拡大処理部１２０において、たとえば、演算画像生成部１２２で加算処理することにより、図１７（Ｂ）のような信号特性を実現でき、従来の通常信号の出力（画像出力１に相当）に比べ、検出信号レンジ（ダイナミックレンジ）を拡大することが可能となる。

以上説明したように、時間加算処理の応用として、蓄積時間の異なる同一位置の複数の画素信号を加算すれば、演算データとして、より広い入射光量に対して飽和し難い信号出力が得られ、ダイナミックレンジを拡大可能なデータを取得できる。白飛びや黒潰れの緩和された光量に対するダイナミックレンジの広い画像を取得することができる。

また、蓄積時間の異なる２つ（必要に応じてさらに蓄積時間の異なる画素信号を増やしてもよい）の画素信号の合成によりダイナミックレンジを拡大するようにしているので、画素内メモリなど専用の画素構造を必要とせず、通常の画素構造のデバイスにも適用可能であり、センサデバイスとしての制限がない。

ただし、実際には、単純な加算処理では、光量に対するセンサ出力が視感度と適合した理想的なニー特性にはならない。すなわち、光量の対数に比例して明るさを識別するという人間の視覚特性に合わない。

この問題を解消するには、視感度を考慮するべく、比較処理に使用される参照信号の時間変化量を調整することで、加算演算における処理対象画像信号についての係数を設定するのが好ましい。特に、通常の蓄積時間であれば飽和してしまうような高レベルの信号を飽和することなくかつ視感度補正を実現するべく、比較的短時間の蓄積時間の元で取得された処理対象画像について、変化量を調整するのが好ましい。

具体的には、線形に変化させずに、傾きを数段階に亘り変化させるのがよい。なお、このような線形性を持ちつつ段階的に変化させることに限らず、たとえば２次関数などの高次関数に従って連続的に漸次変化させてもよい。

このときの変化のさせ方としては、人間の目の感度の対数特性に合わせて、また人間の目が暗部での明るさの変化に敏感であることに適合するように暗部での階調精度を維持し、人間の目が明部での明るさの変化に鈍感であることに適合するように明部での階調精度を甘くする。具体的には、ＡＤ変換の初期において参照電位RAMPの傾きを小さくすることで係数を大きく設定（高ゲインにする）し、ＡＤ変換が進むに従って、参照電位RAMPの傾きを大きくするのがよい。人間の視覚特性に合わせて高輝度の範囲を圧縮した特性であるニー特性を実現する。

このような変化特性を与えるには、短時間蓄積感度曲線には、ゲイン成分を持たせつつ、高輝度側でガンマ補正を施す、すなわち人間の視覚特性に合わせて高輝度の範囲を圧縮した特性であるニー特性を実現するのがよい。

このように、傾きを漸次変化させるようにすれば、異なる蓄積時間の合成によりワイドダイナミックレンジを実現するだけに留まらず、感度特性にガンマ補正を施し、より自然な信号変化特性を実現することができる。異なる蓄積時間の間の感度差を自然に繋ぐことができ、より自然な画像を合成することができるようになる。

なお、この第５実施形態の説明では、一例として、画像出力２は画像出力１の４倍の高速としたが、このスピードは任意に変えることが可能であり、たとえば、外部のシステムにより、画像全体の明るさを検知して適宜第２垂直走査回路１４ｂによる垂直走査のスピードを変え、画像出力２の系統が最適な画像となるように調整、制御することも可能である。

また、この第５実施形態の説明では、第２実施形態を元にした変形例として説明したが、たとえば垂直信号線１９に画像出力２のためのカラム処理部２６０ｂ、第２水平信号線１８ｂ、第２水平走査回路（水平スキャナ）１２ｂを付加すれば、他の実施形態に基づいた変形例を構成することもできる。また、第５実施形態では、ＩＤ検出機能を省いた構成で説明したが、第２実施形態が備えるＩＤ検出用の演算処理部２７を保持したままで、画像出力２用のカラム処理部２６０ｂを付加することも可能である。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、通常画像用の画素信号を処理するカラム処理部２６と、通常画像性処理とは異なる演算処理を行なう演算処理部２７とを独立に設けるとともに、それぞれに関して垂直走査する垂直走査回路１４ａ，１４ｂや水平走査する第１水平走査回路１２ａ，１２ｂ（纏めてイメージセンサを駆動制御する駆動制御部）も独立に設ける構成を備えていればよく、この限りにおいて、様々なアプリケーションを考えることができる。以下に、その一例を列記する。

（応用例１）演算処理部２７側では、三角法とスリット光の検出方法を適用する光切断法のシステムを用いて３次元計測を行なうようにすれば、距離情報に基づいて、画像の中から、ある特定の距離範囲にある画像を抜き出す（抽出する）制御を行なうことができる。これにより、たとえば、センサから手前にある物体の画像のみを切り抜き、背景の画像部分を消去する。この機能により、携帯電話、携帯端末（ＰＤＡ）、ＴＶ電話、ＴＶ会議などにおける画像通信において、手前の会話を行なっている人物や、会話対象となる人物のみを抜き出すことが可能となる。これは、会話対象人物のいる場所などの情報を削除することにより、プライベート事項の秘匿などの機能として用いることができる。また、伝送する画像を切り抜いた画像のみに限定すれば、伝送画像情報の情報量削減の機能としても使用可能である。

また、削除した背景の代わりに他の背景を用いる、すなわちある特定の距離範囲にある画像を他の画像に置き換える処理を行なうことも可能である。つまり、背景として、別途取得しておいた風景画などを用いることにより、背景を個人の好みに入れ代えて使用することが可能である。このとき、切り出し物体と背景の距離情報を利用すれば、画像の重ね合わせを容易に行なうことができる。また、特定の画像の抽出処理は、画像認識、物体認識の処理の前処理として用いることが可能である。たとえば、通常、顔認識の処理においては、顔部分の認識走査を行なう前段階の処理として、背景から顔部分の画像を抜き出す走査が必要となる。一般にこれは画像情報のみを用いて行なうため、処理時間がかかるなど容易ではなかったが、上記システムを用いることにより、顔部分の切り出し処理などは容易に行なうことが可能である。

（応用例２）光切断法のシステムを２つ用いて、距離情報に応じて２つの画像を合成することができる。つまり、２つの画像において常に手前にある画像を表示するなどの制御を行なうようにする。これは、たとえば、仮想空間のシミュレーションとして、ある部屋のテーブルに他の場所に配置された置物を仮想的に画面上で配置することが可能となる。または、人物がある部屋の中を仮想的に移動し、物の影に隠れたりするなどの映像をリアルタイムに取得することが可能である。これらは、インテリアの配置シミュレーション、またインタラクション（相互対戦型）ゲームなどに使用することが可能である。

また、画面上のキーボード、各種ボタンなどと、手作業で作成した映像を反映させることにより、ユーザインタフェースを構築することが可能である。また、アプリケーションによっては、手前にある画像のみを表示するのではなく、後ろにある画像を表示するなどの走査も可能であり、本来見えないものを見えるようにするなどの走査も可能となる。また、システムを２台に限らず、３台以上でも画像の合成は可能であり、リアルタイムでの合成処理だけでなく、記録しておいた複数の画像を用いての制御や、記録画像とリアルタイムに取得した画像との合成などのバリエーションが可能である。

（応用例３）光切断法のシステムを用いて、画像情報と距離情報を様々な機器、ロボットの走査フィードバック制御に利用することができる。たとえば、遠隔医療などのリモートコントロール走査において、画像の距離情報に応じた機器の自動制御が可能である。または、映像に映っている物体に何らかの機器走査を施すとき、物体に機器が接触しないよう、その機器の走査可能空間を制限するなどの処置を施すことが可能である。また、自律型ロボットなどに搭載させ、ロボットが部屋の家具の配置情報などを検知、記憶することにより、ロボットが部屋の環境情報のマップを作成することが可能となる。これはロボットが部屋の中を移動、作業を行なう上での基礎データ情報として利用することができる。

（応用例４）光切断法のシステムを用いて、物体の距離情報を時間軸において解析することで、物体の動き認識、ジェスチャー認識を行なうことができる。光切断法のシステムを用いると、リアルタイムに３次元距離情報が取得可能であるので、物体の位置変化を時間軸方向に解析し、その動きの特徴を解析することにより、人の動きパターン（ジェスチャー）の認識が可能となる。これを利用すると、たとえば、ジェスチャーによるユーザインタフェースの技術などが可能となる。これらは、パーソナルコンピュータ、ゲーム、ロボット、各種ＡＶ（Audio-Visual）、ＩＴ（Information Technology）機器などのユーザインタフェースとして利用可能である。また、このジェスチャー認識は、通常画像からの取得情報と組み合わせて、より認識対象、認識効果を高めることも可能である。

（応用例５）自然の凹凸情報を物体認識、または人物認知、セキュリティー用途として利用することができる。たとえば、人物認証を行なうセキュリティ用途として、人の顔形状情報を事前に認識登録しておき、その後、不特定の人物が来たときに、その人物の顔の凹凸情報と、事前登録してある人物の凹凸情報を照合し、一致するか否かにより人物の特定を行なう。このとき、光切断法のシステムを用いたセンサシステムにおいては、通常画像の取得も同時に可能であるので、応用例１のように、画像認識による人物認証と組み合わせて使用することが可能である。また、これは、顔に限らず、身体の様々な部分での認証を行なうことが可能である。

また、光切断法のシステムを用いたセンサシステムは、応用例４で示したような、時間軸方向への解析による、動き検出、ジェスチャー認識も可能となる。よって、このジェスチャーを個人認証として利用することも可能である。また、このような、凹凸による認証は、人物のみでなく、通常の物体の認識に用いることも可能である。また、上記のように、被写体の各部の凹凸情報を正確に認識、認証のデータとして用いるのではなく、凹凸の特徴、たとえば、テクスチャ（質感）の特徴として解析し、認識、認証のデータとして用いることも可能である。

（応用例６）光切断法のシステムを自動車の後方確認、車外確認に利用することができる。たとえば、後方確認の場合では、センサによる通常画像を見ながら運転走査を行ない、システムはそれと同時に後方障害物の距離を計測し、障害物まで一定の距離に近づけば警告を発する。また、一般道路などに、凹凸による標識を設定し、これを個別の車に搭載したセンサシステムにて読みとることにより、自動車の自動制御フィードバックなどに応用することが可能である。たとえば、道路の側部に凹凸の標識を設定し、自動車はこれを読み取りながら進行し、自動車が道路より外れそうになったら、警告を発するなどのシステムを構築することができる。

（応用例７）光切断法のシステムを自動車の車内において利用することができる。たとえば、３次元計測機能を利用して、座席に座っている人の有無、座っている人の年齢などの判別を行なう。この検出結果はシートベルトの装着警告、エアバッグの動作レベルの調整などにフィードバックすることができる。また、応用例２のようなジェスチャー認識機能を用い、運転者が車内の搭載機器をボタンなどに触れることなく、身振り、手振りで走査ができるようにすることもできる。

（応用例８）光切断法のシステムをリアルタイム３次元モデリングに使用することができる。光切断法のシステムを用いたシステムは、通常画像の取得と３次元計測がほぼ同時に可能であるので、物体の３次元モデリングと、画像の切り貼りによるテクスチャマッピングが可能である。またこれらは、リアルタイムで可能となる。

（応用例９）光切断法のシステムをＭＰＥＧ（Moving Picture Experts Group）４のオブジェクト切出処理に利用することができる。

（応用例１０）ネットワークで接続された複数の受信機が、空間的位置が分かっている場所に設置した場合、ステレオ・マッチングを行なうことで２台以上の受信機に撮像された送信機の空間的位置を計算することができる。ステレオ処理を行なう場合、複数の受信機で時間的な同期を取る必要がある。送信機から送信されたＩＤ情報などの点滅パターン（光ビーコン）を、時間とともにインクリメンタルに変化させることで、送信データ中のタイムコードを含ませることができる。同じＩＤ情報をデコードした瞬間は同じ時間であることが言える。これに複数の受信機間で容易に同期を取ることができる。

（応用例１１）上述した実施形態では、画素部１０の後段にそれぞれ独立した駆動制御によって出力された画素信号に基づいてそれぞれ異なる信号処理を行なう機能部を設けていたが、各信号処理を行なう機能部は、同一の信号処理を行なうものであってもよい。この場合、各信号処理を行なう機能部から同一の信号処理結果が出力される。たとえば、一方の信号処理を行なう機能部のドライブ能力が不足する場合に、そのドライブ不足を補うように、他方の信号処理を行なう機能部の出力を利用することができる。

本発明に係る半導体装置の一実施形態であるＣＭＯＳ固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。 画素部における有効画像領域と、光学的黒を与える基準画素領域との関係の一例を示す図である。 図１に示した固体撮像装置における１垂直列に着目したカラム処理部や演算処理部の具体的な構成例の第１実施形態を示す図である。 図３に示した第１実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。 第１垂直走査回路と第２垂直走査回路とが独立した垂直走査をすることによる競合発生時の対処方法を説明するタイミングチャートである。 図３に示した第１実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能の変形例１を説明するタイミングチャートである。 図３に示した第１実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能の他の変形例２を説明するタイミングチャートである。 図１に示した固体撮像装置における１垂直列に着目したカラム処理部や演算処理部の具体的な構成例の第２実施形態を示す図である。 図８に示した第２実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。 図１に示した固体撮像装置における１垂直列に着目したカラム処理部や演算処理部の具体的な構成例の第３実施形態を示す図である。 図１０に示した第３実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。 図１に示した固体撮像装置における１垂直列に着目したカラム処理部や演算処理部の具体的な構成例の第４実施形態を示す図である。 図１２に示した第４実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能における画素信号読出しのタイミングを説明するタイミングチャートである。 図１２に示した第４実施形態の固体撮像装置における、画像取得機能とＩＤ検出機能の変形例を説明するタイミングチャートである。 固体撮像装置における１垂直列に着目したカラム処理部の具体的な構成例の第５実施形態を示す図である。 図１５に示した第５実施形態の固体撮像装置における、画像取得機能における画素信号読出しのタイミングを説明するタイミングチャートである。 ダイナミックレンジ拡大処理の処理態様を説明する図である。 非特許文献１に記載の仕組みの概要を示した図である。 特許文献２に記載の固体撮像装置の全体概要を示した平面図である。

符号の説明

１…固体撮像装置、３…単位画素、７…駆動制御部、１０…画素部、１２…水平走査回路、１２ａ…第１水平走査回路（画像取得用水平スキャナ）、１２ｂ…第２水平走査回路（ＩＤ検出用水平スキャナ）、１４…垂直走査回路、１４ａ…第１垂直走査回路（画像取得用垂直スキャナ）、１４ｂ…第２垂直走査回路（ＩＤ検出用垂直スキャナ）、１５…行制御線、１８…水平信号線、１９…垂直信号線、２０…通信・タイミング制御部、２６…カラム処理部、２７…演算処理部、２８…出力回路、１００…用途信号取得部、１２０…レンジ拡大処理部、２７２…差分演算部、２７４…アナログメモリアレイ部、２７５…バイアス回路部、２７６…コンパレータ部、２７８…データラッチ部、４００，５００…ＣＤＳ兼差分演算処理部

Claims (10)

1. 複数の垂直信号線と、
   当該垂直信号線と直交する複数の垂直制御線と、
   前記複数の垂直信号線と前記複数の垂直制御線のそれぞれに接続され、入射した光量に応じた電気信号を出力する複数の単位画素とを有する画素部と、
   前記複数の垂直制御線の一端に接続され、第１の動作モードにおいて、前記垂直制御線に制御信号を印加して、前記複数の垂直信号線に、当該制御信号が印加された垂直制御線に接続された前記複数の単位画素の検出信号を出力させる、第１の垂直走査手段と、
   前記複数の垂直制御線の他端に接続され、第２の動作モードにおいて、前記垂直制御線に制御信号を印加して、前記複数の垂直信号線に、当該制御信号が印加された垂直制御線に接続された前記複数の単位画素の検出信号を出力させる、第２の垂直走査手段と、
   前記第１の動作モードにおいて、前記第１の垂直走査手段の動作と共に前記複数の垂直信号線に出力された前記複数の単位画素の検出信号を走査する第１の水平走査手段と、
   前記第２の動作モードにおいて、前記第２の垂直走査手段の動作と共に前記複数の垂直信号線に出力された前記複数の単位画素の検出信号を走査する第２の水平走査手段と、
   前記第１の動作モードが指定されたとき、前記第１の垂直走査手段および前記第１の水平走査手段に、当該第１の動作モードの動作期間、駆動する第１の駆動信号を印加し、前記第２の動作モードが指定されたとき、前記第２の垂直走査手段および前記第２の水平走査手段に、当該第２の動作モードの動作期間、駆動する第２の駆動信号を印加する、制御手段と
   具備する、固体撮像装置。
2. 前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段の走査時間と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査時間が異なる、
   請求項１に記載の固体撮像装置。
3. 前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段の走査と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査とを同期させて行う、
   請求項１に記載の固体撮像装置。
4. 前記第１動作のモードにおける前記第１の垂直走査手段および前記第１の水平走査手段の走査時間と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査時間とを異ならせて取得した、前記第１の動作モードにおける複数の単位画素の信号と前記第２の動作モードにおける複数の単位画素の信号とを同時に取得する、
   請求項２に記載の固体撮像装置。
5. 前記第２の動作モードの動作時間が前記第１の動作モードの動作時間より短く、前記複数の単位画素が信号電荷を保持するフローティングノードを有する構成をしている場合、 前記第１の水平走査手段は、前記第１の動作モードにおいは、前記フローティングノードを初期化して前記第１の動作モードで規定される電荷蓄積期間ごとの読み出しを行う、第１の読み出し手段を有し、
   前記第１の水平走査手段は、前記第２の動作モードにおいて、前記フローティングノードを初期化することなく前記第２の動作モードで規定される電荷蓄積期間ごとの読み出しを行う、第２の読み出し手段を有する、
   請求項１〜４のいずれかに記載の固体撮像装置。
6. 前記第２の水平走査手段は、前記複数の単位画素の検出信号に対する処理済みを示す信号に対してオフセット成分を与えるバイアス処理手段を有する、
   請求項１〜４のいずれかに記載の固体撮像装置。
7. 複数の垂直信号線と、当該垂直信号線と直交する複数の垂直制御線と、前記複数の垂直信号線と前記複数の垂直制御線のそれぞれに接続され、入射した光量に応じた電気信号を出力する複数の単位画素とを有する画素部と、前記複数の垂直制御線の一端に接続され、第１の動作モードにおいて、前記垂直制御線に制御信号を印加して、前記複数の垂直信号線に、当該制御信号が印加された垂直制御線に接続された前記複数の単位画素の検出信号を出力させる第１の垂直走査手段と、前記複数の垂直制御線の他端に接続され、第２の動作モードにおいて、前記垂直制御線に制御信号を印加して、前記複数の垂直信号線に、当該制御信号が印加された垂直制御線に接続された前記複数の単位画素の検出信号を出力させる第２の垂直走査手段と、前記第１の動作モードにおいて、前記第１の垂直走査手段の動作と共に前記複数の垂直信号線に出力された前記複数の単位画素の検出信号を走査する第１の水平走査手段と、前記第２の動作モードにおいて、前記第２の垂直走査手段の動作と共に前記複数の垂直信号線に出力された前記複数の単位画素の検出信号を走査する第２の水平走査手段とを有する、固体撮像装置における信号処理方法であって、
   前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段とを独立して駆動制御して、前記第１の水平走査手段から読みだされた前記複数の単位画素の検出信号と、前記第２の水平走査手段から読みだされた前記複数の単位画素の検出信号とを独立して信号処理する、
   固体撮像装置の信号処理方法。
8. 前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段のの走査時間と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査時間が異なる、
   請求項７に記載の固体撮像装置の信号処理方法。
9. 前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段のの走査と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査とを同期させて行う、
   請求項７に記載の固体撮像装置の信号処理方法。
10. 前記第１の動作モードにおける前記第１の垂直走査手段および前記第１の水平走査手段のの走査時間と、前記第２の動作モードにおける前記第２の垂直走査手段および前記第２の水平走査手段の走査時間とを異ならせて取得した、前記第１の動作モードにおける複数の単位画素の信号と前記第２の動作モードにおける複数の単位画素の信号とを同時に取得する、
    請求項８に記載の固体撮像装置の信号処理方法。

Images