JP2916620B1 - サンプリング制御機構搭載型イメージセンサ - Google Patents

Abstract

【要約】 【課題】 １画素またはブロック単位のアクセス、１画
素単位で任意の粗密制御、人間の中心窩に対応するサン
プリング等を実現し得る、高速ランダムアクセス可能な
サンプリング制御機構搭載型イメージセンサを提供す
る。 【解決手段】 アレイ状の画素回路１１より成るセンサ
部１と、同数のアレイ状のメモリ回路１２より成るメモ
リ部２と、メモリ回路１２へ読み出しパターン作成用デ
ータを書き込む第１水平シフトレジスタ９と、読み出し
信号および書き込み信号を出力する第１垂直シフトレジ
スタ８と、画素回路１１に画素値の読み出し信号および
リセット信号を同期して出力する第２垂直シフトレジス
タ７と、メモリ回路１２のデータに基づいて選択された
画素値を出力するための第２水平シフトレジスタ３と、
全画素値を出力するための第３水平シフトレジスタ４
と、両者の一方から前記データに基づき画素値を読み出
すスイッチ部６とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばロボットビ
ジョンシステムの開発を目的とする分野や、画像計測の
分野等において利用することができる、センサ上にサン
プリング制御機能を統合したサンプリング制御機構搭載
型イメージセンサに関するものである。

【０００２】

【従来の技術】センサ上に信号処理機能を統合したイメ
ージセンサに関する従来技術としては、例えば、ランダ
ムアクセス機構搭載型イメージセンサ、スキップアクセ
ス機構またはブロックアクセス機構搭載型イメージセン
サ、極座標型サンプリングイメージセンサがある。

【０００３】ランダムアクセス機構搭載型イメージセン
サは、図８の概略図に示すように、イメージングセルア
レー５１と、行デコーダ５２と、列デコーダ５３と、コ
ラムセレクタ５４と、出力部５５とから成る。このイメ
ージセンサでは、イメージングセルアレー５１上の画素
の座標をアレーの外部から行および列で指定入力し、行
デコーダ５２からの指定入力値ｒおよび列デコーダ５３
からの指定入力値ｃを座標に変換することにより、指定
座標の画素値を読み出すことができる。このイメージセ
ンサを用いるシステムにおいては、１画素単位のアクセ
スが原則であり、画素の読み出しには常にアドレス情報
が必要となる。

【０００４】スキップアクセス機構またはブロックアク
セス機構搭載型イメージセンサは、基本的には行列単位
のアクセスを原則としている。このイメージセンサで
は、任意の行および列のアドレスを指定入力することに
より、指定された行および列の画素を間引くことがで
き、それにより任意のブロックの出力が可能となる。ま
た、画素アレイのサブサンプリングを行うことにより、
出力画像サイズを縮小することも可能である。しかし、
このイメージセンサでは、行列で規定されるブロックよ
りも小さい単位で出力画像を制御することができない。

【０００５】極座標型サンプリングイメージセンサは、
中心部および周辺部がそれぞれ独立したイメージセンサ
で構成されており、中心部は密に配置した画素により高
解像度で撮像し、周辺部は粗に配置した画素により解像
度を落として撮像し、それにより人間の中心窩を模倣し
たサンプリングを可能としている。しかし、画素の配置
を固定的にしているため、ビジョンシステムとの統合の
際には焦点の移動に対応させるために常にセンサ自体を
移動させなければならない。また、このイメージセンサ
は、中心窩出力のみに用途が限定される点で応用範囲が
狭い。

【０００６】

【発明が解決しようとする課題】上記ランダムアクセス
機構搭載型イメージセンサでは、任意に１画素単位の出
力が可能であるが、出力制御には常に画素アドレス情報
の入力が必要となるため、高速アクセスの実現が困難で
ある。

【０００７】上記スキップアクセス機構またはブロック
アクセス機構搭載型イメージセンサでは、任意のブロッ
ク単位の出力が可能であるが、行列のブロックよりも小
さい単位で出力画像を制御することができないため、１
画素単位で任意の粗密制御を行うことができない。

【０００８】上記極座標型サンプリングイメージセンサ
では、固定的な画素の配置によりサンプリングが固定的
になるため、ビジョンシステムにおける利用に際して柔
軟性に欠けるとともに、他の用途に関しても中心窩出力
のみに用途が限定される点で柔軟性に欠けることにな
る。

【０００９】本発明は、１画素単位のアクセスやブロッ
ク単位のアクセスを可能とするとともに、アドレス情報
を常に入力することなく１画素単位で任意の粗密制御を
実現し得るようにした、高速アクセス可能なサンプリン
グ制御機構搭載型イメージセンサを提供することによ
り、上述した問題を解決することを第１の目的とする。

【００１０】本発明は、人間の中心窩に対応するサンプ
リングが可能であり、かつビジョンシステム上に統合さ
れる場合に撮像面内で焦点の移動が可能であり、さらに
中心窩的な出力に限定されない柔軟なサンプリング制御
を行い得るようにした、サンプリング制御機構搭載型イ
メージセンサを提供することにより、上述した問題を解
決することを第２の目的とする。

【００１１】

【課題を解決するための手段】上記第１および第２の目
的のため、本発明は、センサ上にサンプリング制御機能
を統合したサンプリング制御機構搭載型イメージセンサ
であって、アレイ状に配置された多数の画素回路より成
るセンサ部と、前記画素回路の画素値の読み出しのため
の２値データを保持するためのメモリ回路であって、前
記画素回路と同数のアレイ状に配置されたメモリ回路よ
り成るメモリ部と、サンプル選択信号に応じて前記メモ
リ回路へ読み出しパターン作成用の２値データを書き込
む第１水平シフトレジスタと、前記メモリ回路に保持さ
れた２値データの読み出し信号および書き込み信号を出
力する第１垂直シフトレジスタと、前記第１垂直シフト
レジスタと同期駆動され、前記画素回路に画素値の読み
出し信号およびリセット信号を出力する第２垂直シフト
レジスタと、前記メモリ回路に保持された２値データに
基づいて選択された画素値を出力するための第２水平シ
フトレジスタと、全画素値を出力するための第３水平シ
フトレジスタと、前記メモリ回路に保持された２値デー
タに基づいて前記第２および第３水平シフトレジスタの
何れか一方から画素値を読み出す制御を行うスイッチ部
とを具備して成ることを特徴とするものである。

【００１２】上記において、前記メモリ回路は、３個の
ＮＭＯＳスイッチと、電気エネルギー蓄積素子と、イン
バータとから成るようにするのが、上記第１および第２
の目的を達成するサンプリング制御機構搭載型イメージ
センサのメモリ部を構成する上で好ましい。

【００１３】

【作用】本発明によれば、センサ部のアレイ状に配置さ
れた多数の画素回路の画素値の読み出しのための、２値
データを保持するためのメモリ回路であって、前記画素
回路と同数のアレイ状に配置されたメモリ回路より成る
メモリ部には、第１水平シフトレジスタによりサンプル
選択信号に応じて読み出しパターン作成用の２値データ
が書き込まれており、第２垂直シフトレジスタからの読
み出し信号により前記画素回路から画素値を読み出す際
には、前記第２垂直シフトレジスタと同期駆動される第
１垂直シフトレジスタからの読み出し信号により前記メ
モリ回路に保持された２値データが読み出される。スイ
ッチ部は、この２値データに基づいて、選択された画素
値を出力するための第２水平シフトレジスタおよび全画
素値を出力するための第３水平シフトレジスタの何れか
一方から画素値を読み出す制御を行う。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づき詳細に説明する。図１は本発明の第１実施形態
のサンプリング制御機構搭載型イメージセンサの全体構
成を示す図である。本実施形態のサンプリング制御機構
搭載型イメージセンサ（以下、単にイメージセンサとい
う）は、センサ部１、メモリ部２、スマート水平シフト
レジスタ（第２水平シフトレジスタ）３、ノーマル水平
シフトレジスタ（第３水平シフトレジスタ）４、レジス
タ選択部５、スイッチ部６、第２垂直シフトレジスタ
７、第１垂直シフトレジスタ８、下段水平シフトレジス
タ（第１水平シフトレジスタ）９、スイッチ部１０を具
備して成る。上記センサ部１およびメモリ部２はそれぞ
れ同数の画素回路１１およびメモリ回路１２より成ると
ともに、アレイ状に構成されている。センサ部１および
メモリ部２は互いに独立しており、１つの画素回路１１
に１つのメモリ回路１２が対応している。

【００１５】上記センサ部１は、アレイ状に配置された
多数の画素回路１１より成る。この画素回路１１は、図
２の詳細図に示すように、ＰＭＯＳトランジスタ２０、
ＰＮ接合のフォトダイオード２１および２つのＮＭＯＳ
トランジスタ２２，２３の直列回路から成る。

【００１６】この画素回路１１では、フォトダイオード
２１により光電変換を行うとともに、蓄積電荷の増幅お
よび非破壊読み出しを行う。すなわち、蓄積開始時にＰ
ＭＯＳトランジスタ２０にリセット信号Ｖｒｓｔが加え
られると、ＰＮ接合の逆バイアス容量が充電され、フォ
トダイオードの電圧値が５Ｖになる。その後、入射光に
応じて電荷が徐々に放電されて、フォトダイオード２１
の電圧値が減少する。なお、画素値の読み出しはＮＭＯ
Ｓスイッチであるトランジスタ２３に第２垂直シフトレ
ジスタ７からの読み出し信号Ｖｒｏｗを入力することに
より実行する。

【００１７】上記メモリ部２は、アレイ状に配置された
多数のメモリ回路１２より成る。このメモリ回路１２
は、図３の詳細図に示すように、ＮＭＯＳスイッチ２
５、ＮＭＯＳスイッチ２６、キャパシタンス（電気エネ
ルギー蓄積素子）Ｃ、インバータ２８およびＮＭＯＳス
イッチ２７の直列回路から成る。

【００１８】このメモリ回路１２では、第１垂直シフト
レジスタ８から出力される信号がメモリ値の読み出し信
号Ｖｒおよび書き込み信号Ｖｗになり、メモリ書き込み
専用の下段水平シフトレジスタ９から出力される信号が
メモリ回路１２の横方向の選択信号Ｖｓになる。このメ
モリ回路１２への書き込みは、スイッチ部１０が、Ｓモ
ード信号Ｓｍｏｄｅを入力された場合に下段水平シフト
レジスタ９からのサンプル選択信号をメモリ回路１２へ
入力する制御を行うことにより実行する。

【００１９】上記メモリ回路１２のメモリ値は２値であ
り、このメモリ値により画素値の読み出しパターンが生
成されることになる。このメモリ回路１２では、読み出
しスイッチであるＮＭＯＳスイッチ２７の前段にインバ
ータ２８を配置することにより、読み出し時のメモリ値
の減衰を防止するようにしている。なお、上記メモリ回
路１２を構成するメモリには、トランジスタによるＤＲ
ＡＭやＳＲＡＭの技術を用いることも可能である。

【００２０】本実施形態のイメージセンサでは、上記メ
モリ回路１２のメモリ値によって生成される読み出しパ
ターンに基づいて読み出す画素値の選択を行うが、この
画素値の選択では、メモリ回路１２からの出力を図４に
示すようにスイッチ部６の制御信号として利用し、メモ
リ値が１の場合のみ現実の画素値が選択されるようにす
る。この場合、選択されない画素値については、ノーマ
ルモード用のシフトレジスタであるノーマル水平シフト
レジスタ４ではブランクになってしまうので、入射光に
よって放電していない状態のフォトダイオード値（５
Ｖ）を出力するものとする。

【００２１】また、センサ部１の画素回路１１の出力は
ＮＭＯＳバッファの上段（図２の２２）だけを介してい
るので、画素値はフローティング状態にある。よって、
選択された画素値についてはＮＭＯＳバッファの下段
（図４の２９）を介することとし、さらにＰＭＯＳバッ
ファ３０を介して直流分をあげることとした。これは最
終的にＰＭＯＳを介して電流出力を行うためである。

【００２２】上記スマート水平シフトレジスタ３および
ノーマル水平シフトレジスタ４は画素値の読み出しに利
用されるものであり、図５の詳細図に示すように構成さ
れている。上記ノーマル水平シフトレジスタ４は、画素
値を選択の有無に関係なくすべて出力することができ
る。一方、上記スマート水平シフトレジスタ３は、スマ
ートスキャニングモードで使用するものであり、メモリ
回路１２のメモリ値に基づいて選択された画素値のみを
出力することができる。

【００２３】上記２つの水平シフトレジスタの選択は、
外部からモード信号ｍｏｄｅを入力されたレジスタ選択
部５が、選択信号を上記スイッチ部６に入力することに
よって制御する。このモード信号ｍｏｄｅは２値の信号
であり、モード信号の値が０であればノーマル水平シフ
トレジスタ４が選択され、１であればスマート水平シフ
トレジスタ３が選択される。このスマート水平シフトレ
ジスタ３では読み飛ばすための制御信号が必要となる
が、この制御信号としてメモリ回路１２で保持している
信号を利用する。よって、メモリ回路１２のメモリ値が
１のときは画素値が選択されることとなり、０のときは
画素値が読み飛ばされることとなる。

【００２４】上記第２垂直シフトレジスタ７および第２
垂直シフトレジスタ８は、画素値およびメモリ値の読み
出しを制御するものであり、図６の詳細図に示すように
構成されている。これら垂直シフトレジスタ７，８はそ
れぞれ、センサ部１およびメモリ部２のアレイに対し１
つずつ配置され、同一の制御信号によって同期駆動され
る。

【００２５】ここで、センサ部１に対して配置された垂
直シフトレジスタ７からは、画素値の読み出し信号Ｖｒ
ｏｗおよび画素回路１１のフォトダイオードのリセット
信号Ｖｒｓｔが出力される。このリセット信号Ｖｒｓｔ
は、１つ前の行の画素回路１１に入力されるので、次に
読み出されるまでの１フレーム分が蓄積時間となる。一
方、メモリ部２に対して設置された垂直シフトレジスタ
８からは、メモリ値の読み出し信号Ｖｗおよび書き込み
信号Ｖｒが出力される。これらの信号は独立しているた
め、書き込みを停止して読み出しのみ継続することもで
きる。そのための制御信号である書き込みモード信号ｗ
ｒｍｏｄｅを２値で入力し、当該モード信号が１のとき
書き込みが行われるようにする。

【００２６】上記下段水平シフトレジスタ９は、上記読
み出しパターンを作成するためにメモリ部２に書き込む
信号Ｖｓを出力するものであり、図７の詳細図に示すよ
うに構成されている。このメモリ部２への書き込みは、
外部からＳモード信号Ｓｍｏｄｅを入力されたスイッチ
部１０が、下段水平シフトレジスタ９からのサンプル選
択信号をメモリ部２のメモリ回路１２へ入力することに
より行う。すなわち、当該サンプル選択信号が１のとき
は下段水平シフトレジスタ９からの出力信号Ｖｓがメモ
リ回路１２に転送され、メモリ回路１２は値として１の
情報を有することになる。一方、当該サンプル選択信号
が０のときは、スイッチ部１０内に設けたＮＭＯＳスイ
ッチ３１を利用してリセットを掛けるようにしているた
め、メモリ回路毎にリセット回路を設ける必要がない。

【００２７】さらに、本実施形態では、メモリ部２に書
き込まれた情報をフラグ情報として下段水平シフトレジ
スタ９から出力し得るようにしており、このフラグ情報
は、選択された画素のみを出力する場合の画素出力の再
構成のためのアドレス情報として用いることができる。

【００２８】次に、本実施形態のイメージセンサの作用
を説明する。本実施形態のイメージセンサのメモリ回路
１２に画素選択のためのサンプル選択信号が入力される
と、そのときのデータがメモリ回路１２に２値データと
して保持される。このメモリ回路１２のメモリ値は垂直
シフトレジスタ８からの読み出し信号Ｖｒによって読み
出され、このメモリ値はセンサ部１の画素回路１１で同
様にして読み出された画素値に適用される。したがっ
て、メモリ値が１のときは画素値が選択され、０のとき
は画素値が選択されないことになる。このようにして選
択された画素値はスイッチ部６を介して１行毎に出力さ
れる。

【００２９】上記画素値の出力においては、メモリ回路
１２に記録されたデータはそのまま保持することができ
るので、読み出しパターンを変更する必要が生じない限
り、サンプル選択信号を入力せずに画素値の読み出しを
行うことができる。

【００３０】ところで、上記メモリ回路１２は画素回路
１１のそれぞれに対応した数（つまり同数）だけ設けて
あるので、上記メモリ回路１２のデータを自由に書き換
えて任意のサンプリングパターンでの出力を得ることも
可能である。例えば、列単位のサンプリングを行い、読
み飛ばしシフトレジスタであるスマート水平シフトレジ
スタ３を利用することにより、出力画像のサイズを任意
の大きさに縮小することができる。また、任意のブロッ
クの画素値のみを必要とする場合には、そのブロックに
該当するメモリ回路１２のみに選択データを書き込んで
おけばよく、その場合、選択データを書き込まない部分
が読み飛ばされて当該ブロックのみを出力することがで
きる。さらに、中心部分についてはすべての画素値を選
択し、他の部分はサブサンプリングを放射状に行うよう
にすれば、網膜を模倣した出力を得ることもできる。

【００３１】

【発明の効果】以上説明したように本発明によれば、セ
ンサ部の多数の画素回路の画素値の読み出しのための２
値データを保持するための、前記画素回路と同数のメモ
リ回路によりメモリ部を構成したことにより、従来のラ
ンダムアクセス機構搭載型イメージセンサのように読み
出す画素毎にその座標を指定する必要がなくなり、スマ
ートスキャニングモード用の水平シフトレジスタ（第２
水平シフトレジスタ）を用いた画素値の高速読み出しが
可能となる。また、上記メモリ部の各メモリ回路は書き
換えが自由なので、適宜読み出しパターンを変化させる
ことができる。これにより、ブロックアクセス、スキッ
プアクセス、ランダムアクセスは勿論のこと、従来の当
該機能を搭載したイメージセンサでは実現できなかった
１画素単位の任意の粗密制御が可能となる。

【００３２】さらに、従来の人間の中心視に対応した出
力が可能なイメージセンサは限定的な使用しかできなか
ったのに対し、本発明のイメージセンサは柔軟な読み出
しが可能であるので、上記を含む多岐にわたる応用が考
えられる。また、中心視に相当する部分をセンサ内で自
由に移動させることができるので、アクティブビジョン
システムとの統合の際にはセンサ内での中心視の移動が
可能となり、センサ自体の移動範囲を狭くすることが可
能となる。

【００３３】また、読み出しパターンの生成時の制御に
用いるサンプル制御信号は外部からの入力信号により制
御されるので、外部システムと統合して当該サンプル制
御信号を動的に生成することにより、撮像面内での対象
物の追尾も可能となる。さらに、イメージセンサによる
画像計測に応用した場合においても、必要な画素だけの
読み出しを行うことにより効率的な情報取得が可能とな
る。

【図面の簡単な説明】

【図１】本発明の第１実施形態のサンプリング制御機構
搭載型イメージセンサの全体構成を示す図である。

【図２】第１実施形態のセンサ部を構成する画素回路の
詳細図である。

【図３】第１実施形態のメモリ部を構成するメモリ回路
の詳細図である。

【図４】第１実施形態のスイッチ部をセンサ部およびメ
モリ部と関連して示す詳細図である。

【図５】第１実施形態の２つの水平シフトレジスタおよ
びレジスタ選択部を含む部分の詳細図である。

【図６】第１実施形態の２つの垂直シフトレジスタを含
む部分の詳細図である。

【図７】第１実施形態のデータ書き込み用の水平シフト
レジスタを含む部分の詳細図である。

【図８】従来のランダムアクセス機構搭載型イメージセ
ンサの概略図である。

【符号の説明】

１ センサ部 ２ メモリ部 ３ スマート水平シフトレジスタ（第２水平シフトレジ
スタ） ４ ノーマル水平シフトレジスタ（第３水平シフトレジ
スタ） ５ レジスタ選択部 ６，１０ スイッチ部 ７ 第２垂直シフトレジスタ ８ 第１垂直シフトレジスタ ９ 下段水平シフトレジスタ（第１水平シフトレジス
タ） １１ 画素回路 １２ メモリ回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 センサ上にサンプリング制御機能を統合
   したサンプリング制御機構搭載型イメージセンサであっ
   て、 アレイ状に配置された多数の画素回路より成るセンサ部
   と、 前記画素回路の画素値の読み出しのための２値データを
   保持するためのメモリ回路であって、前記画素回路と同
   数のアレイ状に配置されたメモリ回路より成るメモリ部
   と、 サンプル選択信号に応じて前記メモリ回路へ読み出しパ
   ターン作成用の２値データを書き込む第１水平シフトレ
   ジスタと、 前記メモリ回路に保持された２値データの読み出し信号
   および書き込み信号を出力する第１垂直シフトレジスタ
   と、 前記第１垂直シフトレジスタと同期駆動され、前記画素
   回路に画素値の読み出し信号およびリセット信号を出力
   する第２垂直シフトレジスタと、 前記メモリ回路に保持された２値データに基づいて選択
   された画素値を出力するための第２水平シフトレジスタ
   と、 全画素値を出力するための第３水平シフトレジスタと、 前記メモリ回路に保持された２値データに基づいて前記
   第２および第３水平シフトレジスタの何れか一方から画
   素値を読み出す制御を行うスイッチ部とを具備して成る
   ことを特徴とするサンプリング制御機構搭載型イメージ
   センサ。
2. 【請求項２】 前記メモリ回路は、３個のＮＭＯＳスイ
   ッチと、電気エネルギー蓄積素子と、インバータとから
   成ることを特徴とする請求項１記載のサンプリング制御
   機構搭載型イメージセンサ。