JP4554963B2 - 視差センサ及び視差画像の生成方法 - Google Patents

Description

本発明は、ステレオ画像から視差画像を生成する視差画像の生成技術に関し、特に、高速で、回路規模が小さく、かつ低消費電力で実現可能な視差画像の生成技術に関する。

物体との距離や物体の速度を高速で検知する技術としては、アクティブ方式とパッシブ方式との二種類に大別される。アクティブ方式とは、指向性の高いレーザー光や電波等を物体にビーム照射し、その反射信号の時間遅れを観測することにより物体までの距離又は物体の移動速度を測定する方式である。パッシブ方式とは、物体から入射される電磁波情報等の観測値に基づいて物体までの距離又は物体の移動速度を測定する方式である。

アクティブ方式としては、光レーダー法、アクティブ・ステレオ法、照度差ステレオ法、モアレ法、干渉法などが挙げられる。航空機や船舶等には、アクティブ方式の代表例であるレーダーが備えられており、自分と自分の周囲の対象物との距離をモニターすることができる。これにより、安全な航行を可能としている。また、近年では自動車にもミリ波レーダーが搭載されるようになってきている。これにより、車間距離をモニターして、衝突の防止を図っている。このように、現在、高速な距離や速度等の検知においては、アクティブ方式のレーダーが使用されている。

しかしながら、アクティブ方式のレーダーは、検出物体によっては乱反射を生じ、信号干渉により正確な距離や速度等の検知に支障を来すことがある。

これに対して、パッシブ方式は、検出波の照射を行わないため、アクティブ方式における信号干渉の問題が回避できるというメリットがある。パッシブ方式としては、レンズ焦点法、単眼視、ステレオ法、動画像等がある。このうち、代表的な方法であるステレオ法では、三角測量の原理を応用し、撮像素子を用いて、物体を異なる角度で撮像して得られた二つの視差画像から、物体までの距離又は物体の移動速度を測定する。

ステレオ法のおける最も重要な処理は、撮像された二つの画像内において、一方の画像内の各点が他方の画像内のどの点に対応するかを探索する対応点決定処理である。この対応点決定処理においては、撮像された二つの画像の相関を計算し、二つの撮像素子間の視差を抽出する処理が必要とされる。

図１６は二眼視差による距離検出の原理を説明する図である。左眼に対応する撮像素子と右眼に対応する撮像素子を一定の距離を離して設置する。ここで、左眼に対応する撮像素子で撮像される画像（以下、「左眼画像」という。）を｛a^(L) _i,j｜i=1,2,…,n, j=1,2,…,m｝と記す。右眼に対応する撮像素子で撮像される画像（以下、「右眼画像」という。）を｛a^(R) _i,j｜i=1,2,…,n, j=1,2,…,m｝と記す。

左右の撮像素子により同じ対象物を撮像すると、左右の撮像素子から対象物までの距離に応じて、撮像された画像における物体の位置がずれる。従って、今、撮像された左眼画像と右眼画像の水平方向の相関のみを考える場合、すべての（a^(L) _i,k, a^(R) _j,k）の組の間で相関をとれば、もっとも大きな相関がある組により表される座標により、各々の対象物の距離が検知できる。

図１６（ａ）において、Ａ，Ｂ，Ｃの三つの○が対象物を示している。これらの対象物を左右の撮像素子で撮像して左眼画像と右眼画像の相関マトリックスを作った場合、図１６（ｂ）のようになる。図１６（ｂ）では、左眼画像の画素１〜ｎの線と右眼画像の画素１〜ｎの線との交点の位置において相関機能があるとしている。図１６（ａ）の対象物Ａ，Ｂ，Ｃに対して図１６（ｂ）に示したＡ，Ｂ，Ｃの三つの○の位置で大きな相関が検出される。従って、相関マトリックス上で相関の大きい座標を検出し、この座標を図１６（ａ）の斜交座標に座標変換すれば、対象物までの距離を検出することが可能である。なお、図１６（ａ）に示した斜交座標は、左右の撮像素子の位置とそれらの相対角度によって決定することが出きる。従って、相関マトリックスからこの斜交座標への座標変換は、予め換算表を用意しておけば、換算表を参照することによって容易に変換できる。

しかしながら、上述のステレオ法による距離検出において、撮像された左右二つの画像の視差画像演算処理には大規模な計算が必要とされる。従来、この視差画像処理を行う視差画像演算回路としては、特許文献１及び非特許文献１〜３に記載のものが公知である。
特開平９−２７４１３３号公報 特開２００２−２２２９４４号公報 特願２００３−２０６５１号明細書 特願２００３−９３６４４号明細書 T. Kato, S. Kawahito, K. Kobayashi, H. Sasaki, T. Eki, T. Hisanaga, "A Binocular CMOS Range Image Sensor with Bit-Serial Block-Parallel Interface Using Cyclie Pipelined ADC’s", Symposium on VLSI Circuits, Digest of Technical Papers, pp.270-271, June 2002. Y. Kondo, T. Miyamori, T, Kitazawa, et al, "A 4GOPS 3Way-VLIW Image Recognition Processor Based on a Configurable Media-processor", IEEE, International Solid-State Circuits Conference Digest of Technical Papers, pp.148-149, Feb. 2001. S.Kyo, T.Koga, S.Okazaki, R.Uchida, S.Yoshimoto, I.Kuroda, "A 51.2GOPS Scalable Video Recognition Processor for Intelligent Cruise Control Based on a Linear Array of 128 4-way VLIW Processing Elements", IEEE International Solid-State Circuits Conference Digest of Technical Papers, pp.48-49, Feb. 2003. 田辺淳, 谷口恭弘, 宮森高, 宮本幸昌, 前田賢一, 松井正貴, 「コンフィグラブルプロセッサによる車載用画像認識LSI」, 電子情報通信学会技術研究報告, 信学技報Vol.103, No.509, pp.17-22, 2003年12月. 有馬裕, 浅野種正, 「利得係数可変MOSトランジスター An Adjustable βＭＯＳトランジスタ (A-MOS)」, 第５回システムLSIワークショップ, ポスター発表, 電子情報通信学会集積回路研究専門委員会, pp.271-274, 2001年11月27日. Yutaka ARIMA, Naoki NAKANOSE and Tanemasa ASANO, "A Logic Threshold Voltage Conversion Circuitry with Variable Channel-Size MOSEFT", The Transactions of The IEICE, Vol.J86-C, No.8, pp.894-901, August 2003. N.NAKANOSE, Y.ARIMA, T.ASANO, Y.KOSASAYAMA, M.UENO and M.KIMATA, "A Variable Channel-Size MOSFET with LDD Structure", International Conference on Solid State Device and Materials, pp.424-425, Sep.2003. 有馬裕, アフィザ アブ バカル, 中ノ瀬 直樹, 浅野種正, 「チャネル・サイズ可変調MOSFETによる論理しきい値変換回路」, 電子情報通信学会技術研究報告, Vol.103, No.510, ICD2003-191, pp.1-6, 2003年12月.

ところで、車間距離モニターのように、高速移動に対応できる画像相関処理を行うためには、極めて高速な処理が必要とされる。しかしながら、上記従来の視差画像演算処理技術においては、高速移動に対応できるような高速な視差画像演算処理は達成されていない。

また、特許文献１記載の視差画像演算回路は、相関処理を１画素ずつシフトさせながらシリアルに実行するため、高速化には限界がある。一方、これを並列化しようとすると、回路規模や消費電力が非常に大きくなり実際的ではない。

そこで、本発明の目的は、小規模な回路により、高速移動に対応できる程度に高速に視差画像演算処理を行うことが可能な視差センサ及び視差画像の生成方法を提供することにある。

本発明の視差センサの第１の構成は、撮像対象を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、前記第１の撮像素子とは異なる角度から前記撮像対象を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、すべての前記各電圧・パルス幅変換回路が同時並列的に画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、を備えていることを特徴とする。

この構成によれば、第１の撮像素子で撮像された第１画像の各画素信号と、第２の撮像素子で撮像された第２画像の各画素信号は、電圧・パルス幅変換回路において、並列に、同じタイミングで発生するパルス幅画素信号に変換される。このパルス幅画素信号は、電圧軸においては論理レベルを有するとともに、時間軸においてはアナログ値である画素信号の電圧値が写像された信号である。そのため、電圧軸において論理演算が可能である。また、電圧軸において論理演算を行った場合、時間軸において画素値の演算を行うことができる。そこで、第１画像の各パルス幅画素信号と第２画像の各パルス幅画素信号の相関値の演算を行う際に、相関検知回路では、電圧軸においてパルス幅画素信号の排他論理和演算を行う。すなわち、２つのパルス幅画素信号が重複しない（相関のない）部分のみからなるパルスを作り、このパルス幅により２つの画素の相関値を求める。さらに、時間軸上のパルス幅では回路上では扱いにくいので、このパルスの全パルス長に比例する電圧値の信号に写像し、この信号を相関信号として出力する。これにより、相関信号として２つの画素値の差分に比例した電圧信号又は電流信号が出力される。

このように、アナログ電圧信号である画素信号を、一旦パルス幅信号の時間軸に写像し、パルス幅信号の電圧軸上における論理演算で時間軸上の差分演算を行い、これを再びアナログ電圧（又は電流）信号に戻して相関信号とする。これにより、小規模な回路により高速に視差画像の演算処理を行うことが可能となる。

本発明の視差センサの第２の構成は、前記第１の構成において、前記各電圧・パルス幅変換回路は、制御ゲートに印加される利得係数制御電圧により利得係数を変調することが可能な、ｐチャネル及びｎチャネルのチャネル・サイズ可変調ＭＯＳトランジスタで構成されたＣＭＯＳ型インバータと、前記２つのチャネル・サイズ可変調ＭＯＳトランジスタの制御ゲートに共通に接続された、ランプ電圧を入力するための利得係数制御端子と、を有する論理閾値可変調インバータ回路により構成されており、前記同期制御回路は、全ての前記電圧・パルス幅変換回路の利得係数制御端子に対して同タイミングで同電圧のランプ電圧を印加するランプ信号生成回路により構成されていることを特徴とする。

この構成によれば、論理閾値可変調インバータ回路に画素信号を入力する。すなわち、ＣＭＯＳ型インバータの各チャネル・サイズ可変調ＭＯＳトランジスタのゲートに画素信号を入力する。そして、ランプ信号生成回路により、電圧・パルス幅変換回路の利得係数制御端子に対して、０レベルから時間とともに電圧が増加するランプ電圧を印加する。ランプ電圧が０レベルでは論理閾値可変調インバータ回路の出力値はＬレベルである。ランプ電圧の増加に伴って、論理閾値可変調インバータ回路の論理閾値は低下する。そして、論理閾値が画素信号の電圧値と一致したときに、論理閾値可変調インバータ回路の出力はＨレベルに反転し、パルスの出力が開始される。そして、ランプ信号生成回路は、ランプ電圧が最大レベルに達すると、再びランプ電圧を０レベルに戻す。これにより、論理閾値可変調インバータ回路の出力はＬレベルに反転し、パルス出力が停止する。

画素信号の電圧が高いほど、論理閾値可変調インバータ回路の出力は早くＨレベルに反転する。また、論理閾値可変調インバータ回路の出力がＬレベルに反転するタイミングは、画素信号の電圧に関係なく一定である。従って、論理閾値可変調インバータ回路が出力するパルスのパルス幅は、画素信号の電圧に比例したものとなる。

このように、電圧・パルス幅変換回路に論理閾値可変調インバータ回路を使用することによって、２個のチャネル・サイズ可変調ＭＯＳトランジスタのみで回路を構成することができる。また、論理閾値可変調インバータ回路はＣＭＯＳ型インバータの構成をとるため、パルスの切り替わり時以外はリーク電流を除き原理的に電力消費はない。

従って、視差センサの回路面積と消費電力を極めて小さくすることができる。また、１段のゲートで構成されるため、電圧・パルス幅変換処理を最大限に高速に行うことが可能となる。

本発明の視差センサの第３の構成は、前記第１又は２の構成において、前記相関検知回路は、相関信号を発生するための電荷を蓄電するコンデンサと、前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号の、排他論理和の真理値に従って、導通／遮断制御がされ、導通状態において前記コンデンサに蓄電された電荷を一定電流で放電させ又は前記コンデンサに一定電流で充電させる電流スイッチ回路と、を備えていることを特徴とする。

この構成によれば、例えば、初期状態でコンデンサに最大電圧を発生する電荷を蓄電する。そして、電流スイッチ回路は、例えば、第１画像の一のパルス幅画素信号と第２画像の一のパルス幅画素信号との２つのパルス幅画素信号の排他論理和の真理値が１（Ｈレベル）のときにコンデンサに蓄電された電荷を一定電流で放電させる。排他論理和の真理値が０（Ｌレベル）のときには、電流スイッチ回路は遮断状態となる。これにより、コンデンサの両端の電圧を、入力パルスに対応する２つの画素値の差分値に比例（この場合は、逆比例）した電圧値に変換することができる。そして、このコンデンサの両端の電圧（又はこの電圧値をＶＩ変換した電流）が相関信号として出力される。

なお、初期状態でコンデンサの両端電圧を所定の最低電圧レベルとしておき、第１画像の一のパルス幅画素信号と第２画像の一のパルス幅画素信号との２つのパルス幅画素信号の排他論理和の真理値が０（Ｌレベル）のときにコンデンサに一定電流で充電させ、１（Ｈレベル）のときに電流スイッチ回路が遮断状態となるように構成してもよい。また、上記２つの場合において、排他論理和の真理値と電流スイッチの導通状態／遮断状態との関係を反対にしてもよい。何れの場合でも、コンデンサの両端の電圧を、入力パルスに対応する２つの画素値の差分値に比例した電圧値に変換することができる。

本発明の視差センサの第４の構成は、前記第１乃至３の何れか一の構成において、前記第１及び第２の撮像素子は、前記第１画像及び前記第２画像の水平線ごとに順次並列に画素信号を出力するものであり、前記第１の撮像素子の各画素信号の出力と一対一に対応して複数の前記電圧・パルス幅変換回路が配列された第１の電圧・パルス幅変換回路アレイと、前記第２の撮像素子の各画素信号の出力と一対一に対応して複数の前記電圧・パルス幅変換回路が配列された第２の電圧・パルス幅変換回路アレイと、第１の電圧・パルス幅変換回路アレイが出力する各画素信号に対応して設けられた複数の行線、及び第２の電圧・パルス幅変換回路アレイが出力する各画素信号に対応して設けられた複数の列線からなる格子の各格子点上に、前記相関検知回路が配列された相関検知回路マトリックスと、を備え、前記相関検知回路マトリックスの各行には前記第１の電圧・パルス幅変換回路アレイから出力されるパルス幅画素信号、各列には前記第２の電圧・パルス幅変換回路アレイから出力されるパルス幅画素信号が入力され、前記相関検知回路マトリックスの各格子点に位置する相関検知回路は、その格子点に接続する行線に入力されるパルス幅画素信号と、その格子点に接続する列線に入力されるパルス幅画素信号との排他論理和をとったパルスの全パルス幅に比例する電圧値又は電流値の相関信号を出力することを特徴とする。

この構成により、撮像された第１画像及び第２画像の２つのステレオ画像から、それぞれの水平線ごとに相関検知回路マトリックスにより２次元の視差画像を並列処理により出力することができる。これにより、高速移動にも対応できる視差画像の演算処理が可能となる。

本発明の視差センサの第５の構成は、前記第１の構成において、前記第１の電圧・パルス幅変換回路アレイから出力されるｎ個のパルス幅画素信号｛Ａ_ｉ｜ｉ＝１，２，…，ｎ｝について、隣り合う前記パルス幅画素信号Ａ_ｉ，Ａ_ｉ＋１に対し、それぞれＡ_ｉ∧ｃＡ_ｉ＋１（「∧」は積論理、「ｃＸ」はＸの否定論理を表す。）及びｃＡ_ｉ∧Ａ_ｉ＋１の２つの比較パルス信号ＯＵＴ_Ａｉ＋，ＯＵＴ_Ａｉ−を生成して出力する、第１のパルス信号比較回路アレイと、前記第２の電圧・パルス幅変換回路アレイから出力されるｎ個のパルス幅画素信号｛Ｂ_ｉ｜ｉ＝１，２，…，ｎ｝について、隣り合う前記パルス幅画素信号Ｂ_ｉ，Ｂ_ｉ＋１に対し、それぞれＢ_ｉ∧ｃＢ_ｉ＋１及びｃＢ_ｉ∧Ｂ_ｉ＋１の２つの比較パルス信号ＯＵＴ_Ｂｉ＋，ＯＵＴ_Ｂｉ−を生成して出力する、第２のパルス信号比較回路アレイと、を備え、前記相関検知回路マトリックスのｉ行目の２本一組の行線には前記第１のパルス信号比較回路アレイが出力する比較パルス信号ＯＵＴ_Ａｉ＋，ＯＵＴ_Ａｉ−、ｊ列目の２本一組の列線には前記第２のパルス信号比較回路アレイが出力する比較パルス信号ＯＵＴ_Ｂｊ＋，ＯＵＴ_Ｂｊ−が入力され、前記相関検知回路マトリックスの各格子点に位置する前記相関検知回路は、その格子点に接続する２本一組の行線に入力される比較パルス信号ＯＵＴ_Ａｉ＋，ＯＵＴ_Ａｉ−と、その格子点に接続する２本一組の列線に入力される比較パルス信号ＯＵＴ_Ｂｊ＋，ＯＵＴ_Ｂｊ−に対して、（数１）で表される論理値の差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力することを特徴とする。

この構成により、第１及び第２のパルス信号比較回路アレイにおいて、第１画像及び第２画像の水平線上の隣接する画素の差分値が比較パルス信号ＯＵＴ_Ａｉ＋，ＯＵＴ_Ａｉ−及びＯＵＴ_Ｂｉ＋，ＯＵＴ_Ｂｉ−のパルス幅として出力される。従って、各画像内の垂直方向のエッジが検出され、比較パルス信号として出力される。そして、相関検知回路マトリックスにおいて、これらの比較パルス信号の相関が演算されて相関信号として出力される。従って、ステレオ画像内に撮像されたオブジェクトを視差画像から検出することが可能となる。

本発明の視差センサの第１の構成は、第１の撮像素子で撮像対象を撮像し、アナログ電圧信号である画素信号として第１画像を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記撮像対象を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第１のステップと、前記第１及び第２の撮像素子が出力する各画素信号を、複数の電圧・パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第２のステップと、複数の相関検知回路により、前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力する第３のステップと、を有することを特徴とする。

以上のように、本発明によれば、アナログ電圧信号である画素信号を、電圧・パルス幅変換回路によって一旦パルス幅信号の時間軸に写像し、相関検知回路において、電圧軸上の論理演算で時間軸上の差分演算を行うとともに、これを再びアナログ電圧信号又は電流値に戻して相関信号とすることにより、小規模な回路により高速に視差画像の演算処理を行うことが可能となる。従って、ステレオ画像の相関演算処置を高速に実行し視差画像を出力することが可能となる。また、回路面積と消費電力をともに従来よりも小さくすることが可能となる。

また、電圧・パルス幅変換回路に論理閾値可変調インバータ回路を使用することによって、視差センサの回路面積と消費電力を更に小さくすることができる。また、論理閾値可変調インバータ回路はゲート１段で構成されるため、電圧・パルス幅変換処理を最大限に高速に行うことが可能となる。

このように、視差画像の高速な演算処理が実現されることにより、視差センサを用いて高速移動に対応できる高速な測距が可能となる。そして、パッシブ方式であるためアクティブ方式のように信号干渉の問題が生じないというメリットがある。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

〔１〕視差センサの全体構成
図１は本発明の実施例１に係る視差センサの構成を表す図である。視差センサ１は、２つの撮像素子２ａ，２ｂ、シーケンサ３、２つの電圧・パルス幅変換回路アレイ４ａ，４ｂ、２つのパルス信号比較回路アレイ５ａ，５ｂ、相関検知回路マトリックス６、及びシーケンサ７を備えている。

左右の撮像素子２ａ，２ｂは、眼の役割を担う。以下では、便宜上、撮像素子２ａの側を左眼と呼び、撮像素子２ｂの側を右眼と呼ぶ。撮像素子２ａ，２ｂは、撮像面に入射する光を電圧信号に変換して出力する。ここでは、撮像素子２ａ，２ｂとしては、ＣＣＤ受光素子のようなイメージ・センサが使用されているものとする。シーケンサ３は、撮像素子２ａ，２ｂに対してライン選択のための読出信号を出力する。

電圧・パルス幅変換回路アレイ４ａ，４ｂは、撮像素子２ａ，２ｂからライン並列に出力される各画素のアナログ電圧信号（以下、「画素信号」という。）を、並列的にパルス幅に変換し、パルス幅画素信号として出力する。パルス信号比較回路アレイ５ａ，５ｂは、並列的に入力されるパルス幅画素信号を、隣接するもの同士で比較を行い、比較パルス信号として出力する。

相関検知回路マトリックス６は、左眼側のパルス信号比較回路アレイ５ａから出力される比較パルス信号と、右眼側のパルス信号比較回路アレイ５ｂから出力される比較パルス信号とについて、すべての組み合わせに対する相関演算を行い相関信号として出力する。シーケンサ７は、相関検知回路マトリックス６の相関信号の出力タイミングを制御するための出力タイミング制御信号を、相関検知回路マトリックス６に対して出力する。相関検知回路マトリックス６は、出力タイミング制御信号に従って、相関信号を順次出力する。

図２は図１の視差センサについてより詳細な回路構成を示した図である。図２において、図１と同様の部分には同符号が付してある。

撮像素子２ａ，２ｂは、垂直方向にｍ行、水平方向にｎ行の画素の行列（画素行列）を有する。撮像素子２ａ，２ｂは、シーケンサ３によって、同じ行が選択され、その行内のｎ個の画素の画素信号が電圧・パルス幅変換回路アレイ４ａ，４ｂに並列に出力される。

電圧・パルス幅変換回路アレイ４ａ，４ｂは、それぞれ、ｎ個の電圧・パルス幅変換回路８が並列に配列された構成を有する。各電圧・パルス幅変換回路８には、それぞれ撮像素子２ａ，２ｂから出力される画素信号が入力される。電圧・パルス幅変換回路アレイ４ａ，４ｂのすべての電圧・パルス幅変換回路８には、同期制御回路１３（図３参照）から、共通のランプ電圧が入力される。これにより、すべての電圧・パルス幅変換回路８は、同タイミングで画素信号をパルス幅画素信号に変換することができる。なお、電圧・パルス幅変換回路８の詳細については、後術する。

パルス信号比較回路アレイ５ａ，５ｂは、それぞれ、ｎ−１個のパルス信号比較回路９が並列に配列された構成を有する。各パルス信号比較回路９には、隣接する２つの電圧・パルス幅変換回路８が出力するパルス幅画素信号が入力される。各パルス信号比較回路９は、入力された２つのパルス幅画素信号を比較し、２つのパルスの＋方向の差と−方向の差を各々比較パルス信号として出力する。なお、パルス信号比較回路９の詳細については、後述する。

相関検知回路マトリックス６は、（ｎ−１）×（ｎ−１）個の相関検知回路１０が、（ｎ−１）行（ｎ−１）列の菱形状に配列された構成からなる。ここでは便宜上、左眼側のパルス信号比較回路アレイ５ａから出力される比較パルス信号が入力される斜辺を左斜辺と呼び、右眼側のパルス信号比較回路アレイ５ｂから出力される比較パルス信号が入力される斜辺を右斜辺と呼ぶ。

左斜辺に沿って上からｉ番目に属する相関検知回路１０には、左眼側のパルス信号比較回路アレイ５ａ内のｉ番目のパルス信号比較回路９が出力する比較パルス信号が入力される。右斜辺と平行に配列する相関検知回路１０には、左眼側のパルス信号比較回路アレイ５ａ内のパルス信号比較回路９が出力する比較パルス信号が共通に入力される。

右斜辺に沿って上からｊ番目に属する相関検知回路１０には、右眼側のパルス信号比較回路アレイ５ｂ内のｊ番目のパルス信号比較回路９が出力する比較パルス信号が入力される。左斜辺と平行に配列する相関検知回路１０には、右眼側のパルス信号比較回路アレイ５ｂ内のパルス信号比較回路９が出力する比較パルス信号が共通に入力される。

すべての相関検知回路１０には、共通のバイアス電圧Ｖ_ｂとリセット信号Resetが与えられている。

縦方向に配列する相関検知回路１０には、列ごとに共通の読出線が接続されている。そしてこの読出線を介して、シーケンサ７から共通の読出信号Readが入力される。また、横方向に配列する相関検知回路１０には、行ごとに共通の出力線が接続されている。各相関検知回路１０は、入力される比較パルス信号のパルス幅を電流値に変換して相関信号として出力線に出力する。各出力線の終端には、カレント・ミラー回路等の電流電圧変換回路１１が接続されている。各相関検知回路１０が出力する相関信号の電流値を、電圧値に変換して外部回路に出力する。

シーケンサ７は、シフト・レジスタ１２により構成されている。左側のシフト・レジスタ１２に読出信号が入力されると、１クロックごとに読み出し信号は右側のシフト・レジスタ１２に移動していく。従って、左側の列に属する相関検知回路１０から順次相関信号が読み出されていく。

〔２〕チャネル・サイズ可変調ＭＯＳトランジスタと論理閾値可変調インバータ回路
ここで、電圧・パルス幅変換回路８の説明をする前に、電圧・パルス幅変換回路８を構成する基本素子であるチャネル・サイズ可変調ＭＯＳトランジスタと論理閾値可変調インバータ回路について補足説明をする。

（１）チャネル・サイズ可変調ＭＯＳトランジスタ
チャネル・サイズ可変調ＭＯＳトランジスタ（Variable channel Size MOS : 以下、「ＶＳ−ＭＯＳ」という。）は、制御ゲートに加える制御ゲート電圧V_cgによって、その実効的チャネル・サイズを連続的に変化させることを可能としたＭＯＳトランジスタである。実効的なチャネル・サイズが可変なＭＯＳトランジスタとしては、制御ゲートをメイン・ゲートに対して斜めに設けた構成のものが既に公知である（特許文献２，非特許文献５参照）。また、本発明者は、従来のＬＳＩ製造プロセスを一切変更することなく製造することが可能なＶＳ−ＭＯＳを以前に考案している（特許文献３，非特許文献６，７参照）。

図３はＶＳ−ＭＯＳのレイアウト構成例を示す図である。ＶＳ−ＭＯＳ２１は、ソース（Source）２２、ドレイン（Drain）２３、及びメイン・ゲート（Main Gate）２４を備えており、これらは通常のＭＯＳトランジスタと同様である。ソース２２，ドレイン２３，メイン・ゲート２４には、それぞれ、コンタクト・ホール２２ａ，２３ａ，２４ａが形成されている。

ＶＳ−ＭＯＳ２１では、更にメイン・ゲート２４の両側に、制御ゲート（Control Gate）２５，２６を備えていることを特徴とする。制御ゲート２５，２６にも、それぞれコンタクト・ホール２５ａ，２６ａが設けられている。

制御ゲート２５，２６は、ソース２２又はドレイン２３の領域を、チャネル幅方向に完全に分断するのではなく、一方の端に幅Scの隙間２５ｂ，２６ｂが形成されている。この隙間２５ｂ，２６ｂは、メイン・ゲート２４の中心に対して互いに対極の位置に形成されている。尚、隙間２５ｂ，２６ｂの位置については、特に図３のような位置に限定されるものではない。また、制御ゲート２５，２６の形状についても特に限定されるものではないが、通常は矩形でよい。

以上のようなレイアウト構成により、ＶＳ−ＭＯＳ２１は、メイン・ゲート２４の実効的チャネル・サイズを、制御ゲート２５，２６に印加される制御ゲート電圧V_cgにより変調することが可能となる。ＶＳ−ＭＯＳ２１の変調特性は、図３に示した、制御ゲート２５，２６のゲート長Lc，制御ゲートの隙間２５ｂ，２６ｂの間隔Sc，制御ゲート２５，２６とメイン・ゲート２４との間隔Sv，メイン・ゲート２４のゲート長Ｌ，及びメイン・ゲート２４のゲート幅Ｗ等のレイアウト上の形状パラメータ値により決定される。

次に、ＶＳ−ＭＯＳ２１における実効的チャネル・サイズの変調動作の原理について簡単に説明する。図４はデバイス・シミュレーションにより算出されたｎ型のＶＳ−ＭＯＳ内のポテンシャルと電流の分布を表す図である。図４（ａ）はV_cg＝V_g＝V_d＝3.0Ｖ、図４（ｂ）はV_cg＝1.0Ｖ，V_g＝V_d＝3.0Ｖ、図４（ｃ）はV_cg＝0.0Ｖ，V_g＝V_d＝3.0Ｖのバイアス電圧条件等におけるシリコン表面のポテンシャル（０．１Ｖ毎の等高線）と電流（矢印の向きと大きさ）を示している。ここで、V_gはメイン・ゲート２４に印加される電圧（以下、単に「ゲート電圧」という。）、V_dはドレイン２３に印加されるドレイン電圧である。

図４（ａ）の場合、制御ゲート２５，２６のチャネル抵抗は比較的低いので、制御ゲート２５，２６の隙間２５ｂ，２６ｂへの電流集中はあまり生じない。そして、ポテンシャルの等高線は、メイン・ゲート２４の幅方向にほぼ平行となる。その結果、電流はメイン・ゲート２４の長方向に流れ、実効的なチャネル・サイズは通常のＭＯＳトランジスタとほぼ同様である。

図４（ｂ）の場合、制御ゲート２５，２６のチャネル抵抗が隙間２５ｂ，２６ｂの部分の拡散抵抗よりも高くなる。従って、隙間２５ｂ，２６ｂの部分への電流の集中が生じる。メイン・ゲート２４と制御ゲート２５，２６間の拡散領域（幅Svの部分。以下同じ。）を流れるゲート幅方向に沿った電流によって、ゲート幅方向に電位差が生じる。その結果、ポテンシャルの等高線はメイン・ゲート２４に対してやや斜めとなる。メイン・ゲート２４の電流も、やや斜めに流れるようになる。このときの実効的チャネル・サイズは、チャネル幅がやや狭く、チャネル長がやや長く変形される。

図４（ｃ）の場合、制御ゲート２５，２６はＯＦＦ状態であり、隙間２５ｂ，２６ｂの部分への電流集中は最大となる。拡散領域部やメイン・ゲート２４の部分のゲート幅方向の電位差も最大となる。その結果、ポテンシャルの等高線はメイン・ゲート２４に対して更に斜めとなる。そして、メイン・ゲート２４の中央部の電流は最も斜めに流れるようになる。従って、実効的チャネル・サイズは、チャネル幅が最も狭く、チャネル長が最も長く変形される。

以上のような原理により、ＶＳ−ＭＯＳ２１は制御ゲート電圧V_cgにより、メイン・ゲート２４の実効的チャネル・サイズが変調される。従って、制御ゲート電圧V_cgによりドレイン電流I_dを変調することができる。ドレイン電流I_dの変調の程度は、メイン・ゲート２４と制御ゲート２５，２６に挟まれた幅Svの拡散領域で生じるメイン・ゲート２４の幅方向の電位差の変化量により左右される。すなわち、制御ゲート２５，２６のゲート長Lc、隙間２５ｂ，２６ｂの間隔Sc、制御ゲート２５，２６とメイン・ゲート２４との間隔Svなどのレイアウト形状とメイン・ゲート２４と制御ゲート２５，２６とに挟まれた拡散領域の不純物濃度（N_Sv）を調整することによって、ＶＳ−ＭＯＳの変調特性を設計することができる。

図５は制御ゲート電圧V_cgに対するＶＳ−ＭＯＳの利得係数βの変調特性の一例を示す図である。このＶＳ−ＭＯＳの利得係数βの変調特性は、ＶＳ−ＭＯＳの形状パラメータ等によって決定される。ｎチャネルのＶＳ−ＭＯＳの場合、制御ゲート電圧V_cgが０〔Ｖ〕からある一定の閾値までの間は、利得係数β_nは略一定値を保つ。これは、制御ゲート２５，２６の化ｂ下部にチャネルが形成されないため、メイン・ゲート２４の下部では、実効的なチャネル長が最も長く、実効的なチャネル幅が最も狭い状態に保たれるためである。

一方、制御ゲート電圧V_cgが閾値を超えると、図５のβ_n（ａ），β_n（ｂ）に示したような曲線に沿って利得係数β_nが増加する。これは、制御ゲート電圧V_cgの増加に伴って実効的なチャネル長が短くなり、実効的なチャネル幅が広くなるためである。

ｐチャネルのＶＳ−ＭＯＳの場合、ｎチャネルのＶＳ−ＭＯＳとは正反対の特性を示し、制御ゲート電圧V_cgの変化に伴って、図５のβ_p（ａ），β_p（ｂ）に示したような曲線に沿って利得係数β_nが変化する。

（２）論理閾値可変調インバータ
次に、上記ＶＳ−ＭＯＳを使用して構成される、論理閾値可変調インバータ（Variable Threshold Inverter ： 以下、「ＶＴ−ＩＮＶ」という。）について説明する（非特許文献６，特許文献４参照）。ＶＴ−ＩＮＶは、通常のインバータの入出力端子ＩＮ，ＯＵＴに加え、閾値制御端子ＣＮＴを備えている。そして、閾値制御端子に印加する閾値制御電圧V_CNTにより、論理閾値を連続的に制御することができる。

図６（ａ）は論理閾値可変調インバータの回路構成を表す図であり、図６（ｂ）は論理閾値可変調インバータの回路記号である。ＶＴ−ＩＮＶの基本的な構成は、通常の相補型金属酸化膜半導体（以下、「ＣＭＯＳ」という。）インバータと同様であるが、ＣＭＯＳインバータを構成するｐＭＯＳトランジスタとｎＭＯＳトランジスタに、ＶＳ−ｐＭＯＳ（ｐ型のＶＳ−ＭＯＳ）３１，ＶＳ−ｎＭＯＳ（ｎ型のＶＳ−ＭＯＳ）３２を使用し、各ＶＳ−ＭＯＳ３１，３２の制御ゲート端子（制御ゲートから引き出された端子）を互いに接続してこれを閾値制御端子ＣＮＴとして引き出した点に特徴がある。図６において、矢印は閾値制御端子ＣＮＴを表している。このように、ＶＴ−ＩＮＶ回路は、ＶＳ−ＭＯＳで構成することにより、単なるインバータ回路で表現することができる。

ＶＴ−ＩＮＶの論理閾値電圧V_invは、通常のインバータと同様に、（数２）により表される。

（数２）において、V_tp，V_tnは、それぞれ、ＶＳ−ｐＭＯＳ３１，ＶＳ−ｎＭＯＳ３２の閾値電圧を表す。β_p，β_ｎは、それぞれ、ＶＳ−ｐＭＯＳ３１，ＶＳ−ｎＭＯＳ３２の利得係数を表す。尚、各々の添字（ｎ，ｐ）は、チャネルのタイプを表す。（数２）により、ＶＴ−ＩＮＶの論理閾値電圧V_invは、ＣＭＯＳ論理ゲートを構成するＶＳ−ｐＭＯＳ３１及びＶＳ−ｎＭＯＳ３２の利得係数β_p，β_nの比で設定することができることが分かる。

ＶＴ−ＩＮＶの閾値制御端子ＣＮＴには、閾値制御電圧V_CNTが印加される。図７（ａ）は閾値制御電圧V_CNTを固定したときの論理閾値可変調インバータの入力電圧V_INと出力電圧V_OUTとの関係を表す図であり、図７（ｂ）は閾値制御電圧V_CNTと論理閾値電圧V_invとの関係を表す図である。図７に示したように、閾値制御電圧V_CNTを制御することにより、ＶＳ−ｐＭＯＳ３１，ＶＳ−ｎＭＯＳ３２の利得係数の比β_n／β_pを連続的に制御することができる。その結果、ＶＴ−ＩＮＶの閾値電圧βを連続的に制御することが可能となる。

〔３〕電圧・パルス幅変換回路
次に、図２における電圧・パルス幅変換回路８の詳細について説明する。図８は電圧・パルス幅変換回路８の構成を表す図である。本実施例における電圧・パルス幅変換回路８は、論理閾値可変調インバータ回路（ＶＴ−ＩＮＶ）により構成されている。

論理閾値可変調インバータ回路（ＶＴ−ＩＮＶ）は、図６で説明したように、制御ゲートに印加される利得係数制御電圧により利得係数を変調することが可能な、ｐチャネル及びｎチャネルのチャネル・サイズ可変調ＭＯＳトランジスタ３１，３２で構成されたＣＭＯＳ型インバータを備えており、この２つのＶＳ−ＭＯＳ３１，３２の制御ゲートが、ともに共通の利得係数制御端子（ＣＮＴ）に接続された構成からなる。なお、各電圧・パルス幅変換回路８における利得係数制御端子は、共通の同期制御回路１３に接続されている。同期制御回路１３は、ランプ信号生成回路により構成されている。このランプ信号生成回路が発生するランプ電圧が、すべての電圧・パルス幅変換回路８の利得係数制御端子に対して共通に入力される。従って、すべての電圧・パルス幅変換回路８は、同タイミングで電圧・パルス幅変換を行う。

図９は電圧・パルス幅変換回路８の動作例を示す図である。同期制御回路１３が出力するランプ電圧（Ramp Sig.）は、図９の最上段に示したような鋸歯状となる。このランプ電圧が利得係数制御端子（ＣＮＴ）に入力されると、電圧・パルス幅変換回路８の論理閾値電圧V_invは、図９の点線で示したように変化する。すなわち、ランプ電圧の増加に伴って、論理閾値電圧V_invは減少する。そして、論理閾値電圧V_invが画素信号の電圧（Anakog V_in）よりも小さくなったとき、電圧・パルス幅変換回路８の出力端子に出力されるパルス幅画素信号（OUT）がＨレベルとなる。そして、ランプ電圧が再び最低レベルに戻ると、論理閾値電圧V_invは最大となり、パルス幅画素信号（OUT）がＬレベルとなる。

このように、パルス幅画素信号（OUT）がＬレベルとなるタイミングはランプ電圧により決められるため一定である。しかし、パルス幅画素信号（OUT）がＨレベルとなるタイミングは、画素信号の電圧が高いほど早く、画素信号の電圧が低いほど遅くなる。従って、パルス幅画素信号（OUT）がＨレベルとなる時間（パルス幅画素信号のパルス幅）は、画素信号の電圧に比例する。すなわち、画素信号の電圧値はパルス幅画素信号のパルス幅に変換される。

〔４〕パルス信号比較回路
次に、図２におけるパルス信号比較回路９の詳細について説明する。図１０はパルス信号比較回路９の構成を表す図である。実施例１におけるパルス信号比較回路９は、４つのインバータ４１，４２，４５，４６と２つのＡＮＤゲート４３，４４から構成されている。この回路は、入直端子ＩＮａ，ＩＮｂに対して、出力値（比較パルス信号）ＯＵＴ_＋，ＯＵＴ₋として、（数３）の値を出力する。

図１１はパルス信号比較回路９の動作例を表すタイムチャートである。入直端子ＩＮａ，ＩＮｂには、隣り合う電圧・パルス幅変換回路の出力（パルス幅画素信号）がそれぞれ入力される。各入力信号のパルスの終端（立ち下がり）は、ランプ電圧の立ち下がりエッジで決められるため一定の時刻に揃っている。一方、各入力信号のパルスの始端（立ち上がり）は、画素信号の大きさに比例して変化する。

入力端子ＩＮａの入力信号が入力端子ＩＮｂの入力信号よりも長い場合、入力端子ＩＮａの入力信号の方が入力端子ＩＮｂの入力信号より先に立ち上がる。ＩＮａ＝１，ＩＮｂ＝０のときには、（数３）よりＯＵＴ_＋＝１，ＯＵＴ₋＝０である。また、ＩＮａ＝１，ＩＮｂ＝１のときには、（数３）よりＯＵＴ_＋＝０，ＯＵＴ₋＝０である。従って、比較パルス信号ＯＵＴ_＋に、ＩＮａ−ＩＮｂの差分パルスが出力される。

一方、入力端子ＩＮｂの入力信号が入力端子ＩＮａの入力信号よりも長い場合、入力端子ＩＮｂの入力信号の方が入力端子ＩＮａの入力信号より先に立ち上がる。ＩＮａ＝０，ＩＮｂ＝１のときには、（数３）よりＯＵＴ_＋＝０，ＯＵＴ₋＝１である。また、ＩＮａ＝１，ＩＮｂ＝１のときには、（数３）よりＯＵＴ_＋＝０，ＯＵＴ₋＝０である。従って、比較パルス信号ＯＵＴ₋に、ＩＮｂ−ＩＮａの差分パルスが出力される。

入力端子ＩＮｂの入力信号と入力端子ＩＮａの入力信号の長さが同じであれば、比較パルス信号ＯＵＴ_＋，ＯＵＴ₋には、パルスは出力されない。

このように、アナログ電圧信号である画素信号の電圧値を、パルス幅画素信号のパルス幅に写像することで、簡単な論理回路を用いて画素値の差分演算を行うことが可能となる。

なお、この回路では、入力端子ＩＮｂの入力信号と入力端子ＩＮａの入力信号の相関が大きいほど短いパルスが出力される。

〔５〕相関検知回路
次に、図２における相関検知回路１０の詳細について説明する。図１２は相関検知回路１０の構成を表す図である。相関検知回路１０は、コンデンサ５０、電流スイッチ回路５１，５２、電流源５３、リセット・スイッチ５４、出力回路５５、及び読出スイッチ５６を備えている。

コンデンサ５０は、相関信号を発生するための電荷を蓄電する。電流スイッチ回路５１は、入力端子Ｒ＋，Ｌ＋から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサ５０に蓄電された電荷を一定電流で放電させる。電流スイッチ回路５２は、入力端子Ｒ−，Ｌ−から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサ５０に蓄電された電荷を一定電流で放電させる。電流源５３は、電流スイッチ回路５１，５２が導通状態となったときに、一定の放電電流を流すための回路である。リセット・スイッチ５４は、リセット信号（Reset）が入力されたときに導通状態となり、電源からコンデンサ５０に電荷を供給して、コンデンサ５０の両端電圧を電源電圧Ｖ_ｄとする。

出力回路５５は、コンデンサ５０の電圧に比例した電流を流す回路であり、コンデンサ５０の電圧を電流に変換して出力するための回路である。出力回路５５は、ＭＯＳトランジスタによって構成されている。ゲートにコンデンサ５０の電圧が入力され、ドレイン電流として出力される。これにより、コンデンサ５０の電圧は、漏洩電流が無視できるとすれば、出力中は一定である。従って、安定した相関信号を出力することを可能としている。読出スイッチ５６は、出力回路５５による電流出力のオン・オフを行うためのものである。

相関検知回路１０では、入力信号の相関程度をコンデンサ５０の蓄積電荷量で表現する。リセット直後は、蓄積電荷量は最大である。入力信号の相関程度が低いほど、多くの電荷を放電させ、コンデンサ５０の蓄積電荷量を減少させる。これにより、相関演算が実現される。放電電流は、電流スイッチ回路５１，５２の何れかを介してグランド側に流れる。

図１３は相関検知回路１０の動作を表すタイムチャートである。まず、最初に、リセット信号が０とされ、コンデンサ５０の電圧が電源電圧Ｖ_ｄとされる。そして、リセット信号を１とした後、Ｌ＋，Ｌ−に左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力される。

Ｒ＋とＬ＋の何れか一方が１で他方が０のときは、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。

Ｒ−とＬ−の何れか一方が１で他方が０のときは、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。

Ｒ＋，Ｌ＋がともに０又はともに１、かつ、Ｒ−，Ｌ−がともに０又はともに１のときは、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサ５０の電圧は一定である。

ランプ信号の立ち下がり後、コンデンサ５０の電圧が確定する。Ｒ＋とＬ＋の相関が小さい場合、又はＲ−とＬ−の相関が小さい場合には、最終的なコンデンサ５０の電圧は低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、又はＲ−とＬ−の相関が大きい場合には、最終的なコンデンサ５０の電圧は高い状態に維持される。

コンデンサ５０の電圧の確定後、読出信号（read）が１となり、読出スイッチ５６が導通状態となる。これにより、出力回路５６は、コンデンサ５０の電圧に比例した大きさの電流を出力する。

出力が終了した後、再びリセット信号が０とされ、同様の相関検知演算が繰り返される。

〔６〕視差センサの演算処理動作
以上のように構成された本実施例に係る視差センサについて、以下その全体の動作を説明する。

図１４は視差センサ１の動作の一例を表すタイムチャートである。図１４では、説明の便宜上、ある２つの画素に着目して表示してあるが、すべての画素において同様な動作が同時並行的に行われる。

まず、撮像素子２ａ，２ｂから画素信号ａ，ｂが出力される。これにより、電圧・パルス幅変換回路アレイ４ａ，４ｂ内の各電圧・パルス幅変換回路８において、入力電圧が確定する。図１４の例では、画素信号ａの方が画素信号ｂよりも高い値となっている。

次に、相関検知回路１０に対してリセット信号（Reset）のパルスが入力され、コンデンサ５０の電圧Ｖ_ｃがＶ_ｄに設定される。

次に、同期制御回路１３がランプ信号（Ramp Sig.）の出力を開始し、ランプ信号の電圧が徐々に増加する。これに伴って、各電圧・パルス幅変換回路８において論理閾値電圧V_invは減少する。そして、図１４の例では画素信号ａの電圧の方が画素信号ｂの電圧よりも高いので、まず、左眼側の電圧・パルス幅変換回路８において、論理閾値電圧V_invが画素信号ａの電圧よりも低くなる。これにより、左眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（OUT-a）が１となる。このとき、右眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（OUT-b）は０である。従って、パルス信号比較回路９の出力（比較パルス信号）OUT+が１となる。

更に時間が経過してランプ信号が増加すると、今度は右眼側の電圧・パルス幅変換回路８において、論理閾値電圧V_invが画素信号ｂの電圧よりも低くなる。これにより、右眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（OUT-b）が１となる。このとき、左眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（OUT-a）は１である。従って、パルス信号比較回路９の出力（比較パルス信号）OUT+が０となる。このパルス信号比較回路９の出力（比較パルス信号）OUT+のパルス幅が画素間の相関を表す。

一方、このパルス信号比較回路９の出力（比較パルス信号）OUT+が１の間、電流スイッチ回路５１が導通状態となる。従って、この間はコンデンサ５０の電荷はスイッチ回路５１を介してグランドに放電される。そして、比較パルス信号OUT+が立ち下がった時点で、コンデンサ５０の電圧Ｖ_ｃが確定する。その後、ランプ信号が立ち下がり、ここですべての相関演算処理が終了する。

次に、読出期間に移る。読出期間では、シーケンサ７のシフト・レジスタ１２に対してクロックＣＬＫが供給される。そして、最左端のシフト・レジスタ１２に対して、入力信号ＳＲｉｎとして一定期間１が入力される。

この入力信号ＳＲｉｎのパルス幅Ｔｓは、通常は、クロックＣＬＫに対して数倍の幅とされる。このパルス幅Ｔｓは、検知できる対象物の大きさに影響を与えるので、状況に応じて変更できるようにする。一般に、Ｔｓを大きくするほど、大きな対象物の認識が容易となり、細かいノイズが減少する。一方、Ｔｓを小さくすれば、小さな対象物が認識しやすくなるが、ノイズ量は多くなる。従って、Ｔｓを設定することで、高周波フィルタの周波数特性を設定できる。

入力信号ＳＲｉｎのパルスは、クロックＣＬＫに従って、左側のシフト・レジスタ１２から右側のシフト・レジスタ１２に向かって移動していく。シフト・レジスタ１２の出力は、読出信号（Read）として、各列の相関検知回路１０に入力される。従って、相関検知回路マトリックス６の各列の相関検知回路１０内のコンデンサ５０に保持された相関信号は、左から右に向かって順次読み出される。

図１５は本発明の実施例２に係る視差センサのパルス信号比較回路の構成を表す図である。なお、その他の構成については実施例１と同様であり、説明は省略する。

本実施例のパルス信号比較回路９’は、図１０のパルス信号比較回路９に対して、インバータ４１，４２の代わりにＡＮＤゲート４７，４８が用いられている点で相違している。ＡＮＤゲート４７，４８は、一方の側の入力端子には入力信号ＩＮａ，ＩＮｂが入力され、他方の側の入力端子には、選択信号Ｃｎａ，Ｃｎｂが入力される。Ｃｎａを０とすると、ＯＵＴ−には入力信号ＩＮｂがそのまま出力される。Ｃｎｂを０とすると、ＯＵＴ＋には入力信号ＩＮａがそのまま出力される。

これにより、パルス信号比較回路アレイ５ａ，５ｂにおいて、隣り合う信号の比較を行わず、電圧・パルス幅変換回路アレイ４ａ，４ｂの出力をそのまま相関検知回路マトリックス６に入力させることが可能となる。従って、この場合、相関検知回路マトリックス６では、左眼画像と右眼画像の画素をそのまま相関演算処理することができる。

従って、用途に応じて、選択信号Ｃｎａ，Ｃｎｂを操作して、画素信号の直接相関処理を行うか、画像の変化信号の相関処理を行うかを切り替えることが可能となる。

本発明の実施例１に係る視差センサの構成を表す図である。 図１の視差センサについてより詳細な回路構成を示した図である。 ＶＳ−ＭＯＳのレイアウト構成例を示す図である。 デバイス・シミュレーションにより算出されたｎ型のＶＳ−ＭＯＳ内のポテンシャルと電流の分布を表す図である。 制御ゲート電圧V_cgに対するＶＳ−ＭＯＳの利得係数βの変調特性の一例を示す図である。 （ａ）は論理閾値可変調インバータの回路構成を表す図、（ｂ）は論理閾値可変調インバータの回路記号である。 （ａ）は閾値制御電圧V_CNTを固定したときの論理閾値可変調インバータの入力電圧V_INと出力電圧V_OUTとの関係を表す図、（ｂ）は閾値制御電圧V_CNTと論理閾値電圧V_invとの関係を表す図である。 電圧・パルス幅変換回路の構成を表す図である。 パルス信号比較回路の構成を表す図である。 パルス信号比較回路の動作例を表すタイムチャートである。 パルス信号比較回路の動作例を表すタイムチャートである。 相関検知回路の構成を表す図である。 相関検知回路の動作を表すタイムチャートである。 視差センサ１の動作を表すタイムチャートである。 本発明の実施例２に係る視差センサのパルス信号比較回路の構成を表す図である。 特許文献１記載の画像相関器の構成を表す図である。

符号の説明

１ 視差センサ
２ａ，２ｂ 撮像素子
３ シーケンサ
４ａ，４ｂ 電圧・パルス幅変換回路アレイ
５ａ，５ｂ パルス信号比較回路アレイ
６ 相関検知回路マトリックス
７ シーケンサ
８ 電圧・パルス幅変換回路
９，９’ パルス信号比較回路（ＤＩＦＣ）
１０ 相関検知回路（ＭＡＴＣ）
１１ 電流変圧変換回路（ＩＶＣ）
１２ シフト・レジスタ
１３ 同期制御回路
２１ チャネル・サイズ可変調ＭＯＳトランジスタ（ＶＳ−ＭＯＳ）
２２ ソース
２２ａ，２３ａ，２４ａ，２５ａ，２６ａ コンタクト・ホール
２３ ドレイン
２４ メイン・ゲート
２５，２６ 制御ゲート
２５ｂ，２６ｂ 隙間
３１ ＶＳ−ｐＭＯＳ
３２ ＶＳ−ｎＭＯＳ
４１，４２，４５，４６ インバータ
４３，４４，４７，４８ ＡＮＤゲート
５０ コンデンサ
５１，５２ 電流スイッチ回路
５３ 電流源
５４ リセット・スイッチ
５５ 出力回路
５６ 読出スイッチ

Claims (4)

1. 撮像対象を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、
   前記第１の撮像素子とは異なる角度から前記撮像対象を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、
   前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、
   すべての前記各電圧・パルス幅変換回路が同時並列的に画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
   前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
   を備え、
   前記第１及び第２の撮像素子は、前記第１画像及び前記第２画像の水平線ごとに順次並列に画素信号を出力するものであり、
   前記電圧・パルス幅変換回路は、
   前記第１の撮像素子の各画素信号の出力と一対一に対応して複数の前記電圧・パルス幅変換回路が配列された第１の電圧・パルス幅変換回路アレイと、
   前記第２の撮像素子の各画素信号の出力と一対一に対応して複数の前記電圧・パルス幅変換回路が配列された第２の電圧・パルス幅変換回路アレイと、を備え、
   前記第１の電圧・パルス幅変換回路アレイから出力されるｎ個のパルス幅画素信号｛Ａ _ｉ ｜ｉ＝１，２，…，ｎ｝について、隣り合う前記パルス幅画素信号Ａ _ｉ ，Ａ _ｉ＋１ に対し、それぞれＡ _ｉ ∧ｃＡ _ｉ＋１ （「∧」は積論理、「ｃＸ」はＸの否定論理を表す。）及びｃＡ _ｉ ∧Ａ _ｉ＋１ の２つの比較パルス信号ＯＵＴ _Ａｉ＋ ，ＯＵＴ _Ａｉ− を生成して出力する、第１のパルス信号比較回路アレイと、
   前記第２の電圧・パルス幅変換回路アレイから出力されるｎ個のパルス幅画素信号｛Ｂ _ｉ ｜ｉ＝１，２，…，ｎ｝について、隣り合う前記パルス幅画素信号Ｂ _ｉ ，Ｂ _ｉ＋１ に対し、それぞれＢ _ｉ ∧ｃＢ _ｉ＋１ 及びｃＢ _ｉ ∧Ｂ _ｉ＋１ の２つの比較パルス信号ＯＵＴ _Ｂｉ＋ ，ＯＵＴ _Ｂｉ− を生成して出力する、第２のパルス信号比較回路アレイと、
   第１の電圧・パルス幅変換回路アレイが出力する各画素信号に対応して設けられた複数の行線、及び第２の電圧・パルス幅変換回路アレイが出力する各画素信号に対応して設けられた複数の列線からなる格子の各格子点上に、前記相関検知回路が配列された相関検知回路マトリックスと、を備え、
   前記相関検知回路マトリックスのｉ行目の２本一組の行線には前記第１のパルス信号比較回路アレイが出力する比較パルス信号ＯＵＴ _Ａｉ＋ ，ＯＵＴ _Ａｉ− 、ｊ列目の２本一組の列線には前記第２のパルス信号比較回路アレイが出力する比較パルス信号ＯＵＴ _Ｂｊ＋ ，ＯＵＴ _Ｂｊ− が入力され、
   前記相関検知回路マトリックスの各格子点に位置する前記相関検知回路は、その格子点に接続する２本一組の行線に入力される比較パルス信号ＯＵＴ _Ａｉ＋ ，ＯＵＴ _Ａｉ− と、その格子点に接続する２本一組の列線に入力される比較パルス信号ＯＵＴ _Ｂｊ＋ ，ＯＵＴ _Ｂｊ− に対して、（数１）で表される論理値の差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力することを特徴とする視差センサ。
   

   
2. 前記各電圧・パルス幅変換回路は、
   制御ゲートに印加される利得係数制御電圧により利得係数を変調することが可能な、ｐチャネル及びｎチャネルのチャネル・サイズ可変調ＭＯＳトランジスタで構成されたＣＭＯＳ型インバータと、前記２つのチャネル・サイズ可変調ＭＯＳトランジスタの制御ゲートに共通に接続された、ランプ電圧を入力するための利得係数制御端子と、を有する論理閾値可変調インバータ回路により構成されており、
   前記同期制御回路は、全ての前記電圧・パルス幅変換回路の利得係数制御端子に対して同タイミングで同電圧のランプ電圧を印加するランプ信号生成回路により構成されていること
   を特徴とする請求項１記載の視差センサ。
3. 前記相関検知回路は、
   相関信号を発生するための電荷を蓄電するコンデンサと、
   前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号の、排他論理和の真理値に従って、導通／遮断制御がされ、導通状態において前記コンデンサに蓄電された電荷を一定電流で放電させ又は前記コンデンサに一定電流で充電させる電流スイッチ回路と、
   を備えていることを特徴とする請求項１又は２記載の視差センサ。
4. 第１の撮像素子で撮像対象を撮像し、アナログ電圧信号である画素信号として第１画像を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記撮像対象を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第１のステップと、
   前記第１及び第２の撮像素子が出力する各画素信号を、前記第１の撮像素子及び前記第２の撮像素子の各画素信号の出力と一対一に対応して配列された複数の電圧・パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換し、
   複数の相関検知回路により、前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値の信号に変換し、この信号を相関信号として出力する第２のステップと、
   を有し、
   前記第１のステップにおいては、前記第１画像及び前記第２画像の水平線ごとに順次並列に画素信号を出力し、
   前記第２のステップにおいては、
   前記電圧・パルス幅変換回路により前記第１の撮像素子の出力する各画素信号から変換されたｎ個のパルス幅画素信号｛Ａ _ｉ ｜ｉ＝１，２，…，ｎ｝について、隣り合う前記パルス幅画素信号Ａ _ｉ ，Ａ _ｉ＋１ に対し、それぞれＡ _ｉ ∧ｃＡ _ｉ＋１ （「∧」は積論理、「ｃＸ」はＸの否定論理を表す。）及びｃＡ _ｉ ∧Ａ _ｉ＋１ の２つの比較パルス信号ＯＵＴ _Ａｉ＋ ，ＯＵＴ _Ａｉ− を生成し、これらの信号を当該各比較パルス信号ＯＵＴ _Ａｉ＋ ，ＯＵＴ _Ａｉ− に対応して設けられた複数の行線に出力し、
   前記電圧・パルス幅変換回路により前記第２の撮像素子の出力する各画素信号から変換されたｎ個のパルス幅画素信号｛Ｂ _ｉ ｜ｉ＝１，２，…，ｎ｝について、隣り合う前記パルス幅画素信号Ｂ _ｉ ，Ｂ _ｉ＋１ に対し、それぞれＢ _ｉ ∧ｃＢ _ｉ＋１ 及びｃＢ _ｉ ∧Ｂ _ｉ＋１ の２つの比較パルス信号ＯＵＴ _Ｂｉ＋ ，ＯＵＴ _Ｂｉ− を生成し、これらの信号を当該各比較パルス信号ＯＵＴ _Ｂｉ＋ ，ＯＵＴ _Ｂｉ− に対応して設けられた複数の列線に出力し、
   前記各行線及び前記各列線からなる格子の各格子点上に配列された複数の前記相関検知回路からなる相関検知回路マトリックスにおいて、
   前記相関検知回路マトリックスの各格子点に位置する前記各相関検知回路が、その格子点に接続する２本一組の行線に入力される比較パルス信号ＯＵＴ _Ａｉ＋ ，ＯＵＴ _Ａｉ− と、その格子点に接続する２本一組の列線に入力される比較パルス信号ＯＵＴ _Ｂｊ＋ ，ＯＵＴ _Ｂｊ− に対して、（数２）で表される論理値の差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力することを特徴とする視差画像の生成方法。
   

   

Images