JP3833088B2 - 画像検出処理装置 - Google Patents
画像検出処理装置 Download PDFInfo
- Publication number
- JP3833088B2 JP3833088B2 JP2001269120A JP2001269120A JP3833088B2 JP 3833088 B2 JP3833088 B2 JP 3833088B2 JP 2001269120 A JP2001269120 A JP 2001269120A JP 2001269120 A JP2001269120 A JP 2001269120A JP 3833088 B2 JP3833088 B2 JP 3833088B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- analog
- pixel
- chip
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 112
- 238000001514 detection method Methods 0.000 title claims description 39
- 230000015654 memory Effects 0.000 claims description 36
- 238000009499 grossing Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 239000003990 capacitor Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 108010082117 matrigel Proteins 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 40
- 230000004438 eyesight Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 5
- 230000004382 visual function Effects 0.000 description 5
- 101100112673 Rattus norvegicus Ccnd2 gene Proteins 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000003569 retinal bipolar cell Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像検出処理装置に係り、特に、視覚センサ及び画像処理に適用したビジョンチップと呼ばれる画像検出処理装置に係る。ここで、「ビジョンチップ」とは、例えば、各画素に光センサ回路と処理回路を配置した超並列の回路構造をアナログＣＭＯＳ集積回路により実現し、視覚情報処理を行うことが出来る視覚センサチップ（半導体、回路）を言う。ビジョンチップのうち、特に生体網膜の回路構造および機能を模擬したものを「シリコン網膜」と呼ぶ。
【０００２】
【従来の技術】
図２２に、ビジョンチップの概要構成図を示している。下図はビジョンチップ６１の拡大図である。この拡大図のように各画素は光センサ６３と処理回路６４を備える。画像情報はレンズ６２などの光学系を通してビジョンチップ６１上に投影される。投影された画像情報は光センサ６３により電気信号に変換され、各画素に配置された処理回路６４により超並列的に処理される。そして、処理回路６４は、コンピュータやマイクロプロセッサ等の高次認識装置が理解しやすい情報に変換し出力する。
このようなビジョンチップにより、従来の直列型デジタルコンピュータによる画像処理システムが不得意な課題を解決することができる。現在までに様々なビジョンチップが開発されており、ビジョンチップにより実現されている視覚情報処理の主要なものは、例えば、「画像平滑化」「輪郭強調」「動き検出」等である。
【０００３】
図２３に、シングルチップシステムの回路構成図を示す。ここでは、回路の一例として、入力画像の平滑化、輪郭強調、速度検出を行うビジョンチップを挙げる。シングルチップの場合は、図に示すように、各画素に光センサ６３と平滑化回路６５、輪郭強調回路６６、動き検出回路６７の各処理回路をそれぞれ配置しなければならない。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のようなシングルチップシステムのビジョンチップでは、各画素に光センサと処理回路を配置するので１画素の幾何学的構造（画素サイズ）が大きくなってしまう。また、従来のビジョンチップでは、１つのチップで様々な視覚処理機能を実現する必要があるため、チップの単位面積あたりの画素数が減少し、空間解像度が低下する。さらに、従来のビジョンチップでは、画素構造を単純化して画素サイズを小さくするため、後段の高次認識処理において十分な画像処理を実行することができない場合がある。また、チップサイズを大きくすることで画素数を増やす対策をとると、チップのコストが高くなり（なお、歩留り数の増加に伴い使用不可チップが増えることも一因である）、歩留りの観点からチップサイズ自身にCMOS製造プロセスに依存した限界がある。
【０００５】
本発明は、以上の点に鑑み、１つのチップで実行しようとしている処理を複数のチップに分けて行う、いわゆる「マルチチップシステム」の構成をとることにより、超並列の回路構造で画像処理等の各種処理を行い、実時間で画像処理等の各種処理を実行することを目的とする。また、本発明は、例えば、CMOSを利用した安価、小型、低消費電力なシステムを提供することを目的とする。さらに、本発明は、アナログ特有のロバスト性のあるシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の解決手段によると、
入力された光信号を電気信号に変換する光センサと、前記光センサからの出力に対して第１のアナログ処理を実行してアナログ画像情報を出力する第１の処理回路とを有する第１の画素回路と、
前記第１の画素回路の前記第１の処理回路からアナログ画像情報を入力して記憶する第２のアナログメモリと、前記第２のアナログメモリから画像情報を読み出し第２のアナログ処理を実行してアナログ画像情報出力する第２の処理回路とを有し、前記第１の画素回路に対応して設けられた第２の画素回路を備え、
前記第１及び第２の画素回路がそれぞれマトリクス状に配置されて各々第１及び第２のチップが形成され、前記第１及び第２の処理回路は、各々の前記第１及び第２のチップにおける近傍の第１及び第２の処理回路からそれぞれアナログ信号を受けて特性を補償し、第１及び第２のアナログ処理を並列演算により実行するようにした画像検出処理装置が提供される。
【０００７】
【発明の実施の形態】
１．マルチチップシステム
図１に、マルチチップシステムの画像検出処理装置の構成図を示す。この実施の形態では、一例として、平滑化、輪郭強調、動き検出の３つの処理をそれぞれ３つのチップに分け、マルチチップの構成にする。レンズ等の光学系４から画像情報が入力され、１段目の平滑化チップ１は、光センサ回路１−１と平滑化用の処理回路である平滑化回路１−２を備えることで入力画像の平滑化を行う。１段目の平滑化チップ１からは平滑化された画像情報が電圧もしくは電流のアナログ信号として出力され、２段目以降の輪郭強調チップ２、動き検出チップ３へ入力される。２段目以降の輪郭強調チップ２、動き検出チップ３の各画素はそれぞれアナログメモリ２−１、３−１と専用の処理回路である輪郭強調回路２−２、動き検出回路３−２を備える。アナログメモリ２−１、３−１は前段からのアナログ情報を一時記憶する。輪郭強調回路２−２、動き検出回路３−２はそれぞれアナログメモリ２−１、３−１の情報を読み取る（必要に応じ書込むことも可能）。ここでは２段目の輪郭強調チップ２からは輪郭強調された画像情報が出力され、３段目の動き検出チップ３からは動き検出された結果が出力される。
【０００８】
このようなマルチチップシステムの特徴としては、例えば、次のような点が挙げられる。
・１つのチップで行う処理を限定できる（処理機能を分散できる）。
・画素サイズが小さい。
・チップサイズを大きくすることなく画素数を増やせる。
・複数のチップから出力が並列に出力されるので、複数の視覚情報を利用した高次画像処理が実行できる。
・画像処理およびデータ転写時に付加される回路ノイズを除去するために各画素に補償回路を配置することが容易である。
・画像処理、データの転写にアナログ情報を用いる。そして、画像処理は各画素に配置したアナログ処理回路による超並列の回路構造により高速に実行できる。この点は、既存の画像処理用ＤＳＰ（Digital Signal Processor）とは明らかに異なる。
【０００９】
ここで、本発明とＤＳＰとの差異について説明する。
ＤＳＰの場合、ＣＣＤカメラのような撮像機器から出力された画像情報をＡ／Ｄ変換器によりデジタル信号に変換しＤＳＰへ送り、ＤＳＰでデジタル画像処理を実行する。これに対して本発明の実施の形態の場合、初段の平滑化チップ１の段階でまず、画像情報の取得と同時に各画素のアナログ処理回路により超並列アナログ画像処理が施される（ＣＣＤカメラとの相違点）。次に、初段の平滑化チップ１からは計算されたアナログ情報がそのまま出力され、次段の輪郭強調チップ２へ入力される（Ａ／Ｄ変換しない）。次に、初段の平滑化チップ１からの情報は次段の輪郭強調チップ２の各画素に配列されたアナログメモリへ入力され、さらに各画素のアナログ処理回路により超並列処理される（デジタル画像処理との相違点）。さらに、輪郭強調チップ２からの情報は次段の動き検出チップ３の各画素に配列されたアナログメモリへ入力され、さらに各画素のアナログ処理回路により超並列処理される。
【００１０】
一般的にデジタル回路よりもアナログ回路の方が小規模に処理回路を設計できる。仮に各画素にＤＳＰを配置し並列画像演算を行おうとすると、
・画素サイズが大きくなる。
・各画素を接続する配線が複雑になる。
等の課題がある。これに対し、本発明では各画素をアナログ回路で構成するためこれらの課題が軽減される。
【００１１】
但し、アナログ集積回路に固有の課題として素子特性の不均一性によるばらつきの影響というものが想定される場合がある。これは同一のチップ内に幾何学的に全く同じ回路を設計したとしても個々の回路の電気的特性がばらついてしまうというものである。これはチップ内ではもとより、別々のチップ間ではさらにその傾向が強く現れる。本発明のような超並列の回路構造での各画素間の素子特性のばらつきや画像情報を次段に転写したときのチップの前後の情報の変化は深刻な場合、これに対する対策をとる必要がある。
【００１２】
そこで本発明では、各画素に素子特性の不均一性に伴うばらつき（回路ノイズ）を補償する回路を組み込むことで、この課題を解決する。その補償回路では、ある種のアナログ情報記憶素子に各画素の回路ノイズを記憶することで、回路ノイズの影響を受けない画像処理およびデータ転写を実現する。具体的にはノイズ補償バッファ回路（後述）を想定しているが、同様の機能を持った回路であれば置き換えることが可能とする。
【００１３】
２．マルチチップシステムを構成するチップの回路構成概要
マルチチップシステムを構成するチップの種類は、本発明の実施の形態においては大きく分類すると次の２つのタイプになる。
・タイプ１：各画素に画像情報を取得する光センサと処理回路を内臓
・タイプ２：各画素に前段からの画像情報を記憶するアナログメモリと処理回路を内臓
これら、タイプ１、タイプ２について回路構成を説明する。
【００１４】
（１）タイプ１チップの回路構成（画像取得＋並列画像処理）
タイプ１のチップは構成するチップシステムの初段であり、各画素に内蔵した光センサにより外界の画像情報を取得し並列に画像処理を施す。
図２に、タイプ１チップの構成図を示す。
タイプ１チップは、画素回路１１、水平シフトレジスタ１３、垂直シフトレジスタ１４、スイッチ１５、出力用バッファ１６、出力ライン１７を備える。水平シフトレジスタ１３、垂直シフトレジスタ１４により画素回路１１を順次選択して並列演算された出力を読み出す。（なお、シフトレジスタのタイミングチャートは後述する。）
【００１５】
図３に、タイプ１の画素回路の構成図を示す。画素回路１１は、光センサ１１１、処理部１１２、アナログ演算器１１３、スイッチ１１４を備える。それぞれの役割を以下に説明する。
光センサ１１１は、光信号（画像情報）を電圧・電流などの電気信号に変換する。回路素子にはフォトダイオード、フォトトランジスタ、アクティブピクセルセンサ等を用いる。処理部１１２は、自らの画素回路の光センサ１１１からの入力と近傍の画素回路からの入力ｎ１〜ｎ４を受けて画像処理を行う。処理部１１２は、主に近傍画素の情報を用いた並列画像演算を行う。アナログ演算部１１３は、処理部１１２からの入力を受けて四則演算などのアナログ演算を行う。アナログ演算部１１３は、同時にアナログ集積回路で対処すべき課題である、個々の素子特性のばらつきに起因する回路ノイズを補償する回路を含むようにしてもよい。アナログ演算部１１３の出力が画素出力となる。この実施の形態では、各画素回路１１への制御信号は全ての画素に一括で入力するが、各画素回路毎又は行・列毎に入力するようにしてもよい。
【００１６】
（２）タイプ２チップの回路構成（アナログメモリ＋並列画像処理）
タイプ２のチップは構成するチップシステムの次段以降であり、各画素に内蔵したアナログメモリに前段からの画像情報を記憶し、各画素に配置した処理回路により並列に画像処理を施す。
図４に、タイプ２チップの構成図を示す。
タイプ２チップは、画素回路２１、水平シフトレジスタ２３、垂直シフトレジスタ２４、スイッチ２５、入力用バッファ２６、出力ライン２７、入力ライン２８、出力用バッファ２９を備える。水平シフトレジスタ２３、垂直シフトレジスタ２４により注目画素を順次選択して、画素回路２１に前段のチップからのデータを入力し、並列演算された出力を読み出す。（なお、シフトレジスタのタイミングチャートは後述する。）
【００１７】
図５に、タイプ２の画素回路の構成を示す。
画素回路２１は、アナログメモリ２１１、処理部２１２、アナログ演算器２１３から構成され、スイッチ２１４、２１５を備える。それぞれの役割を以下に説明する。
アナログメモリ２１１は、外部から（この場合、タイプ１の画素回路又は、前段のタイプ２の画素回路等）入力される画像情報を記憶する。処理部２１２は、自らの画素回路のアナログメモリ２１１からの入力、近傍の画素回路からの入力ｎ１〜ｎ４を受けて画像処理を行う。処理部２１２は、主に近傍画素の情報を用いた並列画像演算を行う。アナログ演算部２１３は、処理部２１２からの入力を
受けて四則演算などのアナログ演算を行う。アナログ演算部２１３は、同時にアナログ集積回路で対処すべき課題である個々の素子特性のばらつきに起因する回路ノイズを補償する回路を含むようにしてもよい。アナログ演算部２１３の出力が画素出力となる。この実施の形態では、各画素回路への制御信号は全ての画素に一括で入力するが、各画素回路毎又は行・列毎に入力するようにしてもよい。
【００１８】
つぎに、図６に、注目画素選択のためのシフトレジスタのタイミングチャートを示す。
タイプ１、２のチップ共に水平シフトレジスタ１３、２３、垂直シフトレジスタ１４、２４は、画像情報を入出力する注目画素回路を選択する。その基本のタイミングは図示のようになる。タイプ２のチップでは垂直シフトレジスタ２４で画素アレイの行を選択し、選択された画素の入出力スイッチSWi/oを各列の入出力ラインに接続する。この状態で水平シフトレジスタ２３及びスイッチ２５で１組の入出力ラインを選択し入力バッファ２６、出力バッファ２９にそれぞれ接続する。即ち、行・列で選択された画素に入力バッファ２６、出力バッファ２９が接続される。タイプ１の場合も同様だが入力の経路が必要ない。
【００１９】
３．チップの回路例
（１）タイプ１チップの回路例：画像取得＋平滑化
図７に、タイプ１の１画素の画素回路の構成図を示す。
この画素回路は、光センサ１１１、処理部１１２、アナログ演算器１１３、スイッチ１１４を備える。光センサ１１１は、この例では、ＡＰＳ（アクティブピクセルセンサ：後述）とし、光電荷を蓄積することで光信号を電圧情報に変換する。処理部１１２は、ここでは抵抗回路網で構成する。画像情報を抵抗回路網に入力することで入力画像の平滑化を超並列に行うことができる（後述）。近傍の画素との間に抵抗による接続（n1、n2、n3、n4 ）を持つことで抵抗回路網を形成し、入力画像の平滑化を行う。処理部１１２からの出力をアナログ演算器１１３へ入力する。アナログ演算器１１３はノイズ補償バッファ回路Nbuf：後述を用いる。ノイズ補償バッファ回路Nbufは制御信号により入力側の回路のばらつきとノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償できる。水平シフトレジスタ１３、垂直シフトレジスタ１４によりSWoを制御することで注目画素を選択し読み出すことができる。
【００２０】
図８に、画素レベルの動作についてのタイミングチャートを示す。以下、各区間について動作を説明する。
区間(Ａ)：ＡＰＳのスイッチへの制御信号SWpをHにすることでＡＰＳを初期化する。その後SWpをLにすることでｎ番目のフレームのＡＰＳでの電荷蓄積動作に移る。
区間(Ｂ)＋(Ｃ)：ＡＰＳの蓄積時間
区間(Ｃ)：蓄積時間経過した後、SWhをHにし、処理部１１２の抵抗回路網とノイズ補償バッファ回路Nbufを接続する。このとき、抵抗回路網の出力Vnetは、
Vnet=Vnet(n)+VN1 (1)
となる。ここでVnet(n)は抵抗回路網で処理された画像情報、VN1はこの時刻での回路ノイズである。この状態でSW1とSW2を制御することでノイズ補償バッファ回路Nbufに内蔵された容量に式(１)の抵抗回路網の出力が記憶される。
区間(Ａ')：再びＡＰＳのスイッチへの制御信号SWpをHにすることでＡＰＳを初期化する。このとき抵抗回路網の出力Vnetは、
Vnet=Vnet0+VN0 (2)
となる。ここでVnet0はＡＰＳ初期化時の抵抗回路網からの初期電圧、VN0は初期化時の回路ノイズである。すなわちノイズ補償バッファ回路Nbufへの入力電圧が式(１)から式(２)へ変位した。このときノイズ補償バッファ回路Nbufからの出力Voutは、回路ノイズの大きさが常に一定(VN1=VN0)だとすると、
Vout(n)=Vnet(n)-Vnet0+VN1-VN0+Vref
=Vnet(n)-Vnet0+Vref
となり、回路ノイズの影響を受けない抵抗回路網での処理情報に比例した出力が得られる。その後SWhをLにすることで出力がノイズ補償バッファ回路Nbufに保持される。そしてSWpをLにすることでn+1番目のフレームのＡＰＳでの電荷蓄積動作に移る。
区間(Ｂ')：ＡＰＳとNbufとは電気的に分離しているので、n+1番目のフレームのＡＰＳでの蓄積動作と平行して、出力スイッチ信号SWoを閉じることでVout(n)を読み出すことができる。
【００２１】
以上の動作を繰り返すことで画像情報の取得及び抵抗回路網による平滑化動作を行える。
（２）タイプ２チップの回路例１：輪郭強調
図９に、抵抗回路網の構成図を示す。
図のような画素間を抵抗で連結したものを抵抗回路網とよぶ。抵抗回路網により、入力画像の平滑化を行うことができる（後述）。入力画像と平滑化した画像との差分出力は入力画像の輪郭を強調したものになる。
【００２２】
図１０に、１次元抵抗回路網による輪郭強調のイメージの説明図を示す。
図(A)の横軸は画素番号、縦軸は対応する画素情報（電圧）である。抵抗回路網に0番目の画素で電圧値が大きく変化するような入力Vk を与える。これは画像の輪郭に対応する。このとき抵抗回路網からは輪郭部分が平滑化されたV1k が出力される。これらVk とV1k との差分出力をとったものが図(B)である。輪郭の位置である０番目の画素で大きく応答し、その周辺は輪郭の位置から離れるに従い徐々に一定の値をとるようになっていることがわかる。すなわち、輪郭部の強調を行っている。
【００２３】
また、図１１に、２層の抵抗回路網による輪郭強調のイメージの説明図を示す。
上述のように抵抗回路網の入力に、あらかじめ他の抵抗回路網により平滑化した画像情報を用いると、即ち、抵抗回路網を２層使うと、この図のような出力が得られる。このフィルタの特性は数学的にラプラシアンーガウシアン（∇2G）を近似していることが知られており、入力画像の平滑化と輪郭の強調とを同時に行うことができる。また、このフィルタは、高周波の空間画像ノイズを除去するのに優れている。
【００２４】
図１２に、タイプ２の１画素の画素回路（２）の構成図を示す。
この画素回路は、アナログメモリ２１１、処理部２１２、アナログ演算器２１３、スイッチ２１４、２１５を備える。アナログメモリ２１１は内蔵しているコンデンサに外部からの画素情報を記憶する。処理部２１２は抵抗回路網で構成する。処理部２１２は、近傍の画素との間に抵抗による接続(n1、n2、n3、n4 )を持つことで抵抗回路網を形成し、入力画像の平滑化を行う。処理部２１２からの入力と出力は両方ともアナログ演算器２１３へ出力する。アナログ演算器２１３はノイズ補償バッファ回路 Nbuf （後述）を用いる。ノイズ補償バッファ回路 Nbuf は制御信号により入力側の回路のばらつきとノイズ補償バッファ回路 Nbuf 内部の増幅器のオフセットを補償できる。水平シフトレジスタ２３、垂直シフトレジスタ２４によりSWi、SWoを制御することで注目画素を選択することができる。
【００２５】
図１３に、画素レベルの動作についてのタイミングチャートを示す。ここでは、抵抗回路網が１層の例を示すか、上述のように２層としてもよい。以下、各区間について動作を説明する。
区間(A)：シフトレジスタからの入力制御信号SWiをHにすることでアナログメモリ２１１に外部からの画像情報(Vin(n ))を記憶する。
区間(B)：データホールド用のスイッチの制御信号SWhと入力切り替えスイッチの制御信号SWsをHにし、ノイズ補償バッファ回路 Nbuf とアナログメモリ２１１からの入力V1とを接続する。この状態でノイズ補償バッファ回路 Nbuf の制御信号SW1、SW2のスイッチ動作を行うことでアナログメモリ２１１からの入力V1をノイズ補償バッファ回路 Nbuf に記憶させる。同時に回路の入力側のばらつきとノイズ補償バッファ回路 Nbuf 内部の増幅器のオフセットを補償する（ノイズ補償動作）。
区間(C)：切り替えスイッチの制御信号SWsをLにし、ノイズ補償バッファ回路 Nbuf と抵抗回路網の出力V2とを接続することでノイズ補償バッファ回路 Nbuf では、
Vout(n)= V2(n)-V1(n)+Vref
の計算がなされる。すなわち、入力画像情報V1(n)と抵抗回路網からの平滑化出力V2(n)との差に比例した出力が得られている。
区間(D)：データホールド用スイッチの制御信号SWhをLにし、計算した画像情報をノイズ補償バッファ回路 Nbuf にホールドする。
区間(A')：シフトレジスタからの出力制御信号SWoをHにすることでノイズ補償バッファ回路 Nbuf にホールドした出力Vout(n)を読み出す。それと同時にシフトレジスタからの入力制御信号SWiをHにすることでアナログメモリ２１１に次の時刻での画像情報(Vin(n+1 ))を記憶する。
【００２６】
以下同様の動作を繰り返すことで、輪郭強調出力を出力できる
（３）タイプ２チップの回路例２：動き検出
図１４に、フレーム間差分のイメージの説明図を示す。
あるn番目のフレームの画像において、白地に黒い円盤が入力されているとする（図(A)）。その黒い円盤がn+1番目のフレームの画像では右に動いていると想定する（図(B)）。n番目、n+1番目のフレームの画像出力を電圧値だとして、これらの出力の電位差を計算すると、図(C)のように動いた部分だけが応答することになる。このようにフレーム間の差分を計算することで対象の動きを計算できる。
【００２７】
図１５に、タイプ２の１画素の画素回路（１）の構成図を示す。
この画素回路は、アナログメモリ２１１、アナログ演算器２１３、スイッチ２１４、２１５を備える。アナログメモリ２１１は内蔵しているコンデンサに外部からの画素情報を記憶する。アナログ演算器２１３はノイズ補償バッファ回路Nbuf：後述を用いる。ノイズ補償バッファ回路Nbufは制御信号により入力側の回路のばらつきとノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償することができる。水平シフトレジスタ２３、垂直シフトレジスタ２４によりSWi、SWoを制御することで、注目画素を選択することができる。
【００２８】
図１６に、画素レベルの動作についてのタイミングチャートを示す。以下、各区間について動作を説明する。
初期条件：SWhへの信号は常にH入力としアナログメモリ２１１とノイズ補償バッファ回路Nbufを接続する。
区間(A)：ノイズ補償バッファ回路Nbufの制御信号SW1、SW2のスイッチ動作によりアナログメモリ２１１上に画素値(Vin(n))をノイズ補償バッファ回路Nbufに記憶させる。同時に回路の入力側のばらつきとノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償する(ノイズ補償動作)。
区間(B)：シフトレジスタからの入力制御信号SWiをＨにすることでアナログメモリ２１１の情報を次の時刻の情報(Vin(n+1))に更新する。同時にノイズ補償バッファ回路Nbufでは、
Vout = Vin(n) - Vin(n+1) + Vref
の計算がなされる。すなわち、現在の時刻(n+1)の画素情報と１時刻前(n)の画素情報との差に比例した出力が得られている。出力制御信号SWoをHにすることでノイズ補償バッファ回路Nbuf出力を読み出す。
区間(A')：再び、制御信号SW1、SW2のスイッチ動作をすることでアナログメモリ２１１上に画素情報(Vin(n+1))をノイズ補償バッファ回路Nbufに記憶させ、ノイズ補償バッファ回路Nbufでノイズ補償動作を行う。
以下同様の動作を繰り返すことで、フレーム間差分出力を出力できる。
【００２９】
４．マルチチップシステムの構成例
図１７に、マルチチップシステムの構成図の一例を示す。
ここでは、上述のようなチップ回路例として挙げた、
・画像取得+平滑化チップ１
・輪郭強調チップ２
・動き検出チップ３
をマルチチップシステムとして構成する。
【００３０】
ここでは画像取得＋平滑化チップ１、輪郭検出チップ２、動き検出チップ３の順に直列に接続した回路例について説明する。
まず、初段の平滑化チップ１では入力画像の取得および入力画像の平滑化を行う。図(A)に示すようにりんごの画像が平滑化チップ１に投影されたとき、画像に含まれる空間ノイズ成分を平滑化した出力が得られる。
【００３１】
初段の平滑化チップ１の出力が２段目の輪郭強調チップ２へと入力される。２段目の輪郭強調チップ２では平滑化画像を用いた輪郭強調処理が行われるので、ラプラシアンーガウシアン型のフィルタが形成され、入力画像の平滑化と輪郭強調がなされた出力が得られる。図(B)に示されているようにりんごの輪郭や葉の筋といった特徴量が強調されていることが分かる。
【００３２】
２段目の輪郭強調チップ２の出力が３段目の動き検出チップ３へと入力される。３段目の動き検出チップ３では入力画像の輪郭を強調した画像が動いた部分を検出することができる。りんごが左から右へ水平に動いたとき、図(C)のようにりんごの動く方向の輪郭の出力が低く（黒）、その反対側の輪郭の出力が高く（白）現れ、動きの無い垂直方向には殆ど応答していないことが分かる。
このようにチップシステムを構成することで「平滑化画像」「輪郭強調画像」「動き画像」を並列に出力することができる。
【００３３】
つぎに、図１８に、マルチチップシステムによる両眼立体視システムの構成図の一例を示す。
図に示すように、画像取得用のタイプ１のチップ５１、５２を２つ用意することで両眼立体視といった複雑な画像処理システムにも対応できる。
２つのタイプ１チップ５１、５２の出力を複数の視覚機能チップ５３、５４、５５、５６に入力し並列に視覚情報を取り出す。その後、これらの情報を統合することで一般的な直列画像処理系が不得てとする対応点問題を精度良く高速に解く事が可能になりえる。
【００３４】
ここでは、視覚機能チップ５３、５６は上述の動き検出チップとして機能し、視覚機能チップ５４、５５は、上述の輪郭強調チップとして機能する。また、視覚機能チップ５７は、動き検出チップを応用して、２つの各視覚機能チップ５４、５５の出力を入力することで、その差分を検出する機能を有する。
【００３５】
５．回路例
図１９に、アクティブピクセルセンサの回路図の一例を示す。
この例では、フォトセンサを電荷蓄積型で使用し、出力にソースフォロア回路を付加することで、アクティブピクセルセンサ（ＡＰＳ）の構成となる。初期化時に、出力がＭＯＳの閾値分下がるので、ソースフォロア回路には、ＰＭＯＳソースフォロア（ＰＳＦ）を用いる。
【００３６】
図２０に、ノイズ補償バッファの回路図及び制御信号のタイミングチャートの一例を示す。
ノイズ補償バッファ回路(Noise Compensation Buffer)は、素子のばらつきに起因する回路ノイズを、内蔵されている容量に記憶させることにより補償する回路である（T.Sibano,K.Iizuka,M.Miyamoto,M.Osaka,R.Miyama and A.Kito, ``Matched Filter for DS-CDMA of up to 50MChip/s Based on Sampled Analog Signal Processing'',ISSCC Digest of Tech. Papers, pp.100-101, Feb. 1997.参照）。
【００３７】
図の制御信号のタイミングチャートに従い、動作を説明する。
▲１▼ (SW1 : ON 、SW2 : ref に接続)
このとき、入力V(in) = Vin0 + VN0
（ここで、Vin0：前段にある回路からの入力信号の初期値、VN0：前段の回路ノイズ）
AMPの反転ノードの電圧V(in-) = V(ref) + Voff
(ここで、Voff : AMP のオフセット電圧)
AMP の反転ノードに蓄積された電荷
▲２▼ (SW1 : OFF 、SW2 : ref に接続)
このとき、AMP の反転ノードがフローティングの状態になり、電荷がそのまま保たれる。（ここまでの動作をリセット動作と呼ぶ。）
▲３▼ (SW1 : OFF 、SW2 : AMP の出力に接続)
このとき、入力V(in) = Vin1 + VN1に変化。
（ここで、Vin1 ： 前段にある回路からの入力信号、VN1 ：Vin1 入力時の前段の回路ノイズ）
AMP の反転ノードに蓄積された電荷
(３)、(４)より、
V(out) = - ( C1/C2 )( Vin1 - Vin0 + VN1 - VN0 ) + V(ref)
【００３８】
従って、前段の回路における回路ノイズが一定 (VN0 = VN1) ならば、出力 V(out)
は、自身AMP のオフセットのみならず前段の回路ノイズの影響を受けず、かつ
入力電圧の変化分に比例したものとなる。
なお、ノイズ補償バッファ回路の動作域は、用いるAMP の動作域に依存する。使用するAMP毎の動作域は以下の通り。
・トランスコンダクタンス増幅器 (AMP1) ：入力の負の変化に対して動作
・トランスコンダクタンス増幅器 (AMP2) ：入力の正の変化に対して動作
・ワイドレンジ増幅器 ：入力の正負両方の変化に対して動作
【００３９】
図２１に、抵抗回路網の回路図及び説明図を示す。
この図を用いて、抵抗回路網による超並列画像演算について説明する（C.Mead, "Analog VLSI and Neural Systems'', Addision-Wesley, Reading, MA, 1989.、及びT.Yagi, S.Ohshima and Y.Funahashi, "The role of retinal bipolar cell in early vision: an implication with analogue networks and regularization theory", Biol.Cybern, 77, pp163-171, 1997.参照）。抵抗回路網の出力電圧の分布は、入力電圧を平滑化したものになる。抵抗回路網における電圧分布は、接点(ノード)数が十分多い場合以下のように考えることができる。
【００４０】
図（A）の抵抗回路網の概略図に従い説明する。
k=0 における入力電圧Vk = V0 とし、それ以外はゼロとする(空間インパルス入力)。この入力に対する抵抗回路網の応答電位V1k は、
【００４１】
【数１】
【００４２】
となる。この式は、出力信号が信号源(k=0)から離れるにしたがい指数関数的に減衰することを表している。
また、L1は抵抗回路網の空間定数と呼ばれ、この数値が大きいほど信号が広く伝搬する。
図（B）に空間インパルス入力時の出力電圧分布を２種類の空間定数について計算した結果を示す。実線はL1＝√（10/6），点線は√（10/1）である。両者共に信号源から離れるにしたがい指数関数的に滑らかに減衰している。また、空間定数の大きい点線の方が出力が広く伝播していることが分かる。
【００４３】
任意の入力電位分布Viに対する応答は、式１においてVk = 1としたときの応答と
Viの空間畳み込み積分により
【００４４】
【数２】
【００４５】
と表される。
すなわち画像処理の構成回路として利用する場合、
・入力部に光センサアレイもしくは画素メモリを配列することで入力画像の平滑化処理を超並列で高速に計算できる。
・抵抗素子を可変抵抗で構成することで平滑化領域を自由に調節できる。
【００４６】
【発明の効果】
本発明は、以上のように、１つのチップで実行しようとしている処理を複数のチップに分けて行う、いわゆる「マルチチップシステム」の構成をとることにより、超並列の回路構造で画像処理等の各種処理を行い、実時間で画像処理等の各種処理を実行することができる。また、本発明によると、例えば、CMOSを利用した安価、小型、低消費電力なシステムを提供することができる。さらに、本発明によると、アナログ特有のロバスト性のあるシステムを提供することができる。
【図面の簡単な説明】
【図１】 マルチチップシステムの画像検出処理装置の構成図。
【図２】 タイプ１チップの構成図。
【図３】 タイプ１の画素回路の構成図。
【図４】 タイプ２チップの構成図。
【図５】 タイプ２の画素回路の構成図。
【図６】 注目画素選択のためのシフトレジスタのタイミングチャート。
【図７】 タイプ１の１画素の画素回路の構成図。
【図８】 画素レベルの動作についてのタイミングチャート。
【図９】 抵抗回路網の構成図。
【図１０】 １次元抵抗回路網による輪郭強調のイメージの説明図。
【図１１】 ２層の抵抗回路網による輪郭強調のイメージの説明図。
【図１２】 タイプ２の１画素の画素回路（２）の構成図。
【図１３】 画素レベルの動作についてのタイミングチャート。
【図１４】 フレーム間差分のイメージの説明図。
【図１５】 タイプ２の１画素の画素回路（１）の構成図。
【図１６】 画素レベルの動作についてのタイミングチャート。
【図１７】 マルチチップシステムの構成図。
【図１８】 マルチチップシステムによる両眼立体視システムの図。
【図１９】 アクティブピスセルセンサの回路図。
【図２０】 ノイズ補償バッファの回路図及び制御信号のタイミングチャート。
【図２１】 抵抗回路網の回路図及び説明図。
【図２２】 ビジョンチップの概要構成図。
【図２３】 シングルチップシステムの回路構成図。
【符号の説明】
１ 平滑化チップ
１−１ 光センサ回路
１−２ 平滑化回路
２ 輪郭強調チップ
２−１、３−１、２１１ アナログメモリ
２−２ 輪郭強調回路
３ 動き検出チップ
３−２ 動き検出回路
４ 光学系
１１、２１ 画素回路
１３、２３ 水平シフトレジスタ
１４、２４ 垂直シフトレジスタ
１５、２５、１１４、１１５ スイッチ
１６、２９ 出力用バッファ
１７、２７ 出力ライン
２６ 入力用バッファ
２８ 入力ライン
１１１ 光センサ
１１２、２１２ 処理部
１１３、２１３ アナログ演算器
【発明の属する技術分野】
本発明は、画像検出処理装置に係り、特に、視覚センサ及び画像処理に適用したビジョンチップと呼ばれる画像検出処理装置に係る。ここで、「ビジョンチップ」とは、例えば、各画素に光センサ回路と処理回路を配置した超並列の回路構造をアナログＣＭＯＳ集積回路により実現し、視覚情報処理を行うことが出来る視覚センサチップ（半導体、回路）を言う。ビジョンチップのうち、特に生体網膜の回路構造および機能を模擬したものを「シリコン網膜」と呼ぶ。
【０００２】
【従来の技術】
図２２に、ビジョンチップの概要構成図を示している。下図はビジョンチップ６１の拡大図である。この拡大図のように各画素は光センサ６３と処理回路６４を備える。画像情報はレンズ６２などの光学系を通してビジョンチップ６１上に投影される。投影された画像情報は光センサ６３により電気信号に変換され、各画素に配置された処理回路６４により超並列的に処理される。そして、処理回路６４は、コンピュータやマイクロプロセッサ等の高次認識装置が理解しやすい情報に変換し出力する。
このようなビジョンチップにより、従来の直列型デジタルコンピュータによる画像処理システムが不得意な課題を解決することができる。現在までに様々なビジョンチップが開発されており、ビジョンチップにより実現されている視覚情報処理の主要なものは、例えば、「画像平滑化」「輪郭強調」「動き検出」等である。
【０００３】
図２３に、シングルチップシステムの回路構成図を示す。ここでは、回路の一例として、入力画像の平滑化、輪郭強調、速度検出を行うビジョンチップを挙げる。シングルチップの場合は、図に示すように、各画素に光センサ６３と平滑化回路６５、輪郭強調回路６６、動き検出回路６７の各処理回路をそれぞれ配置しなければならない。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のようなシングルチップシステムのビジョンチップでは、各画素に光センサと処理回路を配置するので１画素の幾何学的構造（画素サイズ）が大きくなってしまう。また、従来のビジョンチップでは、１つのチップで様々な視覚処理機能を実現する必要があるため、チップの単位面積あたりの画素数が減少し、空間解像度が低下する。さらに、従来のビジョンチップでは、画素構造を単純化して画素サイズを小さくするため、後段の高次認識処理において十分な画像処理を実行することができない場合がある。また、チップサイズを大きくすることで画素数を増やす対策をとると、チップのコストが高くなり（なお、歩留り数の増加に伴い使用不可チップが増えることも一因である）、歩留りの観点からチップサイズ自身にCMOS製造プロセスに依存した限界がある。
【０００５】
本発明は、以上の点に鑑み、１つのチップで実行しようとしている処理を複数のチップに分けて行う、いわゆる「マルチチップシステム」の構成をとることにより、超並列の回路構造で画像処理等の各種処理を行い、実時間で画像処理等の各種処理を実行することを目的とする。また、本発明は、例えば、CMOSを利用した安価、小型、低消費電力なシステムを提供することを目的とする。さらに、本発明は、アナログ特有のロバスト性のあるシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の解決手段によると、
入力された光信号を電気信号に変換する光センサと、前記光センサからの出力に対して第１のアナログ処理を実行してアナログ画像情報を出力する第１の処理回路とを有する第１の画素回路と、
前記第１の画素回路の前記第１の処理回路からアナログ画像情報を入力して記憶する第２のアナログメモリと、前記第２のアナログメモリから画像情報を読み出し第２のアナログ処理を実行してアナログ画像情報出力する第２の処理回路とを有し、前記第１の画素回路に対応して設けられた第２の画素回路を備え、
前記第１及び第２の画素回路がそれぞれマトリクス状に配置されて各々第１及び第２のチップが形成され、前記第１及び第２の処理回路は、各々の前記第１及び第２のチップにおける近傍の第１及び第２の処理回路からそれぞれアナログ信号を受けて特性を補償し、第１及び第２のアナログ処理を並列演算により実行するようにした画像検出処理装置が提供される。
【０００７】
【発明の実施の形態】
１．マルチチップシステム
図１に、マルチチップシステムの画像検出処理装置の構成図を示す。この実施の形態では、一例として、平滑化、輪郭強調、動き検出の３つの処理をそれぞれ３つのチップに分け、マルチチップの構成にする。レンズ等の光学系４から画像情報が入力され、１段目の平滑化チップ１は、光センサ回路１−１と平滑化用の処理回路である平滑化回路１−２を備えることで入力画像の平滑化を行う。１段目の平滑化チップ１からは平滑化された画像情報が電圧もしくは電流のアナログ信号として出力され、２段目以降の輪郭強調チップ２、動き検出チップ３へ入力される。２段目以降の輪郭強調チップ２、動き検出チップ３の各画素はそれぞれアナログメモリ２−１、３−１と専用の処理回路である輪郭強調回路２−２、動き検出回路３−２を備える。アナログメモリ２−１、３−１は前段からのアナログ情報を一時記憶する。輪郭強調回路２−２、動き検出回路３−２はそれぞれアナログメモリ２−１、３−１の情報を読み取る（必要に応じ書込むことも可能）。ここでは２段目の輪郭強調チップ２からは輪郭強調された画像情報が出力され、３段目の動き検出チップ３からは動き検出された結果が出力される。
【０００８】
このようなマルチチップシステムの特徴としては、例えば、次のような点が挙げられる。
・１つのチップで行う処理を限定できる（処理機能を分散できる）。
・画素サイズが小さい。
・チップサイズを大きくすることなく画素数を増やせる。
・複数のチップから出力が並列に出力されるので、複数の視覚情報を利用した高次画像処理が実行できる。
・画像処理およびデータ転写時に付加される回路ノイズを除去するために各画素に補償回路を配置することが容易である。
・画像処理、データの転写にアナログ情報を用いる。そして、画像処理は各画素に配置したアナログ処理回路による超並列の回路構造により高速に実行できる。この点は、既存の画像処理用ＤＳＰ（Digital Signal Processor）とは明らかに異なる。
【０００９】
ここで、本発明とＤＳＰとの差異について説明する。
ＤＳＰの場合、ＣＣＤカメラのような撮像機器から出力された画像情報をＡ／Ｄ変換器によりデジタル信号に変換しＤＳＰへ送り、ＤＳＰでデジタル画像処理を実行する。これに対して本発明の実施の形態の場合、初段の平滑化チップ１の段階でまず、画像情報の取得と同時に各画素のアナログ処理回路により超並列アナログ画像処理が施される（ＣＣＤカメラとの相違点）。次に、初段の平滑化チップ１からは計算されたアナログ情報がそのまま出力され、次段の輪郭強調チップ２へ入力される（Ａ／Ｄ変換しない）。次に、初段の平滑化チップ１からの情報は次段の輪郭強調チップ２の各画素に配列されたアナログメモリへ入力され、さらに各画素のアナログ処理回路により超並列処理される（デジタル画像処理との相違点）。さらに、輪郭強調チップ２からの情報は次段の動き検出チップ３の各画素に配列されたアナログメモリへ入力され、さらに各画素のアナログ処理回路により超並列処理される。
【００１０】
一般的にデジタル回路よりもアナログ回路の方が小規模に処理回路を設計できる。仮に各画素にＤＳＰを配置し並列画像演算を行おうとすると、
・画素サイズが大きくなる。
・各画素を接続する配線が複雑になる。
等の課題がある。これに対し、本発明では各画素をアナログ回路で構成するためこれらの課題が軽減される。
【００１１】
但し、アナログ集積回路に固有の課題として素子特性の不均一性によるばらつきの影響というものが想定される場合がある。これは同一のチップ内に幾何学的に全く同じ回路を設計したとしても個々の回路の電気的特性がばらついてしまうというものである。これはチップ内ではもとより、別々のチップ間ではさらにその傾向が強く現れる。本発明のような超並列の回路構造での各画素間の素子特性のばらつきや画像情報を次段に転写したときのチップの前後の情報の変化は深刻な場合、これに対する対策をとる必要がある。
【００１２】
そこで本発明では、各画素に素子特性の不均一性に伴うばらつき（回路ノイズ）を補償する回路を組み込むことで、この課題を解決する。その補償回路では、ある種のアナログ情報記憶素子に各画素の回路ノイズを記憶することで、回路ノイズの影響を受けない画像処理およびデータ転写を実現する。具体的にはノイズ補償バッファ回路（後述）を想定しているが、同様の機能を持った回路であれば置き換えることが可能とする。
【００１３】
２．マルチチップシステムを構成するチップの回路構成概要
マルチチップシステムを構成するチップの種類は、本発明の実施の形態においては大きく分類すると次の２つのタイプになる。
・タイプ１：各画素に画像情報を取得する光センサと処理回路を内臓
・タイプ２：各画素に前段からの画像情報を記憶するアナログメモリと処理回路を内臓
これら、タイプ１、タイプ２について回路構成を説明する。
【００１４】
（１）タイプ１チップの回路構成（画像取得＋並列画像処理）
タイプ１のチップは構成するチップシステムの初段であり、各画素に内蔵した光センサにより外界の画像情報を取得し並列に画像処理を施す。
図２に、タイプ１チップの構成図を示す。
タイプ１チップは、画素回路１１、水平シフトレジスタ１３、垂直シフトレジスタ１４、スイッチ１５、出力用バッファ１６、出力ライン１７を備える。水平シフトレジスタ１３、垂直シフトレジスタ１４により画素回路１１を順次選択して並列演算された出力を読み出す。（なお、シフトレジスタのタイミングチャートは後述する。）
【００１５】
図３に、タイプ１の画素回路の構成図を示す。画素回路１１は、光センサ１１１、処理部１１２、アナログ演算器１１３、スイッチ１１４を備える。それぞれの役割を以下に説明する。
光センサ１１１は、光信号（画像情報）を電圧・電流などの電気信号に変換する。回路素子にはフォトダイオード、フォトトランジスタ、アクティブピクセルセンサ等を用いる。処理部１１２は、自らの画素回路の光センサ１１１からの入力と近傍の画素回路からの入力ｎ１〜ｎ４を受けて画像処理を行う。処理部１１２は、主に近傍画素の情報を用いた並列画像演算を行う。アナログ演算部１１３は、処理部１１２からの入力を受けて四則演算などのアナログ演算を行う。アナログ演算部１１３は、同時にアナログ集積回路で対処すべき課題である、個々の素子特性のばらつきに起因する回路ノイズを補償する回路を含むようにしてもよい。アナログ演算部１１３の出力が画素出力となる。この実施の形態では、各画素回路１１への制御信号は全ての画素に一括で入力するが、各画素回路毎又は行・列毎に入力するようにしてもよい。
【００１６】
（２）タイプ２チップの回路構成（アナログメモリ＋並列画像処理）
タイプ２のチップは構成するチップシステムの次段以降であり、各画素に内蔵したアナログメモリに前段からの画像情報を記憶し、各画素に配置した処理回路により並列に画像処理を施す。
図４に、タイプ２チップの構成図を示す。
タイプ２チップは、画素回路２１、水平シフトレジスタ２３、垂直シフトレジスタ２４、スイッチ２５、入力用バッファ２６、出力ライン２７、入力ライン２８、出力用バッファ２９を備える。水平シフトレジスタ２３、垂直シフトレジスタ２４により注目画素を順次選択して、画素回路２１に前段のチップからのデータを入力し、並列演算された出力を読み出す。（なお、シフトレジスタのタイミングチャートは後述する。）
【００１７】
図５に、タイプ２の画素回路の構成を示す。
画素回路２１は、アナログメモリ２１１、処理部２１２、アナログ演算器２１３から構成され、スイッチ２１４、２１５を備える。それぞれの役割を以下に説明する。
アナログメモリ２１１は、外部から（この場合、タイプ１の画素回路又は、前段のタイプ２の画素回路等）入力される画像情報を記憶する。処理部２１２は、自らの画素回路のアナログメモリ２１１からの入力、近傍の画素回路からの入力ｎ１〜ｎ４を受けて画像処理を行う。処理部２１２は、主に近傍画素の情報を用いた並列画像演算を行う。アナログ演算部２１３は、処理部２１２からの入力を
受けて四則演算などのアナログ演算を行う。アナログ演算部２１３は、同時にアナログ集積回路で対処すべき課題である個々の素子特性のばらつきに起因する回路ノイズを補償する回路を含むようにしてもよい。アナログ演算部２１３の出力が画素出力となる。この実施の形態では、各画素回路への制御信号は全ての画素に一括で入力するが、各画素回路毎又は行・列毎に入力するようにしてもよい。
【００１８】
つぎに、図６に、注目画素選択のためのシフトレジスタのタイミングチャートを示す。
タイプ１、２のチップ共に水平シフトレジスタ１３、２３、垂直シフトレジスタ１４、２４は、画像情報を入出力する注目画素回路を選択する。その基本のタイミングは図示のようになる。タイプ２のチップでは垂直シフトレジスタ２４で画素アレイの行を選択し、選択された画素の入出力スイッチSWi/oを各列の入出力ラインに接続する。この状態で水平シフトレジスタ２３及びスイッチ２５で１組の入出力ラインを選択し入力バッファ２６、出力バッファ２９にそれぞれ接続する。即ち、行・列で選択された画素に入力バッファ２６、出力バッファ２９が接続される。タイプ１の場合も同様だが入力の経路が必要ない。
【００１９】
３．チップの回路例
（１）タイプ１チップの回路例：画像取得＋平滑化
図７に、タイプ１の１画素の画素回路の構成図を示す。
この画素回路は、光センサ１１１、処理部１１２、アナログ演算器１１３、スイッチ１１４を備える。光センサ１１１は、この例では、ＡＰＳ（アクティブピクセルセンサ：後述）とし、光電荷を蓄積することで光信号を電圧情報に変換する。処理部１１２は、ここでは抵抗回路網で構成する。画像情報を抵抗回路網に入力することで入力画像の平滑化を超並列に行うことができる（後述）。近傍の画素との間に抵抗による接続（n1、n2、n3、n4 ）を持つことで抵抗回路網を形成し、入力画像の平滑化を行う。処理部１１２からの出力をアナログ演算器１１３へ入力する。アナログ演算器１１３はノイズ補償バッファ回路Nbuf：後述を用いる。ノイズ補償バッファ回路Nbufは制御信号により入力側の回路のばらつきとノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償できる。水平シフトレジスタ１３、垂直シフトレジスタ１４によりSWoを制御することで注目画素を選択し読み出すことができる。
【００２０】
図８に、画素レベルの動作についてのタイミングチャートを示す。以下、各区間について動作を説明する。
区間(Ａ)：ＡＰＳのスイッチへの制御信号SWpをHにすることでＡＰＳを初期化する。その後SWpをLにすることでｎ番目のフレームのＡＰＳでの電荷蓄積動作に移る。
区間(Ｂ)＋(Ｃ)：ＡＰＳの蓄積時間
区間(Ｃ)：蓄積時間経過した後、SWhをHにし、処理部１１２の抵抗回路網とノイズ補償バッファ回路Nbufを接続する。このとき、抵抗回路網の出力Vnetは、
Vnet=Vnet(n)+VN1 (1)
となる。ここでVnet(n)は抵抗回路網で処理された画像情報、VN1はこの時刻での回路ノイズである。この状態でSW1とSW2を制御することでノイズ補償バッファ回路Nbufに内蔵された容量に式(１)の抵抗回路網の出力が記憶される。
区間(Ａ')：再びＡＰＳのスイッチへの制御信号SWpをHにすることでＡＰＳを初期化する。このとき抵抗回路網の出力Vnetは、
Vnet=Vnet0+VN0 (2)
となる。ここでVnet0はＡＰＳ初期化時の抵抗回路網からの初期電圧、VN0は初期化時の回路ノイズである。すなわちノイズ補償バッファ回路Nbufへの入力電圧が式(１)から式(２)へ変位した。このときノイズ補償バッファ回路Nbufからの出力Voutは、回路ノイズの大きさが常に一定(VN1=VN0)だとすると、
Vout(n)=Vnet(n)-Vnet0+VN1-VN0+Vref
=Vnet(n)-Vnet0+Vref
となり、回路ノイズの影響を受けない抵抗回路網での処理情報に比例した出力が得られる。その後SWhをLにすることで出力がノイズ補償バッファ回路Nbufに保持される。そしてSWpをLにすることでn+1番目のフレームのＡＰＳでの電荷蓄積動作に移る。
区間(Ｂ')：ＡＰＳとNbufとは電気的に分離しているので、n+1番目のフレームのＡＰＳでの蓄積動作と平行して、出力スイッチ信号SWoを閉じることでVout(n)を読み出すことができる。
【００２１】
以上の動作を繰り返すことで画像情報の取得及び抵抗回路網による平滑化動作を行える。
（２）タイプ２チップの回路例１：輪郭強調
図９に、抵抗回路網の構成図を示す。
図のような画素間を抵抗で連結したものを抵抗回路網とよぶ。抵抗回路網により、入力画像の平滑化を行うことができる（後述）。入力画像と平滑化した画像との差分出力は入力画像の輪郭を強調したものになる。
【００２２】
図１０に、１次元抵抗回路網による輪郭強調のイメージの説明図を示す。
図(A)の横軸は画素番号、縦軸は対応する画素情報（電圧）である。抵抗回路網に0番目の画素で電圧値が大きく変化するような入力Vk を与える。これは画像の輪郭に対応する。このとき抵抗回路網からは輪郭部分が平滑化されたV1k が出力される。これらVk とV1k との差分出力をとったものが図(B)である。輪郭の位置である０番目の画素で大きく応答し、その周辺は輪郭の位置から離れるに従い徐々に一定の値をとるようになっていることがわかる。すなわち、輪郭部の強調を行っている。
【００２３】
また、図１１に、２層の抵抗回路網による輪郭強調のイメージの説明図を示す。
上述のように抵抗回路網の入力に、あらかじめ他の抵抗回路網により平滑化した画像情報を用いると、即ち、抵抗回路網を２層使うと、この図のような出力が得られる。このフィルタの特性は数学的にラプラシアンーガウシアン（∇2G）を近似していることが知られており、入力画像の平滑化と輪郭の強調とを同時に行うことができる。また、このフィルタは、高周波の空間画像ノイズを除去するのに優れている。
【００２４】
図１２に、タイプ２の１画素の画素回路（２）の構成図を示す。
この画素回路は、アナログメモリ２１１、処理部２１２、アナログ演算器２１３、スイッチ２１４、２１５を備える。アナログメモリ２１１は内蔵しているコンデンサに外部からの画素情報を記憶する。処理部２１２は抵抗回路網で構成する。処理部２１２は、近傍の画素との間に抵抗による接続(n1、n2、n3、n4 )を持つことで抵抗回路網を形成し、入力画像の平滑化を行う。処理部２１２からの入力と出力は両方ともアナログ演算器２１３へ出力する。アナログ演算器２１３はノイズ補償バッファ回路 Nbuf （後述）を用いる。ノイズ補償バッファ回路 Nbuf は制御信号により入力側の回路のばらつきとノイズ補償バッファ回路 Nbuf 内部の増幅器のオフセットを補償できる。水平シフトレジスタ２３、垂直シフトレジスタ２４によりSWi、SWoを制御することで注目画素を選択することができる。
【００２５】
図１３に、画素レベルの動作についてのタイミングチャートを示す。ここでは、抵抗回路網が１層の例を示すか、上述のように２層としてもよい。以下、各区間について動作を説明する。
区間(A)：シフトレジスタからの入力制御信号SWiをHにすることでアナログメモリ２１１に外部からの画像情報(Vin(n ))を記憶する。
区間(B)：データホールド用のスイッチの制御信号SWhと入力切り替えスイッチの制御信号SWsをHにし、ノイズ補償バッファ回路 Nbuf とアナログメモリ２１１からの入力V1とを接続する。この状態でノイズ補償バッファ回路 Nbuf の制御信号SW1、SW2のスイッチ動作を行うことでアナログメモリ２１１からの入力V1をノイズ補償バッファ回路 Nbuf に記憶させる。同時に回路の入力側のばらつきとノイズ補償バッファ回路 Nbuf 内部の増幅器のオフセットを補償する（ノイズ補償動作）。
区間(C)：切り替えスイッチの制御信号SWsをLにし、ノイズ補償バッファ回路 Nbuf と抵抗回路網の出力V2とを接続することでノイズ補償バッファ回路 Nbuf では、
Vout(n)= V2(n)-V1(n)+Vref
の計算がなされる。すなわち、入力画像情報V1(n)と抵抗回路網からの平滑化出力V2(n)との差に比例した出力が得られている。
区間(D)：データホールド用スイッチの制御信号SWhをLにし、計算した画像情報をノイズ補償バッファ回路 Nbuf にホールドする。
区間(A')：シフトレジスタからの出力制御信号SWoをHにすることでノイズ補償バッファ回路 Nbuf にホールドした出力Vout(n)を読み出す。それと同時にシフトレジスタからの入力制御信号SWiをHにすることでアナログメモリ２１１に次の時刻での画像情報(Vin(n+1 ))を記憶する。
【００２６】
以下同様の動作を繰り返すことで、輪郭強調出力を出力できる
（３）タイプ２チップの回路例２：動き検出
図１４に、フレーム間差分のイメージの説明図を示す。
あるn番目のフレームの画像において、白地に黒い円盤が入力されているとする（図(A)）。その黒い円盤がn+1番目のフレームの画像では右に動いていると想定する（図(B)）。n番目、n+1番目のフレームの画像出力を電圧値だとして、これらの出力の電位差を計算すると、図(C)のように動いた部分だけが応答することになる。このようにフレーム間の差分を計算することで対象の動きを計算できる。
【００２７】
図１５に、タイプ２の１画素の画素回路（１）の構成図を示す。
この画素回路は、アナログメモリ２１１、アナログ演算器２１３、スイッチ２１４、２１５を備える。アナログメモリ２１１は内蔵しているコンデンサに外部からの画素情報を記憶する。アナログ演算器２１３はノイズ補償バッファ回路Nbuf：後述を用いる。ノイズ補償バッファ回路Nbufは制御信号により入力側の回路のばらつきとノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償することができる。水平シフトレジスタ２３、垂直シフトレジスタ２４によりSWi、SWoを制御することで、注目画素を選択することができる。
【００２８】
図１６に、画素レベルの動作についてのタイミングチャートを示す。以下、各区間について動作を説明する。
初期条件：SWhへの信号は常にH入力としアナログメモリ２１１とノイズ補償バッファ回路Nbufを接続する。
区間(A)：ノイズ補償バッファ回路Nbufの制御信号SW1、SW2のスイッチ動作によりアナログメモリ２１１上に画素値(Vin(n))をノイズ補償バッファ回路Nbufに記憶させる。同時に回路の入力側のばらつきとノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償する(ノイズ補償動作)。
区間(B)：シフトレジスタからの入力制御信号SWiをＨにすることでアナログメモリ２１１の情報を次の時刻の情報(Vin(n+1))に更新する。同時にノイズ補償バッファ回路Nbufでは、
Vout = Vin(n) - Vin(n+1) + Vref
の計算がなされる。すなわち、現在の時刻(n+1)の画素情報と１時刻前(n)の画素情報との差に比例した出力が得られている。出力制御信号SWoをHにすることでノイズ補償バッファ回路Nbuf出力を読み出す。
区間(A')：再び、制御信号SW1、SW2のスイッチ動作をすることでアナログメモリ２１１上に画素情報(Vin(n+1))をノイズ補償バッファ回路Nbufに記憶させ、ノイズ補償バッファ回路Nbufでノイズ補償動作を行う。
以下同様の動作を繰り返すことで、フレーム間差分出力を出力できる。
【００２９】
４．マルチチップシステムの構成例
図１７に、マルチチップシステムの構成図の一例を示す。
ここでは、上述のようなチップ回路例として挙げた、
・画像取得+平滑化チップ１
・輪郭強調チップ２
・動き検出チップ３
をマルチチップシステムとして構成する。
【００３０】
ここでは画像取得＋平滑化チップ１、輪郭検出チップ２、動き検出チップ３の順に直列に接続した回路例について説明する。
まず、初段の平滑化チップ１では入力画像の取得および入力画像の平滑化を行う。図(A)に示すようにりんごの画像が平滑化チップ１に投影されたとき、画像に含まれる空間ノイズ成分を平滑化した出力が得られる。
【００３１】
初段の平滑化チップ１の出力が２段目の輪郭強調チップ２へと入力される。２段目の輪郭強調チップ２では平滑化画像を用いた輪郭強調処理が行われるので、ラプラシアンーガウシアン型のフィルタが形成され、入力画像の平滑化と輪郭強調がなされた出力が得られる。図(B)に示されているようにりんごの輪郭や葉の筋といった特徴量が強調されていることが分かる。
【００３２】
２段目の輪郭強調チップ２の出力が３段目の動き検出チップ３へと入力される。３段目の動き検出チップ３では入力画像の輪郭を強調した画像が動いた部分を検出することができる。りんごが左から右へ水平に動いたとき、図(C)のようにりんごの動く方向の輪郭の出力が低く（黒）、その反対側の輪郭の出力が高く（白）現れ、動きの無い垂直方向には殆ど応答していないことが分かる。
このようにチップシステムを構成することで「平滑化画像」「輪郭強調画像」「動き画像」を並列に出力することができる。
【００３３】
つぎに、図１８に、マルチチップシステムによる両眼立体視システムの構成図の一例を示す。
図に示すように、画像取得用のタイプ１のチップ５１、５２を２つ用意することで両眼立体視といった複雑な画像処理システムにも対応できる。
２つのタイプ１チップ５１、５２の出力を複数の視覚機能チップ５３、５４、５５、５６に入力し並列に視覚情報を取り出す。その後、これらの情報を統合することで一般的な直列画像処理系が不得てとする対応点問題を精度良く高速に解く事が可能になりえる。
【００３４】
ここでは、視覚機能チップ５３、５６は上述の動き検出チップとして機能し、視覚機能チップ５４、５５は、上述の輪郭強調チップとして機能する。また、視覚機能チップ５７は、動き検出チップを応用して、２つの各視覚機能チップ５４、５５の出力を入力することで、その差分を検出する機能を有する。
【００３５】
５．回路例
図１９に、アクティブピクセルセンサの回路図の一例を示す。
この例では、フォトセンサを電荷蓄積型で使用し、出力にソースフォロア回路を付加することで、アクティブピクセルセンサ（ＡＰＳ）の構成となる。初期化時に、出力がＭＯＳの閾値分下がるので、ソースフォロア回路には、ＰＭＯＳソースフォロア（ＰＳＦ）を用いる。
【００３６】
図２０に、ノイズ補償バッファの回路図及び制御信号のタイミングチャートの一例を示す。
ノイズ補償バッファ回路(Noise Compensation Buffer)は、素子のばらつきに起因する回路ノイズを、内蔵されている容量に記憶させることにより補償する回路である（T.Sibano,K.Iizuka,M.Miyamoto,M.Osaka,R.Miyama and A.Kito, ``Matched Filter for DS-CDMA of up to 50MChip/s Based on Sampled Analog Signal Processing'',ISSCC Digest of Tech. Papers, pp.100-101, Feb. 1997.参照）。
【００３７】
図の制御信号のタイミングチャートに従い、動作を説明する。
▲１▼ (SW1 : ON 、SW2 : ref に接続)
このとき、入力V(in) = Vin0 + VN0
（ここで、Vin0：前段にある回路からの入力信号の初期値、VN0：前段の回路ノイズ）
AMPの反転ノードの電圧V(in-) = V(ref) + Voff
(ここで、Voff : AMP のオフセット電圧)
AMP の反転ノードに蓄積された電荷
このとき、AMP の反転ノードがフローティングの状態になり、電荷がそのまま保たれる。（ここまでの動作をリセット動作と呼ぶ。）
▲３▼ (SW1 : OFF 、SW2 : AMP の出力に接続)
このとき、入力V(in) = Vin1 + VN1に変化。
（ここで、Vin1 ： 前段にある回路からの入力信号、VN1 ：Vin1 入力時の前段の回路ノイズ）
AMP の反転ノードに蓄積された電荷
V(out) = - ( C1/C2 )( Vin1 - Vin0 + VN1 - VN0 ) + V(ref)
【００３８】
従って、前段の回路における回路ノイズが一定 (VN0 = VN1) ならば、出力 V(out)
は、自身AMP のオフセットのみならず前段の回路ノイズの影響を受けず、かつ
入力電圧の変化分に比例したものとなる。
なお、ノイズ補償バッファ回路の動作域は、用いるAMP の動作域に依存する。使用するAMP毎の動作域は以下の通り。
・トランスコンダクタンス増幅器 (AMP1) ：入力の負の変化に対して動作
・トランスコンダクタンス増幅器 (AMP2) ：入力の正の変化に対して動作
・ワイドレンジ増幅器 ：入力の正負両方の変化に対して動作
【００３９】
図２１に、抵抗回路網の回路図及び説明図を示す。
この図を用いて、抵抗回路網による超並列画像演算について説明する（C.Mead, "Analog VLSI and Neural Systems'', Addision-Wesley, Reading, MA, 1989.、及びT.Yagi, S.Ohshima and Y.Funahashi, "The role of retinal bipolar cell in early vision: an implication with analogue networks and regularization theory", Biol.Cybern, 77, pp163-171, 1997.参照）。抵抗回路網の出力電圧の分布は、入力電圧を平滑化したものになる。抵抗回路網における電圧分布は、接点(ノード)数が十分多い場合以下のように考えることができる。
【００４０】
図（A）の抵抗回路網の概略図に従い説明する。
k=0 における入力電圧Vk = V0 とし、それ以外はゼロとする(空間インパルス入力)。この入力に対する抵抗回路網の応答電位V1k は、
【００４１】
【数１】
となる。この式は、出力信号が信号源(k=0)から離れるにしたがい指数関数的に減衰することを表している。
また、L1は抵抗回路網の空間定数と呼ばれ、この数値が大きいほど信号が広く伝搬する。
図（B）に空間インパルス入力時の出力電圧分布を２種類の空間定数について計算した結果を示す。実線はL1＝√（10/6），点線は√（10/1）である。両者共に信号源から離れるにしたがい指数関数的に滑らかに減衰している。また、空間定数の大きい点線の方が出力が広く伝播していることが分かる。
【００４３】
任意の入力電位分布Viに対する応答は、式１においてVk = 1としたときの応答と
Viの空間畳み込み積分により
【００４４】
【数２】
と表される。
すなわち画像処理の構成回路として利用する場合、
・入力部に光センサアレイもしくは画素メモリを配列することで入力画像の平滑化処理を超並列で高速に計算できる。
・抵抗素子を可変抵抗で構成することで平滑化領域を自由に調節できる。
【００４６】
【発明の効果】
本発明は、以上のように、１つのチップで実行しようとしている処理を複数のチップに分けて行う、いわゆる「マルチチップシステム」の構成をとることにより、超並列の回路構造で画像処理等の各種処理を行い、実時間で画像処理等の各種処理を実行することができる。また、本発明によると、例えば、CMOSを利用した安価、小型、低消費電力なシステムを提供することができる。さらに、本発明によると、アナログ特有のロバスト性のあるシステムを提供することができる。
【図面の簡単な説明】
【図１】 マルチチップシステムの画像検出処理装置の構成図。
【図２】 タイプ１チップの構成図。
【図３】 タイプ１の画素回路の構成図。
【図４】 タイプ２チップの構成図。
【図５】 タイプ２の画素回路の構成図。
【図６】 注目画素選択のためのシフトレジスタのタイミングチャート。
【図７】 タイプ１の１画素の画素回路の構成図。
【図８】 画素レベルの動作についてのタイミングチャート。
【図９】 抵抗回路網の構成図。
【図１０】 １次元抵抗回路網による輪郭強調のイメージの説明図。
【図１１】 ２層の抵抗回路網による輪郭強調のイメージの説明図。
【図１２】 タイプ２の１画素の画素回路（２）の構成図。
【図１３】 画素レベルの動作についてのタイミングチャート。
【図１４】 フレーム間差分のイメージの説明図。
【図１５】 タイプ２の１画素の画素回路（１）の構成図。
【図１６】 画素レベルの動作についてのタイミングチャート。
【図１７】 マルチチップシステムの構成図。
【図１８】 マルチチップシステムによる両眼立体視システムの図。
【図１９】 アクティブピスセルセンサの回路図。
【図２０】 ノイズ補償バッファの回路図及び制御信号のタイミングチャート。
【図２１】 抵抗回路網の回路図及び説明図。
【図２２】 ビジョンチップの概要構成図。
【図２３】 シングルチップシステムの回路構成図。
【符号の説明】
１ 平滑化チップ
１−１ 光センサ回路
１−２ 平滑化回路
２ 輪郭強調チップ
２−１、３−１、２１１ アナログメモリ
２−２ 輪郭強調回路
３ 動き検出チップ
３−２ 動き検出回路
４ 光学系
１１、２１ 画素回路
１３、２３ 水平シフトレジスタ
１４、２４ 垂直シフトレジスタ
１５、２５、１１４、１１５ スイッチ
１６、２９ 出力用バッファ
１７、２７ 出力ライン
２６ 入力用バッファ
２８ 入力ライン
１１１ 光センサ
１１２、２１２ 処理部
１１３、２１３ アナログ演算器
Claims (9)
- 入力された光信号を電気信号に変換する光センサと、前記光センサからの出力に対して第１のアナログ処理を実行してアナログ画像情報を出力する第１の処理回路とを有する第１の画素回路と、
前記第１の画素回路の前記第１の処理回路からアナログ画像情報を入力して記憶する第２のアナログメモリと、前記第２のアナログメモリから画像情報を読み出し第２のアナログ処理を実行してアナログ画像情報出力する第２の処理回路とを有し、前記第１の画素回路に対応して設けられた第２の画素回路を備え、
前記第１及び第２の画素回路がそれぞれマトリクス状に配置されて各々第１及び第２のチップが形成され、前記第１及び第２の処理回路は、各々の前記第１及び第２のチップにおける近傍の第１及び第２の処理回路からそれぞれアナログ信号を受けて、特性の補償及び第１及び第２のアナログ処理を並列演算により実行するようにした画像検出処理装置。 - 前記第２の画素回路の前記第２の処理回路からアナログ画像を入力して記憶する第３のアナログメモリと、前記第３のアナログメモリから画像情報を読み出し第３のアナログ処理を実行してアナログ画像情報出力する第３の処理回路とを有し、前記第１及び第２の画素回路に対応して設けられた第３の画素回路をさらに備え、
前記第３の画素回路がマトリックス状に配置されて第３のチップが形成され、前記第３の処理回路は、前記第３のチップにおける近傍の第３の処理回路からそれぞれアナログ信号を受けて、特性の補償及び第３のアナログ処理を並列演算により実行するようにした請求項１に記載の画像検出処理装置。 - 前記第１のチップは、画像取得及び取得された画像情報の平滑化処理を実行し、
前記第２のチップは、前記第１のチップからの画像情報に対して輪郭強調処理を実行し、
前記第３のチップは、前記第２のチップからの画像情報に対して動き検出処理を実行することを特徴とする請求項２に記載の画像検出処理装置。 - 前記第１のチップは、
前記第１の画素回路を順次選択して並列演算された出力を読み出す水平シフトレジスタ及び垂直シフトレジスタと、
いずれかの前記第１の画素回路からのアナログ出力を選択するスイッチと、
前記スイッチにより選択されたアナログ出力の出力用バッファとをさらに備えた請求項１乃至３のいずれかに記載の画像検出処理装置。 - 前記第２のチップは、
前記第２の画素回路を順次選択して並列演算された出力を読み出す水平シフトレジスタ及び垂直シフトレジスタと、
いずれかの前記第２の画素回路からのアナログ出力を選択するスイッチと、
前記スイッチにより選択されたアナログ出力を一時蓄積する出力用バッファと、
前記第２の画素回路へのアナログ入力の入力用バッファと
をさらに備えた請求項１乃至４のいずれかに記載の画像検出処理装置。 - 前記第１の画素回路は、
前記光センサが、制御信号により光信号を電気信号に変換するアクティブピクセルセンサを有し、
前記第１の処理回路が、
自らの前記第１の画素回路の前記アクティブピクセルセンサからのアナログ信号と、近傍の第１の画素回路からのアナログ信号が入力され、前記アクティブピクセルセンサからのアナログ入力画像の平滑化を行なう抵抗回路網と、
前記抵抗回路網からのアナログ信号が入力されてアナログ演算を行い、制御信号により入力側の回路素子特性のばらつきと内部の増幅器のオフセットを補償し、回路ノイズを補償するノイズ補償バッファ回路と、
前記ノイズ補償バッファ回路からのアナログ信号を出力するためのスイッチとを備え、画像信号の取得及び平滑化処理を行なうようにした請求項１乃至５のいずれかに記載の画像検出処理回路。 - 前記第２の画素回路は、前記第１の画素回路からの画素信号の入力を制御する第１スイッチをさらに有し、
前記第２のアナログメモリが、内部のコンデンサにアナログ画像を記憶し、
前記第２の処理回路は、
自らの前記第２の画素回路の前記第２のアナログメモリからのアナログ信号と、近傍の第２の画素回路からのアナログ信号が入力され、前記第２のアナログメモリからのアナログ入力画像の平滑化を行なう抵抗回路網と、
前記抵抗回路網の入力及び出力のアナログ信号が制御信号により切替え入力されてアナログ演算を行い、入力側の回路素子特性のばらつきと内部の増幅器のオフセットを補償し、回路ノイズを補償するノイズ補償バッファ回路と、
前記ノイズ補償バッファ回路からのアナログ信号を出力するためのスイッチとを備え、輪郭強調処理を行なうようにした請求項１乃至６のいずれかに記載の画像検出処理回路。 - 前記第３の画素回路は、
前記第２の画素回路からの画素信号の入力を制御する第１スイッチをさらに有し、
前記第３のアナログメモリが、内部のコンデンサにアナログ画像を記憶し、
前記第３の処理回路が、
制御信号により、前記アナログメモリから画像情報を読出し、現在の画像情報と１時刻前の画像情報との差に比例したアナログ信号を出力し、かつ、入力側の回路素子特性のばらつきと内部の増幅器のオフセットを補償し、回路ノイズを補償するノイズ補償バッファ回路と、
前記ノイズ補償バッファ回路からのアナログ信号を出力するための第２スイッチと
を備え、動き検出処理を行なうようにした請求項２乃至７のいずれかに記載の画像検出処理回路。 - 画像取得及び平滑化処理を実行する前記第１のチップと、前記第１のチップ出力に対し、輪郭強調処理を実行する前記第２のチップと、動き検出処理を出力する前記第３のチップとを有し、それぞれ左目及び右目に対応する画像処理を実行する左目用チップ及び右目用チップと、
左目及び右目に対応する前記第２のチップからの出力に対して、視差を求める処理を実行する第４のチップと、
前記第１から第４のチップの出力を統合する統合部とを備えた請求項２乃至８のいずれかに記載の画像検出処理回路。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001269120A JP3833088B2 (ja) | 2001-09-05 | 2001-09-05 | 画像検出処理装置 |
| TW091118482A TW583879B (en) | 2001-09-05 | 2002-08-16 | Image sensing/processing apparatus |
| PCT/JP2002/008915 WO2003023712A1 (fr) | 2001-09-05 | 2002-09-03 | Appareil capteur d'images |
| CA002459220A CA2459220A1 (en) | 2001-09-05 | 2002-09-03 | Image sensing apparatus |
| CNB028173562A CN1278276C (zh) | 2001-09-05 | 2002-09-03 | 图像检测处理装置 |
| US10/488,447 US7369162B2 (en) | 2001-09-05 | 2002-09-03 | Image sensing apparatus |
| EP02765404A EP1435588A1 (en) | 2001-09-05 | 2002-09-03 | Image sensing apparatus |
| KR1020047002701A KR100592378B1 (ko) | 2001-09-05 | 2002-09-03 | 화상검출 처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001269120A JP3833088B2 (ja) | 2001-09-05 | 2001-09-05 | 画像検出処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003078829A JP2003078829A (ja) | 2003-03-14 |
| JP3833088B2 true JP3833088B2 (ja) | 2006-10-11 |
Family
ID=19094995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001269120A Expired - Fee Related JP3833088B2 (ja) | 2001-09-05 | 2001-09-05 | 画像検出処理装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7369162B2 (ja) |
| EP (1) | EP1435588A1 (ja) |
| JP (1) | JP3833088B2 (ja) |
| KR (1) | KR100592378B1 (ja) |
| CN (1) | CN1278276C (ja) |
| CA (1) | CA2459220A1 (ja) |
| TW (1) | TW583879B (ja) |
| WO (1) | WO2003023712A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2007002073A (es) * | 2004-08-23 | 2007-04-24 | Sony Corp | Dispositivo de captacion de imagen, metodo de procesamiento de resultado de captacion de imagen y circuito integrado. |
| JP4277216B2 (ja) * | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
| CN101064787B (zh) * | 2006-04-29 | 2010-08-11 | 格科微电子（上海）有限公司 | 一种cmos图像传感器像素 |
| US8426793B1 (en) * | 2007-10-04 | 2013-04-23 | Geoffrey L. Barrows | Vision sensor |
| EP2485127A4 (en) * | 2009-09-30 | 2014-07-30 | Sharp Kk | DISPLAY DEVICE |
| US8761520B2 (en) | 2009-12-11 | 2014-06-24 | Microsoft Corporation | Accelerating bitmap remoting by identifying and extracting 2D patterns from source bitmaps |
| CN103057262A (zh) * | 2011-10-24 | 2013-04-24 | 致伸科技股份有限公司 | 用于印刷装置的印刷控制方法与印刷装置 |
| US9449257B2 (en) * | 2012-12-04 | 2016-09-20 | Institute Of Semiconductors, Chinese Academy Of Sciences | Dynamically reconstructable multistage parallel single instruction multiple data array processing system |
| JP2015056700A (ja) * | 2013-09-10 | 2015-03-23 | 株式会社東芝 | 撮像素子、撮像装置および半導体装置 |
| JP2016063118A (ja) | 2014-09-19 | 2016-04-25 | 株式会社東芝 | 撮像素子、撮像装置および半導体装置 |
| KR102457724B1 (ko) * | 2015-09-22 | 2022-10-24 | 삼성전자주식회사 | 영상 처리를 수행하기 위한 방법 및 그 전자 장치 |
| JP7217227B2 (ja) * | 2017-05-02 | 2023-02-02 | 株式会社半導体エネルギー研究所 | 撮像装置、及び電子機器 |
| JP6419923B2 (ja) * | 2017-10-24 | 2018-11-07 | 株式会社東芝 | 撮像装置 |
| JP7501369B2 (ja) * | 2018-12-05 | 2024-06-18 | ソニーグループ株式会社 | 撮像素子、撮像装置および方法 |
| CN110648273B (zh) * | 2019-09-27 | 2021-07-06 | 中国科学院长春光学精密机械与物理研究所 | 实时图像处理装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6457550U (ja) * | 1987-10-06 | 1989-04-10 | ||
| US5187581A (en) * | 1990-09-11 | 1993-02-16 | Kabushiki Kaisha Toshiba | Solid state image sensing device including nonlinear conversion processing of input light levels |
| US5440079A (en) * | 1993-06-21 | 1995-08-08 | Rockwell International Corporation | Object-background discrimination using analog VLSI circuit |
| JPH0785260A (ja) * | 1993-09-14 | 1995-03-31 | Nippon Steel Corp | ２次元センサ装置 |
| JPH0854283A (ja) * | 1994-08-10 | 1996-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 画像入力装置 |
| US6362482B1 (en) * | 1997-09-16 | 2002-03-26 | Advanced Scientific Concepts, Inc. | High data rate smart sensor technology |
| JP4458678B2 (ja) * | 1998-10-07 | 2010-04-28 | 浜松ホトニクス株式会社 | 高速視覚センサ装置 |
| JP3959925B2 (ja) * | 2000-04-10 | 2007-08-15 | ソニー株式会社 | 画像処理装置及び撮像素子 |
-
2001
- 2001-09-05 JP JP2001269120A patent/JP3833088B2/ja not_active Expired - Fee Related
-
2002
- 2002-08-16 TW TW091118482A patent/TW583879B/zh not_active IP Right Cessation
- 2002-09-03 CN CNB028173562A patent/CN1278276C/zh not_active Expired - Fee Related
- 2002-09-03 CA CA002459220A patent/CA2459220A1/en not_active Abandoned
- 2002-09-03 EP EP02765404A patent/EP1435588A1/en not_active Withdrawn
- 2002-09-03 KR KR1020047002701A patent/KR100592378B1/ko not_active IP Right Cessation
- 2002-09-03 US US10/488,447 patent/US7369162B2/en not_active Expired - Fee Related
- 2002-09-03 WO PCT/JP2002/008915 patent/WO2003023712A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP1435588A1 (en) | 2004-07-07 |
| US20050062853A1 (en) | 2005-03-24 |
| KR20050025115A (ko) | 2005-03-11 |
| CN1552040A (zh) | 2004-12-01 |
| KR100592378B1 (ko) | 2006-06-22 |
| CN1278276C (zh) | 2006-10-04 |
| US7369162B2 (en) | 2008-05-06 |
| TW583879B (en) | 2004-04-11 |
| JP2003078829A (ja) | 2003-03-14 |
| CA2459220A1 (en) | 2003-03-20 |
| WO2003023712A1 (fr) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3833088B2 (ja) | 画像検出処理装置 | |
| JP5347341B2 (ja) | 固体撮像装置、撮像装置、電子機器、ａｄ変換装置、ａｄ変換方法 | |
| JP6929403B2 (ja) | 撮像素子及び撮像装置 | |
| CN110650303B (zh) | 图像传感器、像素阵列和图像传感器的操作方法 | |
| JP2010528568A (ja) | スイッチレスのアクティブ画素を有する電流／電圧モード画像センサ | |
| KR20120006961A (ko) | 데이터 처리 방법, 데이터 처리 장치, 물리량 분포 검지용 반도체 장치 및 전자 장치 | |
| JP6100443B2 (ja) | Ｃｍｏｓ撮像センサのために適合された増幅器 | |
| US10038863B2 (en) | Image sensing device | |
| US5917960A (en) | Image correlator, an image processing apparatus using the same, and a signal adder used in the image correlator | |
| JP4770563B2 (ja) | 撮像装置 | |
| JP3308146B2 (ja) | 固体撮像装置 | |
| JP2003009003A (ja) | 撮像装置および撮像システム | |
| JP6779038B2 (ja) | 撮像素子及びその制御方法、撮像装置及びその制御方法 | |
| US8587698B2 (en) | Image sensor and method for operating the same | |
| KR100224557B1 (ko) | 반도체 장치, 연산 장치, 신호 변환기, 및 반도체 장치를 이용한 신호 처리시스템 | |
| JP4928068B2 (ja) | 撮像装置及び撮像システム | |
| JP6529352B2 (ja) | 撮像装置及び撮像システム | |
| JP3872333B2 (ja) | 物体表面形状計測装置 | |
| JP2614137B2 (ja) | 位相差検出装置 | |
| JPH0865580A (ja) | 撮像装置 | |
| JP4354081B2 (ja) | Ｘ−ｙアドレス選択型固体撮像素子 | |
| JP6796776B2 (ja) | 電圧供給回路 | |
| WO2022113469A1 (ja) | 撮像装置 | |
| Meynants et al. | Sensor for optical flow measurement based on differencing in space and time | |
| JPH04192684A (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060718 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |