JPH10145680A

JPH10145680A - 高速視覚センサ装置

Info

Publication number: JPH10145680A
Application number: JP8296594A
Authority: JP
Inventors: Haruyoshi Toyoda; 晴義豊田; Masatoshi Ishikawa; 正俊石川
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 1996-11-08
Filing date: 1996-11-08
Publication date: 1998-05-29
Anticipated expiration: 2016-11-08
Also published as: JP3834113B2

Abstract

(57)【要約】【課題】本発明は、高速の画像処理が可能で、安定し
て製造可能な多画素数の高速視覚センサ装置を提供する
ことを課題としている。【解決手段】受光素子アレイ１１の各列の受光素子１
２０に対して１個のＡ／Ｄ変換器２１０を対応させたＡ
／Ｄ変換器アレイ１３と、受光素子１２０と１対１に対
応する演算素子４００からなる演算素子アレイ１４とを
備えている。演算素子４００は並列処理により画像処理
演算を高速で行うことができる。また、Ａ／Ｄ変換器２
１０を各列ごとに対応させたため、受光素子アレイ１１
と演算素子アレイ１３間の伝送路が少なく、両者を分離
して製造・配置でき、集積度を最適化し、多画素化に対
応できると同時に、安定した製造が行える利点がある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理機能を備
えた高速視覚センサ装置に関する。

【０００２】

【従来の技術】人間の視覚系では階層的並列処理が行わ
れている。これに対して、従来の工学的視覚センサで
は、情報を効率的に伝送するために走査機構が用いられ
てきた。この走査機構は、並列の配線が難しく、各検出
器からの情報を少ない本数の通信路で伝送するのには適
しているが、その一方で、大量の情報を一本の通信路で
送る必要があるため、１画像全体を伝送する速度は限ら
れる。

【０００３】このため、既存の画像取込装置と画像処理
装置５０２を組み合わせた現状のビジョンシステム、例
えば、図９に示すような、対象物５００をテレビカメラ
５０１で撮影して、画像データを画像処理装置５０２に
伝送するシステムでは、伝送速度はビデオ信号の制約で
ある１フレームあたり約３３ミリ秒が限界で、たとえ高
速の画像処理装置を組み合わせたとしても、この伝送速
度以上の高速での画像処理はできなかった。つまり、こ
の伝送速度が画像処理システム全体のＩ／Ｏボトルネッ
クとなっていた。例えば、時速１００キロで走行する車
において道路上の危険を検知する画像処理装置を考えた
場合、上記のシステムの限界速度である約３３ミリ秒で
は車が１ｍ移動するため、遅すぎて実用にならなかっ
た。

【０００４】ところで、ＦＡシステムにおいてロボット
を高速で動作させるためには、高速の画像処理が必要と
される。例えば、視覚センサとアクチュエータの間でフ
ィードバックループを形成するロボットの場合、アクチ
ュエータはミリ秒単位で制御可能であるため、本来はこ
れに対応した画像処理速度が必要になる。ところが、現
状のビジョンシステムでは画像処理速度が上述のビデオ
フレームレートに限られているため、この画像処理速度
に合わせた低速動作しかできず、ロボットの性能を十分
に活かしきれていなかった。

【０００５】一方、高速ＣＣＤカメラの中には１ミリ秒
程度で画像を撮像できるものもあるが、これらは撮像し
た画像をいったんメモリに貯えて、後から読み出して処
理を行う機構になっているため、画像解析などの用途に
は使えるが、実時間性はほとんどなく、ロボット制御な
どの用途には適用できなかった。

【０００６】このような問題を解決するため、画像の取
込部と処理部を一体として取り扱うビジョンチップの研
究が進んでおり、マサチューセッツ工科大学、カリフォ
ルニア工科大学、三菱電機などの研究が知られている。
しかし、これらは主として集積化の容易なアナログの固
定回路を用いており、出力信号の後処理が必要であった
り、画像処理の内容が特定用途に限定されていて汎用性
がないなどの問題点があった。

【０００７】これらに対して汎用的な画像処理を行うこ
とができるビジョンチップとしては、特公平７−６２８
６６号の発明が知られている。この発明は、マトリクス
状に配置された受光素子アレイの各受光素子の出力を、
それぞれ１つの対応する演算素子に入力し、並列処理す
るものである（以下従来例１と呼ぶ）。これにより、演
算素子への入力時間、演算時間が短縮され、各種の演算
にも対応できる利点がある。

【０００８】

【発明が解決しようとする課題】しかしながら、この従
来例１の発明では、ＬＳＩ上に占める演算素子の面積
が、受光素子の面積よりも大きく、ＬＳＩに集積できる
トランジスタ数には限界があるため、画素数が多く取れ
ないという欠点があった。

【０００９】これを解決するため、この特公平７−６２
８６６号には、受光素子１列に対し、一つの演算素子を
対応させる装置が挙げられている（以下従来例２と呼
ぶ）。また、特開平７−１７７４３５号の発明は、受光
素子と演算素子を１次元に配置している（以下従来例３
と呼ぶ）。これらは、演算素子が１次元であるため、演
算時に走査処理が必要になり、それに時間がかかって、
高速処理できないという欠点があった。

【００１０】また、特開平７−８５２６０号の発明で
は、１個の演算素子に複数の受光素子を対応させている
（以下従来例４と呼ぶ）。これも演算時間がかかるとい
う欠点があると共に、演算素子と同じ領域に特性の揃っ
た受光素子を作ることが難しく、実用に至っていない。

【００１１】そこで、本発明は、高速の画像処理が可能
で、安定して製造可能な多画素数の高速視覚センサ装置
を提供することを課題としている。

【００１２】

【課題を解決するための手段】本発明の高速視覚センサ
装置は、複数の受光素子が２次元状に配列された受光素
子アレイと、受光素子アレイの各列に対応して設けら
れ、対応する１列中の受光素子から順次読み出された出
力信号をアナログ・デジタル変換する複数のＡ／Ｄ変換
器を有し、これらの複数のＡ／Ｄ変換器が１次元状に配
列されて構成されるＡ／Ｄ変換器アレイと、受光素子ア
レイの各受光素子と１対１に対応して設けられ、Ａ／Ｄ
変換器アレイから転送された対応する受光素子の出力信
号に相当するデジタル信号について所定の演算を行う複
数の演算素子を有し、これらの複数の演算素子を２次元
状に配列して、並列演算処理を行う演算素子アレイと、
受光素子アレイ及びＡ／Ｄ変換器アレイ並びに演算素子
アレイを制御する制御回路とを備える。

【００１３】本発明によれば、受光素子と演算素子とが
１対１に対応しているため、画像処理の演算を並列処理
により高速で行うことができる。また、Ａ／Ｄ変換器で
各列毎に分割してデータを演算素子に転送するため、こ
の部分の伝送路の本数が少なく、受光素子アレイと演算
器アレイを分離することが容易である。このため、双方
とも高集積化が可能で、画素数を増やすことができる。
また、安定した生産が可能となる。

【００１４】また、制御回路は、Ａ／Ｄ変換器アレイの
各列から対応する各演算素子へのデータ転送時に平行し
て各列内の演算素子間でのデータ転送及び演算を行い、
全データ転送後に各列間のデータ転送及び演算を行うよ
う、演算素子アレイを制御する。これにより、演算素子
間のデータ転送や演算にようする時間の無駄を省いて、
効率的な処理を行うことができる。

【００１５】さらに、Ａ／Ｄ変換器は、制御回路から送
出された制御信号により、Ａ／Ｄ変換時の階調を可変す
る機構を備えてもよい。これにより、用途に応じて、低
階調でも高速で読み込んだり、低速でも高階調で読み込
むなどの使い分けが可能となる。

【００１６】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。図１は、本実施形態に係る高速視
覚センサ装置のブロック図である。

【００１７】まず、図１により、センサ装置全体の構成
を簡単に説明する。本実施形態の高速視覚センサ装置
は、Ｎ１個×Ｎ２個の２次元状に配置された受光素子１
２０からなる受光素子アレイ１１と、受光素子アレイ１
１の１列ごとに対応して受光素子から出力された電荷を
電圧信号に変換するＮ２個のチャージアンプ２２１から
なる並列アンプ１２と、チャージアンプからの出力信号
をＡ／Ｄ変換するＮ２個のＡ／Ｄ変換器２１０からなる
Ａ／Ｄ変換器アレイ１３と、受光素子１２０と１対１に
対応するＮ１個×Ｎ２個の演算素子４００からなる演算
素子アレイ１４と、回路全体に命令信号等を送って制御
する制御回路１５及び制御回路１５からの信号を各回路
に送るインストラクション／コマンドバス１６により構
成されている。

【００１８】図２は、装置の構成例を示したものであ
る。受光素子アレイ１１と演算素子アレイ１４を別々の
基板に形成することで、双方を高集積化することが可能
であり、また、それぞれの装置の特性に合わせた加工工
程を採用できるため、安定した生産が可能となる。

【００１９】続いて、各回路の内部構成について説明す
る。図３は、画像取込部の詳細構成を示している。画像
取込部は、光を検出する受光部１００（図１に示す受光
素子アレイ１１に相当）、受光部１００からの出力信号
を処理する信号処理部２００（図１に示す並列アンプ１
２及びＡ／Ｄ変換器アレイ１３に相当）、受光部１００
及び信号処理部２００に動作タイミングの指示信号を通
知するタイミング制御部３００（図１に示す制御回路１
５の一部に相当）を備えている。

【００２０】最初に、図３により、図１の受光素子アレ
イ１１に相当する受光部１００の構成を説明する。受光
素子１２０は、入力した光強度に応じて電荷を発生する
光電変換素子１３０と、光電変換素子１３０の信号出力
端子に接続され、垂直走査信号Ｖ_i（ｉ＝１〜Ｎ１）に
応じて光電変換素子１３０に蓄積された電荷を出力する
スイッチ素子１４０を１組として構成されている。この
受光素子１２０が第１の方向（以下垂直方向と呼ぶ）に
沿ってＮ１個配置され、各受光素子１２０のスイッチ素
子１４０が電気的に接続されて垂直受光部１１０を構成
している。そして、この垂直受光部１１０を垂直方向に
直交する水平方向に沿ってＮ２個配列することにより受
光部１００が構成されている。

【００２１】次に、同じく図３により、図１では並列ア
ンプ１２及びＡ／Ｄ変換器アレイ１３に相当する信号処
理部２００の構成を説明する。信号処理部２００は、対
応する垂直受光部１１０_j（ｊ＝１〜Ｎ２）から転送さ
れてきた電荷を個別に取り出して、処理し、この電荷強
度に対応するデジタル信号を出力するＡ／Ｄ変換器２１
０_jをＮ２個配置して構成されている。Ａ／Ｄ変換器２
１０_jは、チャージアンプ２２１_jを含む積分回路２２０
_jと比較回路２３０_jと容量制御機構２４０_jの３つの回
路から構成される。本実施形態では、チャージアンプ２
２１をＡ／Ｄ変換器２２１に含む回路構成になってい
る。

【００２２】このうち、積分回路２２０_jは、垂直受光
部１１０_jからの出力信号を入力として、この入力信号
の電荷を増幅するチャージアンプ２２１_jと、チャージ
アンプ２２１_jの入力端子に一方の端が接続され、出力
端子に他方の端が接続された可変容量部２２２_jと、チ
ャージアンプ２２１_jの入力端子に一方の端が接続さ
れ、出力端子に他方の端が接続されて、リセット信号Ｒ
に応じてＯＮ、ＯＦＦ状態となり、積分回路２２０_jの
積分、非積分動作を切り替えるスイッチ素子２２３_jか
らなる。

【００２３】ここで、図４は、この積分回路２２０の詳
細構成図である。本図は、４ビットつまり１６階調の分
解能を持つＡ／Ｄ変換機能を備える積分回路の例であ
り、以下、この回路構成により説明する。可変容量部２
２２は、チャージアンプ２２１の垂直受光部からの出力
信号の入力端子に一方の端子が接続された容量素子Ｃ１
〜Ｃ４と、容量素子Ｃ１〜Ｃ４の他方の端子とチャージ
アンプ２２１の出力端子の間に接続され、容量指示信号
Ｃ₁₁〜Ｃ₁₄に応じて開閉するスイッチ素子ＳＷ１１〜Ｓ
Ｗ１４と、容量素子Ｃ１〜Ｃ４とスイッチ素子ＳＷ１１
〜ＳＷ１４の間に一方の端子が接続され、他方の端子が
ＧＮＤレベルと接続されて、容量指示信号Ｃ₂₁〜Ｃ₂₄に
応じて開閉するスイッチ素子ＳＷ２１〜ＳＷ２４により
構成されている。なお、容量素子Ｃ１〜Ｃ４の電気容量
Ｃ₁〜Ｃ₄は、Ｃ₁＝２Ｃ₂＝４Ｃ₃＝８Ｃ₄ Ｃ₀＝Ｃ₁＋Ｃ₂＋Ｃ₃＋Ｃ₄ の関係を満たす。ここで、Ｃ₀は積分回路２２０で必要
とする最大電気容量であり、受光素子１３０（図３参
照）の飽和電荷量をＱ₀、基準電圧をＶ_REFとすると、Ｃ₀＝Ｑ₀／Ｖ_REF の関係を満たす。

【００２４】再び、図３に戻り、Ａ／Ｄ変換器２１０_j
の積分回路２２０_j以外の回路を説明する。比較回路２
３０_jは、積分回路２２０_jから出力された積分信号Ｖ_S
の値を基準値Ｖ_REFと比較して、比較結果信号Ｖ_Cを出力
する。容量制御機構２４０_jは、比較結果信号Ｖ_Cの値か
ら積分回路２２０_j内の可変容量部２２２_jに通知する容
量指示信号Ｃを出力すると共に、容量指示信号Ｃに相当
するデジタル信号Ｄ１を出力する。

【００２５】続いて、図３に示すタイミング制御部３０
０の構成を説明する。全回路のクロック制御を行う基本
タイミングを発生する基本タイミング部３１０と、基本
タイミング部３１０から通知された垂直走査指示に従っ
て、垂直走査信号Ｖ_iを発生する垂直シフトレジスタ３
２０と、リセット指示信号Ｒを発生する制御信号部３４
０により構成されている。

【００２６】次に、図５に示すブロック図を用いて、演
算素子アレイ１４を構成する演算素子４００の構成を説
明する。演算素子４００は、Ａ／Ｄ変換器２１０から送
られてきた対応する受光素子１２０の４近傍の出力信号
に相当するデジタル信号Ｄ１を収容する４×８ビットの
ランダムアクセス可能な１ビットシフトのレジスタマト
リックス４０１と、演算信号をそれぞれ収容するＡラッ
チ４０２、Ｂラッチ４０３、及び下位ビットから１ビッ
トずつ順次演算する順次ビットシリアル演算を行う演算
論理ユニット（ＡＬＵ）４０４で構成されている。ＡＬ
Ｕ４０４にはＡＮＤ、ＯＲ、ＸＯＲ、ＡＤＤの演算機能
が用意されている。演算素子４００は、各素子が共通の
制御信号で制御されるＳＩＭＤ型の並列処理を行う構造
になっている。これにより、１素子あたりのトランジス
タ数を削減し、演算素子アレイ１４の集積化を図り、素
子数を増やすことができる。

【００２７】次に、図２〜図５により、本実施形態の動
作について説明する。

【００２８】まず、リセット信号Ｒを有為に設定し、図
４に示す可変容量部２２２のＳＷ１１〜ＳＷ１４を全て
「ＯＮ」、ＳＷ２１〜ＳＷ２４を全て「ＯＦＦ」状態に
する。これにより、チャージアンプ２２１の入力端子と
出力端子間の容量値をＣ₀に設定する。それと同時に、
図３に示す全てのスイッチ素子１４０を「ＯＦＦ」状態
とし、垂直走査信号Ｖｉをいずれの受光素子１２０_i,j
も選択しない状態に設定する。この状態から、リセット
指示信号Ｒを非有為に設定し、各積分回路２２０での積
分動作を開始させる。

【００２９】積分動作を開始させると、図３に示すＮ２
個の各垂直受光部１１０_jにある第１番目の受光素子１
２０_1,jのスイッチ素子１４０のみを「ＯＮ」とする垂
直走査信号Ｖ₁が出力される。スイッチ素子が「ＯＮ」
になると、それまでの受光によって光電変換素子１３０
に蓄積された電荷Ｑ₁は、電流信号として受光部１００
から出力される。つまり、光電変換素子の信号を読み出
すことができる。電荷Ｑ₁は容量値Ｃ₀に設定された可変
容量部２２２に流入する。

【００３０】次に、図４により積分回路２２０内部の動
作を説明する。容量制御機構２４０（図３参照）は、Ｓ
Ｗ１２〜ＳＷ１４を開放した後、ＳＷ２２〜２４を閉じ
る。この結果、積分信号Ｖ_Sは、Ｖ_S＝Ｑ／Ｃ₁ で示す電圧値として出力される。積分信号Ｖ_Sは、比較
回路２３０に入力して、基準電圧値Ｖ_REFと比較され
る。ここで、Ｖ_SとＶ_REFの差が、分解能の範囲以下、す
なわち±（Ｃ₄／２）以下の時は、一致したものとみな
し、更なる容量制御は行わず、積分動作を終了する。分
解能の範囲で一致しないときは、更に容量制御を行い、
積分動作を続ける。

【００３１】例えば、Ｖ_S＞Ｖ_REFであれば、容量制御機
構２４０は、更に、ＳＷ２２を開放した後に、ＳＷ１２
を閉じる。この結果、積分信号Ｖ_Sは、Ｖ_S＝Ｑ／（Ｃ₁＋Ｃ₂）で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較
回路２３０（同）に入力して、基準電圧値Ｖ_REFと比較
される。

【００３２】また、Ｖ_S＜Ｖ_REFであれば、容量制御機構
２４０は、更に、ＳＷ１１及びＳＷ２２を開放した後
に、ＳＷ１２及びＳＷ２１を閉じる。この結果、積分信
号Ｖ_Sは、Ｖ_S＝Ｑ／Ｃ₂ で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較
回路２３０に送出され、基準電圧値Ｖ_REFと比較され
る。

【００３３】以後、同様にして、積分回路２２０→比較
回路２３０→容量制御機構２４０→積分回路２２０のフ
ィードバックループによって、積分信号Ｖ_Sが基準電圧
値Ｖ_R _EFと分解能の範囲で一致するまで、比較及び容量
設定（ＳＷ１１〜ＳＷ１４及びＳＷ２１〜ＳＷ２４のＯ
Ｎ／ＯＦＦ制御）を順次繰り返す。積分動作が終了した
時点のＳＷ１１〜ＳＷ１４のＯＮ／ＯＦＦ状態を示す容
量指示信号Ｃ₁₁〜Ｃ₁₄の値は、電荷Ｑ₁の値に対応した
デジタル信号であり、最上位ビット（ＭＳＢ）の値がＣ
₁₁、最下位ビット（ＬＳＢ）の値がＣ₁₄である。こうし
てＡ／Ｄ変換が行われ、これらの値をデジタル信号Ｄ１
として、演算素子アレイ１４に出力する。以上述べたよ
うに、この装置では、デジタル信号Ｄ１の各ビット値
は、ＭＳＢ側からＬＳＢ側へ１ビットずつ順に定まる。

【００３４】第１番目の受光素子１２０_1,jの光電出力
に相当するデジタル信号の送出が終了すると、リセット
信号Ｒが有為とされ、再び、非有為にして、可変容量部
２２２_jの容量値を初期化した後に、各垂直受光部１１
０_jの第２番目の受光素子１２０_2,jのスイッチ素子１４
０のみを「ＯＮ」とする垂直走査信号Ｖ₂を出力し、上
述と同様の動作により、第２番目の受光素子１２０_2,j
の光電出力を読み出し、これに相当するデジタル信号を
送出する。以下、垂直走査信号を切り替えて、全受光素
子１２０の光電出力を読み出し、相当するデジタル信号
を演算素子アレイ１４に出力する。

【００３５】次に、演算素子４００の動作を図５により
説明する。Ａ／Ｄ変換されたデジタル信号は、それぞれ
の受光素子１２０_i,jに対応する演算素子４００のレジ
スタマトリックス４０１に送られる。演算素子４００は
それぞれ４近傍接続されているため、インストラクショ
ンで順次隣の演算素子４００に信号を送るように命令を
出すことで転送する演算素子４００の指定ができる。各
垂直受光部１１０_jの信号は対応する演算素子４００に
対して、各列が同時に転送されるため、ｎビット×Ｎ２
回のデータ転送で、全受光素子１２０の光電出力データ
が全演算素子４００に転送されることになる。

【００３６】演算素子４００内部の演算は、必要があれ
ば、各演算素子４００間でそれぞれのレジスタマトリッ
クス４０１に収容された信号の転送を行った後、演算に
必要な信号をレジスタマトリックス４０１からＡラッチ
４０２とＢラッチ４０３に読み出し、ＡＬＵ４０４で所
定の演算を行い、計算結果はレジスタマトリックス４０
１を介して外部回路に出される。演算は全演算素子４０
０において同時に並列処理されるため、極めて高速の演
算が可能である。以下に、「エッジ抽出」を例にとり、
画像処理の実行動作を詳細に説明する。

【００３７】例に挙げる「エッジ抽出」は画像処理にお
いて最も頻繁に利用される処理である。最も簡単に演算
する場合は、隣接する画素の強度値との差分による２近
傍演算が用いられる。これを数式で表すと、Ｉ’（ｘ，ｙ）＝｜Ｉ（ｘ，ｙ）−Ｉ（ｘ−１，ｙ）｜となる。ここで（ｘ，ｙ）は素子の位置座標、Ｉ（ｘ，
ｙ）は画像強度データの値、Ｉ’（ｘ，ｙ）は求めたい
エッジ抽出画像の画像強度データの値である。

【００３８】転送から演算終了までの各演算素子４００
における演算のフロー図を図６に示す。Ａ／Ｄ変換器２
１０から演算素子４００へのデータ転送の際に、Ｉ
（ｘ，ｙ）とＩ（ｘ−１，ｙ）に相当するデータを各演
算素子４００内のレジスタマトリックス４０１に格納す
る。これにより、Ａ／Ｄ変換器アレイ１１からのデータ
転送が終了した後の各演算素子４００間でのデータ転送
をできる限り省略して、効率的で高速の処理をすること
が可能になる。Ａ／Ｄ変換器２１０から全演算素子４０
０へのデータ転送が終了した時点で、レジスタマトリッ
クス４０１に収容されたＩ（ｘ，ｙ）とＩ（ｘ−１，
ｙ）のデータを下位ビットからＡラッチ４０２とＢラッ
チ４０３に読み出し、ＡＬＵ４０４により、差分を求め
る演算を行う。この計算結果はいったんレジスタマトリ
ックス４０１に格納する。差分が求まった後、この差分
値を再びＡラッチ４０２に読み出し、ＡＬＵ４０４によ
り、その絶対値を算出し、レジスタマトリックス４０１
に計算結果を格納し、外部に出力する。以上の計算処理
は全ての演算素子４００で同時に並列処理されるため、
非常に高速で演算処理が行われる。

【００３９】画像処理でよく用いられるアルゴリズムの
いくつかについて、本実施形態により演算を行った場合
のステップ数、処理時間の例を図７に示す。図７から明
らかなように、本実施形態では、一般的な画像処理（例
えば、平滑化、細線化、コンボリューション、相関、マ
スク処理）演算を完全並列処理により、非常に高速で行
うことができる。したがって、これまでの視覚センサ装
置では、演算処理速度が遅いために制限されていたＦＡ
ロボット制御などの分野への応用が可能になる。

【００４０】さらに、本実施形態では、受光素子１２０
の列毎にデータを転送しているため、列全体のデータを
使用するような画像演算を、転送と同時に行うことで、
より効率的な処理を行うことができる。例えば、図８に
例示する画像の強度の合計値、平均値、重心、最大値・
最小値の検出、などの画像処理演算においては、画像全
体の情報を必要とするため、受光素子１２０−Ａ／Ｄ変
換器２１０−演算素子４００を１対１に対応させた完全
な並列処理システムにおいても、演算素子４００間のデ
ータ転送に要する時間が長くなる。しかし、本実施形態
では、データが受光素子１２０の列毎に転送される構成
になっているため、このデータ転送を利用して演算素子
４００間のデータ転送を省略することにより、列全体の
データを利用する処理を効率的に行うことができる。

【００４１】例として画像強度の合計値を演算する場合
について、図３、図５を参照して説明する。演算は、１
列分の画像データが全て通過することになるＡ／Ｄ変換
器からの信号を最初に受け取る位置（１，ｙ）の演算素
子４００（以下第１の演算素子と呼ぶ）において行う。
まず、全演算素子４００のレジスタ４０１を０にセット
する。そして、位置（ｘ，ｙ）の受光素子１２０からの
画像強度のデータＩ（ｘ，ｙ）を対応する位置（ｘ，
ｙ）の演算素子４００に転送する際に、このデータを位
置（１，ｙ）にある第１の演算素子４００においてレジ
スタ５１内のデータと加算して、計算結果により記憶さ
れたデータを置き換える。１列分のデータ転送が終了し
た時点で、各列の第１の演算素子４００には、１列分の
画像強度の合計値Ｇ（ｙ）が蓄えられている。これを行
方向に加算していけば、画像全体の画像強度の合計値Ｇ
を得ることができる。

【００４２】実際の画像処理では、図７に示した画像処
理演算と図８に示した列あるいは画像全体のデータを使
用するような演算を組み合わせて使用することが多く、
このような演算では、本実施形態のような部分並列型の
処理システムでも完全並列処理システムとほぼ同等の高
速処理が可能となる。一方、本実施形態では、上述した
ように、画像取込部と画像処理部を分離できるため、そ
れぞれの特性に合わせて製造することが可能で、製作が
容易かつ安定した生産が可能になる。

【００４３】本実施形態が目指しているのは、実用的な
高速性と十分な解像度を有する画像処理システムであ
る。解像度の目安としては、ＦＡシステムにおけるロボ
ット制御には、受光素子１２０を１２８×１２８個以上
配列する解像度が必要とされる。従来例１によれば、受
光素子１２０の配列数を増やすことが難しいため、ここ
まで解像度を上げることは困難だった。本実施形態によ
れば、受光素子アレイ１１と演算素子アレイ１４を分離
でき、それぞれの集積度を高められるため、この解像度
を十分に実現できる。また、処理速度の目安としては、
ロボットのアクチュエータの速度（１〜１０ミリ秒）が
必要である。本実施形態では、この処理速度は、Ａ／Ｄ
変換器２１０におけるＡ／Ｄ変換処理速度によって決ま
るが、以下に述べるように、十分に高速化が可能であ
る。

【００４４】ここで、本実施形態での１画素あたりのＡ
／Ｄ変換速度は、１ビットあたり１マイクロ秒となる。
例えば、入力アナログ信号を６ビット（６４階調）でデ
ジタル変換する場合には、１列分の１２８個の受光素子
１２０の出力信号をデジタル変換するのに必要な時間
は、６マイクロ秒×１２８＝０．７６８ミリ秒となる。
画像処理については、各受光素子に１対１に対応して演
算素子が配置され、全演算素子で並列処理されるため、
図７に示すように、０．４ミリ秒以下でほとんどの演算
処理が行える。したがって、転送時間を考慮しても、ほ
とんどの画像処理が１ミリ秒以下で行えることになり、
十分な高速性能を有する。一方、従来例２〜４では、複
数の画素の計算を１つの演算素子で行う必要があるた
め、計算処理の時間自体が長くなる。例えば、従来例２
の場合は、最も基本的な画像処理演算である４近傍エッ
ジ検出の場合で、１点あたり７．７マイクロ秒かかる演
算を１２８回繰り返す必要があり、合計の演算時間だけ
で約１ミリ秒かかる。実際には、受光素子からのデータ
転送時間が必要であるうえに、さらに画像処理で複雑な
演算を必要とすることがあるため、これでは実用的な高
速処理はできない。

【００４５】また、前述したように本実施形態のＡ／Ｄ
変換器は、最上位ビットからＡ／Ｄ変換を行う。したが
って、所望のビット数まで変換した時点で、リセット信
号Ｒを送出し、次の光信号のＡ／Ｄ変換に移ることによ
り、Ａ／Ｄ変換の階調を変更することができる。これに
より、より高速で、複雑な処理を行うことが可能とな
る。例えば、移動物体のトラッキングをするような場合
に、物体が高速で移動している場合は、画像を１ビット
の２値レベルで演算処理するように制御すれば、転送時
間は、前述の６ビットの時の６分の１の０．１２８秒に
短縮され、高速フィードバック制御に適用できる。逆
に、低速で動いている場合には、階調を上げることによ
り、より精度を向上させて、追従することができる。

【００４６】

【発明の効果】以上説明したように、本発明によれば、
受光素子と１対１に対応する演算素子を有しているの
で、並列処理により高速の画像処理が可能である。ま
た、Ａ／Ｄ変換器を１列ごとに設けているので、Ａ／Ｄ
変換器を素子毎に設けている場合に比較して、受光素子
と演算素子間の伝送線の数が少なく、受光素子と演算素
子を別々に製造、配置することが容易にできる。このた
め、両者とも集積度を最適にすることができ、多画素数
の高速視覚センサ装置を容易に製作できる。Ａ／Ｄ変換
器を列ごとに設けたため、Ａ／Ｄ変換の処理速度によ
り、全体の処理速度が制限を受けるが、ＦＡロボット制
御に十分な画素数といわれる１２８×１２８画素の映像
を６４階調で処理する場合でも、ほとんどの画像処理が
１ミリ秒以下で終了し、従来にない高速処理が可能であ
る。

【００４７】また、Ａ／Ｄ変換器から演算素子へのデー
タ転送時に、列内の演算素子間でのデータ転送や演算を
平行して処理できるため、Ａ／Ｄ変換器から演算素子へ
のデータ転送後に必要な演算素子間のデータ転送が少な
くなり、処理時間を短縮できる。特に、列全体のデータ
を利用する画像処理演算で、効率的な処理が可能とな
る。

【００４８】さらに、Ａ／Ｄ変換器の変換階調を可変に
することにより、高速で移動する物体の制御等には、低
階調として、さらに高速で処理し、低速で移動する物体
の制御の際には、転送時間がかかるが、高階調で処理す
るなど、状況に応じた汎用性の高い制御が可能である。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るブロック図である。

【図２】図１の実施形態に係る概略構成図である。

【図３】図１の実施形態に係る受光素子アレイ、並列ア
ンプ及びＡ／Ｄ変換器アレイの回路構成図である。

【図４】図１の実施形態に係る積分回路の詳細回路構成
図である。

【図５】図１の実施形態に係る演算素子のブロック図で
ある。

【図６】図５の演算素子の２近傍演算時のフロー図であ
る。

【図７】図５の演算素子の演算時間例を示す図である。

【図８】列全体又は画像全体のデータを必要とする画像
処理の例を示す図である。

【図９】Ｉ／Ｏボトルネックの概念図である。

【符号の説明】

１１…受光素子アレイ、１２…アンプ、１３…Ａ／Ｄ変
換器アレイ、１４…演算素子アレイ、１５…制御回路、
１６…インストラクション／コマンドバス、１００…受
光部、１１０…垂直受光部、１２０…受光素子、１３０
…光電変換素子、１４０…スイッチ素子、２００…信号
処理部、２１０…Ａ／Ｄ変換器、２２０…積分回路、２
２１…チャージアンプ、２２２…可変容量部、２２３…
スイッチ素子、２３０…比較回路、２４０…容量制御機
構、３００…タイミング制御部、３１０…基本タイミン
グ部、３２０…垂直シフトレジスタ、３４０…制御信号
部、４００…演算素子、４０１…レジスタマトリック
ス、４０２…Ａラッチ、４０３…Ｂラッチ、４０４…Ａ
ＬＵ、５００…対象物、５０１…テレビカメラ、５０２
…画像処理装置、Ｃ１〜Ｃ４…容量素子、ＳＷ１１〜Ｓ
Ｗ１４、ＳＷ２１〜ＳＷ２４…スイッチ素子。

Claims

【特許請求の範囲】

【請求項１】複数の受光素子が２次元状に配列された
受光素子アレイと、前記受光素子アレイの各列に対応して設けられ、対応す
る１列中の受光素子から順次読み出された出力信号をア
ナログ・デジタル変換する複数のＡ／Ｄ変換器を有し、
当該複数のＡ／Ｄ変換器が１次元状に配列されて構成さ
れるＡ／Ｄ変換器アレイと、前記受光素子アレイの各受光素子と１対１に対応して設
けられ、前記Ａ／Ｄ変換器アレイから転送された対応す
る受光素子の出力信号に相当するデジタル信号について
所定の演算を行う複数の演算素子を有し、当該複数の演
算素子を２次元状に配列して、並列演算処理を行う演算
素子アレイと、前記受光素子アレイ及び前記Ａ／Ｄ変換器アレイ並びに
前記演算素子アレイを制御する制御回路と、を備える高
速視覚センサ装置。
【請求項２】前記制御回路は、前記Ａ／Ｄ変換器アレ
イの各列から対応する各演算素子へのデータ転送時に平
行して各列内の演算素子間でのデータ転送及び演算を行
い、全データ転送後に各列間のデータ転送及び演算を行
うよう、前記演算素子アレイを制御することを特徴とす
る請求項１記載の高速視覚センサ装置。
【請求項３】前記Ａ／Ｄ変換器は、前記制御回路から
送出された制御信号により、Ａ／Ｄ変換時の階調を可変
する機構を備えることを特徴とする請求項１又は２記載
の高速視覚センサ装置。