JP4334672B2

JP4334672B2 - 高速視覚センサ装置

Info

Publication number: JP4334672B2
Application number: JP14180199A
Authority: JP
Inventors: 晴義豊田; 和浩中村; 誠一郎水野; 博雄山川
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 1999-05-21
Filing date: 1999-05-21
Publication date: 2009-09-30
Anticipated expiration: 2019-05-21
Also published as: JP2000333083A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理機能を備えた高速視覚センサ装置に関する。
【０００２】
【従来の技術】
ＦＡシステム等においてロボットを高速で動作させるためには、高速の画像処理が必要とされる。例えば、視覚センサとアクチュエータの間でフィードバックループを形成するロボットの場合、アクチュエータはミリ秒単位で制御可能であるため、本来はこれに対応した画像処理速度が必要になる。ところが、現状のビジョンシステムでは画像処理速度がビデオフレームレートに限られているため、この画像処理速度に合わせた低速動作しかできず、ロボットの性能を十分に活かしきれていなかった。
【０００３】
一方、高速ＣＣＤカメラの中には１ミリ秒程度で画像を撮像できるものもあるが、これらは撮像した画像をいったんメモリに貯えて、後から読み出して処理を行う機構になっているため、画像解析などの用途には使えるが、実時間性はほとんどなく、ロボット制御などの用途には適用できなかった。
【０００４】
このような問題を解決するため、画像の取込部と処理部を一体として取り扱うビジョンチップの研究が進んでおり、マサチューセッツ工科大学、カリフォルニア工科大学、三菱電機などの研究が知られている。しかし、これらは主として集積化の容易なアナログの固定回路を用いており、出力信号の後処理が必要であったり、画像処理の内容が特定用途に限定されていて汎用性がないなどの問題点があった。
【０００５】
これらに対して汎用的な画像処理を行うことができるビジョンチップとしては、特公平７−６２８６６号公報に開示された発明（以下、従来技術１と呼ぶ）が知られている。この発明は、マトリクス状に配置された受光素子アレイの各受光素子の出力を、それぞれ１つの対応する演算素子に入力し、並列処理するものである。これにより、演算素子への入力時間、演算時間が短縮され、各種の演算にも対応できる利点がある。
【０００６】
さらに、集積化を進めるために転送ラインを列毎に最適化した特開平１０−１４５６８０号公報に開示された技術（以下、従来技術２と呼ぶ）もある。
【０００７】
【発明が解決しようとする課題】
こうした視覚センサを生産ラインにおける検査装置に利用することで、検査時間の大幅な短縮が可能となるが、実際には、こうした画像処理と同時に、処理対象の画像を人間が目視によって確認する必要性が生じる場合が多い。例えば、ベルトコンベア上の製品検査をする場合においては、撮像位置照明状態、ピント合せ、レンズ系の汚れ、などを目視により確認することは検査状況を把握するためには不可欠である。また、検査方法のアルゴリズムを確定する際にも、しきい値レベルの設定やマッチングポイントの設定などにおいて実画像を見ながら、処理の途中結果を画像としてモニターすることで、効率良く処理アルゴリズムの評価が行なえることになる。
【０００８】
しかしながら、従来技術１あるいは２の装置では、演算を行なった結果を特徴量（対象物の重心や検査結果）または制御信号（例えばモータ制御信号）の形でしか装置外部に出力せず、撮影した画像を効率よく外部の装置に取り出す機構を有していない。ＣＣＤカメラからの画像をそのまま出力すると、高速度表示に対応したモニターが必要となるが、そのようなモニターはあっても高価であり、ＣＣＤカメラの最高フレームレートには対応していないのが現状である。
【０００９】
また、特開平１０−２１４０７号公報には、こうした高速画像処理装置の画像情報と従来の画像処理装置からの画像情報をオーバーレイ表示することで、高速に動く物体を解像度良くモニターする装置が開示されている（以下、従来技術３と呼ぶ）。しかしながら、この従来技術３においては、出力される画像のフレームレートが従来とほぼ同じビデオレートに制限されてしまうため、高速に動いている物体を観測する場合において、必要な情報を取り出すことが難しい。
【００１０】
例えば、自動工作機械におけるプレスの瞬間やドリルの貫通する瞬間、部品を挿入する瞬間やゴルフや野球におけるボールとクラブ（バット）の当たる瞬間等の所定のタイミングの映像が重要な意味を有する場合に、これらを解像度良く表示させることは困難であった。
【００１１】
そこで、本発明は、高速での画像演算を行うとともに、撮像した画像をモニター可能な高速視覚センサ装置を提供することを課題としている。
【００１２】
上記課題を解決するため、本発明に係る高速視覚センサ装置は、（１）複数の受光素子が２次元状に配列されて形成された少なくとも一つの受光素子アレイと、（２）受光素子アレイの所定の受光素子または受光素子群に対応して設けられ、対応する受光素子または受光素子群から所定の第１のフレームレートで順次読み出された出力信号をアナログ・デジタル変換する複数のＡ／Ｄ変換器を有し、当該複数のＡ／Ｄ変換器が１次元状に配列されて構成されるＡ／Ｄ変換器アレイと、（３）受光素子アレイの各受光素子と１対１に対応して設けられ、Ａ／Ｄ変換器アレイから転送された対応する受光素子の出力信号に相当するデジタル信号について所定の演算を行う複数の演算素子を有し、当該複数の演算素子を２次元状に配列して、並列演算処理を行う演算素子アレイと、（４）Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器と当該Ａ／Ｄ変換器に対応する演算素子または演算素子群に対応して設けられ、対応するＡ／Ｄ変換器または演算素子もしくは演算素子群からの出力信号を連続または所定フレームおきに数フレーム分蓄積記憶するデータバッファが一次元状に配列されて構成されるバッファメモリと、（５）バッファメモリ中に蓄積されている画像を前記第１のフレームレートより低い第２のフレームレートの画像信号として読み出して出力する画像信号変換を行う信号変換器と、（６）バッファメモリ、信号変換器に対し、演算素子アレイにおける演算処理結果に基づく所望の期間中の前記Ａ／Ｄ変換器アレイまたは前記演算素子アレイからの出力信号を変換して出力するよう指示する信号変換制御部と、（７）信号変換器から出力された画像信号を受けて画像表示するモニタと、（８）各構成要素を制御する制御回路と、を備えていることを特徴とする。
【００１３】
本発明に係る高速視覚センサ装置によれば、受光素子と１対１に配置された演算素子によって並列演算処理を行うことでリアルタイムでの高速画像処理が可能となる。そして、Ａ／Ｄ変換器に対応してＡ／Ｄ変換器または演算素子もしくは演算素子群からの出力信号を連続または所定フレームおきに数フレーム分蓄積記憶するデータバッファを用いることにより、受光素子アレイで得られた画像あるいは画像処理により得られた画像の中から任意の画像群を抽出して動画像として表示することができる。
【００１５】
演算素子に対応して設けられ、Ａ／Ｄ変換器からの出力信号を所定の演算素子に順次転送する複数の転送用シフトレジスタをさらに備えている。このようにすれば、転送処理と演算処理を並列して処理することが可能となるので、無駄のない高速な画像処理が可能となる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１７】
まず、図１を参照して本発明に係る高速視覚センサ装置全体の構成を簡単に説明する。図１は、本発明に係る高速視覚センサ装置の第一の実施形態のブロック図である。本実施形態の高速視覚センサ装置は、Ｎ１個×Ｎ２個の２次元状に配置された受光素子１２０からなる受光素子アレイ１１と、受光素子アレイ１１の１列ごとに対応して受光素子から出力された電荷を電圧信号に変換するＮ２個のチャージアンプ２２１からなる並列アンプ１２と、チャージアンプからの出力信号をＡ／Ｄ変換するＮ２個のＡ／Ｄ変換器２１０からなるＡ／Ｄ変換器アレイ１３と、受光素子１２０と１対１に対応するＮ１個×Ｎ２個の演算素子４００からなる並列処理機構１４と、回路全体に命令信号等を送って制御する制御回路１５と、制御回路１５からの信号を各回路に送るインストラクション／コマンドバス１６と、Ａ／Ｄ変換器アレイ１３又は並列処理機構１４からのデータを表示画像信号に変換する信号変換器１７および変換した表示画像信号により画像表示を行うモニタ１８および信号変換制御部１９から構成されている。
【００１８】
図２は、装置の構成例を示したものである。受光素子アレイ１１と演算素子アレイ１４、制御回路１５などの半導体チップを１つの基板の上にボンディングした図である。チップを直接基板にボンディングするため高集積化が可能であり、また、それぞれの装置の特性に合わせた加工工程を採用できるため、安定した生産が可能となる。将来的にはプロセス技術の向上により１チップ上に全ての機能を集積化させることも可能である。
【００１９】
続いて、各回路の内部構成について説明する。図３は、画像入力部の詳細構成を示している。画像入力部は、光を検出する受光部１００（図１に示す受光素子アレイ１１に相当）、受光部１００からの出力信号を処理する信号処理部２００（図１に示す並列アンプ１２及びＡ／Ｄ変換器アレイ１３に相当）、受光部１００及び信号処理部２００に動作タイミングの指示信号を通知するタイミング制御部３００（図１に示す制御回路１５の一部に相当）を備えている。
【００２０】
最初に、図３により、図１の受光素子アレイ１１に相当する受光部１００の構成を説明する。受光素子１２０は、入力した光強度に応じて電荷を発生する光電変換素子１３０と、光電変換素子１３０の信号出力端子に接続され、垂直走査信号Ｖ_i（ｉ＝１〜Ｎ１）に応じて光電変換素子１３０に蓄積された電荷を出力するスイッチ素子１４０を１組として構成されている。この受光素子１２０が第１の方向（以下垂直方向と呼ぶ）に沿ってＮ１個配置され、各受光素子１２０のスイッチ素子１４０が電気的に接続されて垂直受光部１１０を構成している。そして、この垂直受光部１１０を垂直方向に直交する水平方向に沿ってＮ２個配列することにより受光部１００が構成されている。
【００２１】
次に、同じく図３により、図１では並列アンプ１２及びＡ／Ｄ変換器アレイ１３に相当する信号処理部２００の構成を説明する。信号処理部２００は、対応する垂直受光部１１０_j（ｊ＝１〜Ｎ２）から転送されてきた電荷を個別に取り出して、処理し、この電荷強度に対応するデジタル信号を出力するＡ／Ｄ変換器２１０_jをＮ２個配置して構成されている。Ａ／Ｄ変換器２１０_jは、チャージアンプ２２１_jを含む積分回路２２０_jと比較回路２３０_jと容量制御機構２４０_jの３つの回路から構成される。本実施形態では、チャージアンプ２２１をＡ／Ｄ変換器２２１に含む回路構成になっている。
【００２２】
このうち、積分回路２２０_jは、垂直受光部１１０_jからの出力信号を入力として、この入力信号の電荷を増幅するチャージアンプ２２１_jと、チャージアンプ２２１_jの入力端子に一方の端が接続され、出力端子に他方の端が接続された可変容量部２２２_jと、チャージアンプ２２１_jの入力端子に一方の端が接続され、出力端子に他方の端が接続されて、リセット信号Ｒに応じてＯＮ、ＯＦＦ状態となり、積分回路２２０_jの積分、非積分動作を切り替えるスイッチ素子２２３_jからなる。
【００２３】
ここで、図４は、この積分回路２２０の詳細構成図である。本図は、４ビットつまり１６階調の分解能を持つＡ／Ｄ変換機能を備える積分回路の例であり、以下、この回路構成により説明する。可変容量部２２２は、チャージアンプ２２１の垂直受光部からの出力信号の入力端子に一方の端子が接続された容量素子Ｃ１〜Ｃ４と、容量素子Ｃ１〜Ｃ４の他方の端子とチャージアンプ２２１の出力端子の間に接続され、容量指示信号Ｃ₁₁〜Ｃ₁₄に応じて開閉するスイッチ素子ＳＷ１１〜ＳＷ１４と、容量素子Ｃ１〜Ｃ４とスイッチ素子ＳＷ１１〜ＳＷ１４の間に一方の端子が接続され、他方の端子がＧＮＤレベルと接続されて、容量指示信号Ｃ₂₁〜Ｃ₂₄に応じて開閉するスイッチ素子ＳＷ２１〜ＳＷ２４により構成されている。なお、容量素子Ｃ１〜Ｃ４の電気容量Ｃ₁〜Ｃ₄は、
Ｃ₁＝２Ｃ₂＝４Ｃ₃＝８Ｃ₄
Ｃ₀＝Ｃ₁＋Ｃ₂＋Ｃ₃＋Ｃ₄
の関係を満たす。ここで、Ｃ₀は積分回路２２０で必要とする最大電気容量であり、受光素子１３０（図３参照）の飽和電荷量をＱ₀、基準電圧をＶ_REFとすると、
Ｃ₀＝Ｑ₀／Ｖ_REF
の関係を満たす。
【００２４】
再び、図３に戻り、Ａ／Ｄ変換器２１０_jの積分回路２２０_j以外の回路を説明する。比較回路２３０_jは、積分回路２２０_jから出力された積分信号Ｖ_Sの値を基準値Ｖ_REFと比較して、比較結果信号Ｖ_Cを出力する。容量制御機構２４０_jは、比較結果信号Ｖ_Cの値から積分回路２２０_j内の可変容量部２２２_jに通知する容量指示信号Ｃを出力すると共に、容量指示信号Ｃに相当するデジタル信号Ｄ１を出力する。
【００２５】
続いて、図３に示すタイミング制御部３００の構成を説明する。全回路のクロック制御を行う基本タイミングを発生する基本タイミング部３１０と、基本タイミング部３１０から通知された垂直走査指示に従って、垂直走査信号Ｖ_iを発生する垂直シフトレジスタ３２０と、リセット指示信号Ｒを発生する制御信号部３４０により構成されている。
【００２６】
次に、演算素子４００の動作を図５により説明する。Ａ／Ｄ変換されたデジタル信号は、それぞれの受光素子１２０i,jに対応する演算素子４００のレジスタマトリックス４０１に送られる。演算素子４００はそれぞれ４近傍接続されているため、インストラクションで順次隣の演算素子４００に信号を送るように命令を出すことで転送する演算素子４００の指定ができる。各垂直受光部１１０jの信号は対応する演算素子４００に対して、各列が同時に転送されるため、ｎビット×Ｎ２回のデータ転送で、全受光素子１２０の光電出力データが全演算素子４００に転送されることになる。
【００２７】
図６は、信号変換器１７の詳細構成を示すブロック図である。信号変換器１７内には、一列分の画像データを所定の画面数分蓄積するデータバッファ１７１がＮ２個配列され、これらのデータバッファ１７１には、デジタル画像信号をアナログ信号に変換するＤ／Ａ変換器１７２とモニタ１８のフレームレートに合わせて適切な同期信号を付加することにより画像信号を生成する同期信号混合器１７３が接続されて構成される。
【００２８】
次に、図１〜図６により、本実施形態の動作について説明する。
【００２９】
まず、リセット信号Ｒを有為に設定し、図４に示す可変容量部２２２のＳＷ１１〜ＳＷ１４を全て「ＯＮ」、ＳＷ２１〜ＳＷ２４を全て「ＯＦＦ」状態にする。これにより、チャージアンプ２２１の入力端子と出力端子間の容量値をＣ₀に設定する。それと同時に、図３に示す全てのスイッチ素子１４０を「ＯＦＦ」状態とし、垂直走査信号Ｖｉをいずれの受光素子１２０も選択しない状態に設定する。この状態から、リセット指示信号Ｒを非有為に設定し、各積分回路２２０での積分動作を開始させる。
【００３０】
積分動作を開始させると、図３に示すＮ２個の各垂直受光部１１０_jにある第１番目の受光素子１２０_1,jのスイッチ素子１４０のみを「ＯＮ」とする垂直走査信号Ｖ₁が出力される。スイッチ素子が「ＯＮ」になると、それまでの受光によって光電変換素子１３０に蓄積された電荷Ｑ₁は、電流信号として受光部１００から出力される。つまり、光電変換素子の信号を読み出すことができる。電荷Ｑ₁は容量値Ｃ₀に設定された可変容量部２２２に流入する。
【００３１】
次に、図４により積分回路２２０内部の動作を説明する。容量制御機構２４０（図３参照）は、ＳＷ１２〜ＳＷ１４を開放した後、ＳＷ２２〜２４を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／Ｃ₁
で示す電圧値として出力される。積分信号Ｖ_Sは、比較回路２３０に入力して、基準電圧値Ｖ_REFと比較される。ここで、Ｖ_SとＶ_REFの差が、分解能の範囲以下、すなわち±（Ｃ₄／２）以下の時は、一致したものとみなし、更なる容量制御は行わず、積分動作を終了する。分解能の範囲で一致しないときは、更に容量制御を行い、積分動作を続ける。
【００３２】
例えば、Ｖ_S＞Ｖ_REFであれば、容量制御機構２４０は、更に、ＳＷ２２を開放した後に、ＳＷ１２を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／（Ｃ₁＋Ｃ₂）
で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較回路２３０（同）に入力して、基準電圧値Ｖ_REFと比較される。
【００３３】
また、Ｖ_S＜Ｖ_REFであれば、容量制御機構２４０は、更に、ＳＷ１１及びＳＷ２２を開放した後に、ＳＷ１２及びＳＷ２１を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／Ｃ₂
で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較回路２３０に送出され、基準電圧値Ｖ_REFと比較される。
【００３４】
以後、同様にして、積分回路２２０→比較回路２３０→容量制御機構２４０→積分回路２２０のフィードバックループによって、積分信号Ｖ_Sが基準電圧値Ｖ_REFと分解能の範囲で一致するまで、比較及び容量設定（ＳＷ１１〜ＳＷ１４及びＳＷ２１〜ＳＷ２４のＯＮ／ＯＦＦ制御）を順次繰り返す。積分動作が終了した時点のＳＷ１１〜ＳＷ１４のＯＮ／ＯＦＦ状態を示す容量指示信号Ｃ₁₁〜Ｃ₁₄の値は、電荷Ｑ₁の値に対応したデジタル信号であり、最上位ビット（ＭＳＢ）の値がＣ₁₁、最下位ビット（ＬＳＢ）の値がＣ₁₄である。こうしてＡ／Ｄ変換が行われ、これらの値をデジタル信号Ｄ１として、演算素子アレイ１４に出力する。以上述べたように、この装置では、デジタル信号Ｄ１の各ビット値は、ＭＳＢ側からＬＳＢ側へ１ビットずつ順に定まる。
【００３５】
第１番目の受光素子１２０_1,jの光電出力に相当するデジタル信号の送出が終了すると、リセット信号Ｒが有為とされ、再び、非有為にして、可変容量部２２２_jの容量値を初期化した後に、各垂直受光部１１０_jの第２番目の受光素子１２０_2,jのスイッチ素子１４０のみを「ＯＮ」とする垂直走査信号Ｖ₂を出力し、上述と同様の動作により、第２番目の受光素子１２０_2,jの光電出力を読み出し、これに相当するデジタル信号を送出する。以下、垂直走査信号を切り替えて、全受光素子１２０の光電出力を読み出し、相当するデジタル信号を演算素子アレイ１４に出力する。
【００３６】
次に、演算素子４００の動作を図５により説明する。Ａ／Ｄ変換されたデジタル信号は、それぞれの受光素子１２０i,jに対応する演算素子４００のレジスタマトリックス４０１に送られる。演算素子４００はそれぞれ４近傍接続されているため、インストラクションで順次隣の演算素子４００に信号を送るように命令を出すことで転送する演算素子４００の指定ができる。各垂直受光部１１０jの信号は対応する演算素子４００に対して、各列が同時に転送されるため、ｎビット×Ｎ２回のデータ転送で、全受光素子１２０の光電出力データが全演算素子４００に転送されることになる。
【００３７】
演算素子４００内部の演算は、必要があれば、各演算素子４００間でそれぞれのレジスタマトリックス４０１に収容された信号の転送を行った後、演算に必要な信号をレジスタマトリックス４０１からＡラッチ４０２とＢラッチ４０３に読み出し、ＡＬＵ４０４で所定の演算を行い、計算結果はレジスタマトリックス４０１を介して外部回路に出される。演算は全演算素子４００において同時に並列処理されるため、極めて高速の演算が可能である。以下に、「エッジ抽出」を例にとり、画像処理の実行動作を詳細に説明する。
【００３８】
例に挙げる「エッジ抽出」は画像処理において最も頻繁に利用される処理である。最も簡単に演算する場合は、隣接する画素の強度値との差分による２近傍演算が用いられる。これを数式で表すと、
Ｐ’（ｘ，ｙ）＝｜Ｐ（ｘ，ｙ）−Ｐ（ｘ−１，ｙ）｜
となる。ここで（ｘ，ｙ）は素子の位置座標、Ｐ（ｘ，ｙ）は画像強度データの値、Ｐ’（ｘ，ｙ）は求めたいエッジ抽出画像の画像強度データの値である。
【００３９】
転送から演算終了までの各演算素子４００における演算のフロー図を図７に示す。ステップＳ１におけるＡ／Ｄ変換器２１０から演算素子４００へのデータ転送の際に、Ｐ（ｘ，ｙ）とＰ（ｘ−１，ｙ）に相当するデータを各演算素子４００内のレジスタマトリックス４０１に格納する（ステップＳ２）。これにより、Ａ／Ｄ変換器アレイ１１からのデータ転送が終了した後の各演算素子４００間でのデータ転送をできる限り省略して、効率的で高速の処理をすることが可能になる。Ａ／Ｄ変換器２１０から全演算素子４００へのデータ転送が終了した時点で、レジスタマトリックス４０１に収容されたＰ（ｘ，ｙ）とＰ（ｘ−１，ｙ）のデータを下位ビットからＡラッチ４０２とＢラッチ４０３に読み出し（ステップＳ３）、ＡＬＵ４０４により、差分を求める演算を行う（ステップＳ４）。この計算結果はいったんレジスタマトリックス４０１に格納する（ステップＳ５）。差分が求まった後、この差分値を再びＡラッチ４０２に読み出し（ステップＳ６）、ＡＬＵ４０４により、その絶対値を算出し（ステップＳ７）、レジスタマトリックス４０１に計算結果を格納し（ステップＳ８）、外部に出力する（ステップＳ９）。以上の計算処理は全ての演算素子４００で同時に並列処理されるため、非常に高速で演算処理が行われる。
【００４０】
画像処理でよく用いられるアルゴリズムのいくつかについて、本実施形態により演算を行った場合のステップ数、処理時間の例を表１に示す。
【００４１】
【表１】

【００４２】
表１から明らかなように、本実施形態では、一般的な画像処理（例えば、平滑化、細線化、コンボリューション、相関、マスク処理）演算を完全並列処理により、非常に高速で行うことができる。したがって、これまでの視覚センサ装置では、演算処理速度が遅いために制限されていたＦＡロボット制御などの分野への応用が可能になる。
【００４３】
Ａ／Ｄ変換器アレイ１３からの出力信号又は並列処理機構１４からの出力信号は信号変換器１７に送られ、信号変換制御部１９からの指示によりモニタ１８で表示するのに適した画像信号に変換される。従来技術３の装置では、図８に示されるように画像表示のタイミングに合わせて画像転送、処理演算を行う必要が有るため、高速での画像処理演算は不可能であった。これに対して、本実施形態の装置では、画像転送、画像演算を高速で行い、任意のタイミングの映像をデータバッファ１７１に蓄積しておいてＤ／Ａ変換器１７２、同期信号混合器１７３によりモニタ１８側のフレームレートに合わせた映像信号を生成して出力することで、図９にタイミングチャートを示すように、所定のタイミングの映像を抽出して時間的に引き延ばして表示することが可能である。
【００４４】
例えば、図１０（ａ）〜（ｃ）を参照して既にチップ５１、５２が実装されている基板５０上にさらにチップ５３を装置５４を用いて実装する瞬間の画像を抽出する例について説明する。図１０（ｂ）が所望のチップ５３が実装される瞬間の画像であり、図１０（ａ）、図１０（ｃ）はそれぞれその前後のタイミングで取得された画像である。
【００４５】
このチップ５３が実装される瞬間の画像を抽出するためには、入力画像の中から、特徴抽出演算によって対象画像であるチップ５３を抽出し、その対象が基板の所定の位置に実装されるタイミングで画像を出力する。具体的には、まず、入力画像Ｐ（ｘ，ｙ）が並列処理機構１４に転送され、すでに記憶されている検索画像ｓ（ｘ，ｙ）（大きさｎ１×ｍ１）を検索する。マッチングの演算アルゴリズムは数多く提案されているが、ここでは最も簡便な演算である差分演算で示す。
【００４６】
【数１】

【００４７】
この関数Ｅｒｒｏｒの値の最も小さい位置から、入力画像Ｐ（ｘ，ｙ）の中から検索画像ｓ（ｎ１，ｍ１）に一番似ている（誤差の小さい）画像を検索できる。この最小の誤差が得られた原画像Ｐ（ｘ，ｙ）を所定のタイミングにおける画像データとして信号変換制御部１９から信号変換器１７に対して画像信号への変換を指示することによりこのタイミングの画像（図７（ｂ）に示されるタイミングの画像）前後の映像をモニタ１８に表示させることができる。
【００４８】
たとえば、本機能を用いることで、「ドリルが加工対象に接触する瞬間」や「バットがボールにぶつかる瞬間」とその前後の、最も重要な情報を含む画像列を抽出してモニター画像出力することが可能となる。従来の画像処理装置との整合性も併せ持つ為、すでに利用している画像処理アルゴリズムをそのまま利用して、高速対象物の画像処理を実現できる。また、画像処理された処理画像、例えば、エッジ抽出された画像や、移動している物体のみを抽出した画像などを出力することも可能である。
【００４９】
特に、本装置においては、並列受光素子アレイ１１からの信号を列並列にて転送を行なっており、並列演算機構１４により並列演算を行なうことで、高速な演算処理が実現できる。高速移動物体を追跡する場合に、回転や向きの変化がある場合には、従来のＴＶカメラのような遅いフレームレート（３０Ｈｚ）では、対象物の画像上の形状が変化してしまうため、フレーム間の画像から同じ対象物を判断するために非常に複雑なアルゴリズムが必要となりリアルタイムに表示させることが困難であった。一方、本装置のように高いフレームレート（＞１ＫＨｚ）で画像が捉えられる場合には、フレーム間の画像の違いは小さいために、上記のような簡単なアルゴリズムで高速にマッチングが行なえることになり、対象物を正確に追跡することが可能となる。
【００５０】
本発明が目指しているのは、高速画像処理された結果から、所望のタイミングの画像を抽出してモニターする機能を有する画像センサ装置である。処理速度の目安としては、ＦＡロボットの制御においては、対象物の移動速度とロボットのアクチュエータの速度（１〜１０ミリ秒）から必要な処理速度が決まる。本実施形態では、この処理速度は、Ａ／Ｄ変換器２１０におけるＡ／Ｄ変換処理速度によって決まるが、Ａ／Ｄ変換器からの出力のビット数は可変できるため、より高速演算が必要な場合には、ビット数を減らすことによって高速化が可能である。例えば、８ビット変換に１０μ秒かかっているような場合、４ビットにデータ長を削減することで、ほぼ２倍の変換速度が実現できることになる。
【００５１】
図１１は、本発明に係る高速視覚センサ装置の第二の実施形態を示す概略ブロック図である。この実施形態では、図１に示される第一の実施形態の並列処理機構１４の演算素子４００にそれぞれ転送専用シフトレジスタ４１０を設けている点が相違する。このように、データ転送専用のシフトレジスタを設けることで、演算素子４００で演算処理を行っている間に、次のフレームの画像データを転送したり、演算に必要なデータの転送を行うことができるので、転送と演算を並列処理することでより高速の画像処理を行うことができて好ましい。
【００５２】
ここでは、信号変換器に複数の画面分のデータバッファを有する例について説明してきたが、特定のタイミングの静止映像のみを取得すれば充分である場合には、データバッファを省略することでより簡易な装置構成とすることも可能である。
【００５３】
【発明の効果】
以上説明したように本発明によれば、並列処理による高速の画像処理と目視検査等に必要となる所望のタイミングでの高速処理画像のモニター出力が可能であり、例えば、注目すべき画像のみを抽出したモニタ表示が可能となる。
【００５４】
特に、信号変換器に複数の画面の画像情報を蓄積可能なデータバッファを設けることで、所望のタイミング付近の映像を時間的に引き延ばしてモニタ表示することも可能となる。
【００５５】
また、Ａ／Ｄ変換器から演算素子へのデータ転送時に、転送用シフトレジスタを用いて、演算処理と転送を独立に実行できる機能を実現することで、実時間処理が可能となる。
【図面の簡単な説明】
【図１】本発明に係る高速視覚センサ装置の第一の実施形態のブロック図である。
【図２】図１の実施形態を示す概略構成図である。
【図３】図１の実施形態の受光素子アレイ、並列アンプ及びＡ／Ｄ変換器アレイの回路構成図である。
【図４】図１の実施形態の積分回路の詳細回路構成図である。
【図５】図１の実施形態の演算素子のブロック図である。
【図６】図１の実施形態の信号変換器の詳細ブロック図である。
【図７】図５の演算素子の２近傍演算時のフロー図である。
【図８】従来技術における演算処理と画像表示のタイミングチャートである。
【図９】図１の実施形態における演算処理と画像表示のタイミングチャートである。
【図１０】抽出する画像イメージを示す図である。
【図１１】本発明に係る高速視覚センサ装置の第二の実施形態のブロック図である。
【符号の説明】
１１…受光素子アレイ、１２…アンプ、１３…Ａ／Ｄ変換器アレイ、１４…演算素子アレイ、１５…制御回路、１６…インストラクション／コマンドバス、１７…信号変換器、１８…モニター、１００…受光部、１１０…垂直受光部、１２０…受光素子、１３０…光電変換素子、１４０…スイッチ素子、２００…信号処理部、２１０…Ａ／Ｄ変換器、２２０…積分回路、２２１…チャージアンプ、２２２…可変容量部、２２３…スイッチ素子、２３０…比較回路、２４０…容量制御機構、３００…タイミング制御部、３１０…基本タイミング部、３２０…垂直シフトレジスタ、３４０…制御信号部、４００…演算素子、４０１…レジスタマトリックス、４０２…Ａラッチ、４０３…Ｂラッチ、４０４…ＡＬＵ、４１０…転送用シフトレジスタ、５００…対象物、５０１…テレビカメラ、５０２…画像処理装置、Ｃ１〜Ｃ４…容量素子、ＳＷ１１〜ＳＷ１４、ＳＷ２１〜ＳＷ２４…スイッチ素子。

Claims

複数の受光素子が２次元状に配列されて形成された少なくとも一つの受光素子アレイと、
前記受光素子アレイの所定の受光素子または受光素子群に対応して設けられ、対応する受光素子または受光素子群から所定の第１のフレームレートで順次読み出された出力信号をアナログ・デジタル変換する複数のＡ／Ｄ変換器を有し、当該複数のＡ／Ｄ変換器が１次元状に配列されて構成されるＡ／Ｄ変換器アレイと、
前記受光素子アレイの各受光素子と１対１に対応して設けられ、前記Ａ／Ｄ変換器アレイから転送された対応する受光素子の出力信号に相当するデジタル信号について所定の演算を行う複数の演算素子を有し、当該複数の演算素子を２次元状に配列して、並列演算処理を行う演算素子アレイと、
前記Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器と当該Ａ／Ｄ変換器に対応する演算素子または演算素子群に対応して設けられ、対応する前記Ａ／Ｄ変換器または前記演算素子もしくは前記演算素子群からの出力信号を連続または所定フレームおきに数フレーム分蓄積記憶するデータバッファが一次元状に配列されて構成されるバッファメモリと、
前記バッファメモリ中に蓄積されている画像を前記第１のフレームレートより低い第２のフレームレートの画像信号として読み出して出力する画像信号変換を行う信号変換器と、
前記バッファメモリ、前記信号変換器に対し、前記演算素子アレイにおける演算処理結果に基づく所望の期間中の前記Ａ／Ｄ変換器アレイまたは前記演算素子アレイからの出力信号を変換して出力するよう指示する信号変換制御部と、
前記信号変換器から出力された画像信号を受けて画像表示するモニタと、
前記各構成要素を制御する制御回路と、
を備えていることを特徴とする高速視覚センサ装置。
前記演算素子に対応して設けられ、前記Ａ／Ｄ変換器からの出力信号を所定の前記演算素子に順次転送する複数の転送用シフトレジスタをさらに備えていることを特徴とする請求項１記載の高速視覚センサ装置。