JP4592243B2 - 高速画像処理カメラシステム - Google Patents

Description

本発明は、画像処理機能を備えた高速カメラシステムに関する。

ＦＡシステム等においてロボットを高速で動作させるためには、高速の画像処理が必要とされる。例えば、視覚センサとアクチュエータの間でフィードバックループを形成するロボットの場合、アクチュエータはミリ秒単位で制御可能であるため、本来はこれに対応した画像処理速度が必要になる。ところが、現状の視覚センサでは画像処理速度がビデオフレームレートに限られているため、この画像処理速度に合わせた低速動作しかできず、ロボットの性能を十分に活かしきれていないなどの問題があった。また、視覚センサを用いた検査システムにおいてもビデオフレームレートの制限から精度・速度向上には限界があった。

一方、高速ＣＣＤカメラの中には１ミリ秒程度で画像を撮像できるものもあるが、これらは撮像した画像をいったんメモリに貯えて、後から読み出して処理を行う機構になっているため、画像解析などの用途には使えるが、実時間性はほとんどなく、ロボット制御やオンライン検査などの用途には適用できなかった。

このような問題を解決するため、画像の取込部と処理部を一体として取り扱う視覚センサの研究が進んでおり、マサチューセッツ工科大学、カリフォルニア工科大学、三菱電機などの研究が知られている（”An Object Position and Orientation IC
with Embedded Imager”、David L. Standley
(“Solid State Circuits”, Vol. 26, No. 12, Dec. 1991, pp. 1853-1859, IEEE)、”Computing
Motion Using Analog and Binary Resistive Networks”、James
Hutchinson, et al.(“Computer”, Vol. 21, March 1988, pp.52 - 64, IEEE)、及び、”Artificial retinas -fast, versatile image processors”、Kazuo
Kyuma et al., (“Nature”, Vol. 372, 10 November 1994）。しかし、これらは主として集積化の容易なアナログの固定回路を用いており、出力信号の後処理が必要であったり、アナログ信号特有の問題であるＳ／Ｎ確保やノイズ対策、画像処理の内容が特定用途に限定されていて汎用性がない、などの問題点があった。

これらに対して汎用的な高速画像処理を行うことができる視覚センサとしては、特公平７−６２８６６号公報に開示された技術（以下、従来技術１と呼ぶ）が知られている。さらに、集積化を進めるために特開平１０−１４５６８０号公報に開示されているように、転送ラインを列毎に最適化した技術（以下、従来技術２と呼ぶ）も提案されている。こうした視覚センサでは、演算素子と受光素子とを１対１に対応させて完全並列演算により高速化を実現している。また、受光素子の１列ごとに１つの演算素子を対応させて部分並列演算により高解像度センサを実現する技術が国際公開ＷＯ９５／２４７９３号公報で開示されている（以下、従来技術３と呼ぶ）。こうした視覚センサを生産ラインにおける検査装置に利用することで、検査時間の大幅な短縮が可能となる。

しかし、実際の使用に当たっては、こうした画像処理と同時に、処理対象の画像を人間が目視によって確認する必要性が生じる場合が多い。例えば、ベルトコンベア上の製品検査をする場合においては、最終チェックを人間の目に任せている場合が多いため、人間が目視できる表示装置に出力する必要がある。また、調整時や設定時においても、撮像位置照明状態、ピント合せ、レンズ系の汚れ、などを目視により確認することは検査状況を把握するためには不可欠である。また、検査方法のアルゴリズムを確定する際にも、しきい値レベルの設定やマッチングポイントの設定などにおいて実画像を見ながら、処理の途中経過を画像としてモニターすれば、処理アルゴリズムの評価が効率良く行なえる。

しかしながら、従来技術１〜３の装置では、演算を行なった結果を特徴量（対象物の重心や検査結果）または制御信号（例えばモータ制御信号）の形でしか装置外部に出力しておらず、撮影した画像を効率よく外部の装置に出力する機能を有していない。仮に、外部の装置に出力したとしても、高速カメラからの画像のフレームレートは極端に早く、通常のテレビモニターでは対応できず、専用の表示装置が必要となり、システムが高価になる。さらに、高速カメラからの画像をそのまま表示できたとしても、人間の目の応答速度に限界があるため（ほぼ３０ミリ秒）、必要な画像内容を人間が目視によって判断することはできない。

また、特開平１０−２１４０７号公報には、こうした高速画像処理装置の画像情報と従来の画像処理装置からの画像情報をオーバーレイ表示することで、高速に動く物体を解像度良くモニターする装置が開示されている（以下、従来技術４と呼ぶ）。しかしながら、この従来技術４においては、出力される画像のフレームレートが従来とほぼ同じビデオレートに制限されてしまうため、高速に動いている物体を観測する場合において、必要な情報を取り出すことが難しい。

例えば、自動工作機械におけるプレスの瞬間やドリルの貫通する瞬間、部品を挿入する瞬間やゴルフや野球におけるボールとクラブ（バット）の当たる瞬間など、所定のタイミングの映像が重要な意味を有する場合に、こうした適切なタイミングの映像を目視により判断できるよう表示させることは困難であった。

本発明は、上述の課題を解決するためになされたもので、高速での画像演算を行うとともに、特に重要なタイミングにおける画像を出力可能な高速画像処理カメラを提供することを目的としている。

上記目的を達成するために、本発明は、複数の受光素子が複数の行及び列に２次元状に配列され、前記複数の受光素子が複数のブロックにグループ分けされて形成されており、連続する複数のフレーム画像を所定のフレームレートで受光して出力信号を生成する受光素子アレイと、前記受光素子アレイの前記複数のブロックに１対１に対応して設けられた複数のＡ／Ｄ変換器を備え、各Ａ／Ｄ変換器が対応するブロック中の受光素子から順次読み出される出力信号をアナログ・デジタル変換することにより、各フレーム画像を示すデジタル生画像信号を生成するＡ／Ｄ変換器アレイと、前記Ａ／Ｄ変換器アレイにより順次生成される前記デジタル生画像信号に対して所定の演算を行い、前記所定の演算により得られる画像を示す演算結果画像信号と前記所定の演算により得られる値を示す演算結果値とを生成する画像演算機構と、前記デジタル生画像信号と前記演算結果画像信号のうちの少なくとも一つを受け取り、前記受け取ったデジタル生画像信号と演算結果画像信号のうちの少なくとも一つを前記所定のフレームレートより低いフレームレートの画像信号に変換して出力する画像信号変換を行うための信号変換器と、前記画像演算機構により順次生成される前記演算結果値もしくは前記演算結果値に基づいて得られる値を所定の設定値と比較し、比較結果に基づき一つのフレームを選択する選択器と、前記選択されたフレームを含む複数の連続したフレームについて前記画像信号変換を行うよう、前記信号変換器を制御する信号変換制御部とを備えており、前記画像演算機構は複数の演算素子を備え、前記複数の演算素子が前記所定の演算を並列的に実行し、前記信号変換器は、前記受け取ったデジタル生画像信号及び演算結果画像信号のうちの少なくとも一つを複数フレーム分蓄積記憶するためのバッファメモリをさらに備えていることを特徴とする高速画像処理カメラシステムを提供する。

本発明に係る高速画像処理カメラシステムによれば、画像演算機構によって並列演算処理を行うことでリアルタイムでの高速画像処理が可能となる。しかも、画像演算機構の演算結果画像信号及びＡ／Ｄ変換器アレイの出力信号のうちの、少なくとも一つを、所定のフレームレートより低いフレームレートの画像信号に変換して出力する信号変換器を備えている。そして、画像演算機構の演算結果値に基づいて、任意の画像を抽出し、かかる抽出画像についての演算結果画像信号及びＡ／Ｄ変換器アレイの出力信号のうちの少なくとも一つを、当該所定のフレームレートより低いフレームレートの画像信号に変換させるようになっている。したがって、所望の抽出画像についての演算結果画像信号及び出力信号の少なくとも一つが適切なフレームレートで出力されるので、重要なタイミングにおける画像を適切なフレームレートで出力可能となっている。例えば、所望の抽出画像についての演算結果画像信号及び出力信号の少なくとも一つがモニターに適切に表示されるので、重要なタイミングにおける画像をモニター可能となる。また、所望の抽出画像についての演算結果画像信号及び出力信号の少なくとも一つが後段の画像処理装置に適切に出力されるので、重要なタイミングにおける画像を更なる画像処理に供することも可能となる。したがって、本発明によれば、並列処理により高速で画像処理を行い、処理結果画像を所望のタイミングで出力することが可能となる。

ここで、信号変換器は、画像演算機構の演算結果画像信号及びＡ／Ｄ変換器アレイの出力信号のうちの、少なくとも一つを、画像表示するモニターや画像処理する画像処理装置に対応した所望の低いフレームレートの画像信号にダウンコンバートして出力する。このため、例えば、目視検査等に必要となる所望のタイミングで、高速処理画像を所望のフレームレートでモニタ表示することで、注目すべき画像のみを抽出したモニタ表示が可能となる。また、画像処理等に必要となる所望のタイミングで、高速処理画像を所望のフレームレートで出力することで、注目すべき画像のみを抽出した出力が可能となる。

信号変換器は、受け取ったデジタル生画像信号及び演算結果画像信号のうちの少なくとも一つを複数フレーム分蓄積記憶するためのバッファメモリを備えている。したがって、特定のタイミングにおける連続画像等の複数の画像を抽出して出力させることができる。このように、信号変換器に複数の画面の画像情報を蓄積可能なデータバッファを設けることで、所望のタイミング付近の映像を時間的に引き延ばしてモニタ表示することも可能となる。

また、信号変換器は、前記デジタル生画像信号、及び、前記演算結果画像信号のうちのいずれかに対して前記画像信号変換を行うことが好ましい。受光素子アレイで得られた生画像、あるいは、画像演算機構による画像処理により得られた画像の中から任意の画像を抽出して出力することができる。したがって、例えば、注目すべき画像のみを抽出した表示が可能となる。

また、信号変換器は、前記デジタル生画像信号、及び、前記演算結果画像信号を合成して合成画像信号を生成し、前記合成画像信号に対して前記画像信号変換を行うのでもよい。かかる構成によれば、例えば、受光素子アレイで得られた画像（生画像）の中から任意の画像を抽出して、画像処理結果と合わせて表示することができる。この表示は、生画像と処理画像を並べて表示しても生画像と処理画像を上下あるいは左右に並べて表示してもよい。したがって、並列処理により高速で画像処理を行い、処理結果を元画像と重ね合わせて所望のタイミングでモニター出力することが可能であり、例えば、注目すべき画像のみを抽出して強調したモニタ表示が可能となる。

また、本発明の高速画像処理カメラシステムは、所定の画像データを蓄積保持するデータバッファを更に有し、前記画像演算機構が、各フレーム画像と前記所定の画像データとを比較する所定の比較演算を行うことが好ましい。データバッファに蓄積された所定の画像データを用いることで、比較演算等を高速化できる。

さらに、Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器は、受光素子アレイの受光素子の各行又は各列に対応して一つずつ設けられていることが好ましい。このようにすると、演算素子への転送が容易であり、回路設計がしやすくなる。

また、前記複数の演算素子は、前記複数の受光素子に１対１に対応して設けられていることが好ましい。このようにすると、画素単位での演算処理を同時に一度の演算で行うことができ、画像処理の高速化が図れる。

また、前記画像演算機構は、前記受光素子アレイの全ブロックのうちの少なくとも一部の複数のブロックに１対１に対応して設けられた複数の演算素子を備えていることが好ましい。

また、前記Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器が、前記受光素子アレイの受光素子の各行に対応して一つずつ設けられており、前記画像演算機構が、それぞれ、前記受光素子アレイの全行のうちの少なくとも一部の複数の行に対応して一つずつ設けられた複数の演算素子を備えていることが好ましい。

第１図は、本発明の第１の実施形態に係る高速画像処理カメラシステムの構成図である。 第２図は、第１の実施形態に係る高速画像処理カメラシステムを示す概略構成図である。 第３図は、第１の実施形態に係る高速画像処理カメラシステムの受光素子アレイとＡ／Ｄ変換器アレイの回路構成図である。 第４図は、第１の実施形態に係る高速画像処理カメラシステムの積分回路の詳細回路構成図である。 第５図は、第１の実施形態に係る高速画像処理カメラシステムの信号変換器の詳細構成を示すブロック図である。 第６図は、第１の実施形態に係る高速画像処理カメラシステムの画像演算機構内の処理回路のブロック図である。 第７図は、第１の実施形態に係る高速画像処理カメラシステムの画像演算機構内の重心演算処理回路のブロック図である。 第８図は、第１の実施形態に係る高速画像処理カメラシステムの画像演算機構内のエッジ抽出処理回路のブロック図である。 第９図は、第１の実施形態に係る高速画像処理カメラシステムのＡ／Ｄ変換器アレイや画像演算機構内の各処理回路と信号変換器との接続状況を示す説明図である。 第１０図は、第１の実施形態に係る高速画像処理カメラシステムにおける演算処理の概要を説明する図である。 第１１（ａ）図〜第１１（ｃ）図は、生画像と処理画像との重ね合わせを説明するために示す画像データ信号のタイミングチャートである。ここで、第１１（ａ）図は、生画像の画像データのタイミングを示す図であり、第１１（ｂ）図は、画像演算処理結果の信号が生画像の画像データに合成されるタイミングを示す図であり、第１１（ｃ）図は、画像演算処理結果の信号が生画像の画像データに合成されるタイミングの別の例を示す図である。 第１２図は、第１の実施形態に係る高速画像処理カメラシステムにおける制御内容を示すフローチャートである。 第１３（ａ）図は、第１の実施形態に係る高速画像処理カメラシステムにおける演算処理と画像表示のタイミングチャートである。 第１３（ｂ）図は、従来技術における演算処理と画像表示のタイミングチャートである。 第１４（ａ）図〜第１４（ｃ）図は、抽出する画像イメージを示す説明図であり、このうち、第１４（ａ）図は、抽出タイミングの前の画像イメージであり、第１４（ｂ）図は、抽出タイミングの画像イメージであり、第１４（ｃ）図は、抽出タイミングの後の画像イメージである。 第１５図は、第１の実施形態に係る高速画像処理カメラシステムの画像演算機構内の処理回路の変更例のブロック図である。 第１６図は、第１５図の各処理回路と信号変換器との接続状況を示す説明図である。 第１７図は、本発明の第２の実施形態に係る高速画像処理カメラシステムの構成図である。 第１８図は、第２の実施形態の高速画像処理カメラシステムの画像演算機構内の処理回路のブロック図である。 第１９図は、第２の実施形態における各処理回路と信号変換器との接続状況を示す説明図である。 第２０図は、第２の実施形態の高速画像処理カメラシステムにおける演算処理の概要を説明する図である。 第２１図は、本発明の第３の実施形態に係る高速画像処理カメラシステムの構成図である。 第２２図は、第３の実施形態の高速画像処理カメラシステムの画像演算機構内の処理回路のブロック図である。 第２３図は、第２２図の処理回路のうちのパターンマッチング回路のブロック図である。 第２４図は、第３の実施形態におけるＡ／Ｄ変換器アレイ及び各処理回路と信号変換器との接続状況を示す説明図である。 第２５図は、第３の実施形態の高速画像処理カメラシステムにおける制御内容を示すフローチャートである。 第２６図は、第３の実施形態の高速画像処理カメラシステムにおける演算処理の概要を説明する図である。 第２７（ａ）図は、本発明の第４の実施形態に係る高速画像処理カメラシステムの構成図である。 第２７（ｂ）図は、第４の実施形態に係る高速画像処理カメラシステムにおける制御内容を示すフローチャートである。 第２８図は、本発明に係る高速画像処理カメラシステムの変形例のブロック図である。 第２９図は、本発明に係る高速画像処理カメラシステムの他の変形例のブロック図である。 第３０図は、本発明に係る高速画像処理カメラシステムの他の変形例のブロック図である。 第３１図は、本発明に係る高速画像処理カメラシステムの他の変形例のブロック図である。

本発明の実施形態に係る高速画像処理カメラシステムを第１図〜第２７図に基づき説明する。

なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

まず、本発明の第１の実施形態に係る高速画像処理カメラシステムを第１図〜第１６図に基づき説明する。

第１図に、本発明の第１の実施の形態に係る高速画像処理カメラシステム１のブロック図を示す。

本実施形態のカメラシステム１は、Ｎ１個×Ｎ２個の２次元状に配置された受光素子１２０からなる受光素子アレイ１１と、受光素子アレイ１１の１行ごとに対応して受光素子から出力された電荷を電圧信号に変換し、更に、Ａ／Ｄ変換するＮ２個のＡ／Ｄ変換器２１０からなるＡ／Ｄ変換器アレイ１３と、複数個（この例の場合、３個）の処理回路４００からなる演算素子アレイを備える画像演算機構１４と、回路全体に命令信号等を送って制御する制御回路１５と、制御回路１５からの信号を各回路に送るインストラクション／コマンドバス１６と、演算素子アレイ１４から送られてきたデータ信号を、選択的に、蓄積し、あるいは、表示画像信号に変換するための信号変換器１７と、信号変換器１７による信号蓄積及び信号変換を制御するための信号変換制御部１９と、変換した表示画像信号により画像表示を行うモニタ１８とから構成されている。モニタ１８は、例えば、テレビモニターであり、その画像を利用して目視検査を行うものである。あるいは、モニタ１８に替えてコンピュータを接続し、信号変換器１７で選択的に変換された信号を出力信号としてコンピュータに直接出力してもよい。この場合は、コンピュータにより、画像演算機構１４の演算処理結果に対して、従来の画像処理技術による画像処理を施すことができる。

第２図は、本実施形態の高速画像処理カメラシステム１の構成例を示したものである。受光素子アレイ１１、Ａ／Ｄ変換器アレイ１３、画像演算機構１４、信号変換器１７、信号変換制御部１９，制御回路１５などの半導体チップを１つの基板の上にボンディングした図である。チップを直接基板にボンディングするため高集積化が可能であり、また、それぞれの装置の特性に合わせた加工工程を採用できるため、安定した生産が可能となる。将来的にはプロセス技術の向上により１チップ上に全ての機能を集積することも可能である。

続いて、各回路の内部構成について説明する。

第３図は、画像入力部の詳細構成を示している。画像入力部は、光を検出する受光部１００（第１図に示す受光素子アレイ１１に相当）、受光部１００からの出力信号を処理する信号処理部２００（第１図に示すＡ／Ｄ変換器アレイ１３に相当）、受光部１００及び信号処理部２００に動作タイミングの指示信号を通知するタイミング制御部３００（第１図に示す制御回路１５の一部に相当）を備えている。

最初に、第３図により、第１図の受光素子アレイ１１に相当する受光部１００の構成を説明する。

１個の受光素子１２０が、入力した光強度に応じて電荷を発生する１個の光電変換素子１３０と、光電変換素子１３０の信号出力端子に接続され、水平走査信号Ｖ_i（ｉ＝１〜Ｎ１）に応じて光電変換素子１３０に蓄積された電荷を出力する１個のスイッチ素子１４０とを、１組として構成されている。この受光素子１２０が第１の方向（以下、水平方向と呼ぶ）に沿ってＮ１個配置され、各受光素子１２０のスイッチ素子１４０が電気的に接続されて水平受光部１１０を構成している。そして、この水平受光部１１０を水平方向に直交する垂直方向に沿ってＮ２個配列することにより受光部１００が構成されている。

次に、同じく第３図により、Ａ／Ｄ変換器アレイ１３に相当する信号処理部２００の構成を説明する。

信号処理部２００は、対応する水平受光部１１０_j（ｊ＝１〜Ｎ２）から転送されてきた電荷を個別に取り出して処理し、この電荷強度に対応するデジタル信号を出力するＡ／Ｄ変換器２１０_jを、Ｎ２個配置して構成されている。Ａ／Ｄ変換器２１０_jは、チャージアンプ２２１_jを含む積分回路２２０_jと、比較回路２３０_jと、容量制御機構２４０_jの３つの回路から構成される。

このうち、積分回路２２０_jは、水平受光部１１０_jからの出力信号を入力として、この入力信号の電荷を増幅するチャージアンプ２２１_jと、チャージアンプ２２１_jの入力端子に一方の端が接続され、出力端子に他方の端が接続された可変容量部２２２_jと、チャージアンプ２２１_jの入力端子に一方の端が接続され、出力端子に他方の端が接続され、リセット信号Ｒに応じてＯＮ、ＯＦＦ状態となることで積分回路２２０_jの積分、非積分動作を切り替えるスイッチ素子２２３_jからなる。

ここで、第４図は、この積分回路２２０の詳細構成図である。本図は、４ビットつまり１６階調の分解能を持つＡ／Ｄ変換機能を備える積分回路の例であり、以下、この回路構成により説明する。可変容量部２２２は、チャージアンプ２２１の水平受光部からの出力信号の入力端子に一方の端子が接続された容量素子Ｃ１〜Ｃ４と、容量素子Ｃ１〜Ｃ４の他方の端子とチャージアンプ２２１の出力端子の間に接続され、容量指示信号Ｃ₁₁〜Ｃ₁₄に応じて開閉するスイッチ素子ＳＷ１１〜ＳＷ１４と、容量素子Ｃ１〜Ｃ４とスイッチ素子ＳＷ１１〜ＳＷ１４の間に一方の端子が接続され、他方の端子がＧＮＤレベルと接続されて、容量指示信号Ｃ₂₁〜Ｃ₂₄に応じて開閉するスイッチ素子ＳＷ２１〜ＳＷ２４により構成されている。なお、容量素子Ｃ１〜Ｃ４の電気容量Ｃ₁〜Ｃ₄は、
Ｃ₁＝２Ｃ₂＝４Ｃ₃＝８Ｃ₄
Ｃ₀＝Ｃ₁＋Ｃ₂＋Ｃ₃＋Ｃ₄
の関係を満たす。ここで、Ｃ₀は積分回路２２０で必要とする最大電気容量であり、受光素子１３０（第３図参照）の飽和電荷量をＱ₀、基準電圧をＶ_REFとすると、
Ｃ₀＝Ｑ₀／Ｖ_REF
の関係を満たす。

再び、第３図に戻り、Ａ／Ｄ変換器２１０_jの積分回路２２０_j以外の回路を説明する。比較回路２３０_jは、積分回路２２０_jから出力された積分信号Ｖ_Sの値を基準値Ｖ_REFと比較して、比較結果信号Ｖ_Cを出力する。容量制御機構２４０_jは、比較結果信号Ｖ_Cの値から積分回路２２０_j内の可変容量部２２２_jに通知する容量指示信号Ｃを出力すると共に、容量指示信号Ｃに相当するデジタル信号Ｄ１を、データ転送ライン２５０に出力する。こうして、各受光素子１２０（ｉ，ｊ）において得られた光電出力は、当該素子（ｉ，ｊ）における画像情報を示す生画像信号であるデジタル信号Ｄ（ｘ、ｙ）（ここで、（ｘ、ｙ）＝（ｉ，ｊ））に変換される。

各Ａ／Ｄ変換器２１０_jの容量制御機構２４０_jの出力端は、対応するデータ転送ライン２５０_jに接続されている。したがって、信号処理部２００（Ａ／Ｄ変換アレイ１３）全体の出力端には、Ｎ２個のデータ転送ライン２５０_jが接続されている。第１図に示すように、このデータ転送ライン２５０_jが画像演算機構１４に接続されている。このデータ転送ライン２５０_jは、また、生画像データバッファ４６０にも接続されている。生画像データバッファ４６０の出力端には、Ｎ２個のデータ転送ライン５００_jが接続されている。生画像データバッファ４６０は、データ転送ライン２５０_jから順次入力した生画像データであるデジタル信号Ｄ１を、所定期間格納し、その後、対応するデータ転送ライン５００_jを介して、信号変換器１７へ順次転送する。

なお、以上、Ａ／Ｄ変換器アレイ１３が４ビットつまり１６階調の分解能を持つ場合について説明したが、Ａ／Ｄ変換器アレイ１３は、６ビット、８ビット等、他のビット構成の分解能を持つ構成であってもよい。

続いて、第３図に示すタイミング制御部３００の構成を説明する。タイミング制御部３００は、全回路のクロック制御を行う基本タイミングを発生する基本タイミング部３１０と、基本タイミング部３１０から通知された水平走査指示に従って、水平走査信号Ｖ_iを発生する水平シフトレジスタ３２０と、リセット指示信号Ｒを発生する制御信号部３４０とから構成されている。

画像演算機構１４は、複数の処理回路４００をカスケードあるいはパラレル接続することにより、Ａ／Ｄ変換器アレイ１３から行ｊ毎に最上位ビット(MSB)より順次転送出力されてくるデジタル信号に対して所定の画像処理を行うものである。

各処理回路４００としては、画像処理演算をハードウェア的に行うもの、ソフトウェア的に行うものの両方を採用することができる。本実施形態では、ハードウェア的に演算処理を行う処理回路を採用している。

より詳しくは、本実施形態では、各処理回路４００として、二値化回路４０１と、重心演算処理回路４０２と、エッジ抽出処理回路４０３とを設けている。各処理回路４０１、４０２、４０３は、それぞれ、演算処理内容に合わせた特有の回路構成を有している。ここで、各画像処理のハードウェアを簡易に開発実装できるFPGA(Field Programable
Gate Array)などを利用することにより、演算対象に応じた処理をハードウェア化する作業を効率的に行うことができる。さらに、HDL（ハードウェア記述言語）によりソフトウェアによって回路設計が可能となっているため、従来のノウハウの活用が容易に行うことができる。

第５図に示すように、画像演算機構１４と生画像データバッファ４６０とは、Ｎ２個のスイッチ２０を介して、信号変換器１７に接続されている。このスイッチ２０により、画像演算機構１４内の処理回路４００による処理結果と生画像データとが合成されて、信号変換器１７に供給される。

以下、画像演算機構１４内の二値化処理回路４０１、重心演算処理回路４０２，及び、エッジ抽出処理回路４０３の具体的構成を説明する。なお、本実施形態の場合、二値化処理回路４０１の後段に、重心演算処理回路４０２とエッジ抽出処理回路４０３とがパラレルに接続されている。

まず、二値化処理回路４０１について、第６図を参照して説明する。二値化回路４０１には、Ｎ２個のビット比較器４０５_ｊが、受光素子アレイ１１のＮ２個の行に１対１に対応して配置されている。各比較器４０５_ｊの一つの入力端は、Ａ／Ｄ変換器アレイ１３からの対応するデータ転送ライン２５０_ｊに接続されている。各比較器４０５_ｊのもう一つの入力端は、インストラクション／コマンドバス１６を介して、制御回路１５と接続されており、比較対象のデータ信号が入力されるようになっている。各比較器４０５_ｊの出力端は、データ転送ライン４４０_ｊに接続されている。各比較器４０５_ｊは、その比較結果を、対応するデータ転送ライン４４０_ｊに出力する。このようにして、各データ転送ライン４４０_jは、Ａ／Ｄ変換アレイ１３を介して、受光素子アレイ１１中の対応する行ｊの各画素ラインに接続されている。

第６図に示すように、重心演算を行う重心演算処理回路４０２は、二値化回路４０１からのＮ２個のデータ転送ライン４４０_ｊに接続されている。重心演算処理回路４０２は、画像処理において基本的な演算の一つである重心演算を行うためのものである。重心演算処理回路４０２は、重心検出回路４０９と重心画像データ生成回路４２５とからなる。

重心検出回路４０９の構成について、第７図を参照して、詳細に説明する。

重心検出回路４０９は、受光素子アレイ１１のＮ２個の行、すなわち、Ｎ２個のＡ／Ｄ変換器２１０_ｊに対応して、Ｎ２個の加算器４１０_ｊを有している。すなわち、二値化回路４０１からのＮ２個のデータ転送ライン４４０_ｊが、Ｎ２個の加算器４１０_ｊに、それぞれ接続されている。各加算器４１０_ｊは、対応する１個の乗算器４１１_ｊの一つの入力端に接続されている。各乗算器４１１_ｊのもう一つの入力端には、行位置データ供給回路４１２が接続されている。全Ｎ２個の乗算器４１１_ｊの出力端は、共通の１個の加算器４１３が有するＮ２個の入力端に、それぞれ、接続されている。加算器４１３の出力端は、割算器４１４の被除数入力端に接続されている。

二値化回路４０１からのＮ２個のデータ転送ライン４４０_ｊは、更に、１個の加算器４１５が有するＮ２個の入力端に、それぞれ、接続されている。この加算器４１５の出力端は、別の加算器４１８の一つの入力端と、乗算器４１６の入力端に接続されている。乗算器４１６のもう一つの入力端には、列位置データ供給回路４１７が接続されている。乗算器４１６の出力端は、加算器４１９の入力端に接続されている。この加算器４１９の出力端は、割算器４２０の被除数入力端に接続されている。そして、割算器４１４、４２０のそれぞれの除数入力端には加算器４１８の出力端が接続されている。割り算器４１４と４２０の割り算結果は、Ｎ１ｘＮ２個の入力信号Ｄ（ｘ、ｙ）が示す一つのフレーム画像の重心位置（Ｐｘ、Ｐｙ）のｙ座標とｘ座標を示す。割り算器４１４と４２０の出力端には、それぞれ、データ転送ライン５１０ｙ、５１０ｘが接続されている。割り算器４１４と４２０は、それぞれ、対応するデータ転送ライン５１０ｙ、５１０ｘを介して、重心位置データＰｙ及びＰｘを出力する。

第６図に示すように、割り算器４１４と４２０からのデータ転送ライン５１０ｙ、５１０ｘは、インストラクション／コマンドバス１６を介して制御回路１５に接続されており、重心位置データ（Ｐｘ、Ｐｙ）を制御回路１５へ出力するようになっている。データ転送ライン５１０ｙ、５１０ｘは、また、重心画像データ生成回路４２５にも接続されている。

重心画像データ生成回路４２５は、割り算器４１４と４２０の割り算結果、すなわち、入力画像データの重心位置（Ｐｘ、Ｐｙ）に基づき、当該重心位置の点を示す重心画像データＰ（ｘ、ｙ）を生成するためのものである。重心画像データ生成回路４２５の出力端には、Ｎ２個のデータ転送ライン５２０_ｊが接続されている。重心画像データ生成回路４２５は、重心のｙ方向位置Ｐｙに対応するデータ転送ライン５２０_ｊに対して、重心のｘ方向位置Ｐｘに対応するタイミングで２値データ（１）を出力することで、重心位置（Ｐｘ、Ｐｙ）の点を表示する重心画像データＰ（ｘ、ｙ）を生成する。

次に、エッジ抽出処理回路４０３について説明する。第６図に示すように、エッジ抽出処理回路４０３も、二値化回路４０１からのＮ２個のデータ転送ライン４４０_ｊに接続されている。

本実施形態においては、エッジ抽出処理回路４０３は、３×３マスク演算を行う回路構成となっており、近傍画素の画素データを用いてエッジ抽出演算を行うことができるようになっている。エッジ抽出回路４０３は、第６図に示すように、受光素子アレイ１１のＮ２個の行、すなわち、Ｎ２個のＡ／Ｄ変換器２１０_ｊに対応して、Ｎ２個の積和演算器４３０_ｊを備えている。そして、二値化回路４０１からのＮ２個のデータ転送ライン４４０_ｊが、このＮ２個の積和演算器４３０_ｊに、それぞれ接続されている。各積和演算器４３０_ｊは、対応する行ｊのデータ転送ライン４４０_jと共に、当該対応する行ｊの上下の行ｊ、ｊ＋１のデータ転送ライン４４０_j−1、４４０_j+1にも接続されている。

第８図に示すように、各積和演算器４３０_ｊ内には、９個の乗算器４３１（０）〜４３１（８）と１個の加算器４３２とが配置され、各乗算器４３１の出力が加算器４３２の対応する入力端に接続されている。乗算器４３１（０）〜４３１（８）のうち、乗算器４３１（０）〜４３１（２）が、データ転送ライン４４０_j−1に接続され、乗算器４３１（３）〜４３１（５）がデータ転送ライン４４０_jに接続され、乗算器４３１（６）〜４３１（８）が、データ転送ライン４４０_j+1に接続されている。各行ｊ−１，ｊ、ｊ＋１では、各乗算器４３１が、対応するデータ転送ライン４４０からの画像データを、順次、後段の乗算器４３１へ転送できるようになっている。このデータの転送に伴って、所定の受光素子１２０とそれを囲む８つの受光素子の画像データがそれぞれの入力端に入力される構成になっている。なお、第１行（ｊ＝１）に対応する積和演算器４３０_１については、ｊ−１行がないため、乗算器４３１（０）〜４３１（２）にはデータ転送ライン４４０は接続されない。したがって、乗算器４３１（０）〜４３１（２）には、常に、画像データ（０）が入力されることになる。同様に、第Ｎ２行（ｊ＝Ｎ２）に対応する積和演算器４３０_Ｎ２については、ｊ＋１行がないため、乗算器４３１（６）〜４３１（８）にはデータ転送ライン４４０は接続されない。したがって、乗算器４３１（６）〜４３１（８）には、常に、画像データ（０）が入力されることになる。

各乗算器４３１（０）〜４３１（８）の他の入力端は、マスクデータ供給回路４５０に接続されており、演算内容を規定するマスク情報（この場合、エッジ抽出を行うためのマスク情報）が送られるようになっている。

かかる構成を有する各積和演算器４３０_jの加算器４３２の出力端には、データ転送ライン５３０_jが接続されており、加算機４３２の加算結果である処理画像データＤ‘（ｘ、ｙ）（ここで、ｙ＝ｊ）が出力される。このため、エッジ抽出処理回路４０３全体の出力端には、Ｎ２個のデータ転送ライン５３０_jが接続されている。第６図に示すように、このＮ２個のデータ転送ライン５３０_jは、処理画像データバッファ４３３に接続されている。処理画像データバッファ４３３の出力端には、Ｎ２個のデータ転送ライン５４０_jが接続されている。処理画像データバッファ４３３は、データ転送ライン５３０_jから順次受け取る処理画像データＤ’（ｘ、ｙ）を、所定期間格納し、その後、対応するデータ転送ライン５４０_jにて、信号変換器１７へ順次転送する。

第９図に示すように、生画像データバッファ４６０からのＮ２個のデータ転送ライン５００_j、重心画像データ生成回路４２５からのＮ２個のデータ転送ライン５２０_j、及び、処理画像データバッファ４３３からのＮ２個のデータ転送ライン５４０_jは、それぞれ、対応するＮ２個のスイッチ２０_ｊを介して、信号変換器１７に接続されている。

信号変換器１７内には、一行分（Ｎ１画素分）の合成画像データを所定の画面数（例えば、ｎ画面数、ここで、ｎは正の整数）分蓄積するデータバッファ１７１_ｊがＮ２個配列されている。各データバッファ１７１_ｊは、対応するスイッチ２０_ｊを介して、生画像データバッファ４６０からの対応するデータ転送ライン５００_j、重心画像データ生成回路４２５からの対応するデータ転送ライン５２０_j、及び、処理画像データバッファ４３３からの対応するデータ転送ライン５４０_jに、接続されている。各スイッチ２０_ｊが、所定のタイミングで切り替えられることにより、各行ｊ毎に、生画像データＤ（ｘ、ｙ）と重心画像データＰ（ｘ、ｙ）と処理画像データＤ‘（ｘ、ｙ）とが合成された合成画像データが、対応する各データバッファ１７１_ｊに入力される。

また、これらのデータバッファ１７１_ｊには、Ｄ／Ａ変換器１７２と同期信号混合器１７３とが接続されている。Ｄ／Ａ変換器１７２は、合成画像データであるデジタル画像信号をアナログ信号に変換するためのものである。また、同期信号混合器１７３は、Ｄ／Ａ変換器１７２からのアナログ信号に、モニタ１８（又は後段の汎用画像処理装置＝コンピュータ）のフレームレートに合った適切な同期信号を付加することにより、必要なフレームレートの画像信号を生成するためのものである。

制御回路１５は、図示しないＣＰＵ及びメモリ等からなり、本実施形態のカメラシステム１全体を、インストラクション／コマンドバス及び信号変換制御部１９を介して制御するためのものである。制御回路１５は、メモリに格納した後述の制御プログラム（第１２図）を実行することで、カメラシステム１全体を制御する。信号変換制御部１９は、図示しないＣＰＵ及びメモリ等からなり、制御回路１５からの指示に基づいて、信号変換器１７を制御し、生画像データと処理画像データの蓄積や、これらデータの信号変換を行わせるためのものである。制御回路１５と信号変換制御部１９とは、同一のＣＰＵにより構成してもよい。

次に、本実施形態のカメラシステム１の動作を、第１０図を参照して説明する。

本実施形態のカメラシステム１は、画像演算として、二値化処理、重心演算処理、エッジ抽出処理を行い、処理結果を元の画像と重ね合わせた表示を行う。

まず、リセット信号Ｒを有為に設定し、第４図に示す可変容量部２２２のＳＷ１１〜ＳＷ１４を全て「ＯＮ」、ＳＷ２１〜ＳＷ２４を全て「ＯＦＦ」状態にする。これにより、チャージアンプ２２１の入力端子と出力端子間の容量値をＣ₀に設定する。それと同時に、第３図に示す全てのスイッチ素子１４０を「ＯＦＦ」状態とし、水平走査信号Ｖｉをいずれの受光素子１２０も選択しない状態に設定する。この状態から、リセット指示信号Ｒを非有為に設定し、各積分回路２２０での積分動作を開始させる。

積分動作を開始させると、第３図に示すＮ２個の各水平受光部１１０_jにある第１番目の受光素子１２０_1,jのスイッチ素子１４０のみを「ＯＮ」とする水平走査信号Ｖ₁が出力される。スイッチ素子が「ＯＮ」になると、それまでの受光によって光電変換素子１３０に蓄積された電荷Ｑ₁は、電流信号として受光部１００から出力される。つまり、第９図に示される対象物９００を撮像した生画像９０１に該当する信号を読み出すことができる。電荷Ｑ₁は容量値Ｃ₀に設定された可変容量部２２２に流入する。

次に、第４図により積分回路２２０内部の動作を説明する。容量制御機構２４０（第３図参照）は、ＳＷ１２〜ＳＷ１４を開放した後、ＳＷ２２〜２４を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／Ｃ₁
で示す電圧値として出力される。積分信号Ｖ_Sは、比較回路２３０に入力して、基準電圧値Ｖ_REFと比較される。ここで、Ｖ_SとＶ_REFの差が、分解能の範囲以下、すなわち±（Ｃ₄／２）以下の時は、一致したものとみなし、更なる容量制御は行わず、積分動作を終了する。分解能の範囲で一致しないときは、更に容量制御を行い、積分動作を続ける。

例えば、Ｖ_S＞Ｖ_REFであれば、容量制御機構２４０は、更に、ＳＷ２２を開放した後に、ＳＷ１２を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／（Ｃ₁＋Ｃ₂）
で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較回路２３０（同）に入力して、基準電圧値Ｖ_REFと比較される。

また、Ｖ_S＜Ｖ_REFであれば、容量制御機構２４０は、更に、ＳＷ１１及びＳＷ２２を開放した後に、ＳＷ１２及びＳＷ２１を閉じる。この結果、積分信号Ｖ_Sは、
Ｖ_S＝Ｑ／Ｃ₂
で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較回路２３０に送出され、基準電圧値Ｖ_REFと比較される。

以後、同様にして、積分回路２２０→比較回路２３０→容量制御機構２４０→積分回路２２０のフィードバックループによって、積分信号Ｖ_Sが基準電圧値Ｖ_REFと分解能の範囲で一致するまで、比較及び容量設定（ＳＷ１１〜ＳＷ１４及びＳＷ２１〜ＳＷ２４のＯＮ／ＯＦＦ制御）を順次繰り返す。積分動作が終了した時点のＳＷ１１〜ＳＷ１４のＯＮ／ＯＦＦ状態を示す容量指示信号Ｃ₁₁〜Ｃ₁₄の値は、電荷Ｑ₁の値に対応したデジタル信号であり、最上位ビット（ＭＳＢ）の値がＣ₁₁、最下位ビット（ＬＳＢ）の値がＣ₁₄である。こうしてＡ／Ｄ変換が行われ、これらの値をデジタル信号Ｄ１として、データ転送ライン２５０を介して、演算素子アレイ１４に出力する。

以上述べたように、この装置では、デジタル信号Ｄ１の各ビット値は、ＭＳＢ側からＬＳＢ側へ１ビットずつ順に定まる。

このように、容量Ｃ１〜Ｃ４が一つずつＯＮされながら、比較電圧Ｖ_ＲＥＦとの比較が行われ、その比較結果が出力デジタル信号Ｄ１として出力される。すなわち、まず、容量Ｃ１がオンとされ、積分信号Ｖ_Ｓ＝Ｑ／Ｃ１となり、このＶ_ＳがＶ_ＲＥＦと比較される。Ｖ_Ｓが大きければ“１”（＝Ｃ_１１）、小さければ“０” （＝Ｃ_１１）となり、これがＭＳＢ（最上位ビット）として出力される。次に、Ｃ２がオンとされ、Ｖ_Ｓ＝Ｑ／（Ｃ１＋Ｃ２）（ＭＳＢ＝１の時）、または、Ｖ_Ｓ＝Ｑ／Ｃ２（ＭＳＢ＝０の時）が得られ、Ｖ_ＲＥＦと比較される。Ｖ_Ｓが大きければ“１” （＝Ｃ_１２）、小さければ“０”（＝Ｃ_１２）となり、これが２ビット目として出力される。以上の処理が必要なビット数まで繰り返されることで、Ａ／Ｄ変換が実行される。

第１番目の受光素子１２０_1,jの光電出力に相当するデジタル信号の送出が終了すると、リセット信号Ｒが有為とされ、再び、非有為にして、可変容量部２２２_jの容量値を初期化した後に、各水平受光部１１０_jの第２番目の受光素子１２０_2,jのスイッチ素子１４０のみを「ＯＮ」とする水平走査信号Ｖ₂を出力し、上述と同様の動作により、第２番目の受光素子１２０_2,jの光電出力を読み出し、これに相当するデジタル信号を送出する。以下、水平走査信号を切り替えて、全受光素子１２０の光電出力を読み出し、相当するデジタル信号を演算素子アレイ１４に出力する。

この結果、第１１（ａ）図に示すように、各データ転送ライン２５０_ｊには、対応するｊ行目における全受光素子１２０_１,j〜１２０_Ｎ１,jからの出力が、この順番で、送出される。しかも、各受光素子１２０_ｉ,jの出力は、その最上位ビット（ＭＳＢ）から最下位ビット（ＬＳＢ）まで、その順番で、送出される。こうして送出された各受光素子１２０_ｉ,jからの４ビット生画像データＤ（ｘ、ｙ）＝９０１（第１０図）は、二値化処理回路４０１に送出されるのみならず、生画像データバッファ４６０に格納され、所定期間保持される。

かかる本実施形態のＡ／Ｄ変換器アレイ１３の構成によれば、１画素あたりのＡ／Ｄ変換速度は、１ビットあたり約１マイクロ秒となる。したがって、例えば、入力アナログ信号を８ビット（１２８階調）でデジタル変換する場合には、１行分の１２８個の受光素子１２０の出力信号をデジタル変換するのに必要な時間は、８マイクロ秒ｘ１２８＝１．０２４ミリ秒となる。すなわち、各フレーム画像を、約１ミリ秒にて取得することができる。したがって、約１０００フレーム／秒の高速フレームレートにて、連続する画像フレームを取得することができる。

次に、画像演算機構１４の動作を第１図および第６図〜第１０図により説明する。

まず、第６図に示される二値化処理回路４０１が二値化演算を行う。

具体的には、各比較回路４０５_ｊには、対応するＡ／Ｄ変換器２１０_ｊより画像データ９０１（第１０図）が入力される。ここで、画像データ９０１は、前述したように、ＭＳＢより入力されてくるデジタル信号であるため、制御回路１５からも、比較される信号列がＭＳＢより順次入力されてくる。コンパレータ４０５が、これら入力データについて、順次比較を行い、画像信号が比較信号と一致又は大きいときにのみ１を出力し、小さいときは０を出力する。したがって、各比較回路４０５_ｊからは、対応するデータ転送ライン４４０_ｊを介して、１ビットの２値画像データが出力される。この結果、第１０図に示されるような生画像９０１に対する２値画像９０２が得られる。この２値画像データは、データ転送ライン４４０_ｊを介して、重心演算処理回路４０２及びエッジ抽出処理回路４０３に送出される。

続いて、この２値化画像データをもとにして重心情報とエッジ抽出画像が求められる。

重心情報は、第７図の構成を有する重心演算回路４０２によって、以下のように計算される。

ここで、入力されてくる２値画像データをＤ（ｘ，ｙ）とすると、ｘ方向、ｙ方向の重心座標（Ｐｘ，Ｐｙ）は以下の式により求められる。

本演算回路４０２では、（ａ）（ｂ）式に共通する分母とそれぞれの分子を、重心検出回路４０９により、並列的に演算する。

すなわち、各加算器４１０_ｊには、対応する行ｊ内の全画素の２値化画像データが、対応するデータ転送ライン４４０_ｊを介して、入力されてくる。したがって、各加算器４１０_ｊは、対応する行ｊ内の全Ｎ１個の画素の２値画像データを加算する。対応する乗算器４１１_ｊは、この加算結果を、行位置データ供給回路４１２から送られくる対応する行位置情報ｙと掛け合わせ、その結果を、加算器４１３にて、全Ｎ２行分加算することにより、（ｂ）式の分子の値を得る。

一方、加算器４１５には、全データ転送ライン４４０_ｊが接続されている。このため、加算器４１５は、各列ｉの２値画像データを全Ｎ２行分一斉に加算する。各列ｉについての加算結果は、さらに、全Ｎ１列分、加算器４１８で、加算されることで、（ａ）（ｂ）式のそれぞれの分母の値が得られる。

加算器４１５にて各列ｉ毎に加算された２値画像データの値は、乗算器４１６にも送られる。乗算器４１６は、この各列ｉの加算結果を、列位置データ供給回路４１２から送られてくる対応する列位置情報ｘと掛け合わせ、その結果を加算器４１９に出力する。加算器４１９は、乗算器４１６による演算結果を、全Ｎ１列分加算することで、（ａ）式の分子の値を得る。

割算器４１４は、こうして得られた行位置情報ｙで重み付けした画像データの総和値を、加算器４１８から出力された画像データの総和値で割ることにより、Ｐｙに相当する出力を得る。また、割算器４２０は、列位置情報ｘで重み付けした画像データの総和値を、加算器４１８から出力された画像データの総和値で割ることにより、Ｐｘに相当する出力を得る。

この重心結果データ（Ｐｘ、Ｐｙ）は、データ転送ライン５１０ｘ、５１０ｙ、及び、インストラクション／コマンドバス１６を介して、制御回路１５に送出される。

重心画像データ生成回路４２５は、データ転送ライン５１０ｘ、５１０ｙを介して、重心結果データ（Ｐｘ、Ｐｙ）を受け取ると、重心位置（Ｐｘ、Ｐｙ）の点のみが１で残りの全ての画素（ｘ、ｙ）（１≦ｘ≦Ｎ１、ｘ≠Ｐｘ、１≦ｙ≦Ｎ２、ｙ≠Ｐｙ）で０である重心画像データＰ（ｘ、ｙ）を生成して、データ転送ライン５２０_ｊを介して、出力する。すなわち、Ｐｙ以外に対応する全データ転送ライン５２０_ｊ（ここで、ｊ≠Ｐｙ）にデータ０を出力し続け、Ｐｙに対応するデータ転送ライン５２０_ｊ（ここで、ｊ＝Ｐｙ）には、Ｐｘに対応するタイミングでのみデータ１を出力し、残りの全てのタイミングでデータ０を出力することで、重心画像データＰ（ｘ、ｙ）を出力する。

こうして得られた重心画像データＰ（ｘ、ｙ）は、第１０図に示される画像９０４のように、画像内に表示した円中の×印の交点として示した重心位置のみに点が示された画像となる。

次にエッジ抽出処理について説明する。エッジ抽出は、第８図の構成を有する３×３積和演算器４３０_ｊをＮ２個備えるエッジ抽出処理回路４０３によって行われる。

各３×３積和演算器４３０_ｊは、次式で示される画像処理演算を行う。

ここで、Ｄ（ｉ，ｊ）（＝Ｄ（ｘ、ｙ））は入力２値画像データである。より詳しくは、Ｄ（ｉ−１、ｊ）、Ｄ（ｉ、ｊ）、Ｄ（ｉ＋１，ｊ）は、データ転送ライン４４０_ｊから送出されてくる互いに隣り合う３つの画素の２値データである。同様に、Ｄ（ｉ−１、ｊ―１）、Ｄ（ｉ、ｊ―１）、Ｄ（ｉ＋１，ｊ―１）は、データ転送ライン４４０_ｊ―１から送出されてくる互いに隣り合う３つの画素の２値データである。さらに、Ｄ（ｉ−１、ｊ＋１）、Ｄ（ｉ、ｊ＋１）、Ｄ（ｉ＋１，ｊ＋１）は、データ転送ライン４４０_ｊ＋１から送出されてくる互いに隣り合う３つの画素の２値データである。

Ｄ’（ｘ，ｙ）が、処理結果である出力画像データであり、ｍａｓｋは、マスクデータ供給回路４０５から供給されるマスクデータである。

エッジ抽出処理においては、ｍａｓｋの値を以下のように設定してラプラシアン演算を行う。

２値画像データＤ（ｘ，ｙ）は、データ転送ライン４４０を介して転送されてくる。この結果、各乗算器４３１には、近傍３×３画素の画像データＤ（ｉ±１，ｊ±１）がそれぞれ入力される。一方、マスクデータ供給回路４５０からは、式（ｄ）に示されるマスクデータが各乗算器４３１へ入力される。すなわち、乗算器４３１（０）〜４３１（３）と４３１（５）〜４３１（８）には、１、乗算器４３１（４）には、−８が入力される。こうして入力されたマスクデータと画像データの乗算結果は、加算器４３２に送られて加算され、得られた演算結果データＤ‘（ｘ、ｙ）、つまり、エッジ抽出結果が出力される。これが、第１０図に示されるエッジ抽出画像９０３である。

こうして、各３ｘ３積和演算器４３０にて得られたエッジ抽出結果Ｄ‘（ｉ、ｊ）は、対応するデータ転送ライン５３０_ｊに出力され、処理画像データバッファ４３３にて所定時間格納された後、対応するデータ転送ライン５４０_ｊに出力される。

以上の計算処理は、行毎の並列演算を採用して、計算時間を短縮して高速化して行われているため、Ａ／Ｄ変換レートで定まる高速フレームレートで取得した画像を、リアルタイムで処理することができる。

次に、処理画像と画像データの重ね合わせについて第９図〜第１１（ｃ）図を参照して説明する。

既に述べたように、生画像の画像データ９０１は、第１１（ａ）図に示されるように、各行ｊにおいて、１行分の信号が、ビットシリアル信号としてＭＳＢより順次出力される。各画素のデータは、例えば、４ビットで構成され、各々の画素データの間には、アンプやＡ／Ｄのリセットのための無信号時間が存在する。そこで、第９図に示すように、各行ｊに対応するスイッチ２０_ｊを制御し、対応するデータバッファ１７１_ｊへの信号の入力先を、画像演算機構１４からのライン５２０_ｊ及び５４０_ｊと、画像演算機構１４を回避するＡ／Ｄ変換器アレイ１３からのライン５００_ｊとの間で切り替えることで、第１１（ｂ）図に示されるように、画像処理結果（この場合、重心画像データとエッジ抽出画像データ）を生画像の画素データ間のこの無信号時間部分に埋め込んで、生画像データ４ビット＋処理結果画像データ２ビット（重心画像データ１ビット＋エッジ抽出画像データ１ビット）＝６ビットのデータを生成する。

こうして、各行ｊに対応するスイッチ２０_ｊは、Ａ／Ｄ変換器アレイ１３（生画像データバッファ４５０）からのライン５００_ｊと、重心画像データ生成回路４２５からのライン５２０_ｊと、エッジ抽出回路４０３（処理画像データバッファ４３３）からのライン５４０_ｊとの間で、順番に切り替わることで、生画像データと重心画像データとエッジ抽出画像データとを合成する。

このように、各行ｊにおいて、各画素ｉに対し、生画像データ４ビットの後または前に、処理結果として得られた重心画像データ１ビット（０もしくは１）とエッジ抽出画像データ１ビット（０もしくは１）を追加するのである。但し、重心演算処理回路４０２による重心画像処理にはある程度の時間がかかることを考慮し、生画像データをいったん生画像データバッファ４５０に保持し、エッジ抽出処理画像データもいったん処理画像データバッファ４３３に保持するようにしている。重心画像データ生成回路４２５によって重心画像データが生成されるタイミングに合わせて、これら生画像データとエッジ抽出処理画像データを、対応するデータバッファ４５０、４３３から出力するようにしている。

例えば、第１１（ｂ）図に示すように、生画像の４ビットデータの後に、重心情報、エッジ抽出画像信号をそれぞれ１ビットずつ、この順序で挿入する。この結果、第１０図に示されるような生画像のエッジを強調して重心位置が表示される重ね合わせ画像９０５が生成される。

なお、データバッファ４５０、４３３は設けなくてもいい。その場合には、重心画像データについては、生画像データ及びエッジ抽出処理画像データに対して１フレーム後にずれたタイミングにおいて、対応する画素の位置に挿入すれば良い。

また、後段の表示装置や演算装置の制約から出力画像データを４ビット長に維持する必要がある場合は、生画像の最下位あるいは最上位ビットの代わりに、処理結果を最下位あるいは最上位ビットに入れればよい。例えば、第１１（ｃ）図に示すように、生画像の下位２ビットの代わりに、重心情報、エッジ抽出画像信号をそれぞれ１ビットずつ、この順序で挿入してもいい。この場合にも、第１０図に示されるような生画像のエッジを強調して重心位置が表示される重ね合わせ画像９０５が生成される。

こうして各行ｊに対して得られた合成画像データ９０５は、対応するデータバッファ１７１_ｊに格納される。なお、各データバッファ１７１_ｊは、格納する合成画像データ９０５のビット数に合わせた容量を有している。例えば、合成画像データ９０５が、第１１（ｂ）図のように、各画素６ビットで形成される場合には、各データバッファ１７１_ｊは、６ビットｘ（各行ｊの画素数Ｎ１）ｘ（フレーム数ｎ）の容量を有するように構成される。また、合成画像データ９０５が、第１１（ｃ）図のように、各画素４ビットで形成される場合には、各データバッファ１７１_ｊは、４ビットｘ（各行ｊの画素数Ｎ１）ｘ（フレーム数ｎ）の容量を有するように構成される。したがって、全Ｎ２個のデータバッファ１７１_ｊにより、ｎフレーム分の合成画像データ９０５を保持することができる。

本実施の形態のカメラシステム１によれば、連続する複数のフレーム画像９０１を、Ａ／Ｄ変換器アレイ１３のＡ／Ｄ変換レートで定まる高速フレームレートで繰り返し取得していく。そして、各フレームの合成画像データ９０５を繰り返し生成し保持していく。そして、所望の時点で得られた合成画像を所望のフレームレートに変換して、モニター１８に表示する。

ここで、所望の時点とは、例えば、重心検出回路４０９にて求められた重心位置（Ｐｘ、Ｐｙ）が、所望の設定位置に一致した場合である。制御回路１５は、１フレームの画像が得られる度に、重心検出回路４０９から重心位置データ（Ｐｘ、Ｐｙ）を受け取り、それが設定値（Ｘ、Ｙ）に一致しているかを判断する。一致していない場合には、信号変換制御部１９を介して、今回のフレームについての合成画像データをデータバッファ１７１に格納させる。一方、あるフレームおいて、重心位置データ（Ｐｘ、Ｐｙ）が設定値（Ｘ、Ｙ）に一致したと判断されると、制御回路１５は、信号変換制御部１９に対し、モニタ表示処理の指示を出力する。表示処理が指示された信号変換制御部１９は、信号変換器１７を制御し、データバッファ１７１に既に格納されているｎ個分のフレームの合成画像データを、古いものから順番に読みだして、モニター表示に適した画像信号に変換して、モニター１８に表示させる。さらに、現在のフレームについても同一の処理を行い、表示させる。さらに、今後順次得られるｎ個分のフレームについても、その合成画像データについて同一の処理を行い、表示させる。こうして、信号変換器１７は、信号変換制御部１９からの指示により、重ね合わせ画像信号を、モニタ１８で表示するのに適した画像信号に変換して、モニタ１８に表示させる。

本実施形態のカメラシステム１では、以上の処理を、制御回路１５による制御の下、第１２図に示すフローチャートに従って行う。

すなわち、まず、Ｓ１０において、制御回路１５は、受光素子アレイ１１及びＡ／Ｄ変換器アレイ１３を制御して、１フレームの生画像データＤ（ｘ、ｙ）（１≦ｘ≦Ｎ１、１≦ｙ≦Ｎ２）を取得する。その結果、生画像データＤ（ｘ、ｙ）が、データ転送ライン２５０_ｊを介して、画像演算機構１４に転送されると共に、生画像データバッファ４６０に格納される。

次に、Ｓ２０において、制御回路１５は、画像演算機構１４を制御して、演算処理を行わせる。すなわち、まず、二値化回路４０１を制御して、データ転送ライン２５０_ｊからの生画像データを２値化して、２値画像データを生成する。さらに、重心演算回路４０２を制御して、２値画像データに基づき、現在のフレームにおける重心位置（Ｐｘ、Ｐｙ）を演算させる。演算結果は、制御回路１５に送信されると共に、重心画像データ生成回路４２５に送出され、重心画像データが作成される。また、エッジ抽出処理回路４０３を制御して、２値画像データに基づき、エッジ抽出画像データを生成する。エッジ抽出画像データは、処理画像データバッファ４３３に格納される。

次に、Ｓ３０にて、制御回路１５は、現在のフレームについて受け取った重心位置データ（Ｐｘ、Ｐｙ）を、設定データ（Ｘ、Ｙ）と比較する。重心位置データ（Ｐｘ、Ｐｙ）と設定データ（Ｘ、Ｙ）とが一致していない場合（Ｓ４０にてＮｏ）には、制御回路１５は、信号変換制御部１９を介して、信号変換器１７に対し、現在のフレームについて、合成画像データを生成させデータバッファ１７１に蓄積させる。すなわち、制御回路１５は、スイッチ２０_ｊを制御することにより、生画像データバッファ４６０の生画像データと、重心画像データ生成回路４２５からの重心画像データと、処理画像データバッファ４３３のエッジ抽出画像データとを合成し、データバッファ１７１に格納させる。そして、次のフレームの取得／処理（Ｓ１０）に進む。なお、ここで、ｎフレーム分の合成画像データがデータバッファ１７１に既に蓄積されていた場合には、最も古いフレームについての合成画像データを捨てて、最も新しい今回のフレームの合成画像データを蓄積させる。

一方、現在のフレームについて受け取った重心位置データ（Ｐｘ、Ｐｙ）が設定データ（Ｘ、Ｙ）と一致した場合（Ｓ４０にてＹｅｓ）には、制御回路１５は、Ｓ６０にて、信号変換制御部１９に対し、モニタ表示処理を開始するよう指示する。なお、制御回路１５は、かかる指示をした後、Ｓ１０に戻り、次のフレームの取得／処理を開始する。

モニタ表示処理の指示を受けた信号変換制御部１９は、Ｓ７０にて、データバッファ１７１に既に格納されている合成画像データと、今回のフレームの合成画像データと、今後ｎ個分のフレームの合成画像データとを順次表示するよう、信号変換器１７への制御を開始する。具体的には、信号変換制御部１９は、まず、データバッファ１７１から、現在蓄積されている全フレーム（ｎ個分のフレーム）を、最も古いフレームから順に読みだし、Ｄ／Ａ変換器１７２でアナログ信号に変換し、さらに、同期信号混合器１７３にて同期信号と混合してモニター１８に表示する。さらに、今回のフレームについての合成画像データについても同一の処理により表示をし、さらに、今後得られるｎ個分のフレームに対しても同一の処理を行い表示をする。

なお、以上の制御は、ある表示すべき瞬間の前後の画像を表示する場合についてのものだが、ある表示すべき瞬間のフレームとそれ以後のフレームについての画像のみを表示すればいい場合には、Ｓ５０では、画像の蓄積を行わなくていい。Ｓ４０にてＹｅｓとなった場合のみ、そのフレームとそれ以降の数フレーム分について、画像の蓄積と表示とを行うようにすれば良い。

以上のように、本実施の形態によれば、Ａ／Ｄ変換器アレイ１３は、受光素子アレイ１１の各行の受光素子１２０に対応して１個のＡ／Ｄ変換器２１０を備えている。画像演算機構１４は、複数の処理回路４００を備えており、高速での画像演算を行う。信号変換器１７は、Ａ／Ｄ変換器アレイ１３の出力信号と画像演算機構１４の出力信号とを合成する。信号変換器１７は、さらに、制御回路１５及び信号変換制御部１９の制御の下、重要なタイミングにおいて、合成信号を、モニタ１８の表示に適したフレームレートにダウンコンバートして、モニタ１８に表示させる。したがって、高速フレームレートで取得し処理した画像の内、本当に必要なフレームのみを抜き出して、信号変換して表示することができる。

従来技術４の装置では、画像表示を行うための画像センサのフレームレートが３０ミリ秒と制限されており、しかも、第１３（ｂ）図に示されるように、画像表示のタイミングに合わせて画像転送、処理演算を行う必要があるため、高速での画像処理演算は不可能であった。これに対して、本実施形態の装置では、画像転送、画像演算をフレームレート１０００ミリ秒という高速で行い、任意のタイミングの映像をデータバッファ１７１に蓄積しておいてＤ／Ａ変換器１７２、同期信号混合器１７３によりモニタ１８側のフレームレートに合わせた映像信号を生成して出力することで、第１３（ａ）図にタイミングチャートを示すように、所定のタイミングの映像を抽出して時間的に引き延ばして表示することが可能となっている。

本実施形態のカメラシステム１によれば、例えば、第１４（ａ）〜（ｃ）図に示すように、既にチップ５１、５２が実装されている基板５０上にさらにチップ５３を装置５４を用いて実装する瞬間の画像を抽出することができる。第１４（ｂ）図が所望のチップ５３が実装される瞬間の画像であり、第１４（ａ）図、第１４（ｃ）図は、それぞれ、その前後のタイミングで取得された画像である。

このチップ５３が実装される瞬間の画像を抽出するため、本実施形態のカメラシステム１は、入力画像の中から、特徴抽出演算によって対象画像であるチップ５３を抽出し、その対象が基板の所定の位置に実装されるタイミングで画像を出力することができる。

具体的には、まず、入力画像Ｄ（ｘ，ｙ）が画像演算機構１４に転送され、重心およびエッジ抽出が行われ、処理画像が生成される。重心演算結果に基づき、チップ５３の位置を高速（フレームレートの速度）に把握する。そして、チップ５３の位置が基板５０の所定位置に達した所定のタイミングにおいて、信号変換制御部１９から信号変換器１７に対して画像信号の変換を指示することにより、このタイミングの画像（第１４（ｂ）図に示されるタイミングの画像）前後の映像をモニタ１８に表示させる。

さらに、本機能を用いることで、「ドリルが加工対象に接触する瞬間」や「バットがボールにぶつかる瞬間」とその前後等、最も重要な情報を含む画像列を抽出してモニター画像出力することが可能となる。従来の画像処理演算のほとんどが同様な手法でハードウェア化可能であるため、高速対象物の画像処理を実現できる。

さらに、３ｘ３のマスク演算を行うエッジ抽出回路４０３によれば、式（ｃ）で用いるマスクデータを変更することで、エッジ抽出以外にも様々な演算を行うことが可能である。例えば、スムージングであれば、ｍａｓｋとして｛１，１，１，１，８，１，１，１，１｝を、縦線検出であれば、ｍａｓｋとして｛−１，０，１，−１，０，１，−１，０，１｝を、横線検出であれば、ｍａｓｋとして｛−１，−１，−１，０，０，０，１，１，１｝をそれぞれ用いればよい。

以上の説明では、生画像と処理画像を重ね合わせて表示する実施形態について説明してきたが、表示画面を２つに分けて、一方に生画像を他方に処理画像を同時に表示してもよい。例えば、生画像と処理画像とを左右に並べて同時表示する場合は、第９図に示されるデータバッファ１７１への信号転送の際に、表示画像のうち生画像が表示される画素に対応するバッファ領域にはＡ／Ｄ変換器アレイ１３からの信号を転送し、処理画像が表示される画素に対応するバッファ領域には画像演算機構１４からの信号が転送されるようにスイッチ２０を切り替えればよい。

また、スイッチ２０を任意のタイミングで切り替えることで、生画像のみを出力させたり、処理画像のみ（重心画像のみ、または、エッジ抽出画像のみ）を出力させたり、処理画像の合成画像（重心画像とエッジ抽出画像の合成画像）のみを出力させたりすることができる。したがって、ユーザの望む形態の画像を出力させることができる。

２値化回路４０１は、生画像データをそのまま通すようにし、２値化演算結果を、この生画像データの最下位ビットの後に挿入するようにしても良い。同様に、エッジ抽出回路４０３も、生画像データをそのまま通す構成としても良い。この場合には、Ａ／Ｄ変換器アレイ１３から画像演算機構１４を回避してスイッチ２０に到るデータ転送ライン５００_ｊが不要となる。

より詳しくは、第１５図に示すように、二値化処理回路４０１の各ビット比較器４０５_ｊは、受け取った生画像データを２値化すると、そのデータ転送ライン４４０_ｊに対し、生画像データに２値画像データを追加して出力するようにする。さらに、第８図において点線で示すように、エッジ抽出回路４０３を構成する各積和演算回路４３０_ｊの乗算器４３１（５）の出力端に、対応する行ｊからの生画像データＤ（ｘ、ｙ）をそのまま後段へ出力するためのデータ転送ライン５５０_ｊを接続する。この場合には、第１５図のように、全Ｎ２個の積和演算回路４３０の出力端には、全Ｎ２個のデータ転送ライン５３０_ｊと全Ｎ２個のデータ転送ライン５５０_ｊとの両方が接続される。この場合には、生画像データバッファ（ここでは、生画像データバッファ４３５とする）を、この全Ｎ２個のデータ転送ライン５５０_ｊに接続する。生画像データバッファ４３５の出力端に、Ｎ２個のデータ転送ライン５６０_ｊを接続させる。かかる構成によれば、Ａ／Ｄ変換器アレイ１３からのデータ転送ライン２５０_ｊに、画像演算機構１４を迂回して伸びる部分を設ける必要がなくなる。すなわち、第１６図に示すように、各行ｊに対応するスイッチ２０_ｊは、生画像データバッファ４３５からの対応するデータ転送ライン５６０_ｊと、処理画像データバッファ４３３からの対応するデータ転送ライン５４０_ｊと、重心画像データ生成回路４２５からの対応するデータ転送ライン５２０_ｊとを、切り替えながら、対応するデータバッファ１７１_ｊに接続することにより、合成画像データを生成することができる。

また、以上の説明では、重心位置を二値化画像から求めたが、生画像から同様の計算式によって求めることで、演算量は大きくなるもののより高い精度で重心位置を求めることも可能である。同様に、エッジ抽出処理も、生画像データに基づき行うのでもよい。

モニター１８の代わりに、コンピュータ等の演算処理装置を信号変換器１７に接続してもいい。この場合には、抽出されたフレームの合成画像データのみが、所望のフレームレートで演算処理装置に出力されることになる。したがって、演算処理装置は、必要な演算処理を必要な画像に対して容易に施すことができる。

本実施形態が目指しているのは、高速画像処理された結果から、所望のタイミングの画像を抽出して処理結果を実画像と合わせて出力したりモニターしたりする機能を有する画像センサ装置である。処理速度の目安としては、ＦＡロボットの制御においては、対象物の移動速度とロボットのアクチュエータの速度（１〜１０ミリ秒）から必要な処理速度が決まる。本実施形態では、この処理速度は、Ａ／Ｄ変換器２１０におけるＡ／Ｄ変換処理速度によって決まるが、Ａ／Ｄ変換器からの出力のビット数は可変であるため、より高速演算が必要な場合には、ビット数を減らすことによって高速化が可能である。例えば、８ビット変換に１０μ秒かかっているような場合、４ビットにデータ長を削減することで、ほぼ２倍の変換速度が実現できることになる。

上記の実施形態では、信号変換器１７に複数の画面分のデータバッファ１７１を有する例について説明してきたが、特定のタイミングの静止映像のみを取得すれば充分である場合には、データバッファ１７１を省略することでより簡易な装置構成とすることも可能である。

また、上記のシステムにおいて、さらに高速なフレームレートで処理を行いたい場合には、Ａ／Ｄ変換器２１０における階調を少なくすることで、単位時間あたりにデータを転送する画素数を増やして高速化を実現できる。例えば、１画素あたりのデータ量を８ビット（２５６値）から１ビット（２値）まで可変とすることで、高速化が実現できる（８ビットを１ビットにすることで８倍の高速化が可能となる）。具体的には、第３図に示されるＡ／Ｄコンバータにおいて、最上位ビットから順に比較演算を行い、希望のビット数まで変換を終了した時点で、リセットを行い、次の画素の変換に処理を移すことで、そのままのハードウェアによって、任意の階調でのＡ／Ｄ変換を行うことが可能となる。本システムでは、少ない接続配線で並列処理を行わせるため、ビットシリアル転送（１本の配線を用いてＡ／Ｄ変換器から出力される上位ビットから順に転送する）を利用しているので、ビット数の変更に対しても、有効なビット数分の演算を行うだけで容易に対応できる。

また、高速なフレームレートで処理を行いたい場合のもう１つの方法としては、解像度を少なくして情報量を少なくした状態で演算を行う方法もある。これは、第１図、第３図に示される受光素子アレイ１１において隣接する複数の受光素子１２０の出力信号を同時に読み出すことにより、例えば１２８×１２８画素の画像を、６４×１２８画素（横方向に２点ずつ同時）、３２×１２８画素（横方向に４点ずつ同時）として読み出すことで、画像のデータ量をそれぞれ５０％、２５％に減少させて、演算速度を２倍、４倍に向上させることが可能である。このように、複数のピクセルの電流和を取って、高速処理を実現する手段をビニングという。

対象に合わせて、上記の２つの機能を組み合わせて用いれば、通常の監視状態では、アナログ階調の少ない画像や解像度の荒い画像を取得して高速なフレームレートで対象を追従していき、希望するタイミングに近づいたところで、多階調又は高解像度な画像を取得するのに切り替えて、細かい検査を行う、といった適応的な画像処理を行うことが可能となる。

次に、本発明の第２の実施形態に係る高速画像処理カメラシステムを第１７図〜第２０図に基づき説明する。

第１７図は、本発明の第２の実施形態に係る高速画像処理カメラシステム１の構成図である。なお、第１の実施形態の高速画像処理カメラシステムと同一又は同等な構成部分には同一符号を付し、その説明は省略する。

本実施形態では、第１の実施形態とは異なり、２値化回路４０１の代わりに、雑音除去を行う画像前処理回路１４０１が設けられている。また、重心演算処理回路４０２とエッジ抽出処理回路４０３とからなる画像後処理回路１４０３が設けられている。さらに、画像後処理回路１４０３と画像前処理回路１４０１との間に、画像比較処理回路１４０２が備えられている。

本実施形態の画像演算機構１４では、これら画像処理回路１４０１〜１４０３からなる演算素子アレイに、データ制御装置１４０４とデータバッファ１４０５とが接続されている。ここで、データバッファ１４０５は、画像比較処理回路１４０２に接続されており、画像比較処理回路１４０２に供給するための背景画像データを格納している。また、データ制御装置１４０４は、データバッファ１４０５から画像比較処理回路１４０２への背景画像データの転送を制御するためのものである。

このように、本実施形態では、画像演算機構１４は、画像前処理回路１４０１、画像比較処理回路１４０２、画像後処理回路１４０３、データ制御装置１４０４、及び、データバッファ１４０５から構成されている。

なお、本実施形態の場合、制御回路１５は、インストラクション／コマンドバス１６を介して、これらデータバッファ１４０５やデータ制御装置１４０４、画像前処理回路１４０１，画像比較処理回路１４０２、画像後処理回路１４０３に接続されており、これらを制御するようになっている。

また、本実施形態では、第１の実施形態とは異なり、Ａ／Ｄ変換器アレイ１３からのＮ２本のデータ転送ライン２５０_ｊには、画像演算機構１４を回避する分岐部分は形成されておらず、生画像データバッファ４６０も設けられていない。

したがって、本実施形態では、前処理として雑音除去、比較処理として背景除去、後処理としてエッジ抽出と重心演算を行う。

第１８図は、これら前処理回路１４０１、比較処理回路１４０２、後処理回路１４０３の全体構成を示したブロック図である。

雑音除去を行う前処理回路１４０１は、受光素子アレイ１１の各行ｊ毎に、１つずつのビット比較器１４０７_ｊが配置されて構成されている。すなわち、前処理回路１４０１には、全Ｎ２個のビット比較器１４０７_ｊが配置されており、各ビット比較器１４０７_ｊの入力端が、対応するＡ／Ｄ変換器２１０_ｊからのデータ転送ライン２５０_ｊに接続されている。各比較器１４０７_ｊのもう一つの入力端は、インストラクション／コマンドバス１６を介して、制御回路１５と接続されている。各比較器１４０７_ｊの出力端には、データ転送ライン１４４０_ｊが接続されている。こうして、前処理回路１４０１全体からは、全Ｎ２個のデータ転送ライン１４４０_ｊが出力されている。

比較処理回路１４０２は、受光素子アレイ１１の各行ｊ毎に、１つずつの減算器１４０８が配置されて構成されている。すなわち、比較処理回路１４０２には、全Ｎ２個の減算器１４０８_ｊが配置されており、各減算器１４０８_ｊの正入力端には、前処理回路１４０１の対応する比較器１４０７_ｊで処理された信号が、対応するデータ転送ライン１４４０_ｊを介して入力されようになっている。各減算器１４０８_ｊの負入力端には、データバッファ１４０５から、所定の背景画像を示す信号が入力される。各減算器１４０８_ｊの出力端は、データ転送ライン４４０_ｊに接続されている。したがって、比較処理回路１４０２全体からは、全Ｎ２個のデータ転送ライン４４０_ｊが出力されている。

後処理回路１４０３は、重心演算処理回路４０２とエッジ抽出処理回路４０３とから構成されている。第１の実施形態と同様、重心演算処理回路４０２は、重心検出回路４０９と重心画像データ生成回路４２５とから構成されている。また、エッジ抽出処理回路４０３も、受光素子アレイ１１の各行ｊごとに１つずつ配置された積和演算器４３０_ｊを備えており、３×３マスク演算を行うようになっている。さらに、重心検出回路４０９とエッジ抽出処理回路４０３とは、共に、比較処理回路４０２からの全Ｎ２個のデータ転送ライン４４０_ｊに対し、パラレルに接続されており、雑音と背景画像が除去された生画像データに対し、重心演算とエッジ抽出処理を施すようになっている。

第１の実施形態同様、重心画像データ生成回路４２５の出力端には、Ｎ２個のデータ転送ライン５２０_ｊが接続されている。また、エッジ抽出回路４０３の後段には、Ｎ２個のデータ転送ライン５３０_ｊを介して処理画像データバッファ４３３が接続されており、この処理画像データバッファ４３３からＮ２本のデータ転送ライン５４０_ｊが出力されている。

第１９図に示されるように、各行ｊに対するスイッチ２０_ｊが、対応するデータ転送ライン５２０_ｊと対応するデータ転送ライン５４０_ｊとを、切り替えながら、対応するデータバッファ１７１_ｊに接続するようになっている。

かかる構成を有する本実施形態のカメラシステム１によれば、第２０図に示すように、受光素子アレイ１１で取得された生画像データに対し、画像演算の前処理として雑音除去を行った後、比較演算として背景除去を行い、さらに、後処理として重心検出とエッジ抽出を行ったうえで、処理結果である重心画像とエッジ抽出画像とを重ね合わせて表示することができる。

次に、本実施形態のカメラシステム１の動作を第２０図を参照して説明する。

受光素子アレイ１１及びＡ／Ｄ変換器アレイ１３により撮像された対象物１９００の生画像１９０１には、雑音成分が含まれている。そこで、前処理回路１４０１により雑音除去を行う。すなわち、各行ｊのコンパレータ１４０７_ｊが、画像信号と、所定の閾値である比較信号との比較を行い、画像信号が比較信号と一致又は大きいときにのみ画像信号をそのまま（例えば、生画像信号が４ビットなら、その４ビットの生画像信号をそのまま）出力し、小さいときは０（例えば、生画像信号が４ビットなら、４ビットの（００００）画像信号）を出力する。これにより、比較される生画像信号が所定値以下の場合には、雑音として除去される。この結果、第２０図に示されるような生画像１９０１の前処理（雑音除去）画像１９０２が得られる。

次に、比較処理回路１４０２が、前処理画像１９０２（雑音除去された生画像データ）に対して、背景除去を行う。データバッファ１４０５には、予め、背景画像１９０３の画像データが記憶されている。データ制御装置１４０４は、データバッファ１４０５から各減算器１４０８_ｊへの背景画像データの転送を制御する。すなわち、各画素（ｘ、ｙ）についての雑音除去画像データが対応する減算器１４０８_ｊ（ここで、ｊ＝ｙ）に入力されてくるタイミングに合わせて、データ制御装置１４０４は、同一の画素（ｘ、ｙ）についての背景画像データを、データバッファ１４０５から対応する減算器１４０８_ｊに転送する。

各減算器１４０８_ｊは、前処理画像１９０２の画像信号から、この背景画像１９０３の画像信号を減算することにより、前処理画像１９０２から背景画像１９０３を除去した雑音・背景除去画像１９０４を生成する。生成した雑音・背景除去画像１９０４を、対応するデータ転送ライン４４０_ｊを介して、画像後処理回路１４０３に出力する。

生成された雑音・背景除去画像１９０４の画像信号は、後処理回路１４０３の重心演算回路４０２とエッジ抽出回路４０３とに送られる。重心演算回路４０２では、第１の実施形態と同様の動作が行われる。したがって、重心検出回路４０９により、重心位置が求められ、さらに、重心画像データ生成回路４２５により、重心画像データ１９０５が生成される。また、エッジ抽出回路１４０３では、エッジ抽出画像１９０６が生成される。

第１９図に示すように、各行ｊに対応するスイッチ２０_ｊが、対応するデータ転送ライン５２０_ｊと５４０_ｊと切り替えることにより、重心画像１９０５とエッジ抽出画像１９０６とを合成して、合成画像１９０７を生成して、対応するデータバッファ１７１_ｊに格納させる。

本実施形態では、第１の実施形態同様、制御回路１５が第１２図におけるフローチャートにて装置全体を制御しており、あるフレームにおいて重心検出回路４０９にて求められた重心位置（Ｐｘ、Ｐｙ）が所定の設定位置に一致した時（Ｓ４０にてＹｅｓ）に、表示タイミングとなり、そのフレームと前後ｎ個のフレームについての合成画像１９０７が、モニタ１８に適したフレームレートに変換されて、モニター１８に表示される。

このように、本第２の実施の形態によれば、画像演算機構１４は、前処理回路１４０１、比較処理回路１４０２、後処理回路１４０３、及び、データバッファ１４０５を備えており、高速での画像演算を行う。信号変換器１７は、画像演算機構１４内の後処理回路１４０３の出力信号を合成する。信号変換器１７は、さらに、制御回路１５及び信号変換制御部１９の制御の下、重要なタイミングにおいて、この合成信号を、モニタ１８の表示に適したフレームレートにダウンコンバートして、モニタ１８に表示させる。

本実施形態では、データバッファ１４０５にバックグランド画像を記憶しておき、比較処理回路１４０２によって、取り込んだ画像からバックグランド画像の減算を行って出力画像とすることで、リアルタイムにバックグランド減算した画像を出力することが可能となっている。

なお、本実施形態でも、第１の実施形態の変形例と同様に、積和演算器４３０_ｊを、第８図に点線にて示したように、入力された画像データ自体を出力するように構成してもよい。この場合には、積和演算器４３０_ｊは、雑音と背景画像とが除去された生画像データ１９０４をそのまま出力する。この場合には、第１５図、第１６図を参照して説明したのと同様に、エッジ抽出回路４０３の後段に、処理画像データバッファ４３３と生画像データバッファ４３５とを設け、これらから、それぞれ、Ｎ２本のデータ転送ライン５４０_ｊとＮ２本のデータ転送ライン５６０_ｊとが出力されるようにする。かかる構成によれば、エッジ抽出回路４０４により、エッジ抽出画像１９０６が生成されると共に、雑音・背景除去画像１９０４もそのまま転送される。したがって、第１６図に示したのと同様に、各行ｊに対するスイッチ２０_ｊを、対応するデータ転送ライン５２０_ｊ、５４０_ｊ及び５６０_ｊを切り替えながら対応するデータバッファ１７１_ｊに接続することにより、雑音・背景除去画像１９０４と重心画像１９０５とエッジ抽出画像１９０６とを合成して、合成画像１９０７を生成し、対応するデータバッファ１７１_ｊに格納させ、所望のタイミングにて表示させることができる。

また、上記のシステムにおいて、さらに高速なフレームレートで処理を行いたい場合には、第１の実施形態において説明したように、Ａ／Ｄコンバータ２１０において任意の階調でのＡ／Ｄ変換を行うようにすれば良い。この場合には、データバッファ１４０５にも、同様のビット数の画像を比較画像として蓄積しておけばよい。あるいは、データ制御装置１４０４を制御してビット数を変更して読み出してもよい。

さらに、第１の実施形態において説明したように、対象に合わせて、Ａ／Ｄ変換の階調変更とビニングとを組み合わせて用いれば、適応的な画像処理を行うことが可能となる。但し、本実施形態の場合には、階調や解像度の違う画像について減算演算やマッチング等の比較処理を行うことになるため、それぞれの条件における比較画像（背景画像や参照画像）をデータバッファに用意し、それぞれと比較演算することが好ましい。

また、データバッファ１４０５に１つ前のフレームの画像を記憶しておき、比較処理回路１４０２によって、取り込んだ画像から前フレームの画像の減算を行って出力画像とすることで、前画像との差分画像、すなわち、移動している物体のみを抽出した画像を生成して出力することが可能となる。このとき、現フレームとの単純な減算を行うのではなく、前フレーム画像（データバッファ）と現フレームの画像との比較を行った後、後処理回路１４０３で、画像信号がある閾値以上の画素を「動いた画素」と判定して、最終的な出力信号とすれば、画像の中から動いているものだけを鮮明に出力したり、この画像出力を元に重心演算装置によって重心を演算することで、動いている物体の正確なトラッキングをも実現できる。

次に、本発明の第３の実施形態に係る高速画像処理カメラシステムを第２１図〜第２６図に基づき説明する。

第２１図は、本発明の第３の実施形態に係る高速画像処理カメラシステム１の構成図である。なお、第１、２の実施形態の高速画像処理カメラシステムと同一又は同等な構成部分には同一符号を付し、その説明は省略する。

本実施形態の画像演算機構１４は、前処理を行う処理回路４００として、第２の実施形態と同様、雑音除去を行う画像前処理回路１４０１を備えている。一方、比較演算を行う処理回路４００として、パターンマッチング回路２４０２を備えている。また、後処理を行う処理回路４００として、重心演算回路４０２を備えている。

また、第２の実施形態同様、パターンマッチング回路２４０２にはデータバッファ２４０５が接続されている。データバッファ２４０５は、パターンマッチング回路２４０２がパターンマッチングを行う（ｍ１ｘｍ２）参照画像データを格納している。画像演算機構１４は、さらに、第２の実施形態同様、データバッファ２４０５からパターンマッチング回路２４０２への（ｍ１ｘｍ２）参照画像データの転送を制御するためのデータ制御装置２４０４を備えている。

第１の実施形態同様、Ａ／Ｄ変換器アレイ１３の出力端から伸びるＮ２本のデータ転送ライン２５０_ｊは、分岐しており、一方が、画像演算機構１４に接続され、他方が、生画像データバッファ４６０に接続されている。生画像データバッファ４６０の出力端は、第１の実施形態同様、Ｎ２本のデータ転送ライン５００_ｊに接続されている。生画像データバッファ４６０は、生画像データを所定時間格納した後、データ転送ライン５００_ｊを介して、スイッチ２０_ｊへ出力する。

第２２図に示すように、画像前処理回路１４０１は、第２の実施形態同様、Ｎ２個のビット比較器１４０７_ｊから構成されており、その出力端には、Ｎ２本のデータ転送ライン１４４０_ｊが接続されている。このＮ２本のデータ転送ライン１４４０_ｊが、パターンマッチング回路２４０２に接続されている。

以下、パターンマッチング回路２４０２について、第２２図及び第２３図を参照して、説明する。

パターンマッチング回路２４０２は、雑音除去された生画像Ｄ（ｘ、ｙ）について、（ｍ１ｘｍ２）参照画像ｓ（ｐ、ｑ）とのマッチング演算を行うためのものである。

マッチングの演算アルゴリズムは数多く提案されている。例えば、画素（ｘ、ｙ）を左上端に有する（ｍ１ｘｍ２）領域と（ｍ１ｘｍ２）参照画像に対し、以下の関数Ｅｒｒｏｒを求め、その値が所定のしきい値以下となった場合に、これらの領域が一致しているということができる。

本実施形態では、簡単のため、（ｍ１ｘｍ２）参照画像として、（３ｘ３）参照画像を採用する。すなわち、ｍ１＝ｍ２＝３である。そして、Ｎ１ｘＮ２画像内の各画素（ｘ、ｙ）を中心に有するＮ１ｘＮ２個の（３ｘ３）領域のそれぞれに対し、（３ｘ３）参照画像とのマッチング演算を行う。すなわち、各画素（ｘ、ｙ）を中心に有する（３ｘ３）領域と（３ｘ３）参照画像に対し、以下の関数Ｅｒｒｏｒを求め、その値が所定のしきい値以下となった場合に、当該（３ｘ３）領域と（３ｘ３）参照画像とが一致しているとする。一致している場合には、当該中心画素（ｘ、ｙ）について（１）を出力し、一致していない場合には、当該中心画素（ｘ、ｙ）について（０）を出力することで、マッチング画像データＭ（ｘ、ｙ）を生成する。

より詳しくは、パターンマッチング回路２４０２は、第２２図に示すように、Ｎ２本のデータ転送ライン１４４０_ｊに対して、１対１に対応したＮ２個の差分絶対値総和比較器２４３０_ｊを備えている。

第２３図に示すように、各差分絶対値総和比較器２４３０_ｊは、対応するデータ転送ライン１４４０_ｊの他、その上下のデータ転送ライン１４４０_ｊ―１、１４４０_ｊ＋１にも接続されている。すなわち、各差分絶対値総和比較器２４３０ｊは、対応するｍ２（＝３）本のデータ転送ラインｊ−１，ｊ、ｊ＋１に接続されている。各差分絶対値総和比較器２４３０_ｊ内には、ｍ１ｘｍ２（＝３ｘ３＝９）個の差分絶対値演算器２４３１（０）〜４３１（８）と、１個の加算器２４３２と、１個の比較器２４３３とが配置されている。

差分絶対値演算器２４３１（０）〜２４３１（８）は、ｍ１（＝３）個ずつがｍ２個のデータ転送ライン１４４０_j−1、１４４０_j、１４４０_j+1のそれぞれに接続されている。すなわち、差分絶対値演算器２４３１（０）〜２４３１（２）は、データ転送ライン１４４０_j−1に接続されている。差分絶対値演算器２４３１（３）〜２４３１（５）は、データ転送ライン１４４０_jに接続されている。差分絶対値演算器２４３１（６）〜２４３１（８）は、データ転送ライン１４４０_j+1に接続されている。各行では、各差分絶対値演算器２４３１が、対応するデータ転送ライン１４４０からの画像データを順次後段の差分絶対値演算器へ転送できるようになっている。このデータの転送に伴って、所定の受光素子１２０とそれを囲む８つの受光素子の画像データがそれぞれの入力端に入力される構成になっている。なお、第１行（ｊ＝１）に対応する差分絶対値総和比較器２４３０_１については、ｊ−１行がないため、差分絶対値演算器２４３１（０）〜２４３１（２）にはデータ転送ライン１４４０は接続されない。したがって、差分絶対値演算器２４３１（０）〜２４３１（２）には、常に、画像データ（０）が入力されることになる。同様に、第Ｎ２行（ｊ＝Ｎ２）に対応する差分絶対値総和比較器２４３０_Ｎ２については、ｊ＋１行がないため、差分絶対値演算器２４３１（６）〜２４３１（８）にはデータ転送ライン１４４０は接続されない。したがって、差分絶対値演算器２４３１（６）〜２４３１（８）には、常に、画像データ（０）が入力されることになる。

差分絶対値演算器２４３１（０）〜２４３１（８）の他の入力端は、データバッファ２４０５に接続されており、ｍ１ｘｍ２（＝３ｘ３）参照画像ｓ（ｐ、ｑ）が送られるようになっている。

また、各差分絶対値演算器２４３１の出力は、加算器２４３２の対応する入力端に接続されている。加算器２４３２の出力は、比較器２４３３の一方の入力端に接続されている。比較器２４３３の他方の入力端には、インストラクション／コマンドバス１６から送信されている所定のしきい値が入力されている。

各差分絶対値演算器２４３１は、減算器２４３４と絶対値演算器２４３５とを備えている。減算器２４３４は、入力してきた雑音除去画像データから、データバッファ２４０５からの参照画像データを減算する。絶対値演算器２４３５は、この減算結果たる差分の絶対値を求める。加算器２４３２は、全９個の差分絶対値演算器２４３１（０）〜（８）からの差分絶対値の総和を求める。比較器２４３３は、この差分絶対値総和を、所定のしきい値と比較し、しきい値以下の場合には、（１）を出力し、しきい値より大きい場合には、（０）を出力する。この比較結果は、中心の差分絶対値演算器２４３１（４）に入力した雑音除去画像データＤ（ｘ、ｙ）の画素（ｘ、ｙ）を中心とするｍ１ｘｍ２（＝３ｘ３）領域の入力画像が（ｍ１ｘｍ２）（＝３ｘ３）参照画像と同一であるかを示しており、（１）である場合には同一、（０）である場合には非同一であることを示している。

上記構成を有する各差分絶対値総和比較器２４３０_ｊは、差分絶対値の演算及び演算結果のしきい値との比較を、各行ｊ（ｊ＝ｙ）における全Ｎ１個の素子（ｘ、ｙ）を中心とする（３ｘ３）領域に対して、順次繰り返し行うことにより、対応する行ｊについてのマッチング画像データＭ（ｘ、ｙ）を出力する。各差分絶対値総和比較器２４３０_ｊの出力端には、データ転送ライン４４０_jが接続されている。すなわち、パターンマッチング回路２４０２全体の出力端には、Ｎ２本のデータ転送ライン４４０_jが接続されている。このＮ２本のデータ転送ライン４４０_jが、重心演算回路４０２に接続されている。

なお、比較対照とする参照画像の大きさ（ｍ１ｘｍ２）は、（３ｘ３）に限らず、比較しようとする対象物画像のサイズに合わせて、任意に選択することができる。各行ｊに設ける差分絶対値総和比較器２４３０_ｊには、（ｍ１ｘｍ２）個の差分絶対値演算器２４３１を、ｍ１列ｘｍ２行に２次元状に配置すればよい。これらｍ２行の差分絶対値演算器２４３１を、対応するデータ転送ライン１４４０_ｊを含む計ｍ２本の隣り合うデータ転送ライン１４４０に接続させれば良い。各データ転送ライン１４４０に対応する各行に、ｍ１個の差分絶対値演算器２４３１を配置する。

重心演算回路４０２は、第１の実施形態と同様、第７図に示す構成を有している。重心演算回路４０２内の重心検出回路４０９は、パターンマッチング回路２４０２からのＮ２本のデータ転送ライン４４０_jより入力してくるマッチング画像データＭ（ｘ、ｙ）について、重心演算を行い、重心位置（Ｐｘ、Ｐｙ）を求め、その結果を、制御回路１５に出力する。重心演算回路４０３内の重心画像データ生成回路４２５は、重心位置（Ｐｘ、Ｐｙ）を示す重心画像データＰ（ｘ、ｙ）を生成し、データ転送ライン５２０_ｊに出力する。

第２１図及び第２４図に示すように、各行ｊに対応するスイッチ２０_ｊは、生画像データバッファ４６０からのデータ転送ライン５００_ｊと重心演算回路４０２からのデータ転送ライン５２０_ｊとを切り替えて、対応するデータバッファ１７１_ｊに接続するようになっている。したがって、生画像データと重心画像データとを合成してデータバッファ１７１_ｊに格納することができる。

かかる構成を有する本実施形態の高速画像処理カメラシステム１は、高速フレームレートで対象物の移動をモニターし、重要な瞬間、例えば、対象物の移動状態が変化した瞬間を抽出して、その前後のｎフレーム分をモニターに表示することができる。

本実施形態では、以上の処理を、制御回路１５による制御の下、第２５図に示すフローチャートに従って行う。

すなわち、まず、Ｓ１００において、制御回路１５は、受光素子アレイ１１及びＡ／Ｄ変換器アレイ１３を制御して、１フレームの生画像データを取得する。その結果、生画像データが、データ転送ライン２５０_ｊを介して、画像演算機構１４に転送されると共に、生画像データバッファ４６０に格納される。

次に、制御回路１５は、画像演算機構１４を制御して、演算処理を行う。すなわち、まず、Ｓ１１０において、画像前処理回路１４０１を制御して雑音除去を行い、さらに、パターンマッチング回路２４０２を制御して、雑音除去データに対して、対象物を示す（ｍ１ｘｍ２）参照画像とのマッチング演算を行い、マッチング画像データＭ（ｘ、ｙ）を生成する。このマッチング画像データは、現フレーム中の対象物の位置をデータ（１）の位置により示している。

次に、制御回路１５は、Ｓ１２０において、重心演算回路４０２を制御し、現在のフレームにおけるマッチング画像データＭ（ｘ、ｙ）についての重心位置（Ｐｘ、Ｐｙ）を演算させる。この演算結果は、現在のフレームにおける対象物の重心位置（Ｐｘ、Ｐｙ）を示す。この演算結果は、制御回路１５に送信される。重心演算回路４０２では、さらに、重心画像データ生成回路４２５にて、重心画像データが生成される。

次に、Ｓ１３０で、制御回路１５は、Ｓ１２０にて受け取った対象物の重心位置データ（Ｐｘ、Ｐｙ）に基づき、現在の対象物の速度の変化量を演算する。具体的には、制御回路１５は、前のフレームにおける速度データと重心位置データとを格納する図示しないメモリを有している。このため、制御回路１５は、今回のフレームについての対象物の重心位置データ（Ｐｘ、Ｐｙ）と、前回のフレームについての対象物の重心位置データとの差を演算することにより、現在の対象物の速度を求める。次に、こうして得られた現在の速度データと前回求められた速度データとの差の絶対値を演算することで、速度変化値を求める。

ついで、制御回路１５は、Ｓ１４０にて、Ｓ１３０にて演算された現在の速度変化値を、所定の設定値と比較する。現在の速度変化値が設定値以下の場合（Ｓ１４０で、Ｎｏ）には、Ｓ１５０に以降し、現在のフレームの合成画像データを生成し、データバッファ１７１に蓄積させる。すなわち、スイッチ２０_ｊを制御することにより、生画像データバッファ４６０の生画像データと、重心画像データ生成回路４２５からの重心画像データとを合成し、データバッファ１７１に格納する。そして、次のフレームの取得／処理（Ｓ１００）に進む。

一方、現在の速度変化値が設定値より大きい場合（Ｓ１４０にてＹｅｓ）には、対象物の移動状態が変化したことが判明する。したがって、制御回路１５は、Ｓ１６０にて、信号変換制御部１９に対し、モニター表示処理を開始するよう指示する。なお、制御回路１５は、かかる指示をした後、Ｓ１００に戻り、次のフレームの取得／処理を開始する。

モニター表示処理の指示を受けた信号変換制御部１９は、Ｓ１７０にて、データバッファ１７１に既に格納されているｎフレーム分の合成画像データと、今回のフレームの合成画像データと、今後のｎフレームの合成画像データとを順次表示するよう、信号変換器１７への制御を開始する。すなわち、第１の実施形態におけるＳ７０（第１２図）と同様の処理を行う。

本実施形態の高速画像処理カメラシステム１は、上述のような動作を行うため、例えば、第２６図に示すように、バットがスイングしている状態の画像を高速フレームレートで取得していき、対象物であるボールがバットに当る瞬間とその前後の数フレームを抽出して表示することができる。

より詳しくは、受光素子アレイ１１及びＡ／Ｄ変換アレイ１３にて、連続する複数のフレーム画像が、高速フレームレートで撮像されていく（Ｓ１００）。得られた画像データは、画像演算機構１４内のパターンマッチング回路２４０２にてパターンマッチングされる（Ｓ１１０）。ここで、（ｍ１ｘｍ２）参照画像としては、対象物たるボールの画像を使用されており、そのため、ボールを抽出することができる。つづいて、抽出されたボールの重心が演算される（Ｓ１２０）。ボールの重心位置のデータが制御回路１５に渡され、1つ前のフレームにおける位置との差から、ボールの速度が計算される（Ｓ１３０）。ボールがバットに当った瞬間、ボールの速度や向きが急に変化するので、その瞬間のフレームを抽出することができる（Ｓ１４０）。そして、そのフレームとその前後のフレームを最終出力とする（Ｓ１６０，Ｓ１７０）。

このように、バットがスイングしている状態を示す複数のフレーム画像（Ｔ＝１〜６）を、高速フレームレートで連続して取得していき、対象物であるボールがバットに当る瞬間（Ｔ＝４）を認識し、ボールがバットに当った瞬間（Ｔ＝４）とその前後（Ｔ＝３，５）の画像のみを抽出し、その画像にボールの重心位置を重ねて表示することができるのである。

このようにして、高速フレームレートで取得した膨大な画像情報の中から、対象物の観測目的に合った画像の抽出が可能となっている。

例えば、本実施形態の受光素子アレイ１１及びＡ／Ｄ変換アレイ１３の画像取得速度が例えば１０００フレーム/秒とすると、時速１５０ｋｍ/ｈのボールを、当該ボールが４ｃｍ進む毎に撮影する事ができる。しかも、画像演算機構１４がリアルタイムの演算処理を行うことで、本当に見たいボールがバットに当たる瞬間のみを抽出し、通常のフレームレート（例えば、３０フレーム／秒）にてモニター１８に表示させたり、ＮＴＳＣカメラ入力（約３０フレーム／秒）に対応した一般の画像処理装置へ入力させることが可能となる。しかも、重心処理結果を生画像に重ね合わせる事ができるため、後段の画像処理装置への負担を著しく軽減できる。

このように、本実施形態のカメラシステム１によれば、動いている対象物を高速フレームレートでモニターしていき、観測したい瞬間を抽出し、その前後の画像のみを出力することができる。例えば、ドリルによる金属板加工時のリアルタイム検査を行う場合には、対象物であるドリルの歯が金属板に接触して打ちぬく瞬間を抽出して、その前後の画像をモニターに表示したり、その瞬間における、ドリルの歯の回転速度や移動速度、板のしなりなどを計測する事ができる。かかる計測結果は、より正確な検査や、異常の要因解明に利用できる。

なお、上述の制御では、対象物の速度を演算し、速度の変化量が所定の値より大きくなった時を抽出しているが、第１の実施形態の場合のように、対象物の位置で判断してもよい。例えば、対象物であるドリルの刃が金属板の位置に到達したことを判断しても良い。

また、本実施形態では、パターンマッチング回路２４０２は、全Ｎ２本のデータ転送ライン１４４０に接続された全Ｎ２個の差分絶対値総和比較器２４３０から構成されていた。しかしながら、パターンマッチング回路２４０２は、より少ない数の差分絶対値総和比較器２４３０より構成しても良い。すなわち、全Ｍ個（ここで、Ｍ＜Ｎ２）の差分絶対値総和比較器２４３０のそれぞれの入力端に、スイッチを設けておく。制御回路１５は、前回のフレームでの重心位置検出結果（Ｐｘ、Ｐｙ）に基づき、今回のフレームにおいて対象物とのマッチングが得られると予想される位置を含む領域に対応するＭ個の隣り合うデータ転送ライン１４４０_ｊ〜１４４０_{ｊ＋Ｍ―１}に対して、これらＭ個の差分絶対値総和比較器２４３０を接続させる。パターンマッチング回路２４０２は、これらＭ個のラインｊ〜ｊ＋Ｍ−１についてマッチング画像データＭ（ｘ、ｙ）を出力し、他のデータ転送ラインについては０のデータを出力することで、Ｎ１ｘＮ２の全画素に対するマッチング画像データＭ（ｘ、ｙ）を生成し、重心演算回路４０２に入力させる。かかる構成によれば、パターンマッチング回路２４０２は、より簡易な構成にて、マッチング画像データを生成することができる。

次に、本発明の第４の実施形態に係る高速画像処理カメラシステムを第２７（ａ）図及び第２７（ｂ）図に基づき説明する。

本実施形態では、取得した画像と外部データとの比較から抽出タイミングを決定する。

第２７（ａ）図は、本発明の第４の実施形態に係る高速画像処理カメラシステム１の構成図である。本実施形態のカメラシステム１は、第２の実施形態のカメラシステム１と同様、雑音除去を行う画像前処理回路１４０１を有している。画像前処理回路１４０１の後段には、パターンマッチング回路３４０２が設けられている。

画像前処理回路１４０１は、第２の実施形態同様、Ｎ２個のビット比較器１４０７_ｊから構成されており、その出力端には、Ｎ２本のデータ転送ライン１４４０_ｊが接続されている。このＮ２本のデータ転送ライン１４４０_ｊが、パターンマッチング回路３４０２に接続されている。

本実施形態では、パターンマッチング回路３４０２は、雑音除去された生画像について、（ｍ１ｘｍ２）参照画像とのマッチング演算を行う。この例では、第３の実施形態同様、ｍ１＝ｍ２＝３である。このパターンマッチング回路３４０２は、第３の実施形態におけるパターンマッチング回路２４０２とは異なり、１個の差分絶対値総和比較器２４３０_２のみから構成されている。ここで、差分絶対値総和比較器２４３０_２は、Ｎ２本のデータ転送ライン１４４０_ｊのうちの対応する一つのライン（この例では、データ転送ライン１４４０_２）とその上下のライン（この例では、データ転送ライン１４４０_１と１４４０_３）とに接続されている。

差分絶対値総和比較器２４３０_２は、第２３図に示した構成と同一の構成をしているが、その比較器２４３３の出力端は、インストラクション／コマンドバス１６を介して制御回路１５に接続されている。

パターンマッチング回路３４０２は、さらに、画像前処理回路１４０１からのＮ２本のデータ転送ライン１４４０_ｊを、そのまま、対応するデータバッファ１７１_ｊに固定的に接続させている。したがって、本実施形態の場合には、画像前処理回路１４０１で雑音を除去された生画像データが、そのまま、他の画像データと合成されることなく、データバッファ１７１_ｊに格納される。したがって、本実施形態では、スイッチ２０は設けられていない。

本実施形態の場合も、データバッファ２４０５には、対象物を示す検索画像ｓ（ｘ，ｙ）（大きさｍ１×ｍ２）が予め格納されている。あるフレームにおいて入力画像Ｄ（ｘ，ｙ）が画像演算機構１４に転送されると、このデータバッファに記憶されている検索画像ｓ（ｐ、ｑ）（大きさｍ１×ｍ２）が検索され、マッチング処理が行われる。

パターンマッチング回路３４０２は、受光素子アレイ１１の第２番目のライン上の全Ｎ１個の画素のそれぞれを中心とする全Ｎ１個の（ｍ１ｘｍ２）領域のいずれかが（ｍ１ｘｍ２）参照画像と一致しているか否かを演算する。すなわち、差分絶対値総和比較器２４３０_２は、以下の差分演算を行う。

差分絶対値総和比較器２４３０_２は、さらに、得られた関数Ｅｒｒｏｒの演算結果が所定のしきい値以下の場合には、（１）を出力し、しきい値より大きい場合には、（０）を出力する。

すなわち、あるフレーム画像について、第２行目の全Ｎ１個の画素（ｘ、２）の各々を中心とする全Ｎ１個の（ｍ１ｘｍ２）領域に対して得られた関数Ｅｒｒｏｒの値のうちのいずれかが所定のしきい値以下となったフレームの瞬間が、「希望するタイミング」ということになる。

こうして、入力画像Ｄ（ｘ，ｙ）と比較画像ｓ（ｐ、ｑ）との一致度をパターンマッチング回路３４０２によってリアルタイムで検出し、しきい値以下の誤差が得られたタイミングにおける画像フレームデータおよびその前後の画像フレームを出力画像とするように、信号変換制御部１９から信号変換器１７に対して、画像信号への変換を指示する。

すなわち、本実施形態の場合には、制御回路１５は、第２７（ｂ）図のフローチャートの処理を行う。より詳しくは、制御回路１５は、第１の実施形態のＳ１０（第１２（図）と同様、Ｓ２１０において、各フレーム画像の取得を行う。各フレーム画像について、Ｓ２２０において、画像前処理回路１４０１に雑音除去を行わせ、パターンマッチング回路３４０２にマッチング処理を行わせる。Ｓ２３０において、パターンマッチング回路３４０２内の差分絶対値総和比較器２４３０_２から順次送られてくるＮ１個の比較結果のいずれかが（１）か否かを判断する。全Ｎ１個の比較結果が（１）でない（Ｓ２４０でＮｏ）場合には、現フレームの生画像の蓄積を行い（Ｓ２５０）、次のフレームの処理へ移行する（Ｓ２１０）。一方、Ｎ１個の比較結果のうちの少なくとも１個が（１）となった場合（Ｓ２４０でＹｅｓ）には、抽出タイミングと判断して、Ｓ２６０に移行して、モニタ表示指示を信号変換制御部１９に出力し、Ｓ２７０にて表示出力動作を行わせる。すなわち、現フレームと前後のフレームについて画像前処理回路１４０１から出力された雑音除去生画像データをモニター１８に表示させる。このようにすれば、希望のタイミングの画像前後の映像をモニタ１８に表示させることができる。

例えば、第１４（ａ）図〜第１４（ｃ）図を参照して説明したチップ５３が実装される瞬間の画像を抽出することもできる。すなわち、マッチング比較演算によって、入力画像のうち、基板の所定の位置を示す所定の領域（この例の場合、受光素子アレイ１１の第２番目の行ｊの位置に対応）のいずれかが、対象画像であるチップ５３を示す画像と一致したか否かを判断することで、当該チップ５３が基板の当該所定の位置に実装される瞬間を抽出し、そのタイミングで画像を出力することが可能となる。

特に、本装置においては、並列受光素子アレイ１１からの信号を各行について並列的に転送している。しかも、画像演算機構１４が並列演算を行なうことで、高速な演算処理を行っている。すなわち、画像前処理回路１４０１が、各行毎に備えた複数の比較器１４０７_ｊを備え、各行に対して並列的に雑音除去を行っている。また、パターンマッチング回路３４０２は、対応するｍ２個の行（上記例の場合、第１，２，３番目の行）のそれぞれに、ｍ１個の差分絶対値演算器２４３１を備え、各行に対して並列的に差分絶対値を求めて、マッチング処理を行っている。高速移動物体を追跡する場合に、物体に回転や向きの変化がある場合には、従来のＴＶカメラのような遅いフレームレート（３０Ｈｚ）では、対象物の画像上の形状が変化してしまうため、フレーム間の画像から同じ対象物を判断するために非常に複雑なアルゴリズムが必要となりリアルタイムに表示させることが困難である。しかしながら、本装置のように高いフレームレート（＞１ＫＨｚ）で画像が捉えられる場合には、フレーム間の画像の違いは小さいために、上記のような簡単なアルゴリズムで高速にマッチングが行なえることになり、対象物を正確に追跡することが可能となる。

本発明に係る高速画像処理カメラシステムは、前述した実施形態に限定されず、種々の変更が可能である。

また、これまで説明した実施の形態では、画像処理を行う並列演算装置１４として、演算素子を各行毎に並列に用意して演算処理を行う行並列方式を採用している。こうした並列化により、画像データのように大規模な演算を必要とする処理を高速に行うことが可能となる。

並列演算の方式としては、上記の例のほかにも、受光素子アレイをいくつかのブロックに分割し、これら複数のブロックに１対１に対応して複数の処理回路４００ａ（処理回路４０１、４０２、４０３に相当）を用意して並列処理を行うブロック並列型（第２８図）を採用してもよい。また、２次元受光素子アレイ１１の各受光素子１２０に１対１に対応して複数の処理回路４００ｂを用意して完全並列処理を行う完全並列型（第２９図）なども採用できる。これら並列処理の方式は、用途や集積度、演算速度に応じて選択できる。ここで、完全並列型（第２９図）の場合、各処理回路４００ｂとしては、例えば、特開平１０−１４５６８０号に記載された演算素子を設ければよい。各処理回路４００ｂが、対応する受光素子からの画像信号に基づき、総和演算、重心演算等、任意の演算を行うことで、完全並列型の処理を行うことができる。したがって、例えば、重心演算結果や総和演算結果が所定の設定値となったか否かを判断し、設定値となった時を抽出タイミングとして、その前後のフレームの画像を表示することができる。ブロック並列型は、領域毎にマッチングや重心などを効率的に求める特長を持ち、完全並列型では、高速性が最大の特長となる。いずれの方式も、行毎又はブロック毎にＡ／Ｄ変換器２１０を用意して効率的にＡ／Ｄ変換を行い、部分並列または完全並列とした処理回路４００ａ、４００ｂにおいて画像処理を高速に行うアーキテクチャを採用している。

また、前述した第１〜第３の実施形態では、複数の画像信号を合成して出力した。すなわち、第１の実施形態では、生画像信号と重心画像信号とエッジ抽出画像信号とを合成して出力した。第２の実施形態では、重心画像信号とエッジ抽出画像信号と（もしくは、更に、雑音・背景除去生画像信号）を合成して出力した。第３の実施形態では、生画像信号と重心画像信号とを合成して出力した。しかしながら、かかる合成は行わなくてもいい。すなわち、Ａ／Ｄ変換アレイ１３にて生成される生画像信号か、画像演算機構１４内のいずれか一つの処理回路４００にて生成される処理画像信号のうちのいずれか一つをそのまま出力するのでも良い。その場合には、スイッチ２０_ｊは不要となる。すなわち、第４の実施形態のように、各データバッファ１７１_ｊを、出力しようとする画像信号が伝達されてくるデータ転送ラインに固定的に接続すればよい。

Ａ／Ｄ変換器アレイ１３では、各Ａ／Ｄ変換器２１０が受光素子アレイ１１の各行ｊに対応して設けられていたが、代わりに、第３０図に示すように、各列ｉに対応して設けられても良い。この場合には、Ａ／Ｄ変換器アレイ１３は、Ｎ１個のＡ／Ｄ変換器２１０からなる。受光素子アレイ１１では、各列ｉに属する全Ｎ２個の受光素子１２０が互いに電気的に接続されており、対応するＡ／Ｄ変換器２１０に接続されている。各列ｉにおいて、垂直走査信号を順次切り替えていくことにより、全Ｎ２個の受光素子１２０からの光電出力を順次読み出していくことができる。この場合は、画像演算機構１４の各処理回路４００も、各列ｉからの出力信号に対して演算処理を行うよう、列並列演算を行うようにすれば良い。

また、上述の実施の形態では、Ａ／Ｄ変換器２１０がチャージアンプ２２１を含む構成となっているが、Ａ／Ｄ変換器２１０とチャージアンプ２２１とを別体とし、第３１図のように、Ｎ２個のチャージアンプ２２１からなるアンプアレイ１２を受光素子アレイ１１に接続させ、さらに、Ｎ２個のＡ／Ｄ変換器２１０からなるＡ／Ｄ変換器アレイ１３を当該アンプアレイ１２と並列処理機構１４との間に設けるようにしても良い。この場合には、アンプアレイ１２内の各アンプ２２１は、受光素子アレイ１１の対応する行１１０上の計Ｎ１個の受光素子１２０から出力される電荷を順次電圧信号に変換し、得られたアナログ電圧信号を、Ａ／Ｄ変換器アレイ１３内の対応するＡ／Ｄ変換器２１０に出力する。Ａ／Ｄ変換器２１０は、当該チャージアンプ２２１からのアナログ電圧信号を順次Ａ／Ｄ変換し、並列処理機構１４に供給する。

また、上記の実施形態では、単一の受光素子アレイ１１を設けていたが、複数個設けてもよい。

本発明に係る高速画像処理カメラシステムは、自動工作機械におけるリアルタイム検査や、様々な対象を観測するモニタリングシステム等に幅広く用いられる。

Claims (9)

1. 複数の受光素子が複数の行及び列に２次元状に配列され、前記複数の受光素子が複数のブロックにグループ分けされて形成されており、連続する複数のフレーム画像を所定のフレームレートで受光して出力信号を生成する受光素子アレイと、
   前記受光素子アレイの前記複数のブロックに１対１に対応して設けられた複数のＡ／Ｄ変換器を備え、各Ａ／Ｄ変換器が対応するブロック中の受光素子から順次読み出される出力信号をアナログ・デジタル変換することにより、各フレーム画像を示すデジタル生画像信号を生成するＡ／Ｄ変換器アレイと、
   前記Ａ／Ｄ変換器アレイにより順次生成される前記デジタル生画像信号に対して所定の演算を行い、前記所定の演算により得られる画像を示す演算結果画像信号と前記所定の演算により得られる値を示す演算結果値とを生成する画像演算機構と、
   前記デジタル生画像信号と前記演算結果画像信号のうちの少なくとも一つを受け取り、前記受け取ったデジタル生画像信号と演算結果画像信号のうちの少なくとも一つを前記所定のフレームレートより低いフレームレートの画像信号に変換して出力する画像信号変換を行うための信号変換器と、
   前記画像演算機構により順次生成される前記演算結果値もしくは前記演算結果値に基づいて得られる値を所定の設定値と比較し、比較結果に基づき一つのフレームを選択する選択器と、
   前記選択されたフレームを含む複数の連続したフレームについて前記画像信号変換を行うよう、前記信号変換器を制御する信号変換制御部とを備えており、
   前記画像演算機構は複数の演算素子を備え、前記複数の演算素子が前記所定の演算を並列的に実行し、
   前記信号変換器は、前記受け取ったデジタル生画像信号及び演算結果画像信号のうちの少なくとも一つを複数フレーム分蓄積記憶するためのバッファメモリをさらに備えていることを特徴とする高速画像処理カメラシステム。
2. 前記信号変換器が、前記デジタル生画像信号、及び、前記演算結果画像信号のうちのいずれかに対して前記画像信号変換を行うことを特徴とする請求項１に記載の高速画像処理カメラシステム。
3. 前記信号変換器が、前記デジタル生画像信号、及び、前記演算結果画像信号を合成して合成画像信号を生成し、前記合成画像信号に対して前記画像信号変換を行うことを特徴とする請求項１に記載の高速画像処理カメラシステム。
4. 所定の画像データを蓄積保持するデータバッファを更に有し、前記画像演算機構が、各フレーム画像と前記所定の画像データとを比較する所定の比較演算を行うことを特徴とする請求項１に記載の高速画像処理カメラシステム。
5. 前記Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器は、前記受光素子アレイの受光素子の各行に対応して一つずつ設けられていることを特徴とする請求項１に記載の高速画像処理カメラシステム。
6. 前記Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器は、前記受光素子アレイの受光素子の各列に対応して一つずつ設けられていることを特徴とする請求項１に記載の高速画像処理カメラシステム。
7. 前記複数の演算素子は、前記複数の受光素子に１対１に対応して設けられていることを特徴とする請求項１に記載の高速画像処理カメラシステム。
8. 前記画像演算機構は、前記受光素子アレイの全ブロックのうちの少なくとも一部の複数のブロックに１対１に対応して設けられた複数の演算素子を備えていることを特徴とする請求項１に記載の高速画像処理カメラシステム。
9. 前記Ａ／Ｄ変換器アレイの各Ａ／Ｄ変換器が、前記受光素子アレイの受光素子の各行に対応して一つずつ設けられており、前記画像演算機構が、それぞれ、前記受光素子アレイの全行のうちの少なくとも一部の複数の行に対応して一つずつ設けられた複数の演算素子を備えていることを特徴とする請求項１に記載の高速画像処理カメラシステム。

Images