JP4670722B2 - 画像処理装置 - Google Patents

Description

本発明は、カメラで撮像した対象物の画像データを画像処理して、対象物の外観検査等の製品検査を行うことができる画像処理装置に関する。

従来から、この種の画像検査装置は、主として、製品の製造工程において、部品等の品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化のため、対象物をカメラで撮像し、対象物の面積、形状、位置など、画像データの特徴を測定・認識することで、良品、不良品の判定に用いられている。このような検査において、検査対象物の微細化、検査の高精度化、及び広い視野検査の要望などに伴って、例えば、２００万画素等の高精度カメラが必要とされている。しかし、このような高精度カメラの画像データは、そのデータ容量（例えば、２００万画素のカラー画像で約５．８Ｇバイト）が極めて大きくなるため、画像処理装置のアクセスするデータの増加や、演算処理そのもののスピードの低下、及び処理ブロック間のデータ転送のスループットの限界に伴うバススピード不足による過密化などにより、検査処理速度全体の低下を招くという問題があった。

従来の画像検査装置としては、撮像手段で検査対象物の画像データを取り込んで記憶すると共に、この取り込んだ画像データから予め指定された範囲である個別検査エリアの画像データを順次切り出し、各個別エリアの検査を並列にして行う複数の検査処理手段を備えることにより、検査処理速度の低下を抑えることが知られている（例えば、特許文献１参照）。しかしながら、この画像検査装置では、検査するエリアを切り出し検査処理するので検査時間は短くなるが、検査対象物の撮像領域自体を制限するため、検査物体の全体画像を表示することができず、このため全体像の把握が難しく視認性が低下していた。また、撮像素子によっては、切り出せる領域形状に制限があるので、必要な領域を切り出せない可能性があった。

また、画像処理と出力表示の両立を図った画像処理システムとして、カメラからの画像データを記憶する第１のＶＲＡＭ（ＶＩＤＥＯ ＲＡＭ）と、これに接続された第１のＣＰＵ及びメインメモリとにより成る画像処理装置と、前記と同様の画像データを記憶する第２のＶＲＡＭと、これに接続された第２のＣＰＵ及びメインメモリからなる画像出力処理部とを備え、第１のＣＰＵによる画像処理により外観検査測定を行う一方、並行して第２のＣＰＵによる画像データの出力処理を行うものが知られている（例えば、特許文献２参照）。しかしながら、このシステムでは、取り込んだ全画像データを処理するため高精度画像処理を行うと画像処理スピードが低下するという課題があった。
特開平１１−３１６１１４号公報 特開２００３−９８０９８号公報

本発明は、上記の問題を解決するためになされたものであり、対象物の高速の画像処理と、対象物の全体画像表示による視認性の向上とを両立させることのできる画像処理装置を提供することを目的とする。

上記目的を達成するために請求項１の発明は、対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送る撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、前記撮像処理部は、前記撮像装置から出力される画像データを一時格納する撮像バッファと、前記撮像バッファから転送される画像データより、予め設定された領域の部分画像を抽出する領域抽出部と、前記領域抽出部で抽出された部分画像又は全体画像を予め任意に指定された角度で回転し、この回転画像を前記画像処理部に転送する画像回転部と、全体画像を前記画像表示部に転送する画像転送部と、撮像開始信号を発生させる外部信号発生装置からの入力信号を受け付け、前記撮像装置に撮像開始信号を送る入力信号受付部と、を備え、前記画像処理装置は、前記撮像処理部における領域抽出部及び画像回転部で得られた部分画像又は全体画像、及びその回転画像を格納する変換画像記憶部と、前記撮像バッファから転送される画像データを順次受け取って撮像された対象物の全体画像を格納する表示画像記憶部と、をさらに備え、前記画像処理部は、前記画像回転部から出力される回転画像を格納する演算用記憶部と、この演算用記憶部に格納された回転画像を用いて画像検査のための画像処理を実行し、その画像処理結果を外部機器に出力する画像処理演算部と、を備え、前記画像表示部は、前記画像転送部から出力される全体画像を格納する表示用記憶部と、この表示用記憶部に格納された全体画像を表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、前記入力信号受付部は、前記撮像バッファからの画像データの転送が終わると、撮像開始の入力信号の受付を可能とし、前記画像処理演算部による部分画像又は全体画像の画像処理と、前記画像表示演算部による全体画像の画像表示とを並行して行うものである。

請求項２の発明は、請求項１に記載の画像処理装置において、前記画像処理演算部による画像演算処理は、予め定められた順序で逐次画像変換する画像変換処理部を有し、前記撮像処理部は、前記表示画像記憶部に格納された全体画像に、前記画像変換処理部における画像変換と同様の画像変換を実行する表示画像変換部を備え、前記表示画像変換部は、画像変換した全体画像を前記表示画像記憶部に格納し、この格納された全体画像の変換画像を前記画像転送部より前記画像表示部に転送するものである。

請求項３の発明は、請求項１に記載の画像処理装置において、前記撮像処理部は、前記領域抽出部から前記変換画像記憶部に格納された部分画像又は全体画像を予め定められた順序で逐次変換し、この変換した画像を前記変換画像記憶部に格納する画像変換部と、前記表示画像記憶部に格納された全体画像に前記画像変換部の画像変換と同様の画像変換を行い、この変換画像を前記表示画像記憶部に格納する表示画像変換部と、を備え、前記画像変換部は、前記変換画像記憶部に格納された部分画像又は全体画像の変換画像を前記画像回転部から前記画像処理部に転送し、前記表示画像変換部は、前記表示画像記憶部に格納された全体画像の変換画像を前記画像転送部より前記画像表示部に転送するものである。

請求項４の発明は、請求項３に記載の画像処理装置において、前記変換画像記憶部及び表示画像記憶部は、それぞれ固有の画像バッファを有し、前記各画像バッファは、前記撮像バッファから転送された画像データをそれぞれ一時格納し、これら格納された画像データは、前記画像変換部及び表示画像変換部により順次画像変換されて前記画像処理部と画像表示部にそれぞれ転送され、前記画像処理部と画像表示部は、前記各画像バッファ内に格納された画像がなくなるまで画像処理と画像表示を続行するものである。

請求項１の発明によれば、対象物の部分画像を画像処理する画像処理部と、検査対象の全体画像を表示する画像表示部とを並列して独立に動作させることができる。これにより、画像データ容量の大きい高精度画像であっても必要な部分画像の抽出による処理画像データ容量の低減化により画像処理を高速化できると共に、並行して対象物の画像を全体画像で表示して確認することができ、対象物の視認性を向上することができる。また、画像データ容量の低減化により転送データ容量を減らすことができるので、データバスの転送スピードを上げることができ、全体としてさらに高速化できる。また、撮像バッファから転送された画像データが画像処理中でも撮像バッファへ次の画像データを格納でき、現在の画像処理が終わり次第直ぐに次の画像の画像処理が行える。これにより、撮像動作、検査のための画像処理、及び全体画像表示の並行動作が可能となり、連続的に画像処理を繰り返す場合の応答速度が向上する。また、撮像バッファからの分岐転送が終わらない限り次の画像データを取り込まないので、撮像画像データの上書きによる一部画像データの欠如（画像のコマ落ち）等を防ぐことができる。

請求項２の発明によれば、表示画像変換部による全体画像の変換画像の表示により、画像処理部で成される画像変換の内容を画像処理部に影響を及ぼすことなく、どのような変換が実行されているかを独立して視覚的映像情報として得ることができる。

請求項３の発明によれば、画像変換部は、領域抽出部を通した後の画像容量の少ない部分画像の変換のみを行い、かつ情報量が増える画像回転処理の前に変換するので、変換する画像容量を少なくでき、画像変換の高速化が可能となる。また、画像変換部の画像変換と、画像処理部の画像処理を個別に並列動作させることにより、画像処理部が画像処理と画像変換の両方を行う場合に比べ、画像処理部の画像処理速度の高速化が可能となる。

請求項４の発明によれば、撮像バッファからの画像データを、画像変換部及び表示画像変換部での画像変換処理が終わっていない場合に、一時的に各固有の画像バッファに待機格納させることができるので、１つの画像の変換後、直ぐに次の変換処理を行うことができる。これにより、連続撮像した後に、画像処理及び画像表示をすることができるので、非常に短い撮像間隔の要求される画像処理が可能となる。また、撮像バッファからの画像データが画像バッファにより一時格納されると、撮像バッファにおいても撮像した画像を順次格納できるので、さらに装置の処理時間の高速化が可能となる。

以下、本発明の第１の実施形態に係る画像処理装置について図１を参照して説明する。本実施形態の画像処理装置１は、製品製造ラインでの製品を検査対象とするもので、図１に示すように、検査対象を撮像するカメラ２（撮像装置）と、このカメラ２からの画像データを後続の画像処理部４０と画像表示部５０に送る撮像処理部１０と、この撮像処理部１０からの部分画像を格納する変換画像記憶部２０と、画像データの全体画像を格納する表示画像記憶部３０と、検査画像を画像処理する画像処理部４０と、全体画像を表示処理する画像表示部５０と、画像処理部４０の出力が接続される外部機器６０と、画像表示部５０の出力を表示する外部表示機器７０と、撮像開始信号を発生する外部信号発生装置８０と、を備えている。外部機器６０は、画像処理部４０に制御信号を送るプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からなり、外部表示機器７０は、変換画像を表示するディスプレイ装置であり、外部信号発生装置８０は、パソコンなどの制御信号を発生できる制御機器である。また、この画像処理装置１は、例えば、製造ラインなどの検査工程において、検査対象物の撮像画像の画像処理に基く、形状、面積、位置などの画像データの特徴の測定、認識、検査等に使用されるものである。

撮像処理部１０は、カメラ２から出力される映像信号の画像データを一時格納し、この格納された画像データを２つに分岐し順次転送して出力する撮像バッファ３と、この撮像バッファ３からの一方の出力の画像データより、予め設定された検査領域の部分画像を抽出する領域抽出部４と、この領域抽出部４で抽出された部分画像を予め任意に指定された角度で回転し、この回転画像を画像処理部４０に転送する画像回転部５と、撮像バッファ３からの他方の出力の画像データを画像表示部５０に転送する画像転送部６と、外部信号発生装置８０からの撮像開始信号を受付け、カメラ２に撮像開始信号を送る入力信号受付部７と、を備える。

領域抽出部４は、外部機器６０においてユーザから指定された検査画像範囲の画像データを抽出し、撮像バッファ３からの画像データの内、検査に必要な部分画像を取り出して、変換画像記憶部２０の部分画像記憶領域２１に格納する。この抽出される検査領域は、例えば、検査製品の全体画像の中におけるユーザが検査したい画像領域となる。

画像回転部５は、部分画像記憶領域２１に格納された部分画像を予め設定されたテンプレート画像（教示画像）の向きに合わせるために回転し、変換画像記憶部２０の回転画像記憶領域２２に格納する。このテンプレート画像は、予め画像処理部４０の演算用記憶部４１に格納され、画像回転部５に転送されて、抽出された検査画像と比較され、この比較に基いて画像回転が行われる。また、この回転角度は、検査画像の重心を求め、その重心位置により自動的に設定される。

また、撮像処理部１０は、ハード構成として、フィールド・プログラマブル・ゲートアレイ（以下、ＦＰＧＡという）（図示なし）で形成され、このＦＰＧＡにより撮像バッファ３、領域抽出部４、画像回転部５、画像転送部６、入力信号受付部７を構成する。このＦＰＧＡは、基本的には映像信号を画像メモリに格納し、ＣＰＵの演算に適したデジタル量に変換したのち、必要な各種デジタル信号処理を行う。そして、例えば、カメラの走査線単位で画像データを受けるラインバッファ（撮像バッファ）を構成するハードウェア回路、領域抽出用のカウンタ・コンパレータで構成する領域抽出回路、各種データを記憶するランダムアクセスメモリ（以下、ＲＡＭという）のデータにアクセスするインターフェース回路、ＲＡＭデータを読み出して各種空間フィルタを実行する種々の画像フィルタ回路、ＲＡＭデー夕を読み出して画像を回転する画像回転回路、ＲＡＭデータを他のＲＡＭに転送するバス制御回路、ダイレクトメモリアクセス回路、及び入力信号を受け付けるデータの入出力（Ｉ／Ｏ）等を有している（以上、図示なし）。また、これらの処理は、ディジタル・シグナル・プロセッサ（ＤＳＰ）などの高速プロセッサを使ってソフト的に実施することも可能である。ここでは、撮像バッファ３からのデータ分岐においてタイムラグが発生するため、実用上問題とならない範囲のタイムラグでＦＰＧＡによるハード構成により、画像データの同時分岐を実現している。このＦＰＧＡは、後述の自己の動作を制御するレジスタであるＦＰＧＡレジスタ１１を保持する。

変換画像記憶部２０は、ＲＡＭで構成され、撮像処理部１０の領域抽出部４から抽出された部分画像を部分画像記憶領域２１に格納し、この格納した部分画像を画像回転部５に転送し、この画像回転部５で得られた回転画像を回転画像記憶領域２２に格納する。また、この回転画像は、画像回転部５から画像処理部４０に転送される。

表示画像記憶部３０は、ＲＡＭで構成され、撮像バッファ３から出力された画像データを順次受け取って全体画像としてＲＡＭ内部の全体画像記憶領域３１に格納する。この全体画像は、全体画像記憶領域３１から画像転送部６に送出され、画像転送部６より画像表示部５０に転送される。

画像処理部４０は、撮像処理部１０の画像回転部５から出力される部分画像を格納する演算用記憶部４１と、この演算用記憶部４１に格納された部分画像を用いて画像検査のための画像処理を実行し、その画像処理結果を外部機器６０に出力する画像処理演算部４２とを備える。この画像処理演算部４２における画像演算は、例えば、対象物の外観検査等において、予め用意されたテンプレート画像とのパターンマッチングを行い、その一致度で判定等を行う。また、演算用記憶部４１は、ＲＡＭで構成され、ＣＰＵの動作を規定するプログラム及びデータ、ＦＰＧＡから得られる生画像／変換画像を格納する。画像処理演算部４２は、ＣＰＵで構成され、外部機器６０を使用するユーザ、又は外部機器６０となるプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からの指示により、ＦＰＧＡレジスタ１１の条件設定、ＲＡＭ内のプログラムに従った画像処理等を実行する。

画像表示部５０は、撮像処理部１０の画像転送部６から送られる全体画像データを格納する表示用記憶部５１と、この表示用記憶部５１に格納された全体画像データの画像表示処理をする画像表示演算部５２と、を備える。表示用記憶部５１は、ＲＡＭで構成され、グラフィック表示処理ＩＣであるグラフィックスプロセッシングユニット（以下、ＧＰＵという）におけるグラフィック表示処理の動作を規定するデータ、ＦＰＧＡから得られる生画像及び変換画像、さらにオーバーレイなどを施した表示画像を格納する。画像表示演算部５２は、ＧＰＵ又は高速描画ができるＤＳＰなどから構成され、機能的には、画像に対し文字やメニューなどのオーバーレイ、画像の拡大及び縮小等を実行する。

上記のように構成された画像処理装置１において、カメラ２で撮像された検査対象の画像データは、撮像バッファ３で一時格納され、２つに分岐されて一方は、領域抽出部４において予め指定された検査領域の画像データが抽出され、検査する部分画像が抽出される。この抽出された部分画像は、変換画像記憶部２０の部分画像記憶領域２１に記憶され、この部分画像は画像回転部５に転送されて予め指定されたテンプレート画像に合うように回転され、この回転画像は、変換画像記憶部２０の回転画像記憶領域２２に記憶される。そして、この部分画像の回転画像は、画像回転部５より画像処理部４０に転送され演算用記憶部４１に記憶され、この記憶された検査する部分画像の回転画像を、画像処理演算部４２での画像処理により、予め用意されたテンプレート画像とのパターンマッチングを行いその一致度により良否を判定する。これにより、検査対象の画像検査を行うことができる。

一方、撮像バッファ３からの画像データの出力は、表示画像記憶部３０に順次転送され、全体画像記憶領域３１に全体画像として格納される。この格納された全体画像は、画像転送部６に送られ、この画像転送部６から画像表示部５０に転送されて、表示用記憶部５１に記憶される。この記憶された全体画像は画像表示演算部５２で画像と文字のオーバーレイ等の表示処理が施され、外部表示機器７０に全体画像を表示する。これにより、画像処理部４０で部分画像により検査処理される検査対象の全体画像を視覚的に確認することができ、視認性を向上することができる。

このように、本実施形態の画像処理装置１によれば、検査に必要な画像処理を行う画像処理部４０と全体画像を表示する画像表示部５０が別々に独立して動作するので、検査処理に必要な画像処理の高速性と全体画像の表示による視認性を両立させることができる。

次に、本発明の第２の実施形態に係る画像処理装置について、図２を参照して説明する。本実施形態の画像処理装置１は、図２に示すように、画像処理演算部４２は、予め定められた順序で逐次画像変換する画像変換処理部４２ａを有し、撮像処理部１０が、表示画像記憶部３０に格納された全体画像に、画像変換処理部４２ａにおける画像変換と同様の画像変換を実行する表示画像変換部８を備えた点で、前記第１の実施形態と異なる。

画像処理演算部４２は、予め定められた順序で逐次画像変換する画像変換処理部４２aを有し、画像変換処理部４２aは、演算用記憶部４１に格納された部分画像を用いて画像検査のための画像変換処理を行う。また、撮像処理部１０は、画像変換処理部４２aにおける画像変換と同じ画像変換を実行する表示画像変換部８を備える。この表示画像変換部８は、ＦＰＧＡで形成され、画像変換した全体画像を表示画像記憶部３０に格納し、この格納された全体画像の変換画像を画像転送部６より画像表示部５０に転送する。

画像変換処理部４２ａにおける画像変換処理は、画像回転部５からの部分画像をＦＰＧＡレジスタ１１に設定された二値化処理、平準化処理、エッジ処理等の複数の変換形式及び順序に従って、検査のための画像変換を行う。この画像変換における複数の画像の変換形式は、外部機器６０から画像処理演算部４２に指示されて、画像処理演算部４２が、変換形式をＦＰＧＡレジスタ１１に設定し、ＦＰＧＡレジスタ１１が画像変換を行い、この変換した画像を、ＲＡＭで構成される演算用記憶部４１に格納する。そして、この変換画像は、ＲＡＭのプログラムに従ってさらに画像処理され、その最終結果は外部機器６０に出力される。

一方、撮像処理部１０は、表示画像記憶部３０の全体画像記憶領域３１に格納された全体画像に、画像変換処理部４２ａにおける画像変換と同様の画像変換を実行する表示画像変換部８を備える。この表示画像変換部８は、ＦＰＧＡで形成され、外部機器によりＦＰＧＡレジスタ１１に設定された変換形式設定の形式／順序に従って、画像の変換を施す。この画像変換における複数の画像の変換形式は、前述の第１の実施形態の画像処理演算部４２と同様に、二値化処理、平準化処理、エッジ処理等の複数の変換処理を有し、これらの処理より画像変換した全体画像を表示画像記憶部３０の変換画像記憶領域Ｐ１〜Ｐｎに格納し、この格納された全体画像の変換画像を画像転送部６より画像表示部５０に転送する。

このように、本実施形態の画像処理装置１によれば、部分画像を画像変換する画像処理部４０と同じ画像変換を全体画像に行う表示画像変換部８とを備えたことにより、画像処理部４０において成された画像変換の内容を、画像表示部５０において画像変換された全体画像により表示することができる。

次に、本発明の第３の実施形態に係る画像処理装置１について、図３を参照して説明する。本実施形態の画像処理装置１においては、撮像処理部１０が、領域抽出部４からの部分画像を画像変換する画像変換部９を有し、部分画像の画像変換を画像処理部４０でなく、撮像処理部１０に有した点で、前記第２の実施形態と異なる。

本実施形態の画像処理装置１において、撮像処理部１０は、変換画像記憶部２０に格納された部分画像を予め定められた順序で逐次画像変換する画像変換部９と、表示画像記憶部３０に格納された全体画像に前記画像変換部９の画像変換と同様の画像変換を行う表示画像変換部８とを備える。画像変換部９は、ＦＰＧＡで形成され、部分画像を画像変換して変換画像記憶部２０に格納し、この変換画像されて格納された部分画像を画像回転部５から画像処理部４０に転送する。表示画像変換部８は、この変換画像を表示画像記憶部３０に格納し、この格納された全体画像の変換画像を画像転送部６より画像表示部５０に転送する。

画像変換部９は、領域抽出部４から変換画像記憶部２０の部分画像記憶領域２１に記憶された部分画像に二値化処理、平準化処理、エッジ処理等の複数の変換処理を行い、これらの処理により画像変換された各変換画像を変換画像記憶部２０の変換画像記憶領域Ｑ１〜Ｑｎに記憶する。なお、撮像処理部１０の表示画像変換部８は、前記第２の実施形態と同様であるので、説明は省略する。

このように、本実施形態の画像処理装置１によれば、撮像処理部１０が、領域抽出部４からの部分画像を画像変換する画像変換部９を有し、部分画像の画像変換を画像処理部４０でなく、撮像処理部１０に有したことにより、画像変換部９における画像変換と、画像処理部４０における画像処理とを個別に動作させることができるので、画像処理部４０が画像処理と画像変換の両方を行う場合に比べ、画像処理部４０の画像処理速度を高速化することができる。

次に、上記実施形態１〜３の画像処理装置の動作を制御するＦＰＧＡレジスタ１１の構成について、図４を参照して説明する。ＦＰＧＡレジスタ１１は、ＦＰＧＡの各動作を設定するために、制御レジスタが全てメモリ空間にマッピングされたメモリマップトレジスタ構成を成す。これにより、任意にレジスタを切り替えることにより高速なタスク切り替えを可能とし、高速な割り込み処理を可能としている。そして、外部機器６０から与えられた設定情報から、画像処理部４０の画像処理演算部４２がＦＰＧＡ制御用のデータ構造を作成して制御データを設定し、この制御データは画像処理演算部４２のアドレス空間にマッピングされる。また、このＦＰＧＡレジスタ１１に設定された制御データは、撮像処理部１０の撮像バッファ３から２つに分岐された画像データのそれぞれの処理ルート、すなわち、領域抽出部４から画像処理部４０のルートで処理される画像処理側ルートと、表示画像記憶部３０から画像表示部５０のルートで処理される表示処理側ルートの２つのルートにおいて、それぞれの処理の際に共通データとして参照される。これにより、後述の画像変換においても、画像処理側と画像表示側の画像変換の同一性を確保することができる。

ＦＰＧＡレジスタ１１の構成は、１６ビット幅のデータで設定され、それらは、入力信号受付を許可する入力信号受付許可フラグ設定１２、領域抽出部４における抽出領域の形状データ設定１３、複数の画像変換用のＮ個の変換形式設定１４、画像回転部５における画像回転角を設定する画像の回転角設定１５、及び画像表示部５０による画像表示のための表示画像設定１６とからなる。

上記入力信号受付許可フラグ設定１２は、図５に示すように、入力信号（ここでは、画像処理の最初の段階としての撮像の開始信号）の受付け許可／禁止を指定する。許可の場合は、カメラ２は撮像を開始し、この撮像された画像データは、撮像バッファ３に順次転送され、許可後に撮像した画像データの画像処理、及び画像表示が開始される。一方、禁止の場合は、入力信号が入ってもカメラ２は、撮像動作を開始せず、禁止前に撮像された画像データの画像処理、及び、画像表示を続行する。

領域の形状データ設定１３は、図６（ａ）に示すように、領域抽出部４において検査対象の検査領域の形状データを指定するため複数のレジスタ９１〜９４で行われる。これらのレジスタ９１〜９４では、図６（ｂ）に示すように、画像データにおける抽出する形状を指定するため、始点座標〈ｘ，ｙ〉、画像の走査線上の長さ（Ｌ）、何本の走査線に及ぶかのライン数（ｎ）を設定する。これにより、画像の抽出領域が規定される。また、図６（ｃ）、（ｄ）に示すように、この抽出領域は、走査線上の長さＬをＬ１からＬｎまで変えることにより矩形以外の楕円形、多角形など任意の形状に表現することができる。さらに、それらの複合領域を含めた任意の形状のデータ構造を複数登録することにより、必要な形状を設定することができる。また、抽出領域を指定することにより、カメラ２の撮像素子の選択にかかわらず、画像処理用に必要な画像の抽出が可能となる。

この領域抽出部４における領域抽出の動作手順について、図７を参照して説明する。領域抽出部４は、撮像バッファ３から送られてきた画像を画像位置の始点（Ｘ＝０、Ｙ＝０）から取り込み（Ｓ１０１）、始点（Ｘ＝０、Ｙ＝０）からＹ方向にカウントアップして（Ｓ１０２）、Ｙ方向の値がＹ＝Ｙ_０になったら（Ｓ１０３でＹＥＳ）、この画像位置（Ｘ＝０、Ｙ＝Ｙ_０）からＸ方向にカウントアップし（Ｓ１０４）、Ｘ方向の値がＸ＝Ｘ_０になったら（Ｓ１０５でＹＥＳ）、画像を切り取って変換画像記憶部２０に格納する（Ｓ１０６）。Ｓ１０３及びＳ１０５でＮＯのときは、取り込んだ画像データを破棄する（Ｓ１０７）。そして、画像位置がＸ＝Ｘ_ｎ、Ｙ＝Ｙ_ｎに達しない場合は（Ｓ１０８でＮＯ）、Ｓ１０２から同様のステップを繰り返し、画像位置がＸ＝Ｘ_ｎ、Ｙ＝Ｙ_ｎに達したら（Ｓ１０８でＹＥＳ）、撮り込む画像の格納が完了する。これにより、指定された形状の検査領域の画像を抽出することができる。なお、形状データの終了コードとして、０ｘＦＦＦを使用する。

変換形式設定１４は、図８に示すように、画像変換の変換形式をビットで表して設定する。各ビットは、画像を変換するための空間フィルタを意味し、ビットを‘１’に設定することにより、有効となる。この各空間フィルタは、膨張処理をするダイレーションフィルタ、収縮処理をするエロージョンフィルタ、画像のノイズを目立たなくさせる平滑化フィルタ及び平均値フィルタ、対象画像のエッジをぼかさずにノイズを除去するメディアンフィルタ、画像の鮮鋭化やエッジ検出に使用されるプレヴィットフィルタ、画像の鮮鋭化やエッジ検出に使用される１次微分に基づくソーベルフィルタ、画像の鮮鋭化やエッジ検出に使用される２次微分に基づくラプラシアンフィルタ、入力系の不具合により画像周辺部が本来の明るさよりも暗い濃度値を持つなど、画像内の画素位置に依存して明るさが歪んだりする歪の補正を行うシェーディング補正、及び二値化処理による色画像の濃淡画像化の各フィルタ等を有する。これらは、検査対象画像の特徴を抽出するために使用される。

これらの空間フィルタの設定により、後述の表示画像変換部８及び、画像変換部９又は画像処理演算部４２は、それぞれ表示画像記憶部３０に格納される全体画像及び、変換画像記憶部２０又は演算用記憶部４１に格納されるいずれかの部分画像に変換処理を施す。すなわち、ＲＡＭで構成される表示画像記憶部３０及び、変換画像記憶部２０又は演算用記憶部４１より格納されている画像を読み取り、設定された空間フィルタを通して得られた画素値を変換画像記憶部２０及び、表示画像記憶部３０又は演算用記憶部４１の別の領域に保存する。また、複数の画像変換処理が必要な場合には、変換形式設定を複数登録（ビットを‘１’に複数個設定）し、設定した順序で画像の変換を実行し、変換画像数だけ各ＲＡＭに変換画像が保存される。これにより、必要な変換画像をいつでも呼び出すことができる。なお、変換画像記憶部２０では、ＲＡＭ容量を減らすために変換画像の保存領域を２箇所として、交互に上書きすることにより画像変換を実行することもできる。

画像回転部５で使用される画像の回転角設定１５は、図９に示すように、０．０度〜３６０．０度の０．１度刻みの角度が設定できるように１１ビットのレジスタ構成で形成している。この回転角度の設定は、画像処理部４０における検査工程の前処理として、検査撮像画像を予め設定された比較基準画像（テンプレート画像）の向きに合わせるために行う。このテンプレート画像は、画像処理部４０の演算用記憶部４１等に格納されており、画像回転部５に転送されて検査画像と比較される。この画像回転部５においては、取り込んだ検査画像をテンプレート画像に合わせるように回転させ、この回転は、検査ライン工程の初期設定時に角度調整として行われ、その後、この調整した角度で順次カメラ２から取込んだ検査画像を回転する。また、この回転角の設定では、テンプレート画像と検査画像の重心を求め、それらの重心位置より自動的に回転角度を設定している。

表示画像設定１６は、図１０に示すように、表示画像記憶部３０に格納された変換画像を指定し、画像の変換形式１〜Ｎで指定する番号をレジスタ値として登録する。この登録された番号を指定することにより、画像転送部６は、その段階に応じた変換画像を表示画像記憶部３０から画像表示部５０に転送する。これにより、画像処理部４０の画像処理の状態を全体画面で視覚的に視ることができると共に、多段階の画像変換のそれぞれの段階における変換画像も表示することができる。

次に、ＦＰＧＡレジスタ１１の条件設定の手順を、図１１のフローチャートを参照して説明する。ＦＰＧＡレジスタ１１は、先述のようにメモリマップトレジスタ構成を成し、ＣＰＵからなる画像処理演算部４２からアクセスが可能である。この画像処理演算部４２は、外部機器６０の指定に従って検査条件をデータ化して検査条件設定を行い（Ｓ２０１）、この検査条件のデータをＦＰＧＡレジスタ１１に設定する（Ｓ２０２）。これにより、画像処理による検査条件の設定と検査条件のＦＰＧＡレジスタ１１へ設定が行われる。

次に、前記第１の実施形態の画像処理装置１におけるＦＰＧＡレジスタ１１を用いた動作手順について、図１２を参照して説明する。ＦＰＧＡレジスタ１１において、検査条件が設定されると、画像処理演算部４２は、ＦＰＧＡレジスタ１１の入力信号受付許可フラグを許可にする。そして、入力信号を受付けると（Ｓ３０１）、ＦＰＧＡレジスタ１１の入力信号受付許可フラグを‘禁止’として撮像中の撮像開始受付を禁止して（Ｓ３０２）、カメラ２による撮像を開始する（Ｓ３０３）。次いで、撮像バッファ３は、画像データを検査処理を行う画像処理側Ａと表示処理を行う表示処理側Ｂに同時並行で画像データを分岐して転送する（Ｓ３０４）。

画像処理側Ａにおいて、領域抽出部４は、撮像バッファ３から転送された画像データが予め設定された検査領域内かどうかを判定して、検査領域内であればこの画像を抽出して（Ｓ３０５でＹＥＳ）、この抽出した画像を変換画像記憶部２０に格納し（Ｓ３０６）、もし検査領域内でなければ（Ｓ３０５でＮＯ）、画像データを破棄する（Ｓ３０７）。そして、検査領域全体の受付が未完了であれば（Ｓ３０８でＮＯ）、ステップＳ３０４に戻り、他方、検査領域全体の受付が完了すると（Ｓ３０８でＹＥＳ）、次の入力信号の受付けを許可すると共に（Ｓ３０９）、抽出した検査領域の画像（部分画像）を画像回転部５に転送し、画像回転部５で画像回転処理を行う（Ｓ３１０）。この回転画像は画像処理部４０に転送され（Ｓ３１１）、画像処理部４０で画像処理され（Ｓ３１２）、この画像処理結果は外部機器６０に外部出力される（Ｓ３１３）。このとき、同時に次の入力信号の受付が始まる。

一方、表示処理側Ｂでは、撮像バッファ３から転送された画像データを表示画像記憶部３０に格納し（Ｓ３１４）、検査領域全体の受付が未完了であれば（Ｓ３１５でＮＯ）、ステップＳ３０４に戻り、他方、検査対象の全体画像の受付が完了すると（Ｓ３１５でＹＥＳ）、全体画像を画像転送部６から画像表示部５０に転送し（Ｓ３１６）、画像表示部５０で全体画像を表示する（Ｓ３１７）。このとき、同時に次の入力信号の受付が始まる。

このような動作手順により、検査対象の画像データを、画像処理側Ａと表示処理側Ｂと２つに分離して、データバスを２重化しそれぞれのデータバスを別々にでき、かつ画像処理側Ａでは、検査領域を限定した画像容量の少ない部分画像を処理して検査し、表示処理側Ｂでは、全体画像を表示処理して表示することにより、検査領域の画像処理を高速化でき、検査対象の全体画像も表示することができる。

このように、第１の実施形態の画像処理装置１によれば、画像容量の低容量化された部分画像による画像処理の高速化と、画像処理部４０と画像表示部５０とのデータバスの２重化による転送スピードの向上により、全体画像の並行表示を可能としながら、装置全体の高速化を図ることができる。

なお、上述における撮像処理部１０の入力信号受付部７は、撮像バッファ３内の画像データの転送が終わると、撮像開始するための入力信号の受付けが可能であり、撮像開始の入力信号が入力されても、撮像バッファ３内の画像データの転送が終わるまでは、この入力信号を受付けない。

これにより、撮像バッファ３は、格納される一画面分の画像が完全に転送されてからしか新たな画像を取り込むことができないので、現在転送中の画像に上書きされることを防止することができる。これにより、現在転送中の画像の一部が転送されずに、次の新たな画像が転送されることにより生じる一部画像データの欠如（画像のコマ落ち）等を防ぐことができる。また、撮像バッファ３から転送された画像データが画像処理中でも撮像バッファ３へ次の画像データを格納できるので、現在の画像処理が終わり次第直ぐに次の画像の画像処理が行える。これにより、撮像動作、検査のための画像処理、及び全体画像表示の並行動作が可能となり、連続的に画像処理を繰り返す場合の応答速度が向上する。

次に、前記第２の実施形態の画像処理装置におけるＦＰＧＡレジスタ１１を用いた動作手順について、図１３を参照して説明する。本実施形態の画像処理部４０は、画像処理において画像変換を行い、図８に示されたようにＦＰＧＡレジスタ１１は、画像処理演算部４２で実行される画像変換の複数の変換形状が設定されている。図１３における動作手順は、基本的には前記第１の実施形態の動作手順と同じであるが、画像処理側Ａと表示処理側Ｂにおいて、画像変換のプロセスを備えた点で異なっている。

図１３において、画像処理側Ａでは、画像回転部５が回転画像を転送した後（Ｓ３１１）、この転送された部分画像の回転画像は、画像処理部４０の画像処理演算部４２において順次画像変換され（Ｓ４０１）、画像変換が完了すると（Ｓ４０２でＹＥＳ）、画像処理部４０は、検査のための次の画像処理を実行する（Ｓ３１２）。上記以外の手順は、基本的に前記第１の実施形態と同様であるので、説明は省略する。

一方、表示処理側Ｂでは、画像格納後（Ｓ３１４）、画像全体の受付が完了した場合は（Ｓ３１５でＹＥＳ）、表示画像変換部８で画像処理部４０の画像変換と同じ画像変換を行う（Ｓ４０４）。画像全体の受付が完了していない場合（Ｓ３１５でＮＯ）、新しい入力信号の受付が無い場合には（Ｓ４０３でＮＯ）、ステップＳ３０４に戻って同じ手順を繰り返し、新しい入力信号の受付がある場合には（Ｓ４０３でＹＥＳ）、前記Ｓ４０４の画像変換を実行する。画像変換が完了すると（Ｓ４０５でＹＥＳ）、処理はステップＳ３１６の画像転送に進む。上記以外の手順は、基本的に前記第１の実施形態と同様であるので、説明は省略する。

このような動作手順により、画像処理部４０で実行された画像変換の結果を、表示画像変換部８で変換された全体画像により表示することができるので、どのような画像の変換が実行されているかを視覚的映像情報により分かり易く確認することができる。また、この変換画像の目視は、画像処理部４０に影響を及ぼすことなく、独立して確認することができる。

なお、画像処理演算部４２と表示画像変換部８はそれぞれの画像変換において、図８に示したように、各画像変換はＦＰＧＡレジスタ１１における複数の変換形式を有効又は無効に設定することにより複数に多段階に行うことができる。また、表示画像変換部８は多段階変換した各段階の変換画像を、表示画像記憶部３０に格納し、外部機器６０からの指示に基いて、予め指定された段階の変換画像を画像転送部６に転送し、この変換画像を画像表示部５０で順次表示することができる。これにより、画像表示部５０は、全体画像を表示するだけでなく、画像変換の途中の画像、及び画像変換の異なる段階の画像情報を表示できるので、画像処理部４０で画像処理検査をしながら、画像表示部５０の全体画像により画像変換の途中経過画像など画像処理内容の認識に必要な情報を視覚的に検証することができ、さらに視認性を高めることができる。

次に、前記第３の実施形態の画像処理装置１の構成におけるＦＰＧＡレジスタ１１を用いた動作手順について説明する。本実施形態におけるＦＰＧＡレジスタ１１の動作手順は、前記第２の実施形態における画像処理側ＡのステップＳ４０１とステップＳ４０２の画像変換を、ステップＳ３０９とステップＳ３１０の間に移動させて、部分画像を回転する前に画像変換を施した点で異なる（動作手順の図は省略）。

この動作手順により、本実施形態の画像処理装置１では、画像変換部９における部分画像の画像変換が、画像回転部５の前に行われることにより、回転処理による画像データ容量の増加が生じる前に画像変換が実行されるので、画像変換の高速化が可能となる。同時に、表示画像変換部８で変換された全体画像の画像表示部５０における表示により視認性が向上する。

なお、画像変換部９と表示画像変換部８の画像変換において、図８に示したように、各画像変換はＦＰＧＡレジスタ１１における複数の変換形式を有効又は無効に設定することにより複数に多段階に行うことができる。これにより、前記第２の実施形態と同様に、画像表示部５０は、全体画像を表示するだけでなく、画像変換の途中経過画像など画像処理内容の認識に必要な情報を視覚的に検証することができ、視認性を高めることができる。

次に、上記第３の実施形態の変形例について説明する。この変形例は、前記実施形態３において、変換画像記憶部２０及び表示画像記憶部３０が、デュアルボードＲＡＭよりなり、この各ＲＡＭの中には複数枚の画像を格納できる固有の画像バッファ（図示なし）をそれぞれ有するものとした。ＦＰＧＡで構成される撮像処理部１０に撮像枚数をカウントするカウンタ、及びこのカウンタのカウンタ値よりアドレスを生成する回路は各ＲＡＭにそれぞれ構成される。各ＲＡＭの画像変換動作は、互いに独立して動作し、各画像バッファは、同じ動作を行う。

この変形例においては、ＦＰＧＡレジスタ１１により、変換画像記憶部２０及び表示画像記憶部３０に設けられた各固有の画像バッファは、撮像バッファ３から転送された画像データをそれぞれ一時格納し、これら格納された画像データは、画像変換部９及び表示画像変換部８により順次画像変換されて画像処理部４０と画像表示部５０にそれぞれ転送され、画像処理部４０と画像表示部５０は、各画像バッファ内に格納された画像がなくなるまで画像処理と画像表示を続行する。これらの画像バッファは、デュアルボードＲＡＭの各ＲＡＭの中に、複数枚の画像を格納できる。

この変形例の画像バッファの動作を、図１４（ａ）、（ｂ）、（ｃ）を参照して説明する。画像バッファは、Ｎ枚の画像を記憶できるＮ個の画像記憶領域Ｃ１〜Ｃｎを備えている。同図において、太い黒枠で囲んだ領域は、画像変換中の記憶領域を示し、斜線の部分は新しい画像の記録領域を示し、図１４（ａ）は、撮像に対し画像変換動作が間に合っている場合を示す。この場合には、画像記憶領域Ｃ１が撮像と画像変換の共通の画像バッファとなっており、変換中の画像と、新しい画像の両方を記憶する。この「間に合っている場合」とは、撮像時点で画像バッファ内の画像は、既に第１段目の変換処理を受け、撮像した画像を同一の領域に置いても差し支えない状態にあることをいう。また、この状態は、生画像を画像処理部４０及び画像表示部５０に送る必要がある場合においては、撮像した時点で画像バッファ内の画像は既に画像処理部４０及び画像表示部５０に転送され、撮像した画像を同一の領域に置いても差し支えない状態であることを示す。

図１４（ｂ）は、画像変換が終了する前に撮像する場合を示し、画像バッファは、画像変換中に撮像を受付け、画像変換が終了する前に撮像をする場合、画像格納領域の変更を行う。すなわち、ＦＰＧＡが画像の格納アドレスを変更することにより、撮像画像（生画像）の格納位置を変更する。画像変換は、前に格納している画像に対して実行され、撮像バッファからの画像転送は、新たな格納アドレス（ここでは、画像記憶領域Ｃ２）に格納される。格納動作は、画像変換との並行動作で実行される。

図１４（ｃ）は、１枚目画像変換完了より前にＭ回撮像をする場合を示し、画像バッファは、画像変換中に複数回の撮像を行い、順次アドレスをずらして画像格納領域の変更を行う。これにより、１枚目画像変換完了より前に計Ｍ枚を撮像する場合、画像記憶領域Ｃｍまで記憶される。また、Ｎ個の画像記憶領域を有するので、画像を格納することができる枚数（Ｎ−１）枚分の複数の先行撮像が可能となる。また、ＦＰＧＡの画像変換動作は、先行撮像した画像がなくなるまで続行する。

このように、各画像バッファは、撮像バッファ３から転送された画像データをそれぞれ一時格納する。これら格納された画像データは、画像変換部９及び表示画像変換部８により順次画像変換されて画像処理部４０と画像表示部５０にそれぞれ転送される。画像処理部４０と画像表示部５０は、画像変換部９及び表示画像変換部８の各画像バッファ内に格納された画像がなくなるまで画像処理と画像表示を続行する。

通常、撮像バッファ３から変換画像記憶部２０及び表示画像記憶部３０に一画面分の画像が転送されて格納されると、撮像開始信号により新たな画像が撮像バッファ３に取込まれるが、このとき、画像変換部９、表示画像変換部８が画像変換中であると、この変換処理が終わるまで次の画像の格納、変換処理が行えなかった。しかしながら、変換画像記憶部２０及び表示画像記憶部３０は、画像バッファを内蔵したことにより、変換完了を待たずに、次の画像の格納を行うことができるので、変換中の撮像開始信号の受付禁止タイミングの短縮化を図ることができる。

このように、この変形例によれば、変換画像記憶部２０と表示画像記憶部３０に複数枚の画像を格納できる固有の画像バッファを備えることにより、その中の一画像記憶領域に変換待ちの画像を蓄えておくことができ、変換動作と並行して次の画像の格納が行える。従って、画像バッファにおける前の画像の変換処理が終わると直ぐに変換待ちの画像の変換処理を行え、画像処理を高速化することができ、連続撮像した後にも、画像処理及び画像表示ができるので、非常に短い撮像間隔の要求される画像処理検査が可能となる。例えば、画像処理のために歪のない画像を撮像しようとした場合、カメラの視野は極めて狭くなり、特に高速で移動する対象物を撮像する場合や、微小なものを拡大して撮像する場合においては、カメラの視野に対象物が捕捉されているタイミングで撮像をする必要がある。このような場合においても、短い撮像間隔で撮像できることにより、確実な画像処理検査が可能となる。また、撮像バッファ３から各画像バッファに画像データが転送されて、画像バッファに一時格納されると、撮像バッファ３にも撮像した画像を次々格納することができるので、画像バッファと撮像バッファ３を組み合わせて、装置全体の処理時間をさらに高速化することができる。

上述した各種実施形態及びそれらの変形例に係る画像処理装置１によれば、カメラ２による検査対象の画像の画像処理と表示処理において、検査に必要な部分画像の画像処理を行う画像処理部４０と、全体画像を表示する画像表示部５０とは、それぞれ独立なデータバスを持って並行して動作できるので、検査処理における画像処理の高速性と、検査対象の全体画像の表示による視認性とを両立させることができる。特に、検査対象の画像が高解像の撮像画像による高容量画像であっても検査に必要な部分画像のみを抽出することにより、検査画像容量を低容量化できるので、画像処理部４０における演算量の低減が可能となり、高速の画像処理が可能となる。また、部分画像で画像処理をするにもかかわらず、検査対象の全体画像表示が可能となり、画像検査の状態を視覚的に分かり易く視認性が向上する。

また、データバスの２重化と共に、検査画像容量の低減による伝送容量の低下により、データバスのスループットを大きくすることなく、高速に検査処理することができる。また、画像処理を部分画像により行うにもかかわらず、画像全体を表示でき、かつ画像処理内容の認識に必要な途中経過画像などの情報も表示することができる。

なお、本発明は、上記実施形態等に限られるものでなく、さらに適宜に変更することができる。例えば、撮像装置は、外付けカメラでなく、内蔵カメラで構成することも可能であり、磁気共鳴、サーモグラフィなどその他の画像を出力する装置を用いてもよい。また、外部機器と外部信号発生装置は一体化してもよい。

本発明の第１の実施形態に係る画像処理装置の構成図。 本発明の第２の実施形態に係る画像処理装置の構成図。 本発明の第３の実施形態に係る画像処理装置の構成図。 本発明の第１〜３の実施形態に係るＦＰＧＡレジスタの全体構成図。 上記レジスタの入力許可信号受付許可フラッグの構造を示す図。 （ａ）は上記レジスタの領域形状データの構造を示す図、（ｂ）は（ａ）の領域形状データによる領域抽出を説明する図、（ｃ）は（ａ）における楕円の抽出形状例を示す図、（ｄ）は（ａ）における多角形の抽出形状例を示す図。 上記領域抽出の動作手順を示すフローチャート。 上記レジスタの画像の変換形式設定の構造を示す図。 上記レジスタの回転角設定の構造を示す図。 上記レジスタの表示画像設定の構造を示す図。 上記レジスタの検査条件設定の動作手順を示すフローチャート。 上記第１の実施形態による画像処理装置の動作手順を示すフローチャート。 上記第２の実施形態による画像処理装置の動作手順を示すフローチャート。 上記第３の実施形態の変形例に係る画像処理装置の画像バッファを説明する図。

符号の説明

１ 画像処理装置
２ カメラ（撮像装置）
３ 撮像バッファ
４ 領域抽出部
５ 画像回転部
６ 画像転送部
７ 入力信号受付部
８ 表示画像変換部
９ 画像変換部
１０ 撮像処理部
２０ 変換画像記憶部
３０ 表示画像記憶部
４０ 画像処理部
４１ 演算用記憶部
４２ 画像処理演算部
４２a 画像変換処理部
５０ 画像表示部
５１ 表示用記憶部
５２ 画像表示演算部
６０ 外部機器
７０ 外部表示機器
８０ 外部信号発生装置

Claims (4)

1. 対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送る撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、
   前記撮像処理部は、前記撮像装置から出力される画像データを一時格納する撮像バッファと、前記撮像バッファから転送される画像データより、予め設定された領域の部分画像を抽出する領域抽出部と、前記領域抽出部で抽出された部分画像又は全体画像を予め任意に指定された角度で回転し、この回転画像を前記画像処理部に転送する画像回転部と、全体画像を前記画像表示部に転送する画像転送部と、撮像開始信号を発生させる外部信号発生装置からの入力信号を受け付け、前記撮像装置に撮像開始信号を送る入力信号受付部と、を備え、
   前記画像処理装置は、前記撮像処理部における領域抽出部及び画像回転部で得られた部分画像又は全体画像、及びその回転画像を格納する変換画像記憶部と、前記撮像バッファから転送される画像データを順次受け取って撮像された対象物の全体画像を格納する表示画像記憶部と、をさらに備え、
   前記画像処理部は、前記画像回転部から出力される回転画像を格納する演算用記憶部と、この演算用記憶部に格納された回転画像を用いて画像検査のための画像処理を実行し、その画像処理結果を外部機器に出力する画像処理演算部と、を備え、
   前記画像表示部は、前記画像転送部から出力される全体画像を格納する表示用記憶部と、この表示用記憶部に格納された全体画像を表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、
   前記入力信号受付部は、前記撮像バッファからの画像データの転送が終わると、撮像開始の入力信号の受付を可能とし、
   前記画像処理演算部による部分画像又は全体画像の画像処理と、前記画像表示演算部による全体画像の画像表示とを並行して行うことを特徴とする画像処理装置。
2. 前記画像処理演算部は、予め定められた順序で逐次画像変換する画像変換処理部を有し、
   前記撮像処理部は、前記表示画像記憶部に格納された全体画像に、前記画像変換処理部における画像変換と同様の画像変換を実行する表示画像変換部を備え、
   前記表示画像変換部は、画像変換した全体画像を前記表示画像記憶部に格納し、この格納された全体画像の変換画像を前記画像転送部より前記画像表示部に転送することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像処理部は、前記領域抽出部から前記変換画像記憶部に格納された部分画像又は全体画像を予め定められた順序で逐次変換し、この変換した画像を前記変換画像記憶部に格納する画像変換部と、前記表示画像記憶部に格納された全体画像に前記画像変換部の画像変換と同様の画像変換を行い、この変換画像を前記表示画像記憶部に格納する表示画像変換部と、を備え、
   前記画像変換部は、前記変換画像記憶部に格納された部分画像又は全体画像の変換画像を前記画像回転部から前記画像処理部に転送し、
   前記表示画像変換部は、前記表示画像記憶部に格納された全体画像の変換画像を前記画像転送部より前記画像表示部に転送することを特徴とする請求項１に記載の画像処理装置。
4. 前記変換画像記憶部及び表示画像記憶部は、それぞれ固有の画像バッファを有し、
   前記各画像バッファは、前記撮像バッファから転送された画像データをそれぞれ一時格納し、これら格納された画像データは、前記画像変換部及び表示画像変換部により順次画像変換されて前記画像処理部と画像表示部にそれぞれ転送され、
   前記画像処理部と画像表示部は、前記各画像バッファ内に格納された画像がなくなるまで画像処理と画像表示を続行することを特徴とする請求項３に記載の画像処理装置。