JP4631828B2

JP4631828B2 - Image processing device

Info

Publication number: JP4631828B2
Application number: JP2006219083A
Authority: JP
Inventors: 潤西島; 義彦杉本
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2006-08-11
Filing date: 2006-08-11
Publication date: 2011-02-16
Anticipated expiration: 2026-08-11
Also published as: JP2008046696A

Description

本発明は、カメラで撮像した対象物の画像データを画像処理して、対象物の外観検査等の製品検査を行うために用いられる画像処理装置に関する。 The present invention relates to an image processing apparatus used to perform image processing of image data of an object imaged by a camera and perform product inspection such as appearance inspection of the object.

従来から、この種の画像検査装置は、製品の製造工程などにおいて、部品等の品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化のため、対象物をカメラで撮像し、対象物の面積、形状、位置など、画像データの特徴を測定・認識することで、良品、不良品の判定に用いられている。このような検査において、検査対象物の微細化、検査の高精度化、及び広い視野検査の要望などに伴って、例えば、２００万画素等の高精度カメラが必要とされている。しかし、このような高精度カメラの画像データは、そのデータ容量（例えば、２００万画素のカラー画像で約５．８Ｇバイト）が極めて大きくなるため、画像処理装置のアクセスするデータの増加や、演算処理そのもののスピードの低下、及び処理ブロック間のデータ転送のスループットの限界に伴うバススピード不足などにより、検査処理速度全体の低下を招く。 Conventionally, this type of image inspection apparatus captures an object with a camera in order to identify the type of parts, detection of mixing of different parts, automation of assembly work and product inspection in the manufacturing process of products, etc. By measuring and recognizing the characteristics of image data such as the area, shape, and position of an object, it is used to determine whether the product is good or defective. In such an inspection, for example, with a demand for finer inspection objects, higher inspection accuracy, and a wide visual field inspection, for example, a high-precision camera having 2 million pixels or the like is required. However, the image data of such a high-precision camera has an extremely large data capacity (for example, about 5.8 Gbytes for a color image of 2 million pixels). The entire inspection processing speed is reduced due to a reduction in the speed of the processing itself and an insufficient bus speed due to a limit of the throughput of data transfer between processing blocks.

従来の画像処理システムとして、例えば、特許文献１に示されるように、カメラからの画像データを記憶する第１のＶＲＡＭ（ＶＩＤＥＯＲＡＭ）と、これに接続された第１のＣＰＵ及びメインメモリとから成る画像処理装置と、前記と同様の画像データを記憶する第２のＶＲＡＭと、これに接続された第２のＣＰＵ及びメインメモリからなる画像出力処理部とを備え、第１のＣＰＵによる画像処理により外観検査測定を行う一方、並行して第２のＣＰＵによる画像データの出力処理を行い、画像処理を高速化するものが知られている。しかしながら、このシステムでは、画像処理部と通信部にそれぞれ画像データの同じ容量の記憶領域を設け、これらの記憶領域に１対１に同じ画像番号を付与し、この領域に付けた画像番号のみで画像処理の判定データと表示画像の画像データをリンクさせるので、画像処理部と通信部において、同じだけの画像メモリ量を必要とした。このため、カメラの高画質化に伴い撮像画像の画素数が増えて画像データの容量が大きくなると、画像メモリ量をますます多く必要とする。また、連写して画像を撮像し、画像処理は連写回数だけ行い、画像表示は連写した画像のうちの１つしか行わない、処理側と表示側で非同期的に動作が実行（独立した実行）される場合においては、記憶領域の画像番号が同じでも処理側と、表示側で記憶された画像がリンクしなくなり、２つの記憶領域間の対による管理が困難となる。 As a conventional image processing system, for example, as shown in Patent Document 1, a first VRAM (VIDEO RAM) for storing image data from a camera, and a first CPU and a main memory connected to the first VRAM (VIDEO RAM) An image processing apparatus, a second VRAM for storing image data similar to the above, and an image output processing unit including a second CPU and a main memory connected to the second VRAM, and image processing by the first CPU. It is known that the appearance inspection measurement is performed by the above, while the output processing of the image data by the second CPU is performed in parallel to speed up the image processing. However, in this system, the image processing unit and the communication unit are provided with storage areas having the same capacity for image data, and the same image numbers are assigned to these storage areas on a one-to-one basis, and only the image numbers assigned to these areas are used. Since the determination data of the image processing and the image data of the display image are linked, the same amount of image memory is required in the image processing unit and the communication unit. For this reason, as the number of pixels of the captured image increases with the increase in the image quality of the camera and the capacity of the image data increases, the amount of image memory is increased. In addition, continuous shooting is performed to capture images, image processing is performed for the number of times of continuous shooting, and image display is performed only for one of the continuously shot images. Operation is performed asynchronously on the processing side and the display side (independently In the case where the image number of the storage area is the same, the image stored on the processing side and the display side are not linked and management by a pair between the two storage areas becomes difficult.

また、特許文献２に示されるように、画像処理検査装置として、ＴＶカメラからの画像データを蓄積し、検査処理を行うための処理用画像データメモリと、表示を行うための表示用画像データメモリとをそれぞれ複数画面分有し、これらの処理用画像データメモリと表示用画像データメモリとを順次、かつサイクリックに切換えて画像の処理と表示を行うものが知られている。しかしながら、この画像処理検査装置では、処理用画像データメモリ及び表示用画像データメモリにそれぞれ複数画面分のメモリを用いるので、多くの画像メモリを必要とすると共に、これらのメモリを切換えるための複数のスイッチを必要とするため、回路構成が複雑化し、コストアップとなっていた。 Further, as disclosed in Patent Document 2, as an image processing inspection apparatus, a processing image data memory for accumulating image data from a TV camera and performing inspection processing, and a display image data memory for performing display Are provided for a plurality of screens, and the processing image data memory and the display image data memory are sequentially and cyclically switched to perform image processing and display. However, in this image processing inspection apparatus, a memory for a plurality of screens is used for each of the processing image data memory and the display image data memory. Therefore, a large number of image memories are required, and a plurality of images for switching these memories are used. Since a switch is required, the circuit configuration is complicated and the cost is increased.

また、特許文献３に示されるように、画像情報を格納する画像記憶装置と、処理する画像情報を記憶する画像処理用メモリと、記憶された画像情報の画像処理を行う画像処理部とを備えて画像処理を高速化する画像処理装置が知られている。しかし、この画像処理装置は、画像処理のみに複数の矩形領域の識別番号と、この矩形領域を格納した画像記憶装置の記憶単位のアドレスとの対応表を備えて処理するため、処理画像と表示画像との整合性を取ることが難しかった。
特開２００３−９８０９８号公報特開平１０−３２８１０号公報特開平９−２５９２６２号公報 Further, as disclosed in Patent Document 3, an image storage device that stores image information, an image processing memory that stores image information to be processed, and an image processing unit that performs image processing on the stored image information are provided. An image processing apparatus that speeds up image processing is known. However, since this image processing apparatus performs processing with a correspondence table of identification numbers of a plurality of rectangular areas and addresses of storage units of the image storage apparatus storing the rectangular areas only for image processing, the processed image and display It was difficult to maintain consistency with the image.
JP 2003-98098 A JP 10-32810 A JP 9-259262 A

本発明は、上記の問題を解決するものであり、対象物の画像処理において、検査処理の高速化を図ると共に、表示画像の画像データと画像処理の判定データとを確実に整合して表示できる画像処理装置を提供することを目的とする。 The present invention solves the above-described problem, and in the image processing of an object, the inspection processing can be speeded up and the image data of the display image and the determination data of the image processing can be displayed in a consistent manner. An object is to provide an image processing apparatus.

上記目的を達成するために請求項１の発明は、対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送出する撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、前記撮像処理部は、前記撮像装置から出力される画像データを一時格納し、この画像データを分岐して前記画像処理部及び画像表示部に順次転送する画像分岐部と、この画像分岐部の指示により画像番号を発生し、この画像番号を前記画像分岐部に転送する画像番号発生部と、を備え、前記画像処理部は、前記画像分岐部から転送される画像データを格納する演算用記憶部と、この演算用記憶部に格納された画像データを用いて画像検査のための画像処理を実行し、この画像処理の判定データを出力する画像処理演算部と、を備え、前記画像表示部は、前記画像分岐部から転送される画像データと画像番号を格納する表示用記憶部と、この表示用記憶部に格納された画像データを表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、前記画像分岐部は、分岐する画像データの画像に画像番号を付加して前記画像処理部と画像表示部に分岐転送し、前記画像処理演算部は、前記画像番号を前記画像処理の判定データに付加して前記画像表示演算部に転送し、前記表示用記憶部は、前記画像分岐部より分岐転送された画像番号の付加された画像データを記憶し、前記画像表示演算部は、前記画像処理演算部から転送された判定データに付加された画像番号を前記表示用記憶部に格納された画像データ中の画像番号と検索比較し、同一画像番号が検出された場合に、前記表示用記憶部に格納された該同一番号の画像データを画像表示するものである。 In order to achieve the above object, an invention according to claim 1 is an imaging device that images an object, an imaging processing unit that sends image data captured by the imaging device to a subsequent image processing unit and an image display unit, An image processing apparatus comprising: an image processing unit that performs image processing on image data from the imaging processing unit; and an image display unit that displays an image based on the image data, wherein the imaging processing unit includes: An image branching unit that temporarily stores output image data, branches the image data and sequentially transfers the image data to the image processing unit and the image display unit, and generates an image number according to an instruction from the image branching unit. An image number generation unit for transferring the image data to the image branching unit, and the image processing unit is stored in the calculation storage unit for storing image data transferred from the image branching unit. Picture An image processing calculation unit that executes image processing for image inspection using the data and outputs determination data of the image processing, and the image display unit includes image data transferred from the image branching unit, A display storage unit that stores an image number; and an image display calculation unit that displays the image data stored in the display storage unit and outputs the display processing result to an external display device. The unit adds an image number to the image of the image data to be branched and branches and transfers the image processing unit and the image display unit, and the image processing calculation unit adds the image number to the determination data of the image processing. Transferred to the image display calculation unit, the display storage unit stores the image data with the image number branched and transferred from the image branching unit, the image display calculation unit from the image processing calculation unit Transferred The image number added to the fixed data is searched and compared with the image number in the image data stored in the display storage unit, and the same image number stored in the display storage unit is detected when the same image number is detected. The image data of the number is displayed as an image.

請求項２の発明は、請求項１に記載の画像処理装置において、前記画像表示部は、前記分岐転送された画像データの画像番号とその画像の格納位置を記憶する画像番号保持部をさらに備え、前記画像番号保持部は、前記画像データの画像番号を保持すると共に、この画像データの表示画像を保存する記憶場所を決定してこの表示画像を前記表示用記憶部に転送格納し、前記画像表示演算部は、前記画像処理演算部からの判定データに付加された画像番号を前記画像番号保持部で検索し、前記表示用記憶部に格納されている前記判定データの画像番号に対応する表示画像の格納位置を取得するものである。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the image display unit further includes an image number holding unit that stores an image number of the branch-transferred image data and a storage position of the image. The image number holding unit holds an image number of the image data, determines a storage location for storing a display image of the image data, transfers the display image to the display storage unit, and stores the display image. The display calculation unit searches the image number holding unit for the image number added to the determination data from the image processing calculation unit, and displays the image number corresponding to the image number of the determination data stored in the display storage unit The storage position of the image is acquired.

請求項３の発明は、請求項１又は請求項２に記載の画像処理装置において、前記撮像処理部は、前記画像処理演算部から予め指定される画像の水平方向のライン数を保持し、前記画像分岐部からの画像データのライン数をカウントし、前記指定されたライン数の画像データを前記画像処理部に転送する転送ライン計数部をさらに備え、前記画像処理演算部は、前記転送ライン計数部から前記指定されたライン数の画像処理に必要な画像データの転送を受けると、画像処理を実行するものである。 According to a third aspect of the present invention, in the image processing device according to the first or second aspect, the imaging processing unit holds the number of horizontal lines of the image specified in advance from the image processing calculation unit, and A transfer line counting unit that counts the number of lines of image data from the image branching unit and transfers the image data of the designated number of lines to the image processing unit; and the image processing calculation unit includes the transfer line counting unit When the image data necessary for the image processing of the designated number of lines is received from the section, the image processing is executed.

請求項４の発明は、請求項２に記載の画像処理装置において、前記画像番号保持部は、前記画像分岐部からの画像データを前記表示用記憶部の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路を備えると共に、このロック情報記憶回路に記憶されたロック情報に基づき前記画線分岐部から転送される画像データをロック状態でない前記表示用記憶部の記憶領域に格納するものである。 According to a fourth aspect of the present invention, in the image processing apparatus according to the second aspect, the image number holding unit stores the image data from the image branching unit in the storage region of the display storage unit. The display is provided with a lock information storage circuit for storing lock information indicating that it has been stored, and the image data transferred from the image branching unit based on the lock information stored in the lock information storage circuit is not in the locked state. It is stored in the storage area of the storage unit for use.

請求項５の発明は、請求項４に記載の画像処理装置において、前記画像表示演算部は、前記表示用記憶部の記憶領域に記憶された画像データの画像表示を実行した後、前記記憶領域が上書き可能になるように前記ロック情報記憶回路のロック情報を修正するものである。 According to a fifth aspect of the present invention, in the image processing device according to the fourth aspect, the image display calculation unit executes image display of the image data stored in the storage area of the display storage unit, and then the storage area. The lock information of the lock information storage circuit is corrected so that can be overwritten.

請求項６の発明は、請求項４又は請求項５に記載の画像処理装置において、前記撮像処理部は、前記撮像装置からの画像データの入力信号を受け付けなくするための入力信号キャンセル回路をさらに備え、前記画像表示部は、前記画像番号保持部から前記画像分岐部へ撮像制御信号を伝達する撮像制御回路をさらに備え、前記ロック情報記憶回路が、前記表示用記憶部の全記憶領域がロック状態になったことを示すと、前記撮像制御回路は前記画像分岐部に撮像制御信号を送り、前記画像分岐部は、この撮像制御信号に基づき入力信号キャンセル信号を前記入力信号キャンセル回路に送り、この入力信号キャンセル回路により前記撮像処理部が入力信号を無視し、撮像された画像データの撮り込みを実行しないものである。 According to a sixth aspect of the present invention, in the image processing device according to the fourth or fifth aspect, the imaging processing unit further includes an input signal cancellation circuit for not accepting an input signal of image data from the imaging device. The image display unit further includes an imaging control circuit for transmitting an imaging control signal from the image number holding unit to the image branching unit, and the lock information storage circuit locks all storage areas of the display storage unit. When indicating that the state has been reached, the imaging control circuit sends an imaging control signal to the image branching unit, the image branching unit sends an input signal cancellation signal to the input signal cancellation circuit based on the imaging control signal, With this input signal cancel circuit, the imaging processing unit ignores the input signal and does not execute the capturing of the captured image data.

請求項１の発明によれば、画像処理部と画像表示部との並列処理で検査処理を高速化できると共に、画像処理部側の処理の判定データと画像表示部側の表示の画像データとをリンクさせることができるので、画像番号の検索により、常に、表示の画像データと処理の判定データとを確実に整合して表示出力することができる。また、画像処理側と画像表示側とを独立して非同期実行させた場合でも、画像番号検索により、処理結果と表示画像とを整合させて表示出力することができる。また、画像処理部は、少なくとも画像番号の付加された画像処理の判定データを保存しておけば、画像表示部で表示画像を検索できるので、画像表示部と対に同じ画像データを保持する必要がなく、必要な画像メモリを少なくできる。 According to the invention of claim 1, the inspection processing can be speeded up by parallel processing of the image processing unit and the image display unit, and the determination data of the processing on the image processing unit side and the image data of the display on the image display unit side Since the images can be linked, it is always possible to reliably display and output the display image data and the processing determination data by searching for the image number. Even when the image processing side and the image display side are asynchronously executed independently, the processing result and the display image can be matched and displayed by the image number search. In addition, the image processing unit can search for a display image on the image display unit if at least the image processing determination data to which the image number is added is stored. Therefore, it is necessary to hold the same image data as a pair with the image display unit. The required image memory can be reduced.

請求項２の発明によれば、画像番号検索を行うデータ管理構造の単純な画像番号保持部を備えたことにより、画像表示演算部に影響を与えることなく検索が行え、表示画像の高速検索が可能となる。また、画像番号保持部は、データ管理構造の単純であるので、ハード化が容易であり、このハード化によりさらに検索を高速化できる。 According to the second aspect of the present invention, since the simple image number holding unit having the data management structure for performing the image number search is provided, the search can be performed without affecting the image display calculation unit, and the high-speed search of the display image can be performed. It becomes possible. Further, since the image number holding unit has a simple data management structure, it is easy to implement hardware, and the search can be further speeded up by this hardware.

請求項３の発明によれば、全体画像ではなく、必要なライン数の部分画像のみを画像処理するので、画像処理を高速化することができる。また、画像表示部には、画像全体が転送されるため、画像処理の高速化にもかかわらず処理結果と整合して画像全体を表示することができる。 According to the invention of claim 3, since only the partial image of the required number of lines is processed instead of the entire image, the image processing can be speeded up. In addition, since the entire image is transferred to the image display unit, the entire image can be displayed in conformity with the processing result in spite of high-speed image processing.

請求項４の発明によれば、表示用記憶部におけるロック状態の領域が明確になるので、表示用記憶部に記憶されている表示画像への上書きを防止することができる。 According to the fourth aspect of the present invention, since the lock state area in the display storage unit becomes clear, overwriting of the display image stored in the display storage unit can be prevented.

請求項５の発明によれば、表示用記憶部におけるロック状態の記憶領域を上書き可能にできるので、表示用記憶部の記憶可能領域が増え、表示画像を確実に記憶し、表示出力させることができる。 According to the invention of claim 5, since the storage area in the locked state in the display storage section can be overwritten, the storable area of the display storage section is increased, and the display image can be reliably stored and output for display. it can.

請求項６の発明によれば、ロック状態になると撮像処理部において、撮像装置からの入力信号の取り込みを中止させることができるので、画像処理のみが先行することを防ぐことができ、処理結果とこれに対応する表示画像の整合性を保つことができる。 According to the sixth aspect of the present invention, since the input of the input signal from the image pickup apparatus can be stopped in the image pickup processing unit when the lock state is set, it is possible to prevent only image processing from leading, and the processing result The consistency of the display image corresponding to this can be maintained.

以下、本発明の第１の実施形態に係る画像処理装置について図１、図２を参照して説明する。本実施形態の画像処理装置１は、製品製造ラインでの製品を検査対象とするもので、検査対象を撮像するカメラの撮像装置２、この撮像装置２からの画像データを後続の画像処理部４と画像表示部５に送る撮像処理部３、この撮像処理部３からの画像データの検査画像を画像処理する画像処理部４、前記画像データによる全体画像を表示処理する画像表示部５、画像処理部４の出力が接続される外部機器６、画像表示部５の出力を表示する外部表示機器７、及び撮像開始信号を発生する外部信号発生装置８を備えている。外部機器６は、画像処理部４に制御信号を送るプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からなり、外部表示機器７は、変換画像を表示するディスプレイ装置であり、外部信号発生装置８は、パソコンなどの制御信号を発生できる制御機器である。また、この画像処理装置１は、例えば、製造ラインなどの検査工程において、検査対象物の撮像画像の画像処理に基く、形状、面積、位置などの画像データの特徴の測定、認識、検査等に使用されるものである。 The image processing apparatus according to the first embodiment of the present invention will be described below with reference to FIGS. The image processing apparatus 1 according to the present embodiment is an inspection target for products on a product manufacturing line. An image pickup apparatus 2 for a camera that picks up an image of the inspection target, and image data from the image pickup apparatus 2 is used as a subsequent image processing unit 4. The image processing unit 3 to be sent to the image display unit 5, the image processing unit 4 that performs image processing on the inspection image of the image data from the imaging processing unit 3, the image display unit 5 that performs display processing of the entire image based on the image data, and image processing An external device 6 to which the output of the unit 4 is connected, an external display device 7 for displaying the output of the image display unit 5, and an external signal generator 8 for generating an imaging start signal are provided. The external device 6 includes a control device such as a programmable controller (hereinafter referred to as PLC) that sends a control signal to the image processing unit 4, and the external display device 7 is a display device that displays a converted image, and the external signal generation device 8. Is a control device capable of generating a control signal such as a personal computer. The image processing apparatus 1 is also used for measuring, recognizing, inspecting features of image data such as shape, area, and position based on image processing of a captured image of an inspection object in an inspection process such as a production line. It is what is used.

撮像処理部３は、撮像装置２から出力される映像信号の画像データを一時格納し、この格納された画像データを２つに分岐し順次転送して出力する画像分岐部３１と、この画像分岐部３１の指示により画像番号を発生し、この画像番号を画像分岐部３１に転送する画像番号発生部３２と、外部信号発生装置８からの撮像開始信号を受付け、撮像装置２に撮像開始信号を送る入力信号受付部３３と、を備える。画像分岐部３１は、分岐する画像データの画像に画像番号発生部３２で発生させた同じ画像番号を付加して画像処理部４と画像表示部５にそれぞれ分岐転送する。 The imaging processing unit 3 temporarily stores the image data of the video signal output from the imaging device 2, branches the stored image data into two, sequentially transfers and outputs the image branching unit 31, and this image branching In response to an instruction from the unit 31, an image number is generated. The image number generating unit 32 that transfers the image number to the image branching unit 31 and an imaging start signal from the external signal generating device 8 are received, and an imaging start signal is sent to the imaging device 2. An input signal receiving unit 33 to be sent. The image branching unit 31 adds the same image number generated by the image number generating unit 32 to the image of the image data to be branched and branches and transfers it to the image processing unit 4 and the image display unit 5 respectively.

また、撮像処理部３は、ハード構成として、フィールド・プログラマブル・ゲートアレイ（以下、ＦＰＧＡという）（図示なし）で形成され、このＦＰＧＡにより画像分岐部３１、画像番号発生部３２、入力信号受付部３３を構成する。このＦＰＧＡは、基本的には映像信号を画像メモリに格納し、ＣＰＵの演算に適したデジタル量に変換したのち、必要な各種デジタル信号処理を行う。そして、例えば、取り込んだ画像に管理するための番号を付加した映像信号を画像処理部４と画像表示部５へ分岐して転送するハードウェア回路、各種データを記憶するランダムアクセスメモリ（以下、ＲＡＭという）のデータにアクセスするインターフェース回路、ＲＡＭデータを他のＲＡＭに転送するバス制御回路、ダイレクトメモリアクセス回路、及び入力信号を受け付けるデータの入出力（Ｉ／Ｏ）等を有している（以上、図示なし）。また、これらの処理は、ディジタル・シグナル・プロセッサ（ＤＳＰ）などの高速プロセッサを使ってソフト的に実施することも可能である。ここでは、画像分岐部３１からのデータ分岐においてタイムラグが発生するため、実用上問題とならない範囲のタイムラグでＦＰＧＡによるハード構成により、画像データの同時分岐を実現している。このＦＰＧＡは、自己の動作を制御するレジスタであるＦＰＧＡレジスタ３４を保持する。 Further, the imaging processing unit 3 is formed by a field programmable gate array (hereinafter referred to as FPGA) (not shown) as a hardware configuration, and by this FPGA, an image branching unit 31, an image number generating unit 32, an input signal receiving unit 33 is constituted. This FPGA basically stores video signals in an image memory, converts them into digital quantities suitable for the calculation of the CPU, and then performs various necessary digital signal processing. For example, a hardware circuit that branches and transfers a video signal with a management number added to the captured image to the image processing unit 4 and the image display unit 5, a random access memory (hereinafter referred to as a RAM) that stores various data Interface circuit for accessing data, a bus control circuit for transferring RAM data to another RAM, a direct memory access circuit, and input / output (I / O) of data for receiving input signals, etc. , Not shown). These processes can also be implemented in software using a high-speed processor such as a digital signal processor (DSP). Here, since a time lag occurs in the data branch from the image branching unit 31, the simultaneous branching of the image data is realized by the hardware configuration by the FPGA with a time lag within a range that does not cause a problem in practice. This FPGA holds an FPGA register 34 which is a register for controlling its own operation.

画像処理部４は、撮像処理部３の画像分岐部３１から転送される画像データを格納する演算用記憶部４１と、この演算用記憶部４１に格納された画像データを用いて画像検査のための画像処理を実行し、その画像処理結果を外部機器６に出力する画像処理演算部４２とを備える。また、演算用記憶部４１は、ＲＡＭで構成され、ＣＰＵの動作を規定するプログラム及びデータ、ＦＰＧＡから得られる生画像／変換画像を格納する。また、画像処理演算部４２は、ＣＰＵで構成され、外部機器６を使用するユーザ、又は外部機器６となるプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からの指示により、ＦＰＧＡのＦＰＧＡレジスタの条件設定、ＲＡＭ内のプログラムに従った画像処理等を実行する。そして、この画像処理演算部４２における画像演算は、例えば、対象物の外観検査等において、予め用意されたテンプレート画像とのパターンマッチングを行い、その一致度で判定等を行い、製品の良品、不良品を区別し、その画像検査処理の判定データを外部機器６に出力すると共に、この判定データを画像表示部５の画像表示演算部５２に送る。この判定データは、画像処理における検査結果データとして、判定結果以外にも検査処理結果の画像データ等を含むことができる。 The image processing unit 4 is an arithmetic storage unit 41 that stores image data transferred from the image branching unit 31 of the imaging processing unit 3, and for image inspection using the image data stored in the arithmetic storage unit 41. And an image processing calculation unit 42 that outputs the image processing result to the external device 6. The calculation storage unit 41 is composed of a RAM, and stores a program and data that defines the operation of the CPU, and a raw image / converted image obtained from the FPGA. Further, the image processing calculation unit 42 is configured by a CPU, and in response to an instruction from a user who uses the external device 6 or a control device such as a programmable controller (hereinafter referred to as PLC) serving as the external device 6, the FPGA register of the FPGA Condition setting, image processing according to a program in the RAM, and the like are executed. The image calculation in the image processing calculation unit 42 is performed, for example, by performing pattern matching with a template image prepared in advance in an appearance inspection of an object, and making a determination based on the degree of coincidence. The non-defective product is distinguished, and the determination data of the image inspection process is output to the external device 6 and the determination data is sent to the image display calculation unit 52 of the image display unit 5. This determination data can include image data of the inspection processing result in addition to the determination result as the inspection result data in the image processing.

画像表示部５は、画像分岐部３１から転送される画像番号が付加された全体画像の画像データを格納する表示用記憶部５１と、この表示用記憶部５１に格納された画像データを画像表示処理する画像表示演算部５２と、この画像表示演算部５２からの表示処理結果を外部表示機器に出力する画像表示出力部５３とを備え、表示用記憶部５１は、判定データに対応する表示画像の全体画像データを保持する表示画像保持部５４を有する。表示用記憶部５１は、ＲＡＭで構成され、グラフィック表示処理ＩＣであるグラフィックスプロセッシングユニット（以下、ＧＰＵという）におけるグラフィック表示処理の動作を規定するデータ、ＦＰＧＡから得られる生画像及び変換画像、さらにオーバーレイなどを施した表示画像を格納する。表示用記憶部５１は、判定データに対応する表示画像の全体画像データを保持する表示画像保持部５４と、画像分岐部３１から転送さた画像番号が記憶されると共に表示画像保持部５４に記憶された画像データを管理するためのＦＰＧＡによる管理レジスタ５５と、を備える。表示画像保持部５４は、ＲＡＭで構成され、各画像データを記憶する画像記憶領域５６を有する。画像表示演算部５２は、ＧＰＵ又は高速描画ができるＤＳＰなどから構成され、機能的には、画像に対し文字やメニューなどのオーバーレイ、画像の拡大及び縮小等を実行する。 The image display unit 5 displays the image data of the entire image to which the image number transferred from the image branching unit 31 is added, and the image data stored in the display storage unit 51 is displayed as an image. An image display calculation unit 52 to be processed and an image display output unit 53 that outputs a display processing result from the image display calculation unit 52 to an external display device. The display storage unit 51 displays a display image corresponding to the determination data. Display image holding unit 54 for holding the entire image data. The display storage unit 51 includes a RAM, data that defines the operation of graphic display processing in a graphics processing unit (hereinafter referred to as GPU), which is a graphic display processing IC, raw images and converted images obtained from the FPGA, Stores the display image with overlay. The display storage unit 51 stores the display image holding unit 54 that holds the entire image data of the display image corresponding to the determination data, and the image number transferred from the image branching unit 31 and stores the image number in the display image holding unit 54. And an FPGA management register 55 for managing the image data. The display image holding unit 54 is composed of a RAM and has an image storage area 56 for storing each image data. The image display calculation unit 52 is configured by a GPU or a DSP capable of high-speed drawing, and functionally executes an overlay of characters and menus on the image, enlargement and reduction of the image, and the like.

上記のように構成された画像処理装置１の動作手順について、図３のフローチャートを参照して説明する。先ず、入力信号受付部３３は、外部信号発生装置８からの撮像開始信号である外部信号を受信すると、入力信号受付部３３内に設けられたノイズキャンセル回路（図示なし）で、外部信号に含まれる不要ノイズを低減した後（Ｓ１）、外部信号を受理し（Ｓ２）、撮像装置２に撮像開始のカメラトリガを与える（Ｓ３）。このカメラトリガにより撮像装置２で撮像された検査対象の画像データは、画像分岐部３１に入力されて（Ｓ４）一時格納されると共に、その画像がカウントされて、画像データの中の各画像に画像番号発生部３２で発生させた撮像順のシリアル番号が順次付加された後（Ｓ５）、２つに分岐されて画像処理部４と画像表示部５にバス転送される（Ｓ６）。これにより、画像処理部４と画像表示部５において、ともに同じ画像番号を持った画像データが両者間で同期して入力される。 The operation procedure of the image processing apparatus 1 configured as described above will be described with reference to the flowchart of FIG. First, when receiving an external signal that is an imaging start signal from the external signal generator 8, the input signal reception unit 33 is included in the external signal by a noise cancellation circuit (not shown) provided in the input signal reception unit 33. After reducing unnecessary noise (S1), an external signal is received (S2), and a camera trigger for starting imaging is given to the imaging apparatus 2 (S3). The image data to be inspected imaged by the imaging device 2 by this camera trigger is input to the image branching unit 31 (S4) and temporarily stored, and the image is counted to each image in the image data. After serial numbers in the imaging order generated by the image number generating unit 32 are sequentially added (S5), the number is branched into two and bus-transferred to the image processing unit 4 and the image display unit 5 (S6). Thereby, in the image processing unit 4 and the image display unit 5, both image data having the same image number are input in synchronization with each other.

画像処理部４は、この転送された画像番号が付加された画像データを演算用記憶部４１に格納し、画像処理演算部４２がこの格納された画像データを用いて画像検査のための画像処理を実行する（Ｓ７）。この画像処理演算部４２における画像処理では、予め用意されたテンプレート画像とのパターンマッチングを行いその一致度により良否を判定し、検査対象の画像検査を行う。さらに、画像処理演算部４２は、この画像データの検査処理の判定データを外部機器６を出力すると共に、この判定データに対して処理された画像データの画像番号を付加し、結果に応じたグラフィック表示データを含む結果表示データを生成し（Ｓ８）、この結果表示データを含む判定データがどの画像データの判定データに対応するかを明確にして画像表示部５の画像表示演算部５２に転送する。 The image processing unit 4 stores the image data to which the transferred image number is added in the calculation storage unit 41, and the image processing calculation unit 42 uses the stored image data to perform image processing for image inspection. Is executed (S7). In the image processing in the image processing calculation unit 42, pattern matching with a template image prepared in advance is performed, the quality is determined based on the degree of coincidence, and an image inspection of an inspection target is performed. Further, the image processing calculation unit 42 outputs the determination data of the inspection processing of the image data to the external device 6 and adds the image number of the processed image data to the determination data, and the graphic according to the result. Result display data including display data is generated (S8), and it is clarified which image data corresponds to the determination data including the result display data and is transferred to the image display calculation unit 52 of the image display unit 5. .

画像表示部５において、表示用記憶部５１は、転送されてきた画像データより画像番号を取得し（Ｓ９）、この画像番号を管理レジスタ５５に保存する（Ｓ１０）。管理レジスタ５５は、画像データの表示画像を保存する画像保存アドレスを算出し（Ｓ１１）、表示画像保持部５４に、この表示画像を保存する（Ｓ１２）。画像表示演算部５２は、画像処理演算部４２から転送された判定データに付加された画像番号を表示画像保持部５４に記憶された画像データ中の画像番号と検索比較し（Ｓ１３）、同一画像番号が検出された場合に、表示用記憶部５１に記憶された同一番号の画像データの画像格納アドレスを算出し（Ｓ１４）、抽出した画像データに画像検査の判定データをオーバーレイして出力する。そして、このオ−バーレイされた画像は、画像表示出力部５３に画像表示される（Ｓ１５）。 In the image display unit 5, the display storage unit 51 acquires an image number from the transferred image data (S9), and stores the image number in the management register 55 (S10). The management register 55 calculates an image storage address for storing the display image of the image data (S11), and stores this display image in the display image holding unit 54 (S12). The image display calculation unit 52 searches and compares the image number added to the determination data transferred from the image processing calculation unit 42 with the image number in the image data stored in the display image holding unit 54 (S13). When the number is detected, the image storage address of the image data with the same number stored in the display storage unit 51 is calculated (S14), and the image inspection determination data is overlaid on the extracted image data and output. Then, the overlaid image is displayed on the image display output unit 53 (S15).

ここで、撮像された画像データにおける画像表示される画像データと画像検査の判定データの整合について説明する。撮像装置２で撮像された画像データＡ１は、画像分岐部３１で画像番号（例えば、画像０）が付加された２つの同じ画像データのＡ２、Ａ３に分岐されて、それぞれ画像処理部４と画像表示部５に転送されされる。先ず、画像処理部４に転送された画像番号付きの画像データＡ２（画像０）は、画像処理演算部４２で演算処理されて検査され、その検査結果の判定データＡ４（結果０）は、入力された画像データＡ２（画像０）と同じ画像番号が付加されて画像表示演算部５２に転送される。他方、画像表示部５に転送された画像データＡ３（画像０）は、図２に示すように、管理レジスタ５５により画像データＡ３の画像番号に対応する同じ管理番号で管理されて、表示画像保持部５４の画像記憶領域５６に記憶され、表示画像として保持される。従って、画像処理演算部４２からの判定データＡ４（結果０）の画像番号と、同じ画像番号の画像データＡ５（画像０）を検索して、この画像データＡ５（画像０）と判定データＡ４（結果０）を整合させ、両データをオーバーラップさせて画像データＡ６として画像表示出力部５３に出力することができる。 Here, the matching between the image data to be displayed in the captured image data and the determination data for the image inspection will be described. The image data A1 captured by the imaging device 2 is branched into two identical image data A2 and A3 to which an image number (for example, image 0) is added by the image branching unit 31, and the image processing unit 4 and the image data respectively. It is transferred to the display unit 5. First, image data A2 (image 0) with an image number transferred to the image processing unit 4 is subjected to arithmetic processing by the image processing arithmetic unit 42 and inspected, and determination data A4 (result 0) of the inspection result is input. The same image number as the image data A2 (image 0) is added and transferred to the image display calculation unit 52. On the other hand, the image data A3 (image 0) transferred to the image display unit 5 is managed by the management register 55 with the same management number corresponding to the image number of the image data A3 as shown in FIG. It is stored in the image storage area 56 of the unit 54 and held as a display image. Accordingly, the image data A5 (image 0) having the same image number as the image number of the determination data A4 (result 0) from the image processing calculation unit 42 is searched, and the image data A5 (image 0) and the determination data A4 ( The result 0) can be matched, and both data can be overlapped and output to the image display output unit 53 as image data A6.

この整合された表示画像の画像データと判定データのオーバレイ表示により、撮像された検査対象物の全体画像のどこに欠陥があるかを即座に、明確に視認することができる。また、たとえ、２系統に分かれた並列処理において、画像処理プロセス及び画像記憶プロセスの途中で時間的ずれが生じたとしても、画像表示を行う最終表示においては、表示の画像データとその判定データとを整合させて表示することができる。また、表示画像の画像データの検索は画像番号だけで行うので、画像処理部４の演算用記憶部４１では、少なくとも画像番号付きの判定データのみ記憶すればよく、表示用記憶部５１のように記憶容量の大きい画像データの記憶を必要としないので、メモリ容量をさらに少なくすることができる。 By this overlay display of the image data of the aligned display image and the determination data, it is possible to immediately and clearly visually recognize where the defect is in the entire image of the imaged inspection object. Further, even if a time lag occurs in the middle of the image processing process and the image storage process in the parallel processing divided into two systems, in the final display for displaying an image, the display image data and its determination data Can be displayed in a consistent manner. Further, since the search of the image data of the display image is performed only by the image number, the calculation storage unit 41 of the image processing unit 4 only needs to store at least the determination data with the image number, as in the display storage unit 51. Since it is not necessary to store image data having a large storage capacity, the memory capacity can be further reduced.

本実施形態によれば、画像分岐部３１で画像データに画像番号を付加したことにより、画像処理部４側の画像処理の判定データと画像表示部５側の表示画像の画像データをデータ的にリンクさせることができるので、常に、表示画像の画像データと画像処理の判定データとを整合して表示出力することができる。 According to the present embodiment, the image number is added to the image data by the image branching unit 31, whereby the image processing determination data on the image processing unit 4 side and the image data of the display image on the image display unit 5 side are converted into data. Since they can be linked, the image data of the display image and the image processing determination data can always be displayed and output in alignment.

また、データバスの２重化により、画像処理部と画像表示部を並列処理できるので、表示による画像処理速度の低下を防ぎ、画像処理速度を最速に保つことができる。また、検査画像と検査結果の両方を同時に表示することができ目視による検査結果の視認性を向上することができる。 In addition, since the image processing unit and the image display unit can be processed in parallel by duplicating the data bus, it is possible to prevent a decrease in the image processing speed due to display and to keep the image processing speed at the highest speed. Further, both the inspection image and the inspection result can be displayed at the same time, and the visibility of the inspection result by visual inspection can be improved.

また、画像処理部４側と画像表示部５側とを非同期実行（独立した実行）させるような場合において、処理側と表示側は、１対１の対の画像データを保持しない場合が生じるが、このような場合でも、画像番号管理により、処理結果と表示画像とを整合させて表示出力することができる。また、逆に、この非同期実行を行った場合は、１対１の画像記憶に制限されることなく、必要な画像のみを記憶すればよいので、記憶メモリを低減することができ、かつ、独立して選択的に画像処理できるので、さらに高速検査処理が可能となる。 Further, when the image processing unit 4 side and the image display unit 5 side are asynchronously executed (independent execution), the processing side and the display side may not hold one-to-one pair of image data. Even in such a case, the processing result and the display image can be matched and displayed by image number management. On the contrary, when this asynchronous execution is performed, it is not limited to one-to-one image storage, and only necessary images need to be stored. Thus, the image processing can be selectively performed, so that a higher-speed inspection process can be performed.

次に、本発明の第２の実施形態に係る画像処理装置１について、図４を参照して説明する。本実施形態の画像処理装置１は、前記実施形態と基本的には同じ構成を成し、画像表示部５は、画像分岐部３１からの画像データの画像番号とその画像データの格納位置のみを記憶し、画像データの表示画像を表示画像保持部５４に転送する画像番号保持部５７をさらに備えている。この画像番号保持部５７は、ＲＡＭで構成され、ＦＰＧＡで構成されるＦＩＦＯ（ＦｉｒｓｔｉｎＦｉｒｓｔｏｕｔ）バッファ及び転送回路を備え、画像番号を保持し、この画像番号を管理するＦＰＧＡによる管理レジスタ５８を有している。 Next, an image processing apparatus 1 according to a second embodiment of the present invention will be described with reference to FIG. The image processing apparatus 1 of the present embodiment basically has the same configuration as that of the above-described embodiment, and the image display unit 5 displays only the image number of the image data from the image branching unit 31 and the storage position of the image data. An image number holding unit 57 for storing and transferring the display image of the image data to the display image holding unit 54 is further provided. This image number holding unit 57 includes a FIFO (First in First Out) buffer and a transfer circuit, which is configured by a RAM and is configured by an FPGA. The image number holding unit 57 holds an image number, and an FPGA management register 58 that manages the image number. Have.

画像番号保持部５７は、画像分岐部３１からの画像データの中の画像番号を保持すると共に、全体画像の表示画像を保存する記憶場所を決定し、この表示画像をＦＩＦＯバッファと転送回路により表示画像保持部５４の格納位置に順次転送する。また、画像表示演算部５２は、画像処理演算部４２からの判定データに付加された画像番号と同じ画像番号を画像番号保持部５７において検索し、この検索により表示画像保持部５４における同じ画像番号の画像データの格納位置を検出し、この検出された格納中の画像データを画像表示出力部５３に出力する。 The image number holding unit 57 holds the image number in the image data from the image branching unit 31 and determines a storage location for storing the display image of the entire image. The display image is displayed by the FIFO buffer and the transfer circuit. The data is sequentially transferred to the storage position of the image holding unit 54. In addition, the image display calculation unit 52 searches the image number holding unit 57 for the same image number as the image number added to the determination data from the image processing calculation unit 42, and the same image number in the display image holding unit 54 by this search. The image data storage position is detected, and the detected image data being stored is output to the image display output unit 53.

画像表示部５における画像データの管理について、図５を参照して説明する。画像番号保持部５７は、管理レジスタ５８を備える。この管理レジスタ５８は、基本的には、前記管理レジスタ５５と同じ機能を持ち、画像データを画像番号と同じ番号の管理番号を備えて管理する。従って、画像番号保持部５７において、画像処理演算部４２からの判定データの画像番号と、画像番号保持部５７の画像番号とを比較して、一致する画像番号を管理番号から検索することができ、前記実施形態と同様に、この検索された管理番号により表示画像保持部５４から表示画像の画像データを随時出力することができる。 Image data management in the image display unit 5 will be described with reference to FIG. The image number holding unit 57 includes a management register 58. The management register 58 basically has the same function as the management register 55, and manages image data with a management number having the same number as the image number. Therefore, the image number holding unit 57 can compare the image number of the determination data from the image processing calculation unit 42 with the image number of the image number holding unit 57 and search for the matching image number from the management number. Similarly to the above-described embodiment, the image data of the display image can be output from the display image holding unit 54 at any time by the searched management number.

ここで、本実施形態の画像処理装置１の動作手順について、図６のフローチャートを参照して説明する。図６において、上述の図３のＳ９〜Ｓ１１、及びＳ１３、Ｓ１４がＳ９Ａ〜Ｓ１１Ａ、及び、及びＳ１３Ａ、Ｓ１４Ａに変った点を除いては同等である。画像番号保持部５７は、画像分岐部３１より転送されてきた画像データより画像番号を取得し（Ｓ９Ａ）、画像データから画像番号を切り離して画像番号を管理レジスタ５８に保持し（Ｓ１０Ａ）、管理レジスタ５８は、画像データの表示画像を保存する表示画像保持部５４の画像保存アドレスを算出し（Ｓ１１Ａ）、この表示画像を表示画像保持部５４に保存する（Ｓ１２）。また、画像番号保持部５７は、画像処理演算部４２からの判定データを画像表示演算部５２から受けると、その判定データの画像番号を管理レジスタ５８の管理番号データから検索し（Ｓ１３Ａ）、検出された管理番号データから表示画像保持部５４の画像格納アドレスを算出し（Ｓ１４Ａ）、表示画像保持部５４に記憶されている表示画像の画像データと判定データとを整合し、これらをオーバーラップして画像表示出力部５３に表示する（Ｓ１５）。 Here, the operation procedure of the image processing apparatus 1 of the present embodiment will be described with reference to the flowchart of FIG. 6 is the same except that S9 to S11, S13, and S14 in FIG. 3 are changed to S9A to S11A, and S13A and S14A. The image number holding unit 57 acquires the image number from the image data transferred from the image branching unit 31 (S9A), separates the image number from the image data, and holds the image number in the management register 58 (S10A). The register 58 calculates the image storage address of the display image holding unit 54 that stores the display image of the image data (S11A), and stores this display image in the display image holding unit 54 (S12). When the image number holding unit 57 receives the determination data from the image processing calculation unit 42 from the image display calculation unit 52, the image number holding unit 57 searches the management number data in the management register 58 for the image number of the determination data (S13A) and detects it. The image storage address of the display image holding unit 54 is calculated from the management number data thus obtained (S14A), the image data of the display image stored in the display image holding unit 54 is matched with the determination data, and they are overlapped. Is displayed on the image display output unit 53 (S15).

本実施形態によれば、画像番号保持部５７において画像番号と画像データの格納位置のみを記憶して画像検索するので、画像番号保持部５７のデータ管理構造が簡単になり、検索を容易に行える。このため、画像表示演算部５２で画像検索を行う場合に比べ、画像表示演算部５２と独立して検索動作を行えるので、高速検索が可能となる。また、このデータ管理構造の単純化によりハード化が容易になり、これによりさらに検索を高速化できる。 According to the present embodiment, since the image number holding unit 57 stores only the image number and the storage position of the image data and searches for the image, the data management structure of the image number holding unit 57 is simplified and the search can be easily performed. . For this reason, compared with the case where the image search is performed by the image display calculation unit 52, the search operation can be performed independently of the image display calculation unit 52, so that high-speed search is possible. In addition, the simplification of the data management structure facilitates hardware implementation, thereby further speeding up the search.

次に、本発明の第３の実施形態に係る画像処理装置１について、図７を参照して説明する。この画像処理装置１は、前記第２の実施形態と基本的に同じ構成を成し、予め指定された画像の水平方向のライン数の範囲を保持し、画像分岐部３１から転送されたライン数をカウントする転送ライン計数部３５をさらに備える。この転送ライン計数部３５は、指定された範囲のライン数を画像処理部４に順次転送し、指定された範囲のライン数に達したとき、画像データの全体画面が転送されなくても画像処理部４で画像処理を実行するものである。 Next, an image processing apparatus 1 according to a third embodiment of the present invention will be described with reference to FIG. The image processing apparatus 1 has basically the same configuration as that of the second embodiment, maintains a predetermined range of the number of lines in the horizontal direction of the image, and the number of lines transferred from the image branching unit 31. Is further provided with a transfer line counter 35 for counting the number of lines. The transfer line counting unit 35 sequentially transfers the number of lines in the specified range to the image processing unit 4, and when the number of lines in the specified range is reached, the image processing is performed even if the entire screen of the image data is not transferred. The unit 4 executes image processing.

本実施形態の画像処理装置１は、撮像処理部３の画像分岐部３１から転送される画像データの水平方向のライン数を数えて画像処理部４に転送する転送ライン計数部３５を備える。この転送ライン計数部３５は、ＦＰＧＡで構成され、画像処理演算部４２から予め指定されたライン数の範囲のライン番号を保持し、撮像された画像データのライン数をカウントして指定された範囲のライン数の画像データのみを画像処理部４に転送し演算用記憶部４１で記憶する。そして、指定された範囲のライン数の画像データを転送し終わると、画像処理演算部４２は、全画像が転送されなくても転送された指定のライン数の画像データの画像処理を実行する。 The image processing apparatus 1 according to the present embodiment includes a transfer line counting unit 35 that counts the number of horizontal lines of image data transferred from the image branching unit 31 of the imaging processing unit 3 and transfers the counted number of lines to the image processing unit 4. The transfer line counting unit 35 is configured by an FPGA, holds a line number in the range of the number of lines specified in advance by the image processing calculation unit 42, and counts the number of lines of the captured image data to specify the specified range. Only the image data of the number of lines is transferred to the image processing unit 4 and stored in the calculation storage unit 41. When the image data of the specified number of lines has been transferred, the image processing calculation unit 42 executes image processing of the transferred image data of the specified number of lines even if all the images are not transferred.

転送ライン計数部３５は、画像分岐部３１から転送される画像番号付きの画像データを図８に示すように、水平方向の走査ラインを１ライン目から順次カウントする。そして、指定されたライン数の範囲（ここでは、画像処理領域のＬ３からＬ７の範囲とする）における最初のラインＬ３が入力されると画像処理部４に転送を始め、画像処理領域の最後のラインＬ７までの転送が完了すると画像データの転送を止める。そして、この画像処理領域範囲の計５ラインのみが転送され、演算用記憶部４１に記憶されると、画像処理演算部４２は、全体画像の全ライン（１画面分）が転送されなくても演算用記憶部４１に記憶された指定された画像処理領域の画像の画像処理を行う。これにより、画像処理演算部４２は、通常、画像分岐部３１から転送される画像データの１画面分が演算用記憶部４１に記憶されてから、全体画像の画像処理を始めるのに対して、本実施形態では、必要な画像処理領域だけの部分画像の処理で済むので画像処理の領域が減り、画像処理をさらに高速化することができる。 The transfer line counting unit 35 sequentially counts the horizontal scanning lines from the first line as shown in FIG. 8 for the image data with the image number transferred from the image branching unit 31. When the first line L3 in the range of the designated number of lines (here, the range of L3 to L7 of the image processing area) is input, transfer to the image processing unit 4 is started, and the last line of the image processing area is started. When the transfer to the line L7 is completed, the transfer of the image data is stopped. Then, when only a total of 5 lines in the image processing area range are transferred and stored in the calculation storage unit 41, the image processing calculation unit 42 does not have to transfer all the lines (one screen) of the entire image. The image processing of the image of the designated image processing area memorize | stored in the memory | storage part 41 for a calculation is performed. Thereby, the image processing calculation unit 42 normally starts image processing of the entire image after one screen of image data transferred from the image branching unit 31 is stored in the calculation storage unit 41. In the present embodiment, since only partial image processing is required for the necessary image processing area, the image processing area is reduced, and the image processing can be further speeded up.

本実施形態によれば、画像処理部４は、画像処埋に必要な画像データのライン数の画像転送を受けると、画像データの全体画像が転送されなくても画像処理を実行するので、画像処理の高速化ができ、外部機器に対して検査画像の高速応答が可能である。これにより、検査対象の画像が高解像の撮像画像による高容量画像であっても検査に必要な部分画像のみを抽出することにより、検査画像容量を少なくできるので、画像処理部４における画像処理の演算量を低減でき、データバスのスループットを大きくすることなく、高速の画像処理が可能となる。また、画像表示出力部５３には、判定データに付加された画像番号により検索される全体画像と判定データが表示されるので、部分画像を画像処理するにもかかわらず、検査対象の全体画像表示が可能となり、全体画像における画像検査の状態を視覚的に分かり易くでき、視認性を向上することができる。 According to the present embodiment, when the image processing unit 4 receives image transfer of the number of lines of image data necessary for image processing, the image processing unit 4 executes image processing even if the entire image data is not transferred. The processing speed can be increased, and a high-speed response of the inspection image to the external device is possible. As a result, even if the image to be inspected is a high-capacity image obtained by a high-resolution captured image, the inspection image capacity can be reduced by extracting only the partial image necessary for the inspection. Can be reduced, and high-speed image processing is possible without increasing the throughput of the data bus. Further, since the entire image searched by the image number added to the determination data and the determination data are displayed on the image display output unit 53, the entire image display of the inspection object is displayed regardless of the image processing of the partial image. This makes it possible to visually understand the state of the image inspection in the entire image and improve the visibility.

次に、本発明の第４の実施形態に係る画像処理装置１について、図９参照して説明する。この画像処理装置１は、前記第３の実施形態と基本的には同じ構成を成し、画像番号保持部５７は、画像分岐部３１からの画像データを表示用記憶部５１の表示画像保持部５４の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路５９を備える。 Next, an image processing apparatus 1 according to a fourth embodiment of the present invention will be described with reference to FIG. The image processing apparatus 1 basically has the same configuration as that of the third embodiment, and the image number holding unit 57 receives the image data from the image branching unit 31 as a display image holding unit of the display storage unit 51. When stored in the storage area 54, a lock information storage circuit 59 for storing lock information indicating that this storage area has been stored is provided.

画像番号保持部５７は、画像分岐部３１からの画像データを表示画像保持部５４の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するＦＰＧＡで形成されるロック情報記憶回路５９を備える。また、画像番号保持部５７は、ロック情報記憶回路５９に記憶されたロック情報に基づき、画像分岐部３１から転送される画像データを表示画像保持部５４のロック状態でない記憶領域に格納する。 When the image number holding unit 57 stores the image data from the image branching unit 31 in the storage area of the display image holding unit 54, the image number holding unit 57 is a lock formed by an FPGA that stores lock information indicating that the storage area has been stored. An information storage circuit 59 is provided. The image number holding unit 57 stores the image data transferred from the image branching unit 31 in the storage area of the display image holding unit 54 that is not locked based on the lock information stored in the lock information storage circuit 59.

表示画像のロック機構を図１０（ａ）、（ｂ）を参照して説明する。図１０（ａ）は、管理レジスタ５８の構成を示し、管理レジスタ５８は、ロック状態を判別するロックレジスタのロックフラグ５８ｘと管理する画像データの画像番号５８ｙで構成される。このロックフラグ５８ｘは、ロック状態を１で表し、非ロック状態を０で表し、デジタル信号の１ｂｉｔで表示される。画像番号５８ｙは、画像データに付加される画像番号を示す。また、図１０（ｂ）に示すように、管理レジスタ５８は、格納された各画像データ毎のロックフラグ５８ｘと画像番号５８ｙを持つ画像番号の番号別管理レジスタ５８ａ、５８ｂ・・・５８ｎを有する。図１０（ｂ）において、画像表示部５に画像番号０の画像データ（画像０）が入力されると、管理レジスタ５８は、先ず、最初の管理番号０の番号別管理レジスタ５８ａのロックレジスタの状態をチェックし、ここでは、ロックフラグが１であるので、ロック状態と判断し、次の番号の番号別管理レジスタ５８ｂのロック状態をチェックする。この番号別管理レジスタ５８ｂでは、ロックフラグが０であるので、非ロック状態と判断されるので、画像データ（画像０）は、番号別管理レジスタ５８ｂで管理され、この画像データの表示画像は、表示画像保持部５４の管理番号１に対応する画像記憶領域５６（画像１）に記憶される。 A display image locking mechanism will be described with reference to FIGS. FIG. 10A shows the configuration of the management register 58. The management register 58 includes a lock flag 58x of a lock register for determining a lock state and an image number 58y of image data to be managed. The lock flag 58x represents a locked state by 1, represents an unlocked state by 0, and is represented by 1 bit of a digital signal. The image number 58y indicates an image number added to the image data. Also, as shown in FIG. 10B, the management register 58 has image number-specific management registers 58a, 58b,... 58n each having a lock flag 58x and an image number 58y for each stored image data. . In FIG. 10B, when image data of image number 0 (image 0) is input to the image display unit 5, the management register 58 first stores the lock register of the number-specific management register 58a of the first management number 0. The state is checked. Here, since the lock flag is 1, it is determined that the state is locked, and the lock state of the number-specific management register 58b of the next number is checked. In this number-specific management register 58b, since the lock flag is 0, it is determined to be in an unlocked state. Therefore, the image data (image 0) is managed by the number-specific management register 58b, and the display image of this image data is The image is stored in the image storage area 56 (image 1) corresponding to the management number 1 of the display image holding unit 54.

本実施形態によれば、画像番号保持部５７は、ロック情報を記憶するロック情報記憶回路５９により、表示画像保持部５４の画像記憶領域５６のロック状態を知ることができ、画像データを記憶済みの記憶領域に重ねて格納することを阻止できるので、表示画像保持部５４における表示画像への上書きを防止することができる。 According to the present embodiment, the image number holding unit 57 can know the lock state of the image storage area 56 of the display image holding unit 54 by the lock information storage circuit 59 that stores the lock information, and the image data has been stored. Therefore, it is possible to prevent the display image holding unit 54 from overwriting the display image.

次に、本発明の第５の実施形態に係る画像処理装置１について、図１１を参照して説明する。この画像処理装置１は、前記第４の実施形態と基本的には同じ構成を成し、画像表示演算部５２が、表示画像保持部５４の画像記憶領域５６に記憶された画像データの画像表示を実行した後に、この画像記憶領域５６が上書き可能となるようにロック情報記憶回路５９のロック情報を修正する。 Next, an image processing apparatus 1 according to a fifth embodiment of the present invention will be described with reference to FIG. The image processing apparatus 1 has basically the same configuration as that of the fourth embodiment, and the image display calculation unit 52 displays an image of image data stored in the image storage area 56 of the display image holding unit 54. Is executed, the lock information in the lock information storage circuit 59 is corrected so that the image storage area 56 can be overwritten.

画像表示演算部５２は、画像処理演算部４２からの判定データの画像番号により表示画像保持部５４に記憶されている画像データを検索して、この表示画像の画像データに判定データをオーバーレイして次段の画像表示出力部５３に出力した後、ロック情報を記憶するロック情報記憶回路５９のロック情報を修正する。即ち、管理レジスタ５８のロックレジスタのロックフラグを０にして、ロックを外す。このロックが外れることにより、管理レジスタ５８の管理番号に対応して記憶されている表示画像保持部５４の画像記憶領域５６は上書き可能となる。 The image display calculation unit 52 searches the image data stored in the display image holding unit 54 by the image number of the determination data from the image processing calculation unit 42, and overlays the determination data on the image data of the display image. After output to the next-stage image display output unit 53, the lock information of the lock information storage circuit 59 that stores the lock information is corrected. That is, the lock flag of the lock register of the management register 58 is set to 0 to release the lock. When the lock is released, the image storage area 56 of the display image holding unit 54 stored corresponding to the management number of the management register 58 can be overwritten.

本実施形態によれば、画像表示演算部５２が画像表示を実行した後、ロック情報記憶回路５９のロック情報を修正することにより、表示画像保持部５４の画像記憶領域５６に記憶されている表示済みの画像データに上書きすることが可能となる。これにより、新しい画像データを古い表示済みの画像に上書きできるので、メモリを効率よく使用することができ、新しい画像データを確実に記憶し出力させることができる。 According to this embodiment, after the image display calculation unit 52 executes image display, the lock information stored in the image storage area 56 of the display image holding unit 54 is corrected by correcting the lock information in the lock information storage circuit 59. It is possible to overwrite the completed image data. Thus, new image data can be overwritten on an old displayed image, so that the memory can be used efficiently, and new image data can be reliably stored and output.

次に、本発明の第６の実施形態に係る画像処理装置１について、図１２を参照して説明する。この画像処理装置１では、前記第５の実施形態と基本的には同じ構成を成し、画像表示部５は画像番号保持部５７から画像分岐部３１へ撮像制御信号を伝達する撮像制御回路６０を、入力信号受付部３３は撮像処理部３が画像データの入力信号を受け付けなくするための入力信号キャンセル回路３６を、それぞれさらに備え、画像記憶領域５６の全領域がロック状態になったとき、撮像処理部３が画像データの入力信号を受付けず、撮像動作を実行しないようにした。 Next, an image processing apparatus 1 according to a sixth embodiment of the present invention will be described with reference to FIG. The image processing apparatus 1 basically has the same configuration as that of the fifth embodiment, and the image display unit 5 transmits an imaging control signal from the image number holding unit 57 to the image branching unit 31. The input signal receiving unit 33 further includes an input signal cancel circuit 36 for preventing the imaging processing unit 3 from receiving an input signal of image data, and when the entire area of the image storage area 56 is locked, The imaging processing unit 3 does not accept an input signal of image data and does not execute an imaging operation.

上記の構成において、ロック情報記憶回路５９が、画像記憶領域５６の全領域がロック状態になったことを示すと、即ち、画像番号保持部５７の管理レジスタ５８のロックフラグ５８ｘ（図１０参照）が全て‘１’となり、その全域ロックの情報が画像番号保持部５７から撮像制御回路６０に伝達される。この撮像制御回路６０は、画像分岐部３１に撮像制御信号を送り、画像分岐部３１は、この撮像制御信号に基づき入力信号キャンセル信号を入力信号キャンセル回路３６に送る。そして、この入力信号キャンセル回路３６は、入力信号キャンセル信号により入力信号受付部３３が画像データの入力信号を無視して、新しい画像の受付を禁止し、これにより撮像処理部３が撮像動作を実行しないようにする。 In the above configuration, when the lock information storage circuit 59 indicates that the entire area of the image storage area 56 is locked, that is, the lock flag 58x of the management register 58 of the image number holding unit 57 (see FIG. 10). Are all set to “1”, and information on the entire area lock is transmitted from the image number holding unit 57 to the imaging control circuit 60. The imaging control circuit 60 sends an imaging control signal to the image branching unit 31, and the image branching unit 31 sends an input signal cancellation signal to the input signal cancellation circuit 36 based on the imaging control signal. In the input signal cancel circuit 36, the input signal receiving unit 33 ignores the input signal of the image data and prohibits the reception of a new image by the input signal canceling signal, whereby the imaging processing unit 3 executes the imaging operation. Do not.

本実施形態によれば、画像番号保持部５７の管理レジスタ５８において、ロック情報記憶回路５９のロック情報により、撮像制御回路６０が画像分岐部３１に撮像制御信号を送り、この撮像制御信号により入力信号キャンセル回路３６において、入力信号受付け部３３における新しい撮像信号の受付を停止することができる。これにより、画像記憶領域５６の記憶画像に新しい画像が上書きされることを防止することができ、記憶されている画像の表示を確実に行うことができる。また、表示用記憶部５１の画像記憶領域５６がすべてロック状態となって、新しい画像を記憶できない状態において、画像処理部４の画像処理のみが先行することを防ぐことができるので、画像処理の判定データと表示画像の画像データとの整合性を常に保つことができる。 According to the present embodiment, in the management register 58 of the image number holding unit 57, the imaging control circuit 60 sends an imaging control signal to the image branching unit 31 according to the lock information of the lock information storage circuit 59, and is input by this imaging control signal. In the signal cancel circuit 36, reception of a new imaging signal in the input signal receiving unit 33 can be stopped. As a result, it is possible to prevent a new image from being overwritten on the stored image in the image storage area 56, and it is possible to reliably display the stored image. In addition, it is possible to prevent only the image processing of the image processing unit 4 from leading in a state where all the image storage areas 56 of the display storage unit 51 are locked and a new image cannot be stored. Consistency between the determination data and the image data of the display image can always be maintained.

上述した各種実施形態によれば、画像分岐部３１が、カメラ等の撮像装置２からの検査対象の画像データの各画像に予め画像番号を付与して、画像処理を行う画像処理部４と全体画像を表示する画像表示部５に分岐転送し、表示用記憶部５１が画像番号付きの画像データを記憶し、画像処理演算部４２が、画像処理の判定データに同じ画像番号を付加して画像表示演算部５２に転送することにより、画像表示演算部５２において、この判定データの画像番号を基に、表示の画像データを表示用記憶部５１から簡単に迅速に検索でき、この画像データと判定データを確実に整合して表示することができる。この整合性により、画像処理部４は、画像表示部５に記憶される画像データと同じだけの画像データを記憶する必要はなく、少なくとも画像番号の付加された画像処理の判定データのみを記憶すればよい。従って、画像処理部４における必要な画像メモリを少なくでき、カメラの高画質化に伴い画像容量が増加した場合において、画像メモリの増加を抑制して記憶メモリを低減することができる。 According to the various embodiments described above, the image branching unit 31 assigns an image number to each image of image data to be inspected from the imaging device 2 such as a camera in advance, and performs image processing. Branch and transfer to the image display unit 5 for displaying the image, the display storage unit 51 stores the image data with the image number, and the image processing calculation unit 42 adds the same image number to the image processing determination data and By transferring to the display calculation unit 52, the image display calculation unit 52 can easily and quickly search the display image data from the display storage unit 51 based on the image number of the determination data. Data can be displayed consistently. Due to this consistency, the image processing unit 4 does not need to store the same amount of image data as the image data stored in the image display unit 5, and stores at least only the image processing determination data to which the image number is added. That's fine. Therefore, the necessary image memory in the image processing unit 4 can be reduced, and when the image capacity increases with the increase in image quality of the camera, the increase in the image memory can be suppressed and the storage memory can be reduced.

また、画像処理部と画像表示部を並列処理できるので、表示による画像処理速度の低下を防ぎ、画像処理速度を最速に保つことができる。また、画像表示部には、全体画像に表示画像に検査処理の判定データをオーバーレイして表示できるため、検査処理が部分画像であっても、検査対象の視認性を高めることができる。 In addition, since the image processing unit and the image display unit can be processed in parallel, a decrease in the image processing speed due to display can be prevented, and the image processing speed can be maintained at the highest speed. Further, since the determination data of the inspection process can be overlaid on the display image and displayed on the entire image, the image display unit can improve the visibility of the inspection target even if the inspection process is a partial image.

なお、本発明は、上記実施形態等に限られるものでなく、さらに適宜に変更することができる。例えば、撮像装置は、外付けカメラでなく、内蔵カメラで構成することも可能であり、磁気共鳴、サーモグラフィなどその他の画像を出力する装置を用いてもよい。また、外部機器と外部信号発生装置は一体化してもよい。 In addition, this invention is not restricted to the said embodiment etc., Furthermore, it can change suitably. For example, the imaging apparatus can be configured with an internal camera instead of an external camera, and an apparatus that outputs other images such as magnetic resonance and thermography may be used. The external device and the external signal generator may be integrated.

本発明の第１の実施形態に係る画像処理装置の構成図。1 is a configuration diagram of an image processing apparatus according to a first embodiment of the present invention. 上記画像処理装置における表示画像と画像番号の分離構成を説明する図。The figure explaining the separation structure of the display image and image number in the said image processing apparatus. 上記画像処理装置の動作手順を示すフローチャート。6 is a flowchart showing an operation procedure of the image processing apparatus. 本発明の第２の実施形態に係る画像処理装置の構成図。The block diagram of the image processing apparatus which concerns on the 2nd Embodiment of this invention. 上記画像処理装置における表示画像と画像番号の分離構成を説明する図。The figure explaining the separation structure of the display image and image number in the said image processing apparatus. 上記画像処理装置の動作手順を示すフローチャート。6 is a flowchart showing an operation procedure of the image processing apparatus. 本発明の第３の実施形態に係る画像処理装置の構成図。The block diagram of the image processing apparatus which concerns on the 3rd Embodiment of this invention. 上記画像処理装置における部分画像の画像処理領域を説明する図。The figure explaining the image processing area | region of the partial image in the said image processing apparatus. 本発明の第４の実施形態に係る画像処理装置の構成図。The block diagram of the image processing apparatus which concerns on the 4th Embodiment of this invention. （ａ）は上記画像処理装置の管理レジスタの構成を示す図、（ｂ）は管理レジスタによる表示画像のロック機構を説明する図。(A) is a figure which shows the structure of the management register of the said image processing apparatus, (b) is a figure explaining the locking mechanism of the display image by a management register. 本発明の第５の実施形態に係る画像処理装置のロック解除機構を説明する図。The figure explaining the lock release mechanism of the image processing apparatus which concerns on the 5th Embodiment of this invention. 本発明の第６の実施形態に係る画像処理装置の構成図。The block diagram of the image processing apparatus which concerns on the 6th Embodiment of this invention.

Explanation of symbols

１画像処理装置
２撮像装置
３撮像処理部
４画像処理部
５画像表示部
６外部機器
７外部表示機器
８外部信号発生装置
３１画像分岐部
３２画像番号発生部
３３入力信号受付部
３５転送ライン計数部
３６入力信号キャンセル回路
４１演算用記憶部
４２画像処理演算部
５１表示用記憶部
５２画像表示演算部
５７画像番号保持部
５９ロック情報記憶回路
６０撮像制御回路 DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Imaging device 3 Imaging processing part 4 Image processing part 5 Image display part 6 External apparatus 7 External display apparatus 8 External signal generator 31 Image branching part 32 Image number generation part 33 Input signal reception part 35 Transfer line counting part 36 Input Signal Cancel Circuit 41 Operation Storage Unit 42 Image Processing Operation Unit 51 Display Storage Unit 52 Image Display Operation Unit 57 Image Number Holding Unit 59 Lock Information Storage Circuit 60 Imaging Control Circuit

Claims

An imaging device that captures an object, an imaging processing unit that sends image data captured by the imaging device to a subsequent image processing unit and an image display unit, and image processing that performs image processing on image data from the imaging processing unit An image processing apparatus comprising: an image display unit configured to display an image based on the image data;
The imaging processing unit temporarily stores image data output from the imaging device, branches the image data, and sequentially transfers the image data to the image processing unit and the image display unit, and an instruction from the image branching unit And an image number generating unit that generates an image number and transfers the image number to the image branching unit,
The image processing unit executes an image processing for image inspection using the calculation storage unit storing the image data transferred from the image branching unit, and the image data stored in the calculation storage unit, An image processing calculation unit that outputs the determination data of the image processing,
The image display unit performs display processing on the display storage unit that stores the image data and the image number transferred from the image branching unit, the image data stored in the display storage unit, and displays the display processing result as an external An image display calculation unit for outputting to a display device,
The image branching unit adds an image number to the image of the image data to be branched and branches and transfers it to the image processing unit and the image display unit,
The image processing calculation unit adds the image number to the image processing determination data and transfers it to the image display calculation unit,
The display storage unit stores image data to which an image number branched and transferred from the image branching unit is added,
The image display calculation unit searches and compares the image number added to the determination data transferred from the image processing calculation unit with the image number in the image data stored in the display storage unit, and the same image number is detected. In this case, the image processing apparatus displays the image data of the same number stored in the display storage unit as an image.

The image display unit further includes an image number holding unit that stores an image number of the branch-transferred image data and a storage position of the image,
The image number holding unit holds an image number of the image data, determines a storage location for storing a display image of the image data, transfers the display image to the display storage unit, and stores it.
The image display calculation unit searches the image number holding unit for the image number added to the determination data from the image processing calculation unit, and corresponds to the image number of the determination data stored in the display storage unit The image processing apparatus according to claim 1, wherein a storage position of a display image to be acquired is acquired.

The imaging processing unit holds the number of lines in the horizontal direction of the image specified in advance from the image processing calculation unit, counts the number of lines of image data from the image branching unit, and images of the specified number of lines A transfer line counting unit for transferring data to the image processing unit;
3. The image processing operation unit, when receiving image data transfer necessary for image processing of the designated number of lines from the transfer line counting unit, executes image processing. An image processing apparatus according to 1.

The image number holding unit includes a lock information storage circuit that stores lock information indicating that the storage area has been stored when the image data from the image branching unit is stored in the storage area of the display storage unit. The image data transferred from the image branching unit based on the lock information stored in the lock information storage circuit is stored in a storage area of the display storage unit that is not locked. Image processing apparatus.

The image display calculation unit corrects the lock information of the lock information storage circuit so that the storage area can be overwritten after executing the image display of the image data stored in the storage area of the display storage unit. The image processing apparatus according to claim 4.

The imaging processing unit further includes an input signal cancellation circuit for not accepting an input signal of image data from the imaging device,
The image display unit further includes an imaging control circuit that transmits an imaging control signal from the image number holding unit to the image branching unit,
When the lock information storage circuit indicates that all storage areas of the display storage unit are locked, the imaging control circuit sends an imaging control signal to the image branching unit, and the image branching unit An input signal cancellation signal is sent to the input signal cancellation circuit based on an imaging control signal, and the imaging processing unit ignores the input signal by the input signal cancellation circuit and does not execute capturing of captured image data. The image processing apparatus according to claim 4 or 5.