JP6855526B2 - Control method, control system, program, storage medium - Google Patents

Control method, control system, program, storage medium Download PDF

Info

Publication number
JP6855526B2
JP6855526B2 JP2019036676A JP2019036676A JP6855526B2 JP 6855526 B2 JP6855526 B2 JP 6855526B2 JP 2019036676 A JP2019036676 A JP 2019036676A JP 2019036676 A JP2019036676 A JP 2019036676A JP 6855526 B2 JP6855526 B2 JP 6855526B2
Authority
JP
Japan
Prior art keywords
sub
shooting
image processing
image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019036676A
Other languages
Japanese (ja)
Other versions
JP2019106209A (en
Inventor
元気 長
元気 長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019036676A priority Critical patent/JP6855526B2/en
Publication of JP2019106209A publication Critical patent/JP2019106209A/en
Application granted granted Critical
Publication of JP6855526B2 publication Critical patent/JP6855526B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、カメラの撮影パラメータを変更して検討用の画像を撮影し、必要に応じて撮影パラメータを調整する画像処理方法および装置システムに関する。 The present invention relates to an image processing method and an apparatus system that changes the shooting parameters of a camera, shoots an image for study, and adjusts the shooting parameters as needed.

対象物の画像を撮影し、画像処理を行い、対象物の位置や位相の計測、有り無し検知、表面状態の良品検査などを行う画像処理方法は広く知られている。 There are widely known image processing methods that take an image of an object, perform image processing, measure the position and phase of the object, detect the presence or absence, and inspect the surface condition of a non-defective product.

このような画像処理方法ではまず、適切な画像処理結果を得るために、好適な輝度分布や色濃度分布、輝度勾配などを持つ画像データを取得する必要がある。そのためには、撮影時の露光時間や信号の増幅度(ゲイン)、レンズ絞りなど、様々な撮影パラメータの調整が重要である。しかしながら経時的な照明の劣化、室内や室外環境の変化、一時的な遮光(例えば人や装置動作により生じる影)など、種々の外部環境の変動要因により、好適な画像データが撮影できなくなることがある。また、工業生産を行う場合など、一定の規格の形状の対象物を検査する場合おいても、個体ごとの表面品質や形状、材質の変動などがあり、この点も好適な画像データが撮影できなくなる原因になりうる。 In such an image processing method, first, in order to obtain an appropriate image processing result, it is necessary to acquire image data having a suitable luminance distribution, color density distribution, luminance gradient, and the like. For that purpose, it is important to adjust various shooting parameters such as the exposure time at the time of shooting, the amplification degree (gain) of the signal, and the lens aperture. However, suitable image data may not be captured due to various factors that change the external environment, such as deterioration of lighting over time, changes in the indoor and outdoor environment, and temporary shading (for example, shadows caused by the operation of people or devices). is there. In addition, even when inspecting an object with a certain standard shape, such as when performing industrial production, there are variations in surface quality, shape, and material for each individual, and in this respect as well, suitable image data can be taken. It can cause it to disappear.

しかし、画像処理の結果に不具合があった場合、装置の稼働を停止して、撮影パラメータの調整の機会を別途設けると、装置の稼働率が落ちるという問題が生じる。 However, if there is a problem in the result of image processing, if the operation of the apparatus is stopped and an opportunity for adjusting the shooting parameters is provided separately, there arises a problem that the operating rate of the apparatus drops.

上記課題に対し、特許文献1では撮影された画像データにおける予め設定した領域の輝度値を算出し、その輝度値が輝度閾値の範囲にあるかどうか判定する技術が記載されている。さらに、算出された輝度値が輝度閾値の範囲外であれば撮影パラメータを変更し、再度画像データを撮影することを繰り返し、画像データの設定された領域内の輝度が予め設定してある輝度範囲に入るように調整する。 To solve the above problem, Patent Document 1 describes a technique of calculating a brightness value of a preset region in captured image data and determining whether or not the brightness value is within the range of the brightness threshold value. Further, if the calculated brightness value is outside the range of the brightness threshold value, the shooting parameters are changed, the image data is repeatedly shot, and the brightness within the preset area of the image data is set in the preset brightness range. Adjust to enter.

このような調整工程を経て、その後に得られた画像データに対して調整後の輝度範囲を新たな基準にし、所定の画像処理を行う。これは装置の稼働中においても、画像データの所定の領域内の輝度値に基づいて撮影パラメータが好適であるかを判定し、直接に調整することで、画像処理に適切な画像データを撮影することを期待するものである。 After undergoing such an adjustment step, the image data obtained thereafter is subjected to predetermined image processing by using the adjusted luminance range as a new reference. This determines whether the shooting parameters are suitable based on the brightness value in a predetermined area of the image data even during the operation of the device, and directly adjusts the image data to shoot the image data suitable for the image processing. I expect that.

しかしながら特許文献1のような、直接的な撮影パラメータの調整方法では、所定の輝度値が得られるように撮影パラメータを調整し、画像処理を行う。そのため、画像処理の結果自体が適切でなくなる場合があった。 However, in the direct method of adjusting the imaging parameter as in Patent Document 1, the imaging parameter is adjusted so that a predetermined luminance value is obtained, and image processing is performed. Therefore, the result of the image processing itself may not be appropriate.

その原因が照明不良の場合、対象物に対して好適な輝度分布で画像データを撮影することができず、画像処理の結果が不適切となる場合がある。例えば対象物のもつ輝度勾配や輝度分布、色分布などの特徴情報が小さくなり、位置や位相の計測精度が低下したり、有り無し判定を誤ったりすることが生じえる。 If the cause is poor lighting, it may not be possible to capture image data with a brightness distribution suitable for the object, and the result of image processing may be inappropriate. For example, the feature information such as the luminance gradient, the luminance distribution, and the color distribution of the object becomes small, the measurement accuracy of the position and the phase may be lowered, and the presence / absence determination may be erroneous.

他方で直接的に調整が行われることに起因して、実際の生産現場では使用者が誤って調整することで対象物の計測精度が低下し、良品を不良と判定する過検出や、不良品を良品と判定する誤検出の発生などを生じることがある。 On the other hand, due to the direct adjustment, the measurement accuracy of the object deteriorates due to the user's erroneous adjustment at the actual production site, and over-detection that determines a non-defective product as defective or a defective product May occur, such as false detection, which determines that the product is non-defective.

特開2009−139239JP-A-2009-139239

本発明は上記事情に鑑みてなされたものであり、一時的な撮影対象や外的要因の変動に影響を受けることに起因する装置の稼働に対する影響を抑えた画像処理方法および装置システムを提供する。 The present invention has been made in view of the above circumstances, and provides an image processing method and an apparatus system that suppresses an influence on the operation of an apparatus caused by being affected by a temporary change in a photographing target or an external factor. ..

本発明の制御方法は、撮影装置を用いて搬送される対象物の撮影を制御する制御方法であって、予め定められた本撮影パラメータを用いて前記撮影装置が搬送される対象物を撮影して本撮影画像を得て、前記本撮影画像に対してパターンマッチング処理を施す工程と、前記本撮影パラメータとは異なる副撮影パラメータを用いて、前記撮影装置が搬送される対象物を撮影して副撮影画像を得て、前記副撮影画像に対してパターンマッチング処理を施す工程と、前記本撮影画像および前記副撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいてマッチングスコアを計算する工程と、前記本撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいて計算された第1のマッチングスコアと前記副撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいて計算された第2のマッチングスコアとを比較した結果に基づき、前記副撮影パラメータを新しい本撮影パラメータとして更新するか否かを決定する工程とを有する。 The control method of the present invention is a control method for controlling the photographing of an object conveyed by using an imaging device, and photographs the object to be conveyed by the photographing device using predetermined main imaging parameters. to obtain a captured image Te, the use comprising the steps of against the captured image subjected to the pattern matching process, the secondary imaging parameters different from the main photographing parameters, capturing an object the imaging device is transported the sub-shot image obtained Te, based on the the step of performing pattern matching process against the sub-captured image, the captured image and the information pattern matching processing on the sub-captured image is obtained from the image subjected to calculating a matching score Te, first matching score pattern matching process is calculated based on information obtained from the image subjected to pair with the captured image, and against the said sub-captured image based on the results the pattern matching processing has been compared, a second matching score calculated on the basis of the information obtained from the image subjected to determine whether to update the sub-imaging parameters as the new main imaging parameters and a step, a.

本願発明によると撮影パラメータを適切に調整するとともに装置の稼働率の低下を抑制できる。 According to the present invention, it is possible to appropriately adjust the imaging parameters and suppress a decrease in the operating rate of the apparatus.

(a)は本発明の第1実施形態における画像処理方法を物流装置に適用した場合の撮影パラメータ調整処理の流れを示したシステム図である。(b)はその制御シーケンスである。(A) is a system diagram showing the flow of the imaging parameter adjustment processing when the image processing method according to the first embodiment of the present invention is applied to a distribution device. (B) is the control sequence. 本発明の画像処理方法を実施する画像処理装置の構成を示したブロック図である。It is a block diagram which showed the structure of the image processing apparatus which carries out the image processing method of this invention. 本発明の第1実施形態における撮影パラメータを調整するプログラムのフローチャート図である。It is a flowchart of the program which adjusts the photographing parameter in 1st Embodiment of this invention. 本発明の第1実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。It is a figure explaining the operation of the image processing apparatus at the time of adjusting a photographing parameter in 1st Embodiment of this invention. 本発明の第1実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。It is a figure explaining the result of the image processing and the update of the photographing parameter at the time of adjusting the photographing parameter in 1st Embodiment of this invention. 本発明の第2実施形態における画像処理方法を物流装置に適用した場合の撮影パラメータ調整処理の流れを示した制御シーケンスである。It is a control sequence which showed the flow of the imaging parameter adjustment processing when the image processing method in the 2nd Embodiment of this invention is applied to a physical distribution apparatus. 本発明の第2実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。It is a figure explaining the operation of the image processing apparatus at the time of adjusting the photographing parameter in the 2nd Embodiment of this invention. 本発明の第2実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。It is a figure explaining the result of the image processing and the update of the photographing parameter at the time of adjusting the photographing parameter in the 2nd Embodiment of this invention.

(第1実施形態)
本発明は通信可能な、制御装置と画像処理装置と撮影装置を用いて、撮影された画像を処理する画像処理方法である。以下、図1(a)および図1(b)を用いて本発明の第1実施形態に関して詳しく説明する。
(First Embodiment)
The present invention is an image processing method for processing an image taken by using a control device, an image processing device, and a photographing device capable of communicating. Hereinafter, the first embodiment of the present invention will be described in detail with reference to FIGS. 1 (a) and 1 (b).

以下では、まず本撮影パラメータを用いて本撮影および本画像処理を行い、処理結果を外部の機器に返信する点を説明する。続いて副撮影パラメータを用いて、本画像処理中に副撮影を行い、副画像処理の結果を抽出しながら撮影パラメータを検討したり調整したりする工程について順次説明する。 In the following, it will be described that the main shooting and the main image processing are first performed using the main shooting parameters, and the processing result is returned to an external device. Subsequently, a step of performing sub-imaging during the main image processing using the sub-imaging parameters and examining and adjusting the imaging parameters while extracting the results of the sub-image processing will be sequentially described.

撮影パラメータとしては撮影時の露光時間や信号の増幅度(ゲイン)、レンズ絞りなどが挙げられる。 Shooting parameters include exposure time at the time of shooting, signal amplification (gain), lens aperture, and the like.

なお説明のため、画像処理方法を適用する装置全体の構成や動作目的、画像処理の内容、制御する各種装置、処理結果や制御結果などを例に挙げる。 For the sake of explanation, examples include the configuration and operation purpose of the entire device to which the image processing method is applied, the content of image processing, various devices to be controlled, and the processing result and control result.

しかし、これら装置の構成や動作目的、画像処理の内容、処理に用いるパラメータ、制御する各種装置等は、装置全体の目的に応じて任意に構成してよい。 However, the configuration and operation purpose of these devices, the content of image processing, the parameters used for processing, various devices to be controlled, and the like may be arbitrarily configured according to the purpose of the entire device.

またユーザインターフェースを介して装置の利用者が任意にパラメータを設定できる処理アルゴリズム及びプログラムなどを用いた形態で、本実施形態にかかる装置システムを提供してもよい。 Further, the device system according to the present embodiment may be provided in the form of using a processing algorithm, a program, or the like in which the user of the device can arbitrarily set parameters via the user interface.

図1(a)は、本発明の画像処理方法を実行する装置システムを表しており、画像処理装置5を制御装置1や搬送装置2などと組み合わせて物流装置として構成したものである。 FIG. 1A shows an apparatus system for executing the image processing method of the present invention, in which the image processing apparatus 5 is configured as a distribution apparatus in combination with a control device 1 and a transfer device 2.

制御装置1は、搬送装置2やロボットアーム3、画像処理装置5と信号授受が可能となるように構成されており、これらの機器を制御してピックアンドプレイス等の所定の作業内容を実行させる。 The control device 1 is configured to be able to send and receive signals to and from the transfer device 2, the robot arm 3, and the image processing device 5, and controls these devices to execute predetermined work contents such as pick and place. ..

その作業内容や順序、タイミングなどは、制御装置1にプログラムとしてストックされていたり、制御アプリケーションが読みこむ設定ファイルに記述されていたりする。 The work content, order, timing, etc. are stocked as a program in the control device 1 or described in a setting file read by the control application.

この装置システム(物流装置)は対象物4を搬送したり、設けられているロボットアーム3にて対象物4を拾い上げたり、配置したりする。制御装置1は搬送装置2やロボットアーム3の作業状況と併せ、予め定義された任意のタイミングにおいて、画像処理装置5へ制御指令を送信することで、画像計測を指令したりする。すなわち制御装置1は装置システムを構成するそれぞれの機器の動作タイミングや指令等を全体として統括する。一方、指令内容に応じて、搬送装置2やロボットアーム3、画像処理装置5等は所定の処理を行って、その制御結果や処理結果を制御装置1に返信するように通信可能に構成されている。 This device system (logistics device) conveys the object 4, picks up the object 4 with the provided robot arm 3, and arranges the object 4. The control device 1 commands image measurement by transmitting a control command to the image processing device 5 at an arbitrary predetermined timing in addition to the work status of the transfer device 2 and the robot arm 3. That is, the control device 1 controls the operation timing, commands, and the like of each device constituting the device system as a whole. On the other hand, according to the content of the command, the transfer device 2, the robot arm 3, the image processing device 5, and the like perform predetermined processing, and the control result and the processing result are returned to the control device 1 so as to be communicable. There is.

また、画像処理装置5は撮影装置6や表示装置7などと連結されている。画像処理装置5は制御装置1の指令を受けつけたら、予め設定された撮影パラメータを用いて撮影装置6に撮影指令に関する信号を送信し、撮像装置6は対象物4の撮影をおこなう。 Further, the image processing device 5 is connected to a photographing device 6, a display device 7, and the like. When the image processing device 5 receives the command of the control device 1, it transmits a signal related to the shooting command to the shooting device 6 using preset shooting parameters, and the imaging device 6 takes a picture of the object 4.

撮影によって取得した画像データを画像処理装置5に入力し、画像処理を行い、画像処理が完了したら、その結果を制御装置1に返信したり、必要に応じて表示装置7に表示したりする。なお、制御装置1や入力装置8などの指示に応じて、画像処理装置5の設定の変更を随時受けつけたりすることができる構成としても良い。 The image data acquired by shooting is input to the image processing device 5, the image processing is performed, and when the image processing is completed, the result is returned to the control device 1 or displayed on the display device 7 as needed. It should be noted that the configuration may be such that changes in the settings of the image processing device 5 can be received at any time in response to instructions from the control device 1 and the input device 8.

上述の例では制御装置1と画像処理装置5とがそれぞれ構成されている例を説明したが、それらが一体となって一つのシステム制御装置が構成されるなど、本発明を実行するために使用者は適宜、所望の構成を採用してよい。 In the above example, an example in which the control device 1 and the image processing device 5 are respectively configured has been described, but they are used in order to carry out the present invention, such as forming one system control device by integrating them. The person may adopt a desired configuration as appropriate.

図1(b)は上述のような構成において、一連の制御シーケンスを例示したものである。 FIG. 1B illustrates a series of control sequences in the above configuration.

図1(b)は制御装置1の画像処理装置5への制御指令をスタートとする制御シーケンスである。 FIG. 1B is a control sequence starting from a control command to the image processing device 5 of the control device 1.

画像処理装置5への制御指令に始まり、画像処理装置5が画像処理を受けつけてから、その処理結果を返信したり、表示したり、撮影パラメータを更新したりするまでを描いている。 Starting with a control command to the image processing device 5, the image processing device 5 receives the image processing, and then returns, displays, and updates the shooting parameters of the processing result.

紙面向かって下方向の矢印は各種処理の実行、紙面向かって左方向(あるいは右方向)の矢印は装置間の通信制御を表しており、下方向に時間や工程が進捗しているものとして説明する。 The arrow pointing downwards on the paper indicates the execution of various processes, and the arrow pointing left (or right) toward the paper indicates communication control between devices, and it is explained that the time and process are progressing downward. To do.

また、ここでは通信に要する時間は他の各種処理に要する時間に対して十分小さいものとして図に表さないこととする。まず制御装置1はプログラムなどで指定されたタイミング11において、通信手段を用いて、画像処理装置5に対して画像処理の指令を行う。画像処理装置5はタイミング51において、その画像処理の指令を受けつけ、指令内容に対応した各種設定ファイルなどを読み込んだりする工程が行われる。 Further, here, the time required for communication is not shown in the figure as being sufficiently smaller than the time required for various other processes. First, the control device 1 issues an image processing command to the image processing device 5 by using a communication means at the timing 11 specified by a program or the like. At the timing 51, the image processing device 5 receives a command for image processing and reads various setting files and the like corresponding to the command content.

次にタイミング52において、あらかじめ定められた本撮影パラメータを伴って、撮影指令を撮影装置6に送信する。撮影指令をうけた撮影装置はタイミング61において撮影を開始する。その後、撮影が終了するタイミング62において、画像処理装置5は撮影装置6の内部記憶領域などに保持された画像データを入力(ダウンロード)する。 Next, at the timing 52, a shooting command is transmitted to the shooting device 6 with a predetermined main shooting parameter. The photographing device that has received the photographing command starts photographing at the timing 61. After that, at the timing 62 when the shooting ends, the image processing device 5 inputs (downloads) the image data held in the internal storage area of the shooting device 6.

画像処理装置5はタイミング53で画像データを入力(ダウンロード)し、さらにタイミング54−55の区間で本画像処理を行う。本画像処理が終わると、その結果を制御装置1に任意のタイミングで処理結果を返信(通常は装置全体の動作を妨げないように、できる限り短時間で返信する)する。制御装置1はその処理結果を受けつけたタイミング12を起点に、その処理結果を用いて以降の別の処理や制御指令等を行う。 The image processing device 5 inputs (downloads) image data at timing 53, and further performs this image processing in the section of timing 54-55. When the present image processing is completed, the result is returned to the control device 1 at an arbitrary timing (usually, the result is returned in the shortest possible time so as not to interfere with the operation of the entire device). The control device 1 starts from the timing 12 at which the processing result is received, and uses the processing result to perform other subsequent processing, a control command, and the like.

さて、図1(b)のような本発明の撮影及び画像処理方法では以下の点に特徴がある。 By the way, the photographing and image processing method of the present invention as shown in FIG. 1B is characterized in the following points.

すなわちタイミング53において画像処理装置は本撮影された画像データを入力(ダウンロード)した後に、本撮影パラメータ(撮影区間61〜62で用いられた)とは異なる副撮影パラメータで撮影装置6へ撮影指令を送信する。例えば、図1(b)では、画像処理装置は本撮影画像データを入力し、タイミング54でその画像データを使用して本画像処理を開始する。それとともに、本撮影パラメータと異なる副撮影パラメータで撮影装置6へ撮影指令を送信し、撮影装置6はタイミング63において副撮影を開始し、タイミング64で終了する。 That is, at the timing 53, after the image processing device inputs (downloads) the image data taken in the main shooting, it issues a shooting command to the shooting device 6 with a sub-shooting parameter different from the main shooting parameter (used in the shooting sections 61 to 62). Send. For example, in FIG. 1B, the image processing apparatus inputs the main captured image data and starts the main image processing using the image data at the timing 54. At the same time, a shooting command is transmitted to the shooting device 6 with a sub-shooting parameter different from the main shooting parameter, and the shooting device 6 starts the sub-shooting at the timing 63 and ends at the timing 64.

撮影装置6の立場でいうと、本撮影と副撮影の合計で二度の撮影が行われ、露光時間等の撮影パラメータが異なる2つの画像データを取得することになる。 From the standpoint of the photographing device 6, two images are taken in total of the main image and the sub-image, and two image data having different imaging parameters such as the exposure time are acquired.

なお、画像処理装置5は装置全体の動作に遅延をもたらすような処理は後回しにすることが適切である。 It is appropriate for the image processing device 5 to postpone the processing that causes a delay in the operation of the entire device.

そのため、図1(b)に示すとおり制御装置1へ本画像処理結果を返信することを優先し、本画像処理結果の返信が終わったタイミング55以降の、例えばタイミング56において、画像処理装置5は取得した副撮影画像を入力(ダウンロード)する。その後、画像処理装置5は副撮影画像データに対してタイミング54−55の区間で、以前に実行した本画像処理と同様の画像処理を行う(副画像処理)。 Therefore, as shown in FIG. 1B, the image processing device 5 gives priority to returning the image processing result to the control device 1, and the image processing device 5 gives priority to returning the image processing result to the control device 1 and after the timing 55 when the reply of the image processing result is completed, for example, at the timing 56. Input (download) the acquired secondary shot image. After that, the image processing device 5 performs the same image processing as the previously executed main image processing on the sub-photographed image data in the section of timings 54 to 55 (sub-image processing).

副撮影画像データの処理が終わったタイミング57で副画像処理結果を表示装置7等に表示したりして出力してもよい(このタイミング57で本画像処理結果も併せて表示装置に対して画像処理装置の側から通信してもよい)。また、その出力された副画像処理結果が適切である場合、入力装置8等を用いて、タイミング81で、画像処理装置における撮影パラメータを更新する。すなわち、この副撮影パラメータを新しい本撮影パラメータとして更新し、次回以降の本撮影に用いるように調整することができる。 The sub-image processing result may be displayed on the display device 7 or the like at the timing 57 when the processing of the sub-photographed image data is completed and output (at this timing 57, the main image processing result is also displayed on the display device as an image. Communication may be performed from the processing device side). Further, when the output sub-image processing result is appropriate, the shooting parameters in the image processing device are updated at the timing 81 by using the input device 8 or the like. That is, this sub-shooting parameter can be updated as a new main shooting parameter and adjusted to be used for the next and subsequent main shooting.

また、適切な画像処理結果が得られなければ、引き続き制御装置1などからの制御指令を待ったりして、次回以降も同様にして副撮影パラメータの変更を行いながら検討を行ったりしても良い。 Further, if an appropriate image processing result cannot be obtained, the control command from the control device 1 or the like may be continuously waited for, and the examination may be conducted while changing the sub-shooting parameters in the same manner from the next time onward. ..

図2に本実施形態の画像処理および撮影パラメータの調整を実施可能な画像処理装置5の構成例を示す。図1(a)および図2の画像処理装置5は、画像を表示する陰極管や液晶パネルなどにより構成された表示装置7、および入力装置8を含む。入力装置は例えばキーボードやマウス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置などにより構成される各種操作入力用の装置が挙げられる。これら表示装置7および入力装置8は、主にユーザインターフェースを構成する。 FIG. 2 shows a configuration example of the image processing apparatus 5 capable of performing image processing and adjustment of shooting parameters of the present embodiment. The image processing device 5 of FIGS. 1A and 2 includes a display device 7 composed of a cathode tube, a liquid crystal panel, and the like for displaying an image, and an input device 8. Examples of the input device include devices for various operation inputs composed of a keyboard, a mouse, a touch panel, an input operation controller, a gesture input device, and the like. The display device 7 and the input device 8 mainly form a user interface.

また、画像処理装置5は、画像データ入力手段の1つとしてデジタルカメラなどで構成された撮影装置6と接続される。また、図1(a)では省略しているが、必要に応じてハロゲン照明や発光ダイオード照明などで構成された照明装置10を撮影のために併設したり、外部記憶装置を記憶領域拡大のために接続したりしてもよい。さらに、画像処理装置5には、ネットワークやケーブルなどを介して、制御装置1が接続される。上記各部は、画像処理装置5の内部バス上に配置されたインターフェース52を介して接続される。各インターフェース52は上記各部を通信するのに適した規格に基づき構成される。各インターフェース52は、使用する接続対象に応じて、例えば、ネットワークインターフェース、シリアル通信インターフェースなどから構成される。 Further, the image processing device 5 is connected to a photographing device 6 configured by a digital camera or the like as one of the image data input means. Further, although omitted in FIG. 1A, if necessary, a lighting device 10 composed of halogen lighting, light emitting diode lighting, or the like is installed side by side for photography, or an external storage device is used to expand the storage area. You may connect to. Further, the control device 1 is connected to the image processing device 5 via a network, a cable, or the like. Each of the above parts is connected via an interface 52 arranged on the internal bus of the image processing device 5. Each interface 52 is configured based on a standard suitable for communicating each of the above parts. Each interface 52 is composed of, for example, a network interface, a serial communication interface, or the like, depending on the connection target to be used.

画像処理装置5は、画像処理の主体となる制御装置として、汎用マイクロプロセッサとして構成されたCPU素子や、画像処理プロセッサなどにより構成された演算手段51を有する。演算手段51は画像処理装置5の内部バス(データバス、アドレスバス、他の制御線など)を介して、図2の左側に図示した記憶手段53と接続される。記憶手段53は、例えばROMやRAM、あるいはE(E)PROMなどの不揮発メモリデバイスや、外部記憶装置(不図示のHDDや半導体素子で構成された記憶装置で構成される。また、あるいは接続手段52と接続することができる外部記憶装置など)上のファイル領域や仮想記憶領域などによって構成してもよい。 The image processing device 5 has a CPU element configured as a general-purpose microprocessor, a computing means 51 configured by an image processing processor, and the like as a control device that is the main body of image processing. The arithmetic means 51 is connected to the storage means 53 shown on the left side of FIG. 2 via an internal bus (data bus, address bus, other control line, etc.) of the image processing device 5. The storage means 53 is composed of, for example, a non-volatile memory device such as a ROM or RAM, or an E (E) PROM, or an external storage device (a storage device composed of an HDD or a semiconductor element (not shown), or a connection means. It may be configured by a file area, a virtual storage area, or the like on an external storage device or the like that can be connected to 52.

また、記憶手段53の処理データ保存領域532は、記憶手段53中のRAM領域や、外部記憶装置のファイル領域や仮想記憶領域などによって構成される。処理データ保存領域532には、処理データを一時記憶させる他、画像処理の設定パラメータなどの記憶に用いられる。また、外部記憶装置に画像データをロギングする場合、処理データ保存領域532は、例えば、外部記憶装置のデータキャッシュなどとして用いられる。 Further, the processing data storage area 532 of the storage means 53 is composed of a RAM area in the storage means 53, a file area of an external storage device, a virtual storage area, and the like. The processing data storage area 532 is used for temporarily storing the processing data and also for storing the setting parameters of image processing and the like. Further, when logging image data to the external storage device, the processing data storage area 532 is used as, for example, a data cache of the external storage device.

さらに、記憶手段53には、本実施例の画像処理を実施するための画像処理プログラム531を記憶させておく。画像処理プログラム531は、入力装置8などによって行われた各種操作に応じて、画像処理の設定などを変更したり、画像処理を実行したりする。また、変更内容について、処理データ保存領域532に保存したり削除したりすることができる。 Further, the storage means 53 stores an image processing program 531 for performing the image processing of this embodiment. The image processing program 531 changes image processing settings and executes image processing according to various operations performed by the input device 8 and the like. Further, the changed contents can be saved or deleted in the processing data storage area 532.

画像処理プログラム531は、例えば次のような機能を実現するソフトウェアから構成される。まず、画像処理5311は後述の画像処理を実現する画像処理プログラムの本体部分である。画像処理5311には、画像処理ライブラリ5312が用いられる。画像処理ライブラリ5312は、例えば静的ないし動的にリンクされるライブラリとして記憶手段53に実装される。画像処理プログラム531の振舞いを決定する画像処理設定5314のプログラムの実行は、入力装置8などによって行われた各種操作に応じて行われる。 The image processing program 531 is composed of software that realizes the following functions, for example. First, the image processing 5311 is a main body portion of an image processing program that realizes the image processing described later. The image processing library 5312 is used for the image processing 5311. The image processing library 5312 is implemented in the storage means 53 as, for example, a statically or dynamically linked library. The program of the image processing setting 5314 that determines the behavior of the image processing program 531 is executed in response to various operations performed by the input device 8 and the like.

さらに、画像処理プログラム531には、次のような機能を実現するI/O(入出力)ルーチンが含まれる。上記の各機能は、アプリケーション(ユーティリティ)プログラムや、あるいは静的ないし動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶手段53に実装される。 Further, the image processing program 531 includes an I / O (input / output) routine that realizes the following functions. Each of the above functions is implemented in the storage means 53 in the form of an application (utility) program or a subroutine configured as a library that is statically or dynamically linked.

画像処理装置5は、画像処理プログラム531における外部デバイス制御5313のプログラムを実行することにより、例えば撮像装置6や照明装置10を制御したり、画像処理装置の演算手段を利用して画像処理を実行したりすることができる。また、指令受付5316のプログラムが実行されることにより、入力装置8よりユーザ操作を受けつけたり、外部の制御装置1などから指令を受けつけたりすることができる。これらの操作や指令に応じて、演算手段51は画像処理プログラム531の上記各機能やライブラリを呼び出し、各種演算処理を行い、画像処理結果を制御装置1に送信することができる。また、保存データ生成5315のプログラムを実行することにより画像処理結果を外部記憶装置に蓄積(ロギング)したりしても良い。さらに、保存データ出力5317と表示画面生成5320のプログラムを実行することにより、プログラムとして予め記憶されている画面構成と画像処理の結果を画面として合成し、表示装置7に表示することもできる。 The image processing device 5 controls, for example, the image pickup device 6 and the lighting device 10 by executing the program of the external device control 5313 in the image processing program 531 or executes image processing by using the calculation means of the image processing device. Can be done. Further, by executing the program of the command reception 5316, it is possible to receive a user operation from the input device 8 or receive a command from an external control device 1 or the like. In response to these operations and commands, the calculation means 51 can call the above-mentioned functions and libraries of the image processing program 531 to perform various calculation processes, and transmit the image processing result to the control device 1. Further, the image processing result may be stored (logged) in the external storage device by executing the program of the data at rest generation 5315. Further, by executing the programs of the saved data output 5317 and the display screen generation 5320, the screen configuration and the image processing result stored in advance as the program can be combined as a screen and displayed on the display device 7.

以下では図3のフローチャートを用いて、装置の稼働中に画像処理プログラム531によって、画像の撮影パラメータを調整される際の処理の流れを説明する。なお、以下では説明を容易にするために、画像処理の内容や処理結果、撮影パラメータの調整方法、入力操作や表示出力方法あるいは装置の構成などについては限定された具体的な内容で行うものとする。 Hereinafter, using the flowchart of FIG. 3, the flow of processing when the image shooting parameters are adjusted by the image processing program 531 during the operation of the apparatus will be described. In the following, in order to facilitate the explanation, the contents and processing results of image processing, the adjustment method of shooting parameters, the input operation and display output method, the configuration of the device, etc. shall be performed with limited specific contents. To do.

また、画像処理に係る処理内容や、調整する撮影パラメータや撮影パラメータの調整方法、調整のタイミング等はユーザが予め任意に設定できる設定画面を設けたり、別の処理アルゴリズムなどを用いて動的に決定したりしても良い。また、ここでは調整対象の撮影パラメータを本撮影に用いる初期ゲイン値との相対的な倍率(例えば1.0であれば、本撮影パラメータの初期ゲイン値の1.0倍であり、以下増幅倍率と呼ぶこととする)として説明する。 In addition, the processing content related to image processing, the shooting parameters to be adjusted, the adjustment method of the shooting parameters, the adjustment timing, etc. can be set arbitrarily in advance by the user, or a setting screen can be provided, or another processing algorithm can be used dynamically. You may decide. Further, here, the shooting parameter to be adjusted is a magnification relative to the initial gain value used for the main shooting (for example, if it is 1.0, it is 1.0 times the initial gain value of the main shooting parameter, and the amplification factor is hereinafter described as follows. It will be referred to as).

一般的な制御可能な構成であれば本実施形態は実施できるので、露光時間や絞り、ピント、照明装置の輝度など、撮影条件に関わるものであれば適宜に適用可能である。 Since this embodiment can be implemented as long as it has a general controllable configuration, it can be appropriately applied as long as it is related to shooting conditions such as exposure time, aperture, focus, and brightness of the lighting device.

まずステップS0では記憶手段53に記憶されている画像処理の設定データを一時記憶領域5319のプログラムを実行して不図示の一時記憶領域に入力する。このステップは画像処理の設定を読込む操作に相当する。 First, in step S0, the image processing setting data stored in the storage means 53 is input to the temporary storage area (not shown) by executing the program of the temporary storage area 5319. This step corresponds to the operation of reading the image processing settings.

画像処理の設定データには、該当する画像処理において撮影装置6で撮影の際に用いる撮影パラメータや、照明装置10の照度(もしくはON・OFF設定など)が記載されている。さらに、画像処理の処理対象領域の数や、処理領域の位置やサイズ及び形状、パターンマッチングや輪郭検出、輝度分布計算などの処理内容、処理に用いる数値パラメータなども記載されている。ここでは説明のために、ある特定の情報をもつ対象物より検出されたパターン情報(そのような探索パターン情報は、輝度勾配や座標などの情報であったり、輝度分布の情報であったり、その組み合わせであったりする)を予め登録しておく。 The image processing setting data describes the shooting parameters used when shooting with the shooting device 6 in the corresponding image processing, and the illuminance (or ON / OFF setting, etc.) of the lighting device 10. Further, the number of processing target areas for image processing, the position, size and shape of the processing area, processing contents such as pattern matching, contour detection, and luminance distribution calculation, numerical parameters used for processing, and the like are also described. Here, for the sake of explanation, pattern information detected from an object having specific information (such search pattern information may be information such as a luminance gradient or coordinates, or information on a luminance distribution, etc.). (It may be a combination) is registered in advance.

ステップS1では撮影装置6に対して、本撮影パラメータを設定する。ここでの本撮影パラメータはステップS0で読み込まれた設定データにおいて事前に定められている。なお撮影を含む、計測開始トリガは前述のような制御装置1より行われてもよいし、ユーザなどが任意のタイミングで入力装置8などを用いて行う形態でもよい。ステップS2では、ステップS1で設定された本撮影パラメータを用いて、撮影装置6に撮影指令を出す。ステップS3では、撮影装置6が撮影を終了するのを待って、撮影された本画像データをプログラムに入力(ダウンロード)する。ステップS4では、ステップS0で指定された画像処理の内容に従い、本画像データを用いて本画像処理を実行する。 In step S1, the main shooting parameters are set for the shooting device 6. The main shooting parameters here are predetermined in the setting data read in step S0. The measurement start trigger including photographing may be performed by the control device 1 as described above, or may be performed by the user or the like using the input device 8 or the like at an arbitrary timing. In step S2, a shooting command is issued to the shooting device 6 using the main shooting parameter set in step S1. In step S3, the photographed image data is input (downloaded) to the program after waiting for the photographing device 6 to finish the photographing. In step S4, the image processing is executed using the image data according to the content of the image processing specified in step S0.

この本画像処理を実行するステップS4では、取得した画像データにおける類似するパターン情報を探索するパターンマッチング処理を行う。 In step S4 for executing this image processing, pattern matching processing for searching for similar pattern information in the acquired image data is performed.

具体的にはまず、探索パターンと画像データをマッチングさせ、対象物の検出位置座標(X,Y)と位相(θ)等の情報の一致率をマッチングスコアとして出力する。以降、このような探索パターン情報の一致率をマッチングスコアもしくは単にスコアと呼ぶこととする。画像処理装置5は、マッチングスコアを0〜1.0の範囲内として出力するようなパターンマッチング処理を行い、その結果を制御装置1に返信したり、表示装置7に表示したりすることもできる。 Specifically, first, the search pattern and the image data are matched, and the matching rate of information such as the detection position coordinates (X, Y) and the phase (θ) of the object is output as a matching score. Hereinafter, the matching rate of such search pattern information will be referred to as a matching score or simply a score. The image processing device 5 can also perform pattern matching processing such that the matching score is output in the range of 0 to 1.0, and return the result to the control device 1 or display the result on the display device 7. ..

ステップS5では本画像処理の結果を出力する。 In step S5, the result of this image processing is output.

ステップS6〜S8は、ステップS4と並行して行われる副撮影パラメータに関する処理を示している。演算手段51の構成によっては、ステップS6〜S8をステップS3とS4の間の期間に置き、それぞれの処理をシーケンシャルに、行ったりしてもよい。ステップS6は副撮影パラメータで検討処理を行うかを判断する。たとえば、画像処理プログラム531が撮影パラメータを調整中であればステップS7に進み、調整不要であればそのまま以下の処理をスキップして終了する。 Steps S6 to S8 show processing related to the sub-shooting parameter performed in parallel with step S4. Depending on the configuration of the arithmetic means 51, steps S6 to S8 may be placed in a period between steps S3 and S4, and the respective processes may be performed sequentially. In step S6, it is determined whether to perform the examination process using the sub-photographing parameters. For example, if the image processing program 531 is adjusting the shooting parameters, the process proceeds to step S7, and if the adjustment is unnecessary, the following processing is skipped and the process ends.

ステップS7では副撮影パラメータを撮影装置6に設定する。このとき、副撮影パラメータはGUIなどの形態で、表示装置7や入力装置8を介してユーザなどにより直接設定してもよいし、予め用意された調整テーブルなどを用いて導かれた調整値を設定したりしてもよい。 In step S7, the sub-shooting parameter is set in the shooting device 6. At this time, the sub-shooting parameter may be set directly by the user or the like via the display device 7 or the input device 8 in the form of a GUI or the like, or the adjustment value derived using the adjustment table or the like prepared in advance may be set. You may set it.

ステップS8では、ステップS7で設定された副撮影パラメータを用いて、撮影装置6に撮影指令を出す。出された指令に基づいて副撮影が実行される。 In step S8, a shooting command is issued to the shooting device 6 using the sub-shooting parameters set in step S7. Sub-shooting is executed based on the issued command.

ステップS9では、本画像処理結果の出力及び副撮影を実行済み(もしくは検討していない)であるかを判断する。本画像処理結果の出力が終了しており、かつ副撮影が実行済みである場合にはステップS10に進む。副撮影を行っていない場合は以降の処理は不要であると判断し、ステップS15の終了処理に進む。 In step S9, it is determined whether the output of the image processing result and the sub-shooting have been executed (or have not been examined). If the output of the image processing result has been completed and the sub-shooting has been executed, the process proceeds to step S10. If the sub-shooting is not performed, it is determined that the subsequent processing is unnecessary, and the process proceeds to the end processing of step S15.

ステップS10では撮影装置6が撮影を終了するのを待って、撮影された副画像データをプログラムに入力(ダウンロード)する。 In step S10, after waiting for the photographing device 6 to finish the photographing, the captured sub-image data is input (downloaded) to the program.

ステップS11ではステップS0で指定された画像処理の内容に従い、副画像データを用いて副画像処理を実行する。 In step S11, the sub-image processing is executed using the sub-image data according to the content of the image processing specified in step S0.

ステップS12では副画像処理の結果を抽出する。先ほど述べたようなパターン探索結果である位置や位相及びマッチングスコアを表示装置7に表示したりしても良いし、画像処理プログラム531より別途判断プログラムなどに送信しても良い。また、制御装置1など外部に判断を任せるような装置の制御プロトコルであれば、外部へ副画像処理結果を送信しても良い。 In step S12, the result of the sub-image processing is extracted. The position, phase, and matching score, which are the pattern search results as described above, may be displayed on the display device 7, or may be separately transmitted from the image processing program 531 to a determination program or the like. Further, if the control protocol is a device such as the control device 1 that entrusts the judgment to the outside, the sub-image processing result may be transmitted to the outside.

ステップS13では、本撮影パラメータを更新するかの判断を行う。副画像処理結果を抽出する方法が表示装置7に表示したりするような方法であれば、その表示結果をユーザが確認し、判断する。また予め定められた目標となるマッチングスコアの値や許容幅などに応じて撮影パラメータを更新するかを判断するプログラムを予め準備しておいて、そのプログラムを実行し、判断する構成を採用してもよい。また、前述のように制御装置1が判断するような構成であれば、制御装置1の判断を受信しても良い。さらに予め設定された回数以上、適切な画像処理結果が得られた場合のみ撮影パラメータを更新するように、撮影パラメータを更新する条件を設けたりしても良い。また、抽出された画像処理結果(例えば位置や位相)が所定の範囲内に存在しない場合や、所定のスコア範囲に存在しない場合には、これらの撮影パラメータの参考値から除外するような仕組みを含んでもよい。これらの判断方法によって、本撮影パラメータを副撮影パラメータによって更新すると判断されればステップS14へ進む。判断されなければステップS15の終了処理へ進む。 In step S13, it is determined whether to update the main shooting parameter. If the method of extracting the sub-image processing result is a method of displaying it on the display device 7, the user confirms and determines the display result. In addition, a program is prepared in advance to determine whether to update the shooting parameters according to the predetermined matching score value, allowable range, etc., and the program is executed to make the determination. May be good. Further, if the configuration is such that the control device 1 determines as described above, the determination of the control device 1 may be received. Further, a condition for updating the shooting parameters may be provided so that the shooting parameters are updated only when an appropriate image processing result is obtained more than a preset number of times. In addition, if the extracted image processing result (for example, position or phase) does not exist within a predetermined range, or if it does not exist within a predetermined score range, a mechanism is provided to exclude it from the reference values of these shooting parameters. It may be included. If it is determined by these determination methods that the main imaging parameter is updated by the sub-imaging parameter, the process proceeds to step S14. If it is not determined, the process proceeds to the end process of step S15.

ステップS14では、副撮影パラメータを新たな本撮影パラメータとする更新を行う。具体的には画像処理プログラム内で保持している本撮影パラメータの値を、副撮影パラメータに上書きするのみである。しかし、例えば同時にステップS0で読み込んでいるような記憶領域に保存されている設定データへ書き込んだり、撮影装置6の保持するパラメータを更新したりしても良い。 In step S14, the sub-shooting parameter is updated to a new main shooting parameter. Specifically, the value of the main shooting parameter held in the image processing program is simply overwritten with the sub-shooting parameter. However, for example, the setting data stored in the storage area as read in step S0 may be written at the same time, or the parameters held by the photographing apparatus 6 may be updated.

ステップS15では調整処理を終了する。不要になった一時記憶領域を解放して、画像処理を終了しても良いし、再利用可能なデータを保持し、再度ステップS0やステップS1に戻り、画像処理の指示を待ちうけても良い。 In step S15, the adjustment process ends. The temporary storage area that is no longer needed may be released to end the image processing, or the reusable data may be retained and returned to step S0 or step S1 to wait for the image processing instruction. ..

以上のように、本撮影画像に対する画像処理の結果が前記制御装置に送信され、撮影装置が副撮影パラメータを用いて対象物を撮影して副撮影画像を得て、画像処理装置が前記副撮影画像に対する前記画像処理を施す処理がまず実行される。 As described above, the result of image processing for the main captured image is transmitted to the control device, the photographing device photographs the object using the sub-imaging parameters to obtain the sub-photographed image, and the image processing device performs the sub-imaging. The process of performing the image processing on the image is first executed.

その後、本撮影画像と副撮影画像、それぞれに対する画像処理の結果とを比較して、副画像処理の結果が良好な場合には副撮影パラメータを新しい本撮影パラメータに更新し、副画像処理の結果が良好でない場合は更新しない。 After that, the main shooting image and the sub-shooting image are compared with the result of image processing for each, and if the result of the sub-image processing is good, the sub-shooting parameter is updated to a new main shooting parameter, and the result of the sub-image processing. If is not good, do not update.

本実施形態によると副画像処理結果を抽出し、その処理結果が適切であれば本撮影パラメータを更新する。その結果、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を抑制した。 According to this embodiment, the sub-image processing result is extracted, and if the processing result is appropriate, the main shooting parameter is updated. As a result, adverse effects such as failure of this image processing due to the adjustment of shooting parameters, stopping of the operating device, malfunction, and damage were suppressed.

図4は本発明の第1実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。 FIG. 4 is a diagram illustrating the operation of the image processing device when adjusting the photographing parameters according to the first embodiment of the present invention.

図5は、本発明の第1実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。 FIG. 5 is a diagram illustrating a result of image processing and an update of shooting parameters when adjusting shooting parameters according to the first embodiment of the present invention.

画像処理結果及びパラメータ更新の関係を図5に数値で例示している。これらを用いて第1実施形態の効果について、より具体的なシーンに基づいて説明する。 The relationship between the image processing result and the parameter update is illustrated numerically in FIG. Using these, the effects of the first embodiment will be described based on a more specific scene.

なお図4は、撮影対象41−44(形状規格は同一のもの)に対する本撮影画像と副撮影画像の出力イメージを示している。図1(a)で詳細に示したそのほかの構成と同一のものは同様の符番を付して、一部は図示と説明を省略してある。また制御のフローは図3に示されたものと同様である。 Note that FIG. 4 shows output images of the main shot image and the sub shot image for the shooting target 41-44 (having the same shape standard). Those having the same configuration as the other configurations shown in detail in FIG. 1 (a) are numbered in the same manner, and some of them are omitted from the illustration and description. The control flow is the same as that shown in FIG.

使用者が採用する画像処理はパターンマッチングに限らず、エッジ抽出及びその位置や位相、サイズ、閾値二値化処理後の面積、所定の領域の輝度情報や色情報などを検出してその値を利用しても良い。 The image processing adopted by the user is not limited to pattern matching, but edge extraction and its position, phase, size, area after threshold binarization processing, brightness information and color information of a predetermined area are detected and the values are calculated. You may use it.

さらには、複数の領域内でそれぞれ個別の画像処理をしたりしても良い。 Further, individual image processing may be performed in each of the plurality of areas.

また、説明の簡易化のために調整対象となる撮影パラメータは、図3を参照して説明した処理フローと同様に、初期のゲイン値(初期の本撮影パラメータ)の増幅倍率に限って説明する。したがってゲイン値の増幅倍率以外のさまざまな撮影パラメータを調整することができる。 Further, for the sake of simplification of the description, the shooting parameters to be adjusted will be described only for the amplification factor of the initial gain value (initial main shooting parameter), as in the processing flow described with reference to FIG. .. Therefore, various shooting parameters other than the amplification factor of the gain value can be adjusted.

ここでは、パターンマッチングのスコアが閾値0.6以上であれば成功判定:OK、下回れば失敗判定:NGとした。 Here, if the pattern matching score is 0.6 or more, the success judgment is OK, and if it is lower than the threshold value, the failure judgment is NG.

パターンマッチングの手法を用いて画像データ内より探索し、その探索結果を位置座標(X,Y)や位相(θ)、パターンマッチングのスコア、スコアに基づいた判定結果、を出力し制御装置1へ返信する。 A search is performed from within the image data using a pattern matching method, and the search results are output to the control device 1 by outputting the position coordinates (X, Y), phase (θ), pattern matching score, and judgment result based on the score. Send back.

またパターンマッチングのスコアは閾値0.6としているが、閾値ぎりぎりのラインで動作させるのではなく、パターンマッチングのスコアが0.8以上で安定して動作するように初期調整されている。 Further, although the pattern matching score is set to a threshold value of 0.6, the initial adjustment is made so that the pattern matching score operates stably at 0.8 or more, instead of operating on the line just before the threshold value.

このとき、図5を見ると撮影対象41は、マッチングスコア0.65であり本画像処理自体は成功しているが、使用者の目標値(ここではマッチングスコア0.8)には到達していないことがわかる。 At this time, looking at FIG. 5, the shooting target 41 has a matching score of 0.65, and although the image processing itself has succeeded, the target value of the user (here, the matching score of 0.8) has been reached. It turns out that there is no such thing.

再び図4を参照すると、本撮影画像411及び処理結果を表示装置7で表示される画面71などで確認すると、撮影対象41が好適な明るさで撮影されておらず、使用者は撮影パラメータの調整が必要であると推測できる。そのため、使用者は副撮影パラメータを増幅倍率2.0倍などに上げ、本画像処理中の時間を用いて画像を撮影し、副撮影画像412を得る。その上で本画像処理と同様の画像処理を副撮影画像に施し(副画像処理)、その結果を画面72上で表示する。この処理は図5における撮影対象41の本画像処理結果、副画像処理結果に対応している。 With reference to FIG. 4 again, when the main captured image 411 and the processing result are confirmed on the screen 71 or the like displayed on the display device 7, the photographing target 41 is not photographed with a suitable brightness, and the user has a shooting parameter. It can be inferred that adjustment is necessary. Therefore, the user raises the sub-shooting parameter to an amplification factor of 2.0 times or the like, shoots an image using the time during the main image processing, and obtains the sub-shooting image 412. Then, the same image processing as this image processing is applied to the sub-photographed image (sub-image processing), and the result is displayed on the screen 72. This processing corresponds to the main image processing result and the sub-image processing result of the photographing target 41 in FIG.

このとき、増幅倍率を上げ過ぎたために副撮影画像412は撮影対象41が画像上で飽和してしまい、パターンマッチングなどを含んだ副画像処理は失敗してしまった(判定:NG)。 At this time, because the amplification factor was increased too much, the image capture target 41 of the sub-photographed image 412 was saturated on the image, and the sub-image processing including pattern matching and the like failed (determination: NG).

前述したように本発明ではこの時点において制御装置1に返信するための本撮影パラメータをただちに調整することはしない。そのため、本画像処理の結果(図5の撮影対象41に対応する本画像処理結果)が返信され、装置は停止したりすることなく動作する。制御装置1はその処理結果を受け取り、撮影対象41の搬送を進め、続いて撮影対象42を計測するように画像処理装置5に制御指令を送信した。このとき、副撮影パラメータを増幅倍率1.7倍にして副画像撮影すると、副撮影画像422が得られ、副画像処理は成功(OKと判定される)するとともに、撮影対象42の位置や位相は本画像処理とほぼ同等の結果が得られた。しかしながら、図5における撮影対象42の欄を参照すると、パターンマッチングのスコアは、まだ目標値(0.80)以上を達成していないので、使用者は調整を続けることとする。 As described above, in the present invention, the present photographing parameter for returning to the control device 1 is not immediately adjusted at this time point. Therefore, the result of this image processing (the result of this image processing corresponding to the shooting target 41 in FIG. 5) is returned, and the device operates without stopping. The control device 1 received the processing result, proceeded to convey the photographing target 41, and subsequently transmitted a control command to the image processing device 5 so as to measure the photographing target 42. At this time, when the sub-image is taken with the sub-shooting parameter set to 1.7 times the amplification factor, the sub-camera image 422 is obtained, the sub-image processing is successful (determined as OK), and the position and phase of the shooting target 42 are taken. Obtained almost the same result as this image processing. However, referring to the column of the photographing target 42 in FIG. 5, since the pattern matching score has not yet reached the target value (0.80) or more, the user will continue to adjust.

撮影対象42の搬送を進め、続いて撮影対象43を計測するように画像処理装置5に制御指令を送信した。このとき、副撮影パラメータを増幅倍率1.4倍とすると、副撮影画像432が得られた。この副画像処理は成功(OKと判定される)するとともに、撮影対象43の位置や位相は本画像処理とほぼ同等の結果が得られた。さらに、パターンマッチングのスコアも0.91と目標値0.8以上を得ることができたので、この副処理画像処理における撮影パラメータを新しい本撮影パラメータとして更新した。 The image processing target 42 was conveyed, and then a control command was transmitted to the image processing device 5 so as to measure the image target 43. At this time, when the sub-photographing parameter was set to an amplification factor of 1.4, a sub-photographed image 432 was obtained. This sub-image processing was successful (determined to be OK), and the positions and phases of the imaging target 43 were almost the same as those of the main image processing. Furthermore, since the pattern matching score was 0.91 and the target value of 0.8 or more could be obtained, the shooting parameters in this sub-processed image processing were updated as new main shooting parameters.

撮影対象43の搬送を進め、続いて撮影対象44を撮影した。このとき、画像処理装置5は新しい本撮影パラメータである増幅倍率1.4倍で撮影した。 The photographed object 43 was transported, and then the photographed object 44 was photographed. At this time, the image processing device 5 took an image at an amplification factor of 1.4 times, which is a new main imaging parameter.

その結果、441のような本撮影画像が得られ、本画像処理は成功するとともに、撮影対象44のパターンマッチングのスコアは前回の検討内容とほぼ同等の結果が得られた。 As a result, a main photographed image such as 441 was obtained, the present image processing was successful, and the pattern matching score of the imaged object 44 was almost the same as that of the previous study.

本発明では本画像処理中に本撮影パラメータと異なる副撮影パラメータで撮影画像を取得することができ、その画像処理結果を抽出して検討することができると言える。 In the present invention, it can be said that a photographed image can be acquired with a sub-imaging parameter different from the main imaging parameter during the present image processing, and the image processing result can be extracted and examined.

そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を与えることなく、随時好適な撮影パラメータの検討と調整を行うことができる。 Therefore, it is necessary to study suitable shooting parameters at any time without adversely affecting the device in operation, causing malfunction, damage, etc. due to failure of this image processing due to the adjustment of shooting parameters. Adjustments can be made.

さらに、対象物に不良(材質や形状など不良ワーク)が混在したり、対象物の位置決めのバラツキが大きいような場合においても有効である。すなわち、そのようなワークより抽出される副画像処理結果を検討対象とせず、無視したりすることもできるので、撮影パラメータを過調整したり、誤調整したりして装置へ悪影響を及ぼすことを回避できる。 Further, it is effective even when defects (defective workpieces such as material and shape) are mixed in the object or the positioning of the object varies widely. That is, the sub-image processing result extracted from such a work can be ignored without being examined, so that the shooting parameters may be over-adjusted or erroneously adjusted, which may adversely affect the device. It can be avoided.

また、稼働中に撮影パラメータを調整することができるので、装置を停止したりして撮影パラメータの調整の機会を別途設けることなども不要になる。 Further, since the shooting parameters can be adjusted during operation, it is not necessary to stop the device or provide a separate opportunity for adjusting the shooting parameters.

また、本画像処理中の処理時間を用いて、副画像撮影を行ったり、本画像処理の結果を外部に返信した後に副画像処理を行って、その結果を抽出したりすることができる。そのため、本画像処理にかかる処理時間に遅延などの影響を与えずに、副撮影パラメータの検討及び調整を行うこともできる。 Further, the processing time during the present image processing can be used to take a sub-image, or to perform the sub-image processing after returning the result of the present image processing to the outside and extract the result. Therefore, it is possible to examine and adjust the sub-imaging parameters without affecting the processing time required for this image processing such as delay.

さらに、本撮影パラメータによる画像処理結果は外部に返信されつつ、検討中の副撮影パラメータに基づいた副画像処理結果の抽出および確認が行える。そのため、撮影パラメータの調整アルゴリズムの不備や、ユーザインターフェースの操作ミス、撮影パラメータの調整操作に関して習熟度の低いユーザの誤調整等による人的な外部への悪影響も回避することもできる。 Further, while the image processing result by the main shooting parameter is returned to the outside, the sub-image processing result based on the sub-shooting parameter under consideration can be extracted and confirmed. Therefore, it is possible to avoid adverse effects on humans due to inadequate shooting parameter adjustment algorithms, user interface operation mistakes, and erroneous adjustments by users with low proficiency in shooting parameter adjustment operations.

(第2実施形態)
以下、図6を用いて本発明の第2実施形態の特徴である複数の副撮影パラメータを比較検討して本撮影パラメータを更新する本撮影パラメータ調整工程について説明する。本実施形態は複数の副撮影パラメータを用いて副画像をそれぞれ撮影する。そして、副画像データ群を取得する副画像群取得工程と、前記取得した副画像群に対して副画像処理を行い、その処理結果を抽出する副画像処理工程に特徴がある。
(Second Embodiment)
Hereinafter, the main shooting parameter adjustment step of updating the main shooting parameters by comparing and examining a plurality of sub-shooting parameters, which is a feature of the second embodiment of the present invention, will be described with reference to FIG. In this embodiment, each sub-image is photographed using a plurality of sub-imaging parameters. The sub-image group acquisition step of acquiring the sub-image data group and the sub-image processing step of performing the sub-image processing on the acquired sub-image group and extracting the processing result are characterized.

この複数の副撮影パラメータから本撮影パラメータを選択して更新する本撮影パラメータ調整される。 The main shooting parameter is adjusted by selecting and updating the main shooting parameter from the plurality of sub-shooting parameters.

その他の点で、第1実施形態と重複する構成は一部説明を省略する。 In other respects, a part of the configuration overlapping with the first embodiment will be omitted.

図6に、第2実施形態にかかる、制御シーケンスを示した。第1実施形態と同様に、制御装置1が各種装置へ制御指令を出したり、その指令先や指令内容に応じて、搬送装置2やロボットアーム3、画像処理装置5等は所定の処理を行う。その後、その制御結果や処理結果を制御装置1に返信したりするもので、装置の構成自体は第1実施形態と同様である。 FIG. 6 shows a control sequence according to the second embodiment. Similar to the first embodiment, the control device 1 issues a control command to various devices, and the transfer device 2, the robot arm 3, the image processing device 5, and the like perform predetermined processing according to the command destination and the command content. .. After that, the control result and the processing result are returned to the control device 1, and the configuration itself of the device is the same as that of the first embodiment.

図6の9aは上述のような構成において、制御シーケンスを例示したものである。本撮影画像データを入力し、その画像データを使用して本画像処理を開始するタイミング54とともに、本撮影パラメータと異なる複数の副撮影パラメータで撮影装置6へ連続撮影指令を送信する。撮影装置6はタイミング63aより撮影パラメータを切り替えながら副撮影を行い、その撮影画像データを内部メモリなどに蓄積し、本画像処理が終了する以前の63fで終了する。なお、ここでは副撮影パラメータで撮影できる画像枚数(撮影回数)は画像処理設定を構築する際の撮影時間と画像処理時間の関係によって予め算出、検討及び記憶していることとして説明する。処理の手順として、実施形態1同様に制御装置1へ本画像処理結果を返信することを優先している。本画像処理結果の返信が終わったタイミング55以降の、例えばタイミング56aにおいて、撮影装置6の撮影できた副撮影画像データ群を入力(ダウンロード)する。画像処理装置5はタイミング54−55の区間で実行した本画像処理と同様の画像処理を副処理画像群に行う。処理が終わったタイミング57aで副画像処理結果群を合成したり、データ配列に格納したりして表示を切り替えられるようにして、表示装置7等に表示したりして出力してもよい。また、その出力された副画像処理結果のいずれかがが適切であると判断されれば、入力装置8等を用いたりして、例えばタイミング81aで、適切と判断された副画像処理結果と対応する副撮影パラメータを新しい本撮影パラメータとして更新する。また、適切な画像処理結果が得られない場合は、引き続き制御装置1などからの制御指令を待ったりして、次回以降も同様にして複数の副撮影パラメータの変更を行ったり同様の副撮影パラメータを用いても良い。 9a in FIG. 6 illustrates a control sequence in the above configuration. The main shooting image data is input, and the continuous shooting command is transmitted to the shooting device 6 with a plurality of sub-shooting parameters different from the main shooting parameters at the timing 54 when the main image processing is started using the image data. The photographing device 6 performs sub-imaging while switching the photographing parameters from the timing 63a, stores the photographed image data in an internal memory or the like, and ends at 63f before the end of this image processing. Here, it will be described that the number of images (number of shots) that can be shot with the sub-shooting parameter is calculated, examined, and stored in advance according to the relationship between the shooting time and the image processing time when constructing the image processing setting. As a processing procedure, priority is given to returning the image processing result to the control device 1 as in the first embodiment. After the timing 55 when the reply of the image processing result is completed, for example, at the timing 56a, the sub-photographed image data group that can be photographed by the photographing apparatus 6 is input (downloaded). The image processing device 5 performs the same image processing as the main image processing executed in the section of timings 54 to 55 on the sub-processed image group. At the timing 57a when the processing is completed, the sub-image processing result group may be combined or stored in the data array so that the display can be switched, and the sub-image processing result group may be displayed on the display device 7 or the like for output. If it is determined that any of the output sub-image processing results is appropriate, the input device 8 or the like is used to correspond to the sub-image processing result determined to be appropriate, for example, at timing 81a. Update the sub-shooting parameters to be used as new main shooting parameters. If an appropriate image processing result cannot be obtained, the control command from the control device 1 or the like is continuously waited for, and a plurality of sub-shooting parameters are changed in the same manner from the next time onward, or the same sub-shooting parameters are used. May be used.

以上、第2実施形態によれば、予め設定された本撮影パラメータを用いて本撮影、本画像処理及び本画像処理結果を制御装置1に返信するとともに、本画像処理中に複数の副撮影パラメータを用いて撮影装置に撮影指令を行う。そして、それぞれの副画像処理結果を抽出し、その処理結果が適切であれば対応した副撮影パラメータを用いて本撮影パラメータを更新することができる。そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を抑制することができる。 As described above, according to the second embodiment, the main shooting, the main image processing, and the main image processing result are returned to the control device 1 using the preset main shooting parameters, and a plurality of sub-shooting parameters are returned during the main image processing. Is used to give a shooting command to the shooting device. Then, each sub-image processing result can be extracted, and if the processing result is appropriate, the main shooting parameter can be updated using the corresponding sub-shooting parameter. Therefore, it is possible to suppress adverse effects such as stopping the operating device, causing a malfunction, or damage due to the failure of the image processing due to the adjustment of the shooting parameters.

好適な撮影パラメータの検討と調整を行うことができるほか、本画像処理中に複数の副撮影パラメータを用いて副撮影画像データを撮影し、複数の副画像処理結果を抽出して検討することができる。したがって、より好適な撮影パラメータを短時間で検出することができる。 In addition to being able to study and adjust suitable shooting parameters, it is also possible to shoot sub-shooting image data using multiple sub-shooting parameters during this image processing and extract and study multiple sub-image processing results. it can. Therefore, more suitable imaging parameters can be detected in a short time.

図7は撮影パラメータの調整動作に関するイメージ図である。また、そのときの画像処理結果及び撮影パラメータ更新の関係を図8に数値で例示している。これらを用いて第2実施形態の効果について説明する。 FIG. 7 is an image diagram relating to the adjustment operation of shooting parameters. Further, the relationship between the image processing result and the update of the shooting parameter at that time is illustrated numerically in FIG. The effect of the second embodiment will be described with reference to these.

図7の例は図4と同様に制御装置1が搬送装置2を用いていくつかの撮影対象を搬送したり、所定の搬送量が送りだされた時点で、画像処理装置5に画像処理の制御指令を送信したりする装置形態である。また、画像処理の内容も、説明が無い限りは第1実施形態と同様とする。また、本画像処理中に副撮影可能な画像枚数は前記同様に3枚(3回)として説明する。副撮影パラメータはいずれもユーザが入力装置より設定できることとし、今回の例では以前の画像処理結果などを確認し、増幅倍率をそれぞれ2.0倍、1.7倍、1.4倍で検討することとして入力した。画像処理装置5は制御指令を受けつけると、撮影装置6に撮影指令を送り、所定の本撮影パラメータで、設置された撮影対象41を撮影し、撮影画像411を取得する。その撮影画像を用いて図8のような画像処理結果(判定、位置、位相、マッチングスコア)を制御装置1に返信する。撮影対象42を撮影した撮影画像を421とする。 In the example of FIG. 7, similarly to FIG. 4, when the control device 1 conveys some imaging objects using the transfer device 2 or a predetermined transfer amount is sent out, the image processing device 5 is subjected to image processing. It is a device form for transmitting control commands. Further, the content of the image processing is the same as that of the first embodiment unless otherwise explained. Further, the number of images that can be sub-photographed during this image processing will be described as 3 images (3 times) in the same manner as described above. It is assumed that the user can set all the sub-shooting parameters from the input device, and in this example, the previous image processing results are confirmed, and the amplification factors are examined at 2.0 times, 1.7 times, and 1.4 times, respectively. I entered it as a thing. When the image processing device 5 receives the control command, it sends a shooting command to the shooting device 6, shoots the installed shooting target 41 with predetermined main shooting parameters, and acquires the shot image 411. Using the captured image, the image processing result (determination, position, phase, matching score) as shown in FIG. 8 is returned to the control device 1. Let 421 be a captured image obtained by capturing the imaging target 42.

図8を見ると、撮影対象41は、マッチングスコア0.65であり本画像処理自体は成功しているが、目標値0.8には到達していないことがわかる。また、本撮影画像411及び処理結果を表示装置7で表示される画面71aなどで確認すると、撮影対象41やそれ以前の撮影対象が好適な明るさで撮影されておらず、撮影パラメータの調整が必要であると推測できる。副撮影パラメータ(初期ゲイン値の増幅倍率)は前述の通り2.0倍、1.7倍、1.4倍を検討することとした。このとき、本画像処理中の時間においてそれぞれの副撮影パラメータで副画像データを撮影し、画像処理プログラム531は副撮影画像412a、412b、412cへ入力する。また、本画像処理と同様に副画像処理を行った結果を画面72a上で表示することとする。 Looking at FIG. 8, it can be seen that the photographing target 41 has a matching score of 0.65, and although the image processing itself has succeeded, the target value of 0.8 has not been reached. Further, when the main shot image 411 and the processing result are confirmed on the screen 71a displayed on the display device 7, the shooting target 41 and the shooting targets before that are not shot with appropriate brightness, and the shooting parameters can be adjusted. It can be inferred that it is necessary. As described above, the secondary shooting parameters (amplification magnification of the initial gain value) were determined to be 2.0 times, 1.7 times, and 1.4 times. At this time, the sub-image data is photographed with each sub-image parameter during the time during the present image processing, and the image processing program 531 inputs the sub-image data to the sub-images 412a, 412b, and 412c. Further, the result of performing the sub-image processing in the same manner as the main image processing is displayed on the screen 72a.

このとき、3つの異なる副撮影パラメータで撮影された副撮影画像の処理結果は図8のように副撮影パラメータが増幅倍率2.0倍では画像処理が成功せず、増幅倍率1.7倍では画像処理は成功したが目標値0.8に到達しなかった。増幅倍率1.4倍では画像処理が成功し、かつスコアが目標値0.8を上回ったため、この増幅倍率を本撮影パラメータとして更新することとする。制御装置1は処理結果を受け取ったので、撮影対象41の搬送を進め、続いて撮影対象42を計測するように画像処理装置5に制御指令を送信した。このとき、画像処理装置5は本撮影パラメータを先ほど更新された増幅倍率1.4倍で撮影するので、421のような本撮影画像が得られる。この本画像処理は成功するとともに、撮影対象42のパターンマッチングのスコアは前回の検討内容とほぼ同等の結果(0.9)が得られた。このように第2実施形態では、本画像処理中に本撮影パラメータと異なる複数の副撮影パラメータで撮影画像を取得することができ、それぞれの副画像処理結果を抽出して比較検討することができると言える。 At this time, as shown in FIG. 8, the processing result of the sub-photographed image taken with three different sub-photographing parameters is that the image processing is not successful when the sub-photographing parameter has an amplification factor of 2.0 times, and the amplification factor is 1.7 times. The image processing was successful, but the target value of 0.8 was not reached. Since the image processing was successful at the amplification factor of 1.4 and the score exceeded the target value of 0.8, this amplification factor was updated as the main shooting parameter. Since the control device 1 received the processing result, the control device 1 proceeded with the transportation of the photographing target 41, and subsequently transmitted a control command to the image processing device 5 so as to measure the photographing target 42. At this time, since the image processing device 5 shoots the main shooting parameter at the previously updated amplification magnification of 1.4 times, a main shooting image such as 421 can be obtained. This image processing was successful, and the pattern matching score of the shooting target 42 was almost the same as the previous study (0.9). As described above, in the second embodiment, the photographed image can be acquired with a plurality of sub-imaging parameters different from the main imaging parameters during the present image processing, and the respective sub-image processing results can be extracted and compared and examined. It can be said that.

そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を与えることが抑制された。したがって好適な撮影パラメータの検討と調整を行うことができるほか、複数の撮影パラメータを検証することができるので、より短時間で好適な撮影パラメータを検出することができると言える。 Therefore, it is possible to suppress adverse effects such as stopping the operating device, causing a malfunction, or damage due to the failure of the image processing due to the adjustment of the shooting parameters. Therefore, it can be said that suitable shooting parameters can be examined and adjusted, and a plurality of shooting parameters can be verified, so that suitable shooting parameters can be detected in a shorter time.

本発明に記載の画像処理方法によれば、装置が稼働している最中においても、事前に設定された本撮影パラメータを用いて対象物の撮影と本画像データの取得、本画像処理の実行および処理結果の外部への返信を行うことができる。本画像処理の実行中に本撮影パラメータと異なる副撮影パラメータで撮影し、さらに任意のタイミングにおいて副画像データを取得し、副画像処理を行ってもよい。その処理結果を抽出したり、抽出された結果如何で副撮影パラメータを本撮影パラメータへ更新したりすることができる。そのため、本撮影パラメータを直接更新したりすることなく、少なくとも一つ以上の異なる撮影パラメータを用いて画像処理結果を別途抽出したり、確認したりすることができる。その結果、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたりするなどの悪影響を与えることなく、好適な撮影パラメータの検討や調整を行うことができる。 According to the image processing method described in the present invention, even while the apparatus is in operation, the subject is photographed, the image data is acquired, and the image processing is executed by using the preset imaging parameters. And it is possible to reply to the outside of the processing result. During the execution of the main image processing, the sub-image processing may be performed by taking a picture with a sub-shooting parameter different from the main shooting parameter and further acquiring the sub-image data at an arbitrary timing. The processing result can be extracted, and the sub-shooting parameter can be updated to the main shooting parameter depending on the extracted result. Therefore, the image processing result can be separately extracted or confirmed using at least one or more different shooting parameters without directly updating the main shooting parameters. As a result, suitable shooting parameters should be examined and adjusted without adverse effects such as failure of this image processing due to the adjustment of shooting parameters and stopping of the operating device or causing malfunction. Can be done.

このように、制御装置と画像処理装置と撮影装置を備えた装置システムであって、各工程を実行するプログラムを前記ロボットシステムの制御部に備えている装置システムを構成した。すなわち、装置稼働率の高い優れた装置システムを提供できる。 As described above, a device system including a control device, an image processing device, and a photographing device, in which a program for executing each process is provided in the control unit of the robot system is configured. That is, it is possible to provide an excellent device system having a high device operating rate.

また、図1に示したようにさらにロボットアームを備えるなど、使用者は用途に応じて、装置システムを構成してよい。 Further, as shown in FIG. 1, the user may configure the device system according to the application, such as further providing a robot arm.

以上のように第2実施形態では、副撮影画像は、互いに異なる副撮影パラメータをそれぞれ用いて前記対象物を複数回撮影して副撮影画像群を用いる点に特徴がある。 As described above, the second embodiment is characterized in that the sub-photographed image uses the sub-photographed image group by photographing the object a plurality of times using different sub-photographed parameters.

1 制御装置
5 画像処理装置
6 撮影装置
1 Control device 5 Image processing device 6 Imaging device

Claims (16)

撮影装置を用いて搬送される対象物の撮影を制御する制御方法であって、
予め定められた本撮影パラメータを用いて前記撮影装置が搬送される対象物を撮影して本撮影画像を得て、前記本撮影画像に対してパターンマッチング処理を施す工程と、
前記本撮影パラメータとは異なる副撮影パラメータを用いて、前記撮影装置が搬送される対象物を撮影して副撮影画像を得て、前記副撮影画像に対してパターンマッチング処理を施す工程と、
前記本撮影画像および前記副撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいてマッチングスコアを計算する工程と、
前記本撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいて計算された第1のマッチングスコアと前記副撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいて計算された第2のマッチングスコアとを比較した結果に基づき、前記副撮影パラメータを新しい本撮影パラメータとして更新するか否かを決定する工程と、
を備えた制御方法。
It is a control method that controls the shooting of an object transported by using a shooting device.
A step of obtaining a captured image by capturing an object, subjected to the pattern matching process against the captured image in which the imaging device using the main imaging parameters predetermined is conveyed,
Wherein using different sub-imaging parameters to the main photographing parameter, the imaging device to obtain a sub-captured image by capturing an object to be conveyed, a step of performing pattern matching process against the sub-captured image,
A step of calculating a matching score based on information obtained from an image obtained by performing pattern matching processing on the main photographed image and the sub-photographed image, and a step of calculating the matching score.
First matching score pattern matching process is calculated based on information obtained from the image subjected to pair with the captured image, from the pair to the pattern matching process in the sub-captured image is performed image based on the results and the second matching score calculated on the basis of the information obtained, it was compared, and determining whether to update the sub-imaging parameters as the new main imaging parameter,
Control method with.
前記第2のマッチングスコアが前第1のマッチングスコアより高い場合に、前記副撮影パラメータを新しい本撮影パラメータとして更新することを特徴とする請求項1に記載の制御方法。 If the second matching score is higher than the previous SL first matching score, control method according to claim 1, characterized in that updating the secondary imaging parameters as the new main imaging parameters. 前記第1のマッチングスコアが第1の目標値を上回っている場合に、前記第2のマッチングスコアが前記第1の目標値より高い第2の目標値を上回ると、前記副撮影パラメータを新しい本撮影パラメータとして更新することを特徴とする請求項1に記載の制御方法。 When the first matching score exceeds the first target value and the second matching score exceeds the second target value higher than the first target value, the sub-imaging parameter is changed to a new book. The control method according to claim 1, wherein the control method is updated as a shooting parameter. 前記副撮影パラメータは、前記本撮影パラメータに対してゲインを異ならせていることを特徴とする請求項1ないし3のいずれか1項に記載の制御方法。 The control method according to any one of claims 1 to 3, wherein the sub-shooting parameter has a different gain from the main shooting parameter. 前記副撮影画像は、互いに異なる副撮影パラメータをそれぞれ用いて前記対象物を複数回撮影して得られた副撮影画像群であることを特徴とする請求項1ないし4のいずれか1項に記載の制御方法。 The sub-photographed image according to any one of claims 1 to 4, wherein the sub-photographed image is a group of sub-photographed images obtained by photographing the object a plurality of times using different sub-photographing parameters. Control method. さらに、前記副撮影パラメータを設定するために表示部に表示されたGUIに基づき、前記副撮影パラメータを設定する設定工程を有することを特徴とする請求項1ないし5のいずれか1項に記載の制御方法。 The invention according to any one of claims 1 to 5 , further comprising a setting step for setting the sub-shooting parameter based on the GUI displayed on the display unit for setting the sub-shooting parameter. Control method. 撮影装置を用いて搬送される対象物の撮影を制御する制御システムであって、
予め定められた本撮影パラメータを用いて前記撮影装置が搬送される対象物を撮影して
本撮影画像を得る手段と、
前記本撮影パラメータとは異なる副撮影パラメータを用いて、前記撮影装置が搬送され
る対象物を撮影して副撮影画像を得る手段と、
前記本撮影画像と前記副撮影画像に対してパターンマッチング処理を施す処理手段と、
前記本撮影画像および前記副撮影画像に対してパターンマッチング処理が施された画像より得られる情報に基づいてマッチングスコアを計算する手段と、
前記本撮影画像に対するパターンマッチング処理が施された画像より得られる情報に基づいて計算された第1のマッチングスコアと前記副撮影画像に対するパターンマッチング処理が施された画像より得られる情報に基づいて計算された第2のマッチングスコアとを比較した結果に基づき、前記副撮影パラメータを新しい本撮影パラメータとして更新するか否かを決定する制御を行う制御手段と、
を備えた制御システム。
A control system that controls the shooting of an object transported using a shooting device.
A means for obtaining a main shooting image by photographing an object to be transported by the photographing device using predetermined main shooting parameters.
A means for obtaining a sub-photographed image by photographing an object to be conveyed by the photographing device by using a sub-photographing parameter different from the main photographing parameter.
And processing means to facilities the pattern matching processing on the the captured image the sub-captured image,
A means for calculating a matching score based on information obtained from an image obtained by performing pattern matching processing on the main photographed image and the sub-photographed image, and
Calculated based on the first matching score calculated based on the information obtained from the image obtained by pattern matching processing on the main captured image and the information obtained from the image obtained by pattern matching processing on the sub-photographed image. A control means for controlling whether or not to update the sub-shooting parameter as a new main shooting parameter based on the result of comparison with the second matching score obtained.
Control system with.
前記第2のマッチングスコアが、前記第1のマッチングスコアより高い場合に、副撮影パラメータを新しい本撮影パラメータとして更新することを特徴とする請求項に記載の制御システム。 The control system according to claim 7 , wherein when the second matching score is higher than the first matching score, the sub-shooting parameter is updated as a new main shooting parameter. 前記第1のマッチングスコアが第1の目標値を上回っている場合に、前記第2のマッチングスコアが前記第1の目標値より高い第2の目標値を上回ると、副撮影パラメータを新しい本撮影パラメータとして更新することを特徴とする請求項に記載の制御システム。 When the first matching score exceeds the first target value and the second matching score exceeds the second target value higher than the first target value, a new main shooting parameter is set for the secondary shooting parameter. The control system according to claim 7 , wherein the control system is updated as a parameter. 前記副撮影パラメータは、前記本撮影パラメータに対してゲインを異ならせていることを特徴とする請求項ないしのいずれか1項に記載の制御システム。 The control system according to any one of claims 7 to 9 , wherein the sub-shooting parameter has a different gain from the main shooting parameter. 前記副撮影画像は、互いに異なる副撮影パラメータをそれぞれ用いて前記対象物を複数回撮影して得られた副撮影画像群であることを特徴とする請求項ないし1のいずれか1項に記載の制御システム。 The sub-captured image, different sub photographing parameters in any one of claims 7 to 1 0, characterized in that a by-shot images obtained by photographing a plurality of times the object using each The control system described. さらに、前記副撮影パラメータを設定するために表示部に表示されたGUIに基づき、
前記副撮影パラメータを設定する設定手段を有することを特徴とする請求項ないし1のいずれか1項に記載の制御システム。
Furthermore, based on the GUI displayed on the display unit to set the sub-shooting parameters,
The control system according to any one of claims 7 to 11, further comprising a setting means for setting the sub-shooting parameter.
さらに、前記制御手段により動作を制御され、前記対象物を搬送する搬送装置を有することを特徴とする請求項ないし1のいずれか1項に記載の制御システム。 Furthermore, a controlled operation by the control means, the control system according to any one of claims 7 to 1 2, characterized in that it has a conveying device for conveying the object. さらに、前記制御手段により動作を制御されるロボットアームを備えていることを特徴とする請求項7ないし13のいずれか1項に記載の制御システム。 The control system according to any one of claims 7 to 13, further comprising a robot arm whose operation is controlled by the control means. コンピュータが、読み込み実行することで請求項1ないしのいずれか1項に記載の制御方法の各工程を実行可能とするプログラム。 A program that enables a computer to execute each step of the control method according to any one of claims 1 to 6 by reading and executing the program. 請求項1に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。 Computer readable storage medium storing a program according to claim 1 5.
JP2019036676A 2019-02-28 2019-02-28 Control method, control system, program, storage medium Active JP6855526B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019036676A JP6855526B2 (en) 2019-02-28 2019-02-28 Control method, control system, program, storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019036676A JP6855526B2 (en) 2019-02-28 2019-02-28 Control method, control system, program, storage medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015023664A Division JP6494313B2 (en) 2015-02-09 2015-02-09 Image processing method, apparatus system, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2019106209A JP2019106209A (en) 2019-06-27
JP6855526B2 true JP6855526B2 (en) 2021-04-07

Family

ID=67061404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019036676A Active JP6855526B2 (en) 2019-02-28 2019-02-28 Control method, control system, program, storage medium

Country Status (1)

Country Link
JP (1) JP6855526B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5401783B2 (en) * 2007-12-06 2014-01-29 新日鐵住金株式会社 Surface flaw detection method, detection apparatus and computer program for strip
EP2520923A1 (en) * 2011-05-06 2012-11-07 bioMérieux Bio-imaging method and system
JP2013108794A (en) * 2011-11-18 2013-06-06 Mitsubishi Electric Engineering Co Ltd Inspection apparatus
JP5597783B1 (en) * 2014-04-03 2014-10-01 株式会社シーアイエス Imaging device

Also Published As

Publication number Publication date
JP2019106209A (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6494313B2 (en) Image processing method, apparatus system, program, and storage medium
CN108108655B (en) Article identification device, control method and terminal equipment
JP2019145177A (en) Image processing method and imaging device
JP5383366B2 (en) Image processing apparatus, image processing method, and program thereof
JP2020077108A5 (en)
JP2016003981A (en) Bar arrangement inspection system, bar arrangement inspection program and bar arrangement inspection method
JP2014126494A (en) Inspection support device, inspection support method, robot system, control device, robot and program
US9871947B2 (en) Image processing apparatus, image processing method, and storage medium
JP6855526B2 (en) Control method, control system, program, storage medium
CN108652653B (en) Method and device for shooting medical image, medical image system and storage medium
US11989928B2 (en) Image processing system
JP6478639B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
JP6669390B2 (en) Information processing apparatus, information processing method, and program
JP2021174098A (en) Image processing apparatus, control method thereof, and program
JP2018125658A (en) Portable information processing device having camera function, display control method thereof, and program
CN107952240B (en) Game control method and device realized by using selfie stick and computing equipment
JP6025400B2 (en) Work position detection device and work position detection method
JP2020096325A (en) Information processor, control method of information processor, and program
JP7094806B2 (en) Image processing device and its control method, image pickup device, program
JP6694907B2 (en) Judgment device, judgment method and judgment program
KR20220053983A (en) Apparatus and method for providing guidance information for visual space shooting
JPWO2022085135A5 (en)
JP2021018642A (en) Information processing device, system, information processing method and program
EP1259059A2 (en) Adjustable image capturing system
JP6937282B2 (en) Annotation support system, annotation support device and annotation support method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R151 Written notification of patent or utility model registration

Ref document number: 6855526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151