JP7210171B2 - IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM - Google Patents

IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM Download PDF

Info

Publication number
JP7210171B2
JP7210171B2 JP2018129070A JP2018129070A JP7210171B2 JP 7210171 B2 JP7210171 B2 JP 7210171B2 JP 2018129070 A JP2018129070 A JP 2018129070A JP 2018129070 A JP2018129070 A JP 2018129070A JP 7210171 B2 JP7210171 B2 JP 7210171B2
Authority
JP
Japan
Prior art keywords
image processing
image
imaging
measurement
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018129070A
Other languages
Japanese (ja)
Other versions
JP2020009101A (en
Inventor
知也 浅沼
元気 長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018129070A priority Critical patent/JP7210171B2/en
Priority to US16/502,250 priority patent/US11336831B2/en
Priority to CN201910603870.0A priority patent/CN110691186B/en
Publication of JP2020009101A publication Critical patent/JP2020009101A/en
Application granted granted Critical
Publication of JP7210171B2 publication Critical patent/JP7210171B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像装置の撮影方向や撮影画角を制御し、撮像画像を処理する画像処理の技術に関する。 The present invention relates to an image processing technique for controlling the photographing direction and the photographing angle of view of an image pickup apparatus and processing a picked-up image.

画像処理を行ってロボットや搬送装置等の機器を制御する技術は、工場での製品生産や品質確認、運用、管理等に使用される。撮像装置によって作業対象（以下、ワークと呼ぶ）を撮影する際、撮影方向や撮影倍率を変更する駆動部を備えた撮像装置を使用すれば、複数の撮影位置や撮影画角で画像を取得できる。１台の撮像装置で取得した画像を複数の画像処理工程で使用可能である。 The technology of image processing to control devices such as robots and transport devices is used for product production, quality confirmation, operation, management, etc. in factories. When photographing a work target (hereinafter referred to as a work) with an imaging device, if an imaging device equipped with a driving unit that changes the imaging direction and imaging magnification is used, images can be obtained at multiple imaging positions and imaging angles. . An image acquired by a single imaging device can be used in a plurality of image processing steps.

しかし、撮像装置が備える駆動部の性能や撮像装置の設置環境によっては、画像処理の計測精度が十分でない可能性がある。例えば、撮像装置の撮影位置が所望の位置となったとしても、撮像装置の振動が十分に収束せず、静定していない状態で撮像された画像を使用する場合、画像処理の計測精度が低下する可能性がある。特許文献１には、カメラで撮影した画像に対し、カメラが安定撮像状態かどうかの判定を行う技術が開示されている。判定結果を用いて安定した画像を取得し、高い計測精度で画像処理を行うことが可能である。 However, depending on the performance of the driving unit included in the imaging device and the installation environment of the imaging device, the measurement accuracy of image processing may not be sufficient. For example, even if the imaging position of the imaging device becomes a desired position, the vibration of the imaging device does not sufficiently converge, and when using an image captured in an unstable state, the measurement accuracy of the image processing is reduced. may decline. Japanese Unexamined Patent Application Publication No. 2002-200000 discloses a technique for determining whether or not a camera is in a stable imaging state for an image captured by the camera. It is possible to acquire a stable image using the determination result and perform image processing with high measurement accuracy.

特開２０１５－９７３０１号公報JP 2015-97301 A

ところで、工場等において、使用する画像処理やワークの種類に応じて必要とされる計測精度はそれぞれ異なる場合がある。そのため、撮像装置の静定状態を確認した後に行われた画像処理であっても、必要な計測精度を満たさないことが起こりうる。また、撮像装置が必要以上の計測精度を満たす静定状態となるまでにかかる時間が長くなると、全体の処理時間を増加させる原因となる。 By the way, in a factory or the like, the required measurement accuracy may vary depending on the image processing used and the type of workpiece. Therefore, even image processing performed after confirming the static state of the imaging device may not satisfy the necessary measurement accuracy. In addition, if the time required for the imaging device to reach a static state that satisfies the required measurement accuracy becomes longer, this causes an increase in the overall processing time.

一例として、搬送装置によって個々に搬送される複数種のワークを、撮像装置が撮像した画像を用いて類別し、ロボットがワークの種類ごとに異なる搬送車に積載する作業工程を想定する。ロボットが正しくワーク座標を認識してワークを把持するためには、画像処理の計測精度を所定の精度以上に高める必要がある。一方、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、画像処理の計測精度をそれほど高くする必要はなく、短時間で処理を終了できることが求められる。
本発明の目的は、画像処理に必要十分な計測精度で撮像装置の静定判定を行って計測処理をより短時間で行うことである。 As an example, assume a work process in which a plurality of types of workpieces individually transported by a transport device are classified using images captured by an imaging device, and a robot loads the workpieces onto different transport vehicles for each type. In order for the robot to correctly recognize the workpiece coordinates and grip the workpiece, it is necessary to increase the measurement accuracy of image processing to a predetermined accuracy or higher. On the other hand, in the process in which the imaging device images the guided vehicle and determines whether or not the guided vehicle is within the stop frame, the measurement accuracy of the image processing does not need to be very high, and the process must be completed in a short period of time. be done.
SUMMARY OF THE INVENTION An object of the present invention is to perform static determination of an imaging device with sufficient measurement accuracy for image processing, and to perform measurement processing in a shorter time.

本発明の一実施形態の画像処理装置は、撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を設定する処理を行う設定手段と、前記撮像手段の静定状態を判定する判定条件のデータを入力する入力手段と、前記撮像手段によって計測時に取得される撮像画像から、前記設定手段により設定された前記特徴部に対応する画像領域での振動量を算出する算出手段と、前記撮像画像のデータを取得して画像処理を行う画像処理手段と、前記算出手段によって算出された前記振動量が前記判定条件を満たす前記撮像手段の静定状態にて、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える。前記入力手段によって複数の判定レベルから選択される前記判定条件のデータは、前記判定レベルに対応する計測間隔、計測時間、および閾値をあらかじめ組み合わせたデータであり、前記制御手段は、前記算出手段によって算出された前記振動量を、前記複数の判定レベルから選択された判定レベルに対応する前記閾値と比較して前記画像処理手段により前記撮像画像の画像処理を行うか否かを決定する。
An image processing apparatus according to an embodiment of the present invention is an image processing apparatus that processes data of a captured image obtained by capturing an image of a measurement target using an imaging means capable of changing a shooting direction or a shooting angle of view, wherein the captured image setting means for setting a reference image area that serves as a reference and performing processing for setting a characteristic portion of an image in the reference image area; input means for inputting determination condition data for determining a static state of the imaging means; Calculation means for calculating a vibration amount in an image region corresponding to the characteristic portion set by the setting means from the captured image acquired by the imaging means during measurement, and acquiring data of the captured image and performing image processing. and image processing of the captured image by the image processing means in a static state of the imaging means in which the vibration amount calculated by the calculation means satisfies the determination condition, and an image processing result and a control means for controlling to output the The determination condition data selected from a plurality of determination levels by the input means is data obtained by combining in advance a measurement interval, a measurement time, and a threshold value corresponding to the determination level, and the control means controls the calculation means to The calculated vibration amount is compared with the threshold value corresponding to the determination level selected from the plurality of determination levels to determine whether or not to perform image processing of the captured image by the image processing means.

本発明の画像処理装置によれば、画像処理に必要十分な計測精度で撮像装置の静定判定を行って計測処理をより短時間で行うことができる。 According to the image processing apparatus of the present invention, it is possible to determine the static state of the imaging apparatus with sufficient measurement accuracy necessary for image processing, and perform the measurement process in a shorter time.

第１実施例に係る画像処理装置を含むシステムの全体構成図である。1 is an overall configuration diagram of a system including an image processing apparatus according to a first embodiment; FIG. 第１実施例に係る撮像装置の概略図である。1 is a schematic diagram of an imaging device according to a first embodiment; FIG. 第１実施例に係る計測シーンの説明図である。FIG. 4 is an explanatory diagram of a measurement scene according to the first embodiment; 第１実施例に係る画像処理装置のブロック図である。1 is a block diagram of an image processing apparatus according to a first embodiment; FIG. 第１実施例に係るフローチャート作成画面を表す図である。It is a figure showing the flowchart creation screen which concerns on 1st Example. 第１実施例に係る基準特徴の登録処理画面を表す図である。FIG. 11 is a diagram showing a registration processing screen for reference features according to the first embodiment; 第１実施例に係る基準特徴の登録処理のシーケンス図である。FIG. 10 is a sequence diagram of registration processing of reference features according to the first embodiment; 第１実施例に係る静定状態の判定処理を説明する図である。It is a figure explaining the determination processing of the static state which concerns on 1st Example. 第１実施例に係る基準特徴情報のデータ形式を表す図である。4 is a diagram showing a data format of reference feature information according to the first example; FIG. 第１実施例に係る計測処理の設定画面を表す図である。It is a figure showing the setting screen of the measurement process which concerns on 1st Example. 第１実施例に係る計測処理のシーケンス図である。4 is a sequence diagram of measurement processing according to the first embodiment; FIG. 第２実施例に係る基準特徴の登録処理画面を表す図である。FIG. 11 is a diagram showing a registration processing screen for reference features according to the second embodiment; 第２実施例に係る基準特徴の登録処理のシーケンス図である。FIG. 11 is a sequence diagram of registration processing of reference features according to the second embodiment; 第３実施例に係る過去の計測値による推測処理を説明する図である。It is a figure explaining the estimation process by the past measured value which concerns on 3rd Example.

以下に、本発明の好適な実施形態について、添付図面に示す各実施例にしたがって詳細に説明する。撮像装置が振動センサを具備する場合には振動センサの検出値により撮像装置の静定状態を判定できるが、撮像装置が振動センサを具備しない場合には別の手段が必要である。各実施例では撮像装置の静定状態の判定処理を画像処理手段が行う構成について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION A preferred embodiment of the present invention will be described in detail below according to each example shown in the accompanying drawings. If the image pickup device has a vibration sensor, the static state of the image pickup device can be determined based on the detection value of the vibration sensor. In each embodiment, a description will be given of a configuration in which image processing means performs determination processing of the stationary state of the imaging device.

［第１実施例］
図１は、本実施形態に係る画像処理装置を含むシステムの全体構成図である。システムの制御装置１０１は、予め設定されたタイミングで各装置への制御指令を送信する。システムは制御装置１０１、画像処理装置１０２、撮像装置１０３、作業用のロボット１０４、搬送装置１０５、搬送車１０６，１０７から構成される。 [First embodiment]
FIG. 1 is an overall configuration diagram of a system including an image processing apparatus according to this embodiment. A control device 101 of the system transmits a control command to each device at preset timings. The system comprises a control device 101 , an image processing device 102 , an imaging device 103 , a working robot 104 , a transfer device 105 and transfer vehicles 106 and 107 .

画像処理装置１０２は、制御装置１０１から受信した制御指令にしたがって、撮像装置１０３の駆動制御を行う。撮像装置１０３は撮影方向と撮影画角の変更が可能であり、画像処理装置１０２からの制御信号により計測対象の撮影位置を変更して撮像動作を行う。画像処理装置１０２は撮像装置１０３から取得した撮像画像データを処理し、画像処理結果を制御装置１０１に送信する。制御装置１０１は、画像処理結果に基づいてロボット１０４、搬送装置１０５、搬送車１０６，１０７を制御し、所定の作業を実行させる。 The image processing device 102 controls driving of the imaging device 103 according to the control command received from the control device 101 . The imaging device 103 can change the imaging direction and the imaging angle of view, and performs an imaging operation by changing the imaging position of the measurement target according to a control signal from the image processing device 102 . The image processing device 102 processes captured image data acquired from the imaging device 103 and transmits the image processing result to the control device 101 . The control device 101 controls the robot 104, the transport device 105, and the transport vehicles 106 and 107 based on the image processing result to perform a predetermined work.

一例として、以下の作業工程を説明する。
・撮像装置１０３が撮像した画像データを用いて、搬送装置１０５により搬送されるワーク１０８～１１０の種別を判別する工程。
・ロボット１０４によってワークの種別ごとに異なる搬送車にワークを配置する工程。
ワークを搬送する搬送車１０６，１０７の停止位置は、複数の停止枠１１１により決定されるものとする。 As an example, the following work process will be described.
• A step of discriminating the types of the works 108 to 110 transported by the transport device 105 using the image data captured by the imaging device 103 .
• A process of arranging the workpieces on different transport vehicles for each type of workpiece by the robot 104 .
It is assumed that the stop positions of the carriers 106 and 107 that carry the work are determined by a plurality of stop frames 111 .

図２は撮像装置１０３の撮影方向と撮影画角を変更する駆動機構を説明する模式図である。撮像装置１０３は、雲台２０１と撮影系（撮像光学系）２０２を備える。雲台２０１は、撮影系２０２の方向を、横方向（以下、パンニング方向をＰ方向と記す）および縦方向（以下、チルティング方向をＴ方向と記す）に変化させる２つの駆動系の機構部を有する。パンニング機構（パン機構ともいう）は撮影系２０２をＰ方向に駆動させる機構であり、チルティング機構（チルト機構ともいう）は撮影系２０２をＴ方向に駆動させる機構である。これらの機構によって撮影系２０２の撮影方向は、Ｐ方向にて３６０°の範囲で変更可能、つまりエンドレス旋回が可能である。またＴ方向にて、水平方向を０度として－３０．０度～＋２１０．０度の範囲で撮影方向を変更可能である。また撮像装置１０３はズーム機構により、撮影系２０２のズーム倍率を１．０倍～２０．０倍の範囲で変更可能である。 FIG. 2 is a schematic diagram illustrating a driving mechanism for changing the shooting direction and shooting angle of view of the imaging device 103. As shown in FIG. The imaging device 103 includes a platform 201 and an imaging system (imaging optical system) 202 . The pan head 201 has two drive system mechanisms that change the direction of the imaging system 202 in the horizontal direction (the panning direction is hereinafter referred to as the P direction) and the vertical direction (the tilting direction is hereinafter referred to as the T direction). have A panning mechanism (also referred to as a pan mechanism) is a mechanism that drives the imaging system 202 in the P direction, and a tilting mechanism (also referred to as a tilt mechanism) is a mechanism that drives the imaging system 202 in the T direction. With these mechanisms, the imaging direction of the imaging system 202 can be changed within a range of 360° in the P direction, that is, endless turning is possible. In the T direction, the shooting direction can be changed within a range of -30.0 degrees to +210.0 degrees with the horizontal direction being 0 degrees. In addition, the imaging device 103 can change the zoom magnification of the imaging system 202 within the range of 1.0 to 20.0 times by the zoom mechanism.

このように撮像装置１０３は、撮影方向およびズーム倍率の制御により撮影位置と撮影画角を変更することができ、例えば以下の計測シーンを撮影することができる。
・ワーク１０８～１１０の種別を検出する計測シーンＡ１１２。
・搬送車１０６，１０７が停止枠１１１内にそれぞれ存在するか否かを判定する計測シーンＢ１１３および計測シーンＣ１１４。 In this manner, the imaging apparatus 103 can change the imaging position and imaging angle of view by controlling the imaging direction and zoom magnification, and can, for example, photograph the following measurement scenes.
A measurement scene A112 for detecting the types of works 108-110.
A measurement scene B113 and a measurement scene C114 for determining whether or not the transport vehicles 106 and 107 are present within the stop frame 111, respectively.

本実施形態では便宜上、１台の撮像装置の使用例を説明するが、より大規模なシステムにおいては複数の撮像装置が使用される。各撮像装置は複数の計測シーンの撮影を担当する。さらには、撮像装置がジャイロセンサ等の振動検出センサを備える構成でもよい。 In this embodiment, for the sake of convenience, an example of using one imaging device will be described, but in a larger system, a plurality of imaging devices are used. Each imaging device takes charge of photographing a plurality of measurement scenes. Furthermore, the imaging device may be configured to include a vibration detection sensor such as a gyro sensor.

図３は、計測シーンＡ１１２およびＢ１１３を説明する図である。図３（Ａ）は計測シーンＡ１１２の画像例を示し、図３（Ｂ）は計測シーンＢ１１３の画像例を示す。図３（Ａ）に示す画像３０１は、撮像装置１０３が搬送装置１０５上のワーク１０８を撮像した画像である。画像処理装置１０２は画像３０１のデータを処理し、ワーク１０８の実空間座標を算出する。制御装置１０１は画像処理結果に基づいてロボット１０４を制御する。このとき、撮像装置１０３の位置再現性が低下すると、画像処理装置１０２が算出したワーク１０８の位置姿勢の座標と実際のワーク１０８の位置姿勢の座標との間で誤差が発生する。誤差が許容範囲を超えた場合、ロボット１０４の制御に誤りが発生し、ワーク１０８の把持やピックアップ動作に支障を来す可能性がある。 FIG. 3 is a diagram for explaining the measurement scenes A112 and B113. FIG. 3A shows an example image of the measurement scene A112, and FIG. 3B shows an example image of the measurement scene B113. An image 301 shown in FIG. 3A is an image captured by the imaging device 103 of the work 108 on the conveying device 105 . The image processing device 102 processes the data of the image 301 and calculates the real space coordinates of the workpiece 108 . The control device 101 controls the robot 104 based on the image processing result. At this time, if the position reproducibility of the imaging device 103 is lowered, an error occurs between the coordinates of the position and orientation of the workpiece 108 calculated by the image processing device 102 and the coordinates of the actual position and orientation of the workpiece 108 . If the error exceeds the allowable range, an error may occur in the control of the robot 104, which may hinder the gripping and picking up of the workpiece 108. FIG.

そこで画像処理装置１０２は、撮像装置１０３の撮影位置を変更したのちに撮影し、その静定状態を判定する。基準画像領域については後述するが、例えば搬送装置１０５を固定するボルトや柱が写っている領域３０２のように、時間経過に伴う変動が小さく、かつ特徴量の大きい領域が基準画像領域として好適である。これに対し、ワーク１０８とその周辺部だけが写っている領域のような、動画像において時間経過に伴って位置や傾きが変化する領域は基準画像領域として適切ではない。 Therefore, the image processing apparatus 102 changes the shooting position of the imaging device 103, shoots the image, and determines its static state. The reference image area will be described later, but an area with a small change over time and a large feature amount, such as the area 302 where the bolts and pillars for fixing the conveying device 105 are shown, is suitable as the reference image area. be. On the other hand, an area in which the position and inclination change with time in the moving image, such as an area in which only the work 108 and its peripheral portion are shown, is not suitable as a reference image area.

撮像装置１０３は、基準画像領域３０２を含む画像３０１のデータを画像処理装置１０２に送信する。または、基準画像領域３０２をトリミングした画像データを撮像装置１０３が画像処理装置１０２に送信してもよい。あるいは、撮像装置１０３が画像３０１の画像処理を行って後述する画像内の特徴部を抽出し、抽出結果を示すデータのみを画像処理装置１０２に送信してもよい。 The imaging device 103 transmits data of the image 301 including the reference image area 302 to the image processing device 102 . Alternatively, the imaging device 103 may transmit image data obtained by trimming the reference image region 302 to the image processing device 102 . Alternatively, the imaging device 103 may perform image processing on the image 301 to extract a characteristic portion in the image, which will be described later, and transmit only data indicating the extraction result to the image processing device 102 .

図３（Ｂ）に示す画像３０３は、撮像装置１０３が搬送車１０６を撮像した画像である。画像処理装置１０２は画像３０３の画像処理を行い、搬送車１０６が停止枠１１１内に存在するかどうかを判定する。このとき撮像装置に要求される静定性については、計測シーンＡ１１２に比較して判定精度が低いものとする。むしろ過分な静定性を要求すると、静定のための時間が必要となるので、全体処理にかかる計測時間が長くなるという問題が発生する。 An image 303 shown in FIG. 3B is an image of the carrier 106 captured by the imaging device 103 . The image processing device 102 performs image processing on the image 303 and determines whether or not the transport vehicle 106 exists within the stop frame 111 . At this time, it is assumed that the static definiteness required for the imaging apparatus has lower determination accuracy than the measurement scene A112. Rather, if excessive static determinism is required, time is required for static determinism, resulting in the problem of an increase in the measurement time required for the entire process.

図４は、画像処理装置１０２の構成例を示すブロック図である。画像処理装置１０２はインターフェース部４０３を介して制御装置１０１、撮像装置１０３と接続されている。入出力表示装置４０１、操作入力装置４０２はインターフェース部４０３を介して画像処理装置１０２と接続された、ユーザ・インターフェース用の装置である。各装置は画像処理装置１０２の内部バス上に配置された各インターフェース部４０３を介して接続される。各インターフェース部４０３は通信に適した規格に基づき、接続対象に応じたネットワークインターフェース部、シリアル通信インターフェース部等から構成される。 FIG. 4 is a block diagram showing a configuration example of the image processing apparatus 102. As shown in FIG. The image processing device 102 is connected to the control device 101 and the imaging device 103 via an interface unit 403 . An input/output display device 401 and an operation input device 402 are devices for user interface connected to the image processing apparatus 102 via an interface unit 403 . Each device is connected via each interface unit 403 arranged on the internal bus of the image processing device 102 . Each interface unit 403 is composed of a network interface unit, a serial communication interface unit, etc. corresponding to a connection target based on a standard suitable for communication.

入出力表示装置４０１は、画像を表示する陰極管や液晶パネル等の表示デバイスを備える。操作入力装置４０２は、キーボードやポインティングデバイス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置等により構成される。 The input/output display device 401 includes a display device such as a cathode tube or a liquid crystal panel for displaying images. The operation input device 402 includes a keyboard, pointing device, touch panel, input operation controller, gesture input device, and the like.

画像処理装置１０２と接続される撮像装置１０３には、撮影のために必要に応じて照明装置を併設してもよい。照明装置はハロゲンランプや発光ダイオード等の光源を備える。また画像処理装置１０２に外部記憶装置を接続して、記憶容量を拡大してもよい。 The imaging device 103 connected to the image processing device 102 may be provided with a lighting device for photographing, if necessary. The illumination device includes a light source such as a halogen lamp or a light emitting diode. Also, an external storage device may be connected to the image processing apparatus 102 to expand the storage capacity.

画像処理装置１０２は、画像処理の制御主体となる汎用マイクロプロセッサとして構成されたＣＰＵ（中央演算処理装置）や画像処理プロセッサ等により構成される演算部４０４を有する。演算部４０４は内部バス（データバス、アドレスバス、他の制御線等）を介して記憶部４０５と接続される。 The image processing apparatus 102 has a CPU (Central Processing Unit) configured as a general-purpose microprocessor that controls image processing, and an arithmetic unit 404 configured by an image processing processor and the like. The arithmetic unit 404 is connected to the storage unit 405 via an internal bus (data bus, address bus, other control lines, etc.).

記憶部４０５には、ＲＯＭ、ＲＡＭ、またはＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリデバイスや、外部記憶装置が使用される。ＲＯＭは“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”、ＲＡＭは“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略号である。ＥＰＲＯＭは“Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。ＥＥＰＲＯＭは“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。外部記憶装置は、例えばハードディスクドライブ装置（ＨＤＤ）や半導体メモリ素子で構成された記憶装置、あるいはインターフェース部４０３と接続可能な記憶装置等である。 The storage unit 405 uses a non-volatile memory device such as ROM, RAM, EPROM, EEPROM, or the like, or an external storage device. ROM is an abbreviation for "Read Only Memory" and RAM is an abbreviation for "Random Access Memory". EPROM is an abbreviation for "Erasable Programmable Read Only Memory". EEPROM is an abbreviation for "Electrically Erasable Programmable Read Only Memory". The external storage device is, for example, a hard disk drive (HDD), a storage device configured with a semiconductor memory element, or a storage device connectable to the interface unit 403 .

記憶部４０５は処理データ保存領域４０６およびプログラム記憶領域を有する。処理データ保存領域４０６は、記憶部４０５中のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域等によって構成される。処理データ保存領域４０６は、処理データを一時的に記憶する他、画像処理の設定パラメータ等の記憶領域として使用される。 The storage unit 405 has a processed data storage area 406 and a program storage area. The processing data saving area 406 is configured by a RAM area in the storage unit 405, a file area of an external storage device, a virtual storage area, and the like. A processing data storage area 406 temporarily stores processing data, and is also used as a storage area for image processing setting parameters and the like.

記憶部４０５のプログラム記憶領域には、本実施例の画像処理を実行するための画像処理プログラム４０７が記憶される。画像処理プログラム４０７は、操作入力装置４０２によって行われた各種操作に応じて、画像処理の設定変更や所定の画像処理を実行する。また変更内容について、処理データ保存領域４０６へのデータの保存や、データの削除が可能である。 The program storage area of the storage unit 405 stores an image processing program 407 for executing the image processing of this embodiment. The image processing program 407 changes image processing settings and executes predetermined image processing according to various operations performed by the operation input device 402 . As for the changed contents, it is possible to store data in the processed data storage area 406 or delete the data.

画像処理プログラム４０７は、各種の機能を実現するソフトウェアモジュールから構成される。例えば画像処理モジュール４０８は画像処理を実現する本体部分である。このモジュールが行う画像処理には画像処理ライブラリ４０９が用いられる。画像処理ライブラリ４０９は、例えば静的または動的にリンクされるライブラリとして記憶部４０５に実装される。画像処理設定モジュール４１０は画像処理プログラム４０７の振舞いを決定する。画像処理設定は操作入力装置４０２によって行われた各種操作に応じて行われる。 The image processing program 407 is composed of software modules that implement various functions. For example, the image processing module 408 is a main part that implements image processing. An image processing library 409 is used for image processing performed by this module. The image processing library 409 is implemented in the storage unit 405 as a statically or dynamically linked library, for example. Image processing configuration module 410 determines the behavior of image processing program 407 . Image processing settings are made according to various operations performed by the operation input device 402 .

さらに、画像処理プログラム４０７には、次の機能を実現するＩ／Ｏ（入出力）用サブルーチンが含まれる。例えば、外部デバイス制御サブルーチン４１１、保存データ生成サブルーチン４１２、制御装置１０１からの制御指令を受け付けるための指令受付サブルーチン４１３がある。またＲＡＭ領域や演算部４０４のキャッシュ領域等を使用する一時記憶サブルーチン４１４、表示画面生成サブルーチン４１５がある。保存データ出力サブルーチン４１６は処理データ保存領域４０６に保存されたデータを読み出して出力するプログラムであり、操作受付サブルーチン４１７は操作入力装置４０２からの操作指示を受け付けるためのプログラムである。各機能は、アプリケーション（ユーティリティ）プログラムや、静的または動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶部４０５に実装される。 Further, the image processing program 407 includes an I/O (input/output) subroutine that implements the following functions. For example, there is an external device control subroutine 411 , a saved data generation subroutine 412 , and a command reception subroutine 413 for receiving control commands from the control device 101 . There is also a temporary storage subroutine 414 and a display screen generation subroutine 415 that use the RAM area, the cache area of the computing unit 404, and the like. A saved data output subroutine 416 is a program for reading and outputting data saved in the processed data saving area 406 , and an operation reception subroutine 417 is a program for receiving operation instructions from the operation input device 402 . Each function is implemented in the storage unit 405 in the form of an application (utility) program or a subroutine configured as a statically or dynamically linked library.

画像処理装置１０２のＣＰＵは画像処理プログラム４０７を実行することにより、撮像装置１０３の制御、演算部４０４を利用した画像処理を行う。また、操作入力装置４０２によりユーザの操作指示を受け付ける処理や、画像処理装置１０２の外部装置である制御装置１０１から制御指令を受け付ける処理が実行される。演算部４０４は操作指示や制御指令に応じて、画像処理プログラム４０７の各機能モジュールやライブラリを呼び出して演算処理を行い、画像処理結果のデータを制御装置１０１に送信する。また、画像処理結果のデータを外部記憶装置に送信して蓄積（ロギング）することができる。さらには、プログラムによって予め記憶されている画面構成と画像処理結果とを画面上で合成し、入出力表示装置４０１に表示する処理が実行される。 The CPU of the image processing apparatus 102 executes the image processing program 407 to control the imaging apparatus 103 and perform image processing using the calculation unit 404 . Further, a process of receiving a user's operation instruction by the operation input device 402 and a process of receiving a control command from the control device 101 which is an external device of the image processing device 102 are executed. The calculation unit 404 performs calculation processing by calling each function module and library of the image processing program 407 in response to an operation instruction or a control instruction, and transmits image processing result data to the control device 101 . In addition, data of image processing results can be transmitted to an external storage device and stored (logged). Further, a process of synthesizing the screen configuration stored in advance by the program and the image processing result on the screen and displaying it on the input/output display device 401 is executed.

図５は、画像処理プログラム４０７を作成するためのフローチャート作成画面の例を示す図である。この画面は入出力表示装置４０１に表示される。本実施例に係る画像処理プログラム４０７は、ユーザが画像処理装置１０２を用いて作成したフローチャートに従って実行されるものとする。その他の実施形態として、ユーザが図１に示していない画像処理プログラム作成装置を使用して画像処理プログラム４０７を作成する形態がある。この場合、作成された画像処理プログラム４０７が画像処理装置１０２の記憶部４０５に転送されて記憶される。また、機能別または目的別に予め定型で用意された組合せ済みの画像処理フローチャートを内包したパッケージ機能を用いる形態でもよい。この場合、ユーザはＧＵＩ（グラフィカル・ユーザ・インターフェース）上で所望の機能を選択し、パラメータ等の調整を行うことができる。 FIG. 5 is a diagram showing an example of a flowchart creation screen for creating the image processing program 407. As shown in FIG. This screen is displayed on the input/output display device 401 . The image processing program 407 according to this embodiment is executed according to a flowchart created by the user using the image processing apparatus 102 . As another embodiment, there is a form in which the user creates the image processing program 407 using an image processing program creation device not shown in FIG. In this case, the created image processing program 407 is transferred to and stored in the storage unit 405 of the image processing apparatus 102 . Alternatively, a package function may be used that includes combined image processing flowcharts prepared in advance according to function or purpose. In this case, the user can select a desired function on a GUI (graphical user interface) and adjust parameters and the like.

パーツリスト５０１は、フローチャートを構成する各処理パーツのリストである。ユーザは矩形枠内に示す各種の処理や、菱形枠内に示す条件分岐処理を指定することができる。例えばユーザは操作入力装置４０２を用いて、パーツリスト５０１から所望の処理パーツを指定する。ポインティングデバイス等でドラッグ＆ドロップ操作を行い、フローチャート領域５０２に配置した複数の処理パーツ同士を線で結合することにより、フローチャートの作成が可能である。 A parts list 501 is a list of processing parts that constitute the flow chart. The user can specify various types of processing shown in rectangular frames and conditional branch processing shown in rhombic frames. For example, the user uses the operation input device 402 to designate a desired processing part from the parts list 501 . A flow chart can be created by performing a drag-and-drop operation with a pointing device or the like and connecting a plurality of processing parts arranged in the flow chart area 502 with lines.

複数の処理パーツから構成されるフローチャート５０３は、ロボット１０４によってワーク１０８～１１０を搬送装置１０５から取り出し、ワークの種別に従って搬送車１０６または１０７に配置する処理を記述した例である。この例において、処理の開始後の撮影処理５０４はワーク１０８～１１０を撮影する処理である。次のワーク位置計算５０５はワーク１０８～１１０の位置や位相を算出する計算処理であり、その次のロボット移動５０６の処理は、算出されたワーク位置の上方にロボット１０４のハンドを移動させたり回転させたりする処理である。Ｐｉｃｋ処理５０７はロボット１０４によるワーク１０８のピックアップ動作の処理であり、その次の撮影処理５０８は搬送車１０６を撮影する処理である。その次には、撮像画像内に搬送車１０６の画像領域が存在するかどうかを検出する存在検出５０９の処理が記述されている。さらに条件分岐処理５１０では、搬送車１０６の画像領域が撮像画像内に存在する場合にロボット移動処理５１１に進み、搬送車１０６の画像領域が撮像画像内に存在しない場合に報知処理５１３に進むことが記述されている。ロボット移動処理５１１は、ロボット１０４により取り出されたワーク１０８を搬送車１０６の位置に移動させる処理である。次のＰｌａｃｅ処理５１２はロボット１０４がワーク１０８を搬送車１０６上に載置する処理である。報知処理５１３は一定時間を待って検出された異常発生を報知する処理である。そして一連の処理を終了する。 A flow chart 503 composed of a plurality of processing parts is an example describing processing in which the robot 104 picks up the works 108 to 110 from the transfer device 105 and places them on the transfer vehicle 106 or 107 according to the type of the work. In this example, the photographing process 504 after the start of the process is the process of photographing the works 108-110. The next work position calculation 505 is a calculation process for calculating the positions and phases of the works 108 to 110, and the next process of robot movement 506 is to move or rotate the hand of the robot 104 above the calculated work position. It is a process to let Pick processing 507 is processing for picking up the workpiece 108 by the robot 104 , and imaging processing 508 following that is processing for imaging the carrier 106 . Next, a process of presence detection 509 for detecting whether or not the image area of the transport vehicle 106 exists in the captured image is described. Furthermore, in the conditional branch processing 510, if the image area of the transport vehicle 106 exists in the captured image, the process proceeds to robot movement processing 511, and if the image area of the transport vehicle 106 does not exist in the captured image, the process proceeds to notification processing 513. is described. The robot movement processing 511 is processing for moving the workpiece 108 picked up by the robot 104 to the position of the carrier 106 . The next Place process 512 is a process in which the robot 104 places the work 108 on the carrier 106 . Notification processing 513 is processing for notifying the occurrence of an abnormality detected after waiting for a predetermined period of time. Then, the series of processing ends.

ユーザは所望の処理パーツを組み合わせて、目的とするフローチャート５０３を作成する。作成されたフローチャート５０３において、処理パーツのいずれかのダブルクリック操作が行われた場合、当該処理パーツの詳細な処理を設定するための設定画面の表示処理に遷移する。この設定画面については後述する。ＯＫボタン５１４のクリック操作が行われた場合、画像処理装置１０２はフローチャートに記述された処理を実行するための画像処理プログラム４０７を生成する。 The user creates a desired flowchart 503 by combining desired processing parts. In the created flowchart 503, when a double-click operation is performed on any of the processing parts, transition is made to display processing of a setting screen for setting detailed processing of the processing part. This setting screen will be described later. When the OK button 514 is clicked, the image processing apparatus 102 generates the image processing program 407 for executing the processing described in the flowchart.

図６は、撮影処理における基準特徴の登録処理画面を表す図である。例えば、ユーザが図５に示すフローチャート５０３において、撮影処理５０４または５０８の処理パーツに対するダブルクリック操作を行った場合、登録処理画面６０１が入出力表示装置４０１によって表示される。ユーザは登録処理画面６０１を見ながら、計測時の基準として用いる基準特徴の設定登録を行うことができる。 FIG. 6 is a diagram showing a reference feature registration processing screen in the photographing processing. For example, in the flowchart 503 shown in FIG. 5 , when the user performs a double-click operation on the processing part of the shooting processing 504 or 508 , the registration processing screen 601 is displayed by the input/output display device 401 . While viewing the registration processing screen 601, the user can set and register the reference features to be used as the reference during measurement.

図７は基準特徴の登録処理のシーケンス図である。以下では、図６および図７を参照して以下の処理（Ａ）～（Ｃ）から構成される登録処理について具体的に説明する。
（Ａ）使用する撮像装置の設定処理。
（Ｂ）撮影位置に関するパンニングとチルティング、ズーム倍率の設定処理。
（Ｃ）撮像装置が備える駆動機構部の性能や劣化、撮像装置の設置環境に由来する駆動機構部の駆動後の静定状態を評価するために基準特徴部および静定状態の判定条件を設定する処理。駆動機構部にはパン機構、チルト機構、ズーム機構が含まれる。 FIG. 7 is a sequence diagram of a reference feature registration process. In the following, the registration process consisting of the following processes (A) to (C) will be specifically described with reference to FIGS. 6 and 7. FIG.
(A) Setting processing of the imaging device to be used.
(B) Processing for setting panning, tilting, and zoom ratios for photographing positions.
(C) Setting a reference characteristic portion and determination conditions for the static state in order to evaluate the performance and deterioration of the driving mechanism portion provided in the imaging device and the static state after driving of the driving mechanism portion derived from the installation environment of the imaging device process to do. The drive mechanism section includes a pan mechanism, a tilt mechanism, and a zoom mechanism.

まず処理（Ａ）について説明する。図６の撮影パーツＩＤ６０２は、撮影パーツを識別するための情報を表示するボックスである。カメラＩＤ６０３は、撮像装置の識別情報であるカメラＩＤを設定するためのスピンボックス、つまりスピンコントロール付きテキストボックスである。システムにて複数台の撮像装置が使用される場合、ユーザはカメラＩＤを選択することによって、撮影に使用するカメラを設定することができる。ここでは、撮像装置１０３に割り当てられたカメラＩＤが指定されたものとして説明する。 First, processing (A) will be described. A shooting part ID 602 in FIG. 6 is a box that displays information for identifying a shooting part. A camera ID 603 is a spin box for setting a camera ID, which is identification information of an imaging device, that is, a text box with a spin control. When multiple imaging devices are used in the system, the user can set the camera to be used for imaging by selecting the camera ID. Here, it is assumed that the camera ID assigned to the imaging device 103 is specified.

次に処理（Ｂ）について説明する。図６のバー６０４～６０６は、撮像装置１０３のパンニング、チルティング、ズーム倍率を変更するために操作されるスライドバーである。撮像装置１０３による撮像画像は画像表示領域６０７に表示され、その下側にパンニング用のバー６０４が配置されている。バー６０４の操作によりＰ方向における撮影位置を変更可能である。画像表示領域６０７の右側にはチルティング用のバー６０５、およびズーム倍率変更用のバー６０６が配置されている。バー６０５の操作によりＴ方向における撮影位置を変更可能である。バー６０６の操作により撮影画角を変更可能である。 Next, processing (B) will be described. Bars 604 to 606 in FIG. 6 are slide bars operated to change the panning, tilting, and zoom magnification of the imaging device 103 . An image captured by the imaging device 103 is displayed in an image display area 607, and a panning bar 604 is arranged below it. The shooting position in the P direction can be changed by operating the bar 604 . A bar 605 for tilting and a bar 606 for changing zoom magnification are arranged on the right side of the image display area 607 . The imaging position in the T direction can be changed by operating the bar 605 . The shooting angle of view can be changed by operating the bar 606 .

図７には画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図７の上から下への方向と定義する。ユーザがバー６０４～６０６のうちの所望のバーを操作した場合、画像処理装置１０２は撮像装置１０３に対して撮影指令を送信する（Ｓ７０１）。撮像装置１０３は駆動部を制御して、パンニングやチルティングの変更（撮影方向の変更）、またはズーム倍率の変更を行う（Ｓ７０２）。その後、撮像装置１０３による撮影動作が行われ（Ｓ７０３）、撮像画像のデータが画像処理装置１０２に送信される（Ｓ７０４）。画像処理装置１０２は撮像画像の表示処理を行い、入出力表示装置４０１の画面における画像表示領域６０７に撮像画像が表示される。図６に表示される画像例では、図１に示した搬送装置１０５と搬送中のワーク１０８、搬送装置１０５を固定しているボルト部分６０８（図３に示す領域３０２に対応する）が写っている。Ｓ７０１からＳ７０４の処理はループ処理として、ユーザがスライドバー（６０４から６０６のいずれか）を操作するたびに繰り返し実行される。 FIG. 7 shows an example of processing performed between the image processing apparatus 102 and the imaging apparatus 103. As shown in FIG. The direction of the time axis is defined as the direction from top to bottom in FIG. When the user operates a desired bar among the bars 604 to 606, the image processing device 102 transmits a photographing command to the imaging device 103 (S701). The image capturing apparatus 103 controls the drive unit to change panning or tilting (change the shooting direction) or change the zoom magnification (S702). After that, a photographing operation is performed by the imaging device 103 (S703), and data of the captured image is transmitted to the image processing device 102 (S704). The image processing device 102 performs display processing of the captured image, and the captured image is displayed in an image display area 607 on the screen of the input/output display device 401 . In the image example displayed in FIG. 6, the conveying device 105 shown in FIG. 1, the workpiece 108 being conveyed, and the bolt portion 608 (corresponding to the area 302 shown in FIG. 3) fixing the conveying device 105 are shown. there is The processing from S701 to S704 is loop processing, and is repeatedly executed each time the user operates the slide bar (one of 604 to 606).

次に処理（Ｃ）について説明する。処理（Ｃ）の目的は、撮像装置１０３の静定状態を画像処理によって判定することである。図６の画像表示領域６０７内に点線で示す枠６０９は、ユーザが基準画像領域を登録するための枠である。ユーザは操作入力装置４０２を用いて、枠６０９の形状、位置、大きさ等を変更可能である。図６では、搬送装置１０５を固定しているボルト部分６０８の画像領域が枠６０９によって包囲されており、４箇所の枠６０９内の領域が基準画像領域としてそれぞれ指定されている。図７のＳ７０５に基準画像領域の決定処理を示す。枠６０９は追加または削除が可能である。例えばユーザがマウスの右クリック操作を行うことでコンテキストメニュー（図示せず）が表示され、ユーザが「枠の追加・削除」を選択することによって、枠の追加や削除の操作を行える。 Next, processing (C) will be described. The purpose of the process (C) is to determine the static state of the imaging device 103 by image processing. A frame 609 indicated by a dotted line in the image display area 607 in FIG. 6 is a frame for the user to register the reference image area. The user can use the operation input device 402 to change the shape, position, size, etc. of the frame 609 . In FIG. 6, the image area of the bolt portion 608 that fixes the conveying device 105 is surrounded by a frame 609, and the areas within the frame 609 at four locations are designated as reference image areas. S705 in FIG. 7 shows the determination processing of the reference image area. Frame 609 can be added or deleted. For example, when the user right-clicks the mouse, a context menu (not shown) is displayed, and the user can select "add/delete frame" to add or delete a frame.

図６の登録処理画面６０１において中段には２つのスピンボックス６１０と６１１を示す。スピンボックス６１０は、基準画像領域から基準特徴を抽出する特徴抽出法を設定する際に使用される。特徴抽出法としてはパターンマッチング、エッジ検出、濃淡の検出、二値化重心、外接矩形、周囲長、色等を選択可能である。基準特徴とは、パターンの位置や位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等である。ユーザはスピンボックス６１０にて所望の選択肢を指定可能である。 Two spin boxes 610 and 611 are shown in the middle of the registration processing screen 601 of FIG. Spinbox 610 is used in setting the feature extraction method to extract the reference features from the reference image region. Pattern matching, edge detection, gradation detection, binarization barycenter, circumscribed rectangle, perimeter length, color, etc. can be selected as the feature extraction method. Reference features include the position and phase of a pattern, edges, grayscale values, the area and position of binarized regions, the size, position and inclination of rectangles, lengths, color density values, and the like. The user can specify desired options in the spin box 610 .

スピンボックス６１１は、振動量の計算法を選択する際に使用される。振動量の計算法は、基準特徴と、後述の計測時に抽出した特徴（基準特徴と同じく、パターンの位置または位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等）に基づく方法である。 A spin box 611 is used to select the calculation method for the vibration quantity. The method of calculating the amount of vibration is based on the reference features and the features extracted during the measurement described later (similar to the reference features, the position or phase of the pattern, the edge, the gray value, the area and position of the binarized region, the size and position of the rectangle, and the slope, length, color density value, etc.).

静定状態判定方法では基準特徴を有する基準特徴部および抽出された特徴を有する特徴部のそれぞれについて、特徴部同士の位置関係等が選択可能である。例えばパターンの一致度、エッジや領域の重心位置の差、矩形の大きさや位置座標同士の距離および傾きの差、長さの差、濃淡の差等を選択することができる。複数の静定状態判定方法において２以上の計算方法の組み合わせを設定できるように構成してもよい。 In the static state determination method, it is possible to select the positional relationship and the like between the feature portions for each of the reference feature portion having the reference feature and the feature portion having the extracted feature. For example, it is possible to select the matching degree of patterns, the difference in the centroid positions of edges and regions, the size of rectangles, the distance between position coordinates, the difference in inclination, the difference in length, and the difference in gradation. It may be configured such that a combination of two or more calculation methods can be set in a plurality of static state determination methods.

図６のコントロール６１２は、撮像装置の静定状態を判定するための設定を行う際に使用される。ユーザは静定判定条件を指定する際にラジオボタン６１３または６１４を選択可能である。ラジオボタン６１３は静定状態の判定条件を簡単に設定したい場合に選択される。ラジオボタン６１４は静定状態の判定条件を詳細に設定したい場合に選択される。 Controls 612 in FIG. 6 are used to configure settings for determining the static state of the imaging device. The user can select a radio button 613 or 614 when specifying the static determination condition. A radio button 613 is selected when it is desired to simply set the determination condition of the static state. A radio button 614 is selected when it is desired to set the determination condition of the static state in detail.

ラジオボタン６１３が選択された場合、スピンボックス６１５で判定レベルを設定することができる。スピンボックス６１５で設定可能な判定レベルについては最小値と最大値が規定されている。これは、後述の計測間隔、計測時間、および閾値のセットに基づくものである。例えば、判定レベルが１である場合、計測精度をそれほど必要としない環境で使用することを想定している。この場合、計測間隔１回／ｓｅｃ、計測時間１０秒、閾値３センチメートルが設定される。また判定レベルが１０である場合には、計測精度を必要とする環境で使用することを想定している。この場合、計測間隔３０回／ｓｅｃ、計測時間５秒、閾値１ミリメートルが設定される。このように、判定レベルに応じた既存の設定値の組を選択することができる。 If the radio button 613 is selected, a spin box 615 can be used to set the determination level. Minimum and maximum values are defined for the determination levels that can be set in the spin box 615 . This is based on a set of measurement intervals, measurement times, and thresholds, which will be described later. For example, when the determination level is 1, it is assumed to be used in an environment that does not require high measurement accuracy. In this case, a measurement interval of 1 time/sec, a measurement time of 10 seconds, and a threshold of 3 centimeters are set. Also, when the determination level is 10, it is assumed to be used in an environment that requires measurement accuracy. In this case, a measurement interval of 30 times/sec, a measurement time of 5 seconds, and a threshold of 1 mm are set. In this way, it is possible to select a set of existing set values according to the determination level.

一方、ラジオボタン６１４が選択された場合には、判定レベルで設定可能な値よりも詳細な設定を行うことができる。この場合、計測間隔、計測時間、および閾値をそれぞれのスピンボックス６１６、６１７、６１８で個別に設定可能である。ここで、静定状態を判定するための、計測間隔、計測時間、および閾値について、図８を参照して説明する。 On the other hand, when the radio button 614 is selected, more detailed settings than the values that can be set at the determination level can be made. In this case, the measurement interval, measurement time, and threshold can be individually set in spin boxes 616, 617, and 618, respectively. Here, the measurement interval, measurement time, and threshold for determining the static state will be described with reference to FIG.

図８（Ａ）は、基準特徴部を表す枠（以下、特徴枠という）６０９が振動しているときの、それぞれの検出パターンの重心位置６２０，６２１，６２２を表す模式図である。この振動は撮像装置の振動により発生する、撮像画像における特徴枠６０９の相対的な振動であり、基準特徴部に対応する被写体自体の固有振動ではない。Ｙ方向を図８（Ａ）の上下方向と定義し、Ｘ方向を左右方向と定義する。位置６２０は特徴枠６０９の静定状態での重心位置を表し、位置６２１は特徴枠６０９がＹ方向に正値の振動量で振動しているときの重心位置を表す。位置６２２は特徴枠６０９がＹ方向に負値の振動量で振動しているときの重心位置を表す。 FIG. 8A is a schematic diagram showing centroid positions 620, 621, and 622 of respective detection patterns when a frame (hereinafter referred to as a feature frame) 609 representing the reference feature portion is vibrating. This vibration is the relative vibration of the feature frame 609 in the captured image generated by the vibration of the imaging device, and is not the natural vibration of the subject itself corresponding to the reference feature. The Y direction is defined as the vertical direction in FIG. 8A, and the X direction is defined as the horizontal direction. A position 620 represents the position of the center of gravity of the feature frame 609 in a static state, and a position 621 represents the position of the center of gravity when the feature frame 609 vibrates in the Y direction with a positive vibration amount. A position 622 represents the center-of-gravity position when the characteristic frame 609 vibrates in the Y direction with a negative vibration amount.

図８（Ｂ）は、振動量の時間的変化を例示したグラフである。横軸は時間軸であり、縦軸は振動量の計測値を表す。グラフ曲線６２３は特徴枠６０９の時間経過による振動量を表している。時間間隔６２４は図６のスピンボックス６１６で設定された計測間隔である。時刻ｔ０から時刻ｔ１８までの時間６２５は図６のスピンボックス６１７で設定された計測時間である。所定の振動量を示す値６２６は図６のスピンボックス６１８で設定された静定状態判定用の閾値である。閾値は、対象となる撮像装置が静定状態であると判定するための所定の振動量であり、画素数または実距離（例えばセンチメートル）で表される。 FIG. 8(B) is a graph illustrating temporal changes in the amount of vibration. The horizontal axis is the time axis, and the vertical axis represents the measured value of the vibration amount. A graph curve 623 represents the amount of vibration of the feature frame 609 over time. Time interval 624 is the measurement interval set in spin box 616 in FIG. Time 625 from time t0 to time t18 is the measurement time set in spin box 617 in FIG. A value 626 indicating a predetermined amount of vibration is a threshold value for static state determination set in the spin box 618 in FIG. The threshold is a predetermined amount of vibration for determining that the target imaging device is in a static state, and is represented by the number of pixels or an actual distance (for example, centimeters).

図８（Ｂ）に示す例では、画像処理装置１０２が時刻ｔ０から振動量の計測を開始し、時間間隔６２４で示される計測間隔で振動量を計測し、最大振動量および最小振動量の時間経過を算出する。グラフ線６２８はグラフ曲線６２３の振幅の時間的変化を表す包絡線である。画像処理装置１０２は、計測時間である時刻ｔ０から時刻ｔ１８まで計測間隔６２４で振動量を計測する。この期間に算出された、グラフ線６２８で示される振幅（計測値）が閾値未満とならない場合に、撮像装置が静定状態ではないと判定される。図８（Ｂ）の例では、時刻ｔ１０で振動量の振幅が閾値６２６を下まわっているので、画像処理装置１０２は時刻ｔ１０で撮像装置が静定状態であるとの判定結果を出力する。 In the example shown in FIG. 8B, the image processing apparatus 102 starts measuring the vibration amount from time t0, measures the vibration amount at the measurement interval indicated by the time interval 624, and measures the maximum vibration amount and the minimum vibration amount. Calculate progress. Graph line 628 is an envelope representing the change in amplitude of graph curve 623 over time. The image processing apparatus 102 measures the vibration amount at a measurement interval 624 from time t0 to time t18, which is the measurement time. If the amplitude (measured value) indicated by the graph line 628 calculated during this period does not fall below the threshold, it is determined that the imaging device is not in a static state. In the example of FIG. 8B, the amplitude of the vibration amount is below the threshold value 626 at time t10, so the image processing apparatus 102 outputs the determination result that the imaging apparatus is in the static state at time t10.

（Ａ）～（Ｃ）の設定処理が終了し、ユーザがＯＫボタン６１９（図６）のクリック操作を行うと、画像処理装置１０２は上述の特徴抽出法を用いて基準特徴を抽出する（図７：Ｓ７０６）。画像処理装置１０２は設定された項目のデータを後述するデータ形式で生成し、生成後のデータを基準特徴情報として処理データ保存領域４０６に保存する登録処理を行う（図７：Ｓ７０７）。 When the setting processes of (A) to (C) are completed and the user clicks the OK button 619 (FIG. 6), the image processing apparatus 102 extracts the reference features using the feature extraction method described above (FIG. 7: S706). The image processing apparatus 102 generates data of the set items in a data format described later, and performs registration processing to store the generated data in the processed data storage area 406 as reference feature information ( FIG. 7 : S707).

図９は基準特徴情報のデータ形式を表す図である。図９（Ａ）は撮影パーツごとに生成されるデータ例を示す。例えば撮影パーツＩＤ８０１が「０１」である第１行では、カメラＩＤ８０２が「０１」、パン方向８０３の角度値が「１０．０」（単位：°）、チルト方向８０４の角度値が「－５．０」（単位：°）である。ズーム倍率８０５は「１．０」倍、特徴抽出法８０６は「パターンマッチング」、振動量計算法８０７は「パターン位置」である。静定判定設定８０８は「詳細」、判定レベル８０９は「Ｎｕｌｌ」、計測間隔８１０は「２０」（回／ｓｅｃ）である。計測時間（数値）８１１は「３」、計測時間（単位）８２１は「秒」、閾値（数値）８２２は「１」、閾値（単位）８２３は「ミリメートル」である。撮影パーツＩＤ８０１が「０２」である第２行では、撮影パーツＩＤ８０１が「０１」である第１行に比べて、静定判定条件が緩和されていることを示している。符号８０１～８１１、および符号８２１～８２３で示す各項目については、図６において説明済みであるので、それらの説明を省略する。 FIG. 9 is a diagram showing the data format of reference feature information. FIG. 9A shows an example of data generated for each photographed part. For example, in the first row where the shooting part ID 801 is "01", the camera ID 802 is "01", the angle value of the pan direction 803 is "10.0" (unit: degrees), and the angle value of the tilt direction 804 is "-5". .0” (unit: °). The zoom magnification 805 is "1.0" times, the feature extraction method 806 is "pattern matching", and the vibration amount calculation method 807 is "pattern position". The static determination setting 808 is "detailed", the determination level 809 is "Null", and the measurement interval 810 is "20" (times/sec). The measurement time (numerical value) 811 is "3", the measurement time (unit) 821 is "seconds", the threshold (numerical value) 822 is "1", and the threshold (unit) 823 is "mm". The second line with the imaging part ID 801 of "02" indicates that the static determination condition is relaxed compared to the first line with the imaging part ID 801 of "01". Items indicated by reference numerals 801 to 811 and reference numerals 821 to 823 have already been explained with reference to FIG. 6, so explanations thereof will be omitted.

図９（Ａ）の各行に示す項目のデータは基準特徴情報ＩＤ８１２と関連付けられている。基準特徴情報ＩＤ８１２は、基準特徴情報を一意に識別するためのＩＤ（識別情報）である。図９（Ｂ）は基準特徴情報ごとに生成されるデータ例を示す。例えば第１行の基準特徴情報ＩＤ８１２は「Ａ」である。このＩＤ「Ａ」は図９（Ａ）の第１行に示される撮影パーツＩＤ「０１」に関連付けられている。第１行でのＸ座標８１３は基準特徴部のＸ座標「８６０」を表し、Ｙ座標８１４は基準特徴部のＸ座標「５２０」を表す。第１行での幅８１５は基準特徴部の幅「８０」を表し、高さ８１６は基準特徴部の高さ「６０」を表す。特徴量８１７の項目には、例えば特徴抽出方法としてパターンマッチング法が選択されている場合にパターンの画像データが記録される。あるいは、特徴抽出方法として重心位置の抽出が選択されている場合に重心の位置座標が特徴量８１７の項目に記録される。ファイル名８１８は基準特徴部の画像ファイルの名称である。例えば、ユーザが画像処理プログラム４０７を作成した後、システムのテストをした際に計測結果が満足なレベルに達していない場合を想定する。ユーザは図６の登録処理画面６０１を再度表示させて、スピンボックス６１０を用いた基準特徴抽出方法の変更操作やコントロール６１２を用いた静定判定条件の設定内容の変更操作を行うことができる。このとき、基準特徴部の画像ファイルを記録しておくことで、基準特徴部の再撮影を行う必要がなくなるので作業の効率化を実現できる。 The item data shown in each row in FIG. 9A is associated with the reference feature information ID 812 . The reference feature information ID 812 is an ID (identification information) for uniquely identifying the reference feature information. FIG. 9B shows an example of data generated for each piece of reference feature information. For example, the reference feature information ID 812 in the first row is "A". This ID "A" is associated with the photographing part ID "01" shown in the first row of FIG. 9A. X-coordinate 813 in the first row represents the reference feature's X-coordinate of '860' and Y-coordinate 814 represents the reference feature's X-coordinate of '520'. Width 815 in the first row represents the width of the reference feature "80" and height 816 represents the height of the reference feature "60". In the item of feature amount 817, pattern image data is recorded, for example, when the pattern matching method is selected as the feature extraction method. Alternatively, when the extraction of the barycenter position is selected as the feature extraction method, the position coordinates of the barycenter are recorded in the item of the feature quantity 817 . File name 818 is the name of the reference feature image file. For example, it is assumed that after the user has created the image processing program 407, the measurement result does not reach a satisfactory level when the system is tested. The user can display the registration processing screen 601 of FIG. At this time, by recording the image file of the reference characteristic portion, it is not necessary to re-capture the reference characteristic portion, so that work efficiency can be realized.

図１０は計測処理の設定画面例を示す図である。ユーザが図５に示される処理パーツ（ワーク位置計算５０５や存在検出５０９等）に対してダブルクリック操作を行った場合、入出力表示装置４０１に計測処理の設定画面９０１が表示される。画像表示領域９０２内に示す画像は、撮像装置１０３により撮像された画像を示す。枠９０３はユーザが計測対象を登録するときに用いる枠であり、枠９０４はユーザが計測における探索範囲を登録するための枠である。枠９０４は枠９０３を含む、より広い範囲に設定されている。ユーザは、マウス等のポインティングデバイスを使って枠９０３または９０４を操作することで、枠の形状、位置、大きさを変更可能である。 FIG. 10 is a diagram showing an example of a setting screen for measurement processing. When the user double-clicks the processing parts (work position calculation 505, presence detection 509, etc.) shown in FIG. An image shown in the image display area 902 indicates an image captured by the imaging device 103 . A frame 903 is used when the user registers a measurement target, and a frame 904 is used by the user to register a search range for measurement. A frame 904 is set in a wider range including the frame 903 . The user can change the shape, position, and size of the frame by operating the frame 903 or 904 using a pointing device such as a mouse.

図１０に示す計測処理法の表示領域９０５には、パターンマッチング法を用いてワークの位置計算が行われることが示されている。本実施例ではパターンマッチング法を例示して説明するが、他の画像処理に基づく計測処理方法が可能である。スピンボックス９０６，９０７，９０８はそれぞれ、パターンマッチング法におけるパターンの回転範囲、拡大率、およびスコア閾値をユーザが設定する際に使用される。 A measurement processing method display area 905 shown in FIG. 10 indicates that the position of the workpiece is calculated using the pattern matching method. Although the pattern matching method will be described as an example in this embodiment, other measurement processing methods based on image processing are possible. Spin boxes 906, 907, and 908 are used by the user to set the pattern rotation range, magnification, and score threshold in the pattern matching method, respectively.

ユーザがＯＫボタン９０９のクリック操作を行うと、画像処理装置１０２は枠９０３に示す計測対象、枠９０４に示す探索範囲、パターンマッチング法における回転範囲、拡大率、スコア閾値の各データを処理データ保存領域４０６に保存する。なお、ユーザが図６のスピンボックス６１０を用いて設定した特徴抽出法がパターンマッチング法以外の方法である場合には、選択された特徴抽出法に応じた設定項目が表示される。つまり画像処理装置１０２は符号９０６～９０８に示す項目に代えて、ユーザが選択した特徴抽出法に適したパラメータ設定ＵＩ（ユーザ・インターフェース）画面を表示する処理を実行する。 When the user clicks an OK button 909, the image processing apparatus 102 processes and saves each data of the measurement object shown in the frame 903, the search range shown in the frame 904, the rotation range in the pattern matching method, the enlargement ratio, and the score threshold. Save in area 406 . If the feature extraction method set by the user using the spin box 610 in FIG. 6 is a method other than the pattern matching method, setting items corresponding to the selected feature extraction method are displayed. That is, the image processing apparatus 102 executes processing for displaying a parameter setting UI (user interface) screen suitable for the feature extraction method selected by the user instead of the items indicated by reference numerals 906 to 908 .

図３で説明したように、基準画像領域としては時間経過に伴う変動が小さく、かつ特徴量が大きい領域が好ましい。ワークが写っている領域のように、時間経過に伴って位置や傾きが変化する領域は適切でないと判断される。したがって、画像処理装置１０２は、図６の枠６０９に示される基準画像領域の設定時および図１０の枠９０３による計測対象の登録時において基準画像領域と計測対象の画像領域が重なっている場合にユーザへの警告処理を行う。 As described with reference to FIG. 3, it is preferable that the reference image area has a small variation over time and a large feature amount. An area where the position or inclination changes with the passage of time, such as an area where a workpiece is photographed, is judged to be inappropriate. Therefore, when the reference image area shown in the frame 609 in FIG. 6 is set and the measurement target is registered in the frame 903 in FIG. Perform warning processing to the user.

図１１は、制御装置１０１からのトリガー信号を受け付けて画像処理装置１０２が画像計測処理を実行するときのシーケンス図である。図１１では制御装置１０１の実行する処理が追加されており、制御装置１０１と画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図１１の上から下への方向と定義する。 FIG. 11 is a sequence diagram when the image processing apparatus 102 receives a trigger signal from the control apparatus 101 and executes image measurement processing. In FIG. 11, processing executed by the control device 101 is added, and an example of processing performed between the control device 101, the image processing device 102, and the imaging device 103 is shown. The direction of the time axis is defined as the direction from top to bottom in FIG.

まず制御装置１０１は画像処理装置１０２に制御指令を送信する（Ｓ１００１）。画像処理装置１０２は処理データ保存領域４０６から基準特徴情報（図９：８０２～８１６、および８２１～８２３）を読み出す（Ｓ１００２）。次に画像処理装置１０２は、撮影位置に関するパンニング方向、チルティング方向、ズーム倍率（図９：８０３～８０５）での撮影指令を撮像装置１０３に送信する（Ｓ１００３）。撮像装置１０３は駆動部を制御して、パンニング角度およびチルティング角度、ズーム倍率を変更する（Ｓ１００４）。撮影動作が行われ（Ｓ１００５）、その後に撮像装置１０３は撮像画像のデータを画像処理装置１０２に送信する（Ｓ１００６）。 First, the control device 101 transmits a control command to the image processing device 102 (S1001). The image processing apparatus 102 reads the reference feature information (802 to 816 and 821 to 823 in FIG. 9) from the processed data storage area 406 (S1002). Next, the image processing apparatus 102 transmits a photographing command in the panning direction, tilting direction, and zoom magnification (803 to 805 in FIG. 9) regarding the photographing position to the photographing apparatus 103 (S1003). The imaging device 103 controls the drive unit to change the panning angle, tilting angle, and zoom magnification (S1004). A shooting operation is performed (S1005), after which the imaging device 103 transmits data of the captured image to the image processing device 102 (S1006).

画像処理装置１０２は、受信した画像データから、図６のスピンボックス６１０，６１１で指定された特徴抽出法および振動量計算方法に従って特徴部を抽出する処理を実行する（Ｓ１００７）。画像処理装置１０２は、図６のスピンボックス６１７で指定された計測時間で撮影された時系列で隣り合う画像から特徴部の振動量を計算する。抽出された特徴部の中心座標等の、少なくとも一つの計算パラメータから振動量が計算される。画像処理装置１０２は算出した振動量を、図６のスピンボックス６１８で指定された閾値と比較する（Ｓ１００８）。画像処理装置１０２は比較処理の結果、振動量の振幅が閾値より小さい場合に撮像装置１０３が静定状態であると判定する。また、振動量が閾値以上である場合には撮像装置１０３が静定状態ではないと判定される（Ｓ１０１４）。Ｓ１００５からＳ１００８、およびＳ１０１４の処理は、事前に図６のスピンボックス６１６で指定された計測間隔で繰り返し実行される。 The image processing apparatus 102 executes processing for extracting a characteristic portion from the received image data according to the feature extraction method and vibration amount calculation method designated by the spin boxes 610 and 611 in FIG. 6 (S1007). The image processing apparatus 102 calculates the vibration amount of the characteristic portion from the adjacent images in time series photographed at the measurement time designated by the spin box 617 in FIG. A vibration amount is calculated from at least one calculation parameter, such as the center coordinates of the extracted feature. The image processing apparatus 102 compares the calculated vibration amount with the threshold specified in the spin box 618 in FIG. 6 (S1008). As a result of the comparison processing, the image processing apparatus 102 determines that the imaging apparatus 103 is in a static state when the amplitude of the vibration amount is smaller than the threshold. Also, if the vibration amount is equal to or greater than the threshold, it is determined that the imaging device 103 is not in the static state (S1014). The processes of S1005 to S1008 and S1014 are repeatedly executed at the measurement intervals previously specified in the spin box 616 of FIG.

Ｓ１０１４において撮像装置１０３が静定状態であるという判定結果が得られた場合、Ｓ１０１５およびＳ１０１６の処理が実行される。画像処理装置１０２は画像処理に基づく所定の計測を行い（Ｓ１０１５）、計測結果のデータを制御装置１０１に送信する（Ｓ１０１６）。 If it is determined in S1014 that the imaging apparatus 103 is in the static state, the processes of S1015 and S1016 are executed. The image processing device 102 performs predetermined measurement based on image processing (S1015), and transmits data of the measurement result to the control device 101 (S1016).

一方、Ｓ１０１４において撮像装置１０３が静定状態でないという判定結果が得られた場合、画像処理装置１０２は図６のスピンボックス６１７で指定された計測時間が経過したか否かを判断する。指定された計測時間が経過していない場合、Ｓ１００５～Ｓ１００８、Ｓ１０１４の処理が繰り返し実行される。指定された計測時間が経過した場合に画像処理装置１０２は、計測時間以内に撮像装置１０３が静定状態に到達しなかったと判断して処理を終了する。または、画像処理装置１０２は計測時間以内に撮像装置１０３が静定状態に到達しなかったことを報知する処理を行ってから処理を終了する。 On the other hand, if it is determined in step S1014 that the imaging device 103 is not in a static state, the image processing device 102 determines whether the measurement time specified in the spin box 617 in FIG. 6 has passed. If the specified measurement time has not elapsed, the processes of S1005 to S1008 and S1014 are repeatedly executed. When the specified measurement time has elapsed, the image processing apparatus 102 determines that the imaging apparatus 103 has not reached a static state within the measurement time, and terminates the process. Alternatively, the image processing apparatus 102 performs processing for notifying that the imaging apparatus 103 has not reached a static state within the measurement time, and then ends the processing.

本実施例では、例えば撮像装置の固定方法や静定性能が十分でないために、撮像装置の静定状態の精度が画像処理における所望の計測精度に対して不足している場合にも対処可能である。画像処理やワークの種類に応じて静定状態判定の設定を変更できるので、撮像装置が必要十分な静定状態であることを判定し、必要最小限の時間で撮影および画像計測を行うことができる。 In this embodiment, it is possible to cope with a case where the accuracy of the stationary state of the imaging device is insufficient for the desired measurement accuracy in the image processing, for example, because the fixing method or the static stability performance of the imaging device is not sufficient. be. You can change the static state determination settings according to the type of image processing and workpiece, so you can determine if the imaging device is in a necessary and sufficient static state, and perform shooting and image measurement in the minimum necessary time. can.

また、静定状態判定に画像処理を利用することにより、廉価なカメラでも計測精度を確保しつつ画像処理を行える。例えば、ワークの撮像画像に基づき、ワークの種類ごとに選別してロボットが各ワークを異なる搬送車に積載する工程では、静定の判定レベルを高くして判定条件を厳しく設定することができる。この設定により、画像処理の計測精度を高め、ロボットを正確に制御することができる。一方で、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、静定判定レベルを低く設定して判定条件を緩和することができる。この設定により、工程で要求される計測精度を満たしつつ、必要な計測を短時間で終了させることができる。本実施例によれば、指定された静定判定条件にしたがって画像処理に必要十分な計測精度で撮像装置の静定判定を行い、計測処理をより短時間で行うことができる。 In addition, by using image processing for static state determination, even an inexpensive camera can perform image processing while ensuring measurement accuracy. For example, in a process in which workpieces are sorted by type based on captured images of the workpieces and the robot loads the workpieces onto different transport vehicles, the determination level of static determination can be raised to set strict determination conditions. With this setting, it is possible to improve the measurement accuracy of image processing and accurately control the robot. On the other hand, in the step of determining whether or not the transport vehicle exists within the stop frame by the imaging device capturing an image of the transport vehicle, the determination condition can be relaxed by setting the static determination level low. With this setting, the required measurement can be completed in a short time while satisfying the measurement accuracy required in the process. According to the present embodiment, it is possible to perform the static determination of the imaging device with sufficient measurement accuracy necessary for image processing according to the designated static determination condition, and to perform the measurement process in a shorter time.

［第２実施例］
次に、本発明の第２実施例を説明する。第１実施例ではユーザ操作により基準画像領域を指定する必要があるのに対し、本実施例では基準画像領域を自動的または半自動的に決定可能な画像処理装置について説明する。画像特徴について詳しくないユーザであっても好適な基準画像領域を設定することができ、設定の際の属人性を低減可能である。なお、本実施例に係るシステム構成は第１実施例と同様であるため、既に使用した符号を用いることで、それらの詳細な説明を省略する。このような説明の省略の仕方は後述の実施例でも同じである。 [Second embodiment]
Next, a second embodiment of the invention will be described. In the first embodiment, it is necessary to specify the reference image area by user's operation, whereas in the present embodiment, an image processing apparatus capable of automatically or semi-automatically determining the reference image area will be described. Even a user who is unfamiliar with image features can set a suitable reference image area, and it is possible to reduce the dependence on the individual at the time of setting. Since the system configuration according to the present embodiment is the same as that of the first embodiment, the detailed description thereof will be omitted by using the reference numerals that have already been used. This way of omitting the description is the same for the embodiments described later.

図１２は、本実施例の画像処理装置１０２における、基準特徴の登録処理画面例を示す。図１３は基準特徴の登録処理のシーケンス図である。以下では、第１実施例との相違点を主に説明する。図１２に示す登録画面１１０１では、計測試行のボタン１１０２が追加されている。ユーザはボタン１１０２を操作し、複数回に亘って行われる計測の試行を指示することができる。 FIG. 12 shows an example of a reference feature registration processing screen in the image processing apparatus 102 of this embodiment. FIG. 13 is a sequence diagram of the reference feature registration process. Differences from the first embodiment will be mainly described below. On the registration screen 1101 shown in FIG. 12, a measurement trial button 1102 is added. A user can operate a button 1102 to instruct a measurement trial to be performed a plurality of times.

ユーザは、基準特徴の登録画面１１０１は見ながらバー６０４～６０６を操作する。画像処理装置１０２は撮像装置１０３の雲台２０１の駆動制御を行って撮影方向を制御する。撮像装置１０３によって撮像された撮像画像は画像表示領域６０７に表示される。ここで、ユーザがボタン１１０２のクリック操作を行うと、画像処理装置１０２は撮像装置１０３に撮影指令を送信する（図１３：Ｓ１２０１）。撮像装置１０３は所定回数の撮影を行って（Ｓ１２０２）、全ての画像のデータを画像処理装置１０２に送信する（Ｓ１２０３）。 The user operates bars 604 to 606 while viewing the reference feature registration screen 1101 . The image processing apparatus 102 drives and controls the platform 201 of the imaging apparatus 103 to control the shooting direction. A captured image captured by the imaging device 103 is displayed in an image display area 607 . Here, when the user clicks the button 1102, the image processing apparatus 102 transmits a shooting command to the imaging apparatus 103 (FIG. 13: S1201). The imaging device 103 takes a predetermined number of shots (S1202), and transmits all image data to the image processing device 102 (S1203).

画像処理装置１０２は、撮像装置１０３から受信した画像データから、変動が小さい領域を算出し（Ｓ１２０４）、変動の大きい領域１１０３を黒色で表示する。次に画像処理装置１０２は、変動が小さい領域のうちで特徴量が大きな領域を算出する。特徴量が大きな領域とは、例えばコントラストが明瞭な領域である。画像処理装置１０２は画像表示領域６０７において、特徴量の小さな領域１１０４を灰色で表示する（Ｓ１２０５）。そして画像処理装置１０２は、特徴量が大きな領域１１０５を基準画像領域に決定する（Ｓ１２０６）。 The image processing apparatus 102 calculates an area with small variation from the image data received from the imaging apparatus 103 (S1204), and displays the area 1103 with large variation in black. Next, the image processing apparatus 102 calculates an area with a large feature amount among areas with small fluctuations. A region with a large feature amount is, for example, a region with clear contrast. The image processing apparatus 102 displays the area 1104 with a small feature amount in gray in the image display area 607 (S1205). The image processing apparatus 102 then determines the area 1105 with a large feature amount as the reference image area (S1206).

本実施形態では、例えば複数回に亘って行われる計測によって取得される画像領域のうち、変動が最も小さい画像領域が自動的に基準画像領域として設定される。あるいは、変動が小さい領域のうちで特徴量が大きな領域を画像処理装置１０２が優先して自動的に基準画像領域として設定する。このような自動的な処理に代えて、変動が小さく特徴量が大きな１個または複数個の領域を基準画像領域の候補としてユーザに提示し、ユーザが選択操作を行う半自動的な処理でもよい。この場合、ユーザに基準画像領域の選択を促す処理が行われる。変動が小さく特徴量が大きな領域１１０５の候補は画像表示領域６０７において、例えば白色表示でユーザに提示され、ユーザは所望の領域を基準画像領域として指定することができる。 In the present embodiment, for example, an image area with the smallest variation among image areas obtained by measurements performed a plurality of times is automatically set as the reference image area. Alternatively, the image processing apparatus 102 preferentially automatically sets an area having a large feature amount among areas with a small change as a reference image area. Instead of such automatic processing, semi-automatic processing may be used in which one or more regions with small variations and large feature amounts are presented to the user as candidates for the reference image region, and the user performs a selection operation. In this case, processing is performed to prompt the user to select a reference image region. Candidates for the area 1105 with small variation and large feature amount are presented to the user in, for example, white display in the image display area 607, and the user can designate a desired area as the reference image area.

本実施例では、画像特徴について詳しくないユーザでも好適な基準画像領域の設定を行うことができる。また、設定の際に属人性を低減し、個人の習熟度に影響されにくい処理を行うことができる。 In this embodiment, even a user who is unfamiliar with image features can set a suitable reference image area. In addition, it is possible to reduce the dependence on individual characteristics during setting, and perform processing that is less likely to be affected by individual proficiency levels.

［第３実施例］
次に本発明の第３実施例を説明する。第１実施例では、図８（Ｂ）に示す計測間隔６２４で撮像装置１０３の振動量が計測され、その時間経過を示すグラフ線６２８で表される振幅が算出される。画像処理装置１０２は、計測時間６２５中のある時点まで計測間隔６２４で計測を行い、振動量の振幅が閾値未満となった時点で撮像装置１０３が静定状態であることを判定する。 [Third embodiment]
A third embodiment of the present invention will now be described. In the first embodiment, the vibration amount of the imaging device 103 is measured at the measurement interval 624 shown in FIG. 8B, and the amplitude represented by the graph line 628 indicating the passage of time is calculated. The image processing apparatus 102 performs measurement at the measurement interval 624 until a certain point in the measurement time 625, and determines that the imaging apparatus 103 is in a static state when the amplitude of the vibration amount becomes less than the threshold.

本実施例では、過去に静定状態を判定したことがある撮像装置とその設置状態での振動量の計測値を使用して、撮像装置が静定状態となる時間を推測する処理について説明する。図１４は振動量の時間的変化を例示したグラフであり、縦軸および横軸の設定は図８（Ｂ）と同じである。図１４では、過去に静定状態を判定したことがある撮像装置について、基準特徴部の時間経過による振動量の推測値１３０３を表している。画像処理装置１０２は設定された計測間隔６２４で計測を行う。画像処理装置１０２は計測開始時刻ｔ４における振動量と、静定推測曲線１３０２、および設定された閾値１３０１に基づき、対象となる撮像装置が静定状態であると判定される時刻ｔ１０を算出する。静定推測曲線１３０２は振動量の推測値１３０３の包絡線であり、静定推測曲線１３０２が閾値１３０１の線と交差する位置１３０４を算出する推測処理が行われる。 In this embodiment, processing for estimating the time when an imaging device is in a static state will be described using an imaging device that has determined a static state in the past and the measured value of the amount of vibration in the installation state of the imaging device. . FIG. 14 is a graph showing an example of the temporal change in the amount of vibration, and the vertical and horizontal axes are the same as in FIG. 8(B). FIG. 14 shows an estimated value 1303 of the amount of vibration of the reference characteristic portion over time for an imaging device that has determined a static state in the past. The image processing apparatus 102 performs measurements at set measurement intervals 624 . The image processing apparatus 102 calculates the time t10 at which the target imaging apparatus is determined to be in the static state based on the vibration amount at the measurement start time t4, the static determination estimation curve 1302, and the set threshold value 1301. FIG. A statically determined estimated curve 1302 is an envelope of an estimated value 1303 of the vibration amount, and estimation processing is performed to calculate a position 1304 where the statically determined estimated curve 1302 intersects the line of the threshold value 1301 .

画像処理装置１０２は、撮像装置が静定状態となると推測した時刻ｔ１０の直前の時刻ｔ９またはさらに前の時刻ｔ８で閾値と振動量の振幅との比較処理を再開する。つまり、画像処理装置１０２は、計測開始時刻ｔ４から計測再開時刻ｔ８までの時間１３０５において、振動量の振幅と閾値との比較処理を行わない。これにより、画像処理装置１０２が使用する演算リソースを確保したり、あるいは別のタスクによる処理を実施したりすることが可能となる。 The image processing apparatus 102 restarts the comparison process between the threshold and the amplitude of the vibration amount at time t9 immediately before time t10 at which the imaging apparatus is estimated to be in a static state or at time t8 before. In other words, the image processing apparatus 102 does not perform comparison processing between the amplitude of the vibration amount and the threshold during the time 1305 from the measurement start time t4 to the measurement restart time t8. As a result, it becomes possible to secure computation resources used by the image processing apparatus 102, or to perform processing by another task.

対象となる撮像装置に係る振動量の振幅の時間的変化を示す静定推測曲線に関して画像処理装置１０２は、過去の計測値から近似的な曲線を算出する。または、ユーザが静定推測曲線の算出方法を選択可能である場合に画像処理装置１０２は算出方法の提示および選択処理を行うが、算出手段については任意である。本実施例では、撮像装置が静定状態となる時間を過去の計測値から推測することで、実際の振動量の振幅と閾値との比較処理にかかる負担を軽減することができる。 The image processing apparatus 102 calculates an approximate curve from past measurement values for a statically definite estimated curve that indicates temporal changes in the amplitude of the vibration amount related to the target imaging apparatus. Alternatively, if the user can select the method of calculating the static definite inference curve, the image processing apparatus 102 presents the calculation method and performs selection processing, but the calculation means is arbitrary. In this embodiment, by estimating the time at which the imaging apparatus is in a static state from the past measurement values, it is possible to reduce the load of the process of comparing the actual amplitude of the vibration amount with the threshold value.

前記実施例では、制御装置１０１と画像処理装置１０２と撮像装置１０３が各別の構成である実施形態を説明したが、本発明はそのような例に限られない。例えば、画像処理装置１０２に相当する画像処理部と、撮像装置１０３に相当する、撮影方向および撮影画角の変更が可能な撮像部とを１つの装置内に備える撮像装置がある。あるいは、制御装置１０１と画像処理装置１０２と撮像装置１０３にそれぞれ対応する構成部を１つの装置内に備える撮像装置がある。このような撮像装置も本発明の技術的範囲に含まれる。 Although the control device 101, the image processing device 102, and the imaging device 103 have different configurations in the above embodiment, the present invention is not limited to such an example. For example, there is an imaging device that includes an image processing unit corresponding to the image processing device 102 and an imaging unit corresponding to the imaging device 103 that can change the imaging direction and imaging angle of view in one device. Alternatively, there is an imaging apparatus that includes components corresponding to the control device 101, the image processing device 102, and the imaging device 103 in one device. Such an imaging device is also included in the technical scope of the present invention.

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other Examples]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１０１ 制御装置
１０２ 画像処理装置
１０３ 撮像装置
１０４ ロボット
１０５ 搬送装置
１０６，１０７ 搬送車
１０８，１０９，１１０ ワーク

101 Control Device 102 Image Processing Device 103 Imaging Device 104 Robot 105 Carrier 106, 107 Carrier 108, 109, 110 Work

Claims (10)

撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を設定する処理を行う設定手段と、
前記撮像手段の静定状態を判定する判定条件のデータを入力する入力手段と、
前記撮像手段によって計測時に取得される撮像画像から、前記設定手段により設定された前記特徴部に対応する画像領域での振動量を算出する算出手段と、
前記撮像画像のデータを取得して画像処理を行う画像処理手段と、
前記算出手段によって算出された前記振動量が前記判定条件を満たす前記撮像手段の静定状態にて、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備え、
前記入力手段によって複数の判定レベルから選択される前記判定条件のデータは、前記判定レベルに対応する計測間隔、計測時間、および閾値をあらかじめ組み合わせたデータであり、
前記制御手段は、前記算出手段によって算出された前記振動量を、前記複数の判定レベルから選択された判定レベルに対応する前記閾値と比較して前記画像処理手段により前記撮像画像の画像処理を行うか否かを決定する
ことを特徴とする画像処理装置。 An image processing device for processing data of a captured image of a measurement target captured by an imaging means capable of changing a shooting direction or a shooting angle of view,
setting means for setting a reference image area that serves as a reference in the captured image, and setting a characteristic portion of the image in the reference image area;
input means for inputting data of determination conditions for determining the static state of the imaging means;
calculation means for calculating a vibration amount in an image region corresponding to the characteristic portion set by the setting means from the captured image acquired by the imaging means at the time of measurement;
an image processing means for acquiring data of the captured image and performing image processing;
In a static state of the imaging means in which the vibration amount calculated by the calculating means satisfies the determination condition, the image processing means performs image processing on the captured image, and control is performed to output the image processing result. comprising means and
The data of the determination condition selected from a plurality of determination levels by the input means is data obtained by combining in advance a measurement interval, a measurement time, and a threshold value corresponding to the determination level,
The control means compares the vibration amount calculated by the calculation means with the threshold value corresponding to the determination level selected from the plurality of determination levels, and performs image processing of the captured image by the image processing means. determine whether
An image processing apparatus characterized by: 前記制御手段は、前記計測間隔および計測時間で前記算出手段によって算出された前記振動量の振幅が前記閾値未満となった場合、前記画像処理手段により前記撮像画像の画像処理を行うことを決定する
ことを特徴とする請求項１に記載の画像処理装置。 The control means determines to perform image processing of the captured image by the image processing means when the amplitude of the vibration amount calculated by the calculation means at the measurement interval and the measurement time is less than the threshold value. 2. The image processing apparatus according to claim 1 , wherein: 前記制御手段は、前記算出手段によって前記計測時間以内で算出される前記振動量の振幅が前記閾値未満にならないと判定した場合、前記撮像手段が静定状態に到達しなかったことを報知する処理を行う
ことを特徴とする請求項１に記載の画像処理装置。 When the control means determines that the amplitude of the vibration amount calculated within the measurement time by the calculation means does not become less than the threshold value, the control means notifies that the imaging means has not reached a static state. The image processing apparatus according to claim 1 , characterized by: 前記撮像手段に係る過去の計測値から静定推測曲線を算出することにより、前記撮像手段が静定状態となる時間を推測する推測手段を有する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 4. The apparatus according to any one of claims 1 to 3 , further comprising an estimating means for estimating the time at which said imaging means is in a static and stable state by calculating a static estimating curve from past measured values relating to said imaging means. 2. The image processing device according to item 1. 前記制御手段は、前記推測手段によって前記撮像手段が静定状態となると推測される時刻より前に前記振動量の振幅を閾値と比較せず、前記撮像手段が静定状態となると推測される時刻にて前記振動量の振幅を前記閾値と比較する処理を行う
ことを特徴とする請求項４に記載の画像処理装置。 The control means does not compare the amplitude of the vibration amount with a threshold before the time at which the imaging means is estimated to be in a static state by the estimation means, and the time at which the imaging means is estimated to be in a static state. 5. The image processing apparatus according to claim 4 , wherein a process of comparing the amplitude of said vibration amount with said threshold value is performed in said step. 前記設定手段は、前記計測対象に対応する画像領域とは異なる画像領域を、前記基準画像領域に設定する処理を行う
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 6. The image processing according to any one of claims 1 to 5 , wherein the setting means sets an image area different from the image area corresponding to the measurement target as the reference image area. Device. 前記撮像手段の駆動部を制御して、前記撮像手段の撮影方向または撮影画角を変更する制御を行い、前記計測対象の撮影位置を設定する駆動制御手段を備え、
前記設定手段は、前記撮影位置での前記撮像画像にて前記基準画像領域を設定する処理を行う
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 Drive control means for controlling the driving unit of the imaging means to change the imaging direction or the imaging angle of view of the imaging means and setting the imaging position of the measurement target,
7. The image processing apparatus according to any one of claims 1 to 6 , wherein the setting unit performs processing for setting the reference image area in the captured image at the shooting position. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記撮像手段と、を備える
ことを特徴とする撮像装置。 an image processing apparatus according to any one of claims 1 to 7 ;
An imaging device comprising: the imaging means; 撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置にて実行される制御方法であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を設定する処理を行う工程と、
前記撮像手段の静定状態を判定する判定条件のデータを入力する入力工程と、
前記撮像手段によって計測時に取得される撮像画像から、設定された前記特徴部に対応する画像領域での振動量を算出する算出工程と、
算出された前記振動量が前記判定条件を満たす前記撮像手段の静定状態にて、画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御工程と、を有し、
前記入力工程にて、複数の判定レベルから選択される前記判定条件のデータは、前記判定レベルに対応する計測間隔、計測時間、および閾値をあらかじめ組み合わせたデータであり、
前記制御工程は、前記算出工程によって算出された前記振動量を、前記複数の判定レベルから選択された判定レベルに対応する前記閾値と比較して前記画像処理手段により前記撮像画像の画像処理を行うか否を決定する
ことを特徴とする画像処理装置の制御方法。 A control method executed by an image processing device that processes data of a captured image of a measurement target captured by an imaging means capable of changing a shooting direction or a shooting angle of view,
a step of setting a reference image area that serves as a reference in the captured image, and setting a characteristic portion of the image in the reference image area;
an input step of inputting data of determination conditions for determining the static state of the imaging means;
a calculation step of calculating an amount of vibration in an image region corresponding to the set characteristic portion from an image captured by the imaging means during measurement;
and a control step of performing image processing of the captured image by an image processing unit in a static state of the imaging unit in which the calculated vibration amount satisfies the determination condition, and performing control to output an image processing result. death,
In the input step, the determination condition data selected from a plurality of determination levels is data obtained by combining in advance a measurement interval, a measurement time, and a threshold value corresponding to the determination level,
The control step compares the vibration amount calculated by the calculation step with the threshold value corresponding to the determination level selected from the plurality of determination levels, and performs image processing of the captured image by the image processing means. determine whether
A control method for an image processing apparatus, characterized by: コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。
A program that causes a computer to function as each unit included in the image processing apparatus according to any one of claims 1 to 7 .
JP2018129070A 2018-07-06 2018-07-06 IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM Active JP7210171B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018129070A JP7210171B2 (en) 2018-07-06 2018-07-06 IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM
US16/502,250 US11336831B2 (en) 2018-07-06 2019-07-03 Image processing device, control method, and program storage medium
CN201910603870.0A CN110691186B (en) 2018-07-06 2019-07-05 Image processing apparatus, control method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018129070A JP7210171B2 (en) 2018-07-06 2018-07-06 IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2020009101A JP2020009101A (en) 2020-01-16
JP7210171B2 true JP7210171B2 (en) 2023-01-23

Family

ID=69151710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018129070A Active JP7210171B2 (en) 2018-07-06 2018-07-06 IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7210171B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011011330A (en) 2009-06-03 2011-01-20 Canon Inc Robot with camera
JP2012114852A (en) 2010-11-26 2012-06-14 Fuji Mach Mfg Co Ltd Imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011011330A (en) 2009-06-03 2011-01-20 Canon Inc Robot with camera
JP2012114852A (en) 2010-11-26 2012-06-14 Fuji Mach Mfg Co Ltd Imaging apparatus

Also Published As

Publication number Publication date
JP2020009101A (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110691186B (en) Image processing apparatus, control method, and recording medium
JP6396516B2 (en) Visual sensor calibration apparatus, method and program
US10512941B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
TWI397835B (en) Input device, control method of input device, and program
US10860855B2 (en) Instruction projecting device, package sorting system and instruction projecting method
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
EP3434621B1 (en) Instruction projecting device, parcel sorting system and instruction projecting method
US10471474B2 (en) Projection indicator, cargo assortment system, and projection indicating method
CN113284178A (en) Object stacking method and device, computing equipment and computer storage medium
JP7094806B2 (en) Image processing device and its control method, image pickup device, program
JP7210171B2 (en) IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM
US20210042576A1 (en) Image processing system
JP7330864B2 (en) Scrap image photographing system, scrap image photographing method, photographing support device, and program
CN115667842A (en) System and method for dimensioning objects
US20210323150A1 (en) Image processing apparatus monitoring target, control method therefor, and storage medium storing control program therefor
CN109218707B (en) Oral scanning system and oral scanning method
US10589319B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
TWI469089B (en) Image determining method and object coordinate computing apparatus
JP6512852B2 (en) Information processing apparatus, information processing method
EP3434624B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
US20230364798A1 (en) Information processing method, image processing method, robot control method, product manufacturing method, information processing apparatus, image processing apparatus, robot system, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230111

R151 Written notification of patent or utility model registration

Ref document number: 7210171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151