JP7094806B2 - Image processing device and its control method, image pickup device, program - Google Patents

Image processing device and its control method, image pickup device, program Download PDF

Info

Publication number
JP7094806B2
JP7094806B2 JP2018129182A JP2018129182A JP7094806B2 JP 7094806 B2 JP7094806 B2 JP 7094806B2 JP 2018129182 A JP2018129182 A JP 2018129182A JP 2018129182 A JP2018129182 A JP 2018129182A JP 7094806 B2 JP7094806 B2 JP 7094806B2
Authority
JP
Japan
Prior art keywords
image
image processing
correction
processing apparatus
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018129182A
Other languages
Japanese (ja)
Other versions
JP2020010166A (en
Inventor
寛人 岡
元気 長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018129182A priority Critical patent/JP7094806B2/en
Priority to US16/502,250 priority patent/US11336831B2/en
Priority to CN201910603870.0A priority patent/CN110691186B/en
Publication of JP2020010166A publication Critical patent/JP2020010166A/en
Application granted granted Critical
Publication of JP7094806B2 publication Critical patent/JP7094806B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像装置の撮影方向や撮影画角を制御し、撮像画像を処理する画像処理の技術に関する。 The present invention relates to an image processing technique for processing a captured image by controlling the shooting direction and the shooting angle of view of the image pickup device.

画像処理を行ってロボットや搬送装置等の機器を制御する技術は、工場での製品生産や品質確認、運用、管理等に使用される。撮像装置によって作業対象（以下、ワークと呼ぶ）を撮影する際、撮影方向や撮影倍率を変更する駆動部を備えた撮像装置を使用すれば、複数の撮影位置や撮影画角で画像を取得できる。１台の撮像装置で取得した画像を複数の画像処理工程で使用可能である。 Techniques for controlling equipment such as robots and conveyors by performing image processing are used for product production, quality confirmation, operation, management, etc. at factories. When shooting a work object (hereinafter referred to as a work) with an image pickup device, if an image pickup device equipped with a drive unit that changes the shooting direction and shooting magnification is used, images can be acquired at multiple shooting positions and shooting angles of view. .. The image acquired by one image pickup device can be used in a plurality of image processing steps.

しかし、撮像装置の駆動部の性能や劣化等によって、予め基準として設定しておいた撮影位置の再現性が低下すると、画像処理の計測精度や認識率が低下する可能性がある。そこで、特許文献１に開示の技術では、予めワークを撮影した第１の画像と、撮影位置を変更したときにワークを撮影した第２の画像とを比較し、第１の画像が第２の画像のどの領域にあるかを求めて表示することができる。 However, if the reproducibility of the shooting position set as a reference in advance deteriorates due to the performance or deterioration of the drive unit of the image pickup apparatus, the measurement accuracy and recognition rate of the image processing may decrease. Therefore, in the technique disclosed in Patent Document 1, the first image in which the work is photographed in advance and the second image in which the work is photographed when the photographing position is changed are compared, and the first image is the second image. It is possible to find and display which area of the image it is in.

特開２０１５－１８６０２１号公報Japanese Unexamined Patent Publication No. 2015-186021

ところで、工場等で撮影位置を変更するたびにユーザがいちいち再現性を確認する方法は時間がかかり、作業効率が低い。そのため、撮像装置自体が自動的に再現性を判定し、再現性が低い場合に自動的に撮影位置を補正する処理を行うことが要求される。さらには、工場等における各画像処理工程において必要とされる計測精度や認識率がそれぞれ異なる場合があり得る。ある画像処理工程において必要な計測精度が十分でない場合や、過分な再現性を要求したことにより、必要以上の補正処理が行われる結果、長い計測時間がかかる可能性がある。 By the way, it takes time for the user to check the reproducibility every time the shooting position is changed in a factory or the like, and the work efficiency is low. Therefore, it is required that the image pickup apparatus itself automatically determines the reproducibility and automatically corrects the shooting position when the reproducibility is low. Furthermore, the measurement accuracy and recognition rate required in each image processing process in a factory or the like may differ from each other. If the measurement accuracy required in a certain image processing process is not sufficient, or if excessive reproducibility is required, correction processing more than necessary may be performed, and as a result, a long measurement time may be required.

一例として、搬送装置によって個々に搬送される複数種のワークを、撮像装置が撮像した画像を用いて類別し、ロボットがワークの種類ごとに異なる搬送車に積載する作業工程を想定する。ロボットが正しくワーク座標を認識してワークを把持するためには、画像処理の計測精度を所定の精度以上に高める必要がある。一方、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、画像処理の計測精度をそれほど高くする必要はなく、短時間で処理を終了できることが求められる。
本発明の目的は、撮影位置の再現性を確保しつつ、より短時間に画像処理を行うことである。 As an example, it is assumed that a plurality of types of workpieces individually transported by a transport device are categorized using images captured by an image pickup device, and a robot loads the workpieces on different transport vehicles for each type of workpiece. In order for the robot to correctly recognize the work coordinates and grip the work, it is necessary to increase the measurement accuracy of image processing to a predetermined accuracy or higher. On the other hand, in the process of the image pickup device taking an image of the transport vehicle and determining whether or not the transport vehicle is within the stop frame, it is not necessary to increase the measurement accuracy of the image processing so much, and it is required that the processing can be completed in a short time. Be done.
An object of the present invention is to perform image processing in a shorter time while ensuring reproducibility of a shooting position.

本発明の一実施形態の画像処理装置は、撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を基準特徴部に設定する処理を行う設定手段と、前記撮像手段の撮影位置の再現性を判定する判定条件のデータを入力する入力手段と、前記撮像手段によって計測時の撮影位置で取得される撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との誤差を算出する算出手段と、前記算出手段によって算出された前記誤差が前記判定条件を満たさない場合、前記撮像手段に対して前記撮影位置を補正する処理を行う補正手段と、前記撮像手段による撮像画像のデータを取得して画像処理を行う画像処理手段と、前記算出手段によって算出された前記誤差が前記判定条件を満たす場合、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える。 The image processing device according to the embodiment of the present invention is an image processing device that processes the data of the captured image obtained by capturing the measurement target by the imaging means capable of changing the imaging direction or the imaging angle, and the captured image is used. The setting means for setting the reference image area as a reference and setting the feature portion of the image in the reference image region to the reference feature portion, and the data of the determination condition for determining the reproducibility of the shooting position of the imaging means. The error between the input means to be input, the feature portion extracted in the image region corresponding to the reference image region in the captured image acquired at the shooting position at the time of measurement by the imaging means, and the reference feature portion is calculated. When the calculation means and the error calculated by the calculation means do not satisfy the determination condition, the correction means for performing the processing for correcting the shooting position with respect to the image pickup means, and the data of the image captured by the image pickup means. When the image processing means that acquires and performs image processing and the error calculated by the calculation means satisfy the determination condition, the image processing means performs image processing of the captured image and outputs an image processing result. It is provided with a control means for performing the above.

本発明の画像処理装置によれば、撮影位置の再現性を確保しつつ、より短時間に画像処理を行うことができる。 According to the image processing apparatus of the present invention, image processing can be performed in a shorter time while ensuring the reproducibility of the shooting position.

第１実施例に係る画像処理装置を含むシステムの全体構成図である。It is an overall block diagram of the system including the image processing apparatus which concerns on 1st Embodiment. 第１実施例に係る撮像装置の概略図である。It is a schematic diagram of the image pickup apparatus which concerns on 1st Embodiment. 第１実施例に係る計測シーンの説明図である。It is explanatory drawing of the measurement scene which concerns on 1st Embodiment. 第１実施例に係る画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which concerns on 1st Embodiment. 第１実施例に係るフローチャート作成画面を表す図である。It is a figure which shows the flowchart creation screen which concerns on 1st Embodiment. 第１実施例に係る基準特徴の登録処理画面を表す図である。It is a figure which shows the registration processing screen of the reference feature which concerns on 1st Example. 第１実施例に係る基準特徴の登録処理のシーケンス図である。It is a sequence diagram of the registration process of the reference feature which concerns on 1st Example. 第１実施例に係る基準特徴情報のデータ形式を表す図である。It is a figure which shows the data format of the reference characteristic information which concerns on 1st Example. 第１実施例に係る計測処理の設定画面を表す図である。It is a figure which shows the setting screen of the measurement process which concerns on 1st Embodiment. 第１実施例に係る計測処理のシーケンス図である。It is a sequence diagram of the measurement process which concerns on 1st Example. 第１実施例に係る比較処理および補正処理の説明図である。It is explanatory drawing of the comparison process and the correction process which concerns on 1st Example. 第２実施例に係る基準特徴の登録処理画面を表す図である。It is a figure which shows the registration processing screen of the reference feature which concerns on 2nd Example. 第２実施例に係る基準特徴の登録処理のシーケンス図である。It is a sequence diagram of the registration process of the reference feature which concerns on 2nd Example.

以下に、本発明の好適な実施形態について、添付図面に示す各実施例にしたがって詳細に説明する。画像処理装置、ロボット、搬送装置等を備えるシステムの例を説明するが、以下の実施形態に示す構成要素は一例であり、本発明は画像処理装置を利用した各種の計測システムに適用可能である。 Hereinafter, preferred embodiments of the present invention will be described in detail according to the examples shown in the accompanying drawings. An example of a system including an image processing device, a robot, a transport device, and the like will be described, but the components shown in the following embodiments are examples, and the present invention can be applied to various measurement systems using the image processing device. ..

［第１実施例］
図１は、本実施形態に係る画像処理装置を含むシステムの全体構成図である。システムの制御装置１０１は、予め設定されたタイミングで各装置への制御指令を送信する。システムは制御装置１０１、画像処理装置１０２、撮像装置１０３、作業用のロボット１０４、搬送装置１０５、搬送車１０６，１０７から構成される。 [First Example]
FIG. 1 is an overall configuration diagram of a system including an image processing device according to the present embodiment. The control device 101 of the system transmits a control command to each device at a preset timing. The system includes a control device 101, an image processing device 102, an image pickup device 103, a working robot 104, a transport device 105, and transport vehicles 106, 107.

画像処理装置１０２は、制御装置１０１から受信した制御指令にしたがって、撮像装置１０３の駆動制御を行う。撮像装置１０３は撮影方向と撮影画角の変更が可能であり、画像処理装置１０２からの制御信号により計測対象の撮影位置を変更して撮像動作を行う。画像処理装置１０２は撮像装置１０３から取得した撮像画像データを処理し、画像処理結果を制御装置１０１に送信する。制御装置１０１は、画像処理結果に基づいてロボット１０４、搬送装置１０５、搬送車１０６，１０７を制御し、所定の作業を実行させる。 The image processing device 102 controls the drive of the image pickup device 103 according to the control command received from the control device 101. The image pickup device 103 can change the shooting direction and the shooting angle of view, and changes the shooting position of the measurement target by the control signal from the image processing device 102 to perform the image pickup operation. The image processing device 102 processes the captured image data acquired from the image pickup device 103, and transmits the image processing result to the control device 101. The control device 101 controls the robot 104, the transfer device 105, and the transfer vehicles 106, 107 based on the image processing result, and causes the control device 101 to execute a predetermined operation.

一例として、以下の作業工程を説明する。
・撮像装置１０３が撮像した画像データを用いて、搬送装置１０５により搬送されるワーク１０８～１１０の種別を判別する工程。
・ロボット１０４によってワークの種別ごとに異なる搬送車にワークを配置する工程。
ワークを搬送する搬送車１０６，１０７の停止位置は、複数の停止枠１１１により決定されるものとする。 As an example, the following work process will be described.
A step of determining the type of the work 108 to 110 transported by the transport device 105 using the image data captured by the image pickup device 103.
-A process of arranging a work on a transport vehicle that differs depending on the type of work by the robot 104.
The stop positions of the transport vehicles 106 and 107 for transporting the work shall be determined by a plurality of stop frames 111.

図２は撮像装置１０３の撮影方向と撮影画角を変更する駆動機構を説明する模式図である。撮像装置１０３は、雲台２０１と撮影系（撮像光学系）２０２を備える。雲台２０１は、撮影系２０２の方向を、横方向（以下、パンニング方向をＰ方向と記す）および縦方向（以下、チルティング方向をＴ方向と記す）に変化させる２つの駆動系の機構部を有する。パンニング機構（パン機構ともいう）は撮影系２０２をＰ方向に駆動させる機構であり、チルティング機構（チルト機構ともいう）は撮影系２０２をＴ方向に駆動させる機構である。これらの機構によって撮影系２０２の撮影方向は、Ｐ方向にて３６０°の範囲で変更可能、つまりエンドレス旋回が可能である。またＴ方向にて、水平方向を０度として－３０．０度～＋２１０．０度の範囲で撮影方向を変更可能である。また撮像装置１０３はズーム機構により、撮影系２０２のズーム倍率を１．０倍～２０．０倍の範囲で変更可能である。 FIG. 2 is a schematic diagram illustrating a drive mechanism for changing the shooting direction and the shooting angle of view of the image pickup apparatus 103. The image pickup device 103 includes a pan head 201 and a photographing system (imaging optical system) 202. The pan head 201 is a mechanical unit of two drive systems that change the direction of the photographing system 202 in the horizontal direction (hereinafter, the panning direction is referred to as the P direction) and the vertical direction (hereinafter, the tilting direction is referred to as the T direction). Has. The panning mechanism (also referred to as a pan mechanism) is a mechanism for driving the photographing system 202 in the P direction, and the tilting mechanism (also referred to as a tilt mechanism) is a mechanism for driving the photographing system 202 in the T direction. With these mechanisms, the photographing direction of the photographing system 202 can be changed in the range of 360 ° in the P direction, that is, endless turning is possible. Further, in the T direction, the shooting direction can be changed in the range of -30.0 degrees to +210.0 degrees with the horizontal direction as 0 degrees. Further, the image pickup apparatus 103 can change the zoom magnification of the photographing system 202 in the range of 1.0 times to 20.0 times by the zoom mechanism.

このように撮像装置１０３は、撮影方向およびズーム倍率の制御により撮影位置と撮影画角を変更することができ、例えば以下の計測シーンを撮影することができる。
・ワーク１０８～１１０の種別を検出する計測シーンＡ１１２。
・搬送車１０６，１０７が停止枠１１１内にそれぞれ存在するか否かを判定する計測シーンＢ１１３および計測シーンＣ１１４。
本実施形態では便宜上、１台の撮像装置の使用例を説明するが、より大規模なシステムにおいては複数の撮像装置が使用される。各撮像装置は複数の計測シーンの撮影を担当する。 In this way, the image pickup apparatus 103 can change the shooting position and the shooting angle of view by controlling the shooting direction and the zoom magnification, and can shoot, for example, the following measurement scenes.
-Measurement scene A112 for detecting the types of works 108 to 110.
-Measurement scene B113 and measurement scene C114 for determining whether or not the transport vehicles 106 and 107 are present in the stop frame 111, respectively.
In this embodiment, an example of using one image pickup device will be described for convenience, but in a larger system, a plurality of image pickup devices are used. Each image pickup device is in charge of shooting a plurality of measurement scenes.

図３は、計測シーンＡ１１２およびＢ１１３を説明する図である。図３（Ａ）は計測シーンＡ１１２の画像例を示し、図３（Ｂ）は計測シーンＢ１１３の画像例を示す。図３（Ａ）に示す画像３０１は、撮像装置１０３が搬送装置１０５上のワーク１０８を撮像した画像である。画像処理装置１０２は画像３０１のデータを処理し、ワーク１０８の実空間座標を算出する。制御装置１０１は画像処理結果に基づいてロボット１０４を制御する。このとき、撮像装置１０３の位置再現性が低下すると、画像処理装置１０２が算出したワーク１０８の位置姿勢の座標と実際のワーク１０８の位置姿勢の座標との間で誤差が発生する。誤差が許容範囲を超えた場合、ロボット１０４の制御に誤りが発生し、ワーク１０８の把持やピックアップ動作に支障を来す可能性がある。 FIG. 3 is a diagram illustrating measurement scenes A112 and B113. FIG. 3A shows an image example of the measurement scene A112, and FIG. 3B shows an image example of the measurement scene B113. The image 301 shown in FIG. 3A is an image obtained by the image pickup device 103 taking an image of the work 108 on the transfer device 105. The image processing device 102 processes the data of the image 301 and calculates the real space coordinates of the work 108. The control device 101 controls the robot 104 based on the image processing result. At this time, if the position reproducibility of the image pickup apparatus 103 deteriorates, an error occurs between the coordinates of the position and orientation of the work 108 calculated by the image processing apparatus 102 and the coordinates of the actual position and orientation of the work 108. If the error exceeds the permissible range, an error may occur in the control of the robot 104, which may hinder the gripping and pick-up operation of the work 108.

そこで画像処理装置１０２は、撮像装置１０３の撮影位置を変更したのちに基準画像領域の撮影を行い、位置再現性が確保できているかどうかを判定する。基準画像領域については後述するが、例えば搬送装置１０５を固定するボルトや柱が写っている領域３０２のように、時間経過に伴う変動が小さく、かつ特徴量の大きい領域が基準画像領域として好適である。これに対し、ワーク１０８とその周辺部が写っている領域のような、動画像において時間経過に伴って位置や傾きが変化する領域は基準画像領域として適切ではない。 Therefore, the image processing device 102 shoots the reference image region after changing the shooting position of the image pickup device 103, and determines whether or not the position reproducibility can be ensured. The reference image area will be described later, but an area having a small fluctuation with the passage of time and a large feature amount, such as an area 302 in which bolts and pillars for fixing the transport device 105 are shown, is suitable as the reference image area. be. On the other hand, a region in which the position and inclination change with the passage of time in a moving image, such as a region in which the work 108 and its peripheral portion are shown, is not suitable as a reference image region.

撮像装置１０３は、基準画像領域３０２を含む画像３０１のデータを画像処理装置１０２に送信する。または、基準画像領域３０２をトリミングした画像データを撮像装置１０３が画像処理装置１０２に送信してもよい。あるいは、撮像装置１０３が画像３０１の画像処理を行って後述する特徴を抽出し、抽出結果を示すデータのみを画像処理装置１０２に送信してもよい。 The image pickup apparatus 103 transmits the data of the image 301 including the reference image region 302 to the image processing apparatus 102. Alternatively, the image pickup device 103 may transmit the image data obtained by trimming the reference image area 302 to the image processing device 102. Alternatively, the image pickup apparatus 103 may perform image processing on the image 301 to extract features described later, and transmit only the data indicating the extraction result to the image processing apparatus 102.

図３（Ｂ）に示す画像３０３は、撮像装置１０３が搬送車１０６を撮像した画像である。画像処理装置１０２は画像３０３の画像処理を行い、搬送車１０６が停止枠１１１内に存在するかどうかを判定する。このとき撮像装置に要求される位置再現性については、計測シーンＡ１１２に比較して判定精度が低いものとする。むしろ過分な位置再現性を要求すると、必要以上の補正処理が行われた場合に計測時間が長くなるという問題が発生する。 The image 303 shown in FIG. 3B is an image obtained by the image pickup device 103 taking an image of the transport vehicle 106. The image processing device 102 performs image processing on the image 303 and determines whether or not the transport vehicle 106 exists in the stop frame 111. Regarding the position reproducibility required for the image pickup device at this time, it is assumed that the determination accuracy is lower than that of the measurement scene A112. Rather, if excessive position reproducibility is required, there arises a problem that the measurement time becomes long when the correction process is performed more than necessary.

図４は、画像処理装置１０２の構成例を示すブロック図である。画像処理装置１０２はインターフェース部４０３を介して制御装置１０１、撮像装置１０３と接続されている。入出力表示装置４０１、操作入力装置４０２はインターフェース部４０３を介して画像処理装置１０２と接続された、ユーザ・インターフェース用の装置である。各装置は画像処理装置１０２の内部バス上に配置された各インターフェース部４０３を介して接続される。各インターフェース部４０３は通信に適した規格に基づき、接続対象に応じたネットワークインターフェース部、シリアル通信インターフェース部等から構成される。 FIG. 4 is a block diagram showing a configuration example of the image processing device 102. The image processing device 102 is connected to the control device 101 and the image pickup device 103 via the interface unit 403. The input / output display device 401 and the operation input device 402 are devices for a user interface connected to the image processing device 102 via the interface unit 403. Each device is connected via each interface unit 403 arranged on the internal bus of the image processing device 102. Each interface unit 403 is composed of a network interface unit, a serial communication interface unit, and the like according to the connection target, based on a standard suitable for communication.

入出力表示装置４０１は、画像を表示する陰極管や液晶パネル等の表示デバイスを備える。操作入力装置４０２は、キーボードやポインティングデバイス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置等により構成される。 The input / output display device 401 includes a display device such as a cathode ray tube or a liquid crystal panel for displaying an image. The operation input device 402 is composed of a keyboard, a pointing device, a touch panel, an input operation controller, a gesture input device, and the like.

画像処理装置１０２と接続される撮像装置１０３には、撮影のために必要に応じて照明装置を併設してもよい。照明装置はハロゲンランプや発光ダイオード等の光源を備える。また画像処理装置１０２に外部記憶装置を接続して、記憶容量を拡大してもよい。 The image pickup device 103 connected to the image processing device 102 may be provided with a lighting device as necessary for photographing. The lighting device includes a light source such as a halogen lamp or a light emitting diode. Further, an external storage device may be connected to the image processing device 102 to expand the storage capacity.

画像処理装置１０２は、画像処理の制御主体となる汎用マイクロプロセッサとして構成されたＣＰＵ（中央演算処理装置）や画像処理プロセッサ等により構成される演算部４０４を有する。演算部４０４は内部バス（データバス、アドレスバス、他の制御線等）を介して記憶部４０５と接続される。 The image processing device 102 has a calculation unit 404 composed of a CPU (central processing unit) configured as a general-purpose microprocessor that is a control main body of image processing, an image processing processor, and the like. The arithmetic unit 404 is connected to the storage unit 405 via an internal bus (data bus, address bus, other control lines, etc.).

記憶部４０５には、ＲＯＭ、ＲＡＭ、またはＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリデバイスや、外部記憶装置が使用される。ＲＯＭは“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”、ＲＡＭは“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略号である。ＥＰＲＯＭは“Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。ＥＥＰＲＯＭは“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。外部記憶装置は、例えばハードディスクドライブ装置（ＨＤＤ）や半導体メモリ素子で構成された記憶装置、あるいはインターフェース部４０３と接続可能な記憶装置等である。 A ROM, RAM, a non-volatile memory device such as EPROM or EEPROM, or an external storage device is used for the storage unit 405. ROM is an abbreviation for "Read Only Memory" and RAM is an abbreviation for "Random Access Memory". EPROM is an abbreviation for "Erasable Program Read Only Memory". EEPROM is an abbreviation for "Electrically Erasable Programmable Read Only Memory". The external storage device is, for example, a storage device composed of a hard disk drive device (HDD) or a semiconductor memory element, a storage device that can be connected to the interface unit 403, or the like.

記憶部４０５は処理データ保存領域４０６およびプログラム記憶領域を有する。処理データ保存領域４０６は、記憶部４０５中のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域等によって構成される。処理データ保存領域４０６は、処理データを一時的に記憶する他、画像処理の設定パラメータ等の記憶領域として使用される。記憶部４０５のプログラム記憶領域には、本実施例の画像処理を実行するための画像処理プログラム４０７が記憶される。画像処理プログラム４０７は、操作入力装置４０２によって行われた各種操作に応じて、画像処理の設定変更や所定の画像処理を実行する。また変更内容について、処理データ保存領域４０６へのデータの保存や、データの削除が可能である。 The storage unit 405 has a processing data storage area 406 and a program storage area. The processing data storage area 406 is composed of a RAM area in the storage unit 405, a file area of an external storage device, a virtual storage area, and the like. The processed data storage area 406 is used as a storage area for image processing setting parameters and the like, in addition to temporarily storing the processed data. The image processing program 407 for executing the image processing of this embodiment is stored in the program storage area of the storage unit 405. The image processing program 407 executes image processing setting changes and predetermined image processing in response to various operations performed by the operation input device 402. Further, regarding the changed contents, it is possible to save the data in the processing data storage area 406 and delete the data.

画像処理プログラム４０７は、各種の機能を実現するソフトウェアモジュールから構成される。例えば画像処理モジュール４０８は画像処理を実現する本体部分である。このモジュールが行う画像処理には画像処理ライブラリ４０９が用いられる。画像処理ライブラリ４０９は、例えば静的または動的にリンクされるライブラリとして記憶部４０５に実装される。画像処理設定モジュール４１０は画像処理プログラム４０７の振舞いを決定する。画像処理設定は操作入力装置４０２によって行われた各種操作に応じて行われる。 The image processing program 407 is composed of software modules that realize various functions. For example, the image processing module 408 is a main body portion that realizes image processing. The image processing library 409 is used for the image processing performed by this module. The image processing library 409 is implemented in the storage unit 405, for example, as a library that is statically or dynamically linked. The image processing setting module 410 determines the behavior of the image processing program 407. The image processing setting is performed according to various operations performed by the operation input device 402.

さらに、画像処理プログラム４０７には、次の機能を実現するＩ／Ｏ（入出力）用サブルーチンが含まれる。例えば、外部デバイス制御サブルーチン４１１、保存データ生成サブルーチン４１２、制御装置１０１からの制御指令を受け付けるための指令受付サブルーチン４１３がある。またＲＡＭ領域や演算部４０４のキャッシュ領域等を使用する一時記憶サブルーチン４１４、表示画面生成サブルーチン４１５がある。保存データ出力サブルーチン４１６は処理データ保存領域４０６に保存されたデータを読み出して出力するプログラムであり、操作受付サブルーチン４１７は操作入力装置４０２からの操作指示を受け付けるためのプログラムである。各機能は、アプリケーション（ユーティリティ）プログラムや、静的または動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶部４０５に実装される。 Further, the image processing program 407 includes an I / O (input / output) subroutine that realizes the following functions. For example, there are an external device control subroutine 411, a stored data generation subroutine 412, and a command reception subroutine 413 for receiving a control command from the control device 101. Further, there are a temporary storage subroutine 414 and a display screen generation subroutine 415 that use the RAM area, the cache area of the calculation unit 404, and the like. The stored data output subroutine 416 is a program for reading and outputting the data stored in the processing data storage area 406, and the operation reception subroutine 417 is a program for receiving an operation instruction from the operation input device 402. Each function is implemented in the storage unit 405 in the form of an application (utility) program or a subroutine configured as a library that is statically or dynamically linked.

画像処理装置１０２のＣＰＵは画像処理プログラム４０７を実行することにより、撮像装置１０３の制御、演算部４０４を利用した画像処理を行う。また、操作入力装置４０２によりユーザの操作指示を受け付ける処理や、画像処理装置１０２の外部装置である制御装置１０１から制御指令を受け付ける処理が実行される。演算部４０４は操作指示や制御指令に応じて、画像処理プログラム４０７の各機能モジュールやライブラリを呼び出して演算処理を行い、画像処理結果のデータを制御装置１０１に送信する。また、画像処理結果のデータを外部記憶装置に送信して蓄積（ロギング）することができる。さらには、プログラムによって予め記憶されている画面構成と画像処理結果とを画面上で合成し、入出力表示装置４０１に表示する処理が実行される。 By executing the image processing program 407, the CPU of the image processing device 102 controls the image pickup device 103 and performs image processing using the calculation unit 404. In addition, the operation input device 402 executes a process of receiving a user's operation instruction and a process of receiving a control command from a control device 101 which is an external device of the image processing device 102. The arithmetic unit 404 calls each functional module or library of the image processing program 407 in response to an operation instruction or a control command to perform arithmetic processing, and transmits image processing result data to the control device 101. Further, the image processing result data can be transmitted to an external storage device and stored (logged). Further, a process of synthesizing the screen configuration and the image processing result stored in advance by the program on the screen and displaying them on the input / output display device 401 is executed.

図５は、画像処理プログラム４０７を作成するためのフローチャート作成画面の例を示す図である。この画面は入出力表示装置４０１に表示される。本実施例に係る画像処理プログラム４０７は、ユーザが画像処理装置１０２を用いて作成したフローチャートに従って実行されるものとする。その他の実施形態として、ユーザが図１に示していない画像処理プログラム作成装置を使用して画像処理プログラム４０７を作成する形態がある。この場合、作成された画像処理プログラム４０７が画像処理装置１０２の記憶部４０５に転送されて記憶される。また、機能別または目的別に予め定型で用意された組合せ済みの画像処理フローチャートを内包したパッケージ機能を用いる形態でもよい。この場合、ユーザはＧＵＩ（グラフィカル・ユーザ・インターフェース）上で所望の機能を選択し、パラメータ等の調整を行うことができる。 FIG. 5 is a diagram showing an example of a flowchart creation screen for creating an image processing program 407. This screen is displayed on the input / output display device 401. It is assumed that the image processing program 407 according to the present embodiment is executed according to the flowchart created by the user using the image processing device 102. As another embodiment, there is an embodiment in which a user creates an image processing program 407 using an image processing program creating device (not shown in FIG. 1). In this case, the created image processing program 407 is transferred to the storage unit 405 of the image processing device 102 and stored. Further, a package function including a pre-combined image processing flowchart prepared in advance for each function or purpose may be used. In this case, the user can select a desired function on the GUI (graphical user interface) and adjust parameters and the like.

パーツリスト５０１は、フローチャートを構成する各処理パーツのリストである。ユーザは矩形枠内に示す各種の処理や、菱形枠内に示す条件分岐処理を指定することができる。例えばユーザは操作入力装置４０２を用いて、パーツリスト５０１から所望の処理パーツを指定する。ポインティングデバイス等でドラッグ＆ドロップ操作を行い、フローチャート領域５０２に配置した複数の処理パーツ同士を線で結合することにより、フローチャートの作成が可能である。 The parts list 501 is a list of each processing part constituting the flowchart. The user can specify various processes shown in the rectangular frame and conditional branching processes shown in the diamond frame. For example, the user uses the operation input device 402 to specify a desired processing part from the parts list 501. A flowchart can be created by performing a drag and drop operation with a pointing device or the like and connecting a plurality of processing parts arranged in the flowchart area 502 with a line.

複数の処理パーツから構成されるフローチャート５０３は、ロボット１０４によってワーク１０８～１１０を搬送装置１０５から取り出し、ワークの種別に従って搬送車１０６または１０７に配置する処理を記述した例である。この例において、処理の開始後の撮影処理５０４はワーク１０８～１１０を撮影する処理である。次のワーク位置計算５０５はワーク１０８～１１０の位置や位相を算出する計算処理であり、その次のロボット移動５０６の処理は、算出されたワーク位置の上方にロボット１０４のハンドを移動させたり回転させたりする処理である。Ｐｉｃｋ処理５０７はロボット１０４によるワーク１０８のピックアップ動作の処理であり、その次の撮影処理５０８は搬送車１０６を撮影する処理である。その次には、撮像画像内に搬送車１０６の画像領域が存在するかどうかを検出する存在検出５０９の処理が記述されている。さらに条件分岐処理５１０では、搬送車１０６の画像領域が撮像画像内に存在する場合にロボット移動処理５１１に進み、搬送車１０６の画像領域が撮像画像内に存在しない場合に報知処理５１３に進むことが記述されている。ロボット移動処理５１１は、ロボット１０４により取り出されたワーク１０８を搬送車１０６の位置に移動させる処理である。次のＰｌａｃｅ処理５１２はロボット１０４がワーク１０８を搬送車１０６上に載置する処理である。報知処理５１３は一定時間を待って検出された異常発生を報知する処理である。そして一連の処理を終了する。 The flowchart 503 composed of a plurality of processing parts is an example describing a process of taking out the works 108 to 110 from the transport device 105 by the robot 104 and arranging them on the transport vehicle 106 or 107 according to the type of the work. In this example, the photographing process 504 after the start of the process is a process of photographing the works 108 to 110. The next work position calculation 505 is a calculation process for calculating the position and phase of the works 108 to 110, and the next robot movement 506 process is to move or rotate the hand of the robot 104 above the calculated work position. It is a process to make it. The pick process 507 is a process of picking up the work 108 by the robot 104, and the next photographing process 508 is a process of photographing the carrier 106. Next, the process of presence detection 509 for detecting whether or not the image region of the carrier 106 exists in the captured image is described. Further, the conditional branching process 510 proceeds to the robot movement process 511 when the image area of the carrier vehicle 106 exists in the captured image, and proceeds to the notification process 513 when the image area of the carrier vehicle 106 does not exist in the captured image. Is described. The robot movement process 511 is a process for moving the work 108 taken out by the robot 104 to the position of the transport vehicle 106. The next Place process 512 is a process in which the robot 104 places the work 108 on the transport vehicle 106. The notification process 513 is a process for notifying the occurrence of an abnormality detected after waiting for a certain period of time. Then, a series of processing is completed.

ユーザは所望の処理パーツを組み合わせて、目的とするフローチャート５０３を作成する。作成されたフローチャート５０３において、処理パーツのいずれかのダブルクリック操作が行われた場合、当該処理パーツの詳細な処理を設定するための設定画面の表示処理に遷移する。この設定画面については後述する。ＯＫボタン５１４のクリック操作が行われた場合、画像処理装置１０２はフローチャートに記述された処理を実行するための画像処理プログラム４０７を生成する。 The user combines desired processing parts to create a target flowchart 503. In the created flowchart 503, when any of the processing parts is double-clicked, the process transitions to the display processing of the setting screen for setting the detailed processing of the processing parts. This setting screen will be described later. When the click operation of the OK button 514 is performed, the image processing apparatus 102 generates an image processing program 407 for executing the processing described in the flowchart.

図６は、撮影処理における基準特徴の登録処理画面を表す図である。例えば、ユーザが図５に示すフローチャート５０３において、撮影処理５０４または５０８の処理パーツに対するダブルクリック操作を行った場合、登録処理画面６０１が入出力表示装置４０１によって表示される。ユーザは登録処理画面６０１を見ながら、計測時の基準として用いる基準特徴部の設定登録を行うことができる。 FIG. 6 is a diagram showing a screen for registering reference features in the photographing process. For example, in the flowchart 503 shown in FIG. 5, when the user performs a double-click operation on the processing parts of the shooting process 504 or 508, the registration processing screen 601 is displayed by the input / output display device 401. The user can register the setting of the reference feature unit used as the reference at the time of measurement while looking at the registration processing screen 601.

図７は基準特徴の登録処理のシーケンス図である。以下では、図６および図７を参照して以下の処理（Ａ）～（Ｄ）から構成される登録処理について具体的に説明する。
（Ａ）使用する撮像装置の設定処理。
（Ｂ）撮影位置に関するパンニングとチルティング、ズーム倍率の設定処理。
（Ｃ）撮像装置が備える駆動機構部の性能や劣化に由来する位置再現性を評価するために基準画像領域・抽出特徴・誤差計算方法を設定する処理。駆動機構部にはパン機構、チルト機構、ズーム機構が含まれる。
（Ｄ）計測シーンごとの許容誤差・脱出条件を設定する処理。 FIG. 7 is a sequence diagram of the registration process of the reference feature. Hereinafter, the registration process including the following processes (A) to (D) will be specifically described with reference to FIGS. 6 and 7.
(A) Setting processing of the image pickup device to be used.
(B) Panning, tilting, and zoom magnification setting processing related to the shooting position.
(C) A process of setting a reference image area, extraction features, and an error calculation method in order to evaluate the performance of the drive mechanism of the image pickup apparatus and the position reproducibility due to deterioration. The drive mechanism includes a pan mechanism, a tilt mechanism, and a zoom mechanism.
(D) Processing for setting tolerance and escape conditions for each measurement scene.

まず処理（Ａ）について説明する。図６の撮影パーツＩＤ６０２は、撮影パーツを識別するための情報を表示するボックスである。カメラＩＤ６０３は、撮像装置の識別情報であるカメラＩＤを設定するためのスピンボックス、つまりスピンコントロール付きテキストボックスである。システムにて複数台の撮像装置が使用される場合、ユーザはカメラＩＤを選択することによって、撮影に使用するカメラを設定することができる。ここでは、撮像装置１０３に割り当てられたカメラＩＤが指定されたものとして説明する。 First, the process (A) will be described. The shooting part ID 602 of FIG. 6 is a box for displaying information for identifying the shooting parts. The camera ID 603 is a spin box for setting a camera ID which is identification information of an image pickup apparatus, that is, a text box with spin control. When a plurality of image pickup devices are used in the system, the user can set the camera to be used for shooting by selecting the camera ID. Here, it is assumed that the camera ID assigned to the image pickup apparatus 103 is designated.

次に処理（Ｂ）について説明する。図６のバー６０４～６０６は、撮像装置１０３のパンニング、チルティング、ズーム倍率を変更するために操作されるスライドバーである。撮像装置１０３による撮像画像は画像表示領域６０７に表示され、その下側にパンニング用のバー６０４が配置されている。バー６０４の操作によりＰ方向における撮影位置を変更可能である。画像表示領域６０７の右側にはチルティング用のバー６０５、およびズーム倍率変更用のバー６０６が配置されている。バー６０５の操作によりＴ方向における撮影位置を変更可能である。バー６０６の操作により撮影画角を変更可能である。 Next, the process (B) will be described. Bars 604 to 606 of FIG. 6 are slide bars operated to change the panning, tilting, and zoom magnification of the image pickup apparatus 103. The image captured by the image pickup device 103 is displayed in the image display area 607, and a panning bar 604 is arranged below the image display area 607. The shooting position in the P direction can be changed by operating the bar 604. A bar 605 for tilting and a bar 606 for changing the zoom magnification are arranged on the right side of the image display area 607. The shooting position in the T direction can be changed by operating the bar 605. The shooting angle of view can be changed by operating the bar 606.

図７には画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図７の上から下への方向と定義する。ユーザがバー６０４～６０６のうちの所望のバーを操作した場合、画像処理装置１０２は撮像装置１０３に対して撮影指令を送信する（Ｓ７０１)。撮像装置１０３は駆動部を制御して、パンニングやチルティングの変更（撮影方向の変更）、またはズーム倍率の変更を行う（Ｓ７０２）。その後、撮像装置１０３による撮影動作が行われ(Ｓ７０３)、撮像画像のデータが画像処理装置１０２に送信される(Ｓ７０４)。画像処理装置１０２は撮像画像の表示処理を行い、入出力表示装置４０１の画面における画像表示領域６０７に撮像画像が表示される。図６に表示される画像例では、図１に示した搬送装置１０５と搬送中のワーク１０８、搬送装置１０５を固定しているボルト部分６０８（図３に示す領域３０２に対応する）が写っている。Ｓ７０１からＳ７０４の処理はループ処理として、ユーザがスライドバー（６０４から６０６のいずれか）を操作するたびに繰り返し実行される。 FIG. 7 shows an example of processing performed between the image processing device 102 and the image pickup device 103. The direction of the time axis is defined as the direction from top to bottom in FIG. When the user operates a desired bar among the bars 604 to 606, the image processing device 102 transmits a shooting command to the image pickup device 103 (S701). The image pickup apparatus 103 controls the drive unit to change the panning and tilting (change the shooting direction) or change the zoom magnification (S702). After that, a shooting operation is performed by the image pickup device 103 (S703), and the data of the captured image is transmitted to the image processing device 102 (S704). The image processing device 102 performs display processing of the captured image, and the captured image is displayed in the image display area 607 on the screen of the input / output display device 401. In the image example displayed in FIG. 6, the transport device 105 shown in FIG. 1, the work 108 being transported, and the bolt portion 608 (corresponding to the region 302 shown in FIG. 3) fixing the transport device 105 are shown. There is. The processing of S701 to S704 is a loop processing, and is repeatedly executed every time the user operates the slide bar (any of 604 to 606).

次に処理（Ｃ）について説明する。処理（Ｃ）の目的は、撮像装置１０３に係る撮影位置の再現性を所定の画像処理を用いて検出することである。図６の画像表示領域６０７内に点線で示す枠６０９は、ユーザが基準画像領域を登録するための枠である。ユーザは操作入力装置４０２を用いて、枠６０９の形状、位置、大きさ等を変更可能である。図６では、搬送装置１０５を固定しているボルト部分６０８の画像領域が枠６０９によって包囲されており、４箇所の枠６０９内の領域が基準画像領域としてそれぞれ指定されている。図７のＳ７０５に基準画像領域の決定処理を示す。枠６０９は追加または削除が可能である。例えばユーザがマウスの右クリック操作を行うことでコンテキストメニュー（図示せず）が表示され、ユーザが「枠の追加・削除」を選択することによって、枠の追加や削除の操作を行える。 Next, the process (C) will be described. The purpose of the process (C) is to detect the reproducibility of the shooting position of the image pickup apparatus 103 by using a predetermined image process. The frame 609 shown by the dotted line in the image display area 607 of FIG. 6 is a frame for the user to register the reference image area. The user can change the shape, position, size, etc. of the frame 609 by using the operation input device 402. In FIG. 6, the image area of the bolt portion 608 fixing the transport device 105 is surrounded by the frame 609, and the areas in the four frames 609 are designated as the reference image areas, respectively. S705 of FIG. 7 shows the determination process of the reference image area. The frame 609 can be added or deleted. For example, when the user right-clicks the mouse, a context menu (not shown) is displayed, and the user can select "add / delete frame" to add or delete a frame.

図６の登録処理画面６０１において中段には２つのスピンボックス６１０と６１１を示す。スピンボックス６１０は、基準画像領域から基準特徴を抽出する特徴抽出法を設定する際に使用される。特徴抽出法としてはパターンマッチング、エッジ検出、濃淡の検出、二値化重心、外接矩形、周囲長、色等を選択可能である。基準特徴とは、パターンの位置や位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等である。ユーザはスピンボックス６１０にて所望の選択肢を指定可能である。 In the registration processing screen 601 of FIG. 6, two spin boxes 610 and 611 are shown in the middle stage. The spin box 610 is used when setting a feature extraction method for extracting a reference feature from a reference image area. As the feature extraction method, pattern matching, edge detection, shading detection, binarized center of gravity, circumscribed rectangle, perimeter, color, etc. can be selected. The reference features are the position and phase of the pattern, the edge, the shading value, the area and position of the binarized area, the size and position and inclination of the rectangle, the length, the color density value and the like. The user can specify the desired option in the spin box 610.

スピンボックス６１１は、誤差の計算法を選択する際に使用される。基準特徴と、後述の計測時に抽出した特徴（基準特徴と同じく、パターンの位置または位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等）に基づく誤差の計算法を選択することができる。誤差の計算法では基準特徴および抽出した特徴のそれぞれについて、パターンの一致度、エッジや領域の重心位置の差、矩形の大きさや位置座標同士の距離および傾きの差、長さの差、濃淡の差等、複数の特徴同士の位置関係等が選択可能である。この場合、２以上の計算方法の組み合わせを設定できるように構成してもよい。 The spin box 611 is used in selecting the error calculation method. The reference feature and the feature extracted at the time of measurement described later (similar to the reference feature, the position or phase of the pattern, the edge, the shading value, the area and position of the binarized area, the size and position of the rectangle, the inclination, the length, and the color density. You can select the error calculation method based on the value etc.). In the error calculation method, for each of the reference feature and the extracted feature, the degree of pattern matching, the difference in the position of the center of gravity of the edge or region, the size of the rectangle, the difference in the distance and inclination between the position coordinates, the difference in length, and the difference in shading The positional relationship between multiple features such as differences can be selected. In this case, it may be configured so that a combination of two or more calculation methods can be set.

次に処理（Ｄ）について説明する。図３を用いて説明したように、計測シーンによって必要な計測精度や認識率が異なる場合がある。この場合、ユーザは撮影位置の再現性の判定条件を指定する際にスピンボックス６１２を用いて、各画像処理工程における許容誤差を入力することができる。許容誤差とは、画像計測時の再現性の影響による誤差がどの程度許容されるかを表す。許容誤差は、例えば画素数（ピクセル単位）または実距離（センチメートル単位）で表現される。本実施例では、ユーザが対象となる画像計測工程に要求される計測誤差量に基づき、許容誤差をスピンボックス６１２で直接的に指定する形態を説明する。他の実施形態としては、画像計測工程に要求される計測誤差範囲や、システムに使用される撮像装置のデバイス情報等から画像計測の誤差量を推定し、差分計算により推奨値を算出して提示する形態がある。 Next, the process (D) will be described. As described with reference to FIG. 3, the required measurement accuracy and recognition rate may differ depending on the measurement scene. In this case, the user can input the permissible error in each image processing step by using the spin box 612 when designating the reproducibility determination condition of the shooting position. The permissible error indicates the degree of permissible error due to the influence of reproducibility at the time of image measurement. The margin of error is expressed, for example, in the number of pixels (in pixels) or the actual distance (in centimeters). In this embodiment, a mode in which the permissible error is directly specified by the spin box 612 based on the measurement error amount required for the target image measurement process by the user will be described. As another embodiment, the error amount of image measurement is estimated from the measurement error range required for the image measurement process, the device information of the image pickup device used in the system, and the like, and the recommended value is calculated and presented by the difference calculation. There is a form to do.

スピンボックス６１３は、ユーザが脱出条件を指定する際に使用される。脱出条件は、撮像装置１０３に対する撮影位置の補正を打ち切るための条件であり、例えば補正回数または補正の制限時間（秒単位）で指定可能である。計測時に計測誤差が許容誤差を上回った場合、画像処理装置１０２は撮像装置１０３に対して補正指令を送信する。その際、スピンボックス６１３で指定された補正回数または制限時間にて補正指令を送信する処理が実行される。チェックボックス６１５は補正処理を実行するかどうかを選択する際に使用される。チェックボックス６１５にチェックマークが付されている場合、計測シーンにおける補正処理が実行される。またチェックボックス６１５のチェックマークを外すことによって、計測シーンにおいて補正処理が実行されないように設定することができる。 The spin box 613 is used when the user specifies escape conditions. The escape condition is a condition for discontinuing the correction of the shooting position with respect to the image pickup apparatus 103, and can be specified, for example, by the number of corrections or the time limit for correction (in seconds). If the measurement error exceeds the permissible error during measurement, the image processing device 102 transmits a correction command to the image pickup device 103. At that time, the process of transmitting the correction command is executed at the correction number of times or the time limit specified by the spin box 613. The check box 615 is used to select whether to execute the correction process. When the check box 615 is checked, the correction process in the measurement scene is executed. Further, by removing the check mark of the check box 615, it is possible to set so that the correction process is not executed in the measurement scene.

上記処理（Ａ）～（Ｄ）が終了し、ユーザがＯＫボタン６１４のクリック操作を行うと、画像処理装置１０２は指定された特徴抽出法を用いて基準特徴を抽出する(図７：Ｓ７０６）。そして設定された項目のデータを図８に示すデータ形式で生成する処理が行われ、当該データが基準特徴情報として処理データ保存領域４０６に保存される(図７：Ｓ７０７）。 When the above processes (A) to (D) are completed and the user clicks the OK button 614, the image processing device 102 extracts the reference feature using the specified feature extraction method (FIG. 7: S706). .. Then, a process of generating the data of the set item in the data format shown in FIG. 8 is performed, and the data is stored in the processed data storage area 406 as reference feature information (FIG. 7: S707).

図８は基準特徴情報のデータ形式を表す図である。図８（Ａ）は撮影パーツごとに生成されるデータ例を示す。例えば撮影パーツＩＤ８０１が「０１」である第１行では、カメラＩＤ８０２が「０１」、パン方向８０３の角度値が「１０．０」（単位：°）、チルト方向８０４の角度値が「－５．０」（単位：°）である。ズーム倍率８０５は「１．０」倍、特徴抽出法８０６は「パターンマッチング」、誤差計算法８０７は「パターン位置」である。脱出条件（数値）８０８は「５」、脱出条件（単位）８０９は「回」である。許容誤差（数値）８１０は「５」、許容誤差（単位）８１１は「ピクセル」である。撮影パーツＩＤ８０１が「０２」である第２行では、撮影パーツＩＤ８０１が「０１」である第１行に比べて、再現性の判定条件が緩和されていることを示している。符号８０１～８１１で示す各項目については、図６において説明済みであるので、それらの説明を省略する。 FIG. 8 is a diagram showing a data format of reference feature information. FIG. 8A shows an example of data generated for each shooting part. For example, in the first row where the shooting part ID 801 is "01", the camera ID 802 is "01", the angle value in the pan direction 803 is "10.0" (unit: °), and the angle value in the tilt direction 804 is "-5". .0 "(unit: °). The zoom magnification 805 is "1.0" times, the feature extraction method 806 is "pattern matching", and the error calculation method 807 is "pattern position". The escape condition (numerical value) 808 is "5", and the escape condition (unit) 809 is "times". The margin of error (numerical value) 810 is "5", and the margin of error (unit) 811 is "pixel". In the second line where the shooting part ID 801 is "02", it is shown that the reproducibility determination condition is relaxed as compared with the first line where the shooting part ID 801 is "01". Since each item indicated by reference numerals 801 to 811 has already been described in FIG. 6, the description thereof will be omitted.

図８（Ａ）の各行に示す項目のデータは基準特徴情報ＩＤ８１２と関連付けられている。基準特徴情報ＩＤ８１２は、基準特徴情報を一意に識別するためのＩＤ（識別情報）である。図８（Ｂ）は基準特徴情報ごとに生成されるデータ例を示す。例えば第１行の基準特徴情報ＩＤ８１２は「Ａ」である。このＩＤ「Ａ」は図８（Ａ）の第１行に示される撮影パーツＩＤ「０１」に関連付けられている。第１行でのＸ座標８１３は基準特徴部のＸ座標「８６０」を表し、Ｙ座標８１４は基準特徴部のＸ座標「５２０」を表す。第１行での幅８１５は基準特徴部の幅「８０」を表し、高さ８１６は基準特徴部の高さ「６０」を表す。特徴量８１７の項目には、例えば特徴抽出方法としてパターンマッチング法が選択されている場合にパターンの画像データが記録される。あるいは、特徴抽出方法として重心位置の抽出が選択されている場合に重心の位置座標が特徴量８１７の項目に記録される。ファイル名８１８は基準特徴部の画像ファイルの名称である。例えば、ユーザが画像処理プログラム４０７を作成した後、システムのテストをした際に計測結果が満足なレベルに達していない場合を想定する。ユーザは図６の登録処理画面６０１を再度表示させて、スピンボックス６１０を用いた基準特徴抽出方法の変更操作やスピンボックス６１１を用いた誤差計算方法の変更操作を行うことができる。このとき、基準特徴部の画像ファイルを記録しておくことで、基準特徴部の再撮影を行う必要がなくなるので作業の効率化を実現できる。 The data of the items shown in each row of FIG. 8A is associated with the reference feature information ID 812. The reference feature information ID 812 is an ID (identification information) for uniquely identifying the reference feature information. FIG. 8B shows an example of data generated for each reference feature information. For example, the reference feature information ID 812 in the first row is "A". This ID "A" is associated with the photographing part ID "01" shown in the first row of FIG. 8 (A). The X coordinate 813 in the first row represents the X coordinate "860" of the reference feature portion, and the Y coordinate 814 represents the X coordinate "520" of the reference feature portion. The width 815 in the first row represents the width "80" of the reference feature portion, and the height 816 represents the height "60" of the reference feature portion. In the item of the feature amount 817, for example, when the pattern matching method is selected as the feature extraction method, the image data of the pattern is recorded. Alternatively, when the extraction of the center of gravity position is selected as the feature extraction method, the position coordinates of the center of gravity are recorded in the item of the feature amount 817. The file name 818 is the name of the image file of the reference feature portion. For example, it is assumed that the measurement result does not reach a satisfactory level when the system is tested after the user creates the image processing program 407. The user can display the registration processing screen 601 of FIG. 6 again and perform an operation of changing the reference feature extraction method using the spin box 610 and an operation of changing the error calculation method using the spin box 611. At this time, by recording the image file of the reference feature portion, it is not necessary to re-shoot the reference feature portion, so that the work efficiency can be improved.

図９は計測処理の設定画面例を示す図である。ユーザが図５に示す処理パーツ（ワーク位置計算５０５や存在検出５０９等）に対してダブルクリック操作を行った場合、入出力表示装置４０１に計測処理の設定画面９０１が表示される。画像表示領域９０２内に示す画像は、撮像装置１０３による撮像画像を示す。枠９０３はユーザが計測対象を登録するときに用いる枠であり、枠９０４はユーザが計測における探索範囲を登録するための枠である。枠９０４は枠９０３を含む、より広い範囲に設定されている。ユーザは、マウス等のポインティングデバイスを使って枠９０３または９０４を操作することで、枠の形状、位置、大きさを変更可能である。 FIG. 9 is a diagram showing an example of a setting screen for measurement processing. When the user double-clicks the processing parts (work position calculation 505, existence detection 509, etc.) shown in FIG. 5, the measurement processing setting screen 901 is displayed on the input / output display device 401. The image shown in the image display area 902 indicates an image captured by the image pickup apparatus 103. The frame 903 is a frame used when the user registers the measurement target, and the frame 904 is a frame for the user to register the search range in the measurement. The frame 904 is set in a wider range including the frame 903. The user can change the shape, position, and size of the frame by operating the frame 903 or 904 using a pointing device such as a mouse.

図９に示す計測処理法の表示領域９０５には、パターンマッチング法を用いてワークの位置計算が行われることが示されている。本実施例ではパターンマッチング法を例示して説明するが、他の画像処理に基づく計測処理方法が可能である。スピンボックス９０６，９０７，９０８はそれぞれ、パターンマッチング法におけるパターンの回転範囲、拡大率、およびスコア閾値をユーザが設定する際に使用される。 In the display area 905 of the measurement processing method shown in FIG. 9, it is shown that the position calculation of the work is performed by using the pattern matching method. Although the pattern matching method will be described as an example in this embodiment, a measurement processing method based on other image processing is possible. The spin boxes 906, 907, and 908 are used when the user sets the rotation range, the enlargement ratio, and the score threshold of the pattern in the pattern matching method, respectively.

ユーザがＯＫボタン９０９のクリック操作を行うと、画像処理装置１０２は枠９０３に示す計測対象、枠９０４に示す探索範囲、パターンマッチング法における回転範囲、拡大率、スコア閾値の各データを処理データ保存領域４０６に保存する。なお、ユーザが図６のスピンボックス６１０を用いて設定した特徴抽出法がパターンマッチング法以外の方法である場合には、選択された特徴抽出法に応じた設定項目が表示される。つまり画像処理装置１０２は符号９０６～９０８に示す項目に代えて、ユーザが選択した特徴抽出法に適したパラメータ設定ＵＩ（ユーザ・インターフェース）画面を表示する処理を実行する。 When the user clicks the OK button 909, the image processing device 102 saves each data of the measurement target shown in the frame 903, the search range shown in the frame 904, the rotation range in the pattern matching method, the enlargement ratio, and the score threshold value. Store in area 406. When the feature extraction method set by the user using the spin box 610 of FIG. 6 is a method other than the pattern matching method, the setting items corresponding to the selected feature extraction method are displayed. That is, the image processing apparatus 102 executes a process of displaying a parameter setting UI (user interface) screen suitable for the feature extraction method selected by the user, instead of the items indicated by the reference numerals 906 to 908.

図３で説明したように、基準画像領域としては時間経過に伴う変動が小さく、かつ特徴量が大きい領域が好ましい。ワークが写っている領域のように、時間経過に伴って位置や傾きが変化する領域は適切でないと判断される。したがって、画像処理装置１０２は、図６の枠６０９に示される基準画像領域の設定時および図９の枠９０３による計測対象の登録時において基準画像領域と計測対象の画像領域が重なっている場合にユーザへの警告処理を行う。 As described with reference to FIG. 3, the reference image region preferably has a small fluctuation with the passage of time and a large feature amount. It is judged that the area where the position and inclination change with the passage of time, such as the area where the work is shown, is not appropriate. Therefore, in the image processing device 102, when the reference image area and the image area of the measurement target overlap at the time of setting the reference image area shown in the frame 609 of FIG. 6 and at the time of registering the measurement target by the frame 903 of FIG. Performs warning processing to the user.

図１０は、制御装置１０１からのトリガー信号を受け付けて画像処理装置１０２が画像計測処理を実行するときのシーケンス図である。図１０では制御装置１０１の実行する処理が追加されており、制御装置１０１と画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図１０の上から下への方向と定義する。 FIG. 10 is a sequence diagram when the image processing device 102 receives the trigger signal from the control device 101 and executes the image measurement processing. In FIG. 10, a process executed by the control device 101 is added, and an example of the process performed between the control device 101, the image processing device 102, and the image pickup device 103 is shown. The direction of the time axis is defined as the direction from the top to the bottom of FIG.

まず制御装置１０１は画像処理装置１０２に制御指令を送信する（Ｓ１００１）。画像処理装置１０２は処理データ保存領域４０６から基準特徴情報（図８：８０２～８１８）を読み出す（Ｓ１００２）。次に画像処理装置１０２は、撮影位置に関するパンニング方向、チルティング方向、ズーム倍率（図８：８０３～８０５）での撮影指令を撮像装置１０３に送信する（Ｓ１００３）。撮像装置１０３は駆動部を制御して、パンニング角度およびチルティング角度、ズーム倍率を変更する（Ｓ１００４）。撮影動作が行われ（Ｓ１００５）、その後に撮像装置１０３は撮像画像のデータを画像処理装置１０２に送信する（Ｓ１００６）。 First, the control device 101 transmits a control command to the image processing device 102 (S1001). The image processing apparatus 102 reads out reference feature information (FIGS. 8: 802 to 818) from the processing data storage area 406 (S1002). Next, the image processing device 102 transmits a shooting command in the panning direction, the tilting direction, and the zoom magnification (FIG. 8: 803 to 805) regarding the shooting position to the image pickup device 103 (S1003). The image pickup apparatus 103 controls the drive unit to change the panning angle, the tilting angle, and the zoom magnification (S1004). A shooting operation is performed (S1005), and then the image pickup device 103 transmits the data of the captured image to the image processing device 102 (S1006).

画像処理装置１０２は、受信した画像データから、図６のスピンボックス６１０，６１１でそれぞれ指定された特徴抽出法および誤差計算法に従って特徴部を抽出する（Ｓ１００７）。そして画像処理装置１０２は、抽出された特徴部の座標、大きさ、および傾きのうち、少なくとも１つの誤差を算出する。誤差の算出は基準特徴情報のＸ座標８１３，Ｙ座標８１４，幅８１５，高さ８１６との比較によって行われる（Ｓ１００８）。 The image processing apparatus 102 extracts a feature portion from the received image data according to the feature extraction method and the error calculation method specified by the spin boxes 610 and 611 of FIG. 6, respectively (S1007). Then, the image processing device 102 calculates an error of at least one of the coordinates, size, and inclination of the extracted feature portion. The error is calculated by comparing the reference feature information with the X coordinate 8153, the Y coordinate 814, the width 815, and the height 816 (S1008).

Ｓ１００８において、算出された誤差が指定された許容誤差より大きい場合、画像処理装置１０２は抽出した特徴部と基準特徴部とのずれに基づき、パンニング角度、チルティング角度、ズーム倍率の補正値を算出する（Ｓ１００９）。補正処理については図１１を用いて後述する。次に画像処理装置１０２は撮像装置１０３に対し、パンニング角度、チルティング角度、ズーム倍率の補正指令を送信する（Ｓ１０１０）。撮像装置１０３は駆動部を制御して、パンニング角度やチルティング角度の変更、ズーム倍率の変更を行う（Ｓ１０１１）。撮影動作が行われて（Ｓ１０１２）、撮像装置１０３は撮像画像データを画像処理装置１０２に送信する（Ｓ１０１３）。画像処理装置１０２はＳ１００８と同様に比較処理を行い、算出された誤差が指定された許容誤差以内（閾値以下）であるか否かを判定する（Ｓ１０１４）。その結果、誤差が閾値以下である場合、所定の計測処理が行われ（Ｓ１０１５）、画像処理装置１０２は計測結果のデータを制御装置１０１に送信する（Ｓ１０１６）。 In S1008, when the calculated error is larger than the specified tolerance, the image processing apparatus 102 calculates the correction values of the panning angle, the tilting angle, and the zoom magnification based on the deviation between the extracted feature portion and the reference feature portion. (S1009). The correction process will be described later with reference to FIG. Next, the image processing device 102 transmits a correction command for the panning angle, the tilting angle, and the zoom magnification to the image pickup device 103 (S1010). The image pickup apparatus 103 controls the drive unit to change the panning angle and the tilting angle, and change the zoom magnification (S1011). The photographing operation is performed (S1012), and the image pickup apparatus 103 transmits the captured image data to the image processing apparatus 102 (S1013). The image processing device 102 performs comparison processing in the same manner as in S1008, and determines whether or not the calculated error is within the specified tolerance (below the threshold value) (S1014). As a result, when the error is equal to or less than the threshold value, a predetermined measurement process is performed (S1015), and the image processing device 102 transmits the measurement result data to the control device 101 (S1016).

また、Ｓ１００８での比較処理の結果、誤差が指定された許容誤差以内（閾値以下）であると判定された場合には、ユーザが設定画面９０１で指定したパラメータを用いて、所定の計測処理が行われる（Ｓ１０１５）。画像処理装置１０２は計測結果のデータを制御装置１０１に送信する（Ｓ１０１６）。 Further, as a result of the comparison processing in S1008, when it is determined that the error is within the specified tolerance (below the threshold value), the predetermined measurement processing is performed using the parameter specified by the user on the setting screen 901. It is done (S1015). The image processing device 102 transmits the measurement result data to the control device 101 (S1016).

図１０のＳ１００９～Ｓ１０１４に示す処理は、図６のスピンボックス６１３でユーザが指定した脱出条件が満たされるまで実行される。所定回数または所定時間の補正処理が行われた後に、算出された誤差が許容誤差より大きい場合に画像処理装置１０２は、目的の計測精度を確保できないとみなし、制御装置１０１に対して再現性が確保できないことを示す信号を送信する。また画像処理装置１０２は入出力表示装置４０１に画像信号を出力し、撮影位置の再現性が確保できないことを示す表示画面を表示してユーザに報知する処理を実行する。 The process shown in S1009 to S1014 of FIG. 10 is executed until the escape condition specified by the user in the spin box 613 of FIG. 6 is satisfied. If the calculated error is larger than the permissible error after the correction processing is performed a predetermined number of times or for a predetermined time, the image processing device 102 considers that the desired measurement accuracy cannot be ensured, and the reproducibility is improved with respect to the control device 101. Send a signal indicating that it cannot be secured. Further, the image processing device 102 outputs an image signal to the input / output display device 401, displays a display screen indicating that the reproducibility of the shooting position cannot be ensured, and executes a process of notifying the user.

Ｓ１００９で算出された補正情報を用いて、図８で説明した基準特徴情報であるパン方向８０３，チルト方向８０４，ズーム倍率８０５の各情報に対して上書きを行い、処理データ保存領域４０６に保存してもよい。各情報を次回以降の計測に使用することができる。あるいは、画像処理装置１０２はＳ１００９で算出された補正情報の履歴データを処理データ保存領域４０６に保存する。画像処理装置１０２は保存された補正値の履歴データを用いて、複数回の補正情報に基づいて次回以降のＳ１００９にて補正値を計算し、撮影位置の設定値を更新する制御を行う。 Using the correction information calculated in S1009, the information of the pan direction 803, the tilt direction 804, and the zoom magnification 805, which are the reference feature information described in FIG. 8, is overwritten and saved in the processing data storage area 406. You may. Each information can be used for the next and subsequent measurements. Alternatively, the image processing apparatus 102 stores the history data of the correction information calculated in S1009 in the processing data storage area 406. The image processing apparatus 102 uses the stored correction value history data to calculate the correction value in S1009 from the next time onward based on the correction information a plurality of times, and controls to update the set value of the shooting position.

図１１を参照して、図１０のＳ１００８からＳ１０１０の処理について具体的に説明する。図１１（Ａ）の画像例１１０１は、図６で説明した基準特徴登録時において画像処理装置１０２が登録した画像の基準特徴部を模式的に示す。複数の基準特徴部１１０２を矩形状の枠で示しており、これらは図６の枠６０９内の画像部分に相当する。点線１１０３は、複数の基準特徴部１１０２同士の位置関係を表す。４本の点線１１０３で示される四角形の各頂点に基準特徴部１１０２が位置している。 The processing of S1008 to S1010 of FIG. 10 will be specifically described with reference to FIG. Image example 1101 of FIG. 11A schematically shows a reference feature portion of an image registered by the image processing apparatus 102 at the time of reference feature registration described with reference to FIG. A plurality of reference feature portions 1102 are shown by a rectangular frame, which corresponds to an image portion in the frame 609 of FIG. The dotted line 1103 represents the positional relationship between the plurality of reference feature portions 1102. The reference feature portion 1102 is located at each vertex of the quadrangle indicated by the four dotted lines 1103.

図１１（Ｂ）の画像例１１０４は、図１０のＳ１００６において画像処理装置１０２が計測時に受信した画像の特徴を模式的に示す。複数の特徴部１１０５を図１０のＳ１００７で抽出された矩形状の枠で示している。点線１１１４は複数の特徴部１１０５同士の位置関係を表す。４本の点線１１１４で示される四角形の各頂点に特徴部１１０５が位置している。図１０のＳ１００８では、基準特徴部１１０２と特徴部１１０５との間で画像における位置を比較し、誤差が発生しているかどうかを判定する処理が行われる。誤差が発生していて許容誤差を超える場合にはＳ１００９で補正値が算出される。例えば、基準特徴部１１０２と特徴部１１０５との間で画像におけるＸ軸とＹ軸における誤差をそれぞれΔｘ，Δｙと表記する。Ｐ方向の補正値をΔＰ、Ｔ方向の補正値をΔＴと表記する。画像処理装置１０２は各補正値を、下記式（１）により算出する。

Figure 0007094806000001
式（１）に示すFp()はΔｘに基づくＰ方向についての補正関数であり、Ft()はΔｙに基づくＴ方向についての補正関数である。補正関数として比例関数を使用し、比例制御を行ってもよい。あるいは、ΔＰとΔｘ、ΔＴとΔｙとをそれぞれ対応付ける参照テーブルを用いてFp()およびFt()に関する算出処理を行ってもよい。 Image example 1104 of FIG. 11B schematically shows the characteristics of the image received by the image processing apparatus 102 at the time of measurement in S1006 of FIG. A plurality of feature portions 1105 are shown by a rectangular frame extracted in S1007 of FIG. The dotted line 1114 represents the positional relationship between the plurality of feature portions 1105. The feature portion 1105 is located at each vertex of the quadrangle indicated by the four dotted lines 1114. In S1008 of FIG. 10, a process of comparing the positions in the image between the reference feature unit 1102 and the feature unit 1105 and determining whether or not an error has occurred is performed. If an error occurs and exceeds the permissible error, the correction value is calculated in S1009. For example, the errors on the X-axis and the Y-axis in the image between the reference feature portion 1102 and the feature section 1105 are expressed as Δx and Δy, respectively. The correction value in the P direction is expressed as ΔP, and the correction value in the T direction is expressed as ΔT. The image processing device 102 calculates each correction value by the following formula (1).
Figure 0007094806000001
 Fp () shown in the equation (1) is a correction function for the P direction based on Δx, and Ft () is a correction function for the T direction based on Δy. A proportional function may be used as a correction function to perform proportional control. Alternatively, calculation processing for Fp () and Ft () may be performed using a reference table that associates ΔP with Δx and ΔT with Δy, respectively.

画像処理装置１０２は、図８に示すパン方向８０３に記録されたパンニング角度Ｐ、およびチルト方向８０４に記録されたチルティング角度Ｔを補正する。補正後のパンニング角度とチルティング角度はそれぞれＰ＋ΔＰ，Ｔ＋ΔＴである。図１０のＳ１０１０で画像処理装置１０２は撮像装置１０３に対し、Ｐ＋ΔＰ，Ｔ＋ΔＴに基づく補正指令を送信する。 The image processing device 102 corrects the panning angle P recorded in the pan direction 803 and the tilting angle T recorded in the tilt direction 804 shown in FIG. The corrected panning angle and tilting angle are P + ΔP and T + ΔT, respectively. In S1010 of FIG. 10, the image processing device 102 transmits a correction command based on P + ΔP and T + ΔT to the image pickup device 103.

図１１（Ｃ）は、ズーム倍率の再現性が低下した場合の画像例１１０６を示す。複数の特徴部１１０７は、図１０のＳ１００６において画像処理装置１０２が受信した画像の特徴部を矩形状の枠で示している。点線１１０８は複数の特徴部１１０７同士の位置関係を表す。４本の点線１１０８で示される四角形の各頂点に特徴部１１０７が位置している。図１１（Ａ）に示す基準特徴部１１０２と、Ｓ１００６にて画像処理装置１０２が受信した画像の特徴部１１０７との間で、特徴部の大きさおよび特徴部同士の距離に誤差が発生する場合がある。この場合、画像処理装置１０２はズーム倍率の補正を行う。ここで基準特徴部１１０２の大きさをＳ1と表記し、特徴部１１０７の大きさＳ2と表記する。画像処理装置１０２はＳ2とＳ1から、比Ｓ2／Ｓ1を算出してズーム倍率の補正を行う。 FIG. 11C shows an image example 1106 when the reproducibility of the zoom magnification is reduced. The plurality of feature portions 1107 show the feature portions of the image received by the image processing device 102 in S1006 of FIG. 10 by a rectangular frame. The dotted line 1108 represents the positional relationship between the plurality of feature portions 1107. The feature portion 1107 is located at each vertex of the quadrangle indicated by the four dotted lines 1108. When an error occurs in the size of the feature portion and the distance between the feature portions between the reference feature portion 1102 shown in FIG. 11A and the feature portion 1107 of the image received by the image processing device 102 in S1006. There is. In this case, the image processing device 102 corrects the zoom magnification. Here, the size of the reference feature portion 1102 is referred to as S 1 , and the size of the feature portion 1107 is referred to as S 2 . The image processing device 102 calculates the ratio S 2 / S 1 from S 2 and S 1 to correct the zoom magnification.

あるいは画像処理装置１０２は、図１１（Ａ）に示す隣り合う基準特徴部１１０２同士の距離と、図１１（Ｃ）に示す隣り合う特徴部１１０７同士の距離とを比較してズーム倍率の補正を行う。ここで隣り合う基準特徴部１１０２同士の距離をｄ１と表記すると、距離ｄ１は図１１（Ａ）に点線１１０３で示す基準特徴部１１０２の位置関係から算出することができる。また隣り合う特徴部１１０７同士の距離をｄ２と表記すると、距離ｄ２は図１１（Ｃ）に点線１１０８で示す特徴部１１０７の位置関係から算出することができる。画像処理装置１０２は距離の比ｄ2／ｄ1を算出し、比ｄ2／ｄ1を用いてズーム倍率の補正を行う。
ズーム倍率の補正値をΔＺと表記すると、画像処理装置１０２は、下記式（２）に従って補正値ΔＺを算出する。

Figure 0007094806000002
式（２）に示すFzS()は、比Ｓ2／Ｓ1に基づくズーム倍率の補正関数である。Fzd()は比ｄ2／ｄ1に基づくズーム倍率の補正関数である。または、ΔＺと比Ｓ2／Ｓ1とを対応付ける参照テーブル、もしくはΔＺと比ｄ2／ｄ1とを対応付ける参照テーブルを用いてズーム倍率の補正値を算出してもよい。 Alternatively, the image processing device 102 compares the distance between the adjacent reference feature portions 1102 shown in FIG. 11A with the distance between the adjacent feature portions 1107 shown in FIG. 11C to correct the zoom magnification. conduct. Here, if the distance between adjacent reference feature portions 1102 is expressed as d 1 , the distance d 1 can be calculated from the positional relationship of the reference feature portions 1102 shown by the dotted line 1103 in FIG. 11 (A). Further, when the distance between the adjacent feature portions 1107 is expressed as d 2 , the distance d 2 can be calculated from the positional relationship of the feature portions 1107 shown by the dotted line 1108 in FIG. 11 (C). The image processing device 102 calculates the distance ratio d 2 / d 1 and corrects the zoom magnification using the ratio d 2 / d 1 .
When the correction value of the zoom magnification is expressed as ΔZ, the image processing apparatus 102 calculates the correction value ΔZ according to the following equation (2).
Figure 0007094806000002
 Fz S () shown in the equation (2) is a correction function of the zoom magnification based on the ratio S 2 / S 1 . Fz d () is a correction function for the zoom magnification based on the ratio d 2 / d 1 . Alternatively, the correction value of the zoom magnification may be calculated using a reference table that associates ΔZ with the ratio S 2 / S 1 or a reference table that associates ΔZ with the ratio d 2 / d 1 .

図８に示すズーム倍率８０５をＺと表記すると、画像処理装置１０２はズーム倍率Ｚを補正してＺ＋ΔＺを算出する。画像処理装置１０２は図１０のＳ１０１０にて撮像装置１０３に対し、Ｚ＋ΔＺに基づく補正指令を送信する。 When the zoom magnification 805 shown in FIG. 8 is expressed as Z, the image processing apparatus 102 corrects the zoom magnification Z and calculates Z + ΔZ. The image processing device 102 transmits a correction command based on Z + ΔZ to the image pickup device 103 in S1010 of FIG.

図１１（Ｄ）は、撮像装置１０３における撮影系２０２の光軸方向に対して、雲台２０１のＰ方向の回転軸が近い場合を示す模式図である。図１１（Ｅ）は撮像装置１０３のロールにより発生し得る、画像１１０９における特徴部の傾きを説明する模式図である。複数の特徴部１１１０を矩形状の枠で示し、点線１１１１によって複数の特徴部同士の位置関係を示している。４本の点線１１１１で示される四角形の各頂点に特徴部１１１０が位置している。 FIG. 11D is a schematic diagram showing a case where the rotation axis of the pan head 201 in the P direction is close to the optical axis direction of the photographing system 202 in the image pickup apparatus 103. FIG. 11 (E) is a schematic diagram illustrating the inclination of the feature portion in the image 1109 that may be generated by the roll of the image pickup apparatus 103. The plurality of feature portions 1110 are shown by a rectangular frame, and the positional relationship between the plurality of feature portions is indicated by the dotted line 1111. The feature portion 1110 is located at each vertex of the quadrangle indicated by the four dotted lines 1111.

例えば、図１０のＳ１００６にて画像処理装置１０２が受信した画像データの特徴部の傾きに誤差が発生することが起こり得る。図１１（Ｅ）では、点線１１１１で示される特徴部１１１０同士の位置関係が、図１１（Ａ）に点線１１０３で示される基準特徴部１１０２同士の位置関係に対して傾いている例である。この場合、画像処理装置１０２は、複数の基準特徴部１１０２の位置関係（点線１１０３で示す四角形を参照）と、複数の特徴部１１１０の位置関係（点線１１１１で示す四角形を参照）とを比較し、両者の間の傾き角度を算出する。この傾き角度をΔθ1と表記すると、画像処理装置１０２はΔθ1を用いてパンニング角度の補正を行う。 For example, in S1006 of FIG. 10, an error may occur in the inclination of the feature portion of the image data received by the image processing device 102. 11 (E) shows an example in which the positional relationship between the feature portions 1110 shown by the dotted line 1111 is inclined with respect to the positional relationship between the reference feature portions 1102 shown by the dotted line 1103 in FIG. 11 (A). In this case, the image processing apparatus 102 compares the positional relationship of the plurality of reference feature portions 1102 (see the quadrangle indicated by the dotted line 1103) with the positional relationship of the plurality of feature portions 1110 (see the quadrangle indicated by the dotted line 1111). , Calculate the tilt angle between the two. When this tilt angle is expressed as Δθ 1 , the image processing apparatus 102 corrects the panning angle using Δθ 1 .

あるいは、画像処理装置１０２は、図１１（Ｂ）に示される複数の特徴部１１０５の位置関係（点線１１１４で示す四角形を参照）と、図１１（Ｅ）に示される複数の特徴部１１１０の位置関係（点線１１１１で示す四角形を参照）とを比較する。画像処理装置１０２は複数の特徴部１１０５と複数の特徴部１１１０との間で傾き角度を算出する。この傾き角度をΔθ2と表記すると、画像処理装置１０２はΔθ2を用いてパンニング角度の補正を行う。例えば、パンニング角度の補正値ΔＰは下記式（３）により算出される。

Figure 0007094806000003
式(３)に示すＦp1 *()はΔθ1に基づくパンニング角度の補正関数であり、Ｆｐ2 *()はΔθ2に基づくパンニング角度の補正関数である。または、ΔＰとΔθ1とを対応付ける参照テーブル、もしくはΔＰとΔθ2とを対応付ける参照テーブルを用いて補正値ΔＰを算出してもよい。 Alternatively, the image processing apparatus 102 has a positional relationship between the plurality of feature portions 1105 shown in FIG. 11 (B) (see the quadrangle shown by the dotted line 1114) and the positions of the plurality of feature portions 1110 shown in FIG. 11 (E). Compare the relationship (see the rectangle shown by the dotted line 1111). The image processing device 102 calculates the tilt angle between the plurality of feature units 1105 and the plurality of feature units 1110. When this tilt angle is expressed as Δθ 2 , the image processing apparatus 102 corrects the panning angle using Δθ 2 . For example, the correction value ΔP of the panning angle is calculated by the following equation (3).
Figure 0007094806000003
 F p1 * () shown in Eq. (3) is a panning angle correction function based on Δθ 1 , and F p2 * () is a panning angle correction function based on Δθ 2 . Alternatively, the correction value ΔP may be calculated using a reference table that associates ΔP with Δθ 1 or a reference table that associates ΔP with Δθ 2 .

上記の各補正関数についてはシステムの設計時に、システムの設計情報を用いて決定される。またはシステム設定時に撮像装置１０３の駆動系を操作する工程において、実際のパンニング方向、チルティング方向、およびズーム倍率の変化に伴う特徴量の変化量を計測することにより、補正関数を決定する処理が実行される。 Each of the above correction functions is determined by using the system design information at the time of system design. Alternatively, in the process of operating the drive system of the image pickup apparatus 103 at the time of system setting, the process of determining the correction function by measuring the amount of change in the feature amount due to the change in the actual panning direction, the tilting direction, and the zoom magnification is performed. Will be executed.

本実施例において撮像装置１０３のパンニングやチルティングの駆動時の再現性が低下した場合、ズーム倍率の再現性が低下した場合、ロールの再現性が低下した場合についてそれぞれ個別に説明した。これらのうち２つ以上が同時に発生した場合には、２つ以上の補正処理が同時に実行されるようにシステムが構成される。 In this embodiment, the cases where the reproducibility during driving of the panning and tilting of the image pickup apparatus 103 are lowered, the reproducibility of the zoom magnification is lowered, and the reproducibility of the roll is lowered are described individually. When two or more of these occur at the same time, the system is configured so that two or more correction processes are executed at the same time.

本実施例では、計測シーンの撮影位置の再現性が各画像処理工程における所望の計測精度や認識率に対して充分でない場合でも必要十分な補正処理を実行しつつ、画像処理の認識率や計測精度を確保することができる。例えば、撮像装置でワークを撮像した画像に基づき、ワークの種類ごとに異なる搬送車にワークをロボットにより積載する工程では、比較的小さい許容誤差を入力することで画像処理の計測精度を高め、ロボットを正確に制御することができる。一方で、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、比較的大きい許容誤差を入力することで、画像計測を短時間に終了させることができる。本実施例によれば、指定された判定条件にしたがって撮影位置の再現性を確保しつつ、より短時間に画像処理を行うことができる。 In this embodiment, even if the reproducibility of the shooting position of the measurement scene is not sufficient for the desired measurement accuracy and recognition rate in each image processing process, the recognition rate and measurement of the image processing are performed while performing necessary and sufficient correction processing. Accuracy can be ensured. For example, in the process of loading a work by a robot on a transport vehicle that differs depending on the type of work based on the image captured by the image pickup device, the measurement accuracy of image processing is improved by inputting a relatively small tolerance, and the robot Can be controlled accurately. On the other hand, in the process in which the image pickup device images the transport vehicle and determines whether or not the transport vehicle is within the stop frame, the image measurement can be completed in a short time by inputting a relatively large margin of error. can. According to this embodiment, it is possible to perform image processing in a shorter time while ensuring the reproducibility of the shooting position according to the designated determination condition.

[第２実施例]
次に、本発明の第２実施例を説明する。第１実施例ではユーザ操作により基準画像領域を指定する必要があるのに対し、本実施例では基準画像領域を自動的または半自動的に決定可能な画像処理装置について説明する。画像特徴について詳しくないユーザであっても好適な基準画像領域を設定することができ、設定の際の属人性を低減可能である。なお、本実施例に係るシステム構成は第１実施例と同様であるため、既に使用した符号を用いることで、それらの詳細な説明を省略する。 [Second Example]
Next, a second embodiment of the present invention will be described. In the first embodiment, it is necessary to specify the reference image area by user operation, whereas in this embodiment, an image processing device capable of automatically or semi-automatically determining the reference image area will be described. Even a user who is not familiar with image features can set a suitable reference image area, and can reduce personality at the time of setting. Since the system configuration according to the present embodiment is the same as that of the first embodiment, detailed description thereof will be omitted by using the reference numerals already used.

図１２は、本実施例の画像処理装置１０２における、基準特徴の登録処理画面例を示す。図１３は基準特徴の登録処理のシーケンス図である。以下では、第１実施例との相違点を主に説明する。図１２に示す登録画面１２０１では、計測試行のボタン１２０２が追加されている。ユーザはボタン１２０２を操作し、複数回に亘って行われる計測の試行を指示することができる。 FIG. 12 shows an example of a reference feature registration processing screen in the image processing apparatus 102 of this embodiment. FIG. 13 is a sequence diagram of the registration process of the reference feature. Hereinafter, the differences from the first embodiment will be mainly described. In the registration screen 1201 shown in FIG. 12, a measurement trial button 1202 is added. The user can operate the button 1202 to instruct a measurement trial to be performed a plurality of times.

ユーザは、基準特徴の登録画面１２０１は見ながらバー６０４～６０６を操作する。画像処理装置１０２は撮像装置１０３の雲台２０１の駆動制御を行って撮影方向を制御する。撮像装置１０３によって撮像された撮像画像は画像表示領域６０７に表示される。ここで、ユーザがボタン１２０２のクリック操作を行うと、画像処理装置１０２は撮像装置１０３に撮影指令を送信する（図１３：Ｓ１３０１）。撮像装置１０３は所定回数の撮影を行って(Ｓ１３０２)、全ての画像のデータを画像処理装置１０２に送信する(Ｓ１３０３)。 The user operates the bars 604 to 606 while looking at the reference feature registration screen 1201. The image processing device 102 controls the driving of the pan head 201 of the image pickup device 103 to control the shooting direction. The captured image captured by the image pickup device 103 is displayed in the image display area 607. Here, when the user clicks the button 1202, the image processing device 102 transmits a shooting command to the image pickup device 103 (FIG. 13: S1301). The image pickup apparatus 103 takes a predetermined number of images (S1302) and transmits the data of all the images to the image processing apparatus 102 (S1303).

画像処理装置１０２は、撮像装置１０３から受信した画像データから、変動が小さい領域を算出し（Ｓ１３０４）、変動の大きい領域１２０３を黒色で表示する。次に画像処理装置１０２は、変動が小さい領域のうちで特徴量が大きな領域を算出する。特徴量が大きな領域とは、例えばコントラストが明瞭な領域である。画像処理装置１０２は画像表示領域６０７において、特徴量の小さな領域１２０４を灰色で表示する(Ｓ１３０５)。そして画像処理装置１０２は、特徴量が大きな領域１２０５を基準画像領域に決定する(Ｓ１３０６)。 The image processing device 102 calculates a region with small fluctuation from the image data received from the image pickup device 103 (S1304), and displays the region 1203 with large fluctuation in black. Next, the image processing device 102 calculates a region having a large feature amount among the regions having a small fluctuation. The region having a large feature amount is, for example, a region having a clear contrast. The image processing apparatus 102 displays the area 1204 with a small feature amount in gray in the image display area 607 (S1305). Then, the image processing apparatus 102 determines the region 1205 having a large feature amount as the reference image region (S1306).

本実施例では、例えば複数回に亘って行われる計測によって取得される画像領域のうち、変動が最も小さい画像領域が自動的に基準画像領域として設定される。あるいは、変動が小さい領域のうちで特徴量が大きな領域を画像処理装置１０２が優先して自動的に基準画像領域として設定する。このような自動的な処理に代えて、変動が小さく特徴量が大きな１個または複数個の領域を基準画像領域の候補としてユーザに提示し、ユーザが選択操作を行う半自動的な処理でもよい。この場合、ユーザに基準画像領域の選択を促す処理が行われる。変動が小さく特徴量が大きな領域１２０５の候補は画像表示領域６０７において、例えば白色表示でユーザに提示され、ユーザは所望の領域を基準画像領域として指定することができる。 In this embodiment, for example, among the image regions acquired by the measurement performed over a plurality of times, the image region having the smallest fluctuation is automatically set as the reference image region. Alternatively, the image processing apparatus 102 preferentially sets a region having a large feature amount among the regions having a small fluctuation as a reference image region. Instead of such an automatic process, a semi-automatic process may be performed in which one or a plurality of areas having a small fluctuation and a large feature amount are presented to the user as a candidate for a reference image area, and the user performs a selection operation. In this case, a process is performed to prompt the user to select the reference image area. Candidates for region 1205 with small variation and large feature amount are presented to the user in the image display region 607, for example, in white display, and the user can designate a desired region as the reference image region.

本実施例では、画像特徴について詳しくないユーザでも好適な基準画像領域の設定を行うことができる。また、設定の際に属人性を低減し、個人の習熟度に影響されにくい処理を行うことができる。 In this embodiment, even a user who is not familiar with image features can set a suitable reference image area. In addition, it is possible to reduce personality at the time of setting and perform processing that is not easily affected by individual proficiency.

前記実施例では、制御装置１０１と画像処理装置１０２と撮像装置１０３が各別の構成である実施形態を説明したが、本発明はそのような例に限られない。例えば、画像処理装置１０２に相当する画像処理部と、撮像装置１０３に相当する、撮影方向および撮影画角の変更が可能な撮像部とを１つの装置内に備える撮像装置がある。あるいは、制御装置１０１と画像処理装置１０２と撮像装置１０３にそれぞれ対応する構成部を１つの装置内に備える撮像装置がある。このような撮像装置も本発明の技術的範囲に含まれる。 In the above embodiment, the embodiment in which the control device 101, the image processing device 102, and the image pickup device 103 have different configurations has been described, but the present invention is not limited to such an example. For example, there is an image pickup device that includes an image processing unit corresponding to the image processing device 102 and an image pickup unit corresponding to the image pickup device 103 that can change the shooting direction and the shooting angle of view. Alternatively, there is an image pickup device that includes components corresponding to the control device 101, the image processing device 102, and the image pickup device 103, respectively, in one device. Such an image pickup device is also included in the technical scope of the present invention.

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other Examples]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０１ 制御装置
１０２ 画像処理装置
１０３ 撮像装置
１０４ ロボット
１０５ 搬送装置
１０６，１０７ 搬送車
１０８，１０９，１１０ ワーク

101 Control device 102 Image processing device 103 Imaging device 104 Robot 105 Transport device 106, 107 Transport vehicle 108, 109, 110 Work

Claims (16)

撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を基準特徴部に設定する処理を行う設定手段と、
前記撮像手段の撮影位置の再現性を判定する判定条件のデータを入力する入力手段と、
前記撮像手段によって計測時の撮影位置で取得される撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との誤差を算出する算出手段と、
前記算出手段によって算出された前記誤差が前記判定条件を満たさない場合、前記撮像手段に対して前記撮影位置を補正する処理を行う補正手段と、
前記撮像手段による撮像画像のデータを取得して画像処理を行う画像処理手段と、
前記算出手段によって算出された前記誤差が前記判定条件を満たす場合、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える
ことを特徴とする画像処理装置。 It is an image processing device that processes the data of the captured image obtained by capturing the measurement target by the imaging means capable of changing the shooting direction or the shooting angle of view.
A setting means for setting a reference image region as a reference in the captured image and setting a feature portion of the image in the reference image region as the reference feature portion.
An input means for inputting data of a determination condition for determining the reproducibility of the shooting position of the image pickup means, and an input means.
A calculation means for calculating an error between a feature portion extracted in an image region corresponding to the reference image region and a reference feature portion in an image captured at a shooting position at the time of measurement by the image pickup means.
When the error calculated by the calculation means does not satisfy the determination condition, the correction means for performing the processing for correcting the shooting position with respect to the image pickup means and the correction means.
An image processing means that acquires data of an image captured by the imaging means and performs image processing, and an image processing means.
When the error calculated by the calculation means satisfies the determination condition, the image processing means is provided with a control means for performing image processing of the captured image and outputting an image processing result. Image processing device. 判定条件のデータは、前記算出手段によって算出される前記誤差に対する閾値、および前記補正手段による前記撮影位置の補正を制限する条件を表すデータである
ことを特徴とする請求項１に記載の画像処理装置。 The image processing according to claim 1, wherein the data of the determination condition is data representing a threshold value for the error calculated by the calculation means and a condition for limiting the correction of the shooting position by the correction means. Device. 前記補正手段は前記撮影位置の補正を制限する条件を表す回数または時間で前記補正を行い、
前記制御手段は、前記補正手段により補正された前記撮影位置で取得される撮像画像にて前記算出手段によって算出された前記誤差が前記閾値以下である場合、前記画像処理手段により前記撮像画像の画像処理を行い、前記回数または時間で前記補正手段が前記撮影位置の補正を行っても前記算出手段によって算出された前記誤差が前記閾値より大きい場合、前記撮影位置の再現性を確保できないことを報知する処理を行う
ことを特徴とする請求項２に記載の画像処理装置。 The correction means performs the correction with a number of times or a time indicating a condition for limiting the correction of the shooting position.
When the error calculated by the calculation means is equal to or less than the threshold value in the captured image acquired at the shooting position corrected by the correction means, the control means is an image of the captured image by the image processing means. If the error calculated by the calculation means is larger than the threshold value even if the correction means corrects the shooting position by the number of times or the time, it is notified that the reproducibility of the shooting position cannot be ensured. The image processing apparatus according to claim 2, wherein the image processing apparatus is to perform the processing. 前記制御手段は、前記補正手段による前記撮影位置の補正値または該補正値の履歴データを用いて前記撮影位置の設定値を更新する制御を行う
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 One of claims 1 to 3, wherein the control means controls to update the set value of the shooting position by using the correction value of the shooting position by the correction means or the history data of the correction value. The image processing apparatus according to item 1. 前記設定手段は、複数回に亘って行われる計測によって取得される画像領域のうち、変動が小さい画像領域を前記基準画像領域に設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 The setting means is any one of claims 1 to 4, wherein the image region having a small fluctuation is set as the reference image region among the image regions acquired by the measurement performed over a plurality of times. The image processing apparatus according to. 前記設定手段は、複数回に亘って行われる計測によって取得される変動の小さい複数の画像領域のうち、特徴量が大きな画像領域を前記基準画像領域に設定する
ことを特徴とする請求項５に記載の画像処理装置。 The fifth aspect of the present invention is characterized in that the setting means sets an image region having a large feature amount as the reference image region among a plurality of image regions having small fluctuations acquired by measurement performed over a plurality of times. The image processing device described. 前記基準画像領域の候補を表示する表示手段を備え、
前記設定手段は、複数回に亘って行われる計測によって取得される画像領域のうち、変動の小さい画像領域を前記基準画像領域の候補として前記表示手段に表示する処理を行い、操作手段により選択された画像領域を前記基準画像領域に設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 A display means for displaying the candidate of the reference image area is provided.
The setting means performs a process of displaying an image area having a small fluctuation as a candidate of the reference image area on the display means among the image areas acquired by the measurement performed a plurality of times, and is selected by the operation means. The image processing apparatus according to any one of claims 1 to 4, wherein the image area is set as the reference image area. 前記表示手段は、前記変動の小さい画像領域のうち、特徴量が大きな画像領域を前記基準画像領域の候補として表示する
ことを特徴とする請求項７に記載の画像処理装置。 The image processing apparatus according to claim 7, wherein the display means displays an image region having a large feature amount as a candidate for the reference image region among the image regions having a small fluctuation. 前記補正手段は、前記撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との位置または大きさの差に対応する補正値を算出して補正を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction means calculates and corrects a correction value corresponding to a difference in position or size between the feature portion extracted in the image region corresponding to the reference image region in the captured image and the reference feature portion. The image processing apparatus according to any one of claims 1 to 8, wherein the image processing apparatus is to be performed. 前記補正手段は、前記撮像画像にて前記基準画像領域に対応する画像領域で抽出される複数の特徴部の距離と、複数の前記基準特徴部の距離との差に対応する補正値を算出して補正を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction means calculates a correction value corresponding to the difference between the distance between the plurality of feature portions extracted in the image region corresponding to the reference image region in the captured image and the distance between the plurality of reference feature portions. The image processing apparatus according to any one of claims 1 to 8, wherein the image processing apparatus is characterized in that the correction is performed. 前記補正手段は、前記撮像画像にて前記基準画像領域に対応する画像領域で抽出される複数の特徴部と、複数の前記基準特徴部との傾き角度に対応する補正値を算出して補正を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction means calculates and corrects correction values corresponding to the tilt angles of the plurality of feature portions extracted in the image region corresponding to the reference image region in the captured image and the plurality of reference feature portions. The image processing apparatus according to any one of claims 1 to 8, wherein the image processing apparatus is to be performed. 前記設定手段は、前記計測対象に対応する画像領域とは異なる画像領域を、前記基準画像領域に設定する処理を行う
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。 The image processing according to any one of claims 1 to 11, wherein the setting means performs a process of setting an image area different from the image area corresponding to the measurement target in the reference image area. Device. 前記撮像手段の駆動部を制御して、前記撮像手段の撮影方向または撮影画角を変更する制御を行い、前記計測対象の撮影位置を設定する駆動制御手段を備える
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。 Claim 1 is provided with a drive control means for controlling the drive unit of the image pickup means to change the shooting direction or the shooting angle of view of the image pickup means and setting the shooting position of the measurement target. The image processing apparatus according to any one of 12 to 12. 請求項１乃至１３のいずれか１項に記載の画像処理装置と、
前記撮像手段と、を備える
ことを特徴とする撮像装置。 The image processing apparatus according to any one of claims 1 to 13.
An image pickup apparatus comprising the above-mentioned image pickup means. 撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置にて実行される制御方法であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を基準特徴部に設定する処理を行う工程と、
前記撮像手段の撮影位置の再現性を判定する判定条件のデータを入力する工程と、
前記撮像手段によって計測時の撮影位置で取得される撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との誤差を算出する工程と、
算出された前記誤差が前記判定条件を満たさない場合、前記撮像手段に対して前記撮影位置を補正する処理を行う工程と、
算出された前記誤差が前記判定条件を満たす場合、画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う工程と、を有する
ことを特徴とする画像処理装置の制御方法。 It is a control method executed by an image processing device that processes data of an image taken by an image pickup means that can change the image shooting direction or the angle of view.
A step of setting a reference image region as a reference in the captured image and performing a process of setting a feature portion of the image in the reference image region as a reference feature portion.
A step of inputting data of determination conditions for determining the reproducibility of the imaging position of the imaging means, and
A step of calculating an error between a feature portion extracted in an image region corresponding to the reference image region and the reference feature portion in the captured image acquired at the shooting position at the time of measurement by the image pickup means.
When the calculated error does not satisfy the determination condition, a step of performing a process of correcting the photographing position with respect to the imaging means and a step of performing the process.
Control of an image processing apparatus comprising: a step of performing image processing of the captured image by an image processing means and performing control of outputting an image processing result when the calculated error satisfies the determination condition. Method. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。


A program characterized in that a computer functions as each means included in the image processing apparatus according to any one of claims 1 to 13.
JP2018129182A 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program Active JP7094806B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018129182A JP7094806B2 (en) 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program
US16/502,250 US11336831B2 (en) 2018-07-06 2019-07-03 Image processing device, control method, and program storage medium
CN201910603870.0A CN110691186B (en) 2018-07-06 2019-07-05 Image processing apparatus, control method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018129182A JP7094806B2 (en) 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program

Publications (2)

Publication Number Publication Date
JP2020010166A JP2020010166A (en) 2020-01-16
JP7094806B2 true JP7094806B2 (en) 2022-07-04

Family

ID=69152289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018129182A Active JP7094806B2 (en) 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program

Country Status (1)

Country Link
JP (1) JP7094806B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157886A1 (en) * 2021-01-21 2022-07-28 日本電気株式会社 Parameter optimization system, parameter optimization method, and computer program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220021A (en) 2015-05-20 2016-12-22 株式会社デンソー Image display device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220021A (en) 2015-05-20 2016-12-22 株式会社デンソー Image display device

Also Published As

Publication number Publication date
JP2020010166A (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110691186B (en) Image processing apparatus, control method, and recording medium
CN108527362B (en) Robot setting apparatus, robot setting method, and computer-readable recording medium
JP6962356B2 (en) Image processing device, display control device, image processing method, and recording medium
EP2211305A1 (en) Parameter determination assisting device and parameter determination assisting program
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
CN104822016A (en) Image processing device and image processing method
JP6856522B2 (en) Information processing device, control device, information processing method, and information processing program
CN111225143B (en) Image processing apparatus, control method thereof, and program storage medium
US9135519B2 (en) Pattern matching method and pattern matching apparatus
JP2019012016A (en) Position control system, position detector and control program
JP7094806B2 (en) Image processing device and its control method, image pickup device, program
US11839980B2 (en) Image processing apparatus monitoring target, control method therefor, and storage medium storing control program therefor
JP2021076711A (en) Scrap image capturing system, scrap image capturing method, image capturing support device, and program
JP7028729B2 (en) Object tracking device, object tracking system, and object tracking method
JP5217841B2 (en) Image processing apparatus and method for supporting parameter setting relating to defect detection on image
JP7210171B2 (en) IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM
JP7051571B2 (en) Teacher data creation device and method
JP4544117B2 (en) Control information generator
JP6853031B2 (en) Information processing equipment, information processing system, information processing method, and program
US20220261943A1 (en) Image processing device, image processing method, production system, product manufacturing method, and storage medium
JP7488467B2 (en) PART IDENTIFICATION PROGRAM, PART IDENTIFICATION METHOD, AND INFORMATION PROCESSING APPARATUS
JP2005217721A (en) Apparatus and method for generating still picture
WO2023223887A1 (en) Information processing device, information processing method, display control device, display control method
US11200632B2 (en) Image processing method and image processing apparatus
JP2010081228A (en) Image processing apparatus and method of processing image in the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R151 Written notification of patent or utility model registration

Ref document number: 7094806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151