WO2022107684A1 - パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム - Google Patents

パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2022107684A1
WO2022107684A1 PCT/JP2021/041616 JP2021041616W WO2022107684A1 WO 2022107684 A1 WO2022107684 A1 WO 2022107684A1 JP 2021041616 W JP2021041616 W JP 2021041616W WO 2022107684 A1 WO2022107684 A1 WO 2022107684A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
image data
processor
model
parameter
Prior art date
Application number
PCT/JP2021/041616
Other languages
English (en)
French (fr)
Inventor
潤 和田
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US18/252,189 priority Critical patent/US20230405850A1/en
Priority to DE112021004779.5T priority patent/DE112021004779T5/de
Priority to CN202180075789.5A priority patent/CN116472551A/zh
Priority to JP2022563719A priority patent/JPWO2022107684A1/ja
Publication of WO2022107684A1 publication Critical patent/WO2022107684A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • Servo motors 29 are provided on each component of the robot 12 (robot base 18, swivel body 20, lower arm 22, upper arm 24, wrist 26). These servomotors 29 rotate each movable element of the robot 12 (swivel body 20, lower arm 22, upper arm 24, wrist 26, wrist flange 26b) around the drive shaft in response to a command from the control device 16. Move it. As a result, the robot 12 can move the end effector 28 and arrange it at an arbitrary position and posture.
  • the processor 30 operates the robot 12 to perform a work handling operation in which the work W piled up in bulk in the container B is gripped by the end effector 28 and picked up.
  • the processor 30 first images the work W in the container B with the visual sensor 14.
  • the processor 30 acquires the parameter PM for collating the work model WM that models the work W with the work feature WP of the work W imaged by the visual sensor 14. Then, the processor 30 applies the parameter PM to a predetermined algorithm AL (software), and collates the work model WM with the work feature WP according to the algorithm AL, so that the sensor coordinate system of the work W reflected in the image data ID 1 is used.
  • the data (specifically, the coordinates) of the position (specifically, the position and the posture) in C3 is acquired.
  • the processor 30 acquires the position data in the robot coordinate system C1 of the imaged work W by converting the acquired position of the sensor coordinate system C3 into the robot coordinate system C1.
  • the processor 30 adjusts so as to optimize the parameter PM by using the work feature WP of the work W imaged by the visual sensor 14.
  • FIG. 6 shows an example of the image data ID 2 generated by this step S11.
  • the processor 30 arranges the work model WM in the virtual space defined by the sensor coordinate system C3, and generates the image data ID 2 of the virtual space in which the work model WM is arranged together with the work feature WP of the work W. Further, the processor 30 sets the work coordinate system C4 together with the work model WM in the sensor coordinate system C3.
  • This work coordinate system C4 is a coordinate system that defines the position (specifically, the position and the posture) of the work model WM.
  • the processor 30 uses the parameter PM 1 stored in the memory 32 at the start of the step S11 to set the position of the work W in the image data ID 2 as the detection position DP 1 .
  • Ask When obtaining the detection position DP 1 , the processor 30 applies the parameter PM 1 to the algorithm AL, and collates the work model WM with the work feature WP reflected in the image data ID 2 according to the algorithm AL.
  • the processor 30 determines the coordinates (in the sensor coordinate system C3) of the work coordinate system C4 set in the work model WM.
  • x, y, z, W, P, R) is detected as the detection position DP1 .
  • the coordinates (x, y, z) indicate the origin position of the work coordinate system C4 in the sensor coordinate system C3
  • the coordinates (W, P, R) indicate the attitude of the work coordinate system C4 with respect to the sensor coordinate system C3. So-called yaw, pitch, roll).
  • the above-mentioned parameter PM 1 is for collating the work model WM with the work feature WP.
  • the size SZ, the image roughness (or resolution) ⁇ at the time of collation, and the data (for example, the work model WM and the work feature WP) that specify which feature points of the work model WM and the work feature WP are collated with each other. Includes data that identifies the "contour" to match.
  • the processor 30 acquires the detection position DP 1 (x, y, z, W, P, R) by collating the work model WM and the work feature WP with each other using the parameter PM 1 . Therefore, in the present embodiment, the processor 30 functions as a position detection unit 54 (FIG. 2) for obtaining the detection position DP 1 using the parameter PM 1 .
  • step S26 the processor 30 updates the parameter PM n .
  • the processor 30 changes the parameter PM n (for example, the displacement amount E, the size SZ, or the image roughness ⁇ ) by the change amount ⁇ n determined in the latest step S25, thereby changing the parameter PM n .
  • step S4 that is, the process of acquiring the matching position
  • the same process as the flow shown in FIG. 5 is assigned the same step number, and duplicate description will be omitted.
  • step S4 shown in FIG. 9 the processor 30 executes steps S31 and S32 after step S11.
  • the processor 30 may erroneously display the work model WM at an inappropriate position.
  • FIG. 10 shows an example of the image data ID 2 in which the work model WM is displayed at an inappropriate position.
  • a feature F of a member different from the work W is reflected.
  • the processor 30 may not be able to recognize the work feature WP reflected in the image data ID 2, and may fail to display the work model WM.
  • An example of this is shown in FIG. In the image data ID 2 shown in FIG. 11, the work model WM corresponding to the work feature WP on the upper right is not displayed among the total of three work feature WPs. In such a case, the operator needs to add the work model WM to the image data ID 2.
  • step S11 When the image data ID 2 shown in FIG. 11 is displayed in step S11, the operator operates the input device 40 while visually recognizing the image data ID 2 to add the image data ID 2 (sensor coordinates) of the work model WM to be added.
  • Input data IP4 that specifies a position (for example, coordinates) in the system C3) is input.
  • step S32 the processor 30 functions as an image generation unit 52 and deletes the displayed work model WM from the image data ID 2 according to the received input data IP3 or IP4, or further converts the work model WM into the image data ID 2. Display additionally. For example, when the input data IP3 is received, the processor 30 deletes the work model WM displayed at the position corresponding to the feature F from the image data ID 2 shown in FIG. As a result, the image data ID 2 is updated as shown in FIG.
  • the processor 30 may display the work model WM at a position determined in accordance with a predetermined rule in the image data ID 2.
  • this rule can be defined as a rule for arranging the work model WM in the image data ID 2 in a grid pattern at equal intervals.
  • FIG. 14 shows an example in which the processor 30 displays the work model WM on the image data ID 2 according to the rule that the work model WM is arranged in a grid pattern at equal intervals.
  • step S4 processing of acquiring the matching position
  • the processor 30 executes steps S41 and S42 after step S11.
  • step S41 the processor 30 determines whether or not there is a work model WM that satisfies the condition G1 to be deleted in the image data ID 2.
  • the processor 30 refers to the points (or work features) of the three-dimensional point cloud constituting the work feature WP existing in the occupied area of the work model WM for each of the work model WMs reflected in the image data ID 2. Calculate the number N (pixels that copy the WP). Then, in step S41, the processor 30 determines whether or not the calculated number N is equal to or less than the predetermined threshold value Nth (N ⁇ Nth ) for each of the work model WMs , and N ⁇ Nth . If there is a work model WM determined to exist, the work model WM is specified as a deletion target, and YES is determined. That is, in the present embodiment, the condition G1 is defined as the number N being equal to or less than the threshold value Nth .
  • the processor 30 identifies the work feature WP as a model addition target and determines YES. That is, in the present embodiment, the condition G2 is defined as the existence of a work feature WP having no points (pixels) included in the exclusive area of the work model WM. For example, in the case of the example shown in FIG. 11, in the step S41, the processor 30 identifies the work feature WP shown in the upper right of the image data ID 2 as a model addition target, and determines YES.
  • step S42 the processor 30 functions as an image generation unit 52, and automatically adds the work model WM to the image data ID 2 at the position corresponding to the work feature WP specified as the model addition target in step S41.
  • a work model WM is added as shown in FIG.
  • the processor 30 additionally displays the work model WM in the image data ID 2 according to the predetermined condition G2. According to the flow shown in FIG. 15, the processor 30 can automatically delete or add the work model WM according to the condition G1 or G2, so that the operator's work can be reduced.
  • the processor 30 first executes the image acquisition process shown in FIG. In step S51, the processor 30 sets the number “i” that identifies the image data ID1 _i captured by the visual sensor 14 to “1”.
  • step S52 the processor 30 determines whether or not the image pickup start command has been accepted. For example, the operator operates the input device 40 to input an image pickup start command.
  • the processor 30 determines YES and proceeds to step S53. On the other hand, if the processor 30 has not received the image pickup start command, it determines NO and proceeds to step S56.
  • step S53 the processor 30 images the work W by the visual sensor 14 in the same manner as in step S2 described above. As a result, the visual sensor 14 captures the i-th image data ID1 _i and supplies it to the processor 30.
  • step S54 the processor 30 stores the i-th image data ID 1 _i acquired in the latest step S53 in the memory 32 together with the identification number “i”.
  • step S55 the operator changes the arrangement of the work W in the container B shown in FIG. 1 without inputting the image pickup end command.
  • the operator operates the input device 40 to input an imaging start command.
  • the processor 30 determines YES in step S52, executes steps S53 to S55 for the work W after the arrangement in the container B has changed, and acquires the i + 1th image data ID1 _i + 1 .
  • step S62 the processor 30 generates the image data ID 2 _i in which the work feature WP is displayed. Specifically, the processor 30 reads the i-th image data ID 1 _i identified by the identification number “i” from the memory 32. Then, based on the i-th image data ID1 _i , the processor 30 uses the work feature WP reflected in the i-th image data ID1 _i as a GUI that can be visually recognized by the operator, for example, the i-th as shown in FIG. Image data ID2 _i of is generated.
  • step S64 the processor 30 determines whether or not the identification number “i” exceeds the maximum value iMAX (i> iMAX ).
  • This maximum value iMAX is the total number of image data IDs 1 _i acquired by the processor 30 in the flow of FIG.
  • a plurality of image data IDs 1 _i of the work W arranged at various positions are accumulated by the flow shown in FIG. 17, and then a plurality of accumulated image data IDs 1 _i are accumulated in the flow shown in FIG.
  • the parameter PM is adjusted using the image data ID1 _i . According to this configuration, the parameter PM can be optimized for the work W arranged at various positions.
  • the processor 30 arranges the robot model 12M that models the robot 12 and the visual sensor model 14M fixed to the end effector model 28M of the robot model 12M in the virtual space, and arranges the robot model 12M and the visual.
  • the sensor model 14M may be simulated in virtual space to perform the flows shown in FIGS. 3, 17 and 18 (ie, simulation). According to this configuration, the parameter PM can be adjusted by so-called offline operation without using the actual robot 12 and the visual sensor 14.
  • Robot system 12
  • Robot 14 Visual sensor 16
  • Control device 30
  • Processor 50
  • Device 52
  • Image generation unit 54
  • Position detection unit 56
  • Input reception unit 58
  • Matching position acquisition unit 60
  • Parameter adjustment unit 62
  • Command generation unit

Abstract

従来、視覚センサが撮像したワークのワーク特徴と、該ワークのワークモデルとを照合するためのパラメータを調整するためには、専門知識を有するオペレータが必要となっていた。　装置５０は、視覚センサが撮像したワークのワーク特徴が表示された画像データを生成する画像生成部５２と、ワークモデルをワーク特徴と照合するためのパラメータを用いて、画像データにおけるワークの位置を検出位置として求める位置検出部５４と、画像データにおいてワークモデルをワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得するマッチング位置取得部５８と、検出位置とマッチング位置との差を表すデータに基づいてパラメータを調整するパラメータ調整部６０とを備える。

Description

パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム
　本発明は、画像データにおいてワークのワーク特徴とワークモデルとを照合するためのパラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラムに関する。
　視覚センサが撮像した画像データに写るワークの位置を検出するためのパラメータを取得する技術が知られている（例えば、特許文献１）。
特開平２－２１０５８４号公報
　視覚センサが撮像した画像データに写るワークのワーク特徴と、ワークをモデル化したワークモデルとを、パラメータを用いて互いに照合することで、画像データに写るワークの位置を求める場合がある。従来、このような照合用のパラメータを調整するためには、専門知識を有するオペレータが必要となっていた。
　本開示の一態様において、装置は、視覚センサが撮像したワークのワーク特徴が表示された画像データにおいてワークをモデル化したワークモデルをワーク特徴と照合するためのパラメータを用いて、画像データにおけるワークの位置を検出位置として求める位置検出部と、画像データにおいてワークモデルをワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得するマッチング位置取得部と、位置検出部が検出位置を、マッチング位置に対応する位置として求めるのを可能とするように、検出位置とマッチング位置との差を表すデータに基づいてパラメータを調整するパラメータ調整部とを備える。
　本開示の他の態様において、方法は、プロセッサが、視覚センサが撮像したワークのワーク特徴が表示された画像データにおいてワークをモデル化したワークモデルをワーク特徴と照合するためのパラメータを用いて、画像データにおけるワークの位置を検出位置として求め、画像データにおいてワークモデルをワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得し、検出位置を、マッチング位置に対応する位置として求めるのを可能とするように、検出位置とマッチング位置との差を表すデータに基づいてパラメータを調整する。
　本開示によれば、画像データにおいてワークモデルをワーク特徴にマッチングさせたときに取得したマッチング位置を用いてパラメータを調整している。このため、パラメータの調整に関する専門知識がないオペレータでも、マッチング位置を取得することができ、これによりパラメータを調整することが可能となる。
一実施形態に係るロボットシステムの概略図である。 図１に示すロボットシステムのブロック図である。 一実施形態に係るパラメータ調整方法を示すフローチャートである。 図３中のステップＳ３で生成される画像データの一例を示す。 図３中のステップＳ４のフローの一例を示す。 図５中のステップＳ１１で生成される画像データの一例を示す。 画像データ内でワークモデルがワーク特徴にマッチングしている状態を示す。 図３中のステップＳ５のフローの一例を示す。 図３中のステップＳ４のフローの他の例を示す。 図９中のステップＳ１１で生成される画像データの一例を示す。 図９中のステップＳ１１で生成される画像データの他の例を示す。 図９中のステップＳ３２で生成される画像データの例を示す。 図９中のステップＳ１１で生成される画像データにおいて、ワークモデルがランダムに表示された状態を示す。 図９中のステップＳ１１で生成される画像データにおいて、ワークモデルが予め定めた規則に従って表示された状態を示す。 図３中のステップＳ４のフローのさらに他の例を示す。 図１５中のステップＳ４２で生成される画像データの例を示す。 視覚センサによって画像データを取得するフローの一例を示す。 他の実施形態に係るパラメータ調整方法を示すフローチャートである。
　以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１及び図２を参照して、一実施形態に係るロボットシステム１０について説明する。ロボットシステム１０は、ロボット１２、視覚センサ１４、及び制御装置１６を備える。
　本実施形態においては、ロボット１２は、垂直多関節ロボットであって、ロボットベース１８、旋回胴２０、下腕部２２、上腕部２４、手首部２６、及びエンドエフェクタ２８を有する。ロボットベース１８は、作業セルの床の上に固定されている。旋回胴２０は、鉛直軸周りに旋回可能となるように、ロボットベース１８に設けられている。
　下腕部２２は、旋回胴２０に水平軸周りに回動可能に設けられ、上腕部２４は、下腕部２２の先端部に回動可能に設けられている。手首部２６は、上腕部２４の先端部に回動可能に設けられた手首ベース２６ａと、手首軸Ａ１周りに回動可能となるように該手首ベース２６ａに設けられた手首フランジ２６ｂとを有する。
　エンドエフェクタ２８は、手首フランジ２６ｂに着脱可能に取り付けられ、ワークＷに対して所定の作業を行う。本実施形態においては、エンドエフェクタ２８は、ワークＷを把持可能なロボットハンドであって、例えば、開閉可能な複数の指部、又は吸着部（負圧発生装置、吸盤、電磁石等）を有する。
　ロボット１２の各構成要素（ロボットベース１８、旋回胴２０、下腕部２２、上腕部２４、手首部２６）には、サーボモータ２９（図２）が設けられている。これらサーボモータ２９は、制御装置１６からの指令に応じて、ロボット１２の各可動要素（旋回胴２０、下腕部２２、上腕部２４、手首部２６、手首フランジ２６ｂ）を駆動軸周りに回動させる。その結果、ロボット１２は、エンドエフェクタ２８を移動させて任意の位置及び姿勢に配置することができる。
　視覚センサ１４は、エンドエフェクタ２８（又は手首フランジ２６ｂ）に対して固定されている。例えば、視覚センサ１４は、撮像センサ（ＣＭＯＳ、ＣＣＤ等）と、該撮像センサへ被写体像を導光する光学レンズ（コリメートレンズ、フォーカスレンズ等）とを有する３次元視覚センサであって、光軸Ａ２に沿って被写体像を撮像するとともに、該被写体像までの距離ｄを測定するように構成される。
　図１に示すように、ロボット１２には、ロボット座標系Ｃ１、及びツール座標系Ｃ２が設定されている。ロボット座標系Ｃ１は、ロボット１２の各可動要素の動作を制御するための制御座標系である。本実施形態においては、ロボット座標系Ｃ１は、その原点がロボットベース１８の中心に配置され、そのｚ軸が鉛直方向と平行となるように、ロボットベース１８に対して固定されている。
　一方、ツール座標系Ｃ２は、ロボット座標系Ｃ１におけるエンドエフェクタ２８の位置を制御するための制御座標系である。本実施形態においては、ツール座標系Ｃ２は、その原点（いわゆる、ＴＣＰ）が、エンドエフェクタ２８の作業位置（ワーク把持位置）に配置され、そのｚ軸が、手首軸Ａ１と平行となる（具体的には、一致する）ように、エンドエフェクタ２８に対して設定されている。
　エンドエフェクタ２８を移動させるとき、制御装置１６は、ロボット座標系Ｃ１においてツール座標系Ｃ２を設定し、設定したツール座標系Ｃ２によって表される位置にエンドエフェクタ２８を配置するように、ロボット１２の各サーボモータ２９への指令を生成する。こうして、制御装置１６は、ロボット座標系Ｃ１における任意の位置にエンドエフェクタ２８を位置決めできる。なお、本稿において、「位置」とは、位置及び姿勢を意味する場合がある。
　一方、視覚センサ１４には、センサ座標系Ｃ３が設定されている。センサ座標系Ｃ３は、視覚センサ１４が撮像した画像データ（又は、撮像センサ）の各画素の座標を規定する。本実施形態においては、センサ座標系Ｃ３は、その原点が撮像センサの中心に配置され、そのｚ軸が光軸Ａ２と平行となる（具体的には、一致する）ように、視覚センサ１４に対して設定されている。
　センサ座標系Ｃ３とツール座標系Ｃ２との位置関係は、キャリブレーションにより既知となっており、故に、センサ座標系Ｃ３の座標とツール座標系Ｃ２の座標とは、既知の変換行列（例えば、同次変換行列）を介して、相互変換可能となっている。また、ツール座標系Ｃ２とロボット座標系Ｃ１との位置関係は既知であるので、センサ座標系Ｃ３の座標とロボット座標系Ｃ１の座標とは、ツール座標系Ｃ２を介して、相互変換可能である。
　制御装置１６は、ロボット１２の動作を制御する。具体的には、制御装置１６は、プロセッサ３０、メモリ３２、及びＩ／Ｏインターフェース３４を有するコンピュータである。プロセッサ３０は、メモリ３２及びＩ／Ｏインターフェース３４とバス３６を介して通信可能に接続され、これらコンポーネントと通信しつつ、後述する各種機能を実現するための演算処理を行う。
　メモリ３２は、ＲＡＭ又はＲＯＭ等を有し、各種データを一時的又は恒久的に記憶する。Ｉ／Ｏインターフェース３４は、例えば、イーサネット（登録商標）ポート、ＵＳＢポート、光ファイバコネクタ、又はＨＤＭＩ（登録商標）端子を有し、プロセッサ３０からの指令の下、外部機器との間でデータを有線又は無線で通信する。ロボット１２の各サーボモータ２９及び視覚センサ１４は、Ｉ／Ｏインターフェース３４に通信可能に接続されている。
　また、制御装置１６には、表示装置３８及び入力装置４０が設けられている。表示装置３８及び入力装置４０は、Ｉ／Ｏインターフェース３４に通信可能に接続されている。表示装置３８は、液晶ディスプレイ又は有機ＥＬディスプレイ等を有し、プロセッサ３０からの指令の下、各種データを視認可能に表示する。
　入力装置４０は、キーボード、マウス、又はタッチパネル等を有し、オペレータからの入力データを受け付ける。なお、表示装置３８及び入力装置４０は、制御装置１６の筐体に一体に組み込まれてもよいし、又は、制御装置１６の筐体とは別体として該筐体に外付けされてもよい。
　本実施形態においては、プロセッサ３０は、ロボット１２を動作させて、容器Ｂ内にバラ積みにされたワークＷをエンドエフェクタ２８で把持して取り上げるワークハンドリング作業を実行する。このワークハンドリング作業を実行するために、プロセッサ３０は、まず、視覚センサ１４で容器Ｂ内のワークＷを撮像する。
　このときに視覚センサ１４が撮像する画像データＩＤ１は、撮像された各々のワークＷの視覚的な特徴点（エッジ、輪郭、面、辺、角、穴、突部等）を写すワーク特徴ＷＰと、視覚センサ１４（具体的には、センサ座標系Ｃ３の原点）から該ワーク特徴ＷＰの各画素が表すワークＷ上の点までの距離ｄの情報とを含む。
　次いで、プロセッサ３０は、ワークＷをモデル化したワークモデルＷＭを、視覚センサ１４によって撮像されたワークＷのワーク特徴ＷＰと照合するためのパラメータＰＭを取得する。そして、プロセッサ３０は、該パラメータＰＭを所定のアルゴリズムＡＬ（ソフトウェア）に適用し、該アルゴリズムＡＬに従ってワークモデルＷＭとワーク特徴ＷＰとを照合することで、画像データＩＤ１に写るワークＷのセンサ座標系Ｃ３における位置（具体的には、位置及び姿勢）のデータ（具体的には、座標）を取得する。そして、プロセッサ３０は、取得したセンサ座標系Ｃ３の位置をロボット座標系Ｃ１に変換することで、撮像したワークＷのロボット座標系Ｃ１における位置データを取得する。
　ここで、画像データＩＤ１に写るワークＷの位置を高精度に取得するためには、パラメータＰＭを最適化する必要がある。本実施形態においては、プロセッサ３０は、視覚センサ１４が撮像したワークＷのワーク特徴ＷＰを用いて、パラメータＰＭを最適化するように調整する。
　以下、図３を参照して、パラメータＰＭを調整する方法について説明する。図３に示すフローは、例えば、制御装置１６が起動されたときに開始される。なお、図３のフローの開始時点で、上述のアルゴリズムＡＬと、予め準備されたパラメータＰＭ１とが、メモリ３２に格納されている。
　ステップＳ１において、プロセッサ３０は、パラメータ調整指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して、パラメータ調整指令を手動で入力する。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０からパラメータ調整指令を受け付けるとＹＥＳと判定し、ステップＳ２へ進む。一方、プロセッサ３０は、パラメータ調整指令を受け付けていない場合はＮＯと判定し、ステップＳ６へ進む。
　ステップＳ２において、プロセッサ３０は、視覚センサ１４によってワークＷを撮像する。具体的には、プロセッサ３０は、ロボット１２を動作させて、視覚センサ１４を、図１に示すように、該視覚センサ１４の視野に少なくとも１つのワークＷが収まる撮像位置に、位置決めする。
　次いで、プロセッサ３０は、視覚センサ１４へ撮像指令を送り、該撮像指令に応じて、視覚センサ１４は、ワークＷを撮像して画像データＩＤ１を取得する。上述したように、画像データＩＤ１は、撮像された各々のワークＷのワーク特徴ＷＰと上述の距離ｄの情報とを含む。プロセッサ３０は、視覚センサ１４から画像データＩＤ１を取得する。画像データＩＤ１の各画素は、センサ座標系Ｃ３の座標として表される。
　ステップＳ３において、プロセッサ３０は、ワーク特徴ＷＰが表示された画像データＩＤ２を生成する。具体的には、プロセッサ３０は、視覚センサ１４から取得した画像データＩＤ１を基に、オペレータがワーク特徴ＷＰを視認可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）として、画像データＩＤ２を生成する。この画像データＩＤ２の一例を図４に示す。
　図４に示す例では、画像データＩＤ２において、ワーク特徴ＷＰが、３次元点群として表示されている。また、画像データＩＤ２には、センサ座標系Ｃ３が設定されており、該画像データＩＤ２の各画素は、視覚センサ１４が撮像した画像データＩＤ１と同様に、センサ座標系Ｃ３の座標として表される。
　そして、ワーク特徴ＷＰを構成する複数の点の各々は、上述の距離ｄの情報を有しているので、センサ座標系Ｃ３の３次元座標（ｘ，ｙ，ｚ）として表すことができるようになっている。すなわち、本実施形態においては、画像データＩＤ２は、３次元の画像データである。なお、図４では、理解の容易のために、画像データＩＤ２に計３個のワーク特徴ＷＰが表示されている例を示しているが、実際上は、より多くのワーク特徴ＷＰ（つまり、ワークＷ）が示され得ることを理解されたい。
　プロセッサ３０は、画像データＩＤ２を、画像データＩＤ１よりも視認性に優れたＧＵＩとして、該画像データＩＤ１とは異なる画像データとして生成してもよい。例えば、プロセッサ３０は、画像データＩＤ１に写る、ワーク特徴ＷＰ以外の領域を無色にする一方で、ワーク特徴ＷＰに色付け（黒色、青色、赤色等）することによって、オペレータがワーク特徴ＷＰを容易に識別可能とするように、画像データＩＤ２を生成してもよい。
　プロセッサ３０は、生成した画像データＩＤ２を表示装置３８に表示させる。こうして、オペレータは、図４に示すような画像データＩＤ２を視認することができる。このように、本実施形態においては、プロセッサ３０は、ワーク特徴ＷＰが表示された画像データＩＤ２を生成する画像生成部５２（図２）として機能する。
　なお、プロセッサ３０は、オペレータによる入力装置４０の操作に応じて画像データＩＤ２に写るワークＷを見る方向を変えるように（例えば、３ＤＣＡＤデータのように）、表示装置３８に表示する画像データＩＤ２を更新してもよい。この場合、オペレータは、入力装置４０の操作することで、画像データＩＤ２に写るワークＷを所望の方向から視認することが可能となる。
　再度、図３を参照し、ステップＳ４において、プロセッサ３０は、マッチング位置を取得するプロセスを実行する。このステップＳ４について、図５を参照して説明する。ステップＳ１１において、プロセッサ３０は、上述のステップＳ３で生成した画像データＩＤ２に、ワークモデルＷＭをさらに表示する。本実施形態においては、ワークモデルＷＭは、３ＤＣＡＤデータである。
　図６に、このステップＳ１１によって生成される画像データＩＤ２の一例を示す。ステップＳ１１において、プロセッサ３０は、センサ座標系Ｃ３によって規定される仮想空間にワークモデルＷＭを配置し、ワークＷのワーク特徴ＷＰとともにワークモデルＷＭが配置された仮想空間の画像データＩＤ２を生成する。また、プロセッサ３０は、センサ座標系Ｃ３において、ワークモデルＷＭとともに、ワーク座標系Ｃ４を設定する。このワーク座標系Ｃ４は、ワークモデルＷＭの位置（具体的には、位置及び姿勢）を規定する座標系である。
　本実施形態においては、プロセッサ３０は、このステップＳ１１において、該ステップＳ１１の開始時点でメモリ３２に格納されているパラメータＰＭ１を用いて、画像データＩＤ２におけるワークＷの位置を検出位置ＤＰ１として求める。検出位置ＤＰ１を求めるとき、プロセッサ３０は、パラメータＰＭ１をアルゴリズムＡＬに適用し、該アルゴリズムＡＬに従って、ワークモデルＷＭを、画像データＩＤ２に写るワーク特徴ＷＰと照合する。
　より具体的には、プロセッサ３０は、パラメータＰＭ１が適用されたアルゴリズムＡＬに従って、センサ座標系Ｃ３によって規定される仮想空間においてワークモデルＷＭの位置を所定の変位量Ｅずつ徐々に変化させて、ワークモデルＷＭの特徴点（エッジ、輪郭、面、辺、角、穴、突部等）と、該特徴点に対応するワーク特徴ＷＰの特徴点とが互いに一致する、ワークモデルＷＭの位置を検索する。
　そして、プロセッサ３０は、ワークモデルＷＭの特徴点が、対応するワーク特徴ＷＰの特徴点に一致したときに、該ワークモデルＷＭに設定されているワーク座標系Ｃ４の、センサ座標系Ｃ３における座標（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）を、検出位置ＤＰ１として検出する。ここで、座標（ｘ，ｙ，ｚ）は、センサ座標系Ｃ３におけるワーク座標系Ｃ４の原点位置を示し、座標（Ｗ，Ｐ，Ｒ）は、センサ座標系Ｃ３に対するワーク座標系Ｃ４の姿勢（いわゆる、ヨー、ピッチ、ロール）を示す。
　上述のパラメータＰＭ１は、ワークモデルＷＭをワーク特徴ＷＰと照合するためのものであって、例えば、上述の変位量Ｅ、画像データＩＤ２において互いに照合する特徴点を検索する範囲を画定するウィンドウのサイズＳＺ、照合時の画像粗さ（又は、分解能）σ、及び、ワークモデルＷＭとワーク特徴ＷＰのどの特徴点を互いに照合するかを特定するデータ（例えば、ワークモデルＷＭ及びワーク特徴ＷＰの「輪郭」を照合するように特定するデータ）を含む。
　こうして、プロセッサ３０は、パラメータＰＭ１を用いてワークモデルＷＭとワーク特徴ＷＰとを互いに照合することで、検出位置ＤＰ１（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）を取得する。したがって、本実施形態においては、プロセッサ３０は、パラメータＰＭ１を用いて検出位置ＤＰ１を求める位置検出部５４（図２）として機能する。
　次いで、プロセッサ３０は、画像生成部５２として機能して、画像データＩＤ２において、取得した検出位置ＤＰ１にワークモデルＷＭを表示する。具体的には、プロセッサ３０は、検出位置ＤＰ１として検出したセンサ座標系Ｃ３の座標（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）に配置されたワーク座標系Ｃ４によって表される位置に、ワークＷＭを表示する。
　こうして、図６に示すように、画像データＩＤ２において、３個のワーク特徴ＷＰに対応する位置に、３個のワークモデルＷＭがそれぞれ表示されることになる。ここで、パラメータＰＭ１が最適化されていない場合、図６に示すように、取得した検出位置ＤＰ１（つまり、図６に表示されたワークモデルＷＭの位置）が、ワーク特徴ＷＰからずれてしまうことが起こり得る。
　再度、図５を参照して、ステップＳ１２において、プロセッサ３０は、画像データＩＤ２においてワークモデルＷＭの位置を変位させるための入力データＩＰ１（第１の入力データ）を受け付けたか否かを判定する。具体的には、オペレータは、表示装置３８に表示された図６に示す画像データＩＤ２を視認しつつ、該画像データＩＤ２に表示されたワークモデルＷＭを、対応するワーク特徴ＷＰに一致する位置へ画像上で移動させるべく、入力装置４０を操作することで入力データＩＰ１を入力する。
　プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から入力データＩＰ１を受け付けるとＹＥＳと判定し、ステップＳ１３へ進む。一方、入力装置４０から入力データＩＰ１を受け付けていない場合はＮＯと判定し、ステップＳ１４へ進む。このように、本実施形態においては、プロセッサ３０は、画像データＩＤ２においてワークモデルＷＭの位置を変位させるための入力データＩＰ１を受け付ける入力受付部５６（図２）として機能する。
　ステップＳ１３において、プロセッサ３０は、入力データＩＰ１に応じて、画像データＩＤ２に表示されたワークモデルＷＭの位置を変位させる。具体的には、プロセッサ３０は、画像生成部５２として機能して、センサ座標系Ｃ３によって規定される仮想空間内で入力データＩＰ１に応じてワークモデルＷＭの位置を変位させるように、画像データＩＤ２を更新する。こうして、オペレータは、表示装置３８に表示された画像データＩＤ２を視認しつつ入力装置４０を操作することで、画像データＩＤ２においてワークモデルＷＭを対応するワーク特徴ＷＰに近づけるように、変位させることができる。
　ステップＳ１４において、プロセッサ３０は、マッチング位置ＭＰを取得するための入力データＩＰ２を受け付けたか否かを判定する。具体的には、オペレータは、ステップＳ１３でワークモデルＷＭを変位させた結果、画像データＩＤ２においてワークモデルＷＭの位置がワーク特徴ＷＰの位置に一致したときに、入力装置４０を操作して、マッチング位置ＭＰを取得するための入力データＩＰ２を入力する。
　図７に、画像データＩＤ２においてワークモデルＷＭの位置がワーク特徴ＷＰに一致した状態を示す。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から入力データＩＰ２を受け付けるとＹＥＳと判定し、ステップＳ１５へ進む一方、入力装置４０から入力データＩＰ２を受け付けていない場合はＮＯと判定し、ステップＳ１２へ戻る。こうして、プロセッサ３０は、ステップＳ１４でＹＥＳと判定するまで、ステップＳ１２～Ｓ１４をループする。
　ステップＳ１５において、プロセッサ３０は、入力データＩＰ２を受け付けたときの画像データＩＤ２におけるワークモデルＷＭの位置をマッチング位置ＭＰとして取得する。上述したように、プロセッサ３０が入力データＩＰ２を受け付けたとき、図７に示すように、画像データＩＤ２において、ワークモデルＷＭが、それぞれ、対応するワーク特徴ＷＰに一致している。
　プロセッサ３０は、マッチング位置ＭＰとして、図７に示すワークモデルＷＭの各々に設定されているワーク座標系Ｃ４のセンサ座標系Ｃ３における座標（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）を取得し、メモリ３２に記憶する。このように、本実施形態においては、プロセッサ３０は、マッチング位置ＭＰを取得するマッチング位置取得部５８（図２）として機能する。
　再度、図３を参照して、ステップＳ５において、プロセッサ３０は、パラメータＰＭを調整するプロセスを実行する。このステップＳ５について、図８を参照して説明する。ステップＳ２１において、プロセッサ３０は、パラメータＰＭｎの更新回数を特定する番号「ｎ」を「１」にセットする。
　ステップＳ２２において、プロセッサ３０は、位置検出部５４として機能し、検出位置ＤＰｎを取得する。具体的には、プロセッサ３０は、このステップＳ２２の開始時点でメモリ３２に格納されているパラメータＰＭｎを用いて検出位置ＤＰｎを求める。仮に、このステップＳ２２の開始時点でｎ＝１にセットされている場合（すなわち、第１回目のステップＳ２２を実行する場合）、プロセッサ３０は、上述のステップＳ１１と同様に、パラメータＰＭ１を用いて図６に示す検出位置ＤＰ１を求める。
　ステップＳ２３において、プロセッサ３０は、直近のステップＳ２２で求めた検出位置ＤＰｎと、上述のステップＳ４で取得したマッチング位置ＭＰとの差を表すデータΔｎを取得する。このデータΔｎは、例えば、センサ座標系Ｃ３における検出位置ＤＰｎとマッチング位置ＭＰとの差を表す目的関数の値である。この目的関数は、例えば、互いに対応する一対の検出位置ＤＰｎ及びマッチング位置ＭＰの差の和、二乗和、平均値、又は二乗平均値を示す関数であり得る。プロセッサ３０は、取得したデータΔｎをメモリ３２に記憶する。
　仮に、このステップＳ２３の開始時点でｎ＝１にセットされている場合（すなわち、第１回目のステップＳ２３を実行する場合）、プロセッサ３０は、検出位置ＤＰ１とマッチング位置ＭＰとの差を表すデータΔ１を取得する。このデータΔ１は、図６に示すワークモデルＷＭのセンサ座標系Ｃ３の位置（すなわち、検出位置ＤＰ１）と、図７に示すワークモデルＷＭのセンサ座標系Ｃ３の位置（すなわち、マッチング位置ＭＰ）との差を表す。
　ステップＳ２４において、プロセッサ３０は、直近のステップＳ２３で取得したデータΔｎの値が、予め定めた閾値Δｔｈ以下（Δｎ≦Δｔｈ）であるか否かを判定する。この閾値Δｔｈは、オペレータによって定められ、メモリ３２に予め格納される。プロセッサ３０は、Δｎ≦Δｔｈである場合はＹＥＳと判定し、ステップＳ５を終了し、図３中のステップＳ６へ進む。
　このステップＳ２４でＹＥＳと判定したとき、直近のステップＳ２２で求めた検出位置ＤＰｎがマッチング位置ＭＰに実質一致しており、故に、パラメータＰＭｎが最適化されていると見做すことができる。一方、プロセッサ３０は、Δｎ＞Δｔｈである場合はＮＯと判定し、ステップＳ２５へ進む。
　ステップＳ２５において、プロセッサ３０は、直近のステップＳ２３で取得したデータΔｎに基づいて、画像データＩＤ２において検出位置ＤＰｎとマッチング位置ＭＰとの差を小さくすることができるパラメータＰＭｎの変化量αｎを決定する。具体的には、プロセッサ３０は、直近のステップＳ２３で取得したデータΔｎから、図８中のステップＳ２２～Ｓ２８のループを繰り返し実行したときにステップＳ２３で取得されるデータΔｎの値をゼロへ向かって収束させることができる、パラメータＰＭｎ（例えば、変位量Ｅ、サイズＳＺ、又は画像粗さσ）の変化量αｎを決定する。プロセッサ３０は、この変化量αｎを、データΔｎと所定のアルゴリズムとを用いることで求めることができる。
　ステップＳ２６において、プロセッサ３０は、パラメータＰＭｎを更新する。具体的には、プロセッサ３０は、直近のステップＳ２５で決定した変化量αｎだけパラメータＰＭｎ（例えば、変位量Ｅ、サイズＳＺ、又は画像粗さσ）を変化させることによって、該パラメータＰＭｎを更新し、新たなパラメータＰＭｎ＋１とする。プロセッサ３０は、更新後のパラメータＰＭｎ＋１をメモリ３２に記憶する。仮に、ステップＳ２６の開始時点でｎ＝１にセットされていた場合、プロセッサ３０は、予め準備されたパラメータＰＭ１を変化量α１だけ変化させて、パラメータＰＭ２へ更新する。
　ステップＳ２７において、プロセッサ３０は、パラメータＰＭｎの更新回数を特定する番号「ｎ」を「１」だけインクリメントする（ｎ＝ｎ＋１）。ステップＳ２８において、プロセッサ３０は、パラメータＰＭｎの更新回数を特定する番号「ｎ」が、最大値ｎＭＡＸを超えた（ｎ＞ｎＭＡＸ）か、又は、直近のステップＳ２５で決定した変化量αｎが予め定めた閾値αｔｈ以下となった（αｎ≦αｔｈ）か否かを判定する。この最大値ｎＭＡＸ及び閾値αｔｈは、オペレータによって予め定められ、メモリ３２に格納される。
　ここで、プロセッサ３０は、図８に示すように、ステップＳ２４又はＳ２８でＹＥＳと判定するまで、ステップＳ２２～Ｓ２８のループを繰り返し実行する。上述のステップＳ２５にて、プロセッサ３０は、検出位置ＤＰｎとマッチング位置ＭＰとの差（すなわち、データΔｎの値）を小さくすることができるように変化量αｎを決定していることから、ステップＳ２２～Ｓ２８のループを繰り返す毎に、ステップＳ２３で取得するデータΔｎの値、及び、ステップＳ２５で決定する変化量αｎが、小さくなっていく。
　したがって、変化量αｎが閾値αｔｈ以下となった場合は、パラメータＰＭｎが最適化されたものと見做すことができる。その一方で、ステップＳ２２～Ｓ２８のループを多数回に亘って繰り返し実行したとしても、変化量αｎがある値（＞αｔｈ）に収束して、閾値αｔｈ以下とならない場合がある。このような場合も、パラメータＰＭｎが十分に最適化されたと見做すことができる。
　よって、プロセッサ３０は、このステップＳ２８において、ｎ＞ｎＭＡＸ、又は、αｎ≦αｔｈであるか否かを判定し、ｎ＞ｎＭＡＸ、又は、αｎ≦αｔｈを満たす場合はＹＥＳと判定してステップＳ５を終了する。一方、プロセッサ３０は、ｎ≦ｎＭＡＸ、且つ、αｎ＞αｔｈである場合はＮＯと判定し、ステップＳ２２へ戻り、更新後のパラメータＰＭｎ＋１を用いてステップＳ２２～Ｓ２８のループを実行する。
　このように、プロセッサ３０は、ステップＳ２４又はＳ２８でＹＥＳと判定するまで、ステップＳ２２～Ｓ２８の一連の動作を繰り返し実行することによって、データΔｎに基づいてパラメータＰＭｎを更新して調整している。したがって、本実施形態においては、プロセッサ３０は、データΔｎに基づいてパラメータＰＭｎを調整するパラメータ調整部６０（図２）として機能する。
　プロセッサ３０は、位置検出部５４として機能して画像データＩＤ２から検出位置ＤＰｎを求める場合に上述のように最適化されたパラメータＰＭｎを用いることで、画像データＩＤ２における検出位置ＤＰｎを、マッチング位置ＭＰに対応する（例えば、実質一致する）位置として求めることが可能となる。
　再度、図３を参照して、ステップＳ６において、プロセッサ３０は、動作終了指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して、動作終了指令を手動で入力する。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から動作終了指令を受け付けるとＹＥＳと判定し、制御装置１６の動作を終了する。一方、プロセッサ３０は、動作終了指令を受け付けていない場合はＮＯと判定し、ステップＳ１へ戻る。
　例えば、オペレータは、ステップＳ５の終了後、動作終了指令を入力せずに、図１に示す容器Ｂ内のワークＷの配置を変化させる。次いで、オペレータは、入力装置４０を操作して、上述のパラメータ調整指令を入力する。そうすると、プロセッサ３０は、ステップＳ１でＹＥＳと判定し、容器Ｂ内の配置が変化した後のワークＷに対してステップＳ２～Ｓ５を実行し、パラメータＰＭｎを調整する。このように、容器Ｂ内のワークＷの配置を変化させる毎にステップＳ２～Ｓ５を実行することによって、様々な位置に配置されたワークＷについてパラメータＰＭｎを最適化することができる。
　以上のように、本実施形態においては、プロセッサ３０は、画像生成部５２、位置検出部５４、入力受付部５６、マッチング位置取得部５８、及びパラメータ調整部６０として機能して、パラメータＰＭを調整している。従って、画像生成部５２、位置検出部５４、入力受付部５６、マッチング位置取得部５８、及びパラメータ調整部６０は、パラメータＰＭを調整するための装置５０（図２）を構成する。
　この装置５０によれば、画像データＩＤ２においてワークモデルＷＭをワーク特徴ＷＰにマッチングさせたときに取得したマッチング位置ＭＰを用いてパラメータＰＭを調整している。このため、パラメータＰＭの調整に関する専門知識がないオペレータでも、マッチング位置ＭＰを取得することができ、これによりパラメータＰＭを調整することが可能となる。
　また、本実施形態においては、プロセッサ３０は、図８中のステップＳ２２～Ｓ２８の一連の動作を繰り返し実行することによってパラメータＰＭｎを調整している。この構成によれば、パラメータＰＭｎを自動で調整することができるとともに、該パラメータＰＭｎを迅速に最適化できる。
　また、本実施形態においては、プロセッサ３０は、画像生成部５２として機能して、画像データＩＤ２にワークモデルＷＭをさらに表示し（ステップＳ１１）、入力データＩＰ１に応じて、画像データＩＤ２に表示されたワークモデルＷＭの位置を変位させている（ステップＳ１３）。そして、プロセッサ３０は、画像データＩＤ２においてワークモデルＷＭがワーク特徴ＷＰに一致するように配置されたときに、マッチング位置取得部５８として機能し、マッチング位置ＭＰを取得している（ステップＳ１５）。
　この構成によれば、オペレータは、表示装置３８に表示された画像データＩＤ２を視認しつつ入力装置４０を操作することで、画像データＩＤ２においてワークモデルＷＭをワーク特徴ＷＰに容易に一致させることができ、以って、マッチング位置ＭＰを取得できる。したがって、パラメータＰＭの調整に関する専門知識がないオペレータでも、画像上でワークモデルＷＭをワーク特徴ＷＰに位置合わせするだけで、マッチング位置ＭＰを容易に取得可能となる。
　上述のようにパラメータＰＭｎを調整した後、プロセッサ３０は、調整後のパラメータＰＭｎを用いて、ワークＷに対する作業（具体的には、ワークハンドリング作業）をロボット１２に実行させる。以下、ロボット１２が実行するワークＷに対する作業について説明する。プロセッサ３０は、オペレータ、上位コントローラ、又はコンピュータプログラムから作業開始指令を受け付けると、ロボット１２を動作させて、視覚センサ１４を、容器Ｂ内のワークＷを撮像可能な撮像位置に位置決めし、視覚センサ１４を動作させてワークＷを撮像する。
　このときに視覚センサ１４が撮像する画像データＩＤ３には、少なくとも１つのワークＷのワーク特徴ＷＰが示されている。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して視覚センサ１４から画像データＩＤ３を取得し、該画像データＩＤ３に基づいて、ロボット１２を動作するための動作指令ＣＭを生成する。
　より具体的には、プロセッサ３０は、位置検出部５４として機能して、調整後のパラメータＰＭｎをアルゴリズムＡＬに適用し、該アルゴリズムＡＬに従って、ワークモデルＷＭを、画像データＩＤ３に写るワーク特徴ＷＰと照合する。その結果、プロセッサ３０は、画像データＩＤ３における検出位置ＤＰＩＤ３を、センサ座標系Ｃ３の座標として取得する。
　次いで、プロセッサ３０は、取得した検出位置ＤＰＩＤ３をロボット座標系Ｃ１（又は、ツール座標系Ｃ２）に変換することで、撮像されたワークＷのロボット座標系Ｃ１（又は、ツール座標系Ｃ２）における位置データＰＤを取得する。次いで、プロセッサ３０は、取得した位置データＰＤに基づいて、ロボット１２を制御するための動作指令ＣＭを生成し、該動作指令ＣＭに従って各サーボモータ２９を制御することで、位置データＰＤを取得したワークＷをエンドエフェクタ２８で把持して取り上げるワークハンドリング作業をロボット１２に実行させる。
　このように、本実施形態においては、プロセッサ３０は、動作指令ＣＭを生成する指令生成部６２として機能する。調整後のパラメータＰＭｎを用いることによって、正確な検出位置ＤＰＩＤ３（すなわち、位置データＰＤ）を検出できることから、プロセッサ３０は、ロボット１２にワークハンドリング作業を高精度に実行させることができる。
　次に、図９を参照して、上述のステップＳ４（すなわち、マッチング位置を取得するプロセス）の他の例について説明する。なお、図９に示すフローにおいて、図５に示すフローと同様のプロセスには同じステップ番号を付し、重複する説明を省略する。図９に示すステップＳ４においては、プロセッサ３０は、ステップＳ１１の後、ステップＳ３１及びＳ３２を実行する。
　具体的には、ステップＳ３１において、プロセッサ３０は、ワークモデルＷＭを画像データＩＤ２から削除するための入力データＩＰ３（第２の入力データ）、又は、さらなるワークモデルＷＭを画像データＩＤ２に追加するための入力データＩＰ４（第２の入力データ）を受け付けたか否かを判定する。
　ここで、上述のステップＳ１１において、プロセッサ３０が、ワークモデルＷＭを不適切な位置に誤って表示してしまう場合がある。図１０に、ワークモデルＷＭが不適切な位置に表示されている画像データＩＤ２の例を示す。図１０に示す画像データＩＤ２においては、ワークＷとは別の部材の特徴Ｆが写り込んでいる。
　プロセッサ３０は、パラメータＰＭ１を用いて検出位置ＤＰ１を求めたときに、特徴ＦをワークＷのワーク特徴ＷＰと誤認し、特徴Ｆに対応する検出位置ＤＰ１を求めてしまう場合がある。このような場合、オペレータは、画像データＩＤ２から、特徴Ｆに対応する位置に表示されたワークモデルＷＭを削除する必要がある。
　一方、上述のステップＳ１１において、プロセッサ３０が、画像データＩＤ２に写るワーク特徴ＷＰを認識できずに、ワークモデルＷＭを表示し損ねてしまう場合がある。このような例を図１１に示す。図１１に示す画像データＩＤ２においては、計３個のワーク特徴ＷＰのうち、右上のワーク特徴ＷＰに対応するワークモデルＷＭが表示されていない。このような場合、オペレータは、画像データＩＤ２にワークモデルＷＭを追加する必要がある。
　そこで、本実施形態においては、プロセッサ３０は、ワークモデルＷＭを画像データＩＤ２から削除するための入力データＩＰ３、及び、さらなるワークモデルＷＭを画像データＩＤ２に追加するための入力データＩＰ４を受け付けるように構成されている。具体的には、ステップＳ１１で図１０に示す画像データＩＤ２が表示された場合、オペレータは、該画像データＩＤ２を視認しつつ入力装置４０を操作して、削除すべきワークモデルＷＭを指定する入力データＩＰ３を入力する。
　また、ステップＳ１１で図１１に示す画像データＩＤ２が表示された場合、オペレータは、該画像データＩＤ２を視認しつつ入力装置４０を操作して、追加すべきワークモデルＷＭの画像データＩＤ２（センサ座標系Ｃ３）における位置（例えば、座標）を指定する入力データＩＰ４を入力する。
　プロセッサ３０は、このステップＳ３１において、Ｉ／Ｏインターフェース３４を通して入力装置４０から入力データＩＰ３又はＩＰ４を受け付けるとＹＥＳと判定し、ステップＳ３２へ進む。一方、入力装置４０から入力データＩＰ３又はＩＰ４を受け付けていない場合はＮＯと判定し、ステップＳ１２へ進む。
　ステップＳ３２において、プロセッサ３０は、画像生成部５２として機能し、受け付けた入力データＩＰ３又はＩＰ４に従って、表示したワークモデルＷＭを画像データＩＤ２から削除するか、又は、さらなるワークモデルＷＭを画像データＩＤ２に追加で表示する。例えば、入力データＩＰ３を受け付けたとき、プロセッサ３０は、図１０に示す画像データＩＤ２から、特徴Ｆに対応する位置に表示されたワークモデルＷＭを削除する。その結果、図１２に示すように画像データＩＤ２が更新される。
　一方、入力データＩＰ４を受け付けたとき、プロセッサ３０は、図１１に示す画像データＩＤ２において、入力データＩＰ４によって指定された位置にワークモデルＷＭを追加で表示する。その結果、図６に示すように、全てのワーク特徴ＷＰに対応するように計３個のワークモデルＷＭが画像データＩＤ２に表示されることになる。
　ステップＳ３２の後、プロセッサ３０は、図５のフローと同様にステップＳ１２～Ｓ１５を実行する。なお、図９に示すフローでは、プロセッサ３０は、ステップＳ１４でＮＯと判定した場合、ステップＳ３１へ戻る。以上のように、本実施形態によれば、オペレータは、ステップＳ１１で表示された画像データＩＤ２において、必要に応じてワークモデルＷＭを削除又は追加することができる。
　なお、図９中のステップＳ１１において、プロセッサ３０は、画像データＩＤ２においてランダムに決定した位置にワークモデルＷＭを表示してもよい。プロセッサ３０が、ワークモデルＷＭを画像データＩＤ２にランダムに表示した例を、図１３に示す。この場合において、プロセッサ３０は、画像データＩＤ２に配置するワークモデルＷＭの個数をランダムに決定してもよいし、又は、オペレータが該個数を予め定めてもよい。
　代替的には、図９中のステップＳ１１において、プロセッサ３０は、画像データＩＤ２において、予め定めた規則に従って決定した位置にワークモデルＷＭを表示してもよい。例えば、この規則は、ワークモデルＷＭを画像データＩＤ２において等間隔で格子状に配置する規則として、定められ得る。プロセッサ３０が、等間隔で格子状に配置するという規則に従ってワークモデルＷＭを画像データＩＤ２に表示した例を、図１４に示す。
　プロセッサ３０がステップＳ１１でワークモデルＷＭをランダム又は所定の規則に従って配置した後、オペレータは、ステップＳ３１において入力装置４０に入力データＩＰ３又はＩＰ４を入力することで、画像データＩＤ２に表示されたワークモデルＷＭを、必要に応じて削除又は追加することができる。
　次に、図１５を参照して、上述のステップＳ４（マッチング位置を取得するプロセス）のさらに他の例について説明する。図１５に示すステップＳ４においては、プロセッサ３０は、ステップＳ１１の後、ステップＳ４１及びＳ４２を実行する。ステップＳ４１において、プロセッサ３０は、画像データＩＤ２において、削除対象とする条件Ｇ１を満たしているワークモデルＷＭかあるか否かを判定する。
　具体的には、プロセッサ３０は、画像データＩＤ２に写るワークモデルＷＭの各々について、該ワークモデルＷＭの占有領域内に存在する、ワーク特徴ＷＰを構成する３次元点群の点（又は、ワーク特徴ＷＰを写す画素）の数Ｎを算出する。そして、プロセッサ３０は、このステップＳ４１において、ワークモデルＷＭの各々について、算出した数Ｎが予め定めた閾値Ｎｔｈ以下である（Ｎ≦Ｎｔｈ）か否かを判定し、Ｎ≦Ｎｔｈであると判定されたワークモデルＷＭがある場合に、該ワークモデルＷＭを削除対象として特定し、ＹＥＳと判定する。すなわち、本実施形態においては、条件Ｇ１は、数Ｎが閾値Ｎｔｈ以下であることとして、定められている。
　例えば、プロセッサ３０がステップＳ１１で図１４に示す画像データＩＤ２を生成したとする。この場合、画像データＩＤ２に写るワークモデルＷＭのうち、上列の左側から２番目及び４番目のワークモデルＷＭと、下列の左側から１番目、３番目及び４番目のワークモデルＷＭとに関し、その専有領域内に存在するワーク特徴ＷＰの点（画素）が少なくなっている。したがって、この場合、プロセッサ３０は、ステップＳ１１において、これら計５個のワークモデルＷＭを削除対象として特定し、ＹＥＳと判定することになる。
　ステップＳ４２において、プロセッサ３０は、画像生成部５２として機能し、ステップＳ４１で削除対象として特定したワークモデルＷＭを画像データＩＤ２から自動で削除する。図１４に示す例の場合、プロセッサ３０は、削除対象として特定された上述の計５個のワークモデルＷＭを、画像データＩＤ２から自動で削除する。図１６に、これら５個のワークモデルＷＭが削除された画像データＩＤ２の例を示す。このように、本実施形態においては、プロセッサ３０は、予め定めた条件Ｇ１に従って、表示したワークモデルＷＭを画像データＩＤ２から自動で削除する。
　代替的には、プロセッサ３０は、ステップＳ４１において、画像データＩＤ２においてワークモデルＷＭを追加する条件Ｇ２を満たしているか否かを判定してもよい。例えば、プロセッサ３０が、ステップＳ１１で図１１に示す画像データＩＤ２を生成したとする。プロセッサ３０は、各々のワーク特徴ＷＰについて、ワークモデルＷＭの専有領域に含まれる点（又は、画素）を有しているか否かを判定する。
　そして、プロセッサ３０は、ワークモデルＷＭの専有領域に含まれる点（画素）を有さないワーク特徴ＷＰがある場合に、該ワーク特徴ＷＰをモデル追加対象として特定し、ＹＥＳと判定する。すなわち、本実施形態においては、条件Ｇ２は、ワークモデルＷＭの専有領域に含まれる点（画素）を有さないワーク特徴ＷＰが存在することとして、定められている。例えば図１１に示す例の場合、プロセッサ３０は、このステップＳ４１において、画像データＩＤ２の右上に示されたワーク特徴ＷＰをモデル追加対象として特定し、ＹＥＳと判定することになる。
　そして、ステップＳ４２において、プロセッサ３０は、画像生成部５２として機能し、ステップＳ４１でモデル追加対象として特定したワーク特徴ＷＰに対応する位置に、ワークモデルＷＭを画像データＩＤ２に自動で追加する。その結果、例えば図６に示すようにワークモデルＷＭが追加される。
　このように、本実施形態においては、プロセッサ３０は、予め定めた条件Ｇ２に従って、ワークモデルＷＭを画像データＩＤ２に追加で表示する。図１５に示すフローによれば、プロセッサ３０は、条件Ｇ１又はＧ２に従ってワークモデルＷＭを自動で削除又は追加することができるので、オペレータの作業を低減できる。
　次に、図１７及び図１８を参照して、ロボットシステム１０の他の機能について説明する。本実施形態においては、プロセッサ３０は、まず、図１７に示す画像取得プロセスを実行する。ステップＳ５１において、プロセッサ３０は、視覚センサ１４が撮像する画像データＩＤ１_ｉを識別する番号「ｉ」を「１」にセットする。
　ステップＳ５２において、プロセッサ３０は、撮像開始指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して撮像開始指令を入力する。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から撮像開始指令を受け付けるとＹＥＳと判定し、ステップＳ５３へ進む。一方、プロセッサ３０は、撮像開始指令を受け付けていない場合はＮＯと判定し、ステップＳ５６へ進む。
　ステップＳ５３において、プロセッサ３０は、上述のステップＳ２と同様に、視覚センサ１４によってワークＷを撮像する。その結果、視覚センサ１４は、第ｉ番目の画像データＩＤ１_ｉを撮像し、プロセッサ３０に供給する。ステップＳ５４において、プロセッサ３０は、直近のステップＳ５３で取得した第ｉ番目の画像データＩＤ１_ｉを、識別番号「ｉ」とともにメモリ３２に記憶する。ステップＳ５５において、プロセッサ３０は、識別番号「ｉ」を「１」だけインクリメントする（ｉ＝ｉ＋１）。
　ステップＳ５６において、プロセッサ３０は、撮像終了指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して撮像終了指令を入力する。プロセッサ３０は、撮像終了指令を受け付けるとＹＥＳと判定し、図１７に示すフローを終了する。一方、プロセッサ３０は、撮像終了指令を受け付けていない場合はＮＯと判定し、ステップＳ５２へ戻る。
　例えば、オペレータは、ステップＳ５５の終了後、撮像終了指令を入力せずに、図１に示す容器Ｂ内のワークＷの配置を変化させる。次いで、オペレータは、入力装置４０を操作して撮像開始指令を入力する。そうすると、プロセッサ３０は、ステップＳ５２でＹＥＳと判定し、容器Ｂ内の配置が変化した後のワークＷに対してステップＳ５３～Ｓ５５を実行し、第ｉ＋１番目の画像データＩＤ１_ｉ＋１を取得する。
　図１７に示すフローの終了後、プロセッサ３０は、図１８に示すフローを実行する。なお、図１８に示すフローにおいて、図３及び図１７に示すフローと同様のプロセスには同じステップ番号を付し、重複する説明を省略する。プロセッサ３０は、ステップＳ１でＹＥＳと判定した場合はステップＳ５１へ進む一方、ＮＯと判定した場合はステップＳ６に進む。
　そして、プロセッサ３０は、ステップＳ６においてＹＥＳと判定した場合は、図１８に示すフローを終了する一方、ＮＯと判定した場合は、ステップＳ１へ戻る。ステップＳ５１において、プロセッサ３０は、画像データＩＤ１_ｉの識別番号「ｉ」を「１」にセットする。
　ステップＳ６２において、プロセッサ３０は、ワーク特徴ＷＰが表示された画像データＩＤ２_ｉを生成する。具体的には、プロセッサ３０は、識別番号「ｉ」で識別される第ｉ番目の画像データＩＤ１_ｉをメモリ３２から読み出す。そして、プロセッサ３０は、第ｉ番目の画像データＩＤ１_ｉを基に、第ｉ番目の画像データＩＤ１_ｉに写るワーク特徴ＷＰをオペレータが視認可能なＧＵＩとして、例えば図４に示すような第ｉ番目の画像データＩＤ２_ｉを生成する。
　ステップＳ６２の後、プロセッサ３０は、第ｉ番目の画像データＩＤ２_ｉを用いて上述のステップＳ４及びＳ５を順次実行し、第ｉ番目の画像データＩＤ２_ｉに関して最適化するようにパラメータＰＭｎを調整する。次いで、プロセッサ３０は、ステップＳ５５を実行し、識別番号「ｉ」を「１」だけインクリメントする（ｉ＝ｉ＋１）。
　ステップＳ６４において、プロセッサ３０は、識別番号「ｉ」が、最大値ｉＭＡＸを超えた（ｉ＞ｉＭＡＸ）か否かを判定する。この最大値ｉＭＡＸは、図１７のフローでプロセッサ３０が取得した画像データＩＤ１_ｉの総数である。プロセッサ３０は、ステップＳ６４において、ｉ＞ｉＭＡＸである場合はＹＥＳと判定し、図１８に示すフローを終了する一方、ｉ≦ｉＭＡＸである場合はＮＯと判定し、ステップＳ６２へ戻る。こうして、プロセッサ３０は、ステップＳ６４でＹＥＳと判定するまで、ステップＳ６２、Ｓ４、Ｓ５、Ｓ５５及びＳ６４のループを繰り返し実行し、全ての画像データＩＤ２_ｉ（ｉ＝１，２，３，・・・ｉＭＡＸ）に関してパラメータＰＭｎを調整する。
　以上のように、本実施形態においては、図１７に示すフローによって、様々な位置に配置したワークＷの画像データＩＤ１_ｉを複数蓄積し、その後に、図１８に示すフローにおいて、蓄積した複数の画像データＩＤ１_ｉを用いてパラメータＰＭを調整している。この構成によれば、様々な位置に配置したワークＷについてパラメータＰＭを最適化することができる。
　なお、図１７に示すフローにおいて、プロセッサ３０は、ステップＳ５２を省略し、且つ、ステップＳ５６の代わりに上述のステップＳ６４を実行し、識別番号「ｉ」が最大値ｉＭＡＸを超えた（ｉ＞ｉＭＡＸ）か否かを判定してもよい。このときのステップＳ６４で用いられる閾値ｉＭＡＸは、２以上の整数としてオペレータによって予め定められる。
　そして、プロセッサ３０は、このステップＳ６４でＹＥＳと判定した場合は、図１７のフローを終了する方、ＮＯと判定した場合はステップＳ５３へ戻る。ここで、プロセッサ３０は、このような図１７のフローの変形例において、ステップＳ５３を実行する毎に、視覚センサ１４の位置（具体的には、位置及び姿勢）を変更して、ワークＷを異なる位置及び視線方向Ａ２から撮像してもよい。この変形例によれば、オペレータが手動でワークＷの配置を変えなくとも、様々な配置のワークＷを撮像した画像データＩＤ１_ｉを自動で取得し、蓄積することができる。
　なお、プロセッサ３０は、メモリ３２に予め格納されたコンピュータプログラムに従って、図３、図１７及び図１８に示すフローを実行してもよい。このコンピュータプログラムは、図３、図１７及び図１８に示すフローをプロセッサ３０に実行させるための命令文を含み、メモリ３２に予め格納される。
　上述の実施形態においては、プロセッサ３０が、実機のロボット１２及び視覚センサ１４によって、実物のワークＷの画像データＩＤ１を取得する場合について述べた。しかしながら、プロセッサ３０は、視覚センサ１４をモデル化した視覚センサモデル１４ＭによってワークモデルＷＭを仮想的に撮像することによって、画像データＩＤ１を取得してもよい。
　この場合において、プロセッサ３０は、仮想空間内に、ロボット１２をモデル化したロボットモデル１２Ｍと、該ロボットモデル１２Ｍのエンドエフェクタモデル２８Ｍに固定した視覚センサモデル１４Ｍとを配置し、ロボットモデル１２Ｍ及び視覚センサモデル１４Ｍを仮想空間内で模擬的に動作させて、図３、図１７及び図１８に示すフローを実行してもよい（すなわち、シミュレーション）。この構成によれば、実機のロボット１２及び視覚センサ１４を用いることなく、いわゆるオフライン動作によってパラメータＰＭを調整することができる。
　なお、上述の装置５０から入力受付部５６を省略することもできる。この場合において、プロセッサ３０は、図５のステップＳ１２～Ｓ１４を省略し、ステップＳ１１で生成した画像データＩＤ２からマッチング位置ＭＰを自動で取得してもよい。例えば、画像データＩＤに写るワーク特徴ＷＰとマッチング位置ＭＰとの相関性を示す学習モデルＬＭがメモリ３２に予め格納されてもよい。
　この学習モデルＬＭは、例えば、少なくとも１つのワーク特徴ＷＰが写る画像データＩＤと、該画像データＩＤにおけるマッチング位置ＭＰのデータとの学習データセットを、機械学習装置に反復して与えることによって（例えば、教師あり学習）、構築することができる。プロセッサ３０は、ステップＳ１１で生成した画像データＩＤ２を学習モデルＬＭに入力する。そうすると、学習モデルＬＭは、入力された画像データＩＤ２に写るワーク特徴ＷＰに対応するマッチング位置ＭＰを出力する。こうして、プロセッサ３０は、画像データＩＤ２からマッチング位置ＭＰを自動で取得できる。なお、プロセッサ３０は、この機械学習装置の機能を実行するように構成されてもよい。
　なお、上述の実施形態においては、画像データＩＤ２において、ワーク特徴ＷＰが３次元点群から構成される場合について述べた。しかしながら、これに限らず、プロセッサ３０は、ステップＳ３において、ワーク特徴ＷＰを写す各画素の色又は色調（濃淡）が上述の距離ｄに応じて変化するように表された距離画像として、画像データＩＤ２を生成してもよい。
　また、プロセッサ３０は、ステップＳ３において、画像データＩＤ２を新たに生成することなく、視覚センサ１４から取得した画像データＩＤ１を、表示装置３８に表示するための画像データとして生成し、表示装置３８に表示させてもよい。そして、プロセッサ３０は、画像データＩＤ１を用いてステップＳ３及びＳ４を実行してもよい。
　また、上述の装置５０から画像生成部５２を省略し、該画像生成部５２の機能を外部機器（例えば、視覚センサ１４、又はＰＣ）に求めることもできる。例えば、プロセッサ３０は、視覚センサ１４が撮像した画像データＩＤ１を、何ら変更を加えずに元のデータ形式として用いて、パラメータＰＭを調整してもよい。この場合、視覚センサ１４が画像生成部５２の機能を担うことになる。
　視覚センサ１４は、３次元視覚センサに限らず、２次元カメラであってもよい。この場合において、プロセッサ３０は、２次元の画像データＩＤ１を基に、２次元の画像データＩＤ２を生成し、ステップＳ３及びＳ４を実行してもよい。この場合、センサ座標系Ｃ３は、２次元の座標系（ｘ，ｙ）となる。
　上述の実施形態においては、装置５０が制御装置１６に実装される場合について述べた。しかしながら、これに限らず、装置５０は、制御装置１６とは別のコンピュータ（例えば、デスクトップ型ＰＣ、タブレット端末装置若しくはスマートフォン等のモバイル電子機器、又は、ロボット１２を教示するための教示装置）に実装されてもよい。この場合、該別のコンピュータは、装置５０として機能するプロセッサを有し、制御装置１６のＩ／Ｏインターフェース３４に通信可能に接続されてもよい。
　なお、上述のエンドエフェクタ２８は、ロボットハンドに限らず、ワークに対する作業を行う如何なる装置（レーザ加工ヘッド、溶接トーチ、塗料塗布器等）であってもよい。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。
　１０　　ロボットシステム
　１２　　ロボット
　１４　　視覚センサ
　１６　　制御装置
　３０　　プロセッサ
　５０　　装置
　５２　　画像生成部
　５４　　位置検出部
　５６　　入力受付部
　５８　　マッチング位置取得部
　６０　　パラメータ調整部
　６２　　指令生成部

Claims (11)

  1. 　視覚センサが撮像したワークのワーク特徴が表示された画像データにおいて前記ワークをモデル化したワークモデルを前記ワーク特徴と照合するためのパラメータを用いて、前記画像データにおける前記ワークの位置を検出位置として求める位置検出部と、
    　前記画像データにおいて前記ワークモデルを前記ワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得するマッチング位置取得部と、
    　前記位置検出部が前記検出位置を、前記マッチング位置に対応する位置として求めるのを可能とするように、前記検出位置と前記マッチング位置との差を表すデータに基づいて前記パラメータを調整するパラメータ調整部と、を備える、装置。
  2. 　前記画像データを生成する画像生成部をさらに備える、請求項１に記載の装置。
  3. 　前記画像生成部は、前記画像データに前記ワークモデルをさらに表示し、
    　前記装置は、前記画像データにおいて前記ワークモデルの位置を変位させるための第１の入力データを受け付ける入力受付部をさらに備え、
    　前記マッチング位置取得部は、前記画像生成部が前記第１の入力データに応じて前記画像データに表示された前記ワークモデルの位置を変位させて該ワークモデルを前記ワーク特徴に一致するように配置したときに、前記マッチング位置を取得する、請求項２に記載の装置。
  4. 　前記画像生成部は、
    　　前記位置検出部が取得した前記検出位置に前記ワークモデルを表示するか、
    　　前記画像データにおいてランダムに決定した位置に前記ワークモデルを表示するか、又は、
    　　前記画像データにおいて予め定めた規則に従って決定した位置に前記ワークモデルを表示する、請求項３に記載の装置。
  5. 　前記入力受付部は、さらに、前記ワークモデルを前記画像データから削除するか、又は、第２の前記ワークモデルを前記画像データに追加するための第２の入力データを受け付け、
    　前記画像生成部は、前記第２の入力データに従って、表示した前記ワークモデルを前記画像データから削除し、又は、前記第２のワークモデルを前記画像データに追加で表示する、請求項３又は４に記載の装置。
  6. 　前記画像生成部は、予め定めた条件に従って、表示した前記ワークモデルを前記画像データから削除するか、又は、第２の前記ワークモデルを前記画像データに追加で表示する、請求項３又は４に記載の装置。
  7. 　前記パラメータ調整部は、
    　　前記差を表すデータに基づいて、前記差を小さくすることができる前記パラメータの変化量を決定し、
    　　決定した前記変化量だけ前記パラメータを変化させることによって、該パラメータを更新し、
    　　更新後の前記パラメータを用いて前記位置検出部が求めた前記検出位置と前記マッチング位置との差を表すデータを取得する、
    という、一連の動作を繰り返し実行することによって、前記パラメータを調整する、請求項１～６のいずれか１項に記載の装置。
  8. 　前記ワーク特徴は、前記視覚センサをモデル化した視覚センサモデルによって前記ワークモデルを仮想的に撮像することによって取得される、請求項１～７のいずれか１項に記載の装置。
  9. 　ワークを撮像する視覚センサと、
    　前記ワークに対する作業を実行するロボットと、
    　前記視覚センサが撮像した画像データに基づいて、前記ロボットを動作させるための動作指令を生成する指令生成部と、
    　請求項１～８のいずれか１項に記載の装置と、を備え、
    　前記位置検出部は、前記パラメータ調整部によって調整された前記パラメータを用いて、前記視覚センサが撮像した前記画像データにおける前記ワークの位置を検出位置として取得し、
    　前記指令生成部は、
    　　前記位置検出部が前記調整されたパラメータを用いて取得した前記検出位置に基づいて、前記ロボットを制御するための制御座標系における前記ワークの位置データを取得し、
    　　前記位置データに基づいて、前記動作指令を生成する、ロボットシステム。
  10. 　プロセッサが、
    　　視覚センサが撮像したワークのワーク特徴が表示された画像データにおいて前記ワークをモデル化したワークモデルを前記ワーク特徴と照合するためのパラメータを用いて、前記画像データにおける前記ワークの位置を検出位置として求め、
    　　前記画像データにおいて前記ワークモデルを前記ワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得し、
    　　前記検出位置を、前記マッチング位置に対応する位置として求めるのを可能とするように、前記検出位置と前記マッチング位置との差を表すデータに基づいて前記パラメータを調整する、方法。
  11. 　請求項１０に記載の方法を前記プロセッサに実行させるコンピュータプログラム。
PCT/JP2021/041616 2020-11-18 2021-11-11 パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム WO2022107684A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/252,189 US20230405850A1 (en) 2020-11-18 2021-11-11 Device for adjusting parameter, robot system, method, and computer program
DE112021004779.5T DE112021004779T5 (de) 2020-11-18 2021-11-11 Vorrichtung zum Einstellen eines Parameters, Robotersystem, Verfahren und Computerprogramm
CN202180075789.5A CN116472551A (zh) 2020-11-18 2021-11-11 调整参数的装置、机器人系统、方法以及计算机程序
JP2022563719A JPWO2022107684A1 (ja) 2020-11-18 2021-11-11

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-191918 2020-11-18
JP2020191918 2020-11-18

Publications (1)

Publication Number Publication Date
WO2022107684A1 true WO2022107684A1 (ja) 2022-05-27

Family

ID=81708874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041616 WO2022107684A1 (ja) 2020-11-18 2021-11-11 パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US20230405850A1 (ja)
JP (1) JPWO2022107684A1 (ja)
CN (1) CN116472551A (ja)
DE (1) DE112021004779T5 (ja)
TW (1) TW202235239A (ja)
WO (1) WO2022107684A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248353A1 (ja) * 2022-06-21 2023-12-28 ファナック株式会社 ワークの位置データを取得する装置、制御装置、ロボットシステム、方法、及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02210584A (ja) * 1989-02-10 1990-08-21 Fanuc Ltd 視覚センサにおける画像処理用教示データ設定方法及び視覚センサ
JP2010210586A (ja) * 2009-03-12 2010-09-24 Omron Corp ３次元計測処理のパラメータの導出方法および３次元視覚センサ
JP2020082274A (ja) * 2018-11-26 2020-06-04 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
WO2020255229A1 (ja) * 2019-06-17 2020-12-24 オムロン株式会社 計測装置、計測方法、及び計測プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02210584A (ja) * 1989-02-10 1990-08-21 Fanuc Ltd 視覚センサにおける画像処理用教示データ設定方法及び視覚センサ
JP2010210586A (ja) * 2009-03-12 2010-09-24 Omron Corp ３次元計測処理のパラメータの導出方法および３次元視覚センサ
JP2020082274A (ja) * 2018-11-26 2020-06-04 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
WO2020255229A1 (ja) * 2019-06-17 2020-12-24 オムロン株式会社 計測装置、計測方法、及び計測プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248353A1 (ja) * 2022-06-21 2023-12-28 ファナック株式会社 ワークの位置データを取得する装置、制御装置、ロボットシステム、方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
CN116472551A (zh) 2023-07-21
TW202235239A (zh) 2022-09-16
JPWO2022107684A1 (ja) 2022-05-27
US20230405850A1 (en) 2023-12-21
DE112021004779T5 (de) 2023-07-06

Similar Documents

Publication Publication Date Title
US11117262B2 (en) Intelligent robots
CN111482959B (zh) 机器人运动视觉系统的自动手眼标定系统与方法
KR102023588B1 (ko) 로봇 파지용 심층 기계 학습 방법 및 장치
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
JP5835926B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US9884425B2 (en) Robot, robot control device, and robotic system
JP2018111165A (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
US11833697B2 (en) Method of programming an industrial robot
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2013215866A (ja) ロボットシステム、ロボットシステムのキャリブレーション方法、キャリブレーション装置およびデジタルカメラ
JP2020012669A (ja) 物体検査装置、物体検査システム、及び検査位置を調整する方法
WO2022107684A1 (ja) パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム
US20220395981A1 (en) System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system
CN115446847A (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
JP2018122376A (ja) 画像処理装置、ロボット制御装置、及びロボット
WO2023102647A1 (en) Method for automated 3d part localization and adjustment of robot end-effectors
US11559888B2 (en) Annotation device
WO2022092168A1 (ja) ロボット制御装置及びロボットシステム
KR102430282B1 (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
JP2020091126A (ja) 計測装置、システム、表示方法及びプログラム
CN115972192A (zh) 具有可变空间分辨率的3d计算机视觉系统
KR20220067719A (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
CN112643718A (zh) 图像处理设备及其控制方法和存储其控制程序的存储介质
Xu et al. A fast and straightforward hand-eye calibration method using stereo camera
WO2021200743A1 (ja) ロボットの教示位置を修正するための装置、教示装置、ロボットシステム、教示位置修正方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894558

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563719

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18252189

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180075789.5

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21894558

Country of ref document: EP

Kind code of ref document: A1