JP6964827B1 - Control devices, robot systems and control methods - Google Patents

Control devices, robot systems and control methods Download PDF

Info

Publication number
JP6964827B1
JP6964827B1 JP2021527101A JP2021527101A JP6964827B1 JP 6964827 B1 JP6964827 B1 JP 6964827B1 JP 2021527101 A JP2021527101 A JP 2021527101A JP 2021527101 A JP2021527101 A JP 2021527101A JP 6964827 B1 JP6964827 B1 JP 6964827B1
Authority
JP
Japan
Prior art keywords
image
unit
captured
fpc
end portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021527101A
Other languages
Japanese (ja)
Other versions
JPWO2022153345A1 (en
Inventor
沙織 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6964827B1 publication Critical patent/JP6964827B1/en
Publication of JPWO2022153345A1 publication Critical patent/JPWO2022153345A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

制御装置（２）は、ＦＰＣ（６）におけるロボットハンド（４）に把持させる端部（７）が少なくとも撮像された撮像画像を取得する画像取得部（２１）と、撮像画像を入力として、マスク画像（５Ｃ）を出力する学習済みモデルを用いて、マスク画像（５Ｃ）を生成するマスク画像生成部（２２）と、マスク画像（５Ｃ）から端部（７）の特徴点を抽出する特徴点抽出部（２３）と、マスク画像（５Ｃ）ごとの端部（７）の特徴点を用いて、ロボットハンド（４）を端部（７）に近づけるためのロボットアーム（３）の制御量を算出する制御量算出部（２４）と、制御量算出部（２４）によって算出された制御量に基づいてロボットアーム（３）を制御する制御部（２５）を備える。The control device (2) has an image acquisition unit (21) for acquiring at least an image captured by the end portion (7) held by the robot hand (4) in the FPC (6), and a mask using the captured image as input. Using the trained model that outputs the image (5C), the mask image generation unit (22) that generates the mask image (5C) and the feature points that extract the feature points of the end portion (7) from the mask image (5C). Using the feature points of the extraction unit (23) and the end portion (7) of each mask image (5C), the control amount of the robot arm (3) for bringing the robot hand (4) closer to the end portion (7) can be controlled. It includes a control amount calculation unit (24) to be calculated, and a control unit (25) that controls the robot arm (3) based on the control amount calculated by the control amount calculation unit (24).

Description

本開示は、制御装置、ロボットシステムおよび制御方法に関する。 The present disclosure relates to control devices, robot systems and control methods.

フレキシブルフラットケーブル（ＦＦＣ）またはフレキシブルプリント基板（ＦＰＣ）といった可撓性のある長尺部材は、曲がりまたは捻れの変形により長手方向の端部の位置および姿勢が大きく変化する。このため、ロボットを用いて、長尺部材の端部に設けられたコネクタを基板側のコネクタに接続する作業を自動化する場合、コネクタが設けられた長尺部材の端部を、ロボットハンドで正確に把持する必要がある。 Flexible long members, such as flexible flat cables (FFCs) or flexible printed substrates (FPCs), undergo significant changes in longitudinal end position and orientation due to bending or twisting deformation. Therefore, when using a robot to automate the work of connecting the connector provided at the end of the long member to the connector on the board side, the end of the long member provided with the connector can be accurately pressed with the robot hand. Need to be gripped.

ロボットハンドに長尺部材の目標位置を正確に把持させる従来の技術として、例えば、特許文献１に記載されたロボットシステムがある。当該ロボットシステムは、視覚センサにロボットハンドと把持目標位置を撮像させ、撮像結果を用いて算出したロボットハンドの位置と把持目標位置の誤差に基づき、ロボットハンドが把持目標位置に近接するようにロボットアームを動作させる。 As a conventional technique for causing a robot hand to accurately grasp a target position of a long member, for example, there is a robot system described in Patent Document 1. The robot system causes a visual sensor to image the robot hand and the gripping target position, and based on the error between the robot hand position and the gripping target position calculated using the imaging result, the robot so that the robot hand approaches the gripping target position. Operate the arm.

特開２０１５−３００８６号公報JP-A-2015-30086

しかしながら、長尺部材が光沢を有する場合、視覚センサによって撮像された撮像画像に、長尺部材の表面における光の反射による白飛びが発生することがある。特許文献１に記載されたロボットシステムでは、撮像画像に発生した白飛びによってロボットハンドの位置と把持目標位置との誤差を正確に算出することができなかった場合、ロボットハンドを把持目標位置に位置合わせするロボットアームの制御ができないという課題があった。 However, when the long member has gloss, whiteout may occur in the captured image captured by the visual sensor due to the reflection of light on the surface of the long member. In the robot system described in Patent Document 1, when the error between the position of the robot hand and the gripping target position cannot be accurately calculated due to the whiteout generated in the captured image, the robot hand is positioned at the gripping target position. There was a problem that the robot arm to be matched could not be controlled.

本開示は上記課題を解決するものであり、作業対象部材におけるロボットハンドに把持させる把持対象部分が撮像された撮像画像に白飛びが発生しても、ロボットアームを制御することができる制御装置、ロボットシステムおよび制御方法を得ることを目的とする。 The present disclosure solves the above-mentioned problems, and is a control device capable of controlling the robot arm even if overexposure occurs in the captured image captured by the gripping target portion to be gripped by the robot hand in the work target member. The purpose is to obtain robot systems and control methods.

本開示に係る制御装置は、ロボットハンドが装着されたロボットアームを制御する制御装置であって、長尺部材におけるロボットハンドに把持させる把持対象部分が少なくとも撮像された撮像画像を取得する画像取得部と、長尺部材の全体が撮像された撮像画像を取得する全体画像取得部と、全体画像取得部によって取得された撮像画像に細線化を施すことにより、長尺部材が細線化された細線化画像を生成する細線化部と、細線化画像から長尺部材の端部を検出する端部検出部と、長尺部材の端部の検出情報に基づいてロボットアームを移動させ、画像取得部によって取得された撮像画像に基づいてロボットアームを制御する制御部と、を備えた。 The control device according to the present disclosure is a control device that controls a robot arm to which a robot hand is attached, and is an image acquisition unit that acquires an image captured at least by a gripping target portion to be gripped by the robot hand in a long member. By thinning the whole image acquisition unit that acquires the captured image of the entire long member and the image captured by the overall image acquisition unit , the long member is thinned. The thinning unit that generates an image, the end detection unit that detects the end of the long member from the thinned image, and the robot arm that is moved based on the detection information of the end of the long member, and the image acquisition unit It is provided with a control unit that controls the robot arm based on the acquired captured image .

本開示によれば、作業対象部材におけるロボットハンドに把持させる把持対象部分が撮像された撮像画像を入力として、把持対象部分の特徴点を抽出するためのマスク画像を出力する学習済みモデルを用いて、マスク画像を生成し、マスク画像ごとの把持対象部分の特徴点を用いてロボットアームの制御量を算出し、算出した制御量に基づいてロボットアームを制御する。これにより、本開示に係る制御装置は、作業対象部材におけるロボットハンドに把持させる把持対象部分が撮像された撮像画像に白飛びが発生しても、ロボットハンドを作業対象部材の把持対象部分に位置合わせすることができる。 According to the present disclosure, a trained model is used in which a captured image obtained by capturing an image of a gripping target portion to be gripped by a robot hand in a work target member is input and a mask image for extracting feature points of the gripping target portion is output. , A mask image is generated, a control amount of the robot arm is calculated using the feature points of the gripping target portion for each mask image, and the robot arm is controlled based on the calculated control amount. As a result, the control device according to the present disclosure positions the robot hand at the grip target portion of the work target member even if the captured image of the grip target portion to be gripped by the robot hand in the work target member is overexposed. Can be matched.

実施の形態１に係るロボットシステムの構成例を示す構成図である。It is a block diagram which shows the structural example of the robot system which concerns on Embodiment 1. FIG. 実施の形態１に係る制御装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the control apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る制御方法を示すフローチャートである。It is a flowchart which shows the control method which concerns on Embodiment 1. FIG. 図４Ａは、ＦＰＣの端部が撮像された撮像画像を示す画像図であり、図４Ｂは、ノイズを付加した撮像画像を示す画像図であり、図４Ｃは、マスク画像を示す画像図である。FIG. 4A is an image diagram showing a captured image in which the end portion of the FPC is captured, FIG. 4B is an image diagram showing a captured image with noise added, and FIG. 4C is an image diagram showing a mask image. .. 図５Ａは、実施の形態１に係る制御装置の機能を実現するハードウェア構成を示すブロック図であり、図５Ｂは、実施の形態１に係る制御装置の機能を実現するソフトウェアを実行するハードウェ構成を示すブロック図である。FIG. 5A is a block diagram showing a hardware configuration for realizing the function of the control device according to the first embodiment, and FIG. 5B is a hardware configuration for executing software for realizing the function of the control device according to the first embodiment. It is a block diagram which shows. 実施の形態１に係る制御装置の変形例の構成を示すブロック図である。It is a block diagram which shows the structure of the modification of the control device which concerns on Embodiment 1. FIG. 実施の形態２に係るロボットシステムの構成例を示す構成図である。It is a block diagram which shows the structural example of the robot system which concerns on Embodiment 2. 実施の形態２に係る制御装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the control apparatus which concerns on Embodiment 2. FIG. 実施の形態２に係る制御方法を示すフローチャートである。It is a flowchart which shows the control method which concerns on Embodiment 2. 図１０Ａは、ＦＰＣの全体が撮像された撮像画像を示す画像図であり、図１０Ｂは、撮像画像が細線化された細線化画像を示す画像図であり、図１０Ｃは、複数のＦＰＣが映り込んだ細線化画像を示す画像図である。FIG. 10A is an image diagram showing a captured image in which the entire FPC is captured, FIG. 10B is an image diagram showing a thinned image in which the captured image is thinned, and FIG. 10C is an image diagram showing a plurality of FPCs. It is an image diagram which shows the intricate thin line image. 実施の形態２に係る制御方法の変形例を示すフローチャートである。It is a flowchart which shows the modification of the control method which concerns on Embodiment 2. 図１２Ａは、実施の形態２に係る制御装置の機能を実現するハードウェア構成を示すブロック図であり、図１２は、実施の形態２に係る制御装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。FIG. 12A is a block diagram showing a hardware configuration that realizes the function of the control device according to the second embodiment, and FIG. 12 is a hardware that executes software that realizes the function of the control device according to the second embodiment. It is a block diagram which shows the structure. 実施の形態３に係る制御装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the control apparatus which concerns on Embodiment 3. FIG. 実施の形態３に係る制御方法を示すフローチャートである。It is a flowchart which shows the control method which concerns on Embodiment 3. 実施の形態３に係る制御装置の変形例の構成を示すブロック図である。It is a block diagram which shows the structure of the modification of the control device which concerns on Embodiment 3.

実施の形態１．
図１は、実施の形態１に係るロボットシステム１の構成例を示す構成図である。図１において、ロボットシステム１は、制御装置２、ロボットアーム３、ロボットハンド４および単眼カメラ５を備える。ロボットシステム１は、単眼カメラ５によって撮影された作業対象部材の撮像画像を用いてロボットアーム３を制御し、ロボットアーム３に装着されたロボットハンド４が作業対象部材を把持する。Embodiment 1.
FIG. 1 is a configuration diagram showing a configuration example of the robot system 1 according to the first embodiment. In FIG. 1, the robot system 1 includes a control device 2, a robot arm 3, a robot hand 4, and a monocular camera 5. The robot system 1 controls the robot arm 3 by using the captured image of the work target member taken by the monocular camera 5, and the robot hand 4 attached to the robot arm 3 grips the work target member.

作業対象部材には、ロボットハンド４によって把持される把持対象部分が設定されている。また、作業対象部材は、例えば、可撓性を有する長尺部材である。長尺部材には、ＦＦＣまたはＦＰＣなどがある。以下の説明では、作業対象部材がＦＰＣ６であるものとする。また、把持対象部分は端部７であり、ＦＰＣ６における端部７とは反対側の端部が基板８に接続されている。 A gripping target portion to be gripped by the robot hand 4 is set in the work target member. Further, the work target member is, for example, a long member having flexibility. Long members include FFC, FPC, and the like. In the following description, it is assumed that the work target member is FPC6. Further, the gripping target portion is the end portion 7, and the end portion of the FPC 6 opposite to the end portion 7 is connected to the substrate 8.

制御装置２は、ロボットハンド４が装着されたロボットアーム３の位置を制御する装置である。ロボットアーム３は、制御装置２からの制御に従って、設定角度で各関節を回転させ、設定位置にアーム本体を移動させる。ロボットアーム３には、ＦＰＣ６を把持するためのロボットハンド４が装着されており、ロボットハンド４には、単眼カメラ５が装着されている。 The control device 2 is a device that controls the position of the robot arm 3 to which the robot hand 4 is mounted. The robot arm 3 rotates each joint at a set angle according to the control from the control device 2, and moves the arm body to the set position. A robot hand 4 for gripping the FPC 6 is attached to the robot arm 3, and a monocular camera 5 is attached to the robot hand 4.

単眼カメラ５は、作業台上に配置された作業対象部材であるＦＰＣ６を撮像する第１の撮像部であり、撮像画像を制御装置２に出力する。図１に示すように、単眼カメラ５は、ロボットハンド４の先端部が撮像範囲に収まる位置に装着されている。これにより、ロボットハンド４がＦＰＣ６の端部７の近傍に移動したときに、単眼カメラ５は、ＦＰＣ６の端部７を撮像することができる。また、ＦＰＣ６の長手方向の一方の端部は、基板８に接続されており、ＦＰＣ６の他方の端部である端部７は、ロボットハンド４に把持されて、図１において図示しない他の基板に接続される。 The monocular camera 5 is a first imaging unit that images the FPC 6 which is a work target member arranged on the work table, and outputs the captured image to the control device 2. As shown in FIG. 1, the monocular camera 5 is mounted at a position where the tip end portion of the robot hand 4 is within the imaging range. As a result, when the robot hand 4 moves in the vicinity of the end portion 7 of the FPC 6, the monocular camera 5 can take an image of the end portion 7 of the FPC 6. Further, one end of the FPC 6 in the longitudinal direction is connected to the substrate 8, and the other end 7 of the FPC 6 is gripped by the robot hand 4 and is not shown in FIG. Connected to.

図１において破線の囲みで示すように、３次元座標系におけるロボットハンド４およびＦＰＣ６の位置は、Ｘ座標、Ｙ座標およびＺ座標によって表される。ロボットハンド４に把持されたＦＰＣ６の端部７の姿勢を示すＡｘ、ＡｙおよびＡｚは、３次元座標系におけるロボットハンド４に対する端部７のロール角α、ヨー角βおよびピッチ角γによって表される。このようにＦＰＣ６の端部７の位置および姿勢は、（Ｘ，Ｙ，Ｚ，Ａｘ，Ａｙ，Ａｚ）で表され、ＦＰＣ６の端部７が撮像された撮像画像を画像解析することにより算出される。 As shown by the broken line in FIG. 1, the positions of the robot hand 4 and the FPC 6 in the three-dimensional coordinate system are represented by the X coordinate, the Y coordinate, and the Z coordinate. Ax, Ay, and Az indicating the posture of the end 7 of the FPC 6 gripped by the robot hand 4 are represented by the roll angle α, yaw angle β, and pitch angle γ of the end 7 with respect to the robot hand 4 in the three-dimensional coordinate system. NS. In this way, the position and orientation of the end portion 7 of the FPC 6 are represented by (X, Y, Z, Ax, Ay, Az), and are calculated by image analysis of the captured image captured by the end portion 7 of the FPC 6. NS.

図２は、実施の形態１に係る制御装置２の構成例を示すブロック図である。図２に示すように、制御装置２は、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５を備える。画像取得部２１は、ＦＰＣ６におけるロボットハンド４に把持させる端部７が少なくとも撮像された撮像画像を取得する。例えば、制御装置２は、図１に示した単眼カメラ５と無線または有線で接続されている。単眼カメラ５は、ロボットアーム３に装着されたロボットハンド４がＦＰＣ６の近傍に移動したときに、ロボットハンド４の近傍のＦＰＣ６を撮像する。これにより、画像取得部２１は、単眼カメラ５によってＦＰＣ６の端部７が撮像された撮像画像を取得する。 FIG. 2 is a block diagram showing a configuration example of the control device 2 according to the first embodiment. As shown in FIG. 2, the control device 2 includes an image acquisition unit 21, a mask image generation unit 22, a feature point extraction unit 23, a control amount calculation unit 24, and a control unit 25. The image acquisition unit 21 acquires an captured image in which at least the end portion 7 to be gripped by the robot hand 4 in the FPC 6 is captured. For example, the control device 2 is wirelessly or wiredly connected to the monocular camera 5 shown in FIG. The monocular camera 5 captures an image of the FPC 6 in the vicinity of the robot hand 4 when the robot hand 4 mounted on the robot arm 3 moves in the vicinity of the FPC 6. As a result, the image acquisition unit 21 acquires an captured image in which the end portion 7 of the FPC 6 is captured by the monocular camera 5.

マスク画像生成部２２は、画像取得部２１によって取得された撮像画像を入力として、ＦＰＣ６の端部７の特徴点を抽出するためのマスク画像を出力する学習済みモデルを用いて、マスク画像を生成する。マスク画像は、撮像画像におけるＦＰＣ６の端部７が写った画像領域が前景となり、それ以外の画像領域がマスクされた画像である。また、学習済みモデルは、学習済みモデル記憶部９に記憶されている。特徴点は、単眼カメラ５によって撮像されたＦＰＣ６の端部７を示す情報であり、例えば、マスク画像におけるＦＰＣ６の端部７の一部の位置座標情報である。 The mask image generation unit 22 generates a mask image using a trained model that takes the captured image acquired by the image acquisition unit 21 as an input and outputs a mask image for extracting the feature points of the end portion 7 of the FPC 6. do. The masked image is an image in which the image region in which the end portion 7 of the FPC 6 is captured in the captured image is the foreground, and the other image regions are masked. Further, the trained model is stored in the trained model storage unit 9. The feature point is information indicating the end portion 7 of the FPC 6 imaged by the monocular camera 5, and is, for example, the position coordinate information of a part of the end portion 7 of the FPC 6 in the mask image.

学習済みモデルは、画像取得部２１によって取得された撮像画像を入力として、撮像画像におけるＦＰＣ６の端部７の特徴点を抽出するためのマスク画像を出力するように学習された、ニューラルネットワーク（以下、ＮＮと記載する。）のネットワーク構造およびパラメータからなるデータである。学習済みモデルの生成に用いられる学習用データは、画像取得部２１によって取得された撮像画像のうち、撮像画像に対してＦＰＣ６の外観の状態を模したノイズが付加された撮像画像を含む複数の撮像画像で構成される。ノイズの要因となるＦＰＣ６の外観の状態は、例えば、ＦＰＣ６の端部７の表面の光沢、または、ロボットアーム３あるいはロボットハンド４の影である。 The trained model is a neural network trained to output a mask image for extracting the feature points of the end portion 7 of the FPC 6 in the captured image by inputting the captured image acquired by the image acquisition unit 21 (hereinafter referred to as a neural network). , NN.) The data consists of the network structure and parameters. The training data used to generate the trained model includes a plurality of captured images acquired by the image acquisition unit 21, including captured images in which noise imitating the appearance state of the FPC 6 is added to the captured images. It consists of captured images. The appearance state of the FPC 6 that causes noise is, for example, the gloss of the surface of the end portion 7 of the FPC 6, or the shadow of the robot arm 3 or the robot hand 4.

特徴点抽出部２３は、マスク画像からＦＰＣ６の端部７の特徴点を抽出する。例えば、特徴点抽出部２３は、マスク画像におけるＦＰＣ６の端部７の一部の座標情報を、特徴点を示す情報として抽出する。端部７の一部は、例えば、端部７のコーナー部分である。 The feature point extraction unit 23 extracts the feature points of the end portion 7 of the FPC 6 from the mask image. For example, the feature point extraction unit 23 extracts a part of the coordinate information of the end portion 7 of the FPC 6 in the mask image as information indicating the feature points. A part of the end portion 7 is, for example, a corner portion of the end portion 7.

制御量算出部２４は、マスク画像ごとのＦＰＣ６の端部７の特徴点を用いて、ロボットハンド４を端部７に近づけるためのロボットアーム３の制御量を算出する。例えば、制御量算出部２４は、ＦＰＣ６の端部７の特徴点を示す情報として特徴点抽出部２３から取得した端部７のコーナー部分の２次元座標を実空間の３次元座標に変換することで、端部７の位置および姿勢を算出する。そして、制御量算出部２４は、ロボットハンド４がＦＰＣ６の端部７を把持する際の３次元座標における端部７の目標位置および目標姿勢と、特徴点情報に基づき算出した端部７の位置および姿勢とを比較して、両者の差分値をロボットアーム３の制御量として算出する。 The control amount calculation unit 24 calculates the control amount of the robot arm 3 for bringing the robot hand 4 closer to the end portion 7 by using the feature points of the end portion 7 of the FPC 6 for each mask image. For example, the control amount calculation unit 24 converts the two-dimensional coordinates of the corner portion of the end portion 7 acquired from the feature point extraction unit 23 into the three-dimensional coordinates of the real space as information indicating the feature points of the end portion 7 of the FPC 6. Then, the position and the posture of the end portion 7 are calculated. Then, the control amount calculation unit 24 calculates the target position and the target posture of the end portion 7 in the three-dimensional coordinates when the robot hand 4 grips the end portion 7 of the FPC 6, and the position of the end portion 7 calculated based on the feature point information. And the posture are compared, and the difference value between the two is calculated as the control amount of the robot arm 3.

制御部２５は、制御量算出部２４によって算出された制御量に基づいてロボットアーム３を制御する。例えば、制御部２５は、制御量算出部２４から取得した差分値が小さくなる方向に一定の距離だけロボットアーム３を移動させ、上記差分値が小さくなる方向に一定の変化量だけロボットハンド４の姿勢を変化させる。この後、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５が行う各処理が繰り返されることにより、徐々に、ロボットハンド４の位置が端部７に近づき、ロボットハンド４の姿勢が端部７の姿勢に合わされる。これにより、ロボットハンド４によって、ＦＰＣ６の端部７が目標位置および目標姿勢で把持される。 The control unit 25 controls the robot arm 3 based on the control amount calculated by the control amount calculation unit 24. For example, the control unit 25 moves the robot arm 3 by a certain distance in the direction in which the difference value acquired from the control amount calculation unit 24 becomes smaller, and the robot hand 4 moves the robot arm 3 in the direction in which the difference value becomes smaller by a certain amount of change. Change posture. After that, each process performed by the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 is repeated, so that the position of the robot hand 4 is gradually moved to the end. As it approaches 7, the posture of the robot hand 4 is adjusted to the posture of the end 7. As a result, the robot hand 4 grips the end portion 7 of the FPC 6 at the target position and the target posture.

図３は、実施の形態１に係る制御方法を示すフローチャートである。
画像取得部２１は、ＦＰＣ６の端部７が撮像された撮像画像を取得する（ステップＳＴ１）。例えば、図１に示した単眼カメラ５は、制御量算出部２４からの撮像指示に従ってＦＰＣ６の端部７を撮像する。画像取得部２１は、単眼カメラ５によって撮像された撮像画像を取得する。FIG. 3 is a flowchart showing a control method according to the first embodiment.
The image acquisition unit 21 acquires an image captured by the end 7 of the FPC 6 (step ST1). For example, the monocular camera 5 shown in FIG. 1 images the end portion 7 of the FPC 6 according to an imaging instruction from the control amount calculation unit 24. The image acquisition unit 21 acquires an captured image captured by the monocular camera 5.

マスク画像生成部２２は、画像取得部２１によって取得された撮像画像および学習済みモデルを用いて、マスク画像を生成する（ステップＳＴ２）。マスク画像生成部２２は、学習済みモデルを用いてマスク画像を生成する。学習済みモデルの生成に用いられる学習用データは、ＦＰＣ６の端部７が撮像された撮像画像に対して、ＦＰＣ６の端部７の外観の状態を模したノイズが付加された画像データである。 The mask image generation unit 22 generates a mask image using the captured image acquired by the image acquisition unit 21 and the trained model (step ST2). The mask image generation unit 22 generates a mask image using the trained model. The learning data used for generating the trained model is image data in which noise imitating the appearance state of the end portion 7 of the FPC 6 is added to the captured image captured by the end portion 7 of the FPC 6.

図４Ａは、ＦＰＣ６の端部７が撮像された撮像画像５Ａを示す画像図である。例えば、画像取得部２１によって取得された撮像画像から、端部７の表面の光沢に起因した白飛び領域、または、ロボットアーム３あるいはロボットハンド４の影に起因した暗領域の面積が、一定の閾値よりも小さい撮像画像５Ａが選別される。 FIG. 4A is an image diagram showing a captured image 5A in which the end portion 7 of the FPC 6 is captured. For example, from the captured image acquired by the image acquisition unit 21, the area of the overexposed area caused by the gloss of the surface of the end portion 7 or the dark area caused by the shadow of the robot arm 3 or the robot hand 4 is constant. The captured image 5A smaller than the threshold is selected.

図４Ｂは、ノイズ４１を付加した撮像画像５Ｂを示す画像図である。撮像画像５Ａに対してノイズ４１が付加される。ノイズ４１は、ＦＰＣ６の端部７の外観の状態を模したノイズである。ノイズ４１としては、例えば、端部７の表面の光沢を模した白飛びノイズ、または、ロボットアーム３あるいはロボットハンド４の影を模した暗領域がある。 FIG. 4B is an image diagram showing a captured image 5B to which noise 41 is added. Noise 41 is added to the captured image 5A. The noise 41 is noise that imitates the appearance of the end portion 7 of the FPC 6. The noise 41 includes, for example, blown-out noise that imitates the gloss of the surface of the end portion 7, or a dark region that imitates the shadow of the robot arm 3 or the robot hand 4.

図４Ｃは、マスク画像５Ｃを示す画像図である。上記学習済みモデルは、ノイズ４１が付加された撮像画像５Ｂと撮像画像５Ｂに対応するマスク画像５Ｃとの複数の組み合わせを、学習用データとして用いたＮＮの教師あり学習によって生成される。マスク画像５Ｃは、例えば、ＦＰＣ６の端部７が撮像された撮像画像において、図４Ｃに示すように、ＦＰＣ６の端部７が写る画像領域が前景となり、それ以外の画像領域が黒色にマスクされた画像である。 FIG. 4C is an image diagram showing a mask image 5C. The trained model is generated by supervised learning of NN using a plurality of combinations of the captured image 5B to which the noise 41 is added and the mask image 5C corresponding to the captured image 5B as learning data. In the mask image 5C, for example, in the captured image in which the end portion 7 of the FPC 6 is captured, as shown in FIG. 4C, the image region in which the end portion 7 of the FPC 6 is captured becomes the foreground, and the other image regions are masked in black. It is an image.

このように、ノイズ４１が付加された撮像画像を用いて学習済みモデルが生成される。これにより、学習済みモデルは、画像取得部２１によって取得された撮像画像中に白飛びノイズ、暗領域などが発生した場合であっても、作業対象部材における把持対象部分のみが強調されそれ以外の部分がマスクされたマスク画像を生成することが可能である。 In this way, the trained model is generated using the captured image to which the noise 41 is added. As a result, in the trained model, even when blown-out noise, dark areas, etc. occur in the captured image acquired by the image acquisition unit 21, only the gripping target portion of the work target member is emphasized, and other parts are emphasized. It is possible to generate a masked image in which the portion is masked.

続いて、特徴点抽出部２３は、マスク画像からＦＰＣ６の端部７の特徴点を抽出する（ステップＳＴ３）。例えば、特徴点抽出部２３は、図４Ｃに示したマスク画像５Ｃにおける端部７のコーナー部分の位置座標情報を、特徴点を示す情報として抽出する。
なお、単眼カメラ５は、ロボットアーム３に装着されているので、ロボットアーム３の移動に応じて、マスク画像における端部７のコーナー部分の位置は変化する。Subsequently, the feature point extraction unit 23 extracts the feature points of the end portion 7 of the FPC 6 from the mask image (step ST3). For example, the feature point extraction unit 23 extracts the position coordinate information of the corner portion of the end portion 7 in the mask image 5C shown in FIG. 4C as information indicating the feature points.
Since the monocular camera 5 is attached to the robot arm 3, the position of the corner portion of the end portion 7 in the mask image changes according to the movement of the robot arm 3.

制御量算出部２４は、マスク画像５ＣごとのＦＰＣ６の端部７の特徴点を用いて、ロボットハンド４を端部７に近づけるためのロボットアーム３の制御量を算出する（ステップＳＴ４）。例えば、ＦＰＣ６などの長尺部材は、自身の可撓性によって撓むことにより、作業台上で端部７の位置がばらつきやすい。また、長尺部材は、長手方向にまっすぐ伸びた帯形状であるとは限らず、大きく弧を描くように曲がっていたり、折れ曲がっていたりする場合がある。このため、作業台上にＦＰＣ６が配置されたときの状態に応じて、ロボットアーム３を制御する必要がある。 The control amount calculation unit 24 calculates the control amount of the robot arm 3 for bringing the robot hand 4 closer to the end portion 7 by using the feature points of the end portion 7 of the FPC 6 for each mask image 5C (step ST4). For example, a long member such as an FPC 6 bends due to its own flexibility, so that the position of the end portion 7 tends to vary on the work table. Further, the long member does not always have a strip shape extending straight in the longitudinal direction, and may be bent or bent so as to draw a large arc. Therefore, it is necessary to control the robot arm 3 according to the state when the FPC 6 is arranged on the work table.

制御量算出部２４には、ロボットハンド４によって把持させるＦＰＣ６の目標位置と、ＦＰＣ６の端部７の目標姿勢が設定されている。例えば、ロボットハンド４がＦＰＣ６を把持する目標位置は、実空間の３次元座標系におけるＦＰＣ６の端部７の位置（Ｘ１，Ｙ１，Ｚ１）である。目標姿勢は、作業台上に配置されたＦＰＣ６の端部７の姿勢（Ａｘ１，Ａｙ１，Ａｚ１）である。 The control amount calculation unit 24 is set with a target position of the FPC 6 to be gripped by the robot hand 4 and a target posture of the end portion 7 of the FPC 6. For example, the target position where the robot hand 4 grips the FPC 6 is the position (X1, Y1, Z1) of the end portion 7 of the FPC 6 in the three-dimensional coordinate system in real space. The target posture is the posture (Ax1, Ay1, Az1) of the end portion 7 of the FPC 6 arranged on the work table.

制御量算出部２４は、マスク画像から抽出された特徴点情報に基づいて、ＦＰＣ６の端部７のコーナー部分の２次元座標を、実空間の３次元座標に変換する。これにより、単眼カメラ５によって撮像された撮像画像に基づいて、実空間の３次元座標系における端部７の位置（Ｘ２，Ｙ２，Ｚ２）および姿勢（Ａｘ２，Ａｙ２，Ａｚ２）を示す情報（Ｘ２，Ｙ２，Ｚ２，Ａｘ２，Ａｙ２，Ａｚ２）が得られる。 The control amount calculation unit 24 converts the two-dimensional coordinates of the corner portion of the end portion 7 of the FPC 6 into the three-dimensional coordinates of the real space based on the feature point information extracted from the mask image. As a result, information (X2) indicating the position (X2, Y2, Z2) and posture (Ax2, Ay2, Az2) of the end portion 7 in the three-dimensional coordinate system in the real space based on the captured image captured by the monocular camera 5. , Y2, Z2, Ax2, Ay2, Az2).

続いて、制御量算出部２４は、ＦＰＣ６の端部７の目標位置および目標姿勢を示す情報（Ｘ１，Ｙ１，Ｚ１，Ａｘ１，Ａｙ１，Ａｚ１）と、撮像画像に基づいて算出されたＦＰＣ６の端部７の位置および姿勢を示す情報（Ｘ２，Ｙ２，Ｚ２，Ａｘ２，Ａｙ２，Ａｚ２）とを比較し、両者の差分値を算出する。この差分値は、実空間において予め設定された目標位置および目標姿勢に対する、撮像画像に基づいて算出されたＦＰＣ６の端部７の位置および姿勢の誤差である。すなわち、この誤差はロボットアーム３を制御するための制御量（ΔＸ，ΔＹ，ΔＺ，ΔＡｘ，ΔＡｙ，ΔＡｚ）である。制御量算出部２４は、制御量（ΔＸ，ΔＹ，ΔＺ，ΔＡｘ，ΔＡｙ，ΔＡｚ）を制御部２５に出力する。 Subsequently, the control amount calculation unit 24 receives information (X1, Y1, Z1, Ax1, Ay1, Az1) indicating the target position and target posture of the end portion 7 of the FPC 6, and the end of the FPC 6 calculated based on the captured image. The information (X2, Y2, Z2, Ax2, Ay2, Az2) indicating the position and posture of the part 7 is compared, and the difference value between the two is calculated. This difference value is an error in the position and posture of the end portion 7 of the FPC 6 calculated based on the captured image with respect to the target position and the target posture set in advance in the real space. That is, this error is a control amount (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) for controlling the robot arm 3. The control amount calculation unit 24 outputs the control amount (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) to the control unit 25.

制御部２５は、制御量（ΔＸ，ΔＹ，ΔＺ，ΔＡｘ，ΔＡｙ，ΔＡｚ）が閾値（ΔＸｔｈ，ΔＹｔｈ，ΔＺｔｈ，ΔＡｘｔｈ，ΔＡｙｔｈ，ΔＡｚｔｈ）よりも小さいか否かを判定する（ステップＳＴ５）。制御量が閾値よりも小さい場合（ステップＳＴ５；ＹＥＳ）、ロボットハンド４の位置は、ＦＰＣ６の端部７の近傍の位置であり、ロボットハンド４の姿勢は、端部７の姿勢に合っている。このため、制御部２５は、ロボットアーム３を制御することにより、ロボットハンド４にＦＰＣ６の端部７を把持させて、図３に示す一連の処理を終了する。 The control unit 25 determines whether or not the controlled variable (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) is smaller than the threshold value (ΔXth, ΔYth, ΔZth, ΔAxth, ΔAys, ΔAzth) (step ST5). When the control amount is smaller than the threshold value (step ST5; YES), the position of the robot hand 4 is a position near the end portion 7 of the FPC 6, and the posture of the robot hand 4 matches the posture of the end portion 7. .. Therefore, the control unit 25 controls the robot arm 3 to cause the robot hand 4 to grip the end portion 7 of the FPC 6, and ends the series of processes shown in FIG.

また、制御量が閾値以上である場合（ステップＳＴ５；ＮＯ）、制御部２５は、制御量（ΔＸ，ΔＹ，ΔＺ）が小さくなる方向に一定の距離だけロボットアーム３を移動させ、（ΔＡｘ，ΔＡｙ，ΔＡｚ）が小さくなる方向に一定の変化量だけロボットハンド４の姿勢を変化させる（ステップＳＴ６）。 When the control amount is equal to or greater than the threshold value (step ST5; NO), the control unit 25 moves the robot arm 3 by a certain distance in the direction in which the control amount (ΔX, ΔY, ΔZ) becomes smaller, and (ΔAx, ΔY, ΔZ). The posture of the robot hand 4 is changed by a certain amount of change in the direction in which ΔAy, ΔAz) becomes smaller (step ST6).

例えば、制御部２５は、ロボットアーム３を駆動させるモータに対して制御信号を出力することで、一定の距離だけロボットアーム３を移動させる。この後、制御部２５は、画像取得部２１に対して撮像画像５Ａを再度取得するように指示を出力する。これにより、ステップＳＴ１からの一連の処理が繰り返され、ロボットハンド４によってＦＰＣ６の端部７が目標位置および目標姿勢で把持される。 For example, the control unit 25 moves the robot arm 3 by a certain distance by outputting a control signal to the motor that drives the robot arm 3. After that, the control unit 25 outputs an instruction to the image acquisition unit 21 to acquire the captured image 5A again. As a result, a series of processes from step ST1 are repeated, and the end portion 7 of the FPC 6 is gripped by the robot hand 4 at the target position and the target posture.

制御量と比較する閾値は、ＦＰＣ６をその端部７で把持する際に必要とされる要求精度によって決定される。また、ロボットハンド４がＦＰＣ６を掴むのではなく、サクションカップで端部７を吸着する場合、上記閾値を大きく設定することが可能である。すなわちロボットハンド４がＦＰＣ６を掴む場合は、サクションカップで吸着する場合よりも閾値が小さく設定される。 The threshold value to be compared with the control amount is determined by the required accuracy required when gripping the FPC 6 at its end 7. Further, when the robot hand 4 sucks the end portion 7 with the suction cup instead of grasping the FPC 6, the above threshold value can be set large. That is, when the robot hand 4 grabs the FPC 6, the threshold value is set smaller than when the robot hand 4 sucks the FPC 6.

制御装置２における画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５の機能は、処理回路によって実現される。すなわち、制御装置２は、図３に示したステップＳＴ１からステップＳＴ６までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。 The functions of the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 in the control device 2 are realized by the processing circuit. That is, the control device 2 includes a processing circuit for executing the processing from step ST1 to step ST6 shown in FIG. The processing circuit may be dedicated hardware, or may be a CPU (Central Processing Unit) that executes a program stored in the memory.

図５Ａは、制御装置２の機能を実現するハードウェア構成を示すブロック図である。図５Ｂは、制御装置２の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図５Ａおよび図５Ｂにおいて、入力インタフェース１００は、単眼カメラ５から制御装置２へ出力される撮像画像データを中継するインタフェースである。また、出力インタフェース１０１は、制御装置２からロボットアーム３へ出力される制御情報を中継するインタフェースである。 FIG. 5A is a block diagram showing a hardware configuration that realizes the functions of the control device 2. FIG. 5B is a block diagram showing a hardware configuration for executing software that realizes the functions of the control device 2. In FIGS. 5A and 5B, the input interface 100 is an interface for relaying captured image data output from the monocular camera 5 to the control device 2. Further, the output interface 101 is an interface for relaying control information output from the control device 2 to the robot arm 3.

処理回路が図５Ａに示す専用のハードウェアの処理回路１０２である場合に、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。制御装置２における画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。 When the processing circuit is the processing circuit 102 of the dedicated hardware shown in FIG. 5A, the processing circuit 102 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific Integrated). Circuit), FPGA (Field-Programmable Gate Array), or a combination thereof is applicable. The functions of the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 in the control device 2 may be realized by separate processing circuits, and these functions may be combined. It may be realized by one processing circuit.

処理回路が図５Ｂに示すプロセッサ１０３である場合、制御装置２における画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。 When the processing circuit is the processor 103 shown in FIG. 5B, the functions of the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 in the control device 2 are software and firmware. Or it is realized by a combination of software and firmware. The software or firmware is described as a program and stored in the memory 104.

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することで、制御装置２における画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５の機能を実現する。例えば、制御装置２は、プロセッサ１０３によって実行されるときに図２に示すフローチャートにおけるステップＳＴ１からステップＳＴ６の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５が行う処理の手順または方法を、コンピュータに実行させる。メモリ１０４は、コンピュータを、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。 The processor 103 reads and executes the program stored in the memory 104, thereby causing the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 in the control device 2. Realize the function. For example, the control device 2 includes a memory 104 for storing a program in which the processes of steps ST1 to ST6 in the flowchart shown in FIG. 2 are executed as a result when executed by the processor 103. These programs cause a computer to execute a procedure or method of processing performed by an image acquisition unit 21, a mask image generation unit 22, a feature point extraction unit 23, a control amount calculation unit 24, and a control unit 25. The memory 104 is a computer-readable storage medium in which a program for causing the computer to function as an image acquisition unit 21, a mask image generation unit 22, a feature point extraction unit 23, a control amount calculation unit 24, and a control unit 25 is stored. May be good.

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。 The memory 104 is, for example, a non-volatile semiconductor such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrolytically Magnetic Memory), or an EPROM (Electrically-EPROM). This includes disks, flexible disks, optical disks, compact disks, mini disks, DVDs, and the like.

制御装置２における画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５の機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、画像取得部２１は、専用のハードウェアである処理回路１０２によって機能を実現し、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４および制御部２５は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。 Some of the functions of the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 in the control device 2 are realized by dedicated hardware, and some of them are software or firmware. It may be realized by. For example, the image acquisition unit 21 realizes the function by the processing circuit 102 which is the dedicated hardware, and the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, and the control unit 25 are stored in the memory of the processor 103. The function is realized by reading and executing the program stored in 104. In this way, the processing circuit can realize the above functions by hardware, software, firmware, or a combination thereof.

図６は、制御装置２の変形例である制御装置２Ａの構成を示すブロック図である。図６において、図１と同一の構成要素には同一の符号が付されている。制御装置２Ａは、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４、制御部２５、画像選別部２６、前処理部２７および学習部２８を備える。 FIG. 6 is a block diagram showing a configuration of the control device 2A, which is a modification of the control device 2. In FIG. 6, the same components as those in FIG. 1 are designated by the same reference numerals. The control device 2A includes an image acquisition unit 21, a mask image generation unit 22, a feature point extraction unit 23, a control amount calculation unit 24, a control unit 25, an image selection unit 26, a preprocessing unit 27, and a learning unit 28.

画像選別部２６は、画像取得部２１によって取得された撮像画像のうちから、ＦＰＣ６の外観の状態に起因したノイズが含まれていない、図４Ａに示したような撮像画像５Ａを選別する。画像選別部２６によって選別された撮像画像５Ａは、画像記憶部１０に出力されて記憶される。前処理部２７は、画像記憶部１０から撮像画像５Ａをランダムに読み出し、図４Ｂに示したように、画像記憶部１０から読み出した撮像画像５Ａに対してＦＰＣ６の端部７の外観の状態を模したノイズ４１を付加するノイズ付加部である。 The image selection unit 26 selects the captured image 5A as shown in FIG. 4A, which does not include noise due to the appearance state of the FPC 6, from the captured images acquired by the image acquisition unit 21. The captured image 5A selected by the image selection unit 26 is output to the image storage unit 10 and stored. The preprocessing unit 27 randomly reads the captured image 5A from the image storage unit 10, and as shown in FIG. 4B, displays the appearance state of the end portion 7 of the FPC 6 with respect to the captured image 5A read from the image storage unit 10. It is a noise addition part which adds the imitated noise 41.

学習部２８は、画像選別部２６によって選別された撮像画像５Ａと、前処理部２７によってノイズ４１が付加された撮像画像５Ｂとを含む複数の撮像画像を、学習用データとして用いて、学習済みモデルを生成する。例えば、学習部２８は、撮像画像５Ａおよび撮像画像５Ｂを含む複数の撮像画像と、これらの撮像画像のそれぞれに対応するマスク画像である複数の教師データとを用いたＮＮの教師あり学習を行うことにより、学習済みモデルを生成する。学習済みモデルは、例えば、画像選別部２６によって選別された撮像画像を入力として、図４Ｃ示したマスク画像５Ｃを出力するものであり、学習済みモデル記憶部９に記憶される。ＮＮは、例えば、畳み込みＮＮ（以下、ＣＮＮと記載する。）であってもよい。 The learning unit 28 has already learned a plurality of captured images including the captured image 5A selected by the image sorting unit 26 and the captured image 5B to which noise 41 is added by the preprocessing unit 27 as learning data. Generate a model. For example, the learning unit 28 performs NN supervised learning using a plurality of captured images including the captured image 5A and the captured image 5B and a plurality of teacher data which are mask images corresponding to each of the captured images. By doing so, a trained model is generated. The trained model outputs, for example, the mask image 5C shown in FIG. 4C by inputting the captured image selected by the image selection unit 26 and is stored in the trained model storage unit 9. The NN may be, for example, a convolutional NN (hereinafter referred to as CNN).

学習済みモデルにおいて、例えば、ＮＮの入力層には、単眼カメラ５により撮像された撮像画像、または、画像記憶部１０に記憶されているノイズ４１が付加された撮像画像５Ｂが入力され、ＮＮの出力層からはマスク画像５Ｃが出力される。
ＮＮの学習過程において、ＮＮの入力層に入力されて当該中間層を経て出力層から出力されるマスク画像が、画像記憶部１０に記憶されたマスク画像（教師データ）に近似させるために、ＮＮの中間層のパラメータは最適化される。近似方法としては、例えば、確率的勾配法が利用される。In the trained model, for example, the captured image captured by the monocular camera 5 or the captured image 5B to which the noise 41 stored in the image storage unit 10 is added is input to the input layer of the NN, and the NN is input. The mask image 5C is output from the output layer.
In the learning process of the NN, the mask image input to the input layer of the NN and output from the output layer via the intermediate layer is approximated to the mask image (teacher data) stored in the image storage unit 10 by the NN. The parameters of the middle layer of are optimized. As the approximation method, for example, the stochastic gradient descent method is used.

学習部２８は、図４Ａに示したノイズのない撮像画像５Ａのみならず、図４Ｂに示したようなノイズ４１が付加された撮像画像５Ｂを用いて、学習済みモデルを生成する。学習部２８によって生成された学習済みモデルは、学習済みモデル記憶部９に記憶される。
マスク画像生成部２２は、上述のようにして生成された学習済みモデルを用いることにより、学習済みモデルに入力する撮像画像に白飛びなどによるノイズが含まれていても、ＦＰＣ６の端部７の特徴点を抽出するためのマスク画像を生成することができる。
制御装置２または２Ａは、上記のマスク画像を用いることにより、ＦＰＣ６の端部７の位置を正確に特定することができるので、白飛びなどによるノイズが含まれた撮像画像を用いても、ＦＰＣ６の端部７の位置を正確に検出可能であり、ロボットハンド４を正確にＦＰＣ６の端部７に位置合わせすることができる。The learning unit 28 generates a trained model by using not only the noise-free captured image 5A shown in FIG. 4A but also the captured image 5B to which the noise 41 is added as shown in FIG. 4B. The trained model generated by the learning unit 28 is stored in the trained model storage unit 9.
By using the trained model generated as described above, the mask image generation unit 22 uses the end portion 7 of the FPC 6 even if the captured image input to the trained model contains noise due to overexposure or the like. A mask image for extracting feature points can be generated.
Since the control device 2 or 2A can accurately identify the position of the end portion 7 of the FPC 6 by using the above mask image, the FPC 6 can be used even if the captured image including noise due to overexposure or the like is used. The position of the end portion 7 of the FPC 6 can be accurately detected, and the robot hand 4 can be accurately aligned with the end portion 7 of the FPC 6.

なお、制御装置２Ａにおける画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４、制御部２５、画像選別部２６、前処理部２７および学習部２８の機能は、処理回路によって実現される。すなわち、制御装置２Ａは、図５Ａまたは図５Ｂに示した処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。 The functions of the image acquisition unit 21, the mask image generation unit 22, the feature point extraction unit 23, the control amount calculation unit 24, the control unit 25, the image selection unit 26, the preprocessing unit 27, and the learning unit 28 in the control device 2A are It is realized by the processing circuit. That is, the control device 2A includes a processing circuit for executing the processing shown in FIG. 5A or FIG. 5B. The processing circuit may be dedicated hardware, or may be a CPU that executes a program stored in the memory.

また、学習部２８が学習済みモデルの生成に利用するＮＮは、一つだけでなく、複数のＮＮであってもよい。例えば、学習部２８は、複数のＮＮを利用して、ある製品の製造において、製造工程ごとの作業対象部材の把持対象部分の特徴点をそれぞれ抽出する複数の学習済みモデルを生成する。そして、制御装置２または２Ａが備えるマスク画像生成部２２は、製造工程ごとの学習済みモデルに切り替えた学習済みモデルを用いて、マスク画像を生成する。これにより、制御装置２または２Ａは、単眼カメラ５により撮像された撮像画像を用いて、ロボットハンド４を正確に製造工程ごとの作業対象部材の把持対象部分に位置合わせすることができる。 Further, the NN used by the learning unit 28 to generate the trained model may be not only one but also a plurality of NNs. For example, the learning unit 28 uses a plurality of NNs to generate a plurality of learned models for extracting feature points of gripping target portions of work target members for each manufacturing process in the manufacture of a certain product. Then, the mask image generation unit 22 included in the control device 2 or 2A generates a mask image by using the trained model switched to the trained model for each manufacturing process. As a result, the control device 2 or 2A can accurately align the robot hand 4 with the gripping target portion of the work target member for each manufacturing process by using the captured image captured by the monocular camera 5.

なお、これまでの説明は作業対象部材がＦＰＣ６である場合を示したが、作業対象部材は、ＦＦＣであってもよいし、長尺部材以外の部材であってもよい。制御装置２または２Ａは、特に表面に光沢を有した部材が作業対象部材であっても、撮像画像を用いて、ロボットハンド４を正確に作業対象部材の把持対象部分に位置合わせすることができる。 Although the description so far has shown the case where the work target member is the FPC 6, the work target member may be an FFC or a member other than a long member. The control device 2 or 2A can accurately align the robot hand 4 with the grip target portion of the work target member by using the captured image even if the member having a glossy surface is the work target member. ..

以上のように、実施の形態１に係る制御装置２は、ＦＰＣ６におけるロボットハンド４に把持させる端部７が撮像された撮像画像を入力として、端部７の特徴点を抽出するためのマスク画像を出力する学習済みモデルを用いて、マスク画像を生成し、マスク画像ごとの端部７の特徴点を用いてロボットアーム３の制御量を算出し、算出した制御量に基づいてロボットアーム３を制御する。これにより、制御装置２は、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。 As described above, the control device 2 according to the first embodiment receives an image captured by the end portion 7 to be gripped by the robot hand 4 in the FPC 6 as an input, and a mask image for extracting the feature points of the end portion 7. A mask image is generated using the trained model that outputs Control. As a result, the control device 2 can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

実施の形態１に係る制御装置２Ａは、画像取得部２１によって取得された撮像画像のうち、ＦＰＣ６の外観の状態に起因したノイズが含まれていない撮像画像を選別する画像選別部２６と、画像選別部２６によって選別された撮像画像に対してＦＰＣ６の外観の状態を模したノイズを付加する前処理部２７と、画像取得部２１によって取得された撮像画像のうち、前処理部２７によってノイズが付加された撮像画像を含む複数の撮像画像を学習用データとして学習済みモデルを生成する学習部２８を備える。これにより、マスク画像生成部２２が、学習済みモデルに入力する撮像画像に白飛びなどによるノイズが含まれていても、ＦＰＣ６の端部７の特徴点を抽出するためのマスク画像を生成することが可能である。 The control device 2A according to the first embodiment includes an image selection unit 26 that selects an image captured image acquired by the image acquisition unit 21 that does not include noise due to the appearance state of the FPC 6, and an image. Of the pre-processing unit 27 that adds noise that imitates the appearance of the FPC 6 to the captured image selected by the sorting unit 26, and the captured image acquired by the image acquisition unit 21, noise is generated by the pre-processing unit 27. A learning unit 28 that generates a trained model using a plurality of captured images including the added captured images as training data is provided. As a result, the mask image generation unit 22 generates a mask image for extracting the feature points of the end portion 7 of the FPC 6 even if the captured image input to the trained model contains noise due to overexposure or the like. Is possible.

実施の形態１に係るロボットシステム１において、ロボットハンド４が装着されたロボットアーム３と、ＦＰＣ６を撮像し、ＦＰＣ６の端部７が少なくとも撮像された撮像画像を画像取得部２１に出力する単眼カメラ５と、制御装置２または２Ａを備える。このように構成されたロボットシステム１は、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。 In the robot system 1 according to the first embodiment, a monocular camera that images the robot arm 3 to which the robot hand 4 is attached and the FPC 6 and outputs the captured image in which at least the end 7 of the FPC 6 is captured to the image acquisition unit 21. 5 and control device 2 or 2A. The robot system 1 configured in this way can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

実施の形態２．
図７は、実施の形態２に係るロボットシステム１Ａの構成例を示す構成図である。図７において、ロボットシステム１Ａは、制御装置２Ｂ、ロボットアーム３、ロボットハンド４、単眼カメラ５および単眼カメラ１１を備える。ロボットシステム１Ａは、単眼カメラ５および単眼カメラ１１によって撮影された作業対象部材の撮像画像を用いて、ロボットアーム３を制御し、ロボットアーム３に装着されたロボットハンド４が作業対象部材を把持する。Embodiment 2.
FIG. 7 is a configuration diagram showing a configuration example of the robot system 1A according to the second embodiment. In FIG. 7, the robot system 1A includes a control device 2B, a robot arm 3, a robot hand 4, a monocular camera 5, and a monocular camera 11. The robot system 1A controls the robot arm 3 by using the captured images of the work target member taken by the monocular camera 5 and the monocular camera 11, and the robot hand 4 attached to the robot arm 3 grips the work target member. ..

作業対象部材は、可撓性を有する長尺部材であり、ロボットハンド４に把持させる把持対象部分が設定されている。長尺部材は、例えばＦＦＣまたはＦＰＣである。以下の説明では、作業対象部材がＦＰＣ６であるものとする。また、把持対象部分は端部７であり、ＦＰＣ６における端部７とは反対側の端部が基板８に接続されている。 The work target member is a long member having flexibility, and a grip target portion to be gripped by the robot hand 4 is set. The long member is, for example, FFC or FPC. In the following description, it is assumed that the work target member is FPC6. Further, the gripping target portion is the end portion 7, and the end portion of the FPC 6 opposite to the end portion 7 is connected to the substrate 8.

実施の形態１におけるロボットアーム３の初期位置は、単眼カメラ５によってＦＰＣ６の端部７が撮像可能な位置であった。単眼カメラ１１は、ＦＰＣ６を撮像し、ＦＰＣ６の全体が撮像された撮像画像を制御装置２Ｂへ出力する第２の撮像部である。実施の形態２において、ロボットアーム３の初期位置は、単眼カメラ５がＦＰＣ６を撮像できないが、単眼カメラ１１によってＦＰＣ６の全体が撮像可能な位置である。ＦＰＣ６の全体とは、ＦＰＣ６の端部７から、当該端部７とは反対側の端部が接続している基板８を含む構造体全体である。 The initial position of the robot arm 3 in the first embodiment was a position where the end portion 7 of the FPC 6 could be imaged by the monocular camera 5. The monocular camera 11 is a second imaging unit that images the FPC 6 and outputs the captured image obtained by capturing the entire FPC 6 to the control device 2B. In the second embodiment, the initial position of the robot arm 3 is a position where the monocular camera 5 cannot image the FPC 6, but the monocular camera 11 can image the entire FPC 6. The entire FPC 6 is the entire structure including the substrate 8 to which the end portion 7 of the FPC 6 is connected to the end portion on the side opposite to the end portion 7.

制御装置２Ｂは、単眼カメラ１１によって撮像されたＦＰＣ６の撮像画像を用いて、ロボットハンド４がＦＰＣ６の端部７を把持するようにロボットアーム３を制御する。図７において、単眼カメラ５は、ロボットアーム３に装着され、単眼カメラ１１は、ロボットアーム３に装着されていない。ただし、単眼カメラ１１は、ロボットアーム３の制御が開始される位置において、ＦＰＣ６の全体が撮像範囲内であれば、ロボットアーム３に装着されていてもよい。 The control device 2B uses the captured image of the FPC 6 captured by the monocular camera 11 to control the robot arm 3 so that the robot hand 4 grips the end portion 7 of the FPC 6. In FIG. 7, the monocular camera 5 is attached to the robot arm 3, and the monocular camera 11 is not attached to the robot arm 3. However, the monocular camera 11 may be attached to the robot arm 3 as long as the entire FPC 6 is within the imaging range at the position where the control of the robot arm 3 is started.

図８は、実施の形態２に係る制御装置２Ｂの構成例を示すブロック図である。図８に示すように、制御装置２Ｂは、画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２を備えている。画像取得部２１は、実施の形態１と同様に、ＦＰＣ６におけるロボットハンド４に把持させる端部７が少なくとも撮像された撮像画像を取得する。例えば、制御装置２Ｂは、図７に示した単眼カメラ５と無線または有線で接続されている。単眼カメラ５は、ロボットアーム３に装着されたロボットハンド４がＦＰＣ６の近傍に位置した際にロボットハンド４の近傍のＦＰＣ６を撮像する。画像取得部２１は、ＦＰＣ６の端部７が少なくとも撮像された撮像画像を単眼カメラ５から取得する。 FIG. 8 is a block diagram showing a configuration example of the control device 2B according to the second embodiment. As shown in FIG. 8, the control device 2B includes an image acquisition unit 21, an overall image acquisition unit 29, a thinning unit 30, an end detection unit 31, and a control unit 32. Similar to the first embodiment, the image acquisition unit 21 acquires an captured image in which at least the end portion 7 to be gripped by the robot hand 4 in the FPC 6 is captured. For example, the control device 2B is connected to the monocular camera 5 shown in FIG. 7 wirelessly or by wire. The monocular camera 5 captures an image of the FPC 6 in the vicinity of the robot hand 4 when the robot hand 4 mounted on the robot arm 3 is located in the vicinity of the FPC 6. The image acquisition unit 21 acquires an image captured by at least the end 7 of the FPC 6 from the monocular camera 5.

全体画像取得部２９は、ＦＰＣ６の全体が撮像された撮像画像を取得する。例えば、制御装置２Ｂは、図７に示した単眼カメラ１１と無線または有線で接続されている。単眼カメラ１１は、ロボットアーム３が制御される際に、ＦＰＣ６の全体を撮像する。全体画像取得部２９は、ＦＰＣ６の全体が撮像された撮像画像を単眼カメラ１１から取得する。 The overall image acquisition unit 29 acquires an captured image in which the entire FPC 6 is captured. For example, the control device 2B is wirelessly or wiredly connected to the monocular camera 11 shown in FIG. 7. The monocular camera 11 captures the entire FPC 6 when the robot arm 3 is controlled. The overall image acquisition unit 29 acquires an captured image obtained by capturing the entire FPC 6 from the monocular camera 11.

細線化部３０は、全体画像取得部２９によって取得された撮像画像に細線化を施すことにより、ＦＰＣ６の外形状が細線化された細線化画像を生成する。ＦＰＣ６の撮像画像に白飛びなどによるノイズが含まれていても、当該撮像画像を細線化することで、ＦＰＣ６の外形状のみが細線化される。細線化方法は、例えば、ＨｉｌｄｉｔｃｈのアルゴリズムまたはＺｈａｎｇ−Ｓｕｅｎのアルゴリズムが利用される。ただし、細線化方法は、ＦＰＣ６の外形状のみが細線化される方法であれば、例示したアルゴリズムに限定されるものではない。 The thinning unit 30 generates a thinning image in which the outer shape of the FPC 6 is thinned by thinning the captured image acquired by the overall image acquisition unit 29. Even if the captured image of the FPC 6 contains noise due to overexposure or the like, by thinning the captured image, only the outer shape of the FPC 6 is thinned. As the thinning method, for example, a Hilwich algorithm or a Zhang-Suen algorithm is used. However, the thinning method is not limited to the illustrated algorithm as long as only the outer shape of the FPC 6 is thinned.

端部検出部３１は、細線化画像からＦＰＣ６の端部７を検出する。例えば、端部検出部３１は、細線化画像においてＦＰＣ６の基端部からＦＰＣ６を示す細線を辿って端部を探索することにより、ＦＰＣ６の端部７を特定し、特定した端部７の２次元座標および姿勢情報を検出する。ＦＰＣ６の基端部とは、基板８と接続したＦＰＣ６の端部である。端部検出部３１は、ＦＰＣ６の端部７の位置および姿勢を示す検出情報を算出すると、検出情報を制御部３２に出力する。制御部３２は、ＦＰＣ６の端部７の検出情報に基づいてロボットアーム３を移動させ、画像取得部２１によって単眼カメラ５から取得された撮像画像に基づいてロボットアーム３を制御する。 The end detection unit 31 detects the end 7 of the FPC 6 from the thinned image. For example, the end detection unit 31 identifies the end 7 of the FPC 6 by tracing the thin line indicating the FPC 6 from the base end of the FPC 6 in the thinned image, and identifies the end 7 of the specified end 7-2. Detects dimensional coordinates and attitude information. The base end portion of the FPC 6 is an end portion of the FPC 6 connected to the substrate 8. When the end detection unit 31 calculates the detection information indicating the position and orientation of the end 7 of the FPC 6, the end detection unit 31 outputs the detection information to the control unit 32. The control unit 32 moves the robot arm 3 based on the detection information of the end portion 7 of the FPC 6, and controls the robot arm 3 based on the captured image acquired from the monocular camera 5 by the image acquisition unit 21.

図９は、実施の形態２に係る制御方法を示すフローチャートである。
全体画像取得部２９は、ＦＰＣ６の全体が撮像された撮像画像を取得する（ステップＳＴ１ａ）。例えば、ロボットアーム３の制御が開始される位置において、単眼カメラ１１は、ＦＰＣ６の全体を撮像可能である。図１０Ａは、ＦＰＣ６の全体が撮像された撮像画像１１Ａを示す画像図である。全体画像取得部２９は、図１０Ａに示すように、単眼カメラ１１によってＦＰＣ６の全体が撮像された撮像画像１１Ａを取得する。FIG. 9 is a flowchart showing a control method according to the second embodiment.
The overall image acquisition unit 29 acquires an captured image in which the entire FPC 6 is captured (step ST1a). For example, at the position where the control of the robot arm 3 is started, the monocular camera 11 can take an image of the entire FPC 6. FIG. 10A is an image diagram showing a captured image 11A in which the entire FPC 6 is captured. As shown in FIG. 10A, the overall image acquisition unit 29 acquires the captured image 11A in which the entire FPC 6 is captured by the monocular camera 11.

細線化部３０は、全体画像取得部２９によって取得された撮像画像を用いて細線化画像を生成する（ステップＳＴ２ａ）。図１０Ｂは、ＦＰＣ６の全体が撮像された撮像画像１１Ａが細線化された細線化画像１１Ｂを示す画像図である。撮像画像１１Ａを細線化することにより、図１０Ｂに示すように、ＦＰＣ６の外形状を示す細線５１と、その端部５２および５３のみが強調され、それ以外の画像部分はマスクされたような細線化画像１１Ｂとなる。 The thinning unit 30 generates a thinning image using the captured image acquired by the overall image acquisition unit 29 (step ST2a). FIG. 10B is an image diagram showing a thinned image 11B in which the captured image 11A in which the entire FPC 6 is captured is thinned. By thinning the captured image 11A, as shown in FIG. 10B, only the thin line 51 showing the outer shape of the FPC 6 and its ends 52 and 53 are emphasized, and the other image parts are masked thin lines. It becomes the converted image 11B.

端部検出部３１は、細線化部３０によって生成された細線化画像１１ＢからＦＰＣ６の端部７を検出する（ステップＳＴ３ａ）。例えば、３次元座標系におけるＦＰＣ６の基端部の位置座標は既知であり、当該位置座標を、単眼カメラ１１の撮像画像における２次元座標系に変換することは可能である。端部検出部３１は、細線化画像１１Ｂにおける端部５２の位置座標と、ＦＰＣ６の基端部の既知の位置座標とを比較し、両者が一致すると、端部５２がＦＰＣ６の基端部であると判定する。続いて、端部検出部３１は、細線化画像１１Ｂにおいて端部５２から細線５１を辿って探索することによって端部５３を特定し、特定した端部５３の２次元座標および姿勢を示す情報を、ＦＰＣ６の端部７の検出情報として制御部３２に出力する。 The end detection unit 31 detects the end 7 of the FPC 6 from the thinned image 11B generated by the thinning unit 30 (step ST3a). For example, the position coordinates of the base end portion of the FPC 6 in the three-dimensional coordinate system are known, and the position coordinates can be converted into the two-dimensional coordinate system in the image captured by the monocular camera 11. The end detection unit 31 compares the position coordinates of the end 52 in the thinned image 11B with the known position coordinates of the base end of the FPC 6, and when they match, the end 52 is the base end of the FPC 6. Judge that there is. Subsequently, the end detection unit 31 identifies the end 53 by tracing the thin line 51 from the end 52 in the thinned image 11B, and provides information indicating the two-dimensional coordinates and posture of the specified end 53. , Is output to the control unit 32 as detection information of the end portion 7 of the FPC 6.

図１０Ｃは、複数のＦＰＣ６が映り込んだ細線化画像１１Ｃを示す画像図である。細線化画像１１Ｃには、図１０Ｃに示すように、２つのＦＰＣ６に対応する細線５１と細線５４が映り込んでいる。この場合、端部検出部３１は、基端部の位置座標が不明な細線５４につながる端部の検出は実行せず、基端部の位置座標が既知である細線５１につながる端部の検出を実行する。 FIG. 10C is an image diagram showing a thin lined image 11C in which a plurality of FPCs 6 are reflected. As shown in FIG. 10C, the thin line 51 and the thin line 54 corresponding to the two FPC 6s are reflected in the thin line image 11C. In this case, the end detection unit 31 does not detect the end connected to the thin line 54 whose position coordinates of the base end are unknown, but detects the end connected to the thin line 51 whose position coordinates of the base end are known. To execute.

次に、制御部３２は、ＦＰＣ６の端部７の検出情報に基づいて、単眼カメラ５によってロボットハンド４とＦＰＣ６の端部７とが撮像可能な位置までロボットアーム３を移動させる（ステップＳＴ４ａ）。ロボットアーム３の移動が完了すると、制御部３２の指示により、単眼カメラ５は、ロボットハンド４とＦＰＣ６の端部７を撮像する（ステップＳＴ５ａ）。画像取得部２１は、単眼カメラ５によって撮像された撮像画像を取得し、取得した撮像画像を制御部３２に出力する。 Next, the control unit 32 moves the robot arm 3 to a position where the robot hand 4 and the end 7 of the FPC 6 can be imaged by the monocular camera 5 based on the detection information of the end 7 of the FPC 6 (step ST4a). .. When the movement of the robot arm 3 is completed, the monocular camera 5 images the end 7 of the robot hand 4 and the FPC 6 according to the instruction of the control unit 32 (step ST5a). The image acquisition unit 21 acquires an image captured by the monocular camera 5 and outputs the acquired image to the control unit 32.

制御部３２は、画像取得部２１によって取得されたＦＰＣ６の端部７が少なくとも撮像された撮像画像に基づいて、ロボットハンド４が端部７でＦＰＣ６を把持するようにロボットアーム３を制御する（ステップＳＴ６ａ）。ＦＰＣ６の撮像画像に白飛びなどによるノイズが含まれていても、撮像画像を細線化することで、細線化画像においては、ＦＰＣ６の外形状のみが細線化される。これにより、制御部３２は、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。 The control unit 32 controls the robot arm 3 so that the robot hand 4 grips the FPC 6 at the end portion 7 based on the captured image obtained by the end portion 7 of the FPC 6 acquired by the image acquisition unit 21 at least. Step ST6a). Even if the captured image of the FPC 6 contains noise due to overexposure or the like, by thinning the captured image, only the outer shape of the FPC 6 is thinned in the thinned image. As a result, the control unit 32 can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

図１１は、実施の形態２に係る制御方法の変形例を示すフローチャートである。図１１において、ステップＳＴ１ｂからステップＳＴ３ｂまでの処理は、図９に示したステップＳＴ１ａからステップＳＴ３ａまでの処理と同じである。また、図１１におけるステップＳＴ８ｂからステップＳＴ１０ｂまでの処理は、図９に示したステップＳＴ４ａからステップＳＴ６ａまでの処理と同じである。 FIG. 11 is a flowchart showing a modified example of the control method according to the second embodiment. In FIG. 11, the processing from step ST1b to step ST3b is the same as the processing from step ST1a to step ST3a shown in FIG. Further, the processing from step ST8b to step ST10b in FIG. 11 is the same as the processing from step ST4a to step ST6a shown in FIG.

ＦＰＣ６の位置がばらつくことによって単眼カメラ１１の撮像範囲外にＦＰＣ６が出た場合、基板８に対するＦＰＣ６の基端部の接続が何らかの理由で外れた場合、作業台上に複数のＦＰＣ６が重なって配置された場合、または、単眼カメラ１１によってＦＰＣ６の撮像画像に想定を超えるノイズが発生した場合、端部検出部３１が細線化画像からＦＰＣ６の端部７を検出できない、または、端部検出部３１が一枚の細線化画像から複数の端部を検出して作業対象の端部を特定できない、といった不具合が発生する。 If the FPC 6 comes out of the imaging range of the monocular camera 11 due to the position of the FPC 6, or if the connection of the base end portion of the FPC 6 to the substrate 8 is disconnected for some reason, a plurality of FPC 6s are arranged on the work table in an overlapping manner. If this is the case, or if noise exceeding expectations is generated in the captured image of the FPC 6 by the monocular camera 11, the end detection unit 31 cannot detect the end 7 of the FPC 6 from the thinned image, or the end detection unit 31. However, there is a problem that it is not possible to identify the end of the work target by detecting a plurality of ends from one thin lined image.

そこで、端部検出部３１によって細線化画像からＦＰＣ６の端部７が検出された場合、制御部３２は、端部検出部３１によって細線化画像からＦＰＣ６の端部７が一つ検出されたか否かを確認する（ステップＳＴ４ｂ）。細線化画像からＦＰＣ６の端部７が一つ検出された場合（ステップＳＴ４ｂ；ＹＥＳ）、制御部３２は、ステップＳＴ８ｂに移行することにより、前述したように、ＦＰＣ６の端部７の検出情報に基づいて、単眼カメラ５によってＦＰＣ６の端部７が撮像可能な位置までロボットアーム３を移動させ、ステップＳＴ１０ｂまでの一連の処理を実行する。 Therefore, when the end portion 31 detects the end portion 7 of the FPC 6 from the thinned image, the control unit 32 determines whether or not one end portion 7 of the FPC 6 is detected from the thinned image by the end portion detecting unit 31. (Step ST4b). When one end 7 of the FPC 6 is detected from the thinned image (step ST4b; YES), the control unit 32 shifts to step ST8b to obtain the detection information of the end 7 of the FPC 6 as described above. Based on this, the robot arm 3 is moved to a position where the end portion 7 of the FPC 6 can be imaged by the monocular camera 5, and a series of processes up to step ST10b is executed.

細線化画像から検出されたＦＰＣ６の端部７が一つではない場合（ステップＳＴ４ｂ；ＮＯ）、制御部３２は、端部検出部３１によって細線化画像から複数の端部７が検出されたか否かを確認する（ステップＳＴ５ｂ）。細線化画像から複数の端部７が検出された場合（ステップＳＴ５ｂ；ＹＥＳ）、制御部３２は、選択条件に従って、複数の端部７から一つの端部を選択する（ステップＳＴ６ｂ）。選択条件は、細線化画像から検出された複数の端部から、作業対象のＦＰＣ６の端部７を一つ選択するための条件である。例えば、基端部の位置座標が既知である細線につながる端部を選択するという条件である。 When the end 7 of the FPC 6 detected from the thinned image is not one (step ST4b; NO), the control unit 32 determines whether or not a plurality of end 7s are detected from the thinned image by the end detecting unit 31. (Step ST5b). When a plurality of end portions 7 are detected from the thinned image (step ST5b; YES), the control unit 32 selects one end portion from the plurality of end portions 7 according to the selection condition (step ST6b). The selection condition is a condition for selecting one end 7 of the FPC 6 to be worked from a plurality of ends detected from the thinned image. For example, it is a condition that the end portion connected to the thin line whose position coordinates of the base end portion are known is selected.

制御部３２は、選択条件に従って複数の端部７から一つの端部を選択すると、ステップＳＴ８ｂに移行することにより、選択した端部７の検出情報に基づいて、単眼カメラ５によってＦＰＣ６の端部７が撮像可能な位置までロボットアーム３を移動させ、ステップＳＴ１０ｂまでの一連の処理を実行する。 When the control unit 32 selects one end from the plurality of end portions 7 according to the selection conditions, the control unit 32 proceeds to step ST8b, and based on the detection information of the selected end portion 7, the end portion of the FPC 6 is operated by the monocular camera 5. The robot arm 3 is moved to a position where the image 7 can be imaged, and a series of processes up to step ST10b is executed.

細線化画像からＦＰＣ６の端部７が一つも検出されなかった場合（ステップＳＴ５ｂ；ＮＯ）、制御部３２は、単眼カメラ１１による撮像がエラーであると判断する（ステップＳＴ７ｂ）。この場合、制御部３２は、例えば、図示しない表示装置または音声出力装置に対してエラーを示す警報を出力させる。または、制御装置２Ｂは、ステップＳＴ１ｂの処理に戻って、前述した一連の処理を再度実行してもよい。 When no end 7 of the FPC 6 is detected from the thinned image (step ST5b; NO), the control unit 32 determines that the imaging by the monocular camera 11 is an error (step ST7b). In this case, the control unit 32 causes, for example, an alarm indicating an error to be output to a display device or an audio output device (not shown). Alternatively, the control device 2B may return to the process of step ST1b and execute the series of processes described above again.

制御装置２Ｂにおける画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２の機能は、処理回路により実現される。すなわち、制御装置２Ｂは、図９に示したステップＳＴ１ａからステップＳＴ６ａまでの処理または図１１に示したステップＳＴ１ｂからステップＳＴ１０ｂまでの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。 The functions of the image acquisition unit 21, the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32 in the control device 2B are realized by the processing circuit. That is, the control device 2B includes a processing circuit for executing the processing from step ST1a to step ST6a shown in FIG. 9 or the processing from step ST1b to step ST10b shown in FIG. The processing circuit may be dedicated hardware, or may be a CPU that executes a program stored in the memory.

図１２Ａは、制御装置２Ｂの機能を実現するハードウェア構成を示すブロック図である。図１２Ｂは、制御装置２Ｂの機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１２Ａおよび図１２Ｂにおいて、第１の入力インタフェース２００は、単眼カメラ５から制御装置２Ｂへ出力される撮像画像データを中継するインタフェースである。また、第２の入力インタフェース２０１は、単眼カメラ１１から制御装置２Ｂへ出力される撮像画像データを中継するインタフェースである。出力インタフェース２０２は、制御装置２Ｂからロボットアーム３へ出力される制御情報を中継するインタフェースである。 FIG. 12A is a block diagram showing a hardware configuration that realizes the functions of the control device 2B. FIG. 12B is a block diagram showing a hardware configuration for executing software that realizes the functions of the control device 2B. In FIGS. 12A and 12B, the first input interface 200 is an interface for relaying captured image data output from the monocular camera 5 to the control device 2B. The second input interface 201 is an interface for relaying captured image data output from the monocular camera 11 to the control device 2B. The output interface 202 is an interface for relaying control information output from the control device 2B to the robot arm 3.

処理回路が図１２Ａに示す専用のハードウェアの処理回路２０３である場合、処理回路２０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。制御装置２Ｂにおける画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。 When the processing circuit is the processing circuit 203 of the dedicated hardware shown in FIG. 12A, the processing circuit 203 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or these. The combination of is applicable. The functions of the image acquisition unit 21, the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32 in the control device 2B may be realized by separate processing circuits, and these functions may be collectively integrated. It may be realized by one processing circuit.

処理回路が図１２Ｂに示すプロセッサ２０４である場合、制御装置２Ｂにおける画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ２０５に記憶される。 When the processing circuit is the processor 204 shown in FIG. 12B, the functions of the image acquisition unit 21, the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32 in the control device 2B are software, firmware, or It is realized by the combination of software and firmware. The software or firmware is described as a program and stored in the memory 205.

プロセッサ２０４は、メモリ２０５に記憶されたプログラムを読み出して実行することで、制御装置２Ｂにおける画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２の機能を実現する。例えば、制御装置２Ｂは、プロセッサ２０４によって実行されるときに、図９に示したステップＳＴ１ａからステップＳＴ６ａまでの処理または図１１に示したステップＳＴ１ｂからステップＳＴ１０ｂまでの処理が結果的に実行されるプログラムを記憶するためのメモリ２０５を備える。これらのプログラムは、画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２が行う処理の手順または方法を、コンピュータに実行させる。 The processor 204 reads and executes the program stored in the memory 205 to function the image acquisition unit 21, the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32 in the control device 2B. To realize. For example, when the control device 2B is executed by the processor 204, the processing from step ST1a to step ST6a shown in FIG. 9 or the processing from step ST1b to step ST10b shown in FIG. 11 is executed as a result. A memory 205 for storing a program is provided. These programs cause the computer to execute the procedure or method of processing performed by the image acquisition unit 21, the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32.

メモリ２０５は、コンピュータを、画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。メモリ２０５は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。 The memory 205 may be a computer-readable storage medium in which a program for causing the computer to function as an image acquisition unit 21, an overall image acquisition unit 29, a thinning unit 30, an end detection unit 31, and a control unit 32 is stored. good. The memory 205 includes, for example, non-volatile or volatile semiconductor memories such as RAM, ROM, flash memory, EPROM, and EEPROM, magnetic disks, flexible disks, optical disks, compact disks, mini disks, and DVDs.

制御装置２Ｂにおける画像取得部２１、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２の機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、画像取得部２１は、専用のハードウェアである処理回路２０３により機能を実現し、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３２は、プロセッサ２０４がメモリ２０５に記憶されたプログラムを読み出して実行することにより機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。 Some of the functions of the image acquisition unit 21, the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32 in the control device 2B are realized by dedicated hardware, and some of them are realized by software or firmware. It may be realized. For example, the image acquisition unit 21 realizes the function by the processing circuit 203, which is dedicated hardware, and the processor 204 of the overall image acquisition unit 29, the thinning unit 30, the end detection unit 31, and the control unit 32 have the memory 205. The function is realized by reading and executing the program stored in. In this way, the processing circuit can realize the above functions by hardware, software, firmware, or a combination thereof.

なお、これまでの説明は、作業対象部材がＦＰＣ６である場合を示したが、作業対象部材は、ＦＦＣであってもよいし、長尺部材以外の部材であってもよい。制御装置２Ｂは、特に表面に光沢を有した部材が作業対象部材であっても、撮像画像を用いて、ロボットハンド４を正確に作業対象部材の把持対象部分に位置合わせすることができる。 Although the description so far has shown the case where the work target member is the FPC 6, the work target member may be an FFC or a member other than a long member. The control device 2B can accurately align the robot hand 4 with the gripping target portion of the work target member by using the captured image even if the member having a glossy surface is the work target member.

以上のように、実施の形態２に係る制御装置２Ｂは、ＦＰＣ６の端部７が撮像された撮像画像を取得する画像取得部２１と、ＦＰＣ６の全体が撮像された撮像画像を取得する全体画像取得部２９と、全体画像取得部２９によって取得された撮像画像に細線化を施すことにより、ＦＰＣ６の外形状が細線化された細線化画像を生成する細線化部３０と、細線化画像からＦＰＣ６の端部７を検出する端部検出部３１と、ＦＰＣ６の端部７の検出情報に基づいてロボットアーム３を移動させ、画像取得部２１によって取得された撮像画像に基づいてロボットアーム３を制御する制御部３３を備える。ＦＰＣ６の撮像画像に白飛びなどによるノイズが含まれていても当該撮像画像を細線化することで、細線化画像には、ＦＰＣ６の外形状のみが細線化される。これにより、制御部３２は、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。 As described above, the control device 2B according to the second embodiment has an image acquisition unit 21 that acquires an captured image in which the end 7 of the FPC 6 is captured, and an overall image that acquires an captured image in which the entire FPC 6 is captured. The acquisition unit 29, the thinning unit 30 that generates a thinning image in which the outer shape of the FPC 6 is thinned by thinning the captured image acquired by the overall image acquisition unit 29, and the FPC6 from the thinning image. The robot arm 3 is moved based on the detection information of the end portion 7 of the FPC 6 and the end detection unit 31 that detects the end portion 7 of the FPC 6, and the robot arm 3 is controlled based on the captured image acquired by the image acquisition unit 21. The control unit 33 is provided. Even if the captured image of the FPC 6 contains noise due to overexposure or the like, by thinning the captured image, only the outer shape of the FPC 6 is thinned in the thinned image. As a result, the control unit 32 can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

実施の形態２に係る制御装置２Ｂにおいて、制御部３２は、細線化画像から複数の端部が検出された場合に、選別条件に従って複数の端部から一つの端部を選択し、端部が一つも検出されなかった場合には、エラーと判断する。細線化画像から複数の端部が検出された場合であっても、選択条件に従った適切な端部を選択することができ、細線化画像から端部が一つも検出されなかった場合は、撮像画像を用いたロボットアーム３の位置合わせが不可能であるため、エラーと判断することができる。 In the control device 2B according to the second embodiment, when a plurality of ends are detected from the thinned image, the control unit 32 selects one end from the plurality of ends according to the sorting conditions, and the end ends. If none is detected, it is judged as an error. Even if multiple ends are detected in the thinned image, it is possible to select an appropriate end according to the selection conditions, and if no end is detected in the thinned image, Since it is impossible to align the robot arm 3 using the captured image, it can be determined as an error.

実施の形態２に係るロボットシステム１Ａは、ロボットハンド４が装着されたロボットアーム３と、ＦＰＣ６を撮像し、ＦＰＣ６の全体が撮像された撮像画像を全体画像取得部２９に出力する単眼カメラ１１と、制御装置２Ｂを備える。ＦＰＣ６の撮像画像に白飛びなどによるノイズが含まれていても当該撮像画像を細線化することで、細線化画像には、ＦＰＣ６の外形状のみが細線化される。これにより、制御装置２Ｂは、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。 The robot system 1A according to the second embodiment includes a robot arm 3 to which the robot hand 4 is attached, and a monocular camera 11 that captures the FPC 6 and outputs the captured image obtained by capturing the entire FPC 6 to the overall image acquisition unit 29. , The control device 2B is provided. Even if the captured image of the FPC 6 contains noise due to overexposure or the like, by thinning the captured image, only the outer shape of the FPC 6 is thinned in the thinned image. As a result, the control device 2B can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

実施の形態３．
図１３は、実施の形態３に係る制御装置２Ｃの構成例を示すブロック図である。図１３において、制御装置２Ｃは、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３３を備える。以下の説明では、作業対象部材がＦＰＣ６であるものとする。また、把持対象部分は端部７であり、ＦＰＣ６における端部７とは反対側の端部が基板８に接続されている。Embodiment 3.
FIG. 13 is a block diagram showing a configuration example of the control device 2C according to the third embodiment. In FIG. 13, the control device 2C includes an image acquisition unit 21, a mask image generation unit 22, a feature point extraction unit 23, a control amount calculation unit 24, an overall image acquisition unit 29, a thinning unit 30, an end detection unit 31, and control. A unit 33 is provided. In the following description, it is assumed that the work target member is FPC6. Further, the gripping target portion is the end portion 7, and the end portion of the FPC 6 opposite to the end portion 7 is connected to the substrate 8.

画像取得部２１は、ＦＰＣ６におけるロボットハンド４に把持させる端部７が少なくとも撮像された撮像画像を取得する。例えば、制御部３３によってＦＰＣ６の端部７を撮像可能な位置にロボットアーム３が移動されると、単眼カメラ５が、ＦＰＣ６の端部７を撮像する。画像取得部２１は、単眼カメラ５によって撮像されたＦＰＣ６の端部７の撮像画像を取得する。 The image acquisition unit 21 acquires an captured image in which at least the end portion 7 to be gripped by the robot hand 4 in the FPC 6 is captured. For example, when the robot arm 3 is moved to a position where the control unit 33 can image the end portion 7 of the FPC 6, the monocular camera 5 images the end portion 7 of the FPC 6. The image acquisition unit 21 acquires an image captured by the end portion 7 of the FPC 6 captured by the monocular camera 5.

マスク画像生成部２２は、画像取得部２１によって取得された撮像画像を入力として、ＦＰＣ６の端部７の特徴点を抽出するためのマスク画像を出力する学習済みモデルを用いて、マスク画像を生成する。学習済みモデルは、図２および図６に記載した学習済みモデル記憶部９に記憶されている。マスク画像生成部２２は、学習済みモデル記憶部９に記憶されている学習済みモデルを用いてマスク画像を生成する。特徴点抽出部２３は、マスク画像からＦＰＣ６の端部７の特徴点を抽出する。例えば、特徴点抽出部２３は、マスク画像におけるＦＰＣ６の端部７のコーナー部分の座標情報を、特徴点を示す情報として抽出する。 The mask image generation unit 22 generates a mask image using a trained model that takes the captured image acquired by the image acquisition unit 21 as an input and outputs a mask image for extracting the feature points of the end portion 7 of the FPC 6. do. The trained model is stored in the trained model storage unit 9 shown in FIGS. 2 and 6. The mask image generation unit 22 generates a mask image using the trained model stored in the trained model storage unit 9. The feature point extraction unit 23 extracts the feature points of the end portion 7 of the FPC 6 from the mask image. For example, the feature point extraction unit 23 extracts the coordinate information of the corner portion of the end portion 7 of the FPC 6 in the mask image as information indicating the feature points.

制御量算出部２４は、ＦＰＣ６の端部７の特徴点を示す情報に含まれる端部７のコーナー部分の２次元座標を実空間の３次元座標に変換することによって、端部７の位置および姿勢を算出する。そして、制御量算出部２４は、ロボットハンド４がＦＰＣ６の端部７を把持する際の３次元座標における端部７の目標位置および目標姿勢と特徴点情報に基づき算出した端部７の位置および姿勢とを比較し、両者の差分値をロボットアーム３の制御量として算出し、制御量を制御部３３に出力する。 The control amount calculation unit 24 converts the two-dimensional coordinates of the corner portion of the end portion 7 included in the information indicating the feature points of the end portion 7 of the FPC 6 into the three-dimensional coordinates of the real space, thereby performing the position of the end portion 7 and the position of the end portion 7. Calculate the posture. Then, the control amount calculation unit 24 calculates the target position of the end portion 7 in the three-dimensional coordinates when the robot hand 4 grips the end portion 7 of the FPC 6, the target posture, and the position of the end portion 7 calculated based on the feature point information. The posture is compared, the difference value between the two is calculated as the control amount of the robot arm 3, and the control amount is output to the control unit 33.

ロボットアーム３の制御が開始される位置において、単眼カメラ１１はＦＰＣ６の全体を撮像する。全体画像取得部２９は、ＦＰＣ６の全体が撮像された撮像画像を単眼カメラ１１から取得する。細線化部３０は、全体画像取得部２９によって取得された撮像画像に細線化を施すことにより、ＦＰＣ６の外形状が細線化された細線化画像を生成する。端部検出部３１は、細線化画像においてＦＰＣ６の基端部からＦＰＣ６を示す細線を辿って端部を探索することによりＦＰＣ６の端部７を特定し、特定した端部７の２次元座標および姿勢情報を検出する。 At the position where the control of the robot arm 3 is started, the monocular camera 11 images the entire FPC 6. The overall image acquisition unit 29 acquires an image captured by the entire FPC 6 from the monocular camera 11. The thinning unit 30 generates a thinning image in which the outer shape of the FPC 6 is thinned by thinning the captured image acquired by the overall image acquisition unit 29. The end detection unit 31 identifies the end 7 of the FPC 6 by tracing the thin line indicating the FPC 6 from the base end of the FPC 6 in the thinned image, and identifies the end 7 of the FPC 6, and the two-dimensional coordinates of the specified end 7 and the identified end 7. Detects posture information.

制御部３３は、端部検出部３１によって細線化画像から検出されたＦＰＣ６の端部７の検出情報に基づいて、単眼カメラ５によってＦＰＣ６の端部７が撮像可能な位置まで、ロボットアーム３を移動させる。制御部３３は、単眼カメラ５によって撮像された撮像画像を用いたロボットアーム３の制御として、制御量算出部２４から取得された差分値が小さくなる方向に一定の距離だけロボットアーム３を移動させ、一定の変化量だけロボットハンド４の姿勢を変化させる。 The control unit 33 raises the robot arm 3 to a position where the end 7 of the FPC 6 can be imaged by the monocular camera 5 based on the detection information of the end 7 of the FPC 6 detected from the thinned image by the end detection unit 31. Move it. The control unit 33 moves the robot arm 3 by a certain distance in a direction in which the difference value acquired from the control amount calculation unit 24 becomes smaller as the control of the robot arm 3 using the image captured by the monocular camera 5. , The posture of the robot hand 4 is changed by a certain amount of change.

なお、制御装置２Ｃにおける画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３３の機能は、処理回路によって実現される。すなわち、制御装置２Ｃは、図５Ａまたは図５Ｂに示した処理を実行するための処理回路を備えている。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。 The image acquisition unit 21, mask image generation unit 22, feature point extraction unit 23, control amount calculation unit 24, overall image acquisition unit 29, thinning unit 30, end detection unit 31, and control unit 33 in the control device 2C. The function is realized by the processing circuit. That is, the control device 2C includes a processing circuit for executing the processing shown in FIG. 5A or FIG. 5B. The processing circuit may be dedicated hardware, or may be a CPU that executes a program stored in the memory.

図１４は、実施の形態３に係る制御方法を示すフローチャートである。
図１４に示すステップＳＴ１ｃからステップＳＴ８ｃまでの処理は、図１１に示したステップＳＴ１ｂからステップＳＴ８ｂまでの処理と同じである。さらに、図１４に示すステップＳＴ９ｃからステップＳＴ１４ｃまでの処理は、図３に示したステップＳＴ１からステップＳＴ６までの処理と同じである。制御装置２Ｃは、単眼カメラ５によってＦＰＣ６が撮像された撮像画像を用いたロボットアーム３の制御として、図３に示したステップＳＴ１からステップＳＴ６までの処理を実行する。これにより、制御装置２Ｃは、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。FIG. 14 is a flowchart showing a control method according to the third embodiment.
The processing from step ST1c to step ST8c shown in FIG. 14 is the same as the processing from step ST1b to step ST8b shown in FIG. Further, the processing from step ST9c to step ST14c shown in FIG. 14 is the same as the processing from step ST1 to step ST6 shown in FIG. The control device 2C executes the processes from step ST1 to step ST6 shown in FIG. 3 as control of the robot arm 3 using the captured image captured by the FPC 6 by the monocular camera 5. As a result, the control device 2C can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

図１５は、制御装置２Ｃの変形例である制御装置２Ｄの構成を示すブロック図である。図１５において、図１３と同一の構成要素には同一の符号が付されている。制御装置２Ｄは、画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４、制御部２５、画像選別部２６、前処理部２７、学習部２８、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３３を備える。制御装置２Ｄは、図１３に示した制御装置２Ｃに対して、画像選別部２６、前処理部２７および学習部２８を追加したものである。画像選別部２６、前処理部２７および学習部２８がそれぞれ行う処理は、図６を用いて前述したものと同じである。 FIG. 15 is a block diagram showing a configuration of the control device 2D, which is a modification of the control device 2C. In FIG. 15, the same components as those in FIG. 13 are designated by the same reference numerals. The control device 2D includes an image acquisition unit 21, a mask image generation unit 22, a feature point extraction unit 23, a control amount calculation unit 24, a control unit 25, an image selection unit 26, a preprocessing unit 27, a learning unit 28, and an overall image acquisition unit. 29, a thinning unit 30, an end detection unit 31, and a control unit 33 are provided. The control device 2D is obtained by adding an image selection unit 26, a preprocessing unit 27, and a learning unit 28 to the control device 2C shown in FIG. The processing performed by the image selection unit 26, the preprocessing unit 27, and the learning unit 28 is the same as that described above with reference to FIG.

なお、制御装置２Ｄにおける画像取得部２１、マスク画像生成部２２、特徴点抽出部２３、制御量算出部２４、制御部２５、画像選別部２６、前処理部２７、学習部２８、全体画像取得部２９、細線化部３０、端部検出部３１および制御部３３の機能は、処理回路によって実現される。すなわち、制御装置２Ｄは、図５Ａまたは図５Ｂに示した処理を実行するための処理回路を備えている。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。 The image acquisition unit 21, mask image generation unit 22, feature point extraction unit 23, control amount calculation unit 24, control unit 25, image selection unit 26, preprocessing unit 27, learning unit 28, and overall image acquisition in the control device 2D. The functions of the unit 29, the thinning unit 30, the end detection unit 31 and the control unit 33 are realized by the processing circuit. That is, the control device 2D includes a processing circuit for executing the processing shown in FIG. 5A or FIG. 5B. The processing circuit may be dedicated hardware, or may be a CPU that executes a program stored in the memory.

なお、これまでの説明は、作業対象部材がＦＰＣ６である場合を示したが、作業対象部材は、ＦＦＣであってもよいし、長尺部材以外の部材であってもよい。制御装置２Ｃまたは２Ｄは、特に表面に光沢を有した部材が作業対象部材であっても、撮像画像を用いて、ロボットハンド４を正確に作業対象部材の把持対象部分に位置合わせすることができる。 Although the description so far has shown the case where the work target member is the FPC 6, the work target member may be an FFC or a member other than a long member. The control device 2C or 2D can accurately align the robot hand 4 with the grip target portion of the work target member by using the captured image even if the member having a glossy surface is the work target member. ..

以上のように、実施の形態３に係る制御装置２Ｃは、制御装置２の構成要素と制御装置２Ｂの構成要素とを組み合わせたものである。これにより、制御装置２Ｃは、ＦＰＣ６が撮像された撮像画像に白飛びが発生しても、ロボットハンド４をＦＰＣ６の端部７に位置合わせすることができる。 As described above, the control device 2C according to the third embodiment is a combination of the components of the control device 2 and the components of the control device 2B. As a result, the control device 2C can align the robot hand 4 with the end portion 7 of the FPC 6 even if the captured image captured by the FPC 6 is overexposed.

実施の形態３に係る制御装置２Ｄは、制御装置２Ｃの構成要素に対して、画像選別部２６、前処理部２７および学習部２８を追加したものである。マスク画像生成部２２が、学習済みモデルに入力する撮像画像に白飛びなどによるノイズが含まれていても、ＦＰＣ６の端部７の特徴点を抽出するためのマスク画像を生成することが可能である。 The control device 2D according to the third embodiment is obtained by adding an image selection unit 26, a preprocessing unit 27, and a learning unit 28 to the components of the control device 2C. The mask image generation unit 22 can generate a mask image for extracting the feature points of the end portion 7 of the FPC 6 even if the captured image input to the trained model contains noise due to overexposure or the like. be.

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。 It should be noted that the combination of each embodiment, the modification of each arbitrary component of the embodiment, or the omission of any component in each of the embodiments is possible.

本開示に係る制御装置は、例えば、ＦＰＣを用いた製品の組み立てに利用可能である。 The control device according to the present disclosure can be used, for example, for assembling a product using FPC.

１，１Ａ ロボットシステム、２，２Ａ〜２Ｄ 制御装置、３ ロボットアーム、４ ロボットハンド、５，１１ 単眼カメラ、５Ａ，５Ｂ，１１Ａ 撮像画像、５Ｃ マスク画像、６ ＦＰＣ、７ 端部、８ 基板、９ 学習済みモデル記憶部、１０ 画像記憶部、１１Ｂ，１１Ｃ 細線化画像、２１ 画像取得部、２２ マスク画像生成部、２３ 特徴点抽出部、２４ 制御量算出部、２５，３２，３３ 制御部、２６ 画像選別部、２７ 前処理部、２８ 学習部、２９ 全体画像取得部、３０ 細線化部、３１ 端部検出部、４１ ノイズ、５１，５４ 細線、５２，５３ 端部、１００ 入力インタフェース、１０１，２０２ 出力インタフェース、１０２，２０３ 処理回路、１０３，２０４ プロセッサ、１０４，２０５ メモリ、２００ 第１の入力インタフェース、２０１ 第２の入力インタフェース。 1,1A robot system, 2,2A to 2D controller, 3 robot arm, 4 robot hand, 5,11 monocular camera, 5A, 5B, 11A captured image, 5C mask image, 6 FPC, 7 ends, 8 boards, 9 Learned model storage unit, 10 image storage unit, 11B, 11C thinned image, 21 image acquisition unit, 22 mask image generation unit, 23 feature point extraction unit, 24 control amount calculation unit, 25, 32, 33 control unit, 26 Image selection unit, 27 Preprocessing unit, 28 Learning unit, 29 Overall image acquisition unit, 30 Thinning unit, 31 End detection unit, 41 Noise, 51, 54 Fine lines, 52, 53 Ends, 100 Input interface, 101 , 202 output interface, 102, 203 processing circuit, 103, 204 processor, 104, 205 memory, 200 first input interface, 201 second input interface.

Claims (6)

ロボットハンドが装着されたロボットアームを制御する制御装置であって、
長尺部材における前記ロボットハンドに把持させる端部が少なくとも撮像された撮像画像を取得する画像取得部と、
前記長尺部材の全体が撮像された撮像画像を取得する全体画像取得部と、
前記全体画像取得部によって取得された撮像画像に細線化を施すことにより、前記長尺部材が細線化された細線化画像を生成する細線化部と、
前記細線化画像から前記長尺部材の端部を検出する端部検出部と、
前記長尺部材の端部の検出情報に基づいて前記ロボットアームを移動させ、前記画像取得部によって取得された撮像画像に基づいて前記ロボットアームを制御する制御部と、を備えた
ことを特徴とする制御装置。 A control device that controls a robot arm equipped with a robot hand.
An image acquisition unit that acquires an image captured at least by the end portion of the long member to be gripped by the robot hand, and an image acquisition unit.
An overall image acquisition unit that acquires an captured image of the entire long member, and an overall image acquisition unit.
By performing thinning the captured image acquired by the whole image acquiring unit, and a thinning unit that the long member to generate a thinned image which has been thinned,
An end detection unit that detects the end of the long member from the thinned image, and an end detection unit.
The robot arm is moved based on the detection information of the end portion of the long member, and the robot arm is controlled based on the captured image acquired by the image acquisition unit. Control device. 前記制御部は、前記細線化画像から複数の端部が検出された場合に、選別条件に従って複数の端部から一つの端部を選択し、端部が一つも検出されなかった場合には、エラーと判断する
ことを特徴とする請求項１に記載の制御装置。 When a plurality of ends are detected from the thinned image, the control unit selects one end from the plurality of ends according to the sorting conditions, and when none of the ends is detected, the control unit selects one end. The control device according to claim 1 , wherein the control device is determined to be an error. 前記画像取得部によって取得された撮像画像を入力として、前記長尺部材の端部の特徴点を抽出するためのマスク画像を出力する学習済みモデルを用いて、前記マスク画像を生成するマスク画像生成部と、
前記マスク画像から前記長尺部材の端部の特徴点を抽出する特徴点抽出部と、
前記マスク画像ごとの前記長尺部材の端部の特徴点を用いて、前記ロボットハンドを前記長尺部材の端部に近づけるための前記ロボットアームの制御量を算出する制御量算出部と、
を備え、
前記制御部は、前記制御量算出部によって算出された前記制御量に基づいて前記ロボットアームを制御する
ことを特徴とする請求項１または請求項２に記載の制御装置。 Mask image generation that generates the mask image using a trained model that outputs a mask image for extracting the feature points of the end of the long member by inputting the captured image acquired by the image acquisition unit. Department and
A feature point extraction unit that extracts feature points at the ends of the long member from the mask image,
A control amount calculation unit that calculates a control amount of the robot arm for bringing the robot hand closer to the end portion of the long member by using the feature points of the end portion of the long member for each mask image.
With
The control device according to claim 1 or 2 , wherein the control unit controls the robot arm based on the control amount calculated by the control amount calculation unit. 前記画像取得部によって取得された撮像画像のうち、前記長尺部材の外観の状態に応じたノイズが含まれていない撮像画像を選別する画像選別部と、
前記画像選別部によって選別された撮像画像に対して前記長尺部材の外観の状態を模したノイズを付加するノイズ付加部と、
前記画像取得部によって取得された撮像画像のうち、前記ノイズ付加部によってノイズが付加された撮像画像を含む複数の撮像画像を学習用データとして前記学習済みモデルを生成する学習部と、を備えた
ことを特徴とする請求項３に記載の制御装置。 Among the captured images acquired by the image acquisition unit, an image selection unit that selects captured images that do not contain noise according to the appearance state of the long member, and an image selection unit.
A noise addition unit that adds noise that imitates the appearance of the long member to the captured image selected by the image selection unit.
Among the captured images acquired by the image acquisition unit, a learning unit that generates the trained model by using a plurality of captured images including the captured images to which noise is added by the noise adding unit as learning data is provided. The control device according to claim 3 , wherein the control device is characterized by the above. 前記ロボットハンドが装着された前記ロボットアームと、
前記長尺部材を撮像し、前記長尺部材の全体が撮像された撮像画像を前記全体画像取得部に出力する第２の撮像部と、
請求項１から請求項４のいずれか１項に記載の制御装置と、を備えた
ことを特徴とするロボットシステム。 The robot arm to which the robot hand is attached and
A second imaging unit that captures an image of the long member and outputs an image captured by the entire image of the long member to the overall image acquisition unit.
A robot system comprising the control device according to any one of claims 1 to 4. ロボットハンドが装着されたロボットアームを制御する制御方法であって、
全体画像取得部が、長尺部材の全体が撮像された撮像画像を取得するステップと、
細線化部が、前記全体画像取得部によって取得された撮像画像に細線化を施すことにより、前記長尺部材が細線化された細線化画像を生成するステップと、
端部検出部が、前記細線化画像から前記長尺部材の端部を検出するステップと、
制御部が、前記長尺部材の端部の検出情報に基づいて前記ロボットアームを移動させ、前記長尺部材における前記ロボットハンドに把持させる端部が少なくとも撮像された撮像画像に基づいて前記ロボットアームを制御するステップと、を備えた
ことを特徴とする制御方法。 It is a control method that controls the robot arm to which the robot hand is attached.
The step that the whole image acquisition unit acquires the captured image in which the entire long member is captured,
Thinning portion, by performing thinning the captured image acquired by the whole image acquiring unit, the steps of the elongated member to generate a thinned image which has been thinned,
A step in which the end detection unit detects the end of the long member from the thinned image,
The control unit moves the robot arm based on the detection information of the end portion of the long member, and the robot arm is based on an image in which the end portion of the long member to be gripped by the robot hand is at least captured. A control method characterized by having a step to control the robot.
JP2021527101A 2021-01-12 2021-01-12 Control devices, robot systems and control methods Active JP6964827B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000604 WO2022153345A1 (en) 2021-01-12 2021-01-12 Control device, robot system, and control method

Publications (2)

Publication Number Publication Date
JP6964827B1 true JP6964827B1 (en) 2021-11-10
JPWO2022153345A1 JPWO2022153345A1 (en) 2022-07-21

Family

ID=78466218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021527101A Active JP6964827B1 (en) 2021-01-12 2021-01-12 Control devices, robot systems and control methods

Country Status (2)

Country Link
JP (1) JP6964827B1 (en)
WO (1) WO2022153345A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159411A (en) * 1995-12-08 1997-06-20 Honda Motor Co Ltd Method for detecting position of terminal of long work
JP2015030086A (en) * 2013-08-07 2015-02-16 キヤノン株式会社 Robot control method, robot system, program and recording medium
JP2019058966A (en) * 2017-09-25 2019-04-18 マツダ株式会社 Dispersing discharger
JP2020001127A (en) * 2018-06-28 2020-01-09 勇貴 高橋 Picking system, picking processing equipment, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165525A (en) * 1991-12-18 1993-07-02 Pioneer Electron Corp Method for deciding order to take out objects
JP5448326B2 (en) * 2007-10-29 2014-03-19 キヤノン株式会社 Gripping device and gripping device control method
JP6822929B2 (en) * 2017-09-19 2021-01-27 株式会社東芝 Information processing equipment, image recognition method and image recognition program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159411A (en) * 1995-12-08 1997-06-20 Honda Motor Co Ltd Method for detecting position of terminal of long work
JP2015030086A (en) * 2013-08-07 2015-02-16 キヤノン株式会社 Robot control method, robot system, program and recording medium
JP2019058966A (en) * 2017-09-25 2019-04-18 マツダ株式会社 Dispersing discharger
JP2020001127A (en) * 2018-06-28 2020-01-09 勇貴 高橋 Picking system, picking processing equipment, and program

Also Published As

Publication number Publication date
WO2022153345A1 (en) 2022-07-21
JPWO2022153345A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
JP6546618B2 (en) Learning apparatus, learning method, learning model, detection apparatus and gripping system
US7283661B2 (en) Image processing apparatus
JP5471355B2 (en) 3D visual sensor
CN109702738B (en) Mechanical arm hand-eye calibration method and device based on three-dimensional object recognition
KR20170053585A (en) Robot control apparatus and robot control method
CN110926330B (en) Image processing apparatus, image processing method, and program
JP5699697B2 (en) Robot device, position and orientation detection device, position and orientation detection program, and position and orientation detection method
CN112775959A (en) Method and system for determining grabbing pose of manipulator and storage medium
JP2014029664A (en) Image comparison range generation method, positional orientation detection method, image comparison range generation device, positional orientation detection device, robot, robot system, image comparison range generation program and positional orientation detection program
CN115629066A (en) Method and device for automatic wiring based on visual guidance
JP7171294B2 (en) Information processing device, information processing method and program
JP6964827B1 (en) Control devices, robot systems and control methods
JP7040147B2 (en) Control devices, robots, robot systems, and methods for recognizing objects
CN116985141B (en) Industrial robot intelligent control method and system based on deep learning
CN111745639B (en) Information processing method and device, object detection device and robot system
JP2021026599A (en) Image processing system
US20230150142A1 (en) Device and method for training a machine learning model for generating descriptor images for images of objects
CN115713547A (en) Motion trail generation method and device and processing equipment
JPH1063318A (en) Method and device for object recognition
US20230415349A1 (en) Method for controlling a robot for manipulating, in particular picking up, an object
WO2023127021A1 (en) Control device, control system, robot system, control method, and computer program
JP6237117B2 (en) Image processing apparatus, robot system, image processing method, and image processing program
WO2023140266A1 (en) Picking device and image generation program
JP2023121899A (en) Method, system, and computer program for recognizing position and posture of object photographed by camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211019

R150 Certificate of patent or registration of utility model

Ref document number: 6964827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150