JP7450691B1 - Interference discrimination display system, interference discrimination display method, and interference discrimination display program - Google Patents

Interference discrimination display system, interference discrimination display method, and interference discrimination display program Download PDF

Info

Publication number
JP7450691B1
JP7450691B1 JP2022182780A JP2022182780A JP7450691B1 JP 7450691 B1 JP7450691 B1 JP 7450691B1 JP 2022182780 A JP2022182780 A JP 2022182780A JP 2022182780 A JP2022182780 A JP 2022182780A JP 7450691 B1 JP7450691 B1 JP 7450691B1
Authority
JP
Japan
Prior art keywords
workpiece
interference
gripper
display
auxiliary device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022182780A
Other languages
Japanese (ja)
Other versions
JP2024072114A (en
Inventor
佳維 志村
聡志 ▲高▼津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amada Co Ltd
Original Assignee
Amada Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amada Co Ltd filed Critical Amada Co Ltd
Priority to JP2022182780A priority Critical patent/JP7450691B1/en
Priority to PCT/JP2023/038526 priority patent/WO2024106153A1/en
Application granted granted Critical
Publication of JP7450691B1 publication Critical patent/JP7450691B1/en
Publication of JP2024072114A publication Critical patent/JP2024072114A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

【課題】ワーク保持用ロボットに対する干渉を正確に判別表示する。【解決手段】干渉判別表示システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、積載エリア内のワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、ワーク、補助装置並びにグリッパ及びアーム部が存在する積載エリアを撮像可能な撮像装置と、撮像画像に基づいて、積載エリア内における補助装置、ワーク並びにグリッパ及びアーム部をそれぞれ検出する制御装置と、検出された補助装置、ワーク並びにグリッパ及びアーム部をそれぞれ表示可能な表示装置と、を備え、制御装置は、グリッパ及びアーム部の少なくとも一つと、補助装置及びワークの少なくとも一つと、の干渉状態を判定する判定部を含み、表示装置は、判定された干渉状態を表す情報を表示画面上に表示可能に構成される。【選択図】図１An object of the present invention is to accurately determine and display interference with a workpiece holding robot. [Solution] The interference discrimination display system includes a portable auxiliary device that can be freely placed to assist work on the workpieces loaded in the loading area, and a workpiece holding device that has a gripper and an arm unit that holds the workpieces in the loading area. an imaging device capable of capturing an image of a loading area in which the work, the auxiliary device, the gripper, and the arm are present; and a control that detects the auxiliary device, the work, the gripper, and the arm in the loading area based on the captured images. and a display device capable of displaying the detected auxiliary device, workpiece, gripper, and arm, respectively, and the control device displays at least one of the gripper and the arm, and at least one of the auxiliary device and the workpiece. The display device includes a determination unit that determines the interference state, and the display device is configured to be able to display information representing the determined interference state on the display screen. [Selection diagram] Figure 1

Description

本発明は、干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムに関する。 The present invention relates to an interference discrimination display system, an interference discrimination display method, and an interference discrimination display program.

従来から、積載エリアに積載した複数の板材等のワークを供給ロボット等のローディング装置によって、曲げ加工等を行うプレスブレーキ等の加工機へ供給することが行われている。例えば、ローディングに際しては、ワークを他のワークから分離する特許文献１に記載のワークめくり装置（１枚取り装置）が用いられる。 BACKGROUND ART Conventionally, a plurality of workpieces such as plate materials loaded in a loading area are fed by a loading device such as a feeding robot to a processing machine such as a press brake that performs bending or the like. For example, during loading, a workpiece turning device (single-sheet picking device) described in Patent Document 1 that separates a workpiece from other workpieces is used.

また、積載エリア内に配置されているワークの位置は、特許文献２に記載のワーク検出装置によって検出することができる。そして、位置が検出されたワークを、配置位置及び配置の向きが判別されたワークめくり装置で１枚取りし、ワーク保持用ロボットのグリッパで１枚取りされたワークを保持して、加工機に搬送することが行われる。 Further, the position of the work placed in the loading area can be detected by the work detection device described in Patent Document 2. Then, one piece of the workpiece whose position has been detected is picked up by a workpiece turning device whose placement position and placement direction have been determined, and the picked piece of workpiece is held by the gripper of the workpiece holding robot and transferred to the processing machine. Conveying is performed.

特開２０２２－１２０６６３号公報Japanese Patent Application Publication No. 2022-120663 特開２０２２－１２０６６４号公報Japanese Patent Application Publication No. 2022-120664

しかしながら、例えば、積載エリアが広く複数箇所にワークが配置されワークめくり装置が設置されたような状況下では、グリッパを含むワーク保持用ロボットが１枚取りされたワークを保持しようとする際に、積載エリア内のワークめくり装置や積載されたワークの山に衝突して干渉が発生してしまうおそれがある。 However, for example, in a situation where the loading area is wide, workpieces are placed in multiple locations, and a workpiece flipping device is installed, when a workpiece holding robot including a gripper attempts to hold a single workpiece, There is a risk that interference may occur due to collision with the workpiece turning device in the loading area or the pile of loaded works.

本発明の一態様は、ワーク保持用ロボットに対する干渉を正確に判別表示することができる干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムである。 One aspect of the present invention is an interference determination and display system, an interference determination and display method, and an interference determination and display program that can accurately determine and display interference with a workpiece holding robot.

本発明の一態様に係る干渉判別表示システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、前記積載エリア内の前記ワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、前記ワーク、前記補助装置並びに前記グリッパ及び前記アーム部が存在する前記積載エリアを撮像可能な撮像装置と、前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する制御装置と、前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ表示可能な表示装置と、を備え、前記制御装置は、検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する判定部を含み、前記表示装置は、前記制御装置の前記判定部によって判定された前記干渉状態を表す情報を表示画面上に表示可能に構成されている。 An interference discrimination and display system according to one aspect of the present invention includes: an auxiliary device that is portable and can be freely placed to assist work on a workpiece loaded in a loading area; and a gripper and an arm that hold the workpiece in the loading area. a workpiece holding robot having a part, an imaging device capable of imaging the loading area in which the workpiece, the auxiliary device, the gripper, and the arm part are present; A control device that detects the auxiliary device, the workpiece, the gripper, and the arm portion in a loading area, and is capable of displaying the auxiliary device, the workpiece, the gripper, and the arm portion detected by the control device, respectively. a display device; the control device includes a determination unit that determines a state of interference between at least one of the gripper and the arm portion detected and at least one of the auxiliary device and the workpiece; The device is configured to be able to display information representing the interference state determined by the determination unit of the control device on a display screen.

本発明の一態様に係る干渉判別表示方法は、ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像する工程と、前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する工程と、前記制御装置によって検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する工程と、前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部を表示装置により表示画面上にそれぞれ表示する工程と、を備え、前記表示する工程は、前記判定する工程で判定された前記干渉状態を表す情報を前記表示画面上に併せて表示する工程を含む。 An interference discrimination display method according to one aspect of the present invention includes a part of an auxiliary device that is portable and can be freely placed to assist work on the workpiece, and a workpiece holding robot that holds the workpiece while a workpiece is loaded. A step of imaging a loading area in which a gripper and an arm portion are arranged on the workpiece using an imaging device, and a control device controlling the auxiliary device, the Detecting the workpiece, the gripper, and the arm, and determining an interference state between at least one of the gripper and the arm detected by the control device, and at least one of the auxiliary device and the workpiece. and a step of displaying the auxiliary device, the workpiece, the gripper, and the arm portion detected by the control device on a display screen using a display device, and the displaying step includes the step of determining the and displaying information representing the interference state determined in step 1 on the display screen.

本発明の一態様に係る干渉判別表示プログラムは、ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像させる処理と、前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出させる処理と、前記制御装置によって検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定させる処理と、前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部を表示装置により表示画面上にそれぞれ表示させると共に、前記判定させる工程で判定された前記干渉状態を表す情報を前記表示装置により前記表示画面上に併せて表示させる処理と、をコンピュータに実行させる。 An interference discrimination display program according to an aspect of the present invention includes a part of an auxiliary device that is portable and can be freely placed to assist work on the workpiece, and a workpiece holding robot that holds the workpiece while the workpiece is loaded. A process of causing an imaging device to image the loading area where the gripper and the arm portion are arranged on the workpiece, and a control device controlling the auxiliary device and the A process of detecting the work, the gripper, and the arm, respectively, and determining an interference state between at least one of the gripper and the arm detected by the control device, and at least one of the auxiliary device and the work. information representing the interference state determined in the step of displaying the auxiliary device, the workpiece, the gripper, and the arm portion detected by the control device on a display screen using a display device; and causing the computer to execute a process of causing the display device to simultaneously display the above on the display screen.

本発明の一態様に係る干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムによれば、ワークが積載され、補助装置の一部並びにワーク保持用ロボットのグリッパ及びアーム部がワーク上に配置された、これらが存在する積載エリアの撮像画像に基づき、積載エリア内における補助装置、ワーク並びにグリッパ及びアーム部をそれぞれ検出し、検出されたグリッパ及びアーム部の少なくとも一つと、補助装置及びワークの少なくとも一つと、の干渉状態を判定し、判定された干渉状態を表す情報を表示画面上に表示することができるので、ワーク保持用ロボットに対する干渉を正確に判別表示することができる。 According to the interference discrimination display system, interference discrimination display method, and interference discrimination display program according to one aspect of the present invention, a workpiece is loaded, and a part of the auxiliary device and the gripper and arm portion of the workpiece holding robot are placed on the workpiece. The auxiliary device, the workpiece, the gripper, and the arm are each detected in the loading area based on the captured image of the loading area in which they exist, and at least one of the detected gripper and arm and the auxiliary device and the workpiece are detected. Since it is possible to determine the interference state with at least one of the objects and display information representing the determined interference state on the display screen, interference with the work holding robot can be accurately determined and displayed.

本発明の一態様に係る干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムによれば、ワーク保持用ロボットに対する干渉を正確に判別表示することができる。 According to the interference discrimination and display system, interference discrimination and display method, and interference discrimination and display program according to one aspect of the present invention, it is possible to accurately discriminate and display interference with a workpiece holding robot.

図１は、本発明の一実施形態に係る干渉判別表示システムの構成例を概略的に示す斜視図である。FIG. 1 is a perspective view schematically showing a configuration example of an interference discrimination display system according to an embodiment of the present invention. 図２は、一実施形態に係る干渉判別表示システムにおける補助装置に設けられた指標の一例を示す図である。FIG. 2 is a diagram illustrating an example of an indicator provided on an auxiliary device in an interference discrimination display system according to an embodiment. 図３は、一実施形態に係る干渉判別表示システムにおける制御装置の機能的構成を概略的に示すブロック図である。FIG. 3 is a block diagram schematically showing the functional configuration of a control device in an interference discrimination display system according to an embodiment. 図４は、一実施形態に係る干渉判別表示システムにおける制御装置のハードウェア構成を概略的に示す構成図である。FIG. 4 is a configuration diagram schematically showing the hardware configuration of a control device in an interference discrimination display system according to an embodiment. 図５は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像を概念的に示すイメージ図である。FIG. 5 is an image diagram conceptually showing a captured image captured by an imaging device of an interference discrimination display system according to an embodiment. 図６は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像における補助装置の実在領域を概念的に示すイメージ図である。FIG. 6 is an image diagram conceptually showing the actual area of the auxiliary device in a captured image captured by the imaging device of the interference discrimination display system according to an embodiment. 図７は、一実施形態に係る干渉判別表示システムの干渉判別表示処理の一例を示すフローチャートである。FIG. 7 is a flowchart illustrating an example of interference discrimination display processing of the interference discrimination display system according to an embodiment. 図８は、撮像画像を用いたマッチングを概念的に説明するためのイメージ図である。FIG. 8 is an image diagram for conceptually explaining matching using captured images. 図９は、撮像画像におけるワークの画像と探索範囲内でマッチングされたワークモデルを概念的に説明するためのイメージ図である。FIG. 9 is an image diagram for conceptually explaining an image of a workpiece in a captured image and a workpiece model matched within a search range. 図１０は、撮像画像を用いたデータ作成及びマッチングを概念的に説明するためのイメージ図である。FIG. 10 is an image diagram for conceptually explaining data creation and matching using captured images. 図１１は、一実施形態に係る干渉判別表示システムの表示装置による表示例を説明するための図である。FIG. 11 is a diagram for explaining a display example on a display device of an interference discrimination display system according to an embodiment. 図１２は、一実施形態に係る干渉判別表示システムの表示装置による表示例を説明するための図である。FIG. 12 is a diagram for explaining a display example on a display device of an interference discrimination display system according to an embodiment. 図１３は、一実施形態に係る干渉判別表示システムの表示装置による他の表示例を説明するための図である。FIG. 13 is a diagram for explaining another display example by the display device of the interference discrimination display system according to one embodiment. 図１４は、一実施形態に係る干渉判別表示システムの表示装置による他の表示例を説明するための図である。FIG. 14 is a diagram for explaining another example of display by the display device of the interference discrimination display system according to one embodiment.

以下、添付の図面を参照して、本発明の実施形態に係る干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムを詳細に説明する。ただし、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、以下の実施形態において、同一又は相当する構成要素には、同一の符号を付して重複した説明を省略する。また、実施形態においては、各構成要素の配置、縮尺及び寸法等が誇張或いは矮小化されて、実際のものとは一致しない状態で示されている場合、並びに一部の構成要素につき記載が省略されて示されている場合がある。 EMBODIMENT OF THE INVENTION Hereinafter, an interference discrimination display system, an interference discrimination display method, and an interference discrimination display program according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the following embodiments do not limit the invention according to each claim, and not all combinations of features described in the embodiments are essential to the solution of the invention. . Furthermore, in the embodiments below, the same or corresponding components are given the same reference numerals and redundant explanations will be omitted. In addition, in the embodiments, the arrangement, scale, dimensions, etc. of each component are exaggerated or miniaturized and are shown in a state that does not correspond to the actual thing, and the description of some components is omitted. may be indicated.

［干渉判別表示システムの全体構成］
図１は、本発明の一実施形態に係る干渉判別表示システムの構成例を概略的に示す斜視図である。
図１に示すように、一実施形態に係る干渉判別表示システム１００は、積載エリアＴＡ内に積載されたワークＷに対する作業（例えば、曲げ加工機等へのローディング等）を補助する配置自在な可搬性を有するワークめくり装置（補助装置）１０と、積載エリアＴＡ内のワークＷを保持するグリッパ４１及びアーム部４２を有するワーク保持用ロボット４０と、ワークＷ、ワークめくり装置（補助装置）１０並びにグリッパ４１及びアーム部４２が存在し得る積載エリアＴＡを撮像可能なカメラ（撮像装置）２０と、カメラ（撮像装置）２０によって撮像された撮像画像に基づいて、積載エリアＴＡ内におけるワークめくり装置（補助装置）１０及びワークＷをそれぞれ検出、並びにグリッパ４１及びアーム部４２を事前の位置情報と検出されたワークＷの位置とに基づき演算して検出する制御装置３０と、制御装置３０によって検出されたワークめくり装置（補助装置）１０、ワークＷ並びにグリッパ４１及びアーム部４２をそれぞれ表示可能なディスプレイ（表示装置）６９と、を備える。制御装置３０は、検出されたグリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置（補助装置）１０及びワークＷの少なくとも一つと、の干渉状態を判定する判定部を含む。ディスプレイ（表示装置）６９は、制御装置３０の判定部によって判定された干渉状態を表す情報を表示画面６９ａ上に表示可能に構成されている。 [Overall configuration of interference discrimination display system]
FIG. 1 is a perspective view schematically showing a configuration example of an interference discrimination display system according to an embodiment of the present invention.
As shown in FIG. 1, an interference discrimination display system 100 according to an embodiment is a freely disposed device that assists work (for example, loading into a bending machine, etc.) on a workpiece W loaded in a loading area TA. A workpiece turning device (auxiliary device) 10 having transportability, a work holding robot 40 having a gripper 41 and an arm section 42 that hold the workpiece W in the loading area TA, the workpiece W, the workpiece turning device (auxiliary device) 10, and A camera (imaging device) 20 that can image the loading area TA where the gripper 41 and the arm part 42 may be present, and a workpiece turning device ( Auxiliary device) 10 and the workpiece W, respectively, and a control device 30 that calculates and detects the gripper 41 and the arm section 42 based on prior position information and the detected position of the workpiece W; The present invention includes a workpiece turning device (auxiliary device) 10, a display (display device) 69 capable of displaying the workpiece W, the gripper 41, and the arm section 42, respectively. The control device 30 includes a determination unit that determines an interference state between at least one of the detected gripper 41 and the arm portion 42 and at least one of the workpiece turning device (auxiliary device) 10 and the workpiece W. The display (display device) 69 is configured to be able to display information representing the interference state determined by the determination section of the control device 30 on the display screen 69a.

一実施形態の干渉判別表示システム１００において、図示の各ワークめくり装置（１枚取り装置）１０は、いわゆる１枚取り装置として機能する。すなわち、ワークめくり装置１０は、ワーク保持用ロボット４０によるローディング作業に際し、複数のワークＷが積載されたワーク山から、最上部にあるワークＷを１枚取りする。 In the interference discrimination display system 100 of one embodiment, each illustrated workpiece turning device (single sheet picking device) 10 functions as a so-called one sheet picking device. That is, when the workpiece holding robot 40 performs a loading operation, the workpiece turning device 10 picks up one workpiece W at the top from a workpiece pile on which a plurality of worksws W are loaded.

ワークめくり装置１０は、配置自在な可搬性を備える。ワークめくり装置１０は、積載エリアＴＡ内外の複数箇所に自在に配置され得る。一実施形態においては、ワークめくり装置１０は、パレットＰ上の積載エリアＴＡ内に複数配置されたワークＷに、それぞれ対応するよう配置されている。より具体的には、ワークめくり装置１０は、積載エリアＴＡ内において各ワークＷに対し、例えば、その一部がワーク上に配置されるよう一対一の対応関係で配置され得る。 The workpiece turning device 10 is portable and can be freely placed. The workpiece turning device 10 can be freely arranged at a plurality of locations inside and outside the loading area TA. In one embodiment, the workpiece turning device 10 is arranged to correspond to a plurality of works W arranged within the loading area TA on the pallet P, respectively. More specifically, the workpiece turning device 10 may be arranged in one-to-one correspondence with respect to each workpiece W within the loading area TA, for example, so that a portion thereof is arranged on the workpiece.

ワークめくり装置１０は、例えば、上面視矩形状の外径を有する装置本体１０Ａと、この装置本体１０Ａに対して、いわゆる片持ち状に設けられた可動部であるめくりユニット１０Ｂと、を有する。装置本体１０Ａは、装置の上方側に設けられた天面部１１と、この天面部１１から装置の前方側において、左右二箇所で傾斜する斜面部１２と、天面部１１（及び斜面部１２）とそれぞれ装置の左右側において繋がる一対の側面部１３と、を有する。 The workpiece turning device 10 includes, for example, a device main body 10A having a rectangular outer diameter when viewed from above, and a turning unit 10B, which is a movable portion provided in a so-called cantilever shape with respect to the device main body 10A. The device main body 10A includes a top surface portion 11 provided on the upper side of the device, a slope portion 12 that slopes at two places on the left and right from the top surface portion 11 on the front side of the device, and a top surface portion 11 (and slope portion 12). It has a pair of side surfaces 13 that are connected to each other on the left and right sides of the device.

装置本体１０Ａの天面部１１、斜面部１２及び一対の側面部１３の所定箇所には、それぞれワークめくり装置１０の位置及び方向を識別可能な指標としてのマーカ１４，１５，１６が設けられている。具体的には、マーカ１４，１６は、装置本体１０Ａの天面部１１及び一対の側面部１３の所定箇所に複数設けられている。また、マーカ１５は、装置本体１０Ａの斜面部１２の所定箇所に複数設けられている。 Markers 14, 15, and 16 are provided at predetermined locations on the top portion 11, slope portion 12, and pair of side portions 13 of the device main body 10A, respectively, as indicators for identifying the position and direction of the workpiece turning device 10. . Specifically, a plurality of markers 14 and 16 are provided at predetermined locations on the top surface portion 11 and the pair of side surface portions 13 of the device main body 10A. Further, a plurality of markers 15 are provided at predetermined locations on the slope portion 12 of the device main body 10A.

より具体的には、マーカ１４は、装置本体１０Ａの天面部１１における装置の後方側に近い左右二箇所に設けられている。また、マーカ１６は、装置本体１０Ａの一対の側面部１３における装置の上方側に近い箇所にそれぞれ設けられている。すなわち、マーカ１６は、マーカ１４の側方かつ直下に設けられている。また、マーカ１５は、装置本体１０Ａの二箇所の斜面部１２における傾斜方向両端部近傍箇所にそれぞれ設けられている。マーカ１４～１６の詳細については後述する。 More specifically, the markers 14 are provided at two locations on the top surface 11 of the device main body 10A, on the left and right near the rear side of the device. Furthermore, the markers 16 are provided at locations close to the upper side of the device on the pair of side surfaces 13 of the device main body 10A. That is, the marker 16 is provided to the side of and directly below the marker 14. Further, the markers 15 are provided at two locations near both ends of the slope portion 12 in the slope direction of the device main body 10A. Details of the markers 14 to 16 will be described later.

めくりユニット１０Ｂは、例えば、エアの噴射圧力及び吸着力によって、パレットＰ上の積載エリアＴＡ内に載置された複数の板状のワークＷのワーク山から、最上部のワークＷを、他のワークＷからめくって分離する機能を有する。なお、装置本体１０Ａには、めくりユニット１０Ｂの駆動系の各種機器が内蔵されている。 The turning unit 10B, for example, uses air injection pressure and adsorption force to remove the topmost workpiece W from a stack of a plurality of plate-shaped workpieces W placed in the loading area TA on the pallet P. It has the function of flipping and separating from the workpiece W. Note that the device main body 10A has built-in various devices for the drive system of the turning unit 10B.

このように、ワークめくり装置１０は、めくりユニット１０ＢによってワークＷを１枚取りする１枚取り装置として用いられ得るが、１枚取り装置の詳細構成については公知であるため、ここでは説明を省略する。なお、一実施形態のワークめくり装置１０においては、めくりユニット１０Ｂの配置側を装置の前方側と定義する。 In this way, the workpiece turning device 10 can be used as a single-sheet picking device that picks up one workpiece W using the turning unit 10B, but since the detailed configuration of the single-sheet picking device is well known, the explanation will be omitted here. do. In the workpiece turning device 10 of one embodiment, the side where the turning unit 10B is arranged is defined as the front side of the device.

一実施形態の補助装置としては、上記のようなワークめくり装置１０を例に挙げて説明するが、補助装置はワークＷに対する各種の作業を補助することができるものであれば、これに限定されるものではない。なお、図示は省略するが、各ワークめくり装置１０、カメラ２０及び制御装置３０は、それぞれ有線又は無線により、互いにデータや信号を送受信可能に接続されている。 The auxiliary device of one embodiment will be described using the workpiece turning device 10 as described above as an example, but the auxiliary device is not limited to this as long as it can assist various operations on the workpiece W. It's not something you can do. Although not shown, each workpiece turning device 10, camera 20, and control device 30 are connected to each other by wire or wirelessly so that data and signals can be transmitted and received.

ワーク保持用ロボット４０は、パレットＰと、ワークＷの搬送先（例えば、曲げ加工機等）との間に配置されている。ワーク保持用ロボット４０は、積載エリアＴＡに積載された複数のワークＷからなるワーク山のうち、ワークめくり装置１０により１枚取りされた最上部のワークＷを保持し、このワークＷを曲げ加工機等の搬送先に向けて搬送するように構成されている。 The workpiece holding robot 40 is arranged between the pallet P and a destination (for example, a bending machine, etc.) to which the workpiece W is to be transported. The workpiece holding robot 40 holds the topmost workpiece W picked up by the workpiece turning device 10 from among the workpiece pile consisting of a plurality of workpieces W loaded in the loading area TA, and bends this workpiece W. It is configured to be transported toward a destination such as a machine.

具体的には、ワーク保持用ロボット４０は、パレットＰ近傍の床面上にワーク保持用ロボット４０を設置するための設置台４３と、ワークＷを保持可能なロボットハンドとしてのグリッパ４１と、グリッパ４１をワークＷに対して近接及び離隔させるアーム部４２と、を備えている。 Specifically, the workpiece holding robot 40 includes an installation base 43 for installing the workpiece holding robot 40 on the floor near the pallet P, a gripper 41 as a robot hand capable of holding the workpiece W, and a gripper. 41 is provided with an arm portion 42 that moves the workpiece W toward and away from the workpiece W.

なお、ワーク保持用ロボット４０は、種々の公知の構成を採用可能であるため、その詳細な説明は省略するが、例えば、グリッパ４１がワークＷに接触したことを検出可能な検出センサ（図示せず）と、ワーク保持用ロボット４０の制御を行う制御部（図示せず）と、を備えて構成され得る。 Note that the work holding robot 40 can employ various known configurations, so a detailed explanation thereof will be omitted. ) and a control section (not shown) that controls the workpiece holding robot 40.

カメラ２０は、例えば、安価で汎用性の高い単眼カメラ（すなわち、１台のカメラ）により構成され得る。カメラ２０は、積載エリアＴＡの全体を撮像範囲として撮像可能となるように、例えば、パレットＰの積載エリアＴＡの中央直上に、カメラスタンド２１等の支持部材を介して配置されている。 The camera 20 may be configured by, for example, an inexpensive and highly versatile monocular camera (that is, one camera). The camera 20 is disposed, for example, directly above the center of the loading area TA of the pallet P via a support member such as a camera stand 21 so that it can image the entire loading area TA as an imaging range.

カメラ２０は、例えば、可視光を捉える公知の光学式カメラ、及びレーザ光を送信して走査し、反射光を受光することで３次元距離画像を撮像画像として取得する３Ｄ距離画像センサ等により構成され得る。なお、カメラ２０によるパレットＰ上の積載エリアＴＡの撮像に関して、得られる撮像画像の各種キャリブレーションは予め行われているものとする。 The camera 20 includes, for example, a known optical camera that captures visible light, a 3D distance image sensor that transmits and scans a laser beam, and acquires a three-dimensional distance image as a captured image by receiving reflected light. can be done. In addition, regarding the imaging of the loading area TA on the pallet P by the camera 20, it is assumed that various calibrations of the obtained captured image have been performed in advance.

また、図示は省略するが、パレットＰの周囲所定箇所には、積載エリアＴＡに積載されたワークＷに照射光を照射する、複数個の発光ダイオード（ＬＥＤ）等を有する照明設備が設けられている。カメラ２０により積載エリアＴＡを撮像する際には、この照明設備によってワークＷに照射光を照射するようにすれば、撮像画像の明るさを適正露出にて適切に調整することができる。 Although not shown, lighting equipment including a plurality of light emitting diodes (LEDs), etc., is provided at predetermined locations around the pallet P to irradiate light onto the workpieces W loaded in the loading area TA. There is. When capturing an image of the loading area TA with the camera 20, by irradiating the workpiece W with light using this illumination equipment, the brightness of the captured image can be appropriately adjusted with proper exposure.

制御装置３０は、干渉判別表示システム１００全体の制御を行うＮＣ装置等の機能を有する。また、制御装置３０は、カメラ２０によって撮像された撮像画像に基づいて、画像解析及び画像補正等の画像処理全般を行う画像処理装置の機能を有する。制御装置３０は、ディスプレイ６９と、例えば、キーボード及びマウス等の入力装置からなる入力部３５ａと、を備えて構成されている。なお、制御装置３０は、ディスプレイ６９及び入力部３５ａに代わり同等の機能を備えることが可能な構成（例えば、遠隔から利用可能な表示手段及び入力手段等）であれば、これに限定されるものではない。 The control device 30 has functions such as an NC device that controls the entire interference discrimination display system 100. Further, the control device 30 has the function of an image processing device that performs general image processing such as image analysis and image correction based on the captured image captured by the camera 20. The control device 30 includes a display 69 and an input section 35a including input devices such as a keyboard and a mouse. Note that the control device 30 is not limited to this, as long as it has a configuration that can provide equivalent functions in place of the display 69 and the input unit 35a (for example, a display means and an input means that can be used remotely). isn't it.

制御装置３０は、具体的には、ワークめくり装置１０の積載エリアＴＡ内における配置位置及び配置の向きを判別し、ワークめくり装置１０を検出する。また、制御装置３０は、積載エリアＴＡ上のワークＷの実際の積載位置（実積載位置）を特定し、ワークＷを検出する。 Specifically, the control device 30 detects the workpiece turning device 10 by determining the position and orientation of the workpiece turning device 10 in the loading area TA. Further, the control device 30 identifies the actual loading position (actual loading position) of the work W on the loading area TA, and detects the work W.

更に、制御装置３０は、例えば、ワーク保持用ロボット４０の設置位置を含む事前の位置情報も加味して、演算により積載エリアＴＡ内におけるグリッパ４１及びアーム部４２を含むワーク保持用ロボット４０の全体的な位置を特定し、ワーク保持用ロボット４０を検出する。この検出の際には、少なくともグリッパ４１及びアーム部４２の位置が把握できるよう、ワーク保持用ロボット４０の検出が行われていればよい。そして、制御装置３０は、検出されたワーク保持用ロボット４０に対する、ワークめくり装置１０及びワークＷの少なくとも一つの干渉状態を判定する。 Further, the control device 30 calculates the entire workpiece holding robot 40 including the gripper 41 and the arm part 42 in the loading area TA by taking into account prior position information including the installation position of the workpiece holding robot 40, for example. The work holding robot 40 is detected. At the time of this detection, it is sufficient that the workpiece holding robot 40 is detected so that at least the positions of the gripper 41 and the arm section 42 can be grasped. Then, the control device 30 determines the interference state of at least one of the workpiece turning device 10 and the workpiece W with respect to the detected workpiece holding robot 40.

ディスプレイ６９は、上記のように制御装置３０に備えられ、検出されたワークめくり装置１０、ワークＷ及びグリッパ４１を含むワーク保持用ロボット４０をそれぞれ表示可能な表示画面６９ａを有する。ディスプレイ（表示装置）６９は、干渉状態を表す情報を、グリッパ及びアーム部４２の少なくとも一つに対するワークめくり装置（補助装置）１０及びワークＷの少なくとも一つの干渉箇所が視認可能となるよう表示する。 The display 69 is provided in the control device 30 as described above, and has a display screen 69a that can display the detected workpiece turning device 10, the detected workpiece W, and the workpiece holding robot 40 including the gripper 41. The display (display device) 69 displays information representing the interference state so that at least one interference location of the workpiece turning device (auxiliary device) 10 and the workpiece W with at least one of the gripper and the arm section 42 can be visually recognized. .

具体的には、ディスプレイ（表示装置）６９は、干渉箇所をその他の箇所と識別可能な特殊表示により表示する。特殊表示は、例えば、干渉箇所を囲む枠表示、干渉箇所を強調する強調表示、干渉箇所を点滅させる点滅表示、干渉箇所を塗り潰す塗り潰し表示、及び干渉箇所の色を反転させる色反転表示等が挙げられる。 Specifically, the display (display device) 69 displays a special display that allows the interference location to be distinguished from other locations. Special displays include, for example, a frame display surrounding the interference location, a highlighted display that emphasizes the interference location, a flashing display that flashes the interference location, a filled display that fills out the interference location, and a color inversion display that reverses the color of the interference location. Can be mentioned.

なお、上述したものと併せて、干渉状態を表す態様としては、例えば、ディスプレイ（表示装置）は、干渉状態を表す情報を、グリッパ４１及びアーム部４２の少なくとも一つに対するワークめくり装置（補助装置）１０及びワークＷの少なくとも一つの干渉距離を表す数値情報として表示するようにしてもよい。この場合、干渉距離を表す数値情報は、例えば、２次元座標系の数値情報（Ｘ方向の数値及びＹ方向の数値）等が挙げられる。 In addition to the above, as a mode of representing the interference state, for example, a display (display device) may display information representing the interference state as a workpiece turning device (auxiliary device) for at least one of the gripper 41 and the arm section 42. ) 10 and the workpiece W may be displayed as numerical information representing the interference distance of at least one of them. In this case, the numerical information representing the interference distance may be, for example, numerical information on a two-dimensional coordinate system (values in the X direction and values in the Y direction).

また、干渉状態を表す情報と共に、或いは干渉状態を表す情報と切り替えて、ディスプレイ（表示装置）６９は、干渉状態を回避する場合のワークめくり装置（補助装置）１０の配置の向きを含む配置可能位置に関する情報を表示可能に構成されている。この場合、配置可能位置に関する情報は、例えば、上記のような特殊表示により表示され得る。 Further, together with the information representing the interference state, or by switching from the information representing the interference state, the display (display device) 69 can be arranged including the orientation of the workpiece turning device (auxiliary device) 10 when avoiding the interference state. It is configured to be able to display information regarding location. In this case, information regarding the possible placement position may be displayed, for example, by a special display as described above.

［指標としてのマーカ］
図２は、一実施形態に係る干渉判別表示システムにおける補助装置に設けられた指標の一例を示す図である。
上記のように、制御装置３０は、ワークめくり装置１０を検出する際に、マーカ１４～１６に基づいて、ワークめくり装置１０の積載エリアＴＡ内における配置位置及び配置の向きを判別し得る。 [Marker as an indicator]
FIG. 2 is a diagram illustrating an example of an indicator provided on an auxiliary device in an interference discrimination display system according to an embodiment.
As described above, when detecting the workpiece turning device 10, the control device 30 can determine the position and orientation of the workpiece turning device 10 in the loading area TA based on the markers 14 to 16.

図２に示すように、ワークめくり装置１０の装置本体１０Ａに設けられたマーカ１４～１６は、例えば、公知のＡｒＵｃｏマーカやＣｈＡｒＵｃｏマーカ等を含むＡＲ（拡張現実）マーカにより構成することができる。マーカ１４（１５，１６）は、マーカ全体を表す全体領域１８と、マーカによる位置及び方向を識別させるための識別領域１９と、を少なくとも備えたフィルム状部材や板状部材により構成されている。 As shown in FIG. 2, the markers 14 to 16 provided on the device main body 10A of the workpiece turning device 10 can be configured with AR (Augmented Reality) markers including, for example, well-known ArUco markers, ChArUco markers, and the like. The marker 14 (15, 16) is constituted by a film-like member or a plate-like member that includes at least an entire area 18 representing the entire marker and an identification area 19 for identifying the position and direction of the marker.

マーカ１４～１６の識別領域１９の形状は、例えば、図２に示す例では単純な矩形を組み合わせた形状である。識別領域１９の形状は、その他、図示は省略するが、複数の矩形や正方形を組み合わせたり、全体領域１８内の識別領域１９の位置を変更したりした形状であってもよい。識別領域１９の形状は、ワークめくり装置１０の位置及び方向を、少なくともそれ単体で識別できる形状であれば、図示のものに限定されるものではなく、より複雑な形状や、より単純な形状等の種々の形状を採用し得る。 The shape of the identification area 19 of the markers 14 to 16 is, for example, a combination of simple rectangles in the example shown in FIG. Although not shown, the shape of the identification area 19 may be a combination of a plurality of rectangles or squares, or a shape in which the position of the identification area 19 within the entire area 18 is changed. The shape of the identification area 19 is not limited to that illustrated, as long as it can at least identify the position and direction of the workpiece turning device 10 by itself, and may be a more complicated shape, a simpler shape, etc. Various shapes can be adopted.

マーカ１４～１６は、カメラ２０の画素数や撮影解像度等の撮像性能に応じて、その寸法（全体領域１８及び識別領域１９の大きさや形状等）が設定され得る。マーカ１４～１６は、積載エリアＴＡを上方から撮像した撮像画像から十分にワークめくり装置１０の配置位置及び配置の向きを判別可能となるように検出され得るものであれば、少なくとも装置本体１０Ａの天面部１１に一つ設けられていればよい。すなわち、ワークめくり装置１０が正規の配置状態である場合は、天面部１１が撮像画像に最も写り込みやすいからである。 The dimensions of the markers 14 to 16 (such as the size and shape of the entire area 18 and the identification area 19) can be set depending on the imaging performance such as the number of pixels and the imaging resolution of the camera 20. The markers 14 to 16 can be detected at least in the apparatus main body 10A as long as they can be detected so that the position and orientation of the workpiece turning device 10 can be sufficiently determined from the captured image of the loading area TA taken from above. It suffices if one is provided on the top section 11. That is, when the workpiece turning device 10 is in the normal arrangement state, the top surface portion 11 is most likely to appear in the captured image.

なお、マーカ１６は、例えばワークめくり装置１０が正規の配置状態ではない場合（転倒した場合等）であっても、側面部１３が上向きとなって静止したときに、ワークめくり装置１０の位置及び方向（積載エリアＴＡ内における転倒時の配置位置及び配置の向き）を識別可能とするために設けられている。 Note that the marker 16 indicates the position and position of the workpiece turning device 10 when it stands still with the side surface 13 facing upward, for example, even if the workpiece turning device 10 is not in the normal arrangement state (such as when it falls down). This is provided to enable identification of the direction (the position and orientation of the arrangement at the time of overturning within the loading area TA).

［制御装置の機能的構成］
図３は、一実施形態に係る干渉判別表示システムにおける制御装置の機能的構成を概略的に示すブロック図である。
図３に示すように、カメラ２０により撮像された撮像画像の画像データは、制御装置３０に入力される。制御装置３０は、機能的には、画像取得部３１と、画像処理部３２と、演算部３３と、記憶部３４と、操作部３５と、を備える。 [Functional configuration of control device]
FIG. 3 is a block diagram schematically showing the functional configuration of a control device in an interference discrimination display system according to an embodiment.
As shown in FIG. 3, image data of a captured image captured by the camera 20 is input to the control device 30. Functionally, the control device 30 includes an image acquisition section 31, an image processing section 32, a calculation section 33, a storage section 34, and an operation section 35.

なお、ワークめくり装置１０の検出、ワークＷの検出は、主に制御装置３０の画像処理部３２に含まれる検出部３２ａによって行われる。ワーク保持用ロボット４０のグリッパ４１及びアーム部４２の位置（移動位置）の演算は、記憶部３４から読み出されたグリッパ４１及びアーム部４２の基準位置（事前の位置情報）と検出されたワークＷの位置とに基づき演算部３３で行われ、記憶部３４に格納される。また、検出部３２ａによって検出されたワークめくり装置１０及びワークＷの少なくとも一つと、記憶部３４に格納されたグリッパ４１及びアーム部４２（の移動位置）の少なくとも一つと、の干渉状態の判定は、主に制御装置３０の画像処理部３２に含まれる判定部３２ｂによって行われる。 Note that the detection of the workpiece turning device 10 and the detection of the workpiece W are mainly performed by the detection section 32a included in the image processing section 32 of the control device 30. The positions (movement positions) of the gripper 41 and arm section 42 of the workpiece holding robot 40 are calculated based on the reference positions (prior position information) of the gripper 41 and arm section 42 read from the storage section 34 and the detected workpiece. This is performed by the calculation unit 33 based on the position of W, and is stored in the storage unit 34. Further, the determination of the interference state between at least one of the workpiece turning device 10 and the workpiece W detected by the detection unit 32a and at least one of (the movement position of) the gripper 41 and the arm unit 42 stored in the storage unit 34 is performed. , is mainly performed by the determination section 32b included in the image processing section 32 of the control device 30.

画像処理部３２の検出部３２ａは、ワークめくり装置１０を、例えば、積載エリアＴＡ内における配置位置及び配置の向きを判別（以下、このような処理を「判別処理」と呼ぶことがある。）して検出する。また、検出部３２ａは、ワークＷを、例えば、積載エリアＴＡ上の実積載位置を特定して検出する。画像処理部３２の判定部３２ｂは、検出部３２ａによって検出されたワークめくり装置１０及びワークＷの少なくとも一つと、記憶部３４に格納されたグリッパ４１及びアーム部４２（の移動位置）の少なくとも一つと、の干渉状態を、これらによる干渉の有無を判断するための干渉計算を行って判定する。 The detection unit 32a of the image processing unit 32 determines the placement position and orientation of the workpiece flipping device 10 within the loading area TA (hereinafter, such processing may be referred to as “determination processing”). to detect. Further, the detection unit 32a detects the workpiece W by specifying, for example, the actual loading position on the loading area TA. The determination unit 32b of the image processing unit 32 determines at least one of the workpiece turning device 10 and the workpiece W detected by the detection unit 32a, and at least one of (the movement position of) the gripper 41 and the arm unit 42 stored in the storage unit 34. The state of interference is determined by performing interference calculations to determine the presence or absence of interference due to these factors.

画像取得部３１は、カメラ２０から出力された撮像画像の画像データを取得する。画像処理部３２は、画像取得部３１が取得した画像データに対して、二値化処理やソーベル法を用いた輪郭検出処理（エッジ検出処理）、モルフォロジー処理、ニュートン法を用いた近似処理、テンプレートマッチング処理等を含む各種画像変換・画像解析処理（以下、このような処理を「画像処理」と総称する。）を施す。 The image acquisition unit 31 acquires image data of a captured image output from the camera 20. The image processing unit 32 performs binarization processing, contour detection processing (edge detection processing) using the Sobel method, morphology processing, approximation processing using the Newton method, and template processing on the image data acquired by the image acquisition unit 31. Various image conversion/image analysis processes (hereinafter, such processes are collectively referred to as "image processing") including matching processing and the like are performed.

検出部３２ａは、例えば、画像処理後の画像データに基づくマーカ検出機能及びマッチング処理機能を有し、上記判別処理を実行する。なお、画像データ（ラスタデータ）は、画像処理部３２による画像処理によって、積載エリアＴＡ内のワークめくり装置１０、ワークＷ等の写し出された各物体の輪郭成分を特徴量（幾何学形状データ）として抽出し、線状に繋げた線分で表現可能な数値データ（ベクタデータ）に変換され得るものである。例えば、後述するマッチング処理は、処理負荷の軽減を図るため、特に言及しない場合はベクタデータ同士で行われ得る。 The detection unit 32a has, for example, a marker detection function and a matching processing function based on image data after image processing, and executes the above-mentioned discrimination processing. The image data (raster data) is processed by image processing by the image processing unit 32 to convert outline components of projected objects such as the workpiece flipping device 10 and the workpiece W in the loading area TA into feature quantities (geometric shape data). , and can be converted into numerical data (vector data) that can be expressed by linearly connected line segments. For example, in order to reduce the processing load, matching processing to be described later may be performed on vector data unless otherwise specified.

検出部３２ａは、検出したワークめくり装置１０の実在領域Ｒ（図６参照）を、演算により位置が検出されたワーク保持用ロボット４０のグリッパ４１及びアーム部４２に対する装置の干渉領域として特定する。また、検出部３２ａは、検出されたワークＷの実積載位置（ｘ位置、ｙ位置及び積載高さ）の情報に基づいて、ワーク山の立体的な領域をグリッパ４１及びアーム部４２に対する特定された干渉領域に含めて認識する。判定部３２ｂは、上述した干渉状態の判定に際し、このようなワークめくり装置１０及びワークＷの干渉領域が、グリッパ４１及びアーム部４２の少なくとも一つに干渉するかを干渉計算により判断し、干渉状態を判定する。 The detection unit 32a specifies the detected real region R (see FIG. 6) of the workpiece turning device 10 as an interference region of the device with the gripper 41 and arm portion 42 of the workpiece holding robot 40 whose position has been detected by calculation. Furthermore, the detection unit 32a specifies the three-dimensional area of the workpiece mountain relative to the gripper 41 and the arm unit 42 based on the information of the detected actual loading position (x position, y position, and loading height) of the workpiece W. It is included in the interference area and recognized. When determining the above-mentioned interference state, the determination unit 32b determines whether the interference area of the workpiece flipping device 10 and the workpiece W interferes with at least one of the gripper 41 and the arm unit 42 by interference calculation, and determines whether the interference is detected. Determine the condition.

演算部３３は、グリッパ４１及びアーム部４２の移動位置の演算、画像処理部３２からの検出結果及び判定結果に基づいて、検出されたワークＷに対応するワークめくり装置１０の動作を制御するための演算、及びディスプレイ６９に画像データを表示出力するための演算等を含めた干渉判別表示システム１００全体を制御するための各種演算処理を行って、各部に対して制御出力を行う。 The calculation unit 33 controls the operation of the workpiece turning device 10 corresponding to the detected workpiece W based on the calculation of the movement positions of the gripper 41 and the arm unit 42, and the detection results and determination results from the image processing unit 32. It performs various calculation processes for controlling the entire interference discrimination display system 100, including calculations for displaying and outputting image data on the display 69, and outputs control to each part.

記憶部３４は、ワークＷやワークめくり装置１０を二次元又は三次元で表すＣＡＤデータ（形状データ）、各種形状の基準となるモデル（ワークモデル）画像及びマーカ１４～１６の基準となるモデル（マーカモデル）画像等の画像データ、並びに上位システムから受信したＣＡＭ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ）データに含まれる各種データ及び各種プログラムデータ等の、制御装置３０にて利用する各種のデータを読み書き可能に記憶する。 The storage unit 34 stores CAD data (shape data) representing the workpiece W and the workpiece turning device 10 in two or three dimensions, images of models (workpiece models) serving as references for various shapes, and models (workpiece models) serving as references for the markers 14 to 16. It stores in a readable and writable manner various data used by the control device 30, such as image data such as marker model) images, various data included in CAM (Computer Aided Manufacturing) data received from the host system, and various program data. .

なお、ワークモデルは、例えば、各種ワークＷの二次元形状を表す形状データからなる。ワークモデル画像は、例えば積載エリアＴＡ上に実際に積載されたワークＷの配置箇所や積載高さ、回転具合等によってカメラ２０で撮像した際に見た目が異なって写る複数の画像（例えば、傾いて見えたりする画像や、歪んで見たりする画像等）が、各ワークＷ毎に複数種類記憶されていてもよい。また、ワークモデル画像は、上述した形状データ（各画像に応じて寸法が変更された形状データ）とそれぞれ紐付けられていてもよい。 Note that the workpiece model includes, for example, shape data representing two-dimensional shapes of various workpieces W. The workpiece model image includes a plurality of images that appear different when captured by the camera 20 (for example, images that are tilted or A plurality of types of images (images that are visible, images that appear distorted, etc.) may be stored for each workpiece W. Furthermore, the work model images may be linked to the shape data described above (shape data whose dimensions have been changed according to each image).

また、マーカモデル画像は、ワークめくり装置１０におけるマーカ１４～１６の高さ位置や回転具合等を加味した場合の該当する画像（例えば、傾いて見えたりする画像や、歪んで見えたりする画像等）が、例えばテンプレート画像として、記憶部３４のデータベース（Ｄａｔａｂａｓｅ：ＤＢ）内に複数種類記憶されている。操作部３５は、制御装置３０のユーザによる操作入力を、入力部３５ａを介して受け付ける。 In addition, the marker model image is an image corresponding to the height position and rotation condition of the markers 14 to 16 in the workpiece turning device 10 (for example, an image that appears tilted, an image that appears distorted, etc.) ) are stored in a database (DB) of the storage unit 34 as template images. The operation unit 35 receives an operation input by a user of the control device 30 via the input unit 35a.

［制御装置のハードウェア構成］
図４は、一実施形態に係る干渉判別表示システムにおける制御装置のハードウェア構成を概略的に示す構成図である。
図４に示すように、制御装置３０は、ハードウェア構成として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６４と、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）６５と、を備える。また、制御装置３０は、入力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６６と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６７と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６８と、を備える。各構成部６１～６８は、それぞれバス６０によって相互に通信可能に接続されている。 [Hardware configuration of control device]
FIG. 4 is a configuration diagram schematically showing the hardware configuration of a control device in an interference discrimination display system according to an embodiment.
As shown in FIG. 4, the control device 30 has a hardware configuration including, for example, a CPU (Central Processing Unit) 61, a RAM (Random Access Memory) 62, a ROM (Read Only Memory) 63, and an HDD (Hard Disk). drive) 64 and an SSD (Solid State Drive) 65. The control device 30 also includes an input I/F (Interface) 66, an output I/F (Interface) 67, and a communication I/F (Interface) 68. The components 61 to 68 are connected to each other via a bus 60 so as to be able to communicate with each other.

ＣＰＵ６１は、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、及びＳＳＤ６５等に記憶された各種プログラムを実行することで、制御装置３０を含めた干渉判別表示システム１００の全体を制御する。これと共に、ＣＰＵ６１は、干渉判別表示プログラムを実行することで、上記画像処理部３２及び演算部３３の機能を実現する。 The CPU 61 controls the entire interference determination display system 100 including the control device 30 by executing various programs stored in the RAM 62, ROM 63, HDD 64, SSD 65, and the like. At the same time, the CPU 61 realizes the functions of the image processing section 32 and the calculation section 33 by executing the interference discrimination display program.

例えば、干渉判別プログラムは、ワークＷが積載されると共に、ワークＷに対する作業を補助する配置自在な可搬性を有するワークめくり装置（補助装置）１０の一部がワークＷ上に配置された積載エリアＴＡを、カメラ（撮像装置）２０により撮像させる処理と、カメラ（撮像装置）２０によって撮像された撮像画像に基づいて、制御装置３０により積載エリアＴＡ内におけるワークめくり装置（補助装置）１０及びワークＷをそれぞれ検出、並びにワークＷを保持するグリッパ４１及びアーム部４２を事前の位置情報と検出されたワークＷの位置とに基づき演算して検出させる処理と、制御装置３０によって検出されたグリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置（補助装置）１０及びワークＷの少なくとも一つと、の干渉状態を判定させる処理と、制御装置３０によって検出されたワークめくり装置（補助装置）１０、ワークＷ並びにグリッパ４１及びアーム部４２をディスプレイ（表示装置）６９により表示画面６９ａ上にそれぞれ表示させると共に、判定させる工程で判定された干渉状態を表す情報をディスプレイ（表示装置）６９により表示画面６９ａ上に併せて表示させる処理と、をＣＰＵ（コンピュータ）６１に実行させるものである。 For example, the interference determination program may be executed in a loading area where the workpieces W are loaded and a part of the workpiece turning device (auxiliary device) 10, which is portable and can be placed freely and assists in the work on the workpieces W, is placed on the workpieces W. Based on the process of imaging the TA by the camera (imaging device) 20 and the captured image taken by the camera (imaging device) 20, the control device 30 controls the workpiece turning device (auxiliary device) 10 and the workpieces in the loading area TA. A process of detecting each of the grippers W and calculating and detecting the gripper 41 and arm section 42 that hold the workpiece W based on prior position information and the detected position of the workpiece W, and the gripper 41 detected by the control device 30. and a process of determining an interference state between at least one of the arm parts 42 and at least one of the workpiece turning device (auxiliary device) 10 and the workpiece W, and the workpiece turning device (auxiliary device) 10 detected by the control device 30, A display (display device) 69 displays the workpiece W, the gripper 41, and the arm section 42 on the display screen 69a, and also displays information representing the interference state determined in the determination process on the display screen 69a. The CPU (computer) 61 executes the processing to be displayed together with the above.

ＲＡＭ６２は、ＣＰＵ６１の作業領域として使用され得る。ＲＯＭ６３は、上記各種プログラムを少なくとも読み出し可能に格納する。ＨＤＤ６４及びＳＳＤ６５は、上述した各種のデータを読み書き可能に記憶し、ＲＡＭ６２及びＲＯＭ６３と共に上記記憶部３４の機能を実現する。 The RAM 62 can be used as a work area for the CPU 61. The ROM 63 stores at least the various programs described above in a readable manner. The HDD 64 and the SSD 65 read/write the various types of data described above, and together with the RAM 62 and the ROM 63 realize the function of the storage section 34 .

入力Ｉ／Ｆ６６には、カメラ２０が接続されて撮像画像が取得される。従って、入力Ｉ／Ｆ６６は、上記画像取得部３１の機能を実現する。これと共に、入力Ｉ／Ｆ６６には、上記操作部３５の入力部３５ａとして機能するタッチパネル６９ｃが接続され、ユーザからの操作入力に伴う情報を受け付ける。なお、入力Ｉ／Ｆ６６には、図示しないキーボードやマウス等の入力手段も接続され得る。 The camera 20 is connected to the input I/F 66 and a captured image is acquired. Therefore, the input I/F 66 realizes the function of the image acquisition section 31 described above. Along with this, a touch panel 69c functioning as the input section 35a of the operation section 35 is connected to the input I/F 66, and receives information associated with operation input from the user. Note that input means such as a keyboard and a mouse (not shown) may also be connected to the input I/F 66.

出力Ｉ／Ｆ６７には、例えば、表示装置としての制御装置３０のディスプレイ６９が接続され、表示画面６９ａ上にモニタ表示される各種情報が出力される。上記タッチパネル６９ｃは、ディスプレイ６９上に設けられていてもよい。なお、制御装置３０は、通信Ｉ／Ｆ６８を介して、図示しないインターネット等のネットワークや外部機器等と接続され得る。 For example, a display 69 of the control device 30 as a display device is connected to the output I/F 67, and various information displayed on a monitor on a display screen 69a is output. The touch panel 69c may be provided on the display 69. Note that the control device 30 can be connected to a network such as the Internet, external equipment, etc. (not shown) via the communication I/F 68.

［補助装置の判別処理］
図５は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像を概念的に示すイメージ図である。
制御装置３０は、上記の判別処理に際して、まず、図５に示すような積載エリアＴＡを撮像して画像処理された撮像画像２２から、例えば、画像処理部３２の検出部３２ａがエッジ検出処理等を行う。これにより、検出部３２ａは、ワークめくり装置１０の装置本体１０Ａの天面部１１及び斜面部１２に設けられたマーカ１４，１５（又は側面部１３に設けられたマーカ１６、以下同じ。）を検出する。 [Auxiliary device identification processing]
FIG. 5 is an image diagram conceptually showing a captured image captured by an imaging device of an interference discrimination display system according to an embodiment.
In the above-described determination process, the control device 30 first performs an edge detection process, etc., on a captured image 22 obtained by capturing and image processing the loading area TA as shown in FIG. I do. As a result, the detection unit 32a detects the markers 14 and 15 (or the marker 16 provided on the side surface 13, the same applies hereinafter) provided on the top surface 11 and sloped surface 12 of the main body 10A of the workpiece turning device 10. do.

そして、画像処理部３２は、検出部３２ａにより検出されたマーカ１４，１５の、例えば四隅のピクセル（画素）の位置情報（ピクセル位置）を記憶部３４に記録する。なお、ここで、ピクセル（画素）とは、制御装置３０で撮像画像を取り扱うときの色情報（色調、階調等）を持つ最小単位又は最小要素のことを言う。 Then, the image processing unit 32 records, in the storage unit 34, position information (pixel positions) of, for example, pixels at the four corners of the markers 14 and 15 detected by the detection unit 32a. Note that here, a pixel refers to the smallest unit or smallest element having color information (color tone, gradation, etc.) when the control device 30 handles a captured image.

次に、画像処理部３２は、撮像画像２２内におけるマーカ１４，１５について、記憶部３４に記憶されたＣＡＤデータによる装置の各部及び積載エリアＴＡ等の寸法情報、並びにマーカモデル画像の画像データに基づいて、ワークめくり装置１０における実際のマーカ１４，１５の位置を表す位置モデルを取得する。 Next, the image processing unit 32 converts the markers 14 and 15 in the captured image 22 into dimensional information such as each part of the device and the loading area TA based on the CAD data stored in the storage unit 34, and image data of the marker model image. Based on this, a position model representing the actual positions of the markers 14 and 15 in the workpiece turning device 10 is obtained.

そして、画像処理部３２の検出部３２ａは、マッチング処理によって、（１）位置モデルとピクセル位置をニュートン法等の近似処理にかけて、マーカ１４，１５の積載エリアＴＡ内での物理的位置（ｘ，ｙ，ｚ位置）と回転状態（ｒｚ）を算出する。また、検出部３２ａは、（２）算出結果に基づき物理的位置（ｘ，ｙ，ｚ位置）と回転状態（ｒｚ）を反映した状態のマーカ１４，１５を示すマーカ画像を生成する。 Then, the detection unit 32a of the image processing unit 32 performs matching processing to (1) apply approximation processing such as Newton's method to the position model and the pixel position to determine the physical positions (x, y, z position) and rotation state (rz). Furthermore, the detection unit 32a generates (2) a marker image showing the markers 14 and 15 in a state reflecting the physical position (x, y, z position) and rotation state (rz) based on the calculation result.

また、検出部３２ａは、（３）生成したマーカ画像が示すマーカ１４，１５を、例えば、記憶部３４に予め記憶された各種のマーカモデル画像と、例えばテンプレートマッチング処理を行うことによって探索する。更に、検出部３２ａは、（４）探索したマーカモデル画像が示すマーカのマッチング情報（ｘ，ｙ，ｚ位置及び回転ｒｚ）を基に、記憶部３４に記憶されたマーカ１４，１５のピクセル位置を更新する。 Further, the detection unit 32a (3) searches for the markers 14 and 15 indicated by the generated marker image by, for example, performing template matching processing with various marker model images stored in advance in the storage unit 34, for example. Furthermore, the detection unit 32a detects the pixel positions of the markers 14 and 15 stored in the storage unit 34 based on (4) marker matching information (x, y, z positions and rotation rz) indicated by the searched marker model image. Update.

検出部３２ａは、上記（１）～（４）の各処理を複数回（例えば、５回）繰り返すことによって判別精度を向上させた上で、ワークめくり装置１０の積載エリアＴＡ内における実際の位置と姿勢（すなわち、配置位置及び配置の向き）を判別する。そして、検出部３２ａは、マッチング情報が十分に収束した場合、記憶部３４に記憶されている各種データに基づいて、積載エリアＴＡ内におけるワークめくり装置１０の実在領域Ｒ（図６参照）を算出して、実在領域Ｒを干渉領域に含めた上でワークめくり装置１０を検出する。 The detection unit 32a improves the discrimination accuracy by repeating each of the processes (1) to (4) above multiple times (for example, 5 times), and then determines the actual position of the workpiece turning device 10 in the loading area TA. and the orientation (that is, the placement position and placement direction). Then, when the matching information has sufficiently converged, the detection unit 32a calculates the actual area R (see FIG. 6) of the workpiece turning device 10 within the loading area TA based on various data stored in the storage unit 34. Then, the workpiece turning device 10 is detected after including the actual region R in the interference region.

これにより、例えば、積載エリアＴＡに対して配置自在に配置された複数のワークめくり装置１０の配置位置及び配置の向きを、制御装置３０によって各ワークめくり装置１０ごとに正確に把握して配置状況を判断することが可能となる。そして、制御装置３０によって、配置状況が判別した各ワークめくり装置１０に応じた各種の動作制御等を確実に行うことが可能となる。 As a result, for example, the control device 30 can accurately grasp the arrangement position and orientation of the plurality of workpiece turning devices 10 arranged freely in the loading area TA for each workpiece turning device 10 and the arrangement status. It becomes possible to judge. Then, the control device 30 can reliably perform various operation controls depending on each workpiece turning device 10 whose arrangement status has been determined.

［ワークの検出処理］
図６は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像における補助装置の実在領域を概念的に示すイメージ図である。
制御装置３０は、ワークＷの検出に際して、図６に示すように、画像処理部３２において、検出部３２ａにより検出されたワークめくり装置１０の算出された実在領域Ｒを、撮像画像２２から除外する。そして、検出部３２ａは、ワークめくり装置１０の実在領域Ｒが除外された撮像画像２２を探索範囲として、まず、この探索範囲に写るワークＷの画像と、記憶部３４に予め記憶されたワークモデルとのマッチングを行う。そして、検出部３２ａは、積載エリアＴＡ内のワークＷの大体の位置を表す存在位置を検出する。 [Workpiece detection processing]
FIG. 6 is an image diagram conceptually showing the actual area of the auxiliary device in a captured image captured by the imaging device of the interference discrimination display system according to an embodiment.
When detecting the workpiece W, the control device 30 causes the image processing unit 32 to exclude the calculated real area R of the workpiece turning device 10 detected by the detection unit 32a from the captured image 22, as shown in FIG. . Then, the detection unit 32a uses the captured image 22 of the workpiece turning device 10 from which the real area R has been excluded as a search range, and first detects the image of the workpiece W reflected in this search range and the workpiece model stored in advance in the storage unit 34. Perform matching with Then, the detection unit 32a detects the existing position representing the approximate position of the workpiece W within the loading area TA.

画像処理部３２は、検出部３２ａにより存在位置が判明したワークＷの画像に対してマッチしたワークモデルの形状データについて、例えば、ワークめくり装置１０の実在領域ＲのうちのワークＷ上に被る領域（図５参照）に重なる部分の輪郭成分を表す線分を編集して、新たな形状データを作成する。具体的には、画像処理部３２は、形状データの輪郭成分を表す線分を分割又は消去して無効化するように編集を行う。 The image processing unit 32 determines the shape data of the workpiece model that matches the image of the workpiece W whose existing position has been determined by the detection unit 32a, for example, an area overlapping the workpiece W out of the real area R of the workpiece turning device 10. (See FIG. 5) Edit the line segment representing the contour component of the overlapping part to create new shape data. Specifically, the image processing unit 32 edits the shape data by dividing or erasing line segments representing contour components to invalidate them.

そして、検出部３２ａは、画像処理部３２により作成された新たな形状データが示すワークモデルと、ワークＷの画像とのマッチングを行って、積載エリアＴＡ上のワークＷの実積載位置を特定することで、ワークＷを検出する。具体的には、検出部３２ａは、ワークＷの実積載位置として、積載エリアＴＡ上のワークＷの高さ、ワークＷの大きさ及びワークＷの回転角度を含む三次元位置を特定する。 Then, the detection unit 32a matches the workpiece model indicated by the new shape data created by the image processing unit 32 with the image of the workpiece W, and identifies the actual loading position of the workpiece W on the loading area TA. In this way, the workpiece W is detected. Specifically, the detection unit 32a identifies a three-dimensional position including the height of the work W on the loading area TA, the size of the work W, and the rotation angle of the work W as the actual loading position of the work W.

［干渉判別表示システムによる干渉判別表示処理］
図７は、一実施形態に係る干渉判別表示システムの干渉判別表示処理の一例を示すフローチャートである。図８は、撮像画像を用いたマッチングを概念的に説明するためのイメージ図である。図９は、撮像画像におけるワークの画像と探索範囲内でマッチングされたワークモデルを概念的に説明するためのイメージ図である。図１０は、撮像画像を用いたデータ作成及びマッチングを概念的に説明するためのイメージ図である。また、図１１及び図１２は、一実施形態に係る干渉判別表示システムの表示装置による表示例を説明するための図である。 [Interference discrimination display processing by interference discrimination display system]
FIG. 7 is a flowchart illustrating an example of interference discrimination display processing of the interference discrimination display system according to an embodiment. FIG. 8 is an image diagram for conceptually explaining matching using captured images. FIG. 9 is an image diagram for conceptually explaining an image of a workpiece in a captured image and a workpiece model matched within a search range. FIG. 10 is an image diagram for conceptually explaining data creation and matching using captured images. Further, FIGS. 11 and 12 are diagrams for explaining display examples on a display device of an interference discrimination display system according to an embodiment.

上記のように構成された制御装置３０を備えた干渉判別表示システム１００における干渉判別表示処理は、例えば、一実施形態に係る干渉判別表示方法により実現される。干渉判別表示方法は、ワークＷが積載されると共に、ワークＷに対する作業を補助する配置自在な可搬性を有するワークめくり装置（補助装置）１０の一部がワークＷ上に配置された積載エリアＴＡを、カメラ（撮像装置）２０により撮像する工程と、カメラ（撮像装置）２０によって撮像された撮像画像２２に基づいて、制御装置３０により積載エリアＴＡ内におけるワークめくり装置（補助装置）１０、ワークＷをそれぞれ検出、並びにワークＷを保持するワーク保持用ロボット４０のグリッパ４１及びアーム部４２を事前の位置情報と検出されたワークＷの位置とに基づき演算して検出する工程と、制御装置３０によって検出されたグリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置（補助装置）１０及びワークＷの少なくとも一つと、の干渉状態を判定する工程と、制御装置３０によって検出されたワークめくり装置（補助装置）１０、ワークＷ並びにグリッパ４１及びアーム部４２をディスプレイ（表示装置）６９によりそれぞれ表示する工程と、を備える。表示する工程は、判定する工程で判定された干渉状態を表す情報を表示画面６９ａ上に併せて表示する工程を含む。 The interference discrimination display process in the interference discrimination display system 100 including the control device 30 configured as described above is realized by, for example, an interference discrimination display method according to an embodiment. The interference discrimination display method is performed in a loading area TA in which the workpieces W are loaded and a part of the workpiece turning device (auxiliary device) 10, which is portable and can be placed freely and assists the work on the workpieces W, is placed on the workpieces W. , and the control device 30 controls the workpiece turning device (auxiliary device) 10 and the workpiece in the loading area TA based on the captured image 22 captured by the camera (imaging device) 20. A step of detecting each W and calculating and detecting the gripper 41 and arm portion 42 of the work holding robot 40 that holds the work W based on prior position information and the detected position of the work W, and the control device 30 a step of determining an interference state between at least one of the gripper 41 and the arm portion 42 detected by the controller 30 and at least one of the workpiece flipping device (auxiliary device) 10 and the workpiece W; and a step of determining an interference state of the workpiece flipping device detected by the control device 30. (Auxiliary device) 10, a step of displaying each of the workpiece W, the gripper 41, and the arm portion 42 on a display (display device) 69. The displaying step includes a step of also displaying information representing the interference state determined in the determining step on the display screen 69a.

この方法により実現される干渉判別表示処理は、例えば、次のように行われる。図７に示すように、まず、制御装置３０は、ワークめくり装置１０の検出が開始されるのを待って（ステップＳ１００のＮｏ）、検出が開始されたら（ステップＳ１００のＹｅｓ）、カメラ２０によって、積載エリアＴＡを撮像する（ステップＳ１０１）。ステップＳ１００の検出の開始は、例えば、タッチパネル６９ｃにあるスタートボタンをユーザが押下したことを検出する手動検出、或いは実行中の干渉判別表示プログラムに予め組み込まれたスタートトリガによる自動検出によって、開始の有無が判断され得る。 The interference discrimination display process realized by this method is performed, for example, as follows. As shown in FIG. 7, first, the control device 30 waits for the detection of the workpiece turning device 10 to start (No in step S100), and when the detection starts (Yes in step S100), the control device 30 uses the camera 20 to , images the loading area TA (step S101). The detection in step S100 is started, for example, by manual detection that detects that the user has pressed the start button on the touch panel 69c, or by automatic detection using a start trigger that is pre-installed in the interference discrimination display program that is being executed. The presence or absence can be determined.

積載エリアＴＡが撮像されたら、画像取得部３１を介して画像処理部３２がカメラ２０から撮像画像の画像データを取得し、上述したように画像データを画像解析する。そして、検出部３２ａによって、マーカ１４～１６を検出して、上記のようにワークめくり装置１０の装置ごとの配置位置及び配置の向きを判別し、ワークめくり装置１０を検出する（ステップＳ１０２）。 When the loading area TA is imaged, the image processing unit 32 acquires image data of the captured image from the camera 20 via the image acquisition unit 31, and analyzes the image data as described above. Then, the detection unit 32a detects the markers 14 to 16, determines the placement position and orientation of each device of the workpiece turning device 10 as described above, and detects the workpiece turning device 10 (step S102).

次に、検出したワークめくり装置１０の実在領域Ｒを算出し、これを干渉領域に含める処理等を行って干渉領域を特定する（ステップＳ１０３）。このステップＳ１０３では、例えば、ワークめくり装置１０の実在領域Ｒにおける外形部分を、干渉領域として特定してもよい。 Next, the actual area R of the detected workpiece turning device 10 is calculated, and processing for including this in the interference area is performed to identify the interference area (step S103). In this step S103, for example, an external portion of the real area R of the workpiece turning device 10 may be specified as the interference area.

次に、上記のように積載エリアＴＡ内におけるワークＷの実際の積載位置（実積載位置）を特定して、ワークＷを検出する（ステップＳ１０４）。ワークＷの検出は、具体的には、図８に示すように、検出部３２ａによって、実在領域Ｒが除外された撮像画像２２の全域（積載エリアＴＡ）を探索範囲ＳＲとして、この探索範囲ＳＲに写る各ワークＷの画像と、例えば記憶部３４に予め記憶されたワークＷの二次元形状を表す形状データからなる複数のワークモデルＷｍとのマッチングを施す。なお、ワークモデルＷｍの形状データは、例えば点（ｘ，ｙ座標点）、線分（ｘ，ｙ座標点間を結ぶライン）、面（ｘ，ｙ座標点間を結ぶラインで閉じた線分）により画定されるベクタデータであり、ワークＷの縦、横、長さ、厚さ等の各寸法や形状を規定している。 Next, as described above, the actual loading position (actual loading position) of the workpiece W in the loading area TA is specified, and the workpiece W is detected (step S104). Specifically, as shown in FIG. 8, the detection of the workpiece W is performed by the detection unit 32a, which sets the entire area of the captured image 22 (loading area TA) excluding the real area R as a search range SR, and searches the search range SR. The image of each workpiece W shown in is matched with a plurality of workpiece models Wm made of shape data representing the two-dimensional shape of the workpiece W stored in advance in the storage unit 34, for example. Note that the shape data of the workpiece model Wm includes, for example, a point (x, y coordinate point), a line segment (line connecting the x, y coordinate points), and a surface (a line segment closed by the line connecting the x, y coordinate points). ), which defines the dimensions and shape of the workpiece W, such as the height, width, length, and thickness.

このマッチングにより、図９に示すように、ワークＷの画像と探索範囲ＳＲ内でマッチングされたワークモデルＷｍに、例えば記憶部３４内のデータベース（ＤＢ）において予め紐付けられている形状データを参照して演算することにより、探索範囲ＳＲのどの位置にワークモデルＷｍに該当するワークＷがあるか（ワークモデルＷｍに当てはまったか）が分かる。これにより、積載エリアＴＡ内のワークＷの大体の存在位置を把握することが可能となる。なお、図９を含む以降の説明においては、積載エリアＴＡ内の複数のワークＷ及びワークめくり装置１０のうち、一つのワークＷ及びワークめくり装置１０について着目して説明するが、他のワークＷ及びワークめくり装置１０についても同様であることは言うまでもない。 Through this matching, as shown in FIG. 9, the image of the workpiece W and the workpiece model Wm matched within the search range SR are referred to, for example, shape data linked in advance in the database (DB) in the storage unit 34. By performing the calculation, it can be determined at which position in the search range SR there is a workpiece W that corresponds to the workpiece model Wm (or whether the workpiece Wm corresponds to the workpiece model Wm). This makes it possible to grasp the approximate location of the work W within the loading area TA. Note that in the following explanation including FIG. 9, one workpiece W and the workpiece turning device 10 will be focused and explained among the plurality of works W and the workpiece turning device 10 in the loading area TA; It goes without saying that the same applies to the workpiece turning device 10.

このマッチングの後は、以下の各処理を、複数回（例えば、４回）繰り返す。すなわち、ワークＷの積載エリアＴＡ内における存在位置が判明したら、画像処理部３２によって、そのワークＷの画像にマッチングでマッチしたワークモデルＷｍの形状データについて、ワークめくり装置１０の実在領域ＲのうちのワークＷ上に被る領域１０ＢＲ（図１０参照）に重なる部分の輪郭成分を表す線分を編集して新たな形状データのワークモデルＷｍｒを作成する。 After this matching, the following processes are repeated multiple times (for example, four times). That is, once the location of the workpiece W in the loading area TA is known, the image processing unit 32 calculates the shape data of the workpiece model Wm that matches the image of the workpiece W in the real area R of the workpiece turning device 10. A workpiece model Wmr of new shape data is created by editing the line segment representing the contour component of the portion overlapping the area 10BR (see FIG. 10) on the workpiece W.

すなわち、画像処理部３２は、図１０に示すように、マッチしたワークモデルＷｍの形状データをＤＢから読み出して、ワークめくり装置１０の被る領域１０ＢＲと重なる部分の輪郭成分を表す線分Ｌ及び線分Ｓ１～Ｓ４について、編集として例えば線分Ｌを線分Ｌ１，Ｌ２に分割すると共に、線分Ｓ１～Ｓ４については消去することによって、ワークモデルＷｍから線分Ｌｄ，Ｓｄが無効化された新たな形状データ（変形データ）のワークモデルＷｍｒを作成する。そして、検出部３２ａは、変形データが示すワークモデルＷｍｒと、ワークＷの画像とのマッチングを施して、探索範囲ＳＲの絞り込み（例えば、探索範囲ＳＲよりもミクロな探索範囲ＳＳＲを探索範囲とする）を行う。 That is, as shown in FIG. 10, the image processing unit 32 reads the shape data of the matched workpiece model Wm from the DB, and generates a line segment L and a line representing the contour components of the portion overlapping with the area 10BR covered by the workpiece turning device 10. Regarding segments S1 to S4, by editing, for example, dividing line segment L into line segments L1 and L2 and deleting line segments S1 to S4, line segments Ld and Sd are invalidated from work model Wm. A work model Wmr of shape data (deformation data) is created. Then, the detection unit 32a performs matching between the workpiece model Wmr indicated by the deformation data and the image of the workpiece W, and narrows down the search range SR (for example, sets the search range SSR, which is smaller than the search range SR, as the search range). )I do.

このような各処理を複数回繰り返すが、これらの処理は、例えば、ワークＷとワークモデルＷｍｒとが、細部にまで亘って十分にマッチングされたことが判定（確認）されるまで繰り返される。そして、マッチングが完了した場合、検出部３２ａは、探索範囲ＳＲにおける正確なマッチング情報（ワークＷの積載位置座標、積載高さ、積載寸法、積載角度等の各種情報）を、撮像画像２２及び記憶部３４の各種データに基づく画像処理部３２の演算により得る。これにより、積載エリアＴＡ上のワークＷの実積載位置を特定して、ワークＷを検出する。 Each of these processes is repeated a plurality of times, and these processes are repeated until, for example, it is determined (confirmed) that the workpiece W and the workpiece model Wmr are sufficiently matched in detail. When the matching is completed, the detection unit 32a detects accurate matching information in the search range SR (various information such as the loading position coordinates of the workpiece W, the loading height, the loading dimension, and the loading angle) from the captured image 22 and the stored information. It is obtained by the calculations of the image processing section 32 based on various data of the section 34. Thereby, the actual loading position of the work W on the loading area TA is specified, and the work W is detected.

ワークＷの検出と併せて、演算部３３は、上記のように積載エリアＴＡ内におけるグリッパ４１及びアーム部４２を含むワーク保持用ロボット４０の全体的な移動位置を特定し、ワーク保持用ロボット４０の少なくともグリッパ４１及びアーム部４２を演算により検出する（ステップＳ１０５）。 In addition to detecting the workpiece W, the calculation unit 33 specifies the overall movement position of the workpiece holding robot 40 including the gripper 41 and the arm part 42 within the loading area TA as described above, and moves the workpiece holding robot 40 At least the gripper 41 and arm portion 42 of the gripper 41 and the arm portion 42 are detected by calculation (step S105).

そして、判定部３２ｂによって、グリッパ４１及びアーム部４２を含むワーク保持用ロボット４０と、ワークＷのワーク山やワークめくり装置１０と、の干渉計算を行う（ステップＳ１０６）。なお、干渉計算におけるワーク山は、ワーク保持用ロボット４０が保持するワークＷのワーク山ではなく、積載エリアＴＡ内に積載された他のワークＷのワーク山のことを指すが、これに限定されるものではなく、積載エリアＴＡ内に積載されたすべてのワークＷのワーク山であってもよい。 Then, the determination unit 32b calculates interference between the workpiece holding robot 40 including the gripper 41 and the arm unit 42, and the workpiece pile of the workpiece W and the workpiece turning device 10 (step S106). Note that the work pile in the interference calculation does not refer to the work pile of the work W held by the work holding robot 40, but refers to the work pile of other work W loaded in the loading area TA, but is not limited to this. It may be a pile of all the works W loaded in the loading area TA.

制御装置３０は、図１１に示すように、ディスプレイ６９の表示画面６９ａ上に、例えば、検出されたワークめくり装置１０、ワークＷ及びグリッパ４１（状況により、併せてアーム部４２）の位置が視認可能となるように、画像処理部３２によってこれらの検出物を撮像画像２２上に描画した状態で表示する（ステップＳ１０７）。なお、上記ステップＳ１０６の干渉計算の前に、ステップＳ１０７の表示処理を行うようにしてもよい。また、図１１に示す例は、干渉が発生していない状態の表示例を示している。アーム部４２は、ワークめくり装置１０及び他のワークＷのワーク山よりも十分に高い位置で可動して干渉することがない状況の場合は、非表示であってもよい。 As shown in FIG. 11, the control device 30 visually confirms, for example, the detected positions of the workpiece turning device 10, the workpiece W, and the gripper 41 (and the arm section 42 depending on the situation) on the display screen 69a of the display 69. The image processing unit 32 displays these detected objects drawn on the captured image 22 so that the detected objects can be detected (step S107). Note that the display process in step S107 may be performed before the interference calculation in step S106. Further, the example shown in FIG. 11 shows a display example in a state where no interference occurs. The arm portion 42 may be hidden if it is movable at a position sufficiently higher than the workpiece stack of the workpiece turning device 10 and other works W and does not interfere with it.

そして、判定部３２ｂは、干渉計算の結果に基づき、グリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置１０及びワークＷの少なくとも一つと、の干渉状態を判定する（ステップＳ１０８）。干渉が発生していないと判定した場合（ステップＳ１０８のＮｏ）は、本フローチャートによる干渉判別表示処理を終了する。 Then, the determining unit 32b determines the interference state between at least one of the gripper 41 and the arm unit 42 and at least one of the workpiece turning device 10 and the workpiece W, based on the result of the interference calculation (step S108). If it is determined that no interference has occurred (No in step S108), the interference determination display process according to this flowchart is ended.

一方、干渉が発生していると判定した場合（ステップＳ１０８のＹｅｓ）は、制御装置３０は、図１２に示すように、ディスプレイ６９の表示画面６９ａ上に、例えば、干渉状態を表す情報として、ワーニング６９ｂと干渉箇所ＣＡを視認可能となるように表示して（ステップＳ１０９）、本フローチャートによる干渉判別表示処理を終了する。 On the other hand, if it is determined that interference has occurred (Yes in step S108), the control device 30 displays, for example, information representing the interference state on the display screen 69a of the display 69, as shown in FIG. The warning 69b and the interference location CA are displayed so as to be visible (step S109), and the interference determination display process according to this flowchart is ended.

図１２に示す例では、「干渉が発生」している旨の警告文を表示するワーニング６９ｂと、その他の箇所と識別可能に強調表示された干渉箇所ＣＡと、が表示されているが、これに限定されるものではない。ワーニング６９ｂは、上記のような文字の他、図形、記号、音声、その他の知覚可能な種々の情報により構成され得る。干渉箇所ＣＡも、上述したような特殊表示による表示であれば、強調表示に限定されない。 In the example shown in FIG. 12, a warning 69b that displays a warning message that "interference has occurred" and an interference location CA highlighted to be distinguishable from other locations are displayed. It is not limited to. The warning 69b may be composed of various perceivable information such as graphics, symbols, sounds, and other perceivable information in addition to the above-mentioned characters. The interference location CA is also not limited to highlighted display, as long as it is displayed using the above-mentioned special display.

［一実施形態に係る干渉判別表示システムの効果］
以上説明したように、一実施形態に係る干渉判別表示システム１００は、カメラ２０により撮像された撮像画像２２に基づいて、配置位置及び配置の向きを含むワークめくり装置１０を検出し、ワークＷの実積載位置を検出して、演算により検出されたワーク保持用ロボット４０のグリッパ４１及びアーム部４２の位置に対する干渉状態を判定している。また、判定結果に基づき干渉状態を表す情報をディスプレイ６９の表示画面６９ａ上に表示することができるので、ワーク保持用ロボット４０に対する干渉を正確に判別表示することができる。 [Effects of interference discrimination display system according to one embodiment]
As described above, the interference discrimination display system 100 according to one embodiment detects the workpiece turning device 10 including the placement position and placement direction based on the captured image 22 taken by the camera 20, and detects the workpiece turning device 10 including the placement position and placement direction. The actual loading position is detected, and the state of interference with the positions of the gripper 41 and arm portion 42 of the work holding robot 40 detected by calculation is determined. Further, since information representing the interference state can be displayed on the display screen 69a of the display 69 based on the determination result, interference with the work holding robot 40 can be accurately determined and displayed.

［変形例］
以上、本発明の好適な実施形態について説明したが、本発明の技術的範囲は、一実施形態に記載の範囲には限定されない。上述した実施形態には、多様な変更又は改良を加えることが可能である。
図１３及び図１４は、一実施形態に係る干渉判別表示システムの表示装置による他の表示例を説明するための図である。 [Modified example]
Although the preferred embodiment of the present invention has been described above, the technical scope of the present invention is not limited to the range described in one embodiment. Various changes or improvements can be made to the embodiments described above.
FIGS. 13 and 14 are diagrams for explaining other display examples by the display device of the interference discrimination display system according to one embodiment.

図１３に示すように、上記ステップＳ１０９での表示処理において、ディスプレイ６９の表示画面６９ａ上に、干渉状態を表す情報として、例えば干渉箇所ＣＡと共に表示選択欄８０を表示するようにしてもよい。表示選択欄８０は、例えば、ワーニング６９ｂと共に、或いはワーニング６９ｂを所定時間表示した後にワーニング６９ｂと切り替えられて表示されてもよい。図示の例では、ワーニング６９ｂと切り替えられて表示選択欄８０が表示された態様を表している。 As shown in FIG. 13, in the display process in step S109, a display selection column 80 may be displayed on the display screen 69a of the display 69 as information representing the interference state, for example, together with the interference location CA. For example, the display selection field 80 may be displayed together with the warning 69b, or after the warning 69b is displayed for a predetermined time, it may be switched to the warning 69b. In the illustrated example, the display selection field 80 is displayed after being switched to the warning 69b.

表示選択欄８０には、例えば、表示画面６９ａ上に表示された干渉箇所ＣＡの詳細情報の表示の有無を選択するチェックボックス８１と、干渉箇所ＣＡが発生しないようなワークめくり装置１０の配置可能位置の表示の有無を選択するチェックボックス８２と、が設けられている。 In the display selection column 80, for example, a check box 81 for selecting whether to display detailed information of the interference point CA displayed on the display screen 69a and a workpiece turning device 10 that prevents the interference point CA from occurring can be arranged. A check box 82 for selecting whether or not to display the position is provided.

図示のように、例えば、ユーザが入力部３５ａ等を介して、チェックボックス８１をチェックした場合、干渉箇所ＣＡがｘ方向に何ミリ、ｙ方向に何ミリであるか（ｘ：○ｍｍ，ｙ：○ｍｍ等）が把握可能な詳細情報が表示される。この詳細情報は、例えば、グリッパ４１に対してワークめくり装置１０がｘ方向に何ミリ及びｙ方向に何ミリ干渉しているかが分かるように表示されてもよい。また、詳細情報は、表示選択欄８０の他に、干渉箇所ＣＡから吹き出し表示のような態様で表示されてもよい。 As shown in the figure, for example, when the user checks the check box 81 via the input unit 35a etc., how many millimeters in the x direction and how many millimeters in the y direction is the interference location CA (x: ○ mm, y :○mm, etc.) are displayed. This detailed information may be displayed, for example, so that it can be seen how many millimeters in the x direction and how many millimeters in the y direction the workpiece flipping device 10 interferes with the gripper 41. In addition to the display selection field 80, the detailed information may be displayed from the interference location CA in a form such as a balloon display.

一方、例えば、ユーザが入力部３５ａ等を介して、チェックボックス８２をチェックした場合、図１４に示すように、上記干渉箇所ＣＡが発生しないようなワークめくり装置１０の配置可能位置８９が表示される。この配置可能位置８９は、上記のような特殊表示で表示されてもよいし、めくりユニット１０Ｂに相当する部分のみが表示されてもよい。配置可能位置８９は、予め設計により定められていてもよいし、ＣＡＭデータに基づき制御装置３０側で特定するようにしてもよいし、カメラ２０側で計算により算出するようにしてもよい。 On the other hand, for example, if the user checks the checkbox 82 via the input unit 35a or the like, as shown in FIG. Ru. This positionable position 89 may be displayed in a special display as described above, or only the portion corresponding to the turning unit 10B may be displayed. The possible placement position 89 may be determined in advance by design, may be specified on the control device 30 side based on CAM data, or may be calculated on the camera 20 side.

なお、上述した一実施形態では、ワーク保持用ロボット４０のグリッパ４１及びアーム部４２の位置を、撮像画像２２から検出することについて説明したが、これに限定されるものではない。グリッパ４１及びアーム部４２の位置は、例えば、予め記憶部３４内に格納されたワーク保持用ロボット４０の動作制御プログラムに基づくフォローイング軌跡等の位置情報によって、検出されてもよい。 Note that in the above-described embodiment, the positions of the gripper 41 and arm section 42 of the workpiece holding robot 40 are detected from the captured image 22, but the present invention is not limited to this. The positions of the gripper 41 and the arm section 42 may be detected, for example, based on position information such as a following trajectory based on an operation control program for the workpiece holding robot 40 stored in the storage section 34 in advance.

また、上述した一実施形態では、上記ステップＳ１０９においてワーニング６９ｂと干渉箇所ＣＡを表示するようにしたが、これに限定されるものではない。干渉箇所ＣＡの表示は、上述したようなチェックボックスによる選択式で、表示又は非表示を切り替えられるように構成してもよい。 Further, in the above-described embodiment, the warning 69b and the interference location CA are displayed in step S109, but the present invention is not limited to this. The display of the interference location CA may be configured to be switched between display and non-display using a selection method using check boxes as described above.

以上、本発明の実施の形態を説明したが、この実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described above, this embodiment is presented as an example and is not intended to limit the scope of the invention. This novel embodiment can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention, as well as within the scope of the invention described in the claims and its equivalents.

１０ ワークめくり装置（補助装置）
１０Ａ 装置本体
１０Ｂ めくりユニット
１４，１５，１６ マーカ
１８ 全体領域
１９ 識別領域
２０ カメラ（撮像装置）
２２ 撮像画像
３０ 制御装置
３１ 画像取得部
３２ 画像処理部
３２ａ 検出部
３２ｂ 判定部
４０ ワーク保持用ロボット
４１ グリッパ
４２ アーム部
６９ ディスプレイ（表示装置）
６９ａ 表示画面
１００ 干渉判別表示システム
Ｐ パレット
ＴＡ 積載エリア
Ｗ ワーク 10 Workpiece turning device (auxiliary device)
10A Device body 10B Turning unit 14, 15, 16 Marker 18 Whole area 19 Identification area 20 Camera (imaging device)
22 Captured image 30 Control device 31 Image acquisition section 32 Image processing section 32a Detection section 32b Judgment section 40 Work holding robot 41 Gripper 42 Arm section 69 Display (display device)
69a Display screen 100 Interference discrimination display system P Pallet TA Loading area W Work

Claims (14)

積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、
前記積載エリア内の前記ワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、
前記ワーク、前記補助装置並びに前記グリッパ及び前記アーム部が存在する前記積載エリアを撮像可能な撮像装置と、
前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部のそれぞれの位置を検出または演算する制御装置と、
前記制御装置によって検出または演算された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部の位置をそれぞれ表示可能な表示装置と、を備え、
前記制御装置は、検出または演算された前記グリッパ及び前記アーム部の位置と、前記補助装置及び前記ワークの位置と、の干渉状態を判定する判定部を含み、
前記表示装置は、前記制御装置の前記判定部によって判定された前記干渉状態を表す情報を表示画面上に表示可能に構成されている
干渉判別表示システム。 an auxiliary device that is portable and can be freely placed to assist work on the workpieces loaded in the loading area;
a workpiece holding robot having a gripper and an arm portion that holds the workpiece in the loading area;
an imaging device capable of imaging the loading area where the work, the auxiliary device, the gripper, and the arm are present;
a control device that detects or calculates the respective positions of the auxiliary device, the workpiece, the gripper, and the arm portion in the loading area based on a captured image captured by the imaging device;
a display device capable of displaying the positions of the auxiliary device, the workpiece, the gripper, and the arm portion detected or calculated by the control device,
The control device includes a determination unit that determines an interference state between the detected or calculated positions of the gripper and the arm portion, and the positions of the auxiliary device and the workpiece,
The display device is configured to be able to display information representing the interference state determined by the determination unit of the control device on a display screen. 前記制御装置は、 The control device includes:
前記積載エリア内における前記補助装置の配置位置及び前記ワークの実積載位置を特定して検出する検出部と、 a detection unit that identifies and detects the placement position of the auxiliary device and the actual loading position of the workpiece in the loading area;
前記グリッパ及び前記アーム部の基準位置と、前記検出部により検出された前記ワークの実積載位置とに基づいて前記グリッパ及び前記アーム部の移動位置を演算する演算部と a calculation unit that calculates a moving position of the gripper and the arm based on a reference position of the gripper and the arm and an actual loading position of the workpiece detected by the detection unit;
を更に有する further has
請求項１に記載の干渉判別システム。 The interference determination system according to claim 1. 前記表示装置は、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉箇所が視認可能となるよう表示する
請求項１に記載の干渉判別表示システム。 The interference determination display according to claim 1, wherein the display device displays information representing the interference state so that the interference location of the auxiliary device and the workpiece with respect to the gripper and the arm portion can be visually recognized. system. 前記表示装置は、前記干渉箇所をその他の箇所と識別可能な特殊表示により表示する
請求項３に記載の干渉判別表示システム。 The interference determination display system according to claim 3 , wherein the display device displays the interference location using a special display that allows the interference location to be distinguished from other locations. 前記表示装置は、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉距離を表す数値情報として表示する
請求項１～４のいずれか１項に記載の干渉判別表示システム。 The display device displays information representing the interference state as numerical information representing an interference distance between the positions of the auxiliary device and the workpiece with respect to the positions of the gripper and the arm portion . The interference discrimination display system described in . 積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、
前記積載エリア内の前記ワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、
前記ワーク、前記補助装置並びに前記グリッパ及び前記アーム部が存在する前記積載エリアを撮像可能な撮像装置と、
前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する制御装置と、
前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ表示可能な表示装置と、を備え、
前記制御装置は、検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する判定部を含み、
前記表示装置は、前記制御装置の前記判定部によって判定された前記干渉状態を表す情報を表示画面上に表示可能に構成されており、
前記表示装置は、前記干渉状態を回避する場合の前記補助装置の配置の向きを含む配置可能位置に関する情報を表示可能に構成されている
干渉判別表示システム。 an auxiliary device that is portable and can be freely placed to assist work on the workpieces loaded in the loading area;
a workpiece holding robot having a gripper and an arm portion that holds the workpiece in the loading area;
an imaging device capable of imaging the loading area where the work, the auxiliary device, the gripper, and the arm are present;
a control device that detects each of the auxiliary device, the workpiece, the gripper, and the arm portion in the loading area based on a captured image captured by the imaging device;
a display device capable of displaying the auxiliary device, the workpiece, the gripper, and the arm portion detected by the control device,
The control device includes a determination unit that determines a state of interference between at least one of the gripper and the arm portion detected and at least one of the auxiliary device and the workpiece,
The display device is configured to be able to display information representing the interference state determined by the determination unit of the control device on a display screen,
The display device is configured to be able to display information regarding possible placement positions of the auxiliary device, including the direction in which the auxiliary device should be placed when avoiding the interference state.
Interference discrimination display system. ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像する工程と、
前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部のそれぞれの位置を検出または演算する工程と、
前記制御装置によって検出または演算された前記グリッパ及び前記アーム部の位置と、前記補助装置及び前記ワークの位置と、の干渉状態を判定する工程と、
前記制御装置によって検出または演算された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部の位置を表示装置によりそれぞれ表示する工程と、を備え、
前記表示する工程は、前記判定する工程で判定された前記干渉状態を表す情報を表示画面上に併せて表示する工程を含む
干渉判別表示方法。 A workpiece is loaded, and a part of a portable auxiliary device that can be freely placed to assist work on the workpiece, as well as a gripper and an arm part of a workpiece holding robot that holds the workpiece, are arranged on the workpiece. a step of imaging the area with an imaging device;
Detecting or calculating the respective positions of the auxiliary device, the workpiece, the gripper, and the arm part in the loading area by a control device based on the captured image captured by the imaging device;
determining an interference state between the positions of the gripper and the arm portion detected or calculated by the control device and the positions of the auxiliary device and the workpiece;
Displaying the positions of the auxiliary device, the workpiece, the gripper, and the arm portion detected or calculated by the control device using a display device,
The interference determination and display method includes the step of displaying information representing the interference state determined in the determining step on a display screen. 前記検出または演算する工程において、前記積載エリア内における前記補助装置の配置位置及び前記ワークの実積載位置を特定して検出すると共に、前記グリッパ及び前記アーム部の基準位置と、検出した前記ワークの実積載位置とに基づいて前記グリッパ及び前記アーム部の移動位置を演算する In the step of detecting or calculating, the placement position of the auxiliary device and the actual loading position of the workpiece within the loading area are specified and detected, and the reference positions of the gripper and the arm section and the detected workpiece position are determined. calculating the movement positions of the gripper and the arm based on the actual loading position;
請求項７に記載の干渉判別方法。 The interference determination method according to claim 7. 前記表示する工程では、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉箇所が視認可能となるよう表示する
請求項７に記載の干渉判別表示方法。 Interference determination according to claim 7 , wherein in the displaying step, the information representing the interference state is displayed so that the interference location of the position of the auxiliary device and the workpiece with respect to the position of the gripper and the arm portion can be visually recognized. Display method. 前記表示する工程では、前記干渉箇所をその他の箇所と識別可能な特殊表示により表示する
請求項９に記載の干渉判別表示方法。 The interference determination and display method according to claim 9 , wherein in the displaying step, the interference location is displayed with a special display that allows it to be distinguished from other locations. 前記表示する工程では、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉距離を表す数値情報として表示する
請求項７～１０のいずれか１項に記載の干渉判別表示方法。 In the displaying step, the information representing the interference state is displayed as numerical information representing an interference distance between the positions of the auxiliary device and the workpiece with respect to the positions of the gripper and the arm portion. Interference determination display method described in section. ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像する工程と、
前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する工程と、
前記制御装置によって検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する工程と、
前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部を表示装置によりそれぞれ表示する工程と、を備え、
前記表示する工程は、前記判定する工程で判定された前記干渉状態を表す情報を表示画面上に併せて表示する工程を含み、
前記表示する工程では、前記干渉状態を回避する場合の前記補助装置の配置の向きを含む配置可能位置に関する情報を表示する
干渉判別表示方法。 A workpiece is loaded, and a part of a portable auxiliary device that can be freely placed to assist work on the workpiece, as well as a gripper and an arm part of a workpiece holding robot that holds the workpiece, are arranged on the workpiece. a step of imaging the area with an imaging device;
a step of detecting each of the auxiliary device, the workpiece, the gripper, and the arm portion in the loading area by a control device based on a captured image captured by the imaging device;
determining an interference state between at least one of the gripper and the arm detected by the control device and at least one of the auxiliary device and the workpiece;
displaying each of the auxiliary device, the workpiece, the gripper, and the arm portion detected by the control device on a display device,
The displaying step includes displaying information representing the interference state determined in the determining step on a display screen,
In the displaying step, information regarding possible placement positions of the auxiliary device including the orientation of the auxiliary device when avoiding the interference state is displayed.
Interference determination display method. ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像させる処理と、
前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部のそれぞれの位置を検出または演算させる処理と、
前記制御装置によって検出または演算された前記グリッパ及び前記アーム部の位置と、前記補助装置及び前記ワークの位置と、の干渉状態を判定させる処理と、
前記制御装置によって検出または演算された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部の位置を表示装置により表示画面上にそれぞれ表示させると共に、前記判定させる処理で判定された前記干渉状態を表す情報を前記表示装置により前記表示画面上に併せて表示させる処理と、をコンピュータに実行させる
干渉判別表示プログラム。 A workpiece is loaded, and a part of an auxiliary device that can be freely placed and is portable to assist work on the workpiece, and a gripper and an arm part of a workpiece holding robot that holds the workpiece are placed on the workpiece. processing to image the area with an imaging device;
A process of causing a control device to detect or calculate the respective positions of the auxiliary device, the workpiece, the gripper, and the arm portion in the loading area based on the captured image captured by the imaging device;
a process of determining an interference state between the positions of the gripper and the arm portion detected or calculated by the control device, and the positions of the auxiliary device and the workpiece;
A display device displays the positions of the auxiliary device, the workpiece, the gripper, and the arm portion detected or calculated by the control device on a display screen, and also represents the interference state determined by the determination process . An interference discrimination display program that causes a computer to execute a process of simultaneously displaying information on the display screen by the display device. 前記検出または演算させる処理において、前記制御装置により前記積載エリア内における前記補助装置の配置位置及び前記ワークの実積載位置を特定して検出させると共に、前記制御装置により前記グリッパ及び前記アーム部の基準位置と、検出させた前記ワークの実積載位置とに基づいて前記グリッパ及び前記アーム部の移動位置を演算させる In the detection or calculation process, the control device specifies and detects the arrangement position of the auxiliary device and the actual loading position of the workpiece within the loading area, and the control device determines the reference of the gripper and the arm section. calculating the movement positions of the gripper and the arm section based on the position and the detected actual loading position of the workpiece;
請求項１３に記載の干渉判別表示プログラム。 The interference discrimination display program according to claim 13.
JP2022182780A 2022-11-15 2022-11-15 Interference discrimination display system, interference discrimination display method, and interference discrimination display program Active JP7450691B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022182780A JP7450691B1 (en) 2022-11-15 2022-11-15 Interference discrimination display system, interference discrimination display method, and interference discrimination display program
PCT/JP2023/038526 WO2024106153A1 (en) 2022-11-15 2023-10-25 Interference discrimination display system, interference discrimination display method, and interference discrimination display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022182780A JP7450691B1 (en) 2022-11-15 2022-11-15 Interference discrimination display system, interference discrimination display method, and interference discrimination display program

Publications (2)

Publication Number Publication Date
JP7450691B1 true JP7450691B1 (en) 2024-03-15
JP2024072114A JP2024072114A (en) 2024-05-27

Family

ID=90194711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022182780A Active JP7450691B1 (en) 2022-11-15 2022-11-15 Interference discrimination display system, interference discrimination display method, and interference discrimination display program

Country Status (2)

Country Link
JP (1) JP7450691B1 (en)
WO (1) WO2024106153A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004082216A (en) 2002-06-28 2004-03-18 Amada Eng Center Co Ltd Bending method and bending device
JP2005081445A (en) 2003-09-04 2005-03-31 Fanuc Ltd Interference region confirmation device of robot
JP2022120663A (en) 2021-02-05 2022-08-18 株式会社アマダ Device identification system, device identification method, and device identification program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004082216A (en) 2002-06-28 2004-03-18 Amada Eng Center Co Ltd Bending method and bending device
JP2005081445A (en) 2003-09-04 2005-03-31 Fanuc Ltd Interference region confirmation device of robot
JP2022120663A (en) 2021-02-05 2022-08-18 株式会社アマダ Device identification system, device identification method, and device identification program

Also Published As

Publication number Publication date
WO2024106153A1 (en) 2024-05-23
JP2024072114A (en) 2024-05-27

Similar Documents

Publication Publication Date Title
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
US11724400B2 (en) Information processing apparatus for determining interference between object and grasping unit, information processing method, and storage medium
JP4309439B2 (en) Object take-out device
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
US8638984B2 (en) Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
US9604363B2 (en) Object pickup device and method for picking up object
JP4862765B2 (en) Surface inspection apparatus and surface inspection method
JP4004899B2 (en) Article position / orientation detection apparatus and article removal apparatus
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP6703812B2 (en) 3D object inspection device
JP5665333B2 (en) Information processing apparatus and information processing apparatus control method
JP2009053147A (en) Three-dimensional measuring method and three-dimensional measuring device
JP2011112402A (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
JP2021121461A (en) Image processing device
EP4290458A1 (en) Device determination system, device determination method, and device determination program
JPWO2020144784A1 (en) Image processing equipment, work robots, substrate inspection equipment and sample inspection equipment
WO1994011701A1 (en) Bending angle detector for bending machine
JP6621351B2 (en) Image processing apparatus and image processing method for laser processing
CN114341930A (en) Image processing device, imaging device, robot, and robot system
US20230311183A1 (en) Press brake, image output device, and image output method
JP7450691B1 (en) Interference discrimination display system, interference discrimination display method, and interference discrimination display program
JP2006021300A (en) Predicting device and holding device
US20220184731A1 (en) Sheet metal working system, laser machining apparatus, sheet metal working method, and machining region setting program for laser machining
WO2022168617A1 (en) Workpiece detection device, workpiece detection method, workpiece detection system, and workpiece detection program
CN114543697A (en) Measuring apparatus, control apparatus, and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7450691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150