WO2023248394A1 - 処理装置、処理システムおよび処理方法 - Google Patents

処理装置、処理システムおよび処理方法 Download PDF

Info

Publication number
WO2023248394A1
WO2023248394A1 PCT/JP2022/024969 JP2022024969W WO2023248394A1 WO 2023248394 A1 WO2023248394 A1 WO 2023248394A1 JP 2022024969 W JP2022024969 W JP 2022024969W WO 2023248394 A1 WO2023248394 A1 WO 2023248394A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
area
area model
screen
region
Prior art date
Application number
PCT/JP2022/024969
Other languages
English (en)
French (fr)
Inventor
悠介 太田
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/024969 priority Critical patent/WO2023248394A1/ja
Priority to TW112118944A priority patent/TW202401366A/zh
Publication of WO2023248394A1 publication Critical patent/WO2023248394A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a processing device, a processing system, and a processing method.
  • a screen a measurement point cloud display unit that displays a point cloud of an object measured by a three-dimensional camera on the screen in 3D, and a region model that displays a region model on the screen in 3D. positioning the area model by changing the position and orientation of the area model displayed by a display unit and the area model display unit, so that the point group of the object is at least partially surrounded by the area model;
  • a processing device comprising: a positioning unit for setting a region within the screen surrounded by the region model positioned by the positioning unit as a model of the object.
  • a processing system which includes the processing device of the first aspect and the three-dimensional camera.
  • a point group of the object measured by a three-dimensional camera is displayed in 3D on a screen
  • a region model is displayed in 3D on the screen
  • the position and orientation of the region model is changed to position the region model, and thereby,
  • a processing method is provided, wherein a point group of the object is at least partially surrounded by the area model, and an area in the screen surrounded by the positioned area model is set as a model of the object. be done.
  • FIG. 1 is a schematic diagram of a system including a processing device in a first embodiment of the present invention.
  • FIG. 1 is a block diagram of a system including a processing device according to a first embodiment of the present invention. It is a flow chart showing operation of a processing device in a first embodiment of the present invention.
  • FIG. 3 is a diagram showing a point group of a workpiece in the first embodiment.
  • FIG. 3 is a diagram showing a point group and a region model of a workpiece in the first embodiment.
  • 1 is a schematic diagram of a region model.
  • 5A is an enlarged view of the area model shown in FIG. 5A;
  • FIG. 5A is a diagram in which the posture of the region model shown in FIG. 5A is changed;
  • FIG. 5A is a partially enlarged view of the region model shown in FIG. 5A.
  • FIG. FIG. 7 is a diagram showing another area model. It is a figure showing still another area model.
  • FIG. 7 is a diagram showing a menu screen for selecting a region model. It is a figure which shows another work. It is a figure showing still another work.
  • FIG. 7 is a diagram showing additional area models and the like in the second embodiment. It is a figure showing the area model etc. in a third embodiment.
  • FIG. 9A is a diagram showing the work shown in FIG. 9A. It is a flow chart showing operation of a processing device in a third embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a system including a processing device in a first embodiment of the present invention.
  • the system 1 mainly includes a robot 5, such as an articulated robot, equipped with an end effector 6, a three-dimensional camera 9, and a teaching console 30 equipped with an input section 32. .
  • a workpiece W as an object is placed on a table T placed near the robot 5.
  • the workpiece W has a three-dimensional shape.
  • the workpiece W shown in FIG. 1 has a shape that includes a central disk portion and a shaft portion that passes through the disk portion.
  • the disk portion and the shaft portion may be integrally formed.
  • the shape of the workpiece W is not limited to this.
  • FIG. 1 a configuration is shown in which an end effector 6 of a robot 5 grips a workpiece W or performs machining. Note that the configuration may include a three-dimensional scanner instead of the three-dimensional camera 9.
  • FIG. 2 is a block diagram of a system including a processing device according to the first embodiment of the present invention.
  • the control device 10 of the system 1 is a computer, and includes a storage section 11, such as a ROM or RAM, a CPU (Central Processing Unit) 12, and a bus that connects the storage section 11, the CPU 12, etc. with each other.
  • the storage unit 11 stores images captured by the three-dimensional camera 9, as well as an operation program for the robot 5, an area model M to be described later, and various parameters.
  • the input unit 32 is a part of the teaching pendant 30, but the input unit 32 may be an external device such as a keyboard, a mouse, or a touch panel. Further, the screen 31 may be a part of the teaching pendant 30, or may be an independent screen 31, for example, a CRT or a liquid crystal monitor. Note that a configuration including the three-dimensional camera 9, the storage section 11, the processing device 20, the screen 31, and the input section 32 is referred to as a processing system 7.
  • the CPU 12 serves as a robot control unit 29 that controls a processing device 20 and a robot 5, which will be described in detail later.
  • the processing device 20 includes a measurement point cloud display unit 21 that displays a point cloud including an object (work) W in a three-dimensional image captured by a three-dimensional camera 9 on a screen 31 in 3D, and a measurement point cloud display unit 21 that displays an area model M on a screen 31 in 3D. It includes an area model display section 22 for display (three-dimensional display). Further, the processing device 20 changes the position and orientation of the area model M displayed by the area model display unit 22 to position the area model M, so that the point group of the object W is at least partially changed by the area model M.
  • the processing device 20 includes a color changing unit 25 that changes the color of at least one of the point group of the object W and the area model M in response to an input operation from the input unit 32.
  • measurement point group display section 21, area model display section 22, positioning section 23, setting section 24, and color changing section 25 are functional modules realized by a computer program executed on the processor 12, for example.
  • a computer program for executing the processes of the measurement point cloud display unit 21 to color change unit 25 included in the processor 12 is recorded in a computer-readable recording medium such as a semiconductor memory, a magnetic recording medium, or an optical recording medium. may be provided.
  • the processing device 20 or the robot control unit 29 has an imaging control function for the three-dimensional camera 9, a function for setting the model M, MW, detection parameters (score threshold, reference position of the workpiece), etc., and a function for controlling the model M for the robot 5. , MW, and a workpiece detection function using the taught model M and MW.
  • FIG. 3 is a flowchart showing the operation of the processing device in the first embodiment of the present invention. It is assumed that the contents shown in FIG. 3 are stored in advance in the operation program storage unit 11 of the processing device.
  • step S1 the three-dimensional camera 9 images the workpiece W placed on the table T.
  • a three-dimensional image of the workpiece W is stored in the storage unit 11.
  • step S2 the measurement point cloud display unit 21 displays a three-dimensional image including the point cloud of the workpiece W on the screen 31.
  • FIG. 4A is a diagram showing a point group of a workpiece in the first embodiment. In FIG. 4A, the point group of the workpiece W is placed on the point group of the table T.
  • FIG. 4B is a diagram showing a point group and a region model of a workpiece in the first embodiment.
  • the area model M shown in FIG. 4B is a three-dimensionally displayed rectangular parallelepiped frame.
  • the region model M may have other shapes, such as a sphere or a capsule shape.
  • the initial values of the position and orientation and the initial values of the size of the region model M may be arbitrary values determined depending on the installation location and size of the workpiece W.
  • the area model display unit 22 calculates the initial values of the position and orientation and the initial values of the size of the area model M so that all the point clouds measured from the three-dimensional camera are included in the area model M, and then The area model M may be displayed on the screen 31.
  • the area model M is a rectangular parallelepiped will be described.
  • FIG. 5A is a schematic diagram of the domain model.
  • each of the vertices A1 to A8 of the region model M and the center C0 of the region model M are highlighted with white circles. These white circles are called operating points. Note that for the purpose of brevity, illustration of operating points may be omitted.
  • step S4 the operator operates the input unit 32 to position the region model M so that the point group of the workpiece W is at least partially surrounded by the region model M. This operation is performed through the positioning section 23.
  • 5B to 5D are diagrams showing the area model shown in FIG. 5A.
  • the operator operates the input unit 32 to perform a drag operation in the diagonal direction of one surface of the area model M while specifying the operation point A2. This changes the position of the vertex A2, thereby enlarging the area model M as a whole. It is also possible to reduce the area model M by a similar operation.
  • the operator operates the input unit 32 to translate or rotate the operating point C0 by dragging it while specifying it.
  • the region model can be translated in parallel or the region model M can be rotated around the center C0 in accordance with the drag operation.
  • a menu regarding whether to translate or rotate the area model M may be displayed on the screen 31.
  • a similar menu screen regarding whether to scale or rotate the area model M may be displayed on the screen 31 when the vertex A2 is specified.
  • the region model M may be rotated around the specified direction. In this way, the operation regarding the area model M can be changed depending on the designated position of the area model M.
  • the operating point C1 is placed at the center of one side of the area model M.
  • the operator operates the input unit 32 to drag the operating point C1 in the depth direction of the region model M (the normal direction of the surface on which the operating point C1 is arranged) while specifying the operating point C1.
  • the area model M can be partially enlarged/reduced.
  • the region model M has another shape, for example, a sphere, as shown in FIG.
  • the area model M can be enlarged or reduced in the same manner as described above.
  • the area model M is a capsule type (a combination of a cylinder and two hemispheres connected to the end faces of the cylinder)
  • the operation located at the center of the cylinder
  • the point C0'' to change the position and orientation, or by operating the operating point C2' located at the center of the end face of the cylinder or the operating point C3' located at the edge of the hemisphere, it is possible to change the position and orientation as described above.
  • the area model M can be enlarged or reduced.
  • numerical values regarding the position and orientation of the area model M and numerical values regarding the size may be separately displayed on the screen 31. Furthermore, the operator may use the input unit 32 to directly input numerical values regarding the position and orientation of the area model M and numerical values regarding the size, thereby changing the position and orientation of the area model M.
  • the operator positions the region model M so that the point group of the workpiece W is at least partially surrounded by the region model M through the operations shown in FIGS. 5B to 5D.
  • the point group of the workpiece W is at least partially surrounded by the area model M, as shown in FIG. 4B. It is preferable that the point group of the workpiece W is completely surrounded by the region model M. Further, it is preferable that the area model M has a minimum size that at least partially surrounds the workpiece W.
  • step S5 the area within the screen 31 surrounded by the positioned area model M is set as the model MW of the workpiece W. Therefore, in the present invention, a simple model MW can be easily created based on the point group of the workpiece W.
  • the position and orientation of the workpiece W are taught to the robot 5 using a known method. Then, the robot 5 may be operated according to the operation program for the robot 5 based on the taught position and orientation of the workpiece W. Alternatively, the workpiece W may be detected using the model MW in another image captured by the three-dimensional camera 9.
  • FIGS. 7A and 7B are diagrams showing other workpieces.
  • the workpiece W1 shown in FIG. 7A has a shape in which a large rectangular parallelepiped is placed between a cylinder and a small rectangular parallelepiped.
  • the workpiece W2 shown in FIG. 7B has a shape in which a large rectangular parallelepiped is placed between a truncated cone and a small rectangular parallelepiped.
  • the work W1 and the work W2 have a common portion consisting of a small rectangular parallelepiped and a large rectangular parallelepiped.
  • the model MW0 of the workpiece W can be set using the common region model M0 for the different workpieces W1 and W2.
  • the model MW0 of the works W1 and W2 can be set using the common model MW0 in different images in which a large number of the works W1 and W2 are captured.
  • different workpieces W1 and W2 may be detected using the common model MW0 in yet another image captured by the three-dimensional camera 9.
  • the color changing unit 25 not only changes the color of at least one of the area model M and the point group of the object W, but also changes the type of line forming the area model M in accordance with the operation of the input unit 32. , for example, a solid line, a broken line, a dashed line, etc. may be changed.
  • FIG. 8 is a diagram showing additional area models and the like in the second embodiment.
  • the additional region model M' is positioned to at least partially surround the point cloud of the table T. Note that in FIG. 8, illustration of the area model M for the work W is omitted for the purpose of brevity.
  • the point group of the table T shown in FIG. 8 is a point group that is unnecessary for at least partially surrounding the point group of the workpiece W by the area model M.
  • the points of such a table T are surrounded by an additional region model M', and then the region surrounded by the additional region model M' is masked.
  • steps S6 and S7 may be performed first to surround the unnecessary point group with the area model M', and then the model WM of the workpiece W may be created by the processing of steps S1 to S5. It will be seen that this makes it easy and accurate to create the model WM of the workpiece W.
  • a plurality of region models M' may be used to perform mask processing on a plurality of locations.
  • FIG. 9A is a diagram showing a region model etc. in the third embodiment
  • FIG. 9B is a diagram showing the work etc. shown in FIG. 9A
  • FIG. 10 is a flowchart showing the operation of the processing device in the third embodiment of the present invention. Steps S1 to S3 in FIG. 10 are the same as those described above, and therefore will not be described again.
  • the workpiece W3 shown in FIG. 9A has an approximately X-shape consisting of two elongated parts.
  • step S4' the position and orientation of the area model M1 is changed so that a part of the workpiece W3, for example, one elongated part, is at least partially surrounded. Then, the area model M1 is positioned.
  • step S5' the additional region model M2 is displayed on the screen 31.
  • step S6' the position and orientation of the area model M2 is changed and the area model M2 is positioned so that the other part of the workpiece W3, for example, the other elongated part, is at least partially surrounded.
  • step S7' the area within the screen 31 surrounded by the positioned area model M1 and the additional area model M2 is set as the model MW3 of the workpiece W3.
  • the workpiece W may be surrounded using two or more area models. Thereby, even if the workpiece W3 has a complicated shape, the model MW3 can be easily set.
  • the image captured by the three-dimensional camera 9 may include foreign objects other than the workpiece.
  • model MW3 can be set accurately. Therefore, the third embodiment is advantageous in setting a model of a workpiece with a complicated shape.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

処理装置（２０）は、対象物を含む点群を画面に３Ｄ表示させる計測点群表示部（２１）と、領域モデル（Ｍ）を画面に３Ｄ表示させる領域モデル表示部（２２）と、領域モデルの位置姿勢を変更させて前記領域モデルを位置決めし、それにより、前記対象物の点群が前記領域モデルにより少なくとも部分的に取囲まれるようにする位置決め部（２３）と、位置決めされた前記領域モデルが取囲む前記画面内の領域を前記対象物のモデルとして設定する設定部（２４）とを含む。

Description

処理装置、処理システムおよび処理方法
　本発明は、処理装置、処理システムおよび処理方法に関する。
　三次元カメラを用いて、対象物としてのワークを検出し、ワークの位置姿勢を求めることが広く行われている。ワークを検出するためには、検出処理を行う処理装置にワークのモデルや、基準となるワークの位置姿勢などを予め教示しておく必要がある。
　モデルの教示については、カメラにより撮像された画像から得られたワークの点群に基づいてモデルを設定する方法がある（例えば、特開2021-062416号公報）。
特開2021-062416号公報
　しかしながら、ワークの点群に基づいてモデルを作成するためには、複雑な計算を行う必要があり、煩雑である。
　それゆえ、ワークの点群に基づいてワークのモデルを容易に作成することのできる技術が望まれている。
　本開示の１番目の態様によれば、画面と、三次元カメラで計測した対象物の点群を前記画面に３Ｄ表示させる計測点群表示部と、領域モデルを前記画面に３Ｄ表示させる領域モデル表示部と、該領域モデル表示部により表示された前記領域モデルの位置姿勢を変更させて前記領域モデルを位置決めし、それにより、前記対象物の点群が前記領域モデルにより少なくとも部分的に取囲まれるようにする位置決め部と、該位置決め部により位置決めされた前記領域モデルが取囲む前記画面内の領域を前記対象物のモデルとして設定する設定部と、を具備する、処理装置が提供される。
　さらに、１番目の態様の処理装置と、前記三次元カメラとを具備する、処理システムが提供される。
　さらに、三次元カメラで計測した対象物の点群を画面に３Ｄ表示させ、領域モデルを前記画面に３Ｄ表示させ、前記領域モデルの位置姿勢を変更させて前記領域モデルを位置決めし、それにより、前記対象物の点群が前記領域モデルにより少なくとも部分的に取囲まれるようにし、前記位置決めされた前記領域モデルが取囲む前記画面内の領域を前記対象物のモデルとして設定する、処理方法が提供される。
　本発明の目的、特徴及び利点は、添付図面に関連した以下の実施形態の説明により一層明らかになろう。
本発明の第一の実施形態における処理装置を含むシステムの略図である。 本発明の第一の実施形態における処理装置を含むシステムのブロック図である。 本発明の第一の実施形態における処理装置の動作を示すフローチャートである。 第一の実施形態におけるワークの点群などを示す図である。 第一の実施形態におけるワークの点群と領域モデルとを示す図である。 領域モデルの略図である。 図５Ａに示される領域モデルを全体的に拡大させた図である。 図５Ａに示される領域モデルを姿勢変更させた図である。 図５Ａに示される領域モデルを部分的に拡大させた図である。 他の領域モデルを示す図である。 さらに他の領域モデルを示す図である。 領域モデルを選択するためのメニュー画面を示す図である。 他のワークを示す図である。 さらに他のワークを示す図である。 第二の実施形態において追加の領域モデルなどを示す図である。 第三の実施形態における領域モデル等を示す図である。 図９Ａに示されるワークなどを示す図である。 本発明の第三の実施形態における処理装置の動作を示すフローチャートである。
　以下、添付図面を参照して本発明の実施の形態を説明する。全図面に渡り、対応する構成要素には共通の参照符号を付す。
　図１は本発明の第一の実施形態における処理装置を含むシステムの略図である。図１に示されるように、システム１は、エンドエフェクタ６を備えたロボット５、例えば多関節ロボットと、三次元カメラ９と、入力部３２を備えた教示操作盤３０とを主に含んでいる。また、ロボット５の近傍に配置されたテーブルＴ上には、対象物としてのワークＷが載置されている。ワークＷは三次元形状を有する。例えば図１に示されるワークＷは、中央の円板部と、該円板部を貫通する軸部とからなる形状である。円板部と軸部とは一体的に形成されていてもよい。また、ワークＷの形状はこれに限定されるものではない。
　図１においては、ロボット５のエンドエフェクタ６がワークＷを把持するか、または機械加工する構成が示されている。なお、三次元カメラ９の代わりに、三次元スキャナを有する構成であってもよい。
　図２は、本発明の第一の実施形態における処理装置を含むシステムのブロック図である。システム１の制御装置１０はコンピュータであり、記憶部１１、例えばＲＯＭ、ＲＡＭ等と、ＣＰＵ（Central Processing Unit）１２と、記憶部１１およびＣＰＵ１２等を互いに接続するバス等を含んでいる。記憶部１１は、三次元カメラ９により撮像された画像を記憶する他、ロボット５の動作プログラム、後述する領域モデルＭ、各種パラメータを記憶する。
　図１においては、入力部３２は教示操作盤３０の一部分であるが、入力部３２は、例えばキーボード、マウス、タッチパネルなどの外付けデバイスであってもよい。また、画面３１は教示操作盤３０の一部分であってもよく、独立した画面３１、例えばＣＲＴ、液晶モニタであってもよい。なお、三次元カメラ９と、記憶部１１と、処理装置２０と、画面３１と、入力部３２とを備えた構成を処理システム７と呼ぶ。
　ＣＰＵ１２は、詳細に後述する処理装置２０およびロボット５を制御するロボット制御部２９としての役目を果たす。処理装置２０は、三次元カメラ９で撮像された三次元画像における対象物（ワーク）Ｗを含む点群を画面３１に３Ｄ表示させる計測点群表示部２１と、領域モデルＭを画面３１に３Ｄ表示（三次元表示）させる領域モデル表示部２２と、を含んでいる。さらに、処理装置２０は、領域モデル表示部２２により表示された領域モデルＭの位置姿勢を変更させて領域モデルＭを位置決めし、それにより、対象物Ｗの点群が領域モデルＭにより少なくとも部分的に取囲まれるようにする位置決め部２３と、位置決め部２３により位置決めされた領域モデルＭが取囲む画面３１内の領域を対象物Ｗのモデルとして設定する設定部２４とを含む。さらに、処理装置２０は、入力部３２からの入力操作に応じて、対象物Ｗの点群および領域モデルＭのうちの少なくとも一方の色を変更する色変更部２５を含む。
　これら計測点群表示部２１、領域モデル表示部２２、位置決め部２３、設定部２４、色変更部２５は、例えば、プロセッサ１２上で実行されるコンピュータプログラムにより実現される機能モジュールである。プロセッサ１２が有する計測点群表示部２１～色変更部２５の処理を実行するためのコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な記録媒体に記録された形で提供されてもよい。
　なお、処理装置２０またはロボット制御部２９は三次元カメラ９の撮像制御機能、モデルＭ、ＭＷや検出パラメータ（スコアの閾値や、ワークの基準位置）などの設定機能、ロボット５に対してモデルＭ、ＭＷを教示する教示作業のための画面表示機能、教示したモデルＭ、ＭＷを用いたワーク検出機能を有するようにしてもよい。
　図３は、本発明の第一の実施形態における処理装置の動作を示すフローチャートである。図３に示される内容は、処理装置の動作プログラムの記憶部１１に予め記憶されているものとする。
　はじめに、ステップＳ１において、三次元カメラ９が、テーブルＴに載置されたワークＷを撮像する。ワークＷの三次元画像は記憶部１１に記憶される。次いで、ステップＳ２において、計測点群表示部２１がワークＷの点群を含む三次元画像を画面３１に表示させる。図４Ａは第一の実施形態におけるワークの点群などを示す図である。図４Ａにおいては、ワークＷの点群がテーブルＴの点群上に載置されている。
　次いで、ステップＳ３において、領域モデル表示部２２は、操作者の操作に応じて、領域モデルＭを画面３１に３Ｄ表示させる。図４Ｂは第一の実施形態におけるワークの点群と領域モデルとを示す図である。図４Ｂに示される領域モデルＭは、三次元表示された直方体のフレームである。なお、後述するように、領域モデルＭは他の形状、例えば球体、カプセル型などであってもよい。
　領域モデルＭの位置姿勢の初期値およびサイズに関する初期値は、ワークＷの設置場所およびサイズに応じて定まる任意の値でもよい。あるいは、領域モデル表示部２２は、三次元カメラから計測された全ての点群が領域モデルＭに含まれるように、領域モデルＭの位置姿勢の初期値およびサイズに関する初期値を算出した上で、領域モデルＭを画面３１に表示するようにしてもよい。以下においては、領域モデルＭが直方体である場合について説明する。
　図５Ａは領域モデルの略図である。図５Ａにおいては、領域モデルＭの各頂点Ａ１～Ａ８と、領域モデルＭの中心Ｃ０とが、白丸で強調表示されている。これら白丸を操作点と呼ぶ。なお、簡潔にする目的で、操作点の図示を省略する場合がある。
　次いで、ステップＳ４において、操作者は、入力部３２を操作して、ワークＷの点群が領域モデルＭにより少なくとも部分的に取囲まれるように、領域モデルＭを位置決めする。この操作は位置決め部２３を通じて行われる。
　図５Ｂ～図５Ｄは図５Ａに示される領域モデルを示す図である。例えば図５Ｂにおいては、操作者は入力部３２を操作して、操作点Ａ２を指定したまま、領域モデルＭの一面の対角線方向にドラッグ操作を行う。これにより、頂点Ａ２の位置が変更され、それにより、領域モデルＭを全体的に拡大させられる。同様の操作により、領域モデルＭを縮小させることも可能である。
　さらに、図５Ｃにおいては、操作者は入力部３２を操作して、操作点Ｃ０を指定したままドラッグ操作で平行移動または回転させる。これにより、ドラッグ操作に応じて、領域モデルを平行移動させられるか、領域モデルＭを中心Ｃ０回りに回転させられる。
　操作点Ｃ０に関しては、操作点Ｃ０を指定したときに、領域モデルＭを平行移動させるか、回転させるかに関するメニューを画面３１に表示するようにしてもよい。同様に、領域モデルＭを拡大縮小させるか、回転させるかについての同様のメニュー画面を、頂点Ａ２を指定したときに画面３１に表示してもよい。あるいは、図５Ｃに示されるＸＹＺ方向を示す矢印のうちの一つを指定したときに、指定された方向回りに領域モデルＭを回転させるようにしてもよい。このように領域モデルＭの指定位置に応じて、領域モデルＭに関する動作を変えるようにすることもできる。
　さらに、図５Ｄにおいては、領域モデルＭの一面の中心に操作点Ｃ１が配置されている。操作者は入力部３２を操作して、操作点Ｃ１を指定したまま、領域モデルＭの奥行方向（操作点Ｃ１が配置された面の法線方向）にドラッグ操作させる。これにより、領域モデルＭを部分的に拡大／縮小させられる。
　なお、領域モデルＭが他の形状、例えば球体である場合には、図６Ａに示されるように、球体の中心に位置する操作点Ｃ０’を操作して、位置を変更したり、球体縁部に位置する操作点Ｃ１’を操作して、前述したのと同様に領域モデルＭを拡大縮小したりすることができる。
　あるいは、図６Ｂに示されるように、領域モデルＭがカプセル型（円筒と、該円筒の端面にそれぞれ連結された二つの半球体との組み合わせ）である場合には、円筒の中心に位置する操作点Ｃ０’’を操作して、位置姿勢を変更したり、円筒の端面の中心に位置する操作点Ｃ２’または半球体の縁部に位置する操作点Ｃ３’を操作して、前述したのと同様に領域モデルＭを拡大縮小したりすることができる。
　さらに、図６Ｃは領域モデルを選択するためのメニュー画面を示す図である。図６Ｃに示されるメニュー画面３９は、図３のステップＳ２とステップＳ３との間において画面３１に表示されるようにしてもよい。そして、操作者は入力部３２を用いて、所望の形状の領域モデルＭを選択するようにすればよい。これにより、ワークＷの形状に最適な領域モデルＭを選択できるので、後述する操作をより正確に行えることが分かるであろう。
　また、領域モデルＭの位置姿勢に関する数値およびサイズに関する数値を画面３１上に別途表示するようにしてもよい。さらに、操作者は、入力部３２を用いて領域モデルＭの位置姿勢に関する数値およびサイズに関する数値を直接入力し、それにより、領域モデルＭの位置姿勢およびサイズを変更するようにしてもよい。
　操作者は、図５Ｂ～図５Ｄに示される操作を通じて、ワークＷの点群が領域モデルＭにより少なくとも部分的に取囲まれるように、領域モデルＭを位置決めする。その結果、図４Ｂに示されるように、ワークＷの点群は領域モデルＭにより少なくとも部分的に取囲まれるようになる。ワークＷの点群が領域モデルＭにより完全に取囲まれるのが好ましい。また、領域モデルＭは、ワークＷを少なくとも部分的に取囲む最小限の大きさであるのが好ましい。
　次いで、ステップＳ５において、位置決めされた領域モデルＭが取囲む画面３１内の領域をワークＷのモデルＭＷとして設定する。従って、本発明においては、ワークＷの点群に基づいて簡易的なモデルＭＷを容易に作成することができる。
　次いで、モデルＭＷに基づいて、公知の手法でロボット５に対しワークＷの位置姿勢を教示する。そして、教示されたワークＷの位置姿勢に基づいて、ロボット５の動作プログラムに従ってロボット５を動作させればよい。あるいは、三次元カメラ９により撮像された別の画像に対して、モデルＭＷを用いてワークＷを検出するようにしてもよい。
　ところで、図７Ａおよび図７Ｂは他のワークを示す図である。図７Ａに示されるワークＷ１は、円筒と小型直方体との間に大型直方体が配置された形状を有する。これに対し、図７Ｂに示されるワークＷ２は、円錐台と小型直方体との間に大型直方体が配置された形状を有する。言い換えれば、ワークＷ１とワークＷ２とは、小型直方体と大型直方体からなる共通部分を有している。
　このような場合には、図７Ａおよび図７Ｂに示されるように、ワークＷ１、Ｗ２の共通部分のみを領域モデルＭ０で取り囲むようにする。つまり、ワークＷ１、Ｗ２を部分的にのみ領域モデルＭ０で取り囲む。この場合には、異なるワークＷ１、Ｗ２に対し、共通の領域モデルＭ０でもって、ワークＷのモデルＭＷ０を設定することができる。言い換えれば、多数のワークＷ１、Ｗ２が撮像された別の画像において、共通のモデルＭＷ０を用いて、ワークＷ１、Ｗ２のモデルＭＷ０を設定することができる。あるいは、三次元カメラ９により撮像されたさらに別の画像に対して、共通のモデルＭＷ０を用いて異なるワークＷ１、Ｗ２を検出するようにしてもよい。
　なお、色変更部２５は、領域モデルＭおよび対象物Ｗの点群のうちの少なくとも一方の色を変更するだけでなく、入力部３２の操作に応じて、領域モデルＭを構成する線の種類、例えば実線、破線、一点鎖線などを変更してもよい。
　ところで、本発明第二の実施形態においては、第一の実施形態と同様な処理Ｓ１～Ｓ５を行う。そして、第二の実施形態においては、図３のステップＳ６において追加の領域モデルＭ’を画面に３Ｄ表示する。そして、ステップＳ７においては、追加の領域モデルＭ’の位置姿勢を変更させて追加の領域モデルＭ’を位置決めする。図８は第二の実施形態において追加の領域モデルなどを示す図である。図８においては、追加領域モデルＭ’は、テーブルＴの点群を少なくとも部分的に取り囲むように位置決めされている。なお、図８では、簡潔にする目的で、ワークＷのための領域モデルＭの図示を省略している。
　図８に示されるテーブルＴの点群は、ワークＷの点群を領域モデルＭにより少なくとも部分的に取囲むのに不要な点群である。第二の実施形態においては、このようなテーブルＴの点群を追加の領域モデルＭ’により取囲み、次いで、追加の領域モデルＭ’により取り囲まれた領域をマスク処理する。
　このように、テーブルＴや背景など、ワークＷと関係しない点群を追加の領域モデルＭ’でマスク処理することにより、ワークＷのモデルを設定しやすくなる。なお、ステップＳ６、Ｓ７を先に行って領域モデルＭ’で不要な点群を取囲み、その後、ステップＳ１～Ｓ５の処理によりワークＷのモデルＷＭを作成するようにしてもよい。これにより、ワークＷのモデルＷＭを作成するのが容易且つ正確になるのが分かるであろう。なお、複数の領域モデルＭ’を用いて、複数箇所についてマスク処理するようにしてもよい。
　さらに、図９Ａは第三の実施形態における領域モデルなどを示す図であり、図９Ｂは図９Ａに示されるワークなどを示す図である。さらに、図１０は本発明の第三の実施形態における処理装置の動作を示すフローチャートである。図１０のステップＳ１～Ｓ３は前述したのと同様であるので再度の説明を省略する。
　図９Ａに示されるワークＷ３は二つの細長部分からなる略Ｘ字形状である。このようなワークＷ３をモデルとして設定する際には、まず、ステップＳ４’で、ワークＷ３の一部分、例えば一方の細長部分が少なくとも部分的に取り囲まれるように、領域モデルＭ１の位置姿勢を変更させて領域モデルＭ１を位置決めする。
　次いで、ステップＳ５’においては、追加の領域モデルＭ２を画面３１に表示する。そして、ステップＳ６’においては、ワークＷ３の他の部分、例えば他方の細長部分が少なくとも部分的に取り囲まれるように、領域モデルＭ２の位置姿勢を変更させて領域モデルＭ２を位置決めする。
　最終的にステップＳ７’において、位置決めされた領域モデルＭ１および追加の領域モデルＭ２が取囲む画面３１内の領域をワークＷ３のモデルＭＷ３として設定する。当然のことながら、二つ以上の領域モデルを用いてワークＷを取り囲むようにしてもよい。これにより、複雑な形状のワークＷ３であっても、そのモデルＭＷ３を容易に設定できるようになる。
　さらに、図９Ｂから分かるように、三次元カメラ９により撮像された画像には、ワーク以外の異物も含まれる場合がある。このように、ワークＷ３の周囲に異物が存在する場合であっても、図１０を用いて説明した処理により、それら異物が含まれないように領域モデルＭ１、Ｍ２でワークＷ３を取り囲み、それにより、モデルＭＷ３を正確に設定できるのが分かるであろう。従って、第三の実施形態は、複雑な形状のワークのモデルを設定するのに有利である。
　本開示の実施形態について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、発明の要旨を逸脱しない範囲で、または請求の範囲に記載された内容とその均等物から導き出される本発明の思想および趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除などが可能である。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値又は数式が用いられている場合も同様である。さらに、前述した実施形態の幾つかを適宜組み合わせることは本開示の範囲に含まれる。
　　１　　　システム
　　５　　　ロボット
　　７　　　処理システム
　１０　　　制御装置
　１１　　　記憶部
　２０　　　処理装置
　２１　　　計測点群表示部
　２２　　　領域モデル表示部
　２３　　　位置決め部
　２４　　　設定部
　２５　　　色変更部
　３０　　　教示操作盤
　３１　　　画面
　３２　　　入力部
　３９　　　メニュー画面
Ｍ、Ｍ’、Ｍ０、Ｍ１、Ｍ２　　　領域モデル
ＭＷ、ＭＷ０、ＭＷ３　　　ワークのモデル
Ｗ、Ｗ１、Ｗ２、Ｗ３　　　ワーク

Claims (11)

  1. 　画面と、
    　三次元カメラで計測した対象物を含む点群を前記画面に３Ｄ表示させる計測点群表示部と、
    　領域モデルを前記画面に３Ｄ表示させる領域モデル表示部と、
    　該領域モデル表示部により表示された前記領域モデルの位置姿勢を変更させて前記領域モデルを位置決めし、それにより、前記対象物の点群が前記領域モデルにより少なくとも部分的に取囲まれるようにする位置決め部と、
    　該位置決め部により位置決めされた前記領域モデルが取囲む前記画面内の領域を前記対象物のモデルとして設定する設定部と、を具備する、処理装置。
  2. 　前記領域モデルは直方体、球体、またはカプセル型である、請求項１に記載の処理装置。
  3. 　前記領域モデルは、該領域モデルをサイズ変更するための操作点および前記領域モデルの位置姿勢を変更するための操作点のうちの少なくとも一方を有する、請求項２に記載の処理装置。
  4. 　前記領域モデルの位置姿勢およびサイズを入力する入力部を具備する、請求項１から３のいずれか一項に記載の処理装置。
  5. 　前記対象物の点群および前記領域モデルのうちの少なくとも一方の色を変更する色変更部を具備する、請求項１から４のいずれか一項に記載の処理装置。
  6. 　前記領域モデル表示部は、追加の領域モデルを前記画面に３Ｄ表示させ、
    　前記位置決め部は、前記領域モデル表示部により表示された追加の領域モデルの位置姿勢を変更させて前記追加の領域モデルを位置決めし、それにより、前記対象物の点群を前記領域モデルにより少なくとも部分的に取囲むのに不要な点群が前記追加の領域モデルによりマスクされるようにした、請求項１に記載の処理装置。
  7. 　前記領域モデル表示部は、追加の領域モデルを前記画面に３Ｄ表示させ、
    　前記位置決め部は、前記領域モデル表示部により表示された前記追加の領域モデルの位置姿勢を変更させて前記追加の領域モデルを位置決めし、それにより、前記対象物の点群を前記領域モデルおよび前記追加の領域モデルにより少なくとも部分的に取囲むようにした、請求項１に記載の処理装置。
  8. 　請求項１から７のいずれか一項に記載の処理装置と、
    　前記三次元カメラとを具備する、処理システム。
  9. 　三次元カメラで計測した対象物を含む点群を画面に３Ｄ表示させ、
    　領域モデルを前記画面に３Ｄ表示させ、
    　前記領域モデルの位置姿勢を変更させて前記領域モデルを位置決めし、それにより、前記対象物の点群が前記領域モデルにより少なくとも部分的に取囲まれるようにし、
    　前記位置決めされた前記領域モデルが取囲む前記画面内の領域を前記対象物のモデルとして設定する、処理方法。
  10. 　さらに、追加の領域モデルを前記画面に３Ｄ表示させ、
    　前記追加の領域モデルの位置姿勢を変更させて前記追加の領域モデルを位置決めし、それにより、前記対象物の点群を前記領域モデルにより少なくとも部分的に取囲むのに不要な点群が前記追加の領域モデルによりマスクされるようにした、請求項９に記載の処理方法。
  11. 　さらに、追加の領域モデルを前記画面に３Ｄ表示させ、
    　前記追加の領域モデルの位置姿勢を変更させて前記追加の領域モデルを位置決めし、それにより、前記対象物の点群を前記領域モデルおよび前記追加の領域モデルにより少なくとも部分的に取囲むようにした、請求項９に記載の処理方法。
PCT/JP2022/024969 2022-06-22 2022-06-22 処理装置、処理システムおよび処理方法 WO2023248394A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/024969 WO2023248394A1 (ja) 2022-06-22 2022-06-22 処理装置、処理システムおよび処理方法
TW112118944A TW202401366A (zh) 2022-06-22 2023-05-22 處理裝置、處理系統及處理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024969 WO2023248394A1 (ja) 2022-06-22 2022-06-22 処理装置、処理システムおよび処理方法

Publications (1)

Publication Number Publication Date
WO2023248394A1 true WO2023248394A1 (ja) 2023-12-28

Family

ID=89379264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024969 WO2023248394A1 (ja) 2022-06-22 2022-06-22 処理装置、処理システムおよび処理方法

Country Status (2)

Country Link
TW (1) TW202401366A (ja)
WO (1) WO2023248394A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020230452A1 (ja) * 2019-05-14 2020-11-19 株式会社ジオ技術研究所 ３次元モデル生成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020230452A1 (ja) * 2019-05-14 2020-11-19 株式会社ジオ技術研究所 ３次元モデル生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TORII, TAKUYA; HASHIMOTO, MANABU: "Primitive approximation of unknown objects for robot grip position estimation using 3D-DNN", ITE TECHNICAL REPORT, EIZO JOHO MEDIA GAKKAI, TOKYO, JP, vol. 41, no. 29 (ME2017-103), 29 August 2017 (2017-08-29), JP , pages 45 - 48, XP009551962, ISSN: 1342-6893, DOI: 10.11485/itetr.41.29.0_45 *

Also Published As

Publication number Publication date
TW202401366A (zh) 2024-01-01

Similar Documents

Publication Publication Date Title
US8964001B2 (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP3732494B2 (ja) シミュレーション装置
US20060025890A1 (en) Processing program generating device
JP4737668B2 (ja) ３次元計測方法および３次元計測システム
US20160158937A1 (en) Robot system having augmented reality-compatible display
JP7167453B2 (ja) 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
KR20140106421A (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
JP2007090481A (ja) ロボットシミュレーション装置
JP2007334678A (ja) ロボットシミュレーション装置
US20070242073A1 (en) Robot simulation apparatus
JP2009175954A (ja) 加工用ロボットプラグラムの作成装置
US20210200179A1 (en) Simulator, numerical control device, and simulation method
JP6420537B2 (ja) 多関節型三次元測定装置
JP2007071835A (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
WO2023248394A1 (ja) 処理装置、処理システムおよび処理方法
JP7448633B2 (ja) 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置
JP2006215750A (ja) 画像処理方法、画像処理装置
US10139426B2 (en) Airflow test method, airflow test apparatus and clean room control system
Dinh et al. Augmented reality interface for taping robot
JP2017126240A (ja) ３次元モデル表示システムおよび表示方法
JP2005186193A (ja) ロボットのキャリブレーション方法および三次元位置計測方法
JP4975705B2 (ja) 画像処理装置、画像処理方法、画像処理コンピュータ・プログラム及び画像処理コンピュータ・プログラムを記憶した記憶媒体
JPH0631450A (ja) 溶接ロボットの動作軌跡作成装置
WO2022181500A1 (ja) 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22947955

Country of ref document: EP

Kind code of ref document: A1