JP6643020B2 - Robot control device, robot control method, and computer program - Google Patents

Robot control device, robot control method, and computer program Download PDF

Info

Publication number
JP6643020B2
JP6643020B2 JP2015188931A JP2015188931A JP6643020B2 JP 6643020 B2 JP6643020 B2 JP 6643020B2 JP 2015188931 A JP2015188931 A JP 2015188931A JP 2015188931 A JP2015188931 A JP 2015188931A JP 6643020 B2 JP6643020 B2 JP 6643020B2
Authority
JP
Japan
Prior art keywords
robot
posture
target
determining
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015188931A
Other languages
Japanese (ja)
Other versions
JP2017061025A5 (en
JP2017061025A (en
Inventor
山田　大輔
大輔 山田
小林　一彦
一彦 小林
鈴木　雅博
雅博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015188931A priority Critical patent/JP6643020B2/en
Publication of JP2017061025A publication Critical patent/JP2017061025A/en
Publication of JP2017061025A5 publication Critical patent/JP2017061025A5/ja
Application granted granted Critical
Publication of JP6643020B2 publication Critical patent/JP6643020B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、ロボットの行動を計画するロボット制御装置、ロボット制御方法及びコンピュータプログラムに関する。   The present invention relates to a robot control device, a robot control method, and a computer program for planning a behavior of a robot.

従来、ロボットを利用して対象物の姿勢変更を行う場合、対象物の静的な状態を考慮して対象物（ワーク）の姿勢が、変更後の姿勢に変更されるように搬送する手法があった。すなわち、対象物の姿勢変更後の目標位置及び姿勢において、ロボットが対象物をリリースする手法である。
例えば特許文献１は、設定された作業計画に基づいて対象物を把持する場合に、次の動作の障害等にならないような把持手法（把持位置）を決定可能なロボット制御装置及びロボットシステム等を開示する。具体的には、特許文献１では、対象物の姿勢変更前後で共に成り立つ共通の把持パターンを求め、対象物の姿勢変更を行う。 Conventionally, when changing the posture of an object using a robot, there is a method of transporting the object (work) so that the posture of the object (work) is changed to the changed posture in consideration of the static state of the object. there were. In other words, this is a method in which the robot releases the target at the target position and posture after the posture of the target is changed.
For example, Patent Literature 1 discloses a robot control device and a robot system that can determine a gripping method (gripping position) that does not cause an obstacle to the next operation when gripping an object based on a set work plan. Disclose. Specifically, in Patent Literature 1, a common grip pattern that is established before and after the change in the posture of the target object is obtained, and the posture of the target object is changed.

特開２０１２−２０６２１９号公報JP 2012-206219 A

しかしながら、特許文献１の技術では、姿勢変更の前後で対象物を把持する共通の把持パターンが存在しない場合は、最終的な目標姿勢に至るまでに複数回の姿勢変更動作を行う必要が生じる。このため、タクトタイム（tact time）が延びてしまうという課題があった。
そこで、本発明の目的は、ロボットが対象物を、より少ない動作回数で効率的に姿勢変更させることができるロボット制御装置、ロボット制御方法及びコンピュータプログラムを提供することにある。 However, in the technique of Patent Literature 1, if there is no common gripping pattern for gripping the object before and after the posture change, it is necessary to perform a plurality of posture change operations before reaching the final target posture. For this reason, there has been a problem that the tact time is extended.
Therefore, an object of the present invention is to provide a robot control device, a robot control method, and a computer program that allow a robot to efficiently change the posture of an object with a smaller number of operations.

上記課題を解決するために、本願発明に係るロボット制御装置の一態様は、対象物を操作するロボットを制御するロボット制御装置であって、前記対象物の位置及び姿勢を取得する取得手段と、前記取得手段により取得された前記対象物の第１の位置及び姿勢と、操作後の前記対象物の目標状態である第２の位置及び姿勢と、前記対象物に発生する運動とに基づいて、前記ロボットが前記対象物を把持する把持位置及びリリースするリリース位置を含む操作位置を決定する決定手段と、前記決定手段により決定された前記操作位置に基づいて、前記ロボットが前記対象物の姿勢を変更する行動計画を生成する生成手段と、を備え、前記決定手段は、前記対象物が、前記把持位置から前記第２の位置に至る間に、前記リリース位置を決定する。
本願発明に係るロボット制御装置の他の一態様は、対象物を操作するロボットを制御するロボット制御装置であって、前記対象物の位置及び姿勢を取得する取得手段と、前記取得手段により取得された前記対象物の第１の位置及び姿勢と、操作後の前記対象物の目標状態である第２の位置及び姿勢と、前記対象物に発生する運動とに基づいて、前記ロボットが前記対象物を把持する把持位置及びリリースするリリース位置を含む操作位置を決定する決定手段と、前記決定手段により決定された前記操作位置に基づいて、前記ロボットが前記対象物の姿勢を変更する行動計画を生成する生成手段と、を備え、前記決定手段は、前記対象物が、リリース位置からの運動により前記第２の位置及び姿勢へ至るよう、前記操作位置を決定する。 In order to solve the above problem, one aspect of the robot control device according to the present invention is a robot control device that controls a robot that operates an object, an acquisition unit that acquires a position and a posture of the object, Based on a first position and orientation of the object acquired by the acquisition unit, a second position and orientation that is a target state of the object after operation, and a motion generated in the object, Determining means for determining an operation position including a gripping position at which the robot grips the object and a release position at which the object is released, and the robot changes the posture of the object based on the operation position determined by the determining means. comprising generation means for generating an action plan to change, wherein the determination means, the object is, while leading to the second position from the gripping position, that determine the release position.
Another aspect of the robot control device according to the present invention is a robot control device that controls a robot that operates an object, an acquisition unit that acquires a position and a posture of the object, and an acquisition unit that acquires the position and orientation of the object. The robot moves the object based on a first position and orientation of the object, a second position and orientation that is a target state of the object after operation, and a motion generated in the object. Determining means for determining an operation position including a gripping position for gripping and a release position for releasing, and generating an action plan in which the robot changes a posture of the object based on the operation position determined by the determining means. And a determination unit that determines the operation position such that the object reaches the second position and the posture by the movement from the release position.

本発明によれば、ロボットが対象物を、より少ない動作回数で効率的に姿勢変更させることができる。   According to the present invention, the robot can efficiently change the posture of the target object with a smaller number of operations.

実施形態１に係るロボットシステムを実現する装置構成を表した図である。FIG. 2 is a diagram illustrating an apparatus configuration for realizing the robot system according to the first embodiment. 実施形態１に係るロボットシステムの機能要素の構成図である。FIG. 2 is a configuration diagram of functional elements of the robot system according to the first embodiment. ロボットシステムの処理を示すフローチャートである。5 is a flowchart illustrating a process of the robot system. ロボットシステムの位置・姿勢計測部の処理を示すフローチャートである。5 is a flowchart illustrating processing of a position / posture measuring unit of the robot system. ロボットシステムの操作位置決定部の処理を示すフローチャートである。6 is a flowchart illustrating a process of an operation position determination unit of the robot system. 操作位置決定部の判断部の処理を示すフローチャートである。9 is a flowchart illustrating a process of a determination unit of an operation position determination unit. ロボットシステムの対象物の初期状態を模式的に表した図である。FIG. 3 is a diagram schematically illustrating an initial state of an object of the robot system. ロボットシステムの対象物の回転後の状態を模式的に表現した図である。FIG. 3 is a diagram schematically illustrating a state after rotation of an object of the robot system. 対象物の回転後のリリース時の状態を模式的に表現した図である。It is the figure which expressed typically the state at the time of release after rotation of an object. 対象物のリリース後の対象物の傾いた状態を模式的に表現した図である。It is the figure which expressed typically the state where the target object was inclined after release of the target object. 対象物の傾く過程とエンドエフェクタの関係を表現した模式図である。FIG. 3 is a schematic diagram illustrating a relationship between a process of tilting an object and an end effector. 対象物のリリース後のエンドエフェクタの状態を表現した図である。FIG. 4 is a diagram illustrating a state of an end effector after an object is released. 実施形態２に係るロボットシステムの機能要素の構成図である。FIG. 9 is a configuration diagram of functional elements of a robot system according to a second embodiment. 実施形態３に係るロボットシステムの機能要素の構成図である。FIG. 9 is a configuration diagram of functional elements of a robot system according to a third embodiment. 実施形態３に係るロボットシステムの処理を示すフローチャートである。13 is a flowchart illustrating processing of the robot system according to the third embodiment. 内容物計測部と操作位置決定部の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of a content measurement part and an operation position determination part. 実施形態４に係るロボットシステムの装置構成図である。FIG. 13 is a device configuration diagram of a robot system according to a fourth embodiment. 実施形態４に係るロボットシステムの機能要素構成図である。FIG. 14 is a functional element configuration diagram of a robot system according to a fourth embodiment. 操作位置決定部の判断部の処理の流れを示すフローチャートである。9 is a flowchart illustrating a flow of processing of a determination unit of an operation position determination unit. 対象物のリリース後の状態を模式的に表現した図である。It is the figure which represented the state after release of the object typically. 対象物の初期状態から目標状態への遷移過程を模式的に表現した図である。It is the figure which represented typically the transition process from the initial state of the object to the target state. 実施形態で説明した各部のハードウエア構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a hardware configuration of each unit described in the embodiment.

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。 Hereinafter, an embodiment for carrying out the present invention will be described in detail with reference to the accompanying drawings.
The embodiment described below is an example as a means for realizing the present invention, and should be appropriately modified or changed depending on the configuration of the apparatus to which the present invention is applied and various conditions. However, the present invention is not limited to the embodiment.

実施形態１
本実施形態においては、対象物に運動を発生させる要因を考慮することによって、把持した対象物を最終的な目標位置及び姿勢（以下、単に「目標姿勢」ともいう）の手前でリリースして、対象物を目標姿勢へ向かわせるようにしたものである。本実施形態においては、このような制御を実現するように、ロボットが対象物を把持する位置及びリリースする位置を決定する。
具体的には、本実施形態では、対象物の位置及び姿勢を計測して、この計測結果から対象物がどの部品でどのような位置及び姿勢かを判断する。さらに、対象物の支持基底面を求め、この支持基底面を用いて、ロボットによる操作で対象物を姿勢変更するための操作位置を決定する。
ここで、対象物とは、姿勢変更の対象物（ワーク）をいい、例えばトナーカートリッジのような容器である。 Embodiment 1
In the present embodiment, the gripped object is released before a final target position and posture (hereinafter, also simply referred to as a “target posture”) by taking into account the factors that cause the object to move. The object is directed to the target posture. In the present embodiment, the position where the robot grips and releases the object is determined so as to realize such control.
Specifically, in the present embodiment, the position and orientation of the target object are measured, and from this measurement result, which component and what position and orientation of the target object is determined. Further, a support base surface of the object is obtained, and an operation position for changing the posture of the object by operation by the robot is determined using the support base surface.
Here, the object refers to an object (work) whose posture is to be changed, and is, for example, a container such as a toner cartridge.

また、支持基底面とは、対象物が面の上に目標とする目標姿勢で置かれているとき、対象物の重心から対象物が置かれている面に垂線を下ろした際に垂線が交わる対象物の面をいう。本実施形態では、対象物を目標姿勢に変更する際に、静的な操作では一回で姿勢変更できない場合、動的な操作を考慮して目標姿勢の手前の、最適なリリース位置でリリースする。すなわち、動的な操作を考慮して目標姿勢の手前の最適なリリース位置でリリースするという動作命令をロボットに送り、ロボットにその動作命令に従って対象物を操作させる。
ここで、静的な操作とは、対象物の静的な状態を考慮した操作方法である。例えば、対象物をリリースする状態（位置及び姿勢）と目標状態（位置及び姿勢）が一致している場合、リリースしてから対象物の姿勢に変化は生じないため、これを静的な操作と考える。 In addition, when the target is placed on the surface in the target posture, the perpendicular intersects when the perpendicular is dropped from the center of gravity of the target to the surface on which the target is placed Refers to the surface of the object. In the present embodiment, when the target object is changed to the target posture, if the posture cannot be changed at once by a static operation, the object is released at an optimal release position before the target posture in consideration of the dynamic operation. . That is, an operation command to release the robot at the optimum release position before the target posture in consideration of the dynamic operation is sent to the robot, and the robot operates the object according to the operation command.
Here, the static operation is an operation method that takes into account the static state of the object. For example, if the state (position and posture) of releasing the target object and the target state (position and posture) match, the posture of the target object does not change after release. Think.

他方、動的な操作とは、対象物の動的な状態まで考慮した操作方法である。例えば、対象物をリリースする状態と目標状態が一致していない場合でも、リリース後に対象物に運動が発生して、最終的に対象物の状態が目標状態と一致するような操作方法を、動的な操作であると考える。なお、本実施形態においては、対象物に運動を発生させる要因として、重力を考慮する。
図１は、本実施形態におけるロボットシステム１００を構成する機器構成を説明する図である。図１の例に示す機器構成は一例であり、本発明の適用範囲を限定するものではない。
ロボット１０１は、マニピュレータやロボットハンドのようなエンドエフェクタなどの機器によって構成される。ロボット１０１は、情報処理装置１０４（ロボット制御装置）
が決定した行動を実行し、例えば対象物１０６を操作する。
ここで、「行動」とは、対象物１０６を操作するためのロボット１０１の動作のことをいい、例えば、ロボット１０１により対象物１０６を搬送することや、把持すること等を含む。 On the other hand, a dynamic operation is an operation method that takes into account the dynamic state of an object. For example, even if the state of releasing the object does not match the target state, an operation method in which movement occurs in the object after release and the state of the object finally matches the target state is performed. Operation. In the present embodiment, gravity is considered as a factor for causing the object to move.
FIG. 1 is a diagram illustrating a device configuration of a robot system 100 according to the present embodiment. The device configuration shown in the example of FIG. 1 is an example, and does not limit the applicable range of the present invention.
The robot 101 is configured by devices such as an end effector such as a manipulator and a robot hand. The robot 101 is an information processing device 104 (robot control device)
Executes the determined action, and operates the object 106, for example.
Here, “behavior” refers to an operation of the robot 101 for operating the target object 106, and includes, for example, transporting and gripping the target object 106 by the robot 101.

撮像装置１０２は、対象物１０６及びその周辺環境等を撮像する装置であり、例えばカメラや光を検出するセンサ、フォトダイオードなどで構成される。このような構成によって、撮像装置１０２は、対象物１０６の画像情報を取得する。取得した画像情報は情報処理装置１０４によって処理される。
光源１０３は、例えばプロジェクタで構成され、可視光又は赤外線レーザー等を投影することができる。このような構成によって、光源１０３は、対象物１０６を均一光や所定のパターン光で照明することができる。なお、撮像装置１０２及び光源１０３に替えて、撮像装置１０２と光源１０３とで構成されるレーザーレンジファインダ装置を使ってもよい。 The image capturing apparatus 102 is an apparatus that captures an image of the object 106 and its surrounding environment, and includes, for example, a camera, a sensor that detects light, a photodiode, and the like. With such a configuration, the imaging device 102 acquires image information of the target object 106. The acquired image information is processed by the information processing device 104.
The light source 103 is composed of, for example, a projector and can project a visible light or an infrared laser. With such a configuration, the light source 103 can illuminate the object 106 with uniform light or predetermined pattern light. Note that, instead of the imaging device 102 and the light source 103, a laser range finder device including the imaging device 102 and the light source 103 may be used.

あるいは、光源１０３を使わずに、２つの撮像装置１０２を用いて、パッシブに計測を行い、対象物の位置及び姿勢を計測するための情報を得てもよい。また、光源１０３を使わずに、１つの撮像装置１０２を用いてもよく、対象物１０６の位置及び姿勢を計測するための情報が得られるものであればよい。
情報処理装置１０４は、コンピュータなどの計算機およびハードディスクなどの補助記憶装置によって構成される。情報処理装置１０４は、所定のインタフェース機器を介してロボット１０１、撮像装置１０２、光源１０３、搬送装置１０５と接続されており、これらの機器と随時通信することができ、これらの機器の動作を制御する。また、情報処理装置１０４は、対象物１０６の三次元形状、ロボット１０１の作業手順などの情報を記憶装置に保持する。 Alternatively, the measurement may be passively performed using the two imaging devices 102 without using the light source 103 to obtain information for measuring the position and orientation of the target object. In addition, one imaging device 102 may be used without using the light source 103, as long as information for measuring the position and orientation of the target object 106 can be obtained.
The information processing device 104 includes a computer such as a computer and an auxiliary storage device such as a hard disk. The information processing device 104 is connected to the robot 101, the imaging device 102, the light source 103, and the transport device 105 via predetermined interface devices, and can communicate with these devices as needed, and controls the operation of these devices. I do. The information processing device 104 stores information such as the three-dimensional shape of the target object 106 and the work procedure of the robot 101 in a storage device.

本実施形態において、情報処理装置１０４は、撮像装置１０２から入力された画像情報をもとに、情報処理装置１０４に保持されている各種情報を参照して、対象物１０６の位置及び姿勢を計測（認識）する。そして、情報処理装置１０４は、対象物１０６の計測（認識）された位置及び姿勢に基づき、対象物１０６の把持位置とリリース位置を決定し、ロボット１０１の行動を計画し、その結果をロボット１０１に対して出力する。
搬送装置１０５は、対象物１０６を撮像装置１０２の計測可能範囲内へ搬送する。搬送装置１０５はベルトコンベアなどの装置によって構成されてよく、情報処理装置１０４は、この搬送装置１０５を制御し、動作・停止等を行わせる。 In the present embodiment, the information processing apparatus 104 measures the position and orientation of the target object 106 based on image information input from the imaging apparatus 102 with reference to various information held in the information processing apparatus 104. (recognize. Then, the information processing device 104 determines a gripping position and a release position of the target object 106 based on the measured (recognized) position and orientation of the target object 106, plans an action of the robot 101, and outputs the result to the robot 101. Output to
The transport device 105 transports the target object 106 into a measurable range of the imaging device 102. The transport device 105 may be configured by a device such as a belt conveyor, and the information processing device 104 controls the transport device 105 to perform an operation / stop.

対象物１０６は、ロボットの操作により姿勢変更の処理がなされる対象物である。本実施形態においては、対象物１０６はトナーカートリッジであり、把持して搬送し姿勢変更させることが想定されるものとして説明する。
図２は本実施形態１における対象物１０６の姿勢変更を実現するためのロボットシステム１００の機能要素の構成と機能要素間の関係を模式的に表現した図である。図２において、撮像装置１０２は、対象物１０６を撮像し画像情報を得る。撮像された画像情報は、画像取得部２０１により取得される。図２に示すように、情報処理装置１０４は、画像取得部２０１と、位置・姿勢計測部２０２（取得手段）と、操作位置決定部２０４（決定手段）と、行動計画部２０５（生成手段）とを備えるロボット制御装置である。 The target object 106 is a target object whose posture is changed by the operation of the robot. In the present embodiment, the description will be made on the assumption that the target object 106 is a toner cartridge, and it is assumed that the target object 106 is gripped, transported, and changed in posture.
FIG. 2 is a diagram schematically illustrating a configuration of functional elements of the robot system 100 and a relationship between the functional elements for realizing the posture change of the target object 106 according to the first embodiment. In FIG. 2, an imaging device 102 captures an image of an object 106 to obtain image information. The captured image information is obtained by the image obtaining unit 201. As shown in FIG. 2, the information processing apparatus 104 includes an image acquisition unit 201, a position / posture measurement unit 202 (acquisition unit), an operation position determination unit 204 (determination unit), and an action planning unit 205 (generation unit). A robot control device comprising:

画像取得部２０１は、撮像装置１０２で撮像された画像情報を取得する。この撮像された画像情報は、位置・姿勢計測部２０２に出力されて使用される。なお、画像取得部２０１は、例えばキャプチャボードやＲＡＭ（メモリ）で構成されてよい。
位置・姿勢計測部２０２（取得手段）は、画像取得部２０１で取得した画像情報を入力として、対象物１０６の位置及び姿勢を計測（認識）する。具体的には、位置・姿勢計測部２０２は、取得された画像情報から、部品データベース２０３に蓄積される対象物１０６の部品種及び形状の情報を参照して対象物１０６の位置及び姿勢を決定（取得）する。そして、位置・姿勢計測部２０２は、この決定された位置及び姿勢を操作位置決定部２０４へ出力する。 The image acquisition unit 201 acquires information of an image captured by the imaging device 102. The captured image information is output to the position / posture measuring unit 202 and used. Note that the image acquisition unit 201 may be configured with, for example, a capture board or a RAM (memory).
The position / posture measurement unit 202 (acquisition unit) measures (recognizes) the position and orientation of the object 106 using the image information acquired by the image acquisition unit 201 as input. Specifically, the position / posture measuring unit 202 determines the position and the posture of the target object 106 by referring to the information on the component type and the shape of the target object 106 stored in the component database 203 from the acquired image information. (get. Then, the position / posture measuring unit 202 outputs the determined position and posture to the operation position determining unit 204.

位置・姿勢計測部２０２により参照される部品データベース２０３は、姿勢変更の対象となる対象物１０６の部品種及び形状の情報を保持している。保持されるデータの形態は、例えばＣＡＤデータやＣＧポリゴンなどのモデルデータであってよい。
操作位置決定部２０４（決定手段）は、位置・姿勢計測部２０２から出力される対象物１０６の位置及・姿勢情報を入力し、対象物１０６の操作位置として、少なくとも把持位置とリリース位置とを決定する。決定された操作位置（把持位置とリリース位置）は、行動計画部２０５へ出力される。 The component database 203 referred to by the position / posture measuring unit 202 holds information on the component type and shape of the target object 106 whose posture is to be changed. The form of the stored data may be, for example, CAD data or model data such as CG polygons.
The operation position determination unit 204 (determination means) inputs the position and orientation information of the object 106 output from the position / posture measurement unit 202, and determines at least the grip position and the release position as the operation position of the object 106. decide. The determined operation position (gripping position and release position) is output to the action planning unit 205.

行動計画部２０５（生成手段）は、操作位置決定部２０４により決定された操作位置を入力として、ロボット１０１の行動を計画（生成）する。具体的には、行動計画部２０５は、操作データベース２０６に保持されている部品種と作業手順の情報を参照して、対象物１０６を操作するロボットの行動を計画する。行動計画部２０５は、計画されたロボット１０１の行動を、動作命令としてロボット１０１へ出力する。
操作データベース２０６は、行動計画部２０５が行動を計画する際に参照する部品種と作業手順の情報を保持する。行動計画部２０５は、適宜操作データベース２０６の情報を参照して、計画を作成する。ロボット１０１は、行動計画部２０５が出力する動作命令（行動）に従って動作する。 The behavior planning unit 205 (generation unit) plans (generates) the behavior of the robot 101 using the operation position determined by the operation position determination unit 204 as an input. Specifically, the behavior planning unit 205 plans the behavior of the robot operating the target 106 with reference to the information on the component types and the work procedures held in the operation database 206. The action planning unit 205 outputs the planned action of the robot 101 to the robot 101 as an operation command.
The operation database 206 holds information on component types and work procedures that the behavior planning unit 205 refers to when planning a behavior. The action plan unit 205 creates a plan with reference to the information in the operation database 206 as appropriate. The robot 101 operates according to an operation command (action) output from the action planning unit 205.

図３は、本実施形態におけるロボットシステム１００の処理の流れを示すフローチャートである。図３に示される処理動作は、情報処理装置１０４の備えるＣＰＵがプログラムを実行することによって達成される。以下、図３に従って処理の手順を説明する。
Ｓ１において、本実施形態におけるロボットシステム１００の初期化を行う。具体的には、ユーザーがロボットシステム１００を起動し、情報処理装置１０４にロボットシステム１００を構築するためのプログラムがロードされる。ロードされたプログラムは、情報処理装置１０４中のメモリ上に展開されて実行可能な状態となる。また、ロボット１０１、撮像装置１０２において、機器パラメータの読み込みや初期位置への復帰などが行われ、使用可能な状態となる。 FIG. 3 is a flowchart illustrating a flow of processing of the robot system 100 according to the present embodiment. The processing operation illustrated in FIG. 3 is achieved by the CPU of the information processing device 104 executing a program. Hereinafter, the processing procedure will be described with reference to FIG.
In S1, the robot system 100 in the present embodiment is initialized. Specifically, a user starts the robot system 100 and a program for constructing the robot system 100 is loaded on the information processing device 104. The loaded program is expanded on a memory in the information processing device 104 and becomes executable. In the robot 101 and the imaging device 102, the reading of the device parameters, the return to the initial position, and the like are performed, and the robot 101 and the imaging device 102 become usable.

Ｓ２において、情報処理装置１０４は、搬送装置１０５を駆動して、撮像装置１０２が計測可能な範囲内に対象物１０６を配置する。また、画像取得部２０１は、撮像装置１０２を用いて対象物１０６に関する画像情報を取得する。
Ｓ３において、位置・姿勢計測部２０２は、対象物１０６の位置及び姿勢の計測を行う。ここで、図４を参照して、図３のＳ３における位置・姿勢計測処理の詳細を説明する。
図４は、本実施形態１におけるロボットシステム１００を構成する情報処理装置１０４の位置・姿勢計測部２０２が実行する処理の流れを示すフローチャートである。図４に示される位置・姿勢計測部２０２の処理動作は、情報処理装置１０４のＣＰＵがプログラムを実行することによって実現される。 In S2, the information processing device 104 drives the transport device 105 to dispose the target object 106 within a range that can be measured by the imaging device 102. Further, the image acquisition unit 201 acquires image information on the target object 106 using the imaging device 102.
In S3, the position / posture measuring unit 202 measures the position and the posture of the object 106. Here, the details of the position / posture measurement processing in S3 of FIG. 3 will be described with reference to FIG.
FIG. 4 is a flowchart illustrating a flow of a process executed by the position / posture measurement unit 202 of the information processing device 104 included in the robot system 100 according to the first embodiment. The processing operation of the position / posture measuring unit 202 shown in FIG. 4 is realized by the CPU of the information processing device 104 executing a program.

Ｓ３１において、位置・姿勢計測部２０２は、対象物１０６のパターンマッチングを行う。具体的には、位置・姿勢計測部２０２は、部品データベース２０３の情報を参照し、画像取得部２０１により取得された画像情報をもとにして、パターンマッチングにより対象物１０６の部品種を判断する。パターンマッチングの方法としては、例えば相関ベースマッチングが挙げられる。位置・姿勢計測部２０２は、部品データベース２０３が保持している複数種類の部品パターンと、入力された画像情報とを比較し、最も類似するパターンを推定することにより対象物１０６の部品種の決定を行う。ただし、パターンマッチングはこれに限定されず、対象物１０６の部品種を判別できれば他の処理でもよい。   In S31, the position / posture measuring unit 202 performs pattern matching of the object 106. Specifically, the position / posture measuring unit 202 refers to the information in the component database 203 and determines the component type of the target 106 by pattern matching based on the image information acquired by the image acquiring unit 201. . As a method of pattern matching, for example, correlation-based matching can be used. The position / orientation measuring unit 202 determines a component type of the object 106 by comparing a plurality of types of component patterns held in the component database 203 with the input image information and estimating the most similar pattern. I do. However, the pattern matching is not limited to this, and other processing may be used as long as the type of the component of the object 106 can be determined.

Ｓ３２において、位置・姿勢計測部２０２は、Ｓ３１において判断された結果をもとにして、対象物１０６のモデルフィッティングを行う。具体的には、位置・姿勢計測部２０２は、例えば、均一照明を用いて撮像手段１０２が撮像した画像情報を用いて、対象物１０６のエッジと部品データベース２０３に保持されているＣＡＤデータを元にしたエッジモデルとのフィッティング処理を行う。位置・姿勢計測部２０２は、このようなフィッティング処理を行うことによって、対象物１０６の位置及び姿勢を計測することができる。あるいは、位置・姿勢計測部２０２は、均一照明に替えて、例えばマルチラインのパターン光を用いて対象物１０６の表面に投影されたパターンを検出し、三角測量の原理に基づき対象物１０６の表面の距離点群データを求めもよい。この場合、位置・姿勢計測部２０２は、求めた距離点群データと、部品データベース２０３中に保持されている点群モデルとのフィッティング処理を、ＩＣＰ（Iterative Closest Point）アルゴリズムを利用して行うことができる。   In S32, the position / posture measuring unit 202 performs model fitting of the target 106 based on the result determined in S31. Specifically, the position / posture measuring unit 202 uses, for example, image information captured by the image capturing unit 102 using uniform illumination, based on the edge of the object 106 and the CAD data held in the component database 203. A fitting process is performed with the edge model. The position / posture measurement unit 202 can measure the position and the posture of the target object 106 by performing such fitting processing. Alternatively, the position / posture measuring unit 202 detects a pattern projected on the surface of the object 106 using, for example, multi-line pattern light instead of uniform illumination, and detects the surface of the object 106 based on the principle of triangulation. May be obtained. In this case, the position / posture measurement unit 202 performs a fitting process between the obtained distance point cloud data and the point cloud model held in the component database 203 using an ICP (Iterative Closest Point) algorithm. Can be.

Ｓ３３において、位置・姿勢計測部２０２は、Ｓ３２で判断された結果をもとにして、対象物１０６の欠損・欠品判定処理を行う。例えば、Ｓ３２のモデルフィッティング処理において、部分的にマッチング度評価を行い、明らかにマッチしない場合、その部分に欠損・欠品があると判断することができる。Ｓ３３の処理が終了した後、Ｓ４へ移行する。
図３に戻り、Ｓ４において、操作位置決定部２０４は、Ｓ３の計測結果に基づいて、対象物１０６の操作位置（把持位置及びリリース位置を含む）の決定を行う。ここで、図５を参照して、図３のＳ４における操作位置決定処理の詳細を説明する。
図５は、本実施形態１におけるロボットシステム１００を構成する情報処理装置１０４の操作位置決定部２０４が実行する処理の流れを示すフローチャートである。図５に示される操作位置決定部２０４の処理動作は、情報処理装置１０４等のＣＰＵがプログラムを実行することによって実現される。 In S33, the position / orientation measurement unit 202 performs a missing / out-of-stock determination process of the target object 106 based on the result determined in S32. For example, in the model fitting process in S32, the matching degree is partially evaluated, and if there is no apparent match, it can be determined that there is a missing or missing item in that part. After the processing in S33 ends, the flow shifts to S4.
Returning to FIG. 3, in S4, the operation position determination unit 204 determines the operation position (including the grip position and the release position) of the target object 106 based on the measurement result in S3. Here, the details of the operation position determination process in S4 of FIG. 3 will be described with reference to FIG.
FIG. 5 is a flowchart illustrating a flow of a process executed by the operation position determination unit 204 of the information processing device 104 included in the robot system 100 according to the first embodiment. The processing operation of the operation position determination unit 204 illustrated in FIG. 5 is realized by the CPU of the information processing device 104 or the like executing a program.

Ｓ４１において、操作位置決定部２０４は、Ｓ３で計測された対象物１０６の位置及び姿勢の結果を元に、対象物１０６の現在姿勢と目標姿勢とを比較し、姿勢を変える必要があるかどうかを判定する。この判定の結果、姿勢を変える必要がない場合は、Ｓ４７の処理へ移行する。他方、姿勢を変える必要があると判定した場合はＳ４２の処理へ移行する。
Ｓ４２において、操作位置決定部２０４は、静的な操作のみを考慮して対象物１０６の姿勢変更ができるか否かを判定する。具体的には、操作位置決定部２０４は、例えば、現在姿勢と目標姿勢とのそれぞれで、把持可能な位置を求め、それら把持可能な位置が合致するか否かを判定する。この判定の結果、合致すると判定された場合には、静的な操作のみを考慮して姿勢変更ができるとして、Ｓ４６の処理へ移行する。他方、合致しないと判定された場合、すなわち静的な操作のみでは姿勢変更ができず、動的に姿勢を変える必要があると判定した場合は、Ｓ４３の処理へ移行する。 In S41, the operation position determination unit 204 compares the current posture and the target posture of the object 106 based on the result of the position and posture of the object 106 measured in S3, and determines whether the posture needs to be changed. Is determined. When it is determined that the posture does not need to be changed, the process proceeds to S47. On the other hand, when it is determined that the posture needs to be changed, the process proceeds to S42.
In S42, the operation position determination unit 204 determines whether or not the posture of the object 106 can be changed in consideration of only the static operation. Specifically, for example, the operation position determination unit 204 obtains a grippable position in each of the current posture and the target posture, and determines whether the grippable positions match. As a result of this determination, when it is determined that they match, it is determined that the posture can be changed in consideration of only the static operation, and the process proceeds to S46. On the other hand, when it is determined that they do not match, that is, when it is determined that the posture cannot be changed only by the static operation and the posture needs to be dynamically changed, the process proceeds to S43.

Ｓ４３において、操作位置決定部２０４は、動的な操作を考慮すれば対象物１０６の姿勢変更ができるかを判定する。この判定は、物理シミュレーションを行ったり、ロボット１０１に実際に動作させた結果を蓄積するデータベースを参照したりすることによって行うことができる。この判定の結果、動的な操作を考慮しても、姿勢変更が困難な場合は、Ｓ４４に移行する。他方、姿勢変更が可能であると判定した場合は、Ｓ４５へ移行する。この判定の処理において、本実施形態では、物理シミュレーションを行って判定を行う場合を説明するが、本発明の適用範囲は、これに限定されず他の手法で判定の処理を行ってもよい。ここで、図６を参照して、図５のＳ４３における動的な操作を考慮した対象物１０６の姿勢変更の可否の判定処理の詳細を説明する。   In S43, the operation position determination unit 204 determines whether the posture of the target object 106 can be changed in consideration of the dynamic operation. This determination can be made by performing a physical simulation or referring to a database that stores the results of the actual operation of the robot 101. As a result of this determination, when it is difficult to change the posture even when the dynamic operation is considered, the process proceeds to S44. On the other hand, when it is determined that the posture can be changed, the process proceeds to S45. In this determination process, in the present embodiment, the case where the determination is performed by performing a physical simulation will be described. However, the scope of the present invention is not limited to this, and the determination process may be performed by another method. Here, with reference to FIG. 6, the details of the determination processing of whether or not the posture of the object 106 can be changed in consideration of the dynamic operation in S43 of FIG. 5 will be described.

図６は、Ｓ４３の処理内容を示すフローチャートである。図６に示される操作位置決定部２０４の処理動作は、情報処理装置１０４等のＣＰＵがプログラムを実行することによって実現される。
Ｓ４３１において、操作位置決定部２０４は、ロボット１０１のエンドエフェクタが対象物１０６を把持可能な把持位置を求める。操作位置決定部２０４は、位置・姿勢計測部２０２から入力される位置及び姿勢の情報を元に、例えば対象物１０６に突起などの凹凸がある場合はその部分を避けるようにする。このようにして、ロボット１０１のエンドエフェクタ（図７の１０１ａ）が把持可能な把持位置を求める。
Ｓ４３２において、操作位置決定部２０４は、対象物１０６の支持基底面を、目標姿勢での接触面へ変化させるための、ロボット１０１の操作位置を求める。ここで、接触面とは、対象物１０６が載置される面に接触する対象物１０６の面をいう。図７は、対象物１０６とエンドエフェクタ１０１ａとの関係を示す図であり、対象物１０６が載置される所定の面上に対象物１０６が置かれている様子を示す図である。図７において、対象物１０６の−Ｚ方向のｘ−ｙ平面が接触面に該当する。 FIG. 6 is a flowchart showing the processing content of S43. The processing operation of the operation position determination unit 204 illustrated in FIG. 6 is realized by the CPU of the information processing device 104 or the like executing a program.
In step S431, the operation position determination unit 204 obtains a grip position at which the end effector of the robot 101 can grip the target object 106. Based on the position and orientation information input from the position / posture measuring unit 202, the operation position determination unit 204 avoids, for example, if the target object 106 has irregularities such as protrusions. In this way, a gripping position at which the end effector (101a in FIG. 7) of the robot 101 can grip is obtained.
In S432, the operation position determination unit 204 obtains an operation position of the robot 101 for changing the support base surface of the object 106 to a contact surface in a target posture. Here, the contact surface refers to a surface of the object 106 that contacts the surface on which the object 106 is placed. FIG. 7 is a diagram illustrating a relationship between the target object 106 and the end effector 101a, and illustrates a state in which the target object 106 is placed on a predetermined surface on which the target object 106 is placed. 7, the xy plane in the −Z direction of the object 106 corresponds to the contact surface.

初期姿勢が図７に示すような状態の対象物１０６を、＋Ｘ方向のｙ−ｚ平面が接触面になるように、対象物１０６を回転させた姿勢に変化させる場合を考える。すなわち、対象物１０６を、Ｙ軸回りに７１１の方向へ＋９０度回転させた姿勢に変化させるように、ロボット１０１のエンドエフェクタ１０１ａで把持して姿勢変更させる場合を考える。
図８は、図７の対象物１０６をＹ軸周りで回転させる場合に、Ｙ軸方向から、対象物１０６を観察した様子を示す図である。
この場合、図８に示すように、対象物１０６をＹ軸回りに８１２の方向へ回転させる必要がある。図８では、回転前（姿勢変更前）の対象物１０６が破線で表され、それを把持するエンドエフェクタ１０１ａも破線で表されている。ある程度回転が進んだ（θ）後（姿勢変更後）の対象物１０６が実線で示され、その対象物１０６を把持するエンドエフェクタ１０１ａも実線で示されている。 Consider a case where the object 106 whose initial posture is as shown in FIG. 7 is changed to a posture in which the object 106 is rotated so that the yz plane in the + X direction becomes the contact surface. That is, a case is considered in which the posture of the robot 106 is changed by gripping it with the end effector 101a of the robot 101 so as to change the position of the object 106 by +90 degrees in the direction of 711 around the Y axis.
FIG. 8 is a diagram illustrating a state in which the target 106 is observed from the Y-axis direction when the target 106 in FIG. 7 is rotated around the Y-axis.
In this case, as shown in FIG. 8, it is necessary to rotate the object 106 around the Y axis in the direction 812. In FIG. 8, the target object 106 before rotation (before the posture change) is represented by a broken line, and the end effector 101a that holds the object 106 is also represented by a broken line. The object 106 after the rotation has been advanced to some extent (θ) (posture change) is shown by a solid line, and the end effector 101a that grips the object 106 is also shown by a solid line.

ここで、対象物１０６に運動を発生させる要因として重力の影響を考慮する場合、回転角θは、支持基底面を変化させるために図８で示すθｔｈを上回る位置まで回転させる必要がある。図８から理解されるように、回転量θが、θｔｈを上まわれば、支持基底面が変化するので、そこまで回転させた状態で対象物１０６をリリースすれば、対象物１０６を所定の最終的な目標姿勢（位置及び姿勢）に向かわせることができる。
図６に戻り、Ｓ４３３において、操作位置決定部２０４は、ロボット１０１による対象物１０６のリリース位置を求める。具体的には、ロボット１０１が対象物１０６を回転させることで姿勢変更し、その後にリリースをするが、このリリース位置を求める。 Here, when the influence of gravity is considered as a factor for causing the object 106 to move, the rotation angle θ needs to be rotated to a position exceeding θth shown in FIG. 8 in order to change the support base surface. As understood from FIG. 8, the rotation amount theta is, if Shingo top theta th, since the supporting base face changes, if released object 106 while rotating far, the object 106 given It is possible to move to the final target posture (position and posture).
Returning to FIG. 6, in S433, the operation position determination unit 204 obtains the release position of the object 106 by the robot 101. Specifically, the posture is changed by rotating the object 106 by the robot 101, and then the release is performed. The release position is obtained.

図９は、エンドエフェクタ１０１ａが対象物１０６を把持して回転させた後、エンドエフェクタ１０１ａが開く様子を示す図である。図８と同様に、図９においては、エンドエフェクタ１０１ａが開く前の位置が破線で示されており、開いた後のエンドエフェクタ１０１ａの位置が実線で示されている。同様に、図９においては、エンドエフェクタ１０１ａが開く前の対象物１０６が破線で示されており、エンドエフェクタ１０１ａが開いた後の対象物１０６が実線で示されている。
図９に示す姿勢において、対象物１０６を把持しているロボット１０１のエンドエフェクタ１０１ａが開くことで対象物１０６のリリースを行う。このリリースの際、対象物１０６の回転角度θとエンドエフェクタ１０１ａが開いた幅ａからリリース位置が求まる。図９に示すように、重力の影響によって、エンドエフェクタ１０１ａが開くにつれて、対象物１０６が所定量移動する。
Ｓ４３４において、操作位置決定部２０４は、リリース時における対象物１０６に運動を発生させる要因の影響によって、対象物１０６に生じる運動を求める。本実施形態における対象物１０６に運動を発生させる要因とは、対象物１０６に加わる重力である。重力による影響としては、まず図１０に示すように、リリース後の対象物１０６の傾きがある。 FIG. 9 is a diagram illustrating a state in which the end effector 101a opens after the end effector 101a grips and rotates the target object 106. Like FIG. 8, in FIG. 9, the position before the end effector 101a is opened is indicated by a broken line, and the position of the end effector 101a after the opening is indicated by a solid line. Similarly, in FIG. 9, the object 106 before the end effector 101a is opened is shown by a broken line, and the object 106 after the end effector 101a is opened is shown by a solid line.
In the posture shown in FIG. 9, the object 106 is released by opening the end effector 101a of the robot 101 holding the object 106. At the time of this release, the release position is determined from the rotation angle θ of the object 106 and the width a of the end effector 101a that is open. As shown in FIG. 9, due to the influence of gravity, the target 106 moves by a predetermined amount as the end effector 101a opens.
In S <b> 434, the operation position determination unit 204 obtains the motion that occurs in the target object 106 due to the influence of the factor that causes the target object 106 to move at the time of release. The factor that causes the object 106 to move in the present embodiment is the gravity applied to the object 106. As the influence of gravity, first, as shown in FIG. 10, there is a tilt of the object 106 after release.

図１０は、図９に示すようにロボット１０１のエンドエフェクタ１０１ａが開くことで対象物１０６のリリースを行った後、重力によって対象物１０６が回転し傾く様子を示す図である。図１０において、リリース直後の対象物１０６は破線で示されており、回転しθ’分だけ傾いた対象物１０６が実線で示されている。具体的には、リリース時のエンドエフェクタ１０１ａの先端と、対象物１０６がエンドエフェクタ１０１ａに接触している面と、対象物１０６が載置されるべき面との距離関係によって、対象物１０６の初期姿勢からの傾きがθからθ−θ’と変化する。言い換えれば、図１０に示すように、リリース直後は対象物１０６の最下部の角と、対象物１０６の載置されるべき面との距離はｈであるが、このｈの分だけ、対象物１０６の最下部の角が落下する。他方、エンドエフェクタ１０１ａの先端と未だ接触している部分はほとんど高さが変化しない。   FIG. 10 is a diagram illustrating a state in which the object 106 is rotated and tilted by gravity after the end effector 101a of the robot 101 opens to release the object 106 as illustrated in FIG. 9. In FIG. 10, the object 106 immediately after the release is indicated by a broken line, and the object 106 rotated and tilted by θ ′ is indicated by a solid line. Specifically, the distance between the tip of the end effector 101a at the time of release, the surface where the object 106 is in contact with the end effector 101a, and the surface on which the object 106 is to be placed, The inclination from the initial posture changes from θ to θ−θ ′. In other words, as shown in FIG. 10, immediately after the release, the distance between the lowermost corner of the object 106 and the surface on which the object 106 is to be placed is h. The bottom corner of 106 falls. On the other hand, the height of the portion still in contact with the end of the end effector 101a does not substantially change.

この結果、対象物１０６は、リリース直後の初期姿勢からの傾きがθであるが、回転し移動することによって傾きがθ−θ’へと変化する。そのため、このθ’分の傾きが生じた後でも、支持基底面が目標姿勢における接触面と一致している必要がある。一致していれば、その状態からエンドエフェクタ１０１ａを対象物１０６から離しても、対象物１０６の支持基底面が目標姿勢の接触面と一致するので、対象物１０６に目標姿勢をとらせることができる。   As a result, the inclination of the object 106 from the initial posture immediately after release is θ, but the inclination changes to θ−θ ′ by rotating and moving. Therefore, even after the inclination of θ ′ occurs, the support base surface needs to coincide with the contact surface in the target posture. If they match, even if the end effector 101a is separated from the object 106 from that state, the support base surface of the object 106 matches the contact surface of the target posture, so that the target 106 can take the target posture. it can.

また、対象物１０６のθ’分の傾きは、エンドエフェクタ１０１ａの先端を回転の中心とした回転運動で生じるが、その際、エンドエフェクタ１０１ａが対象物１０６の回転の障害にならないようにする必要がある。
具体的には、図１１に示すように、エンドエフェクタ１０１ａの開く幅（開く量）が２ａであるとすると、対象物１０６は傾くときにｄ×ｃｏｓθ’の分だけ＋Ｚ側のエンドエフェクタ１０１ａに接近する。したがって、対象物１０６が接近しても、対象物１０６とエンドエフェクタ１０１ａの干渉を避けられるようにエンドエフェクタ１０１ａの開く幅２ａを設定する必要がある。 In addition, the inclination of the target object 106 by θ ′ is caused by a rotational movement about the tip of the end effector 101a as a center of rotation. At this time, it is necessary to prevent the end effector 101a from obstructing the rotation of the target object 106. There is.
Specifically, as shown in FIG. 11, when the opening width (opening amount) of the end effector 101a is 2a, when the object 106 is inclined, the end effector 101a is moved to the end effector 101a on the + Z side by d × cos θ ′. approach. Therefore, it is necessary to set the opening width 2a of the end effector 101a so as to avoid interference between the object 106 and the end effector 101a even when the object 106 approaches.

さらに、エンドエフェクタ１０１ａが対象物１０６をリリースした際、対象物１０６はリリースされた姿勢から目標姿勢へ変化するが、例えば図１２のようなリリース姿勢のときは、重力の影響で、今度はＹ軸回りに８１２の方向へ回転する。
このような回転の際にも、エンドエフェクタ１０１ａが、対象物１０６のリリース姿勢から目標姿勢へ変化する軌道上にないように制御を行う必要がある。この制御のためには、リリース時のエンドエフェクタ１０１ａの位置を最初から対象物１０６の軌道上に置かないように設計することが考えられる。あるいは対象物１０６のリリース姿勢から目標姿勢への変化の間に、エンドエフェクタ１０１ａを動作させて軌道上で干渉しないよう制御することが考えられる。 Further, when the end effector 101a releases the target object 106, the target object 106 changes from the released position to the target position. For example, in the release position as shown in FIG. It rotates in the direction of 812 around the axis.
Even during such a rotation, it is necessary to perform control so that the end effector 101a is not on the trajectory of the target object 106 changing from the release posture to the target posture. For this control, it is conceivable to design such that the position of the end effector 101a at the time of release is not placed on the trajectory of the object 106 from the beginning. Alternatively, during the change of the target object 106 from the release posture to the target posture, it is conceivable to control the end effector 101a so as not to interfere on the trajectory.

以上説明したように、リリース時における対象物１０６に運動を発生させる要因の影響による対象物１０６の運動を求める。
図６に戻り、Ｓ４３５において、操作位置決定部２０４は、Ｓ４３１〜Ｓ４３４で求めた条件を元に、これらの条件を全て満たす条件があるかを判別する。この判別において、全て満たす条件が存在しない場合はＳ４４へ移行する。他方、存在する場合はＳ４５へ移行する。
図５に戻り、Ｓ４４において、操作位置決定部２０４は、Ｓ４３において動的な操作を考慮しても姿勢変更が実現できないと判断された場合、ロボット１０１を一時停止させる。このようにすることによって、対象物１０６にロボット１０１に対して外力を印加することで現在の姿勢を変更することができる。また、操作する対象を変更したり、システムを新たに実行、再起動させたりすることが可能となる。 As described above, the motion of the object 106 due to the influence of the factor that causes the motion of the object 106 at the time of release is obtained.
Returning to FIG. 6, in S435, the operation position determination unit 204 determines whether there is a condition that satisfies all of these conditions based on the conditions obtained in S431 to S434. In this determination, if there is no condition that satisfies all, the process proceeds to S44. On the other hand, if it exists, the process proceeds to S45.
Returning to FIG. 5, in S44, when it is determined in S43 that the posture change cannot be realized even in consideration of the dynamic operation, the operation position determining unit 204 temporarily stops the robot 101. By doing so, it is possible to change the current posture by applying an external force to the robot 101 to the object 106. In addition, it becomes possible to change the operation target and to newly execute and restart the system.

Ｓ４５において、操作位置決定部２０４は、Ｓ４３で存在すると判別された条件の組み合わせを用いて目標状態の手前の最適な位置で対象物をリリースするように、対象物１０６のリリース位置を決定する。
すなわち、操作位置決定部２０４は、対象物１０６が、把持位置から目標状態における目標位置に至る間のいずれかに、最適なリリース位置を決定する。このリリース位置は、目標位置よりも手前に決定されてよい。 In S45, the operation position determination unit 204 determines the release position of the target 106 using the combination of the conditions determined to exist in S43 so as to release the target at the optimum position before the target state.
That is, the operation position determination unit 204 determines an optimum release position at any point during the time when the target object 106 reaches the target position in the target state from the grip position. This release position may be determined before the target position.

本実施形態では、Ｓ４３４において、リリース時における対象物１０６に運動を発生させる要因の影響によって、対象物１０６に生じる運動を求めている。このため、操作位置決定部２０４は、対象物１０６が、リリース位置からの運動により目標位置及び姿勢へ至るよう、把持位置及びリリース位置を決定することになる。
このようにして、操作位置決定部２０４が最適なリリース位置を決定した後、決定された把持位置及びリリース位置を含む操作位置の情報に基づいて、ロボット１０１の行動計画が決定される（図３のＳ５）。 In the present embodiment, in S434, the motion that occurs in the target object 106 due to the influence of the factor that causes the motion of the target object 106 at the time of release is determined. Therefore, the operation position determination unit 204 determines the grip position and the release position so that the object 106 reaches the target position and the posture by the movement from the release position.
After the operation position determination unit 204 determines the optimal release position in this way, the action plan of the robot 101 is determined based on the information on the operation position including the determined grip position and release position (FIG. 3). S5).

ここでＳ４５において、操作位置決定部２０４は、操作位置に複数の条件が存在する場合は任意の組み合わせを選定できる。しかし、一般的にはタクトタイム（tact time）最小化が求められる場合が多いので、対象物回転角θが最小となるような組み合わせを選定すればよい。タクトタイム以外の条件が重要である場合は、他の条件に基づき、組み合わせを選定してよい。このような組み合わせを選定され、決定された後、図３のＳ５へ移行する。   Here, in S45, the operation position determination unit 204 can select an arbitrary combination when a plurality of conditions exist in the operation position. However, in general, minimization of the tact time is often required, so that a combination that minimizes the object rotation angle θ may be selected. If conditions other than the tact time are important, a combination may be selected based on other conditions. After such a combination is selected and determined, the process proceeds to S5 in FIG.

Ｓ４６において、操作位置決定部２０４は、Ｓ４２で判定された静的な操作のみ考慮して実現できる姿勢変更動作を行うための操作位置を決定する。この決定された操作位置に基づき、ロボットの行動計画が決定される。具体的には、リリース状態と目標姿勢が一致するように決定された操作位置を元に、ロボット１０１の行動計画が決定される。
Ｓ４７において、操作位置決定部２０４は、Ｓ４１で判定された姿勢変更の必要がないという決定に基づき行動計画を計画するための操作位置の決定を行う。具体的には、現在の姿勢を維持するように操作位置を決定し、引き続き、ロボット１０１の行動計画を決定処理へ移行するために、Ｓ５へ移行する。 In S46, the operation position determination unit 204 determines an operation position for performing a posture changing operation that can be realized by considering only the static operation determined in S42. An action plan of the robot is determined based on the determined operation position. Specifically, the action plan of the robot 101 is determined based on the operation position determined so that the release state matches the target posture.
In S47, the operation position determination unit 204 determines an operation position for planning an action plan based on the determination that there is no need to change the posture determined in S41. Specifically, the operation position is determined so as to maintain the current posture, and the process proceeds to S5 in order to continue the action plan of the robot 101 to the determination process.

図３に戻り、Ｓ５において、行動計画部２０５は、Ｓ４で決定された操作位置に基づき、これら操作位置を実現するためのロボット１０１の行動計画を決定する。行動計画部２０５は、行動計画の決定の際は、Ｓ４において決定された操作位置を元に、操作データベース２０６に蓄積されている部品種と作業手順の情報を参照して、行動計画を決定する。この行動計画で計画された動作は、Ｓ６におけるロボット動作で用いられる。
Ｓ６において、行動計画部２０５は、Ｓ５で決定したロボット１０１の行動計画に基づき、所定の動作命令をロボット１０１に出力する。この動作命令によって、ロボット１０１が、行動計画に従った動作を実行する。
Ｓ７において、位置・姿勢計測部２０２は、画像取得部２０１により取得された画像情報を元に、搬送装置１０５を通じて搬送されてくる次の対象物１０６が存在するか否かを検知する。 Returning to FIG. 3, in S5, the action planning unit 205 determines an action plan of the robot 101 for realizing these operation positions based on the operation positions determined in S4. When determining the action plan, the action planning unit 205 determines the action plan based on the operation position determined in S4 and with reference to the information of the component type and the work procedure stored in the operation database 206. . The operation planned in this action plan is used in the robot operation in S6.
In S6, the action planning unit 205 outputs a predetermined operation command to the robot 101 based on the action plan of the robot 101 determined in S5. With this operation command, the robot 101 executes an operation according to the action plan.
In S <b> 7, the position / posture measuring unit 202 detects whether or not the next target object 106 conveyed through the conveying device 105 exists based on the image information acquired by the image acquiring unit 201.

次の対象物１０６が存在する場合には、Ｓ２に戻り、次の対象物１０６に対する処理が続行される。次の対象物１０６が存在しない場合には、本実施形態１における計測その他の動作処理を終了する。
以上説明したように、本実施形態によれば、対象物１０６の位置及び姿勢を計測して、対象物１０６がどの部品でどのような位置及び姿勢かに基づき、ロボット１０１による対象物１０６の操作位置を決定する。
ここで、対象物１０６の姿勢を変える必要があり、かつ静的な操作のみを考慮したのでは姿勢変更が１回の動作で実現できない場合、対象物１０６に運動を発生させる要因を考慮して動的な操作を行う。その際、対象物１０６の姿勢変更を行う操作位置を決定するという動作命令をロボット１０１に送り、ロボット１０１はその動作命令に従って対象物１０６を把持する。このような処理を実行することによって、対象物１０６の姿勢変更を行う場合において、持ち替え動作や仮置き動作を行うことなく、対象物１０６を姿勢変更することができるロボット１０１の行動を計画することができる。また、本実施形態によれば、想定していない対象物１０６を操作する場合でも、対応することが可能である。 If the next object 106 exists, the process returns to S2, and the processing for the next object 106 is continued. If the next target object 106 does not exist, the measurement and other operation processing according to the first embodiment ends.
As described above, according to the present embodiment, the position and orientation of the object 106 are measured, and the operation of the object 106 by the robot 101 is performed based on which part and what position and orientation of the object 106. Determine the position.
Here, when it is necessary to change the posture of the target object 106 and the posture change cannot be realized by one operation only by considering the static operation, a factor that causes the target object 106 to move is considered. Perform dynamic operations. At this time, an operation command to determine an operation position at which the posture of the object 106 is changed is sent to the robot 101, and the robot 101 grasps the object 106 according to the operation command. By performing such processing, when the posture of the object 106 is changed, the behavior of the robot 101 that can change the posture of the object 106 without performing the holding operation or the temporary placing operation is planned. Can be. Further, according to the present embodiment, it is possible to cope with a case where an unexpected target object 106 is operated.

なお、本実施形態の図７では対象物１０６を直方体形状である例を説明したが、対象物１０６の面が平面ではなく凹凸があった場合でも本実施形態を適用することができる。例えば、目標姿勢における対象物１０６の接触面に凹凸があった場合、その凹部分を覆うように対象物１０６のバウンダリーボックス（Boundary Box）を仮定し、バウンダリーボックス上で擬似的に支持基底面を考え、姿勢変更を行えばよい。
このようにして、本実施形態によれば、対象物１０６の姿勢変更前後の操作位置（把持位置及びリリース位置を含む）を決定することで、ロボット１０１による対象物１０６の持ち替え動作や仮置き動作を減らしている。したがって、本実施形態１によれば、より少ない動作で対象物１０６の姿勢変更をすることができる。その結果、タクトタイムをより短縮することができる。また、単腕のロボット１０１で操作する例を説明したが、単腕であるため、より簡易なシステムで対象物１０６の姿勢変更を実現することができる。 Although FIG. 7 of the present embodiment describes an example in which the target object 106 has a rectangular parallelepiped shape, the present embodiment can be applied to a case where the surface of the target object 106 is not flat but has irregularities. For example, when the contact surface of the object 106 in the target posture has irregularities, a boundary box (Boundary Box) of the object 106 is assumed to cover the concave portion, and the support base is quasi-supported on the boundary box. It is sufficient to change the posture in consideration of the surface.
In this manner, according to the present embodiment, the operation position (including the grip position and the release position) before and after the posture change of the target object 106 is determined, so that the robot 101 performs the holding operation and the temporary placing operation of the target object 106. Has been reduced. Therefore, according to the first embodiment, the posture of the target object 106 can be changed with less operation. As a result, the tact time can be further reduced. Also, an example in which the operation is performed by the single-arm robot 101 has been described. However, since the single-arm robot 101 is used, the posture of the object 106 can be changed with a simpler system.

実施形態２
本実施形態に係るロボットシステムは、対象物１０６を目標状態へ遷移させるためのバリエーションとして、データベースを用いて操作位置を決定してロボット１０１を動作させ、対象物１０６を目標姿勢へ変化させることができる。
実施形態１においては、物理シミュレーションを用いて対象物１０６の動作を計算によって求めた。それに対して、本実施形態においては、物理シミュレーションを行わずに動作データベースを参照することで操作位置を決定してロボット１０１を動作させ、対象物１０６を目標姿勢へ変化させることができる。 Embodiment 2
The robot system according to the present embodiment, as a variation for transitioning the target 106 to the target state, determines the operation position using the database, operates the robot 101, and changes the target 106 to the target posture. it can.
In the first embodiment, the operation of the object 106 is obtained by calculation using a physical simulation. On the other hand, in the present embodiment, it is possible to determine the operation position by referring to the operation database without performing the physical simulation, operate the robot 101, and change the target object 106 to the target posture.

図１３は、本実施形態における対象物１０６の姿勢変更を実現するためのロボットシステム１３００の機能要素の構成と機能要素間の関係を模式的に表現した図である。図２と比較すれば、操作位置決定部２０４ａ（決定手段）の動作が、図２の操作位置決定部２０４と異なる。また、図３に示す構成においては、図２と異なり、動作データベース２０７（保持手段）が追加されている。
本実施形態に係る操作位置決定部２０４ａは、位置・姿勢計測部２０２からの位置及び姿勢情報を入力として、対象物１０６の操作位置である把持位置と、リリース位置と、を決定する。操作位置決定部２０４ａは、動作データベース２０７の対象物動作の情報を参照して、対象物１０６の操作位置である把持位置と、リリース位置と、を決定する。操作位置決定部２０４ａが決定した操作位置（把持位置及びリリース位置を含む）は、行動計画部２０５へ出力される。 FIG. 13 is a diagram schematically illustrating a configuration of functional elements of the robot system 1300 for realizing the posture change of the target object 106 and a relationship between the functional elements according to the present embodiment. As compared with FIG. 2, the operation of the operation position determination unit 204a (determination means) is different from that of the operation position determination unit 204 of FIG. Further, in the configuration shown in FIG. 3, unlike FIG. 2, an operation database 207 (holding means) is added.
The operation position determination unit 204a according to the present embodiment receives the position and orientation information from the position / posture measurement unit 202 and determines a grip position, which is an operation position of the target object 106, and a release position. The operation position determining unit 204a determines the grip position, which is the operation position of the object 106, and the release position with reference to the information on the object operation in the operation database 207. The operation position (including the grip position and the release position) determined by the operation position determination unit 204a is output to the action planning unit 205.

動作データベース２０７は、操作位置決定部２０４ａが操作位置を決定する際に参照する対象物１０６の動作の情報を保持している。操作位置決定部２０４ａは、適宜動作データベース２０７の情報を参照して操作位置を決定する。
ここで、動作データベース２０７のデータベースの作成方法について説明する。上述した実施形態１においては、物理シミュレーションを行うことによって、操作位置を決定しているため、動作データベース２０７のような構成を必要としなかった。そこで、本実施形態では、まず、ヒューリスティックな手法を適用して対象物１０６を操作する手法について述べる。 The operation database 207 holds information on the operation of the object 106 that is referred to when the operation position determination unit 204a determines the operation position. The operation position determination unit 204a determines an operation position by appropriately referring to information in the operation database 207.
Here, a method of creating the operation database 207 will be described. In the first embodiment described above, since the operation position is determined by performing the physical simulation, a configuration like the operation database 207 is not required. Therefore, in the present embodiment, first, a method of operating the object 106 by applying a heuristic method will be described.

具体的には、予め対象物１０６の動作を記録しておいたデータベースの情報を参照し、その結果からロボット１０１で対象物１０６を扱う際の対象物１０６の姿勢に最も近い姿勢を求め、その動作をロボット１０１で再現している。つまり、現在姿勢と目標姿勢のそれぞれに対して、ロボット１０１で扱う対象物１０６の状態と、データベースに蓄積されている情報を比較することで、データベースの姿勢をロボット１０１で再現する。このようなデータベースの情報は、予め人間が動作した結果を用いて構築してもよいし、ロボット１０１が実際に動作して行った結果を用いて構築してもよい。なお、人間と対象物１０６の動作をデータベース化する手法としては、人間の上肢と対象物１０６にマーカーを取り付けて、モーションキャプチャーシステムを用いて取得する手法が考えられる。しかし、人間と対象物１０６の動作を取得できれば他の方法でもよい。また、ロボット１０１と対象物１０６の動作をデータベース化する手法としては、ロボット１０１の軌道データから位置及び姿勢や関節角度の情報を取得し、カメラなどを用いて対象物１０６の動作を記録する等の技術も考えられる。しかし、ロボット１０１と対象物１０６の動作を取得できれば他の方法でもよい。
以上述べたように、本実施形態によれば、対象物１０６の物理シミュレーションを実施せずとも対象物１０６の姿勢変更を実現することができる。すなわち、本実施形態によれば、複雑な物理シミュレーションに替えて、動作データベース２０７を用いることによって対象物１０６を姿勢変更できるという効果を奏する。 Specifically, the robot refers to information in a database in which the operation of the object 106 is recorded in advance, and from the result, obtains the posture closest to the posture of the object 106 when the robot 101 handles the object 106. The operation is reproduced by the robot 101. That is, the posture of the database is reproduced by the robot 101 by comparing the state of the object 106 handled by the robot 101 with the information stored in the database for each of the current posture and the target posture. Such information in the database may be constructed in advance using the result of a human operation, or may be constructed using the result of the actual operation of the robot 101. In addition, as a method of making a database of the movements of the human and the object 106, a method of attaching a marker to the upper limb of the human and the object 106 and acquiring the marker using a motion capture system is conceivable. However, another method may be used as long as the movement of the human and the object 106 can be acquired. In addition, as a method of converting the movements of the robot 101 and the object 106 into a database, information on the position, posture, and joint angle is acquired from the trajectory data of the robot 101, and the movement of the object 106 is recorded using a camera or the like. Technology is also conceivable. However, other methods may be used as long as the movements of the robot 101 and the object 106 can be acquired.
As described above, according to the present embodiment, the posture change of the object 106 can be realized without performing the physical simulation of the object 106. That is, according to the present embodiment, there is an effect that the posture of the object 106 can be changed by using the operation database 207 instead of the complicated physical simulation.

実施形態３
本実施形態に係るロボットシステムは、対象物１０６が内容物を収容する場合、その内容物の量と偏りまで計測し、操作位置を決定することができる。
上述した実施形態１、２では対象物１０６の内容物については考慮していなかったが、内容物が含まれる容器を対象物１０６として取り扱うことはできた。
他方、本実施形態においては、対象物１０６に内容物を含む場合、内容物の量と偏りまで計測し、操作位置を決定することで、内容物を含み質量分布が偏っている対象物１０６の姿勢変更をより安定的に実行することができる。
本実施形態において、想定する対象物１０６は、中に何かを入れる中空構造の物体であり、例えばトナーカートリッジのような容器であるものとして説明する。また、内容物とは、対象物１０６の中に入っているべき物であり、例えばトナーカートリッジ内に入っているトナーのようなものでよい。 Embodiment 3
When the object 106 accommodates a content, the robot system according to the present embodiment can determine the operation position by measuring the amount and deviation of the content.
In the first and second embodiments, the contents of the object 106 were not considered, but a container including the contents could be handled as the object 106.
On the other hand, in the present embodiment, when the object 106 includes the contents, the amount and the deviation of the contents are measured, and the operation position is determined. The posture change can be executed more stably.
In the present embodiment, the assumed object 106 is a hollow-structured object for putting something inside, and is described as a container such as a toner cartridge. Further, the content is an object that should be contained in the object 106, and may be, for example, toner contained in a toner cartridge.

図１４は本実施形態における対象物１０６の姿勢変更を実現するためのロボットシステム１４００の機能要素の構成と機能要素間の関係を模式的に表現した図である。このロボットシステム１４００は、撮像装置１０２と、情報処理装置１０４ｂ（ロボット制御装置）と、ロボット１０１と、とから構成される。情報処理装置１０４ｂは、図２の情報処理装置１０４と比較して、下記の点が異なる。
図１４の情報処理装置１０４ｂの操作位置決定部２０４ｂ（決定手段）は、図２の操作位置決定部２０４の処置と異なる処理動作を実行する。また、図２と比較して、図４においては、内容物計測部２０８（判定手段）と、状態データベース２０９と、が追加されている。 FIG. 14 is a diagram schematically illustrating a configuration of functional elements of a robot system 1400 for realizing a posture change of the object 106 and a relationship between the functional elements according to the present embodiment. The robot system 1400 includes the imaging device 102, the information processing device 104b (robot control device), and the robot 101. The information processing device 104b is different from the information processing device 104 of FIG. 2 in the following points.
The operation position determination unit 204b (determination unit) of the information processing device 104b in FIG. 14 executes a processing operation different from the processing of the operation position determination unit 204 in FIG. 4, a content measuring unit 208 (determination means) and a state database 209 are added in FIG.

操作位置決定部２０４ｂは、位置・姿勢計測部２０２からの位置及び姿勢情報と内容物計測部２０８からの内容物の量と偏りとの状態情報を入力として、対象物１０６の操作位置である把持位置と、リリース位置と、を決定する。操作位置決定部２０４ｂは、決定した操作位置（把持位置及びリリース位置）を、行動計画部２０５へ出力する。
内容物計測部２０８（判定手段）は、画像取得部２０１が取得した画像情報を入力として、対象物１０６の内容物の量と偏りとの状態を認識する（判定する）。内容物計測部２０８は、この認識の際には、状態データベース２０９の情報を参照して、対象物１０６の状態を元に対象物１０６のパラメータ情報を決定する。また、内容物計測部２０８は、決定したパラメータ情報を、操作位置決定部２０４ｂへ出力する。 The operation position determination unit 204b receives the position and orientation information from the position / posture measurement unit 202 and the state information of the amount and deviation of the content from the content measurement unit 208 as input and grasps the operation position of the target object 106. Determine the position and the release position. The operation position determination unit 204b outputs the determined operation position (gripping position and release position) to the action planning unit 205.
The content measuring unit 208 (determination means) receives the image information acquired by the image acquiring unit 201 as input and recognizes (determines) the amount of the content of the target 106 and the state of deviation. At the time of this recognition, the content measuring unit 208 refers to the information in the state database 209 and determines the parameter information of the object 106 based on the state of the object 106. Further, the content measuring unit 208 outputs the determined parameter information to the operation position determining unit 204b.

状態データベース２０９は、姿勢変更の対象となる対象物１０６のパラメータ情報を保持している。パラメータ情報とは、例えば、対象物１０６の内容物の量と状態を対応付けたテーブルの形で保持されている情報である。内容物計測部２０８は、適宜、状態データベース２０９の情報を参照する。
図１５は、本実施形態におけるロボットシステム１４００を実現するための処理の流れを示すフローチャートである。図１５に示される処理動作は、情報処理装置１０４ｂの備えるＣＰＵがプログラムを実行することによって実現される。この図１５のフローチャートは、図３のフローチャートと比較すれば、内容物計測Ｓ８が追加されている点が異なる。 The state database 209 holds parameter information of the target object 106 whose posture is to be changed. The parameter information is, for example, information held in the form of a table in which the amount and the state of the content of the target object 106 are associated. The content measuring unit 208 refers to information in the state database 209 as appropriate.
FIG. 15 is a flowchart illustrating a flow of processing for implementing the robot system 1400 according to the present embodiment. The processing operation illustrated in FIG. 15 is realized by the CPU of the information processing device 104b executing a program. The flowchart of FIG. 15 differs from the flowchart of FIG. 3 in that a content measurement S8 is added.

以下、図１５に従って、本実施形態における情報処理装置１０４ｂの処理の手順を説明するが、Ｓ８、Ｓ４以外は、図３のフローチャートで示した処理と同様であるので、その説明を省略する。
Ｓ８において、内容物計測部２０８は、内容物計測を実行する。図１６は、本実施形態におけるロボットシステム１４００を構成する内容物計測部２０８の処理の流れを示すフローチャートである。図１６は、図１５におけるＳ８と、Ｓ４と、を詳細に示したフローチャートである。図１６に示される内容物計測部２０８の処理動作は、情報処理装置１０４ｂの備えるＣＰＵがプログラムを実行することによって実現される。 Hereinafter, the procedure of the process performed by the information processing apparatus 104b according to the present embodiment will be described with reference to FIG. 15, but the processes other than S8 and S4 are the same as the processes illustrated in the flowchart of FIG.
In S8, the content measuring unit 208 executes the content measurement. FIG. 16 is a flowchart illustrating a processing flow of the content measuring unit 208 included in the robot system 1400 according to the present embodiment. FIG. 16 is a flowchart showing S8 and S4 in FIG. 15 in detail. The processing operation of the content measuring unit 208 illustrated in FIG. 16 is realized by the CPU of the information processing device 104b executing a program.

図１６において、まず、Ｓ８に該当するＳ８１からＳ８２の処理の手順を説明する。
Ｓ８１において、内容物計測部２０８は、対象物１０６の内容物の有無の判定を行う。内容物計測部２０８は、この判定の際に、状態データベース２０９が保持している対象物１０６の内容物の量と状態とを対応付けたテーブルの情報を参照し、対象物１０６の中に内容物が含まれているかの確認を行う。この確認の結果、内容物計測部２０８が、対象物１０６の中に内容物がないと判定した場合は、判定後、対象物中身判定処理が終了され、Ｓ４の処理の中のステップＳ４０２の処理へ移行する。他方、内容物があると判定した場合は、Ｓ８２の処理へ移行する。 In FIG. 16, first, the procedure of the processing from S81 to S82 corresponding to S8 will be described.
In S81, the content measuring unit 208 determines whether or not the content of the object 106 exists. At the time of this determination, the content measuring unit 208 refers to the information of the table that associates the amount of the content of the object 106 and the state held in the state database 209, and stores the content in the object 106. Check that the object is included. As a result of this confirmation, when the content measuring unit 208 determines that there is no content in the target object 106, after the determination, the target object content determination process ends, and the process of step S402 in the process of S4 Move to. On the other hand, if it is determined that there is a content, the process proceeds to S82.

Ｓ８２において、内容物計測部２０８は、対象物１０６の内容物の量と分布の判定を行う。この判定では、内容物の量が空の状態と比較してどの程度どの部分に存在するかが判定される。内容物計測部２０８は、この判定の際に、状態データベース２０９が保持している対象物１０６の内容物の量と状態とを対応付けたテーブルの情報を参照し、対象物１０６の中に内容物がどの程度どの部分に含まれているかの確認を行う。内容物計測部２０８は、この判定の後、対象物中身判定処理を終了し、Ｓ４の処理の中のステップＳ４０１の処理へ移行する。   In S82, the content measuring unit 208 determines the amount and distribution of the content of the object 106. In this determination, it is determined how much and where the content amount is in comparison with the empty state. At the time of this determination, the content measuring unit 208 refers to the information of the table that associates the amount of the content of the object 106 and the state held in the state database 209, and stores the content in the object 106. Check how much and what part is contained in the object. After this determination, the content measuring unit 208 ends the object content determination processing, and shifts to the processing of step S401 in the processing of S4.

次に、図１６において、図１５のＳ４に該当する各処理について説明する。Ｓ４に該当する各処理は、操作位置決定部２０４ｂが実行する。
Ｓ４０１において、操作位置決定部２０４ｂは、Ｓ８２で判定された対象物１０６の内容物の量と分布に合わせてロボット１０１の操作位置を設定するように計画が行われる。もし、対象物１０６中に内容物の偏りがあれば、その偏り近傍を把持するように計画が行われ、より重心に近い位置をロボット１０１が把持できるように操作位置が計画において設定される。その後、ステップＳ４１へ移行し、図５と同様の処理が行われ、ロボット操作の計画が作成されるが、Ｓ４０１において設定された操作位置の計画がＳ４１以降の計画に影響を与える。 Next, in FIG. 16, each process corresponding to S4 in FIG. 15 will be described. Each process corresponding to S4 is executed by the operation position determination unit 204b.
In S401, the operation position determination unit 204b performs a plan to set the operation position of the robot 101 in accordance with the amount and distribution of the contents of the object 106 determined in S82. If there is a bias in the contents of the object 106, a plan is performed to grasp the vicinity of the bias, and an operation position is set in the plan so that the robot 101 can grasp a position closer to the center of gravity. Thereafter, the process proceeds to step S41, where the same processing as in FIG. 5 is performed to create a robot operation plan. However, the operation position plan set in S401 affects the plan after S41.

Ｓ４０２において、操作位置決定部２０４ｂは、ロボット１０１の操作位置を内容物の影響を考慮せずに計画するという処理を行う。その後、Ｓ４１へ移行する。図１６におけるＳ４１〜Ｓ４７の処理は、図５で説明した処理と同様であるので、その説明を省略する。
以上述べたように、本実施形態によれば、対象物１０６の内容物の量と偏りを判定し、より重心に近い位置をロボット１０１で把持するよう操作位置を決定することにより、対象物１０６をより安定的に姿勢変更を行うことができる。すなわち、本実施形態によれば、対象物１０６の内容物の量と偏りを考慮して操作位置を決定することができ、対象物１０６をより安定的に姿勢変更することができるという効果を奏する。 In S402, the operation position determination unit 204b performs a process of planning the operation position of the robot 101 without considering the influence of the contents. Then, the process proceeds to S41. The processing of S41 to S47 in FIG. 16 is the same as the processing described in FIG.
As described above, according to the present embodiment, the amount and deviation of the contents of the object 106 are determined, and the operation position is determined so that the robot 101 grips a position closer to the center of gravity. Can be changed more stably. That is, according to the present embodiment, the operation position can be determined in consideration of the amount and deviation of the contents of the target object 106, and the posture of the target object 106 can be changed more stably. .

実施形態４
本施形態に係るロボットシステムは、姿勢変更前後の対象物１０６の質量と把持部分にかかる力のモーメントを計測することによって対象物１０６の姿勢変更を行うことができる。
上述した実施形態１、２、３では撮像装置１０２を用いて対象物１０６の情報を取得したが、本実施では力覚センサを用いて対象物１０６の情報を取得することで、より確実に対象物１０６の姿勢変更を実現することができる。
図１７は本実施形態におけるロボットシステム１７０１を構成する機器構成を説明する図である。図１と比較すれば、図１７のロボットシステム１７０１においては、力覚センサ１７０７（取得手段）がロボット１０１に追加されている。また、図１７のロボットシステム１７０１は、図１に示した情報処理装置１０４と異なる情報処理装置１０４ｃ（ロボット制御装置）を備えている。なお、図１７の機器構成は一例であり、本実施形態の技術的範囲を限定するものではない。 Embodiment 4
The robot system according to the present embodiment can change the attitude of the object 106 by measuring the mass of the object 106 before and after the attitude change and the moment of the force applied to the grip portion.
In the above-described first, second, and third embodiments, the information of the target object 106 is acquired by using the imaging device 102. However, in the present embodiment, the information of the target object 106 is acquired by using the force sensor, so that the target object is more reliably obtained. The posture change of the object 106 can be realized.
FIG. 17 is a diagram illustrating a device configuration of a robot system 1701 according to the present embodiment. Compared to FIG. 1, in the robot system 1701 of FIG. 17, a force sensor 1707 (acquisition means) is added to the robot 101. The robot system 1701 in FIG. 17 includes an information processing device 104c (robot control device) different from the information processing device 104 illustrated in FIG. Note that the device configuration in FIG. 17 is an example, and does not limit the technical scope of the present embodiment.

図１８は本実施形態に係るロボットシステム１７０１の機能要素の構成と機能要素間の関係を模式的に表現した図である。ロボットシステム１７０１は、対象物１０６の姿勢変更を実現するためのロボットシステムである。
図１８において、力覚センサ１７０７は、ロボット１０１のエンドエフェクタ１０１ａ部分に取り付けられており、ひずみゲージや圧電素子で構成されている。力覚センサ１７０７は、エンドエフェクタ１０１ａで把持した対象物１０６の質量とエンドエフェクタ１０１ａ部分にかかる力のモーメントを計測する６軸力覚センサ（Ｆｏｒｃｅ／Ｔｏｒｑｕｅセンサ）である。対象物１０６の質量と、エンドエフェクタ１０１ａ部分のモーメントが計測できれば、他の手段でもよいし、質量とモーメントとをそれぞれ別のセンサで計測してもよい。力覚センサ１７０７が取得した力覚情報（対象物１０６の質量と、エンドエフェクタ１０１ａ部分のモーメント）は情報処理装置１０４ｃが処理を行う。 FIG. 18 is a diagram schematically illustrating the configuration of functional elements of the robot system 1701 according to the present embodiment and the relationship between the functional elements. The robot system 1701 is a robot system for changing the posture of the target 106.
In FIG. 18, a force sensor 1707 is attached to the end effector 101a of the robot 101, and includes a strain gauge and a piezoelectric element. The force sensor 1707 is a six-axis force sensor (Force / Torque sensor) that measures the mass of the object 106 gripped by the end effector 101a and the moment of force applied to the end effector 101a. As long as the mass of the object 106 and the moment of the end effector 101a can be measured, other means may be used, or the mass and the moment may be measured by different sensors. The information processing device 104c processes the force information (the mass of the object 106 and the moment of the end effector 101a) acquired by the force sensor 1707.

図１８に示す情報処理装置１０４ｃは、図２に示した情報処理装置１０４と比べて、異なる構成を採用している。情報処理装置１０４ｃの操作位置決定部２０４ｃは、図２の操作位置決定部１０４とは異なる処理動作を実行する。また、情報処理装置１０４ｃは、図２の情報処理装置１０４と比べて、さらに力覚情報取得部３０１と、質量・力のモーメント計測部３０２（計測手段）と、が追加されている。
操作位置決定部２０４ｃ（決定手段）は、位置・姿勢計測部２０２からの対象物１０６の位置及び姿勢情報と、質量・力のモーメント計測部３０２からの質量・力のモーメント情報と、を入力として、対象物１０６の操作位置を決定する。ここで、操作位置とは対象物１０６の把持位置とリリース位置とである。決定された操作位置（把持位置及びリリース位置）は、行動計画部２０５へ出力される。 The information processing device 104c illustrated in FIG. 18 employs a different configuration from the information processing device 104 illustrated in FIG. The operation position determination unit 204c of the information processing device 104c performs a processing operation different from that of the operation position determination unit 104 in FIG. In addition, the information processing device 104c is different from the information processing device 104 in FIG. 2 in that a force sense information acquisition unit 301 and a mass / force moment measurement unit 302 (measurement unit) are added.
The operation position determination unit 204c (determination means) receives the position and orientation information of the object 106 from the position / posture measurement unit 202 and the mass / force moment information from the mass / force moment measurement unit 302 as inputs. , The operation position of the object 106 is determined. Here, the operation position is a holding position and a release position of the object 106. The determined operation position (gripping position and release position) is output to the action planning unit 205.

力覚情報取得部３０１は、力覚センサ１７０７で取得した力覚情報を取得する。取得した力覚情報は、質量・力のモーメント計測部３０２で使われる。力覚情報取得部３０１は、例えば所定のＣＰＵやＲＡＭ（メモリ）で構成される。力覚センサ１７０７の信号を受信することができる手段であればどのような構成でもよい。
質量・力のモーメント計測部３０２（計測手段）は、力覚情報取得部２１０で取得した力覚情報を入力として、対象物１０６の質量とロボット１０１のエンドエフェクタ１０１ａにかかる力のモーメントを認識（計測）する。認識した結果を操作位置決定部２０４ｃへ出力する。 The force information acquisition unit 301 acquires the force information acquired by the force sensor 1707. The acquired force sense information is used by the moment measuring unit 302 for mass and force. The haptic information acquisition unit 301 includes, for example, a predetermined CPU and a RAM (memory). Any configuration may be used as long as it can receive the signal of the force sensor 1707.
The mass / force moment measuring unit 302 (measuring means) receives the force information acquired by the force information acquiring unit 210 and recognizes the mass of the object 106 and the moment of the force applied to the end effector 101a of the robot 101 ( measure. The recognition result is output to the operation position determination unit 204c.

図１９は、本実施形態におけるロボットシステム１７０１を構成する情報処理装置１０４ｃの、特に操作位置決定部２０４ｃの処理の流れを示すフローチャートである。特に、図６に示すフローチャートと同様に、動的な操作を考慮すれば対象物１０６の姿勢変更ができるか否かを判断する処理を表す。図１９に示すフローチャートは、図６に示すフローチャートと比較して、Ｓ４３４に替えて、Ｓ４３４ａが追加されているが、他の処理はほぼ同様であり、その説明を省略する。図１９に示される操作位置決定部２０４ｃの処理動作は、情報処理装置１０４ｃの備えるＣＰＵがプログラムを実行することによって実現される。   FIG. 19 is a flowchart illustrating a flow of processing of the information processing apparatus 104c included in the robot system 1701 according to the present embodiment, in particular, the operation position determination unit 204c. In particular, as in the flowchart shown in FIG. 6, a process for determining whether the posture of the object 106 can be changed in consideration of a dynamic operation is shown. The flowchart shown in FIG. 19 differs from the flowchart shown in FIG. 6 in that S434a is added instead of S434, but the other processes are almost the same, and a description thereof will be omitted. The processing operation of the operation position determination unit 204c illustrated in FIG. 19 is realized by the CPU of the information processing device 104c executing a program.

図６に示すＳ４３４において、操作位置決定部２０４は、リリース時における対象物に運動を発生させる要因の影響による、対象物１０６の運動を求めている。
Ｓ４３４ａにおいて、操作位置決定部２０４ｃは、対象物１０６の質量とロボット１０１のエンドエフェクタ１０１ａにかかる力のモーメントの情報に基づいて、対象物１０６の運動を求める。
つまり、上述した実施形態１において、操作位置決定部２０４は、図１０で説明したように、リリース後の対象物１０６の傾きについて、対象物１０６の重心を位置及び姿勢情報から体積の中心と仮定して計算を行っている。 In S434 illustrated in FIG. 6, the operation position determination unit 204 obtains the movement of the target 106 due to the influence of a factor that causes the target to move at the time of release.
In S434a, the operation position determination unit 204c obtains the motion of the object 106 based on the information on the mass of the object 106 and the moment of the force applied to the end effector 101a of the robot 101.
That is, in Embodiment 1 described above, the operation position determination unit 204 assumes that the center of gravity of the object 106 is the center of the volume based on the position and orientation information for the tilt of the object 106 after release, as described in FIG. And do the calculations.

これに対して、本実施形態のＳ４３４ａにおいて、操作位置決定部２０４ｃは、力覚センサ１７０７によって得られた力覚情報に基づき、直接的に重心位置を求めることにより傾きを計算する。
図２０は、対象物１０６の中心に重心がない場合の計算の様子を示す図である。上記実施形態１等においては、操作位置決定部２０４等は、力覚情報を用いずに、対象物１０６の中心が重心であると仮定しているので、図２０に示す破線矢印のように支持基底面を計算していた。これに対して、本実施形態においては、操作位置決定部２０４ｃは、力覚情報を用いることで対象物１０６の内容物の質量分布まで考慮して計算する。そのため、本実施形態に係る操作位置決定部２０４ｃは、対象物１０６の重心位置が変化し、図２０における実線矢印で示されるように支持基底面が変化することまで計算することが可能である。 On the other hand, in S434a of the present embodiment, the operation position determination unit 204c calculates the inclination by directly obtaining the center of gravity position based on the force information obtained by the force sensor 1707.
FIG. 20 is a diagram illustrating a state of calculation when the center of the object 106 has no center of gravity. In the first embodiment and the like, since the operation position determination unit 204 and the like assume that the center of the object 106 is the center of gravity without using force sense information, the operation position determination unit 204 and the like support the object 106 as indicated by the dashed arrow in FIG. I was calculating the basal plane. On the other hand, in the present embodiment, the operation position determination unit 204c calculates by taking into account even the mass distribution of the contents of the target object 106 by using force sense information. Therefore, the operation position determination unit 204c according to the present embodiment can calculate until the position of the center of gravity of the object 106 changes and the support base surface changes as indicated by a solid arrow in FIG.

以上説明したように、本実施形態によれば、対象物１０６の質量とロボット１０１のエンドエフェクタ１０１ａにかかる力のモーメントを計測することにより支持基底面を直接的に求めている。したがって、本実施形態に係る情報処理装置１０４ｃ及びロボットシステム１７０１は、対象物１０６に内容物がある場合でもより正確に対象物１０６の姿勢変更を実現することができる。すなわち、本実施形態によれば、力覚センサ１７０７を用いて対象物１０６の質量やエンドエフェクタ１０１ａにかかる力のモーメントを考慮することができた。したがって、より正確に対象物１０６を姿勢変更できるという効果を奏する。   As described above, according to the present embodiment, the support base surface is directly obtained by measuring the mass of the object 106 and the moment of the force applied to the end effector 101a of the robot 101. Therefore, the information processing apparatus 104c and the robot system 1701 according to the present embodiment can more accurately change the attitude of the target 106 even when the target 106 has contents. That is, according to the present embodiment, the mass of the target object 106 and the moment of the force applied to the end effector 101a can be considered using the force sensor 1707. Therefore, there is an effect that the posture of the object 106 can be changed more accurately.

実施形態５
本施形態に係るロボットシステムは、対象物１０６に慣性力を働かせることで姿勢変更を行うことを可能とする。
上述した実施形態１、２、３、４では、対象物１０６に、対象物に運動を発生させる要因として重力を考慮する場合の姿勢変更について述べた。これに対して、本実施形態では、対象物１０６に運動を発生させる要因の別の例として慣性力を考慮する場合について説明する。このように、本実施形態によれば、慣性力を考慮することによって、持ち替え動作や仮置き動作を実行することなく、ロボット１０１による対象物１０６の姿勢変更を、より幅広く実現することができる。 Embodiment 5
The robot system according to the present embodiment enables the posture to be changed by applying inertial force to the object 106.
In the above-described first, second, third, and fourth embodiments, the posture change in the case where the gravity of the object 106 is considered as a factor that causes the movement of the object has been described. On the other hand, in the present embodiment, a case will be described in which inertial force is considered as another example of a factor that causes the object 106 to generate a motion. As described above, according to the present embodiment, the posture change of the target object 106 by the robot 101 can be more widely realized without executing the holding operation or the temporary placing operation by considering the inertial force.

以下、本実施形態では慣性力を考慮する場合の姿勢変更の例を説明する。その動作主体としては、図１に示すロボットシステム１００、特に情報処理装置１０４を前提としているが、図１７に示すロボットシステム１７０１でも同様の姿勢変更を行わせることができる。
図２１は、本実施形態における慣性力の考慮を行う場合の姿勢変更の概念を説明する図である。
図２１（ａ）は本実施形態における対象物１０６の初期状態を示す図である。対象物１０６が図２１（ａ）のように置かれている状態から、対象物１０６の−Ｘ方向の面を接触面とするように姿勢変更を行うことを考える。
図２１（ｂ）は対象物１０６に対してロボット１０１で操作を行い対象物１０６が傾き始めた状態を示した図である。ロボット１０１は図２１（ｂ）の矢印で示す位置・方向で対象物１０６に対して外力を印加する。この結果、対象物１０６はその力を受けて傾く。なお、図２１（ｂ）においては、傾く前の対象物２１０６の位置が破線で示されている。このときロボット１０１を制御する情報処理装置１０４、特に操作位置決定部２０４は、図５に示した処理を行っている。特に、図２１（ｂ）においては、操作位置決定部２０４は、Ｓ４５に示した操作を実行しており、目標状態の手前でリリースする操作位置を決定している。 Hereinafter, in the present embodiment, an example of a posture change when the inertial force is considered will be described. The operation subject is assumed to be the robot system 100 shown in FIG. 1, particularly the information processing device 104, but the robot system 1701 shown in FIG. 17 can also perform the same posture change.
FIG. 21 is a diagram for explaining the concept of the posture change when the inertial force is considered in the present embodiment.
FIG. 21A is a diagram illustrating an initial state of the object 106 in the present embodiment. It is assumed that the posture of the object 106 is changed from the state where the object 106 is placed as shown in FIG.
FIG. 21B is a diagram illustrating a state in which the robot 101 performs an operation on the object 106 and the object 106 starts to tilt. The robot 101 applies an external force to the object 106 at the position and direction indicated by the arrow in FIG. As a result, the object 106 tilts under the force. In FIG. 21B, the position of the target object 2106 before being inclined is indicated by a broken line. At this time, the information processing device 104 that controls the robot 101, in particular, the operation position determination unit 204 performs the processing illustrated in FIG. In particular, in FIG. 21B, the operation position determination unit 204 has performed the operation shown in S45, and has determined the operation position to be released before the target state.

図２１（ｃ）は、ロボット１０１が所定の位置でリリースを行った後、慣性力によって、対象物１０６が回転を続け、最終的に−Ｘ方向の面が接触面となり、対象物１０６が姿勢変更を完了した状態を示す図である。なお、図２１（ｃ）においては、リリースを行った直後の対象物２１０６ｂが破線で示されている。
以上述べたように、本実施形態によれば、対象物１０６に対してロボット１０１で操作を加えることにより、対象物１０６に運動を発生させる要因として慣性力を考慮することでできる例を説明した。このように、本実施形態によれば、慣性力を考慮して、対象物１０６の姿勢変更を実現することができる。すなわち、本実施形態によれば、対象物１０６に運動を発生させる要因として、重力以外の、特に慣性力を考慮して対象物１０６の姿勢変更をすることができるという効果を奏する。
なお、本実施形態では、慣性力を考慮する例を説明したが、重力と慣性力の双方を考慮するように構成してもよい。また、慣性力と重力とのいずれか一方を考慮するようにユーザーが選択できるように構成してもよい。 FIG. 21C shows that after the robot 101 releases at a predetermined position, the object 106 continues to rotate due to the inertial force, and finally the surface in the −X direction becomes the contact surface, and the object 106 is in the posture. It is a figure showing the state where change was completed. In FIG. 21C, the target object 2106b immediately after the release is performed is indicated by a broken line.
As described above, according to the present embodiment, an example has been described in which, by performing an operation on the object 106 with the robot 101, the inertial force can be considered as a factor that causes the object 106 to move. . As described above, according to the present embodiment, the posture of the target object 106 can be changed in consideration of the inertial force. That is, according to the present embodiment, there is an effect that the posture of the object 106 can be changed in consideration of inertia force, in particular, other than gravity, as a factor for causing the object 106 to move.
In the present embodiment, an example in which the inertial force is considered has been described, but the configuration may be such that both the gravity and the inertial force are considered. Further, the configuration may be such that the user can select one of the inertial force and the gravity to be considered.

＜他の構成例＞
図２２は、上記各実施形態の各部を構成することのできるコンピュータ４２０の構成の例を示す。例えば、図１の例に示す情報処理装置１０４を、コンピュータ４２０で構成してもよい。また、情報処理装置１０４の各部を、それぞれコンピュータ（例えばコンピュータ４２０）で構成することができる。図１３、図１４の例に示す情報処理装置１０４ａ、１０４ｂについても、同様にコンピュータ４２０で構成することができる。
ＣＰＵ４２１は、ＲＯＭ４２２や、ＲＡＭ４２３、外部メモリ４２４等に格納されたプログラムを実行することによって、上記各実施形態の各部を実現する。ＲＯＭ４２２は上記ＣＰＵが実行するプログラムや各種データを保持することができる。ＲＡＭ４２３は、撮像装置１０２が撮像した画像データや、対象物１０６の位置や姿勢を保持することができる。 <Another configuration example>
FIG. 22 illustrates an example of a configuration of a computer 420 that can configure each unit of the above embodiments. For example, the information processing device 104 shown in the example of FIG. Further, each unit of the information processing device 104 can be configured by a computer (for example, the computer 420). The information processing devices 104a and 104b shown in the examples of FIGS. 13 and 14 can be similarly configured by the computer 420.
The CPU 421 realizes each unit of each of the above embodiments by executing programs stored in the ROM 422, the RAM 423, the external memory 424, and the like. The ROM 422 can hold programs executed by the CPU and various data. The RAM 423 can hold image data captured by the imaging device 102 and the position and orientation of the target object 106.

また、外部メモリ４２４は、ハードディスク、光学式ディスクや半導体記憶装置等で構成してよく、部品データベース２０３や、操作データベース２０６等を構成することができる。また、入力部４２５は、キャプチャボード等で構成してよく、画像取得部２０１を構成することができる。
表示部４２６は、各種ディスプレイで構成することができる。そして、操作者に対して、情報処理装置１０４等のロボットの制御の結果や、各種処理の結果等を表示することができる。通信Ｉ／Ｆ４２７は、外部と通信を行うインタフェースであり、インターネット等を通じてロボット１０１等を操作することなどを実現することができる。また、コンピュータ４２０の上記説明した各部はバス４２８によって相互に接続されている。 The external memory 424 may be configured by a hard disk, an optical disk, a semiconductor storage device, or the like, and can configure the component database 203, the operation database 206, and the like. The input unit 425 may be configured by a capture board or the like, and can configure the image acquisition unit 201.
The display unit 426 can be configured with various displays. Then, the result of control of the robot such as the information processing device 104, the result of various processes, and the like can be displayed to the operator. The communication I / F 427 is an interface that communicates with the outside, and can realize, for example, operating the robot 101 and the like through the Internet or the like. The above-described units of the computer 420 are interconnected by a bus 428.

＜変形例＞
以上説明した実施形態１〜５においては、対象物１０６に運動を発生させる要因として、重力や慣性力の例を説明した。しかし、外的な状態として対象物に影響を与えるものであればどのような要因でもロボット制御に取り入れることができる。
また、本実施形態において、対象物に内容物が含まれている例を説明したが、対象物１０６の中に入っているべき物（内容物）であればどのようなものであってもよい。例えば、一例として本施形態で説明したトナーが挙げられる。つまり、トナーのような粉体であってもよいし、そのほか、固体や液体、粒体等であってもよい。 <Modification>
In the first to fifth embodiments described above, examples of the factors that cause the object 106 to move include gravity and inertial force. However, any factor that affects the object as an external state can be incorporated into the robot control.
Further, in the present embodiment, an example has been described in which the target object includes a content, but any object (content) that should be included in the target object 106 may be used. . For example, as an example, the toner described in the present embodiment can be used. That is, it may be a powder such as a toner, or may be a solid, a liquid, a granule, or the like.

また、上記各実施形態は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給することによって実現してよい。その場合、当該システム或いは装置のコンピュータ（またはＣＰＵやＭＰＵまたは１つ以上のプロセッサ等）がプログラムを読み出して処理を実行する。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。   Further, each of the above embodiments is also realized by executing the following processing. That is, the present invention may be realized by supplying software (program) for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or various storage media. In that case, the computer (or CPU, MPU, or one or more processors, etc.) of the system or apparatus reads out the program and executes the processing. Alternatively, the program may be provided by being recorded on a computer-readable recording medium. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.

１００・・・ロボットシステム、１０１・・・ロボット、１０２・・・撮像装置、１０３・・・光源、１０４・・・情報処理装置、１０５・・・搬送装置、１０６・・・対象物、１０７・・・力覚センサ、２０１・・・画像取得部、２０２・・・位置・姿勢計測部、２０３・・・部品データベース、２０４・・・操作位置決定部、２０５・・・行動計画部、２０６・・・操作データベース、２０７・・・動作データベース、２０８・・・内容物計測部、２０９・・・状態データベース、３０１・・・力覚情報取得部、３０２・・・質量・力のモーメント計測部 100 robot system, 101 robot, 102 imaging device, 103 light source, 104 information processing device, 105 transport device, 106 object, 107 .. Force sensor, 201: image acquisition unit, 202: position / posture measurement unit, 203: component database, 204: operation position determination unit, 205: action planning unit, 206 ..Operation database, 207: Operation database, 208: Contents measuring unit, 209: State database, 301: Force information acquisition unit, 302: Mass / force moment measurement unit

Claims (10)

対象物を操作するロボットを制御するロボット制御装置であって、
前記対象物の位置及び姿勢を取得する取得手段と、
前記取得手段により取得された前記対象物の第１の位置及び姿勢と、操作後の前記対象物の目標状態である第２の位置及び姿勢と、前記対象物に発生する運動とに基づいて、前記ロボットが前記対象物を把持する把持位置及びリリースするリリース位置を含む操作位置を決定する決定手段と、
前記決定手段により決定された前記操作位置に基づいて、前記ロボットが前記対象物の姿勢を変更する行動計画を生成する生成手段と、を備え、
前記決定手段は、前記対象物が、前記把持位置から前記第２の位置に至る間に、前記リリース位置を決定する、
ことを特徴とするロボット制御装置。 A robot controller that controls a robot that operates an object,
Acquisition means for acquiring the position and orientation of the object,
Based on a first position and orientation of the object acquired by the acquisition unit, a second position and orientation that is a target state of the object after operation, and a motion generated in the object, Determining means for determining an operation position including a release position at which the robot grips and releases the object,
Generating means for generating an action plan in which the robot changes the posture of the object based on the operation position determined by the determining means ,
The determining means determines the release position while the object moves from the gripping position to the second position.
A robot control device, characterized in that: 対象物を操作するロボットを制御するロボット制御装置であって、
前記対象物の位置及び姿勢を取得する取得手段と、
前記取得手段により取得された前記対象物の第１の位置及び姿勢と、操作後の前記対象物の目標状態である第２の位置及び姿勢と、前記対象物に発生する運動とに基づいて、前記ロボットが前記対象物を把持する把持位置及びリリースするリリース位置を含む操作位置を決定する決定手段と、
前記決定手段により決定された前記操作位置に基づいて、前記ロボットが前記対象物の姿勢を変更する行動計画を生成する生成手段と、を備え、
前記決定手段は、前記対象物が、リリース位置からの運動により前記第２の位置及び姿勢へ至るよう、前記操作位置を決定する、
ことを特徴とするロボット制御装置。 A robot controller that controls a robot that operates an object,
Acquisition means for acquiring the position and orientation of the object,
Based on a first position and orientation of the object acquired by the acquisition unit, a second position and orientation that is a target state of the object after operation, and a motion generated in the object, Determining means for determining an operation position including a release position at which the robot grips and releases the object,
Generating means for generating an action plan in which the robot changes the posture of the object based on the operation position determined by the determining means,
The determining means determines the operation position so that the object reaches the second position and the posture by movement from a release position.
A robot control device, characterized in that: 前記決定手段は、前記第１の位置及び姿勢から、前記対象物の支持基底面を判定し、判定された前記支持基底面が、前記対象物がリリースされた後に前記第２の位置及び姿勢における前記対象物が載置される面へ接触する接触面となるよう、前記操作位置を決定する、ことを特徴とする請求項１または２に記載のロボット制御装置。 The determining unit determines a support base surface of the object from the first position and the posture, and the determined support base surface is in the second position and the posture after the object is released. said that the object is a contact surface for contacting the surface to be placed, it determines the operation position, the robot control apparatus according to claim 1 or 2, characterized in that. 前記決定手段は、前記対象物に作用する重力及び慣性力の少なくとも一方を算出することにより、前記操作位置を決定する、ことを特徴とする請求項１から３のいずれか１項に記載のロボット制御装置。 It said determination means, by calculating at least one of gravity and inertial force acting on the object, the robot according to any one of claims 1 to 3, wherein determining the operating position, it is characterized by Control device. 前記ロボット及び前記対象物の動作の情報を保持する保持手段をさらに備え、
前記決定手段は、前記保持手段が保持する前記動作の情報を参照することにより、前記操作位置を決定する、ことを特徴とする請求項１から４のいずれか１項に記載のロボット制御装置。 The robot further includes a holding unit that holds information on the operation of the robot and the target object,
The determination unit refers to the information of the operation in which the holding means holds, it determines the operation position, that the robot control apparatus according to claim 1, any one of 4, wherein. 前記対象物に収容される内容物の量及び偏りを判定する判定手段をさらに備え、
前記決定手段は、さらに、前記判定手段により判定された前記内容物の前記量及び偏りに基づいて、前記操作位置を決定する、ことを特徴とする請求項１から５のいずれか１項に記載のロボット制御装置。 The apparatus further includes a determination unit configured to determine the amount and deviation of the content contained in the target object,
It said determining means further on the basis of the said amount and unevenness of the content determined by the determination means, for determining the operating position, it claimed in any one of claims 1-5, characterized in Robot controller. 前記対象物の質量と、前記ロボットが前記対象物を把持する部分に作用する力のモーメントを計測する計測手段をさらに備え、
前記決定手段は、さらに、前記計測手段により計測された前記質量及び前記力のモーメントに基づいて、前記操作位置を決定する、ことを特徴とする請求項１から６のいずれか１項に記載のロボット制御装置。 The mass of the object, further comprising a measuring means for measuring the moment of the force acting on the portion of the robot grips the object,
It said determining means further on the basis of the moment of the mass and the force measured by the measuring means, for determining the operating position, according to any one of claims 1, wherein 6 in that Robot controller. 対象物を操作するロボットを制御するロボット制御方法であって、
前記対象物の位置及び姿勢を取得するステップと、
前記取得された前記対象物の第１の位置及び姿勢と、操作後の前記対象物の目標状態である第２の位置及び姿勢と、前記対象物に発生する運動とに基づいて、前記ロボットが前記対象物を把持する把持位置及びリリースするリリース位置を含む操作位置を決定するステップと、
前記決定された前記操作位置に基づいて、前記ロボットが前記対象物の姿勢を変更する行動計画を生成するステップと、を含み、
前記決定するステップは、前記対象物が、前記把持位置から前記第２の位置に至る間に、前記リリース位置を決定する、
ことを特徴とするロボット制御方法。 A robot control method for controlling a robot that operates an object, comprising:
Acquiring the position and orientation of the object;
Based on the obtained first position and orientation of the object, a second position and orientation that is a target state of the object after the operation, and a motion generated on the object, Determining an operation position including a gripping position for gripping the object and a release position for releasing,
Based on the determined the operating position, viewed including the steps of: the robot to generate an action plan to change the posture of the object,
The determining step determines the release position while the target object reaches the second position from the grip position.
A method for controlling a robot, comprising: 対象物を操作するロボットを制御するロボット制御方法であって、A robot control method for controlling a robot that operates an object, comprising:
前記対象物の位置及び姿勢を取得するステップと、Acquiring the position and orientation of the object;
前記取得された前記対象物の第１の位置及び姿勢と、操作後の前記対象物の目標状態である第２の位置及び姿勢と、前記対象物に発生する運動とに基づいて、前記ロボットが前記対象物を把持する把持位置及びリリースするリリース位置を含む操作位置を決定するステップと、Based on the acquired first position and posture of the object, a second position and posture that is the target state of the object after the operation, and the motion generated in the object, the robot Determining an operation position including a gripping position for gripping the object and a release position for releasing,
前記決定された前記操作位置に基づいて、前記ロボットが前記対象物の姿勢を変更する行動計画を生成するステップと、を含み、Based on the determined operation position, the robot generates an action plan that changes the posture of the object,
前記決定するステップは、前記対象物が、リリース位置からの運動により前記第２の位置及び姿勢へ至るよう、前記操作位置を決定する、The determining step determines the operation position such that the object reaches the second position and the posture by movement from a release position.
ことを特徴とするロボット制御方法。A robot control method characterized by the above-mentioned. コンピュータを、請求項１から７のいずれか１項に記載のロボット制御装置の各手段として機能させるためのコンピュータプログラム。 Computer program for a computer to function as each unit of the robot control apparatus according to any one of claims 1 to 7.
JP2015188931A 2015-09-25 2015-09-25 Robot control device, robot control method, and computer program Active JP6643020B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015188931A JP6643020B2 (en) 2015-09-25 2015-09-25 Robot control device, robot control method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015188931A JP6643020B2 (en) 2015-09-25 2015-09-25 Robot control device, robot control method, and computer program

Publications (3)

Publication Number Publication Date
JP2017061025A JP2017061025A (en) 2017-03-30
JP2017061025A5 JP2017061025A5 (en) 2018-11-01
JP6643020B2 true JP6643020B2 (en) 2020-02-12

Family

ID=58430372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015188931A Active JP6643020B2 (en) 2015-09-25 2015-09-25 Robot control device, robot control method, and computer program

Country Status (1)

Country Link
JP (1) JP6643020B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914528B2 (en) * 2017-11-21 2021-08-04 ウエノテックス株式会社 Tire moving device and waste tire disposal system
JP6833777B2 (en) * 2018-09-10 2021-02-24 株式会社東芝 Object handling equipment and programs
JP7378934B2 (en) * 2019-01-29 2023-11-14 キヤノン株式会社 Information processing device, information processing method and system
JP7136729B2 (en) * 2019-03-20 2022-09-13 ファナック株式会社 Apparatus, method, program, controller and robot system for estimating load weight and center-of-gravity position using a robot
JP6966117B1 (en) * 2020-08-12 2021-11-10 株式会社MaaS Tech Japan Information retrieval program and information retrieval device
CN112720495A (en) * 2020-12-30 2021-04-30 深兰人工智能芯片研究院（江苏）有限公司 Control method and device for manipulator, pickup device and storage medium
WO2024038323A1 (en) * 2022-08-17 2024-02-22 Nomagic Sp z o.o. Item manipulation system and methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0281102A (en) * 1988-09-16 1990-03-22 Sanyo Electric Co Ltd Action planning method for holding robot
JP2010184300A (en) * 2009-02-10 2010-08-26 Seiko Epson Corp Attitude changing device and attitude changing method
JP2012206219A (en) * 2011-03-30 2012-10-25 Seiko Epson Corp Robot control device and robot system
JP5733516B2 (en) * 2011-05-12 2015-06-10 株式会社Ihi Moving body gripping apparatus and method
JP6021533B2 (en) * 2012-09-03 2016-11-09 キヤノン株式会社 Information processing system, apparatus, method, and program

Also Published As

Publication number Publication date
JP2017061025A (en) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6643020B2 (en) Robot control device, robot control method, and computer program
JP5949242B2 (en) Robot system, robot, robot control apparatus, robot control method, and robot control program
JP6892286B2 (en) Image processing equipment, image processing methods, and computer programs
JP6931457B2 (en) Motion generation method, motion generator, system and computer program
US10589424B2 (en) Robot control device, robot, and robot system
JP5281414B2 (en) Method and system for automatic workpiece gripping
JP5977544B2 (en) Information processing apparatus and information processing method
JP6541397B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP6057862B2 (en) Component supply apparatus and program generation method for component supply apparatus
JP2018161692A (en) Information processing system, information processing method and program
JPWO2018092860A1 (en) Interference avoidance device
JP6950638B2 (en) Manipulator controller, manipulator control method, and manipulator control program
JP6700726B2 (en) Robot controller, robot control method, robot control system, and computer program
JP2017136677A (en) Information processing apparatus, information processing method, robot control apparatus, and robot system
JP2014205209A (en) Robot system and control method of the same
JP2017100216A (en) Information processing device and information processing method
JP4794011B2 (en) Image processing apparatus and robot control system
JP6415167B2 (en) Transport control device, transport control method, program, and transport system
JP6662836B2 (en) Work placement system for placing work in the accommodation area or jig
JP7331527B2 (en) Apparatus, method and program for determining robot motion
JP7028092B2 (en) Gripping posture evaluation device and gripping posture evaluation program
JP2021526081A (en) Controls, control methods, robotics, and programs
JP5857803B2 (en) Industrial machine interference determination device, interference determination method, computer program, and recording medium
JP2012135858A (en) System and method for construction of operating environment model
JP7415013B2 (en) Robotic device that detects interference between robot components

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R151 Written notification of patent or utility model registration

Ref document number: 6643020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151