JP6889216B2

JP6889216B2 - Work system

Info

Publication number: JP6889216B2
Application number: JP2019162934A
Authority: JP
Inventors: 雅文大場
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2017-10-16
Filing date: 2019-09-06
Publication date: 2021-06-18
Anticipated expiration: 2037-10-16
Also published as: JP2019214122A

Description

本発明は、作業システムに関する。 The present invention relates to a working system.

搬送装置上を搬送される物品に対して、各種作業を行うロボットが知られている。このようなロボットとして、例えば、移動可能な移動架台に搭載されて、ロボットアームの先端のハンドに取り付けられたカメラによって物品を認識して、物品に対して作業を行うロボットがある（例えば、特許文献１，２）。 Robots that perform various operations on articles transported on a transport device are known. As such a robot, for example, there is a robot mounted on a movable mobile pedestal, recognizing an article by a camera attached to a hand at the tip of a robot arm, and performing work on the article (for example, a patent). Documents 1 and 2).

特開２００１−１２１４６１号公報Japanese Unexamined Patent Publication No. 2001-121461 特開２０１６−３２８４３号公報Japanese Unexamined Patent Publication No. 2016-32443

搬送装置を用いた生産ラインでは、需要と供給の関係によって、生産ラインで生産される物品の数が時期によって増減することがある。生産される物品が多い時期を考慮して、生産ラインに固定のロボットが配置されてしまうと、生産される物品が少ない時期に、配置されたロボットが過剰設備になってしまうおそれがある。そのため、生産時期に応じて、生産ラインに配置されるロボットの数を増減させることが望ましい。 In a production line using a transport device, the number of goods produced on the production line may increase or decrease depending on the relationship between supply and demand. If fixed robots are placed on the production line in consideration of the time when there are many goods to be produced, there is a risk that the placed robots will be over-equipped when there are few goods to be produced. Therefore, it is desirable to increase or decrease the number of robots arranged on the production line according to the production time.

特許文献１に記載されたロボットを用いた生産ラインにおいて、このロボットが搬送装置上を搬送される物品に対して作業を行うために、搬送装置の搬送速度を計測するためのパルスコーダ等の設備が必要になる。生産ラインでは、パルスコーダ等の設備も、過剰設備になってしまうおそれがある。また、パルスコーダを用いる場合、パルスコーダとロボットを同期させる作業が必要になり、ロボットの設置作業に要する時間が長くなってしまうおそれもある。 In the production line using the robot described in Patent Document 1, in order for the robot to perform work on the articles transported on the transport device, equipment such as a pulse coder for measuring the transport speed of the transport device is provided. You will need it. On the production line, equipment such as pulse coder may become excessive equipment. Further, when a pulse coder is used, it is necessary to synchronize the pulse coder with the robot, which may increase the time required for the robot installation work.

上述した事情に鑑みて、生産時期による生産数の増減に容易に対応することができる作業システムが望まれる。 In view of the above circumstances, a work system that can easily cope with an increase or decrease in the number of production depending on the production time is desired.

本発明の一態様は、物品を搬送する搬送装置と、車輪によって移動可能な移動架台と、該移動架台に固定され、前記搬送装置により搬送される前記物品に対して作業を行う作業部と、その画角に前記作業部の作業範囲が含まれるように前記移動架台に固定された視覚センサであって、前記車輪によって前記移動架台を前記搬送装置の近傍に配置する際に前記移動架台に固定された前記作業部の座標系を設定するために用いられると共に、前記作業部による前記作業時に前記搬送装置により搬送される前記物品の視覚情報を逐次取得する視覚センサと、該視覚センサにより取得される前記視覚情報を処理して前記画角内における前記物品の少なくとも位置を逐次検出する検出部と、該検出部により逐次検出される前記物品の位置を少なくとも用いて前記作業部を駆動させる駆動制御部とを備える作業システムを提供する。 One aspect of the present invention includes a transport device for transporting an article, a mobile pedestal that can be moved by wheels , a working unit that is fixed to the mobile pedestal and performs work on the article that is transported by the transport device. A visual sensor fixed to the moving pedestal so that the angle of view includes the working range of the working unit, and is fixed to the moving pedestal when the moving pedestal is arranged in the vicinity of the transport device by the wheels. together used to set the coordinate system of the working portion acquired, and visual sensor that sequentially acquires visual information of the articles conveyed by the conveying device when the operation by the working unit, by the visual sensor A drive that drives the working unit by using at least a detection unit that sequentially detects at least the position of the article within the angle of view by processing the visual information and at least the position of the article that is sequentially detected by the detection unit. A work system including a control unit is provided.

本態様によれば、カメラ等の視覚センサは、搬送装置によって搬送される物品の視覚情報を逐次取得する。検出部は、視覚センサにより取得される視覚情報を処理して視覚センサの画角内における物品の少なくとも位置を逐次検出する。駆動制御部は、検出部により逐次検出される物品の位置を用いて、物品に対し作業部による作業を行わせる。 According to this aspect, a visual sensor such as a camera sequentially acquires visual information of an article transported by a transport device. The detection unit processes the visual information acquired by the visual sensor to sequentially detect at least the position of the article within the angle of view of the visual sensor. The drive control unit causes the article to perform work by the working unit by using the position of the article sequentially detected by the detection unit.

すなわち、本態様によれば、移動架台を移動させることで、搬送装置を含む生産ラインに、必要な数のロボットが配置される。移動架台に視覚センサおよび作業部が固定され、移動架台を移動しても作業部に対する視覚センサの位置が変わらない。このため、検出部により逐次検出される物品の位置を用いて、搬送装置上を搬送される物品に対して作業部による作業を行うことができる。ここで、前述のように、移動架台を移動しても作業部に対する視覚センサの位置が変わらない。また、移動架台に固定された視覚センサは、車輪によって移動架台を搬送装置の近傍に配置する際に移動架台に固定された作業部の座標系を設定するために用いられる。つまり、視覚センサを使って搬送装置の移動方向に一致しているトラッキング座標系の設定を行うことにより、搬送装置の流れ方向をＸ軸とするトラッキング座標系が搬送装置上に定義され、複雑な設定作業を要さずに視覚センサおよび作業部を搬送装置での作業用に設置できる。 That is, according to this aspect, by moving the mobile pedestal, a required number of robots are arranged on the production line including the transfer device. The visual sensor and the working part are fixed to the moving pedestal, and the position of the visual sensor with respect to the working part does not change even if the moving pedestal is moved. Therefore, the work unit can perform the work on the article transported on the transport device by using the position of the article sequentially detected by the detection unit. Here, as described above, the position of the visual sensor with respect to the working portion does not change even if the moving platform is moved. Further, the visual sensor fixed to the moving pedestal is used to set the coordinate system of the working portion fixed to the moving pedestal when the moving pedestal is arranged in the vicinity of the transport device by the wheels. That is, by setting a tracking coordinate system that matches the moving direction of the transport device using a visual sensor, a tracking coordinate system with the flow direction of the transport device as the X-axis is defined on the transport device, which is complicated. The visual sensor and the work unit can be installed for work on the transport device without the need for setting work.

本発明の他の態様は、物品を搬送する搬送装置と、移動可能な移動架台と、該移動架台に固定され、前記搬送装置により搬送される前記物品に対して作業を行う作業部と、前記移動架台に固定され、前記搬送装置により搬送される前記物品または前記搬送装置上に形成されたマークの視覚情報を逐次取得する視覚センサと、該視覚センサにより取得される前記視覚情報を処理して前記物品又は前記マークの少なくとも位置を逐次検出する検出部と、該検出部により逐次検出される前記物品又は前記マークの位置に基づき前記搬送装置の搬送速度を算出する算出部と、前記搬送速度を用いて前記作業部を駆動させる駆動制御部とを備える作業システムを提供する。 Another aspect of the present invention includes a transport device for transporting an article, a movable mobile pedestal, a working unit fixed to the mobile pedestal and performing work on the article transported by the transport device, and the above-mentioned. A visual sensor fixed to a mobile pedestal and sequentially acquiring visual information of the article or a mark formed on the transport device, and the visual information acquired by the visual sensor are processed. A detection unit that sequentially detects at least the position of the article or the mark, a calculation unit that calculates the transfer speed of the transfer device based on the position of the article or the mark sequentially detected by the detection unit, and the transfer speed. Provided is a work system including a drive control unit for driving the work unit.

本態様によれば、カメラ等の視覚センサは、搬送装置によって搬送される物品または搬送装置上に形成されたマークの視覚情報を逐次取得する。算出部は、逐次取得された視覚情報に含まれる複数の物品またはマークの少なくとも位置の変化に基づいて、搬送装置の搬送速度を算出する。駆動制御部は、搬送速度を用いて、搬送装置により搬送される物品の位置を特定して、作業部により特定した物品に作業を行わせる。 According to this aspect, a visual sensor such as a camera sequentially acquires visual information of an article transported by a transport device or a mark formed on the transport device. The calculation unit calculates the transport speed of the transport device based on at least a change in the position of a plurality of articles or marks included in the sequentially acquired visual information. The drive control unit uses the transport speed to specify the position of the article to be transported by the transport device, and causes the article specified by the work unit to perform the work.

すなわち、本態様によれば、移動架台を移動させることで、搬送装置を含む生産ラインに、必要な数のロボットが配置される。移動架台に視覚センサおよび作業部が固定され、移動架台を移動しても作業部に対する視覚センサの位置が変わらない。このため、算出された搬送装置の搬送速度が用いられることで、パルスコーダ等の過剰な設備を必要とせずに、搬送装置上を搬送される物品に対して、作業部による作業が行われる。 That is, according to this aspect, by moving the mobile pedestal, a required number of robots are arranged on the production line including the transfer device. The visual sensor and the working part are fixed to the moving gantry, and the position of the visual sensor with respect to the working part does not change even if the moving gantry is moved. Therefore, by using the calculated transfer speed of the transfer device, the work unit performs the work on the article to be conveyed on the transfer device without the need for excessive equipment such as a pulse coder.

上記態様においては、前記駆動制御部が、所定の期間に前記視覚センサにより取得された複数の前記視覚情報内に前記物品または前記マークが検出されない場合に、前記所定の期間の前に前記算出部によって算出された前記搬送速度を用いて前記作業部を駆動させてもよい。
このようにすることで、視覚センサにより物品又はマークが検出されない時間が生じても、搬送装置により視覚センサの画角の下流側に搬送される物品に対して、作業部による作業を継続することができる。 In the above aspect, when the drive control unit does not detect the article or the mark in the plurality of visual information acquired by the visual sensor during a predetermined period, the calculation unit is performed before the predetermined period. The working unit may be driven using the transport speed calculated by.
By doing so, even if there is a time when the article or the mark is not detected by the visual sensor, the work part can continue the work for the article conveyed to the downstream side of the angle of view of the visual sensor by the conveying device. Can be done.

上記態様においては、前記算出部が、算出した前記搬送速度に基づいて、前記搬送装置上を搬送される前記物品の移動量を算出し、前記駆動制御部が、前記検出部で検出される前記物品の位置と、前記算出部により算出される前記物品の前記移動量および前記搬送速度とを用いて、前記搬送装置により搬送される前記物品に追従しながら該物品に対して作業を行うように前記作業部を駆動させてもよい。
このようにすることで、搬送装置により搬送される物品と作業部との接触時における衝撃が小さくなるため、作業時における物品に対する損傷などが回避又は抑制される。 In the above aspect, the calculation unit calculates the amount of movement of the article transported on the transfer device based on the calculated transfer speed, and the drive control unit is detected by the detection unit. Using the position of the article, the movement amount of the article calculated by the calculation unit, and the transport speed, the work is performed on the article while following the article transported by the transport device. The working unit may be driven.
By doing so, the impact at the time of contact between the article conveyed by the conveying device and the working portion is reduced, so that damage to the article during the working is avoided or suppressed.

上記態様においては、所定の期間に前記視覚センサにより取得された複数の前記視覚情報内に前記物品または前記マークが検出されない場合に、前記搬送装置上の前記物品の搬送が停止されていること又は前記搬送装置が停止していることを報知する報知部を備えてもよい。
物品またはマークが視覚情報から検出されない場合には、搬送装置の搬送速度がゼロまたは作業対象の物品が搬送されていない場合が考えられる。その場合に、報知部による報知が行われることで、事故の防止や無駄な作業の抑制となる。 In the above aspect, when the article or the mark is not detected in the plurality of visual information acquired by the visual sensor in a predetermined period, the transport of the article on the transport device is stopped or A notification unit may be provided to notify that the transfer device is stopped.
If the article or mark is not detected from the visual information, it is possible that the transport speed of the transport device is zero or the article to be worked is not transported. In that case, the notification by the notification unit prevents accidents and suppresses unnecessary work.

上記態様においては、前記駆動制御部が、前記報知部による報知が行われた場合に、前記作業部が前記物品に対して行う作業を中止してもよい。
このようにすることで、事故の防止や無駄な作業の抑制となる。 In the above aspect, when the drive control unit is notified by the notification unit, the work performed by the working unit on the article may be stopped.
By doing so, accidents can be prevented and wasteful work can be suppressed.

上記態様においては、前記算出部が、前記搬送速度として、複数の前記物品の速度の平均値又は複数の前記マークの速度の平均値を算出してもよい。
視覚センサの視覚情報としてカメラ等の撮影画像が用いられ、例えば、画角の中心よりも周囲の方がレンズの収差の影響が大きい場合でも、カメラに写った複数の物品又はマークの速度の平均値が搬送装置の搬送速度として用いられることで、より精度の高い搬送装置の搬送速度が算出される。 In the above aspect, the calculation unit may calculate the average value of the speeds of the plurality of articles or the average value of the speeds of the plurality of marks as the transport speed.
An image taken by a camera or the like is used as the visual information of the visual sensor. For example, even if the peripheral area is more affected by the aberration of the lens than the center of the angle of view, the average speed of a plurality of objects or marks captured by the camera is averaged. By using the value as the transport speed of the transport device, the transport speed of the transport device with higher accuracy is calculated.

また、本発明の他の態様は、物品を搬送する搬送装置の近傍に作業部および視覚センサが固定された移動架台を配置する配置ステップと、前記移動架台に固定された視覚センサにより、前記搬送装置により搬送される前記物品または前記搬送装置上に形成されたマークの視覚情報を逐次取得する視覚情報取得ステップと、前記視覚センサにより取得される前記視覚情報を処理して前記物品又は前記マークの少なくとも位置を逐次検出する検出ステップと、逐次検出される前記物品又は前記マークの位置に基づき前記搬送装置の搬送速度を算出する算出ステップと、前記搬送速度を用いて、該移動架台に固定された作業部により、前記搬送装置により搬送される前記物品に対して作業を行う作業ステップとを備える物品に対する作業実施方法を提供する。 Further, in another aspect of the present invention, the transport is performed by an arrangement step of arranging a mobile pedestal in which a working unit and a visual sensor are fixed in the vicinity of a transport device for transporting articles, and a visual sensor fixed to the mobile pedestal. The visual information acquisition step of sequentially acquiring the visual information of the article or the mark formed on the transport device carried by the apparatus, and the visual information acquired by the visual sensor are processed to form the article or the mark. It was fixed to the moving pedestal using a detection step of sequentially detecting at least the position, a calculation step of calculating the transport speed of the transport device based on the position of the article or the mark which is sequentially detected, and the transport speed. The work unit provides a work execution method for an article including a work step for performing the work on the article conveyed by the transfer device.

また、本発明の他の態様は、移動可能な移動架台と、該移動架台に固定され、搬送装置により搬送される物品又は前記搬送装置上に形成されたマークの視覚情報を逐次取得する視覚センサと、該視覚センサにより取得される前記視覚情報を処理して、前記物品又は前記マークの少なくとも位置を逐次検出する検出部と、該検出部により逐次検出される前記物品又は前記マークの位置に基づき前記搬送装置の搬送速度を算出する算出部と、前記搬送速度を用いて作業部を駆動させる駆動制御部を備えるロボットを提供する。 Another aspect of the present invention is a movable pedestal and a visual sensor that sequentially acquires visual information of an article fixed to the movable pedestal and transported by the transport device or a mark formed on the transport device. Based on the detection unit that processes the visual information acquired by the visual sensor to sequentially detect at least the position of the article or the mark, and the position of the article or the mark that is sequentially detected by the detection unit. Provided is a robot including a calculation unit for calculating a transfer speed of the transfer device and a drive control unit for driving a work unit using the transfer speed.

本発明によれば、生産時期による生産数の増減に容易に対応することができる。 According to the present invention, it is possible to easily cope with an increase or decrease in the number of production depending on the production time.

本発明の第１実施形態に係るロボットシステムを示す全体構成図である。It is an overall block diagram which shows the robot system which concerns on 1st Embodiment of this invention. 図１のロボットシステムに備えられる制御部を示すブロック図である。It is a block diagram which shows the control part provided in the robot system of FIG. 図１のロボットシステムのカメラにより取得される画像の時間変化と搬送速度とを示す図である。It is a figure which shows the time change and the transport speed of the image acquired by the camera of the robot system of FIG. 物品Ｏに対する作業実施方法のフローチャートである。It is a flowchart of the work execution method for article O. 第２実施形態に係るロボットシステムを示す全体構成図である。It is an overall block diagram which shows the robot system which concerns on 2nd Embodiment. 第３実施形態に係るロボットシステムを示す全体構成図である。It is an overall block diagram which shows the robot system which concerns on 3rd Embodiment. 図１のロボットシステムにおいて同一視野内に複数の物品が撮影される場合を示す図３と同様の図である。It is the same figure as FIG. 3 which shows the case where a plurality of articles are photographed in the same field of view in the robot system of FIG.

本発明の第１実施形態に係るロボットシステム（作業システム）１について、図面を参照しながら以下に説明する。
図１には、本実施形態に係る物品Ｏを生産する生産ラインを含むロボットシステム１が示されている。ロボットシステム１は、物品Ｏを搬送するコンベア（搬送装置）２と、コンベア２の近傍に設置される移動可能な移動架台１３と、移動架台１３の上部に固定されてコンベア２により搬送される物品Ｏを撮影するカメラ（視覚センサ）４と、移動架台１３の上部に固定されてコンベア２により搬送される物品Ｏに対して各種作業を行うロボット（作業部）３と、ロボット３を制御すると共にカメラ４により取得される画像の処理等を行う制御部５とを備えている。また、図１には、ロボットシステム１に加えて、物品Ｏに対して作業を行う作業者ＷＫが示されている。 The robot system (working system) 1 according to the first embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 shows a robot system 1 including a production line for producing the article O according to the present embodiment. The robot system 1 includes a conveyor (conveyor device) 2 that conveys an article O, a movable movable pedestal 13 that is installed in the vicinity of the conveyor 2, and an article that is fixed to the upper part of the movable pedestal 13 and is conveyed by the conveyor 2. In addition to controlling the camera (visual sensor) 4 that captures O, the robot (working unit) 3 that performs various operations on the article O that is fixed to the upper part of the mobile stand 13 and is conveyed by the conveyor 2, and the robot 3. It includes a control unit 5 that processes an image acquired by the camera 4. Further, in FIG. 1, in addition to the robot system 1, a worker WK who performs work on the article O is shown.

コンベア２は、例えばベルトコンベアであって、物品Ｏを搭載して一方向に搬送するベルト６を備えている。ベルト６はモータ（図示略）により駆動されるようになっている。ベルト６の表面には、所定の間隔を空けて、複数のマークＭＫが形成されている。なお、以降では、簡略化して、ベルト６上をコンベア２上ともいい、ベルト６の搬送速度をコンベア２の搬送速度ともいう。 The conveyor 2 is, for example, a belt conveyor, and includes a belt 6 on which the article O is mounted and conveyed in one direction. The belt 6 is driven by a motor (not shown). A plurality of mark MKs are formed on the surface of the belt 6 at predetermined intervals. Hereinafter, for the sake of simplicity, the belt 6 is also referred to as the conveyor 2, and the conveyor speed of the belt 6 is also referred to as the conveyor 2 conveyor speed.

図１に示すように移動架台１３がコンベア２の近傍に配置され固定されると、カメラ４は、コンベア２上の一部の領域に固定された視野を有することになる。カメラ４は、コンベア２により搬送されてくる物品ＯおよびマークＭＫの２次元画像を、視覚情報として逐次取得するようになっている。本実施形態では、カメラ４は、同一物品ＯおよびマークＭＫがカメラ４の撮影視野を通過する間に２回以上撮影されるフレームレートで撮影するようになっている。 When the mobile pedestal 13 is arranged and fixed in the vicinity of the conveyor 2 as shown in FIG. 1, the camera 4 has a fixed field of view in a part of the area on the conveyor 2. The camera 4 sequentially acquires two-dimensional images of the article O and the mark MK conveyed by the conveyor 2 as visual information. In the present embodiment, the camera 4 shoots at a frame rate at which the same article O and the mark MK are shot two or more times while passing through the shooting field of view of the camera 4.

なお、上記の固定としては、移動架台１３の車輪の回転を規制する輪止め機構によって移動架台１３の一部又は全部の車輪の回転を規制する方法、移動架台１３の車輪を移動架台１３のボディに対して上方に移動することによりボディを接地させ、これにより移動架台１３を設置面に対し移動しないように固定する方法、ボディの両側面から水平方向に突出する複数のアームおよび該複数のアームからそれぞれ下方に延びる複数の脚部材とを有するアウトリガー構造を採用し、該アウトリガー構造を用いて移動架台１３を固定する方法等がある。その他の方法を用いて固定してもよい。 The above-mentioned fixing is a method of restricting the rotation of a part or all of the wheels of the mobile pedestal 13 by a wheel chock mechanism that regulates the rotation of the wheels of the mobile pedestal 13, and the body of the moving pedestal 13 with the wheels of the mobile pedestal 13 A method of grounding the body by moving upward with respect to the body, thereby fixing the moving pedestal 13 so as not to move with respect to the installation surface, a plurality of arms projecting horizontally from both side surfaces of the body, and the plurality of arms. There is a method of adopting an outrigger structure having a plurality of leg members extending downward from each of the wheels and fixing the moving pedestal 13 using the outrigger structure. It may be fixed using other methods.

ロボット３は、移動架台１３上において、カメラ４よりも、コンベア２の搬送方向の下流側に設置されている。そのため、ロボット３は、カメラ４により撮影された後の物品Ｏに対して作業を行う。
移動架台１３がコンベア２の近傍に配置および固定された後、カメラ４やロボット３を用いてトラッキング座標系の設定が行われる。 The robot 3 is installed on the mobile pedestal 13 on the downstream side of the conveyor 2 in the transport direction with respect to the camera 4. Therefore, the robot 3 works on the article O after being photographed by the camera 4.
After the mobile pedestal 13 is arranged and fixed in the vicinity of the conveyor 2, the tracking coordinate system is set using the camera 4 and the robot 3.

トラッキング座標系設定の１つの方法としては、先ず、固定された移動架台１３のカメラ４によって、ある搬送位置において、コンベア２上の物品Ｏ、マークＭＫ、キャリブレーション器具等（本実施形態ではキャリブレーション器具）の画像を取得し、コンベア２により前記搬送位置よりも下流側に搬送されたキャリブレーション器具の画像も少なくとも１つ取得する。続いて、制御部５が、これら複数の画像に周知の画像処理を行い、パターンマッチング等によりこれら複数の画像にあらわれるキャリブレーション器具の移動方向を特定し、該移動方向に対応する水平方向を例えばトラッキング座標系のＸ軸として設定し、Ｘ軸に直交する水平方向をＹ軸として設定する。必要に応じてＺ軸を設定してもよい。 As one method of setting the tracking coordinate system, first, an article O, a mark MK, a calibration device, etc. on the conveyor 2 (calibration in the present embodiment) are performed by a camera 4 of a fixed moving stand 13 at a certain transport position. The image of the instrument) is acquired, and at least one image of the calibration instrument conveyed by the conveyor 2 on the downstream side of the transfer position is also acquired. Subsequently, the control unit 5 performs well-known image processing on the plurality of images, specifies the moving direction of the calibration device appearing in the plurality of images by pattern matching or the like, and sets the horizontal direction corresponding to the moving direction, for example. It is set as the X-axis of the tracking coordinate system, and the horizontal direction orthogonal to the X-axis is set as the Y-axis. The Z axis may be set if necessary.

他の方法としては、先ず、ロボット３の先端にキャリブレーション用ツールを取付け、コンベア２上に、その搬送方向と直交する方向に正確に並ぶように配置された複数の小さな点を上面に有するキャリブレーション用板を載置する。ここで、キャリブレーション用ツールの先端の位置はロボット３を制御する制御部５により認識されている。 As another method, first, a calibration tool is attached to the tip of the robot 3, and calibration has a plurality of small points on the upper surface of the conveyor 2 arranged so as to be accurately arranged in a direction orthogonal to the transport direction. Place the calibration plate. Here, the position of the tip of the calibration tool is recognized by the control unit 5 that controls the robot 3.

続いて、ロボット３の先端に取付けられたキャリブレーション用ツールの先端をキャリブレーション用板の上面のコンベア２の搬送方向に並ぶ小さな点の少なくとも２点に接触させることにより、制御部５に、コンベア２の移動方向、即ちトラッキング座標系のＸ軸を設定し、さらにキャリブレーション用板の上面のＸ軸に直交する方向の少なくとも１点に接触させることによりＹ軸を設定する。また、Ｘ軸およびＹ軸に直交する方向がＺ軸として制御部５に設定され、接触位置から既知であるキャリブレーション用板の厚さを差し引いた高さがコンベア２の高さとして制御部５に設定される。尚、前述のカメラ４を使う方法の場合にもロボット３による接触等を用いて高さを設定することができる。 Subsequently, by bringing the tip of the calibration tool attached to the tip of the robot 3 into contact with at least two small points arranged in the transport direction of the conveyor 2 on the upper surface of the calibration plate, the control unit 5 is brought to the conveyor. The Y-axis is set by setting the movement direction of 2, that is, the X-axis of the tracking coordinate system, and further contacting at least one point in the direction orthogonal to the X-axis on the upper surface of the calibration plate. Further, the direction orthogonal to the X-axis and the Y-axis is set in the control unit 5 as the Z-axis, and the height obtained by subtracting the known thickness of the calibration plate from the contact position is the height of the conveyor 2. Is set to. Even in the case of the method using the camera 4 described above, the height can be set by using contact with the robot 3 or the like.

尚、ある搬送位置のコンベア２上のキャリブレーション用板のある点にキャリブレーション用ツールの先端を接触させ、前記搬送位置よりも下流側に搬送されたキャリブレーション用板の上記点にキャリブレーション用ツールの先端を接触させることにより、トラッキング座標系のＸ軸を設定してもよい。また、他の方法によってトラッキング座標系の設定を行ってもよい。 The tip of the calibration tool is brought into contact with a point on the calibration plate on the conveyor 2 at a certain transport position, and the calibration plate is transported to the downstream side of the transfer position for calibration. The X-axis of the tracking coordinate system may be set by touching the tip of the tool. Further, the tracking coordinate system may be set by another method.

上記のように、ロボット３およびカメラ４は移動架台１３の上部に固定されていると共に、ロボット３とカメラ４とのキャリブレーションは既に行われており、ロボット３とカメラ４との位置関係が判明している。このため、カメラ４又はロボット３を使って上記のトラッキング座標系の設定を行うことにより、コンベア２の流れ方向をＸ軸とするトラッキング座標系がコンベア２上にロボット３に関して定義され、そのトラッキング座標系に対するカメラ４の位置が判明することになる。つまり、複雑な設定作業を要さずにカメラ４およびロボット３をコンベア２での作業用に設置できるという利点がある。本実施形態では、ロボット３の作業範囲は、カメラ４の撮影範囲と異なる。換言すると、ロボット３の作業は、カメラ４によって撮影されていない。 As described above, the robot 3 and the camera 4 are fixed to the upper part of the mobile stand 13, and the robot 3 and the camera 4 have already been calibrated, and the positional relationship between the robot 3 and the camera 4 has been clarified. doing. Therefore, by setting the above tracking coordinate system using the camera 4 or the robot 3, a tracking coordinate system having the flow direction of the conveyor 2 as the X axis is defined for the robot 3 on the conveyor 2, and the tracking coordinates thereof. The position of the camera 4 with respect to the system will be known. That is, there is an advantage that the camera 4 and the robot 3 can be installed for work on the conveyor 2 without requiring complicated setting work. In the present embodiment, the working range of the robot 3 is different from the shooting range of the camera 4. In other words, the work of the robot 3 is not photographed by the camera 4.

本実施形態のロボット３は、複数の関節軸を有する垂直多関節型ロボットである。なお、図１では、複数の関節軸を駆動させるための各モータと、各モータの回転角度を検出するための各エンコーダとの図示が省略されている。ロボット３の先端には、物品Ｏに対して作業を行うロボットハンド７が取り付けられている。 The robot 3 of the present embodiment is a vertical articulated robot having a plurality of joint axes. Note that in FIG. 1, the illustration of each motor for driving a plurality of joint axes and each encoder for detecting the rotation angle of each motor is omitted. A robot hand 7 that performs work on the article O is attached to the tip of the robot 3.

制御部５は、図示しないＣＰＵと、ＲＯＭと、ＲＡＭと、メモリとで構成されている。制御部５は、図２に示されるように、カメラ４により取得された画像を処理して物品Ｏを検出する画像処理部８と、処理された画像内における物品Ｏに基づいてコンベア２の搬送速度を算出する速度算出部（算出部）９と、速度算出部９により算出された搬送速度に基づいてロボット３を駆動させる駆動制御部１０と、時間を計測するタイマー１１と、タイマー１１からの出力に基づいて外部に所定の情報を報知する報知部１２とを備えている。本実施形態では、図１に示すように、制御部５は、移動架台１３に内蔵されているが、他の実施形態では、移動架台１３とは別に設けられてもよい。 The control unit 5 includes a CPU (not shown), a ROM, a RAM, and a memory (not shown). As shown in FIG. 2, the control unit 5 processes the image acquired by the camera 4 to detect the article O, and the control unit 5 conveys the conveyor 2 based on the image O in the processed image. From the speed calculation unit (calculation unit) 9 that calculates the speed, the drive control unit 10 that drives the robot 3 based on the transfer speed calculated by the speed calculation unit 9, the timer 11 that measures the time, and the timer 11. It is provided with a notification unit 12 that notifies predetermined information to the outside based on the output. In the present embodiment, as shown in FIG. 1, the control unit 5 is built in the mobile pedestal 13, but in other embodiments, the control unit 5 may be provided separately from the mobile pedestal 13.

画像処理部８は、カメラ４により取得された画像に対して、パターンマッチングなどを用いることで、画像内からコンベア２により搬送されている物品Ｏ、または、コンベア２上に形成されたマークＭＫを検出して認識するようになっている。また、画像処理部８は、認識した物品ＯまたはマークＭＫの姿勢も検出する。物品Ｏは、コンベア２上で静止し、マークＭＫは、コンベア２上に固定されている。そのため、コンベア２が稼動していると、カメラ４に対する物品ＯおよびマークＭＫの位置が搬送方向に沿って変化する。 The image processing unit 8 uses pattern matching or the like for the image acquired by the camera 4 to display the article O conveyed from the image by the conveyor 2 or the mark MK formed on the conveyor 2. It is designed to detect and recognize. The image processing unit 8 also detects the posture of the recognized article O or mark MK. The article O is stationary on the conveyor 2, and the mark MK is fixed on the conveyor 2. Therefore, when the conveyor 2 is operating, the positions of the article O and the mark MK with respect to the camera 4 change along the transport direction.

速度算出部９は、画像処理部８により検出された同一の物品Ｏまたは同一のマークＭＫのロボット３に対する位置の変化に基づいて、コンベア２の搬送速度を算出する。速度算出部９は、算出したコンベア２の搬送速度を用いて、コンベア２により搬送される物品Ｏの移動量を算出する。以下では、物品Ｏが検出された場合について説明する。 The speed calculation unit 9 calculates the transfer speed of the conveyor 2 based on the change in the position of the same article O or the same mark MK with respect to the robot 3 detected by the image processing unit 8. The speed calculation unit 9 calculates the amount of movement of the article O conveyed by the conveyor 2 by using the calculated transfer speed of the conveyor 2. Hereinafter, the case where the article O is detected will be described.

具体的には、画像処理部８は、例えば、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に同一視野において３枚の画像が取得されたときに、各画像において画像内に含まれている物品Ｏを認識し、認識された物品Ｏの重心の座標位置を算出するようになっている。 Specifically, as shown in FIG. 3, for example, when three images are acquired in the same field of view at different times t1, t2, t3 with a predetermined time interval Δt, the image processing unit 8 obtains three images. In each image, the article O included in the image is recognized, and the coordinate position of the center of gravity of the recognized article O is calculated.

そして、速度算出部９は、時間軸方向に隣接して取得された画像内の搬送方向に直交する方向の同じ座標近傍に配置されている重心を有する物品Ｏを同一物品Ｏであると認識し、各物品Ｏの重心の搬送方向の座標値の差分を撮影の時間間隔Δｔで除算することにより搬送速度を算出するようになっている。同一物品Ｏについて搬送速度が複数回算出されたときにはその平均値あるいは最小自乗法等によってフィッティングされた値を搬送速度として出力するようになっている。 Then, the velocity calculation unit 9 recognizes that the article O having the center of gravity arranged in the vicinity of the same coordinates in the direction orthogonal to the transport direction in the acquired image adjacent to the time axis direction is the same article O. , The transport speed is calculated by dividing the difference between the coordinate values of the center of gravity of each article O in the transport direction by the shooting time interval Δt. When the transport speed is calculated a plurality of times for the same article O, the average value or the value fitted by the least squares method or the like is output as the transport speed.

一方、本実施形態では、制御部５は所定時間間隔Δｔよりも長い時間間隔Δｔ_ｓで、作業を行わせる時のロボット３の制御用に、各物品Ｏの位置および姿勢を検出する。例えば、Δｔが数ｍｓである場合に、その数十又は数百倍の数十又は数百ｍｓの時間間隔Δｔ_ｓで位置および姿勢を検出する。これにより、一般的にデータ処理に時間がかかる物品Ｏの位置および姿勢の検出の回数を低減して処理負荷を低減することができるため、搬送速度および移動量の算出を安定して行うことが可能となる。 On the other hand, in the present embodiment, the control unit 5 a long time interval Delta] t _s than the predetermined time interval Delta] t, for control of the robot 3 when to perform the task, to detect the position and orientation of each article O. For example, when Δt is several ms, the position and orientation are detected at a time interval Δts of several tens or hundreds of times the time interval Δt _s. As a result, the number of times of detecting the position and posture of the article O, which generally takes time for data processing, can be reduced to reduce the processing load, so that the transport speed and the movement amount can be calculated stably. It will be possible.

また、画像処理部８は、画像内に物品Ｏが１つも検出されなくなったか否かを判定するようになっている。画像処理部８は、物品Ｏを検出しなくなった場合に、タイマー１１に計時を開始させる。タイマー１１による計時が開始された後に、画像処理部８は、画像内に物品Ｏを再度検出した場合には、タイマー１１による計時をリセットさせるようになっている。 In addition, the image processing unit 8 is designed to determine whether or not any article O is detected in the image. The image processing unit 8 causes the timer 11 to start timing when the article O is no longer detected. After the time counting by the timer 11 is started, the image processing unit 8 resets the time counting by the timer 11 when the article O is detected again in the image.

報知部１２は、タイマー１１の計時開始から所定時間が経過した場合に、物品Ｏを検出できないことを外部に報知するようになっている。このような場合に、本実施形態では、報知部１２は、コンベア２による物品Ｏの搬送が停止されていること、コンベア２のベルト６が停止していること、およびベルト６の搬送速度Ｖが一時的に取得されないことのいずれかを報知するようになっている。報知部１２は、このような報知を、モニタ、ランプ、ブザー等任意の手段を用いて行う。報知部１２は、同様の報知を、駆動制御部１０に制御信号として送信する。 The notification unit 12 notifies the outside that the article O cannot be detected when a predetermined time has elapsed from the start of the timer 11. In such a case, in the present embodiment, the notification unit 12 determines that the transport of the article O by the conveyor 2 is stopped, that the belt 6 of the conveyor 2 is stopped, and that the transport speed V of the belt 6 is stopped. It is designed to notify one of the things that is not acquired temporarily. The notification unit 12 performs such notification using an arbitrary means such as a monitor, a lamp, and a buzzer. The notification unit 12 transmits the same notification to the drive control unit 10 as a control signal.

駆動制御部１０は、予め教示された動作プログラムに従って、ロボット３の各関節軸における各モータの角度を制御するようにロボット３に駆動指令を送信して、ロボット３を駆動させるようになっている。駆動制御部１０は、各エンコーダによって検出される各モータの回転角度を用いて、各モータに対してフィードバック制御を行っている。駆動制御部１０は、速度算出部９により算出された搬送速度Ｖに基づいて、コンベア２上の物品Ｏを追従するトラッキングを実施する。駆動制御部１０は、ロボット３に行わせる作業に応じた動作プログラムと、作業対象である物品Ｏのモデルとを読み込み、ロボット３のトラッキング座標系等の位置設定を行う。駆動制御部１０が、ロボット３およびロボットハンド７の動作を制御することで、ロボットハンド７が、コンベア２により搬送される物品Ｏに対して各種作業を行う。 The drive control unit 10 sends a drive command to the robot 3 to control the angle of each motor on each joint axis of the robot 3 according to an operation program taught in advance, and drives the robot 3. .. The drive control unit 10 performs feedback control for each motor by using the rotation angle of each motor detected by each encoder. The drive control unit 10 performs tracking that follows the article O on the conveyor 2 based on the transfer speed V calculated by the speed calculation unit 9. The drive control unit 10 reads the operation program according to the work to be performed by the robot 3 and the model of the article O to be worked, and sets the position of the tracking coordinate system of the robot 3. The drive control unit 10 controls the operations of the robot 3 and the robot hand 7, so that the robot hand 7 performs various operations on the article O conveyed by the conveyor 2.

本実施形態では、駆動制御部１０は、報知部１２からの報知を受信すると、二通りの制御を行うようになっている。このような１つの制御としては、ロボット３が物品Ｏに対して行う作業を中止する制御である。もう一つの制御としては、報知部１２から報知される前に速度算出部９により算出されたコンベア２の搬送速度Ｖを用いて、ロボット３の作業を続行させる制御である。 In the present embodiment, when the drive control unit 10 receives the notification from the notification unit 12, the drive control unit 10 performs two types of control. One such control is a control for stopping the work performed by the robot 3 on the article O. Another control is a control in which the work of the robot 3 is continued by using the transfer speed V of the conveyor 2 calculated by the speed calculation unit 9 before being notified by the notification unit 12.

駆動制御部１０は、画像処理部８により検出されたコンベア２上での物品Ｏの位置と、速度算出部９により算出されたコンベア２の搬送速度Ｖおよび搬送される物品Ｏの移動量とを用いて、搬送される物品Ｏにロボットハンド７を追従させながら作業を行わせる。具体的には、駆動制御部１０は、搬送される物品Ｏとロボットハンド７との相対速度をできるだけ小さくして、ロボットハンド７に作業を行わせる。これにより、ロボットハンド７が物品Ｏに接触する際の衝撃を低減でき、物品Ｏの破損防止のために有効である。 The drive control unit 10 determines the position of the article O on the conveyor 2 detected by the image processing unit 8, the transfer speed V of the conveyor 2 calculated by the speed calculation unit 9, and the movement amount of the article O to be conveyed. The article O to be conveyed is made to follow the robot hand 7 while performing the work. Specifically, the drive control unit 10 causes the robot hand 7 to perform the work by reducing the relative speed between the conveyed article O and the robot hand 7 as much as possible. As a result, the impact when the robot hand 7 comes into contact with the article O can be reduced, which is effective for preventing damage to the article O.

以下では、コンベア２により搬送される物品Ｏに対してロボット３が作業を行うまでの作業実施方法の一例について、図４に示すフローチャートに沿って説明する。
初めに、コンベア２の近傍に、ロボット３およびカメラ４が固定された移動架台１３が配置、固定される（ステップＳ１１）。駆動制御部１０は、ロボット３に行わせる作業に応じた動作プログラムと、作業対象である物品Ｏのモデルとを読み込み、ロボット３のトラッキング座標系等の位置設定を行う。カメラ４は、予め設定されたフレームレートで、搬送される物品Ｏを含むコンベア２上を撮影して、視覚情報としての画像を取得する（ステップＳ１２）。画像処理部８は、カメラ４により取得された複数の画像から物品Ｏを検出する（ステップＳ１３）。速度算出部９は、図３に示すように、検出された物品Ｏの重心を用いて、コンベア２の搬送速度Ｖを算出する（ステップＳ１４）。駆動制御部１０は、搬送速度Ｖを用いて、コンベア２上における物品Ｏの現在の位置および姿勢を算出する。駆動制御部１０は、算出した物品Ｏの現在の位置および姿勢に基づき、ロボット３を駆動させて、コンベア２上の物品Ｏに対してロボット３による作業が行われる（ステップＳ１５）。そして、コンベア２により搬送される物品Ｏに対する作業実施方法が終了する。 In the following, an example of a work execution method until the robot 3 performs work on the article O conveyed by the conveyor 2 will be described with reference to the flowchart shown in FIG.
First, a mobile pedestal 13 to which the robot 3 and the camera 4 are fixed is arranged and fixed in the vicinity of the conveyor 2 (step S11). The drive control unit 10 reads the operation program according to the work to be performed by the robot 3 and the model of the article O to be worked, and sets the position of the tracking coordinate system of the robot 3. The camera 4 takes a picture on the conveyor 2 including the article O to be conveyed at a preset frame rate, and acquires an image as visual information (step S12). The image processing unit 8 detects the article O from the plurality of images acquired by the camera 4 (step S13). As shown in FIG. 3, the speed calculation unit 9 calculates the transfer speed V of the conveyor 2 using the detected center of gravity of the article O (step S14). The drive control unit 10 calculates the current position and orientation of the article O on the conveyor 2 by using the transfer speed V. The drive control unit 10 drives the robot 3 based on the calculated current position and posture of the article O, and the robot 3 performs work on the article O on the conveyor 2 (step S15). Then, the work execution method for the article O conveyed by the conveyor 2 is completed.

このように構成された本実施形態に係るロボットシステム１の作用について以下に説明する。
本実施形態に係るロボットシステム１によれば、コンベア２によって物品Ｏが搬送されてくると、カメラ４によって物品Ｏが撮影される。撮影により取得された画像が画像処理部８により画像処理されることで、画像内から物品Ｏが検出される。物品Ｏの検出結果に基づいて、コンベア２の搬送速度Ｖが算出される。算出された搬送速度Ｖを用いながら、コンベア２により搬送される物品Ｏに対してロボット３による作業が行われる。 The operation of the robot system 1 according to the present embodiment configured in this way will be described below.
According to the robot system 1 according to the present embodiment, when the article O is conveyed by the conveyor 2, the article O is photographed by the camera 4. The image obtained by shooting is image-processed by the image processing unit 8, so that the article O is detected in the image. The transfer speed V of the conveyor 2 is calculated based on the detection result of the article O. While using the calculated transfer speed V, the robot 3 performs the work on the article O conveyed by the conveyor 2.

ロボット３およびカメラ４は、移動架台１３に固定されているため、コンベア２を含む生産ラインにおいて生産される物品Ｏの数の増減に応じて、移動可能である。そのため、コンベア２に固定されるロボットと比較すると、生産ラインに対する過剰な設備とならない利点がある。さらに、本実施形態のロボットシステム１では、ロボット３に対しての位置が固定されたカメラ４により取得された画像に基づいて、コンベア２の搬送速度Ｖが算出される。これにより、コンベア２の搬送速度Ｖを算出するためのエンコーダ等が不要であり、コンベア２を含む生産ラインにおける過剰設備をさらに抑制できる利点がある。 Since the robot 3 and the camera 4 are fixed to the mobile stand 13, they can be moved according to an increase or decrease in the number of articles O produced on the production line including the conveyor 2. Therefore, as compared with the robot fixed to the conveyor 2, there is an advantage that the equipment does not become excessive for the production line. Further, in the robot system 1 of the present embodiment, the transfer speed V of the conveyor 2 is calculated based on the image acquired by the camera 4 whose position with respect to the robot 3 is fixed. As a result, an encoder or the like for calculating the transfer speed V of the conveyor 2 is not required, and there is an advantage that excess equipment in the production line including the conveyor 2 can be further suppressed.

そして、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３に基づいて、速度算出部９によりコンベア２による搬送速度Ｖが算出され、駆動制御部１０に入力される。カメラ４とロボット３とは所定の距離だけ離れて配置されているので、コンベア２が等速で移動しているとすると当該距離を搬送速度Ｖで除算した時間後に物品Ｏがロボット３の動作範囲内に移動する。 Then, as shown in FIG. 3, based on the coordinate positions d1, d2, d3 of the center of gravity of the same article O calculated from the images acquired at different times t1, t2, t3 with a predetermined time interval Δt. The speed calculation unit 9 calculates the transfer speed V by the conveyor 2 and inputs it to the drive control unit 10. Since the camera 4 and the robot 3 are arranged apart by a predetermined distance, assuming that the conveyor 2 is moving at a constant speed, the article O moves within the operating range of the robot 3 after the time obtained by dividing the distance by the transport speed V. Move in.

駆動制御部１０は、前述のように、物品Ｏが画像内に存在するいずれかの時点（時間間隔Δｔ_ｓ）で物品Ｏのトラッキング座標系ＴＦに対する位置および姿勢を認識し、その時点から現在時刻までの物品Ｏの移動量を算出する。そして、その移動量を成分とする座標変換行列をトラッキング座標系ＴＦに乗算することにより、現在のトラッキング座標系ＴＦ′を算出する。
ＴＦ′＝Ｔ・ＴＦ
そして、駆動制御部１０は、算出された現在のトラッキング座標系ＴＦ′を基準とすることで、コンベア２によって搬送されている物品Ｏをロボットハンド７で追従しながら、物品Ｏを把持してコンベア２から取り上げることができる。 The drive control unit 10, as described above, recognizes the position and orientation relative to the tracking coordinate system TF articles O at either the article O are present in the image point (time interval Delta] t _s), the current from that point time The amount of movement of the article O up to is calculated. Then, the current tracking coordinate system TF'is calculated by multiplying the tracking coordinate system TF by the coordinate transformation matrix whose component is the movement amount.
TF'= T ・ TF
Then, the drive control unit 10 grips the article O while following the article O conveyed by the conveyor 2 with the robot hand 7 by using the calculated current tracking coordinate system TF'as a reference. It can be taken up from 2.

この場合において、ロボット３がロボットハンド７をコンベア２上の物品Ｏに追従させるように駆動されているときには、カメラ４が後続の物品Ｏを撮影し、速度算出部９により新たな搬送速度Ｖが算出されているので、駆動制御部１０は新たに算出された搬送速度Ｖを用いてロボット３を制御することができ、コンベア２による搬送速度Ｖが変動しても物品Ｏを正しく取り上げることができる。 In this case, when the robot 3 is driven so as to make the robot hand 7 follow the article O on the conveyor 2, the camera 4 takes a picture of the following article O, and the speed calculation unit 9 sets a new transfer speed V. Since it is calculated, the drive control unit 10 can control the robot 3 using the newly calculated transfer speed V, and can correctly pick up the article O even if the transfer speed V by the conveyor 2 fluctuates. ..

図５は、第２実施形態に係るロボットシステム（作業システム）１ａを示す全体構成図である。第２実施形態のロボットシステム１ａでは、第１実施形態のロボットシステム１におけるカメラ４の代わりに、カメラ４ａとカメラ４ｂとを備える点が異なる。ロボットシステム１ａは、その他の点では第１実施形態のロボットシステム１と同じ構成を有するため、第２実施形態ではカメラ４ａ，４ｂについて説明し、同じ構成についての説明を省略する。 FIG. 5 is an overall configuration diagram showing a robot system (working system) 1a according to the second embodiment. The robot system 1a of the second embodiment is different in that the camera 4a and the camera 4b are provided instead of the camera 4 in the robot system 1 of the first embodiment. Since the robot system 1a has the same configuration as the robot system 1 of the first embodiment in other respects, the cameras 4a and 4b will be described in the second embodiment, and the description of the same configuration will be omitted.

第１実施形態のカメラ４が行っていたことを、第２実施形態では、カメラ４ａ，４ｂが行っている。具体的には、カメラ４ａにより取得された画像に基づいて、コンベア２の搬送速度Ｖが算出され、カメラ４ｂにより取得された画像に基づいて、コンベア２により搬送される物品Ｏの位置および姿勢が算出される。このように、カメラ４ａの画像とカメラ４ｂの画像とに対して行われる画像処理が異なることで、カメラ４ａ，４ｂのフレームレートや解像度の設計の自由度が向上する。 In the second embodiment, the cameras 4a and 4b are doing what the camera 4 of the first embodiment was doing. Specifically, the transport speed V of the conveyor 2 is calculated based on the image acquired by the camera 4a, and the position and orientation of the article O conveyed by the conveyor 2 are determined based on the image acquired by the camera 4b. It is calculated. As described above, the image processing performed on the image of the camera 4a and the image of the camera 4b is different, so that the degree of freedom in designing the frame rate and the resolution of the cameras 4a and 4b is improved.

図６は、第３実施形態に係るロボットシステム（作業システム）１ｂを示す全体構成図である。第３実施形態のロボットシステム１ｂでは、第１実施形態のロボットシステム１におけるカメラ４の代わりに、カメラ４の撮影範囲と異なる範囲を撮影するカメラ４ｃを備える点が異なる。ロボットシステム１ｂは、その他の点では第１実施形態のロボットシステム１と同じ構成を有するため、第３実施形態ではカメラ４ｃについて説明し、同じ構成についての説明を省略する。 FIG. 6 is an overall configuration diagram showing a robot system (working system) 1b according to the third embodiment. The robot system 1b of the third embodiment is different in that the robot system 1b of the first embodiment is provided with a camera 4c that captures a range different from the shooting range of the camera 4 instead of the camera 4. Since the robot system 1b has the same configuration as the robot system 1 of the first embodiment in other respects, the camera 4c will be described in the third embodiment, and the description of the same configuration will be omitted.

第３実施形態のカメラ４ｃの撮影範囲（画角）は、ロボット３の作業範囲を含んでいる。カメラ４ｃにより取得された画像に基づいて、物品Ｏの位置および姿勢が逐次算出される。
カメラ４ｃは二次元カメラでも三次元カメラでもよい。二次元カメラの場合、カメラ４ｃにより取得された複数の画像中の物品Ｏを用いて、第１実施形態と同様にトラッキング座標系の設定および各物品Ｏの位置および姿勢の検出等が行われる。なお、第１実施形態と同様にコンベア２の搬送速度の算出および物品Ｏの移動量の算出も行われるように、当該ロボットシステムを構成してもよい。 The shooting range (angle of view) of the camera 4c of the third embodiment includes the working range of the robot 3. The position and orientation of the article O are sequentially calculated based on the image acquired by the camera 4c.
The camera 4c may be a two-dimensional camera or a three-dimensional camera. In the case of the two-dimensional camera, the tracking coordinate system is set and the position and orientation of each article O are detected by using the articles O in the plurality of images acquired by the camera 4c as in the first embodiment. The robot system may be configured so that the transfer speed of the conveyor 2 and the movement amount of the article O are calculated as in the first embodiment.

三次元カメラを用いる場合、カメラ４ｃに対する物品Ｏの位置および姿勢(傾き)をリアルタイムで三次元的に取得することができるため、物品が傾いていてもロボット３はカメラ４ｃの検出結果に基づき物品Ｏに対する作業を行うことができる。 When a three-dimensional camera is used, the position and posture (tilt) of the article O with respect to the camera 4c can be acquired three-dimensionally in real time, so that the robot 3 can acquire the article based on the detection result of the camera 4c even if the article is tilted. Work on O can be performed.

このように、カメラ４ｃの撮影範囲とロボット３の作業範囲とが重複することでロボット３は検出された位置および姿勢を使って直接物品Ｏを取り上げることができるため、カメラ４ｃの撮影範囲とロボット３の作業範囲とが異なる場合と比較して、算出される物品Ｏの位置および姿勢の精度が高くなると共に、ロボット３が物品Ｏを取り上げるまでに物品の位置が多少変化してもロボット３は物品Ｏを取り上げることができる。なお、図６のようにカメラ４ｃの方向（光軸）を水平面（コンベヤ２の上面）に対し傾けると、ロボット３によりカメラ４ｃの視野が邪魔されることが少なくなるので、物品Ｏの位置、姿勢の検出精度を向上する上で有利である。このように、ロボット３の作業範囲と、カメラ４ｃの撮影範囲との関係については、種々変形可能である。 In this way, by overlapping the shooting range of the camera 4c and the working range of the robot 3, the robot 3 can directly pick up the article O using the detected position and posture. Therefore, the shooting range of the camera 4c and the robot Compared with the case where the work range of the article 3 is different, the accuracy of the calculated position and posture of the article O is higher, and the robot 3 has a slight change in the position of the article before the robot 3 picks up the article O. Article O can be picked up. When the direction (optical axis) of the camera 4c is tilted with respect to the horizontal plane (upper surface of the conveyor 2) as shown in FIG. 6, the position of the article O is less likely to be obstructed by the robot 3 in the field of view of the camera 4c. This is advantageous in improving the accuracy of posture detection. As described above, the relationship between the working range of the robot 3 and the shooting range of the camera 4c can be variously modified.

なお、上記実施形態では、ロボットシステム１の一例について説明したが、ロボットシステム１および生産ラインに配置、固定される移動可能なロボットについては、種々変形可能である。例えば、コンベア２を含むロボットシステム１ではなく、移動可能な移動架台１３と、移動架台１３に固定されると共にコンベア２により搬送される物品Ｏに対して作業を行うロボット３と、移動架台１３に固定されると共に物品Ｏを撮影するカメラ４とを備えるロボットであってもよい。 In the above embodiment, an example of the robot system 1 has been described, but the robot system 1 and the movable robot arranged and fixed on the production line can be variously deformed. For example, instead of the robot system 1 including the conveyor 2, the movable pedestal 13 and the robot 3 fixed to the moving pedestal 13 and performing work on the article O conveyed by the conveyor 2 and the moving pedestal 13 The robot may be fixed and include a camera 4 for photographing the article O.

移動架台１３は、無人搬送車（Automated Guided Vehicle）であってもよい。この場合に、移動架台１３は、複数のコンベア２を有する工場内の所定の経路を移動する光学誘導式や電磁誘導式などの無人搬送車であってもよい。移動架台１３が所定の経路を移動することで、過剰な設備となるロボットの配置が抑制される。 The mobile mount 13 may be an automated guided vehicle. In this case, the mobile pedestal 13 may be an automatic guided vehicle such as an optical induction type or an electromagnetic induction type that moves on a predetermined path in a factory having a plurality of conveyors 2. By moving the mobile pedestal 13 along a predetermined route, the arrangement of robots, which is an excessive amount of equipment, is suppressed.

他の実施形態のロボットシステムでは、上記実施形態のような制御部５を内蔵する複数のロボット３が１つのコンベア２に配置、固定され、これら複数のロボット３を制御するセル制御装置が設けられてもよい。このセル制御装置は、複数の制御部５の上位の制御装置であり、複数の移動架台１３のそれぞれに固定された複数のロボット３およびカメラ４を制御する。この場合に、複数のロボット３が有するカメラ４の内の１つのカメラ４がコンベア２により搬送される物品ＯまたはマークＭＫの画像を取得すると、セル制御装置は、取得された画像を用いてコンベア２の搬送速度Ｖや物品Ｏの位置および姿勢を算出する。セル制御装置は、制御下にある複数のロボット３に対して、算出したコンベア２の搬送速度Ｖや物品Ｏの位置および姿勢を共有してもよい。 In the robot system of another embodiment, a plurality of robots 3 incorporating a control unit 5 as in the above embodiment are arranged and fixed on one conveyor 2, and a cell control device for controlling the plurality of robots 3 is provided. You may. This cell control device is a higher-level control device of the plurality of control units 5, and controls a plurality of robots 3 and cameras 4 fixed to each of the plurality of mobile pedestals 13. In this case, when one camera 4 among the cameras 4 possessed by the plurality of robots 3 acquires an image of the article O or the mark MK conveyed by the conveyor 2, the cell control device uses the acquired image to conveyor the conveyor. The transport speed V of 2 and the position and orientation of the article O are calculated. The cell control device may share the calculated transfer speed V of the conveyor 2 and the position and orientation of the article O with the plurality of robots 3 under control.

駆動制御部１０は、作業対象である物品Ｏとは異なる別物品がコンベア２により搬送されてきたときに、ロボット３を作業範囲外に移動させてもよい。例えば、カメラ４により取得された画像から画像処理部８が別物品を検出すると、駆動制御部１０は、ロボットハンド７を作業範囲外へと移動させる。これにより、ロボット３と別物品との衝突を回避して、コンベア２上における事故を防ぐことができる。 The drive control unit 10 may move the robot 3 out of the work range when another article different from the article O, which is the work target, is conveyed by the conveyor 2. For example, when the image processing unit 8 detects another article from the image acquired by the camera 4, the drive control unit 10 moves the robot hand 7 out of the working range. As a result, it is possible to avoid a collision between the robot 3 and another article and prevent an accident on the conveyor 2.

また、本実施形態においては、画像内に単一の物品Ｏが検出される場合について説明したが、これに代えて、図７に示されるように、複数の物品ａ１，ａ２，ａ３が同時にカメラ４の視野内に配置される場合にも適用することができる。
すなわち、画像内に複数の物品ａ１，ａ２，ａ３が認識された場合には、各物品ａ１，ａ２，ａ３について、異なる時刻に取得された画像内の物品ａ１，ａ２，ａ３との同一性を識別し、識別された同一物品ａ１，ａ２，ａ３間での移動距離に基づいてそれぞれ算出した速度Ｖ１，Ｖ２，Ｖ３を平均することにより搬送速度Ｖを算出することにしてもよい。この場合、同一物品ａ１，ａ２，ａ３間での移動距離は、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品ａ１，ａ２，ａ３の重心の座標位置ｄ１１，ｄ１２，ｄ１３，ｄ２２，ｄ２３，ｄ２４，ｄ３３，ｄ３４の差分により求められる。 Further, in the present embodiment, the case where a single article O is detected in the image has been described, but instead, as shown in FIG. 7, a plurality of articles a1, a2, and a3 are simultaneously camerad. It can also be applied when it is arranged in the field of view of 4.
That is, when a plurality of articles a1, a2, a3 are recognized in the image, each article a1, a2, a3 is identified with the articles a1, a2, a3 in the images acquired at different times. The transport speed V may be calculated by averaging the speeds V1, V2, and V3 that have been identified and calculated based on the distance traveled between the identified articles a1, a2, and a3, respectively. In this case, the moving distance between the same articles a1, a2, a3 is the center of gravity of the same articles a1, a2, a3 calculated from images acquired at different times t1, t2, t3 with a predetermined time interval Δt. It is obtained by the difference between the coordinate positions d11, d12, d13, d22, d23, d24, d33, and d34.

上記実施形態のロボットシステム１では、コンベア２により搬送される物品Ｏの位置によってコンベア２の搬送速度Ｖが算出されたが、コンベア２に形成されたマークＭＫがカメラ４により撮影されることによって、コンベア２の搬送速度Ｖが算出されてもよい。マークＭＫとしては、矩形形状、円形状などの複数の形状が合わさったマークでもよい。マークＭＫが配置される位置は、カメラ３が移動可能な移動架台１３に固定されているため、搬送方向および搬送方向に直交する方向に沿って、所定の間隔を空けて配置されてもよいし、ランダムに配置されてもよい。 In the robot system 1 of the above embodiment, the transfer speed V of the conveyor 2 is calculated based on the position of the article O conveyed by the conveyor 2, but the mark MK formed on the conveyor 2 is photographed by the camera 4. The transfer speed V of the conveyor 2 may be calculated. The mark MK may be a mark in which a plurality of shapes such as a rectangular shape and a circular shape are combined. Since the position where the mark MK is arranged is fixed to the movable pedestal 13 on which the camera 3 can move, it may be arranged at a predetermined interval along the transport direction and the direction orthogonal to the transport direction. , May be randomly placed.

上記実施形態では、移動架台１３に固定されたロボット３が垂直多関節型ロボットのロボットであったが、コンベア２により搬送される物品Ｏに対して作業を行うロボットについては、種々変形可能である。例えば、ロボット３は、平置き型あるいは天吊り型等であってもよく、トレーと、トレーに物品Ｏを載置する機構とを有する簡易な作業装置であってもよく、任意の作業装置（作業部）が採用されればよい。 In the above embodiment, the robot 3 fixed to the mobile gantry 13 is a robot of a vertical articulated robot, but the robot that works on the article O conveyed by the conveyor 2 can be variously deformed. .. For example, the robot 3 may be a flat-standing type, a ceiling-mounted type, or the like, or may be a simple working device having a tray and a mechanism for placing the article O on the tray, and may be an arbitrary working device ( The working unit) may be adopted.

上記実施形態では、物品Ｏに対してロボットハンド７が行う作業として、コンベア２から取り上げる作業を例に挙げたが、作業については種々変形可能である。例えば、ロボットハンド７は、コンベア２上における物品Ｏを動かさずに、何らかの部品を溶接する作業を行ってもよい。 In the above embodiment, as the work performed by the robot hand 7 on the article O, the work taken up from the conveyor 2 is taken as an example, but the work can be variously modified. For example, the robot hand 7 may perform the work of welding some parts without moving the article O on the conveyor 2.

１，１ａ，１ｂロボットシステム（作業システム）
２コンベア（搬送装置）
３ロボット（作業部）
４，４ａ，４ｂ，４ｃカメラ（視覚センサ）
８画像処理部（検出部）
９速度算出部（算出部）
１０駆動制御部
１２報知部
１３移動架台
ａ１，ａ２，ａ３，Ｏ物品
ＭＫマーク
Ｖ搬送速度
Ｓ１１配置ステップ
Ｓ１２視覚情報取得ステップ
Ｓ１３検出ステップ
Ｓ１４算出ステップ
Ｓ１５作業ステップ 1,1a, 1b Robot system (working system)
2 Conveyor (conveyor)
3 Robot (working unit)
4,4a, 4b, 4c cameras (visual sensors)
8 Image processing unit (detection unit)
9 Speed calculation unit (calculation unit)
10 Drive control unit 12 Notification unit 13 Mobile stand a1, a2, a3, O Article MK mark V Transport speed S11 Placement step S12 Visual information acquisition step S13 Detection step S14 Calculation step S15 Work step

Claims

A transport device that transports goods and
A mobile mount that can be moved by wheels,
A work unit fixed to the moving pedestal and performing work on the article transported by the transport device, and a work unit.
A visual sensor fixed to the moving pedestal so that the angle of view includes the working range of the working portion, and is fixed to the moving pedestal when the moving pedestal is arranged in the vicinity of the transport device by the wheels. together used to set the coordinate system of the working portion which is a visual sensor for sequentially acquiring visual information of the articles conveyed by the conveying device when the operation by the working unit,
A detection unit that processes the visual information acquired by the visual sensor to sequentially detect at least the position of the article within the angle of view.
A work system including a drive control unit that drives the work unit by using at least the position of the article that is sequentially detected by the detection unit.