JP6401286B2 - Image acquisition apparatus and robot apparatus - Google Patents

Image acquisition apparatus and robot apparatus Download PDF

Info

Publication number
JP6401286B2
JP6401286B2 JP2016552754A JP2016552754A JP6401286B2 JP 6401286 B2 JP6401286 B2 JP 6401286B2 JP 2016552754 A JP2016552754 A JP 2016552754A JP 2016552754 A JP2016552754 A JP 2016552754A JP 6401286 B2 JP6401286 B2 JP 6401286B2
Authority
JP
Japan
Prior art keywords
image
robot
tip
liquid lens
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016552754A
Other languages
Japanese (ja)
Other versions
JPWO2016056087A1 (en
Inventor
政利 藤田
政利 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to PCT/JP2014/076970 priority Critical patent/WO2016056087A1/en
Publication of JPWO2016056087A1 publication Critical patent/JPWO2016056087A1/en
Application granted granted Critical
Publication of JP6401286B2 publication Critical patent/JP6401286B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles

Description

本発明は、対象物の画像を取得する画像取得装置および先端部を移動可能なロボットを用いて対象物に対して所定の作業を行うロボット装置に関する。   The present invention relates to an image acquisition apparatus that acquires an image of an object and a robot apparatus that performs a predetermined operation on the object using a robot that can move a tip portion.

従来、レンズとファイバ束とを備えるファイバスコープが知られている(例えば、特許文献1参照)。特許文献1記載のファイバスコープは、レンズとして流体レンズを備え、流体レンズを調節して焦点距離を調整することで、オブジェクトに対して焦点が合うようにする。また、ファイバスコープで得られたオブジェクトの像は、CCDカメラによって撮像される。
特表2013−545558号公報
Conventionally, a fiber scope including a lens and a fiber bundle is known (see, for example, Patent Document 1). The fiberscope described in Patent Document 1 includes a fluid lens as a lens, and adjusts the focal length by adjusting the fluid lens so that the object is focused. An object image obtained by the fiberscope is picked up by a CCD camera.
Special table 2013-545558 gazette

しかしながら、特許文献1には、ファイバスコープを外科手術中に器官を通り抜けるときに用いて内視鏡像を得ることについては記載されているものの、ロボットを用いて対象物に対して所定の作業を行う際に対象物の画像を得ることについては言及されていない。ロボットの先端部に撮像装置を搭載して対象物を撮像する場合、撮像装置によってはロボットの先端部の重みが増し、ロボットが大型化したり、先端部の位置精度が悪化する。   However, although Patent Document 1 describes that an endoscope image is obtained when a fiberscope is passed through an organ during a surgical operation, a predetermined operation is performed on an object using a robot. There is no mention of obtaining an image of the object. When an imaging device is mounted on the tip of a robot to capture an object, the weight of the tip of the robot increases depending on the imaging device, and the robot becomes larger or the position accuracy of the tip deteriorates.

本発明は、ロボットに搭載する画像取得装置の小型化または軽量化を図ることを主目的とする。   The main object of the present invention is to reduce the size or weight of an image acquisition device mounted on a robot.

本発明は、上述の主目的を達成するために以下の手段を採った。   The present invention adopts the following means in order to achieve the main object described above.

本発明の画像取得装置は、
対象物の画像を取得する画像取得装置であって、
先端部を移動可能なロボットと、
前記ロボットの先端部に設けられたレンズと、
前記ロボットの先端部とは異なる位置に設けられた撮像素子と、
前記レンズに一端を配置すると共に前記撮像素子に他端を配置し、前記一端から入射した画像を前記他端へ送るイメージファイバと、
を備えることを要旨とする。
The image acquisition device of the present invention is
An image acquisition device for acquiring an image of an object,
A robot that can move the tip,
A lens provided at the tip of the robot;
An image sensor provided at a position different from the tip of the robot;
An image fiber that arranges one end of the lens and the other end of the imaging device, and sends an image incident from the one end to the other end;
It is a summary to provide.

この本発明の画像取得装置は、レンズを、ロボットの先端部に設け、撮像素子を、ロボットの先端部とは異なる位置に設け、イメージファイバの一端をレンズに配置すると共にイメージファイバの他端を撮像素子に配置する。これにより、撮像素子をロボットの先端部に設ける必要がなく、ロボットの先端部の小型化や軽量化を図ることができる。この結果、こうしたロボットの先端部を用いて作業を行うことで、ロボットによる作業精度を向上させることができる。   In the image acquisition device of the present invention, the lens is provided at the tip of the robot, the imaging device is provided at a position different from the tip of the robot, one end of the image fiber is disposed on the lens, and the other end of the image fiber is provided. Arranged on the image sensor. Thereby, it is not necessary to provide an image sensor at the tip of the robot, and the tip of the robot can be reduced in size and weight. As a result, work accuracy by the robot can be improved by performing work using the tip of the robot.

こうした本発明の画像取得装置において、前記レンズは、電圧を印加することにより焦点距離を調整可能な液体レンズであり、前記イメージファイバに併設され、前記液体レンズに電圧を印加するための電源線を備えるものとすることもできる。こうすれば、ロボットの先端部の小型化や軽量化を図りつつ、対象物との焦点距離を調整することができる。   In such an image acquisition device of the present invention, the lens is a liquid lens capable of adjusting a focal length by applying a voltage, and is provided with the image fiber, and a power line for applying a voltage to the liquid lens is provided. It can also be provided. In this way, it is possible to adjust the focal length with the object while reducing the size and weight of the tip of the robot.

この態様の本発明の画像取得装置において、前記対象物の位置情報を予め取得する対象物位置情報取得手段と、前記ロボットの先端部の位置を検知する先端部位置検知手段と、前記取得された対象物の位置情報と前記検知された先端部の位置とに基づいて焦点距離が調整されるよう前記液体レンズに印加する電圧を制御する焦点距離調整手段と、を備えるものとすることもできる。   In this aspect of the image acquisition device of the present invention, the object position information acquisition means for acquiring the position information of the object in advance, the tip position detection means for detecting the position of the tip of the robot, and the acquired A focal length adjusting unit that controls a voltage applied to the liquid lens so that a focal length is adjusted based on the position information of the object and the detected position of the tip portion may be provided.

また、本発明の画像取得装置において、前記イメージファイバに併設されたライトガイドと、前記ライトガイドに光を照射可能な光源と、を備えるものとすることもできる。こうすれば、ロボットの先端部の小型化や軽量化を図りつつ対象物の撮像に必要な光を照射することができる。   In the image acquisition device of the present invention, a light guide provided alongside the image fiber and a light source capable of irradiating light to the light guide may be provided. If it carries out like this, the light required for the imaging of a target object can be irradiated, aiming at size reduction and weight reduction of the front-end | tip part of a robot.

また、本発明の画像取得装置において、前記ロボットは、多関節のアームを備え、前記液体レンズは、前記アームの先端部に設けられ、前記撮像素子は、前記アームの先端部とは異なる位置に設けられ、前記イメージファイバは、前記アームに沿って配置されているものとすることもできる。多関節のアームは先端部の作業精度が高く求められるため、先端部の小型化や軽量化を図る意義がより大きい。なお、「アームの先端部とは異なる位置」は、アームの基端部を例示することができる。   In the image acquisition device of the present invention, the robot includes an articulated arm, the liquid lens is provided at a distal end portion of the arm, and the imaging element is located at a position different from the distal end portion of the arm. The image fiber may be provided along the arm. Since the articulated arm is required to have high working accuracy at the tip, it is more meaningful to reduce the size and weight of the tip. The “position different from the distal end portion of the arm” can exemplify the proximal end portion of the arm.

本発明のロボット装置は、
先端部を移動可能なロボットを用いて対象物に対して所定の作業を行うロボット装置であって、
前記ロボットの先端部に設けられたレンズと、前記ロボットの先端部とは異なる位置に設けられた撮像素子と、前記レンズに一端を配置すると共に前記撮像素子に他端を配置し前記一端から入射した画像を前記他端へ送るイメージファイバと、を有する画像取得装置と、
前記所定の作業に先立って、前記画像取得装置の撮像範囲内に前記対象物が含まれるよう前記ロボットを制御し、前記対象物の画像が取得されるよう前記画像取得装置を制御する撮像制御手段と、
前記対象物または前記先端部の目標位置情報を予め取得する位置情報取得手段と、
前記画像取得装置により取得された対象物の画像に基づいて前記取得した目標位置情報を補正し、該補正した目標位置情報に基づいて前記所定の作業が行われるよう前記ロボットを制御する作業制御手段と、
を備えることを要旨とする。
The robot apparatus of the present invention
A robot apparatus that performs a predetermined operation on an object using a robot capable of moving a tip part,
A lens provided at the tip of the robot, an image sensor provided at a position different from the tip of the robot, and one end disposed on the lens and the other end disposed on the image sensor and incident from the one end An image fiber that sends the processed image to the other end, and
Prior to the predetermined work, an imaging control unit that controls the robot so that the object is included in an imaging range of the image acquisition apparatus and controls the image acquisition apparatus so that an image of the object is acquired. When,
Position information acquisition means for acquiring in advance target position information of the object or the tip;
Work control means for correcting the acquired target position information based on the image of the object acquired by the image acquisition device and controlling the robot so that the predetermined work is performed based on the corrected target position information. When,
It is a summary to provide.

この本発明のロボット装置によれば、上述した発明の画像取得装置を備えるため、ロボットの先端部の小型化や軽量化を図ることができる。また、本発明の画像取得装置によって取得された画像に基づいて対象物またはロボット先端部の目標位置情報を補正し、補正した目標位置情報に基づいて所定の作業が行われるようロボットを制御するから、ロボットの小型化や軽量化による制御性の向上と相まって、作業精度をより高めることができる。   According to the robot apparatus of the present invention, since the image acquisition apparatus of the invention described above is provided, the tip portion of the robot can be reduced in size and weight. Further, the target position information of the object or the robot tip is corrected based on the image acquired by the image acquisition device of the present invention, and the robot is controlled so that a predetermined operation is performed based on the corrected target position information. The work accuracy can be further improved in combination with the improvement in controllability due to the reduction in size and weight of the robot.

本発明の一実施例としてのロボット装置10の構成の概略を示す構成図である。It is a block diagram which shows the outline of a structure of the robot apparatus 10 as one Example of this invention. レンズユニット30とファイバケーブル50の構成の概略を示す構成図である。2 is a configuration diagram showing an outline of the configuration of a lens unit 30 and a fiber cable 50. ロボット装置10の制御装置60のブロック図である。3 is a block diagram of a control device 60 of the robot apparatus 10. FIG. 制御装置60により実行される作業処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of work processing executed by a control device 60. 制御装置60により実行される撮像処理の一例を示すフローチャートである。5 is a flowchart illustrating an example of an imaging process executed by a control device 60. 液体レンズ32を撮像位置へ移動させて焦点距離を調整する様子を示す説明図である。It is explanatory drawing which shows a mode that the liquid lens 32 is moved to an imaging position and a focal distance is adjusted.

次に、本発明を実施するための形態について実施例を用いて説明する。   Next, the form for implementing this invention is demonstrated using an Example.

図1は、本発明の一実施例としてのロボット装置10の構成の概略を示す構成図であり、図2は、レンズユニット30とファイバケーブル50の構成の概略を示す構成図であり、図3は、ロボット装置10の制御装置60の電気的な接続関係を示すブロック図である。   FIG. 1 is a block diagram showing the schematic configuration of a robot apparatus 10 as an embodiment of the present invention, and FIG. 2 is a block diagram showing the schematic configuration of a lens unit 30 and a fiber cable 50. These are block diagrams which show the electrical connection relationship of the control apparatus 60 of the robot apparatus 10. FIG.

実施例のロボット装置10は、図1に示すように、垂直多関節ロボットとして構成されており、床面に設置されるベース11と、第1〜第5リンク20a〜20eと、ベース11および第1〜第5リンク20a〜20eを直列に連結する第1〜第5関節22a〜22eと、第1〜第5関節22a〜22eをそれぞれ駆動する第1〜第5駆動モータ24a〜24e(図3参照)と、装置全体をコントロールする制御装置60(図3参照)とを備える。第1〜第5リンク20a〜20eと第1〜第5関節22a〜22eは、5軸の多関節アームを構成する。本実施例では、第1関節22aと第5関節22eは回転関節であり、第2〜第4関節22b〜22dは旋回関節である。   As shown in FIG. 1, the robot apparatus 10 according to the embodiment is configured as a vertical articulated robot, and includes a base 11 installed on a floor surface, first to fifth links 20 a to 20 e, a base 11, and a first joint. The first to fifth joints 22a to 22e that connect the first to fifth links 20a to 20e in series, and the first to fifth drive motors 24a to 24e that drive the first to fifth joints 22a to 22e, respectively (FIG. 3). And a control device 60 (see FIG. 3) for controlling the entire apparatus. The first to fifth links 20a to 20e and the first to fifth joints 22a to 22e constitute a 5-axis multi-joint arm. In the present embodiment, the first joint 22a and the fifth joint 22e are rotary joints, and the second to fourth joints 22b to 22d are swing joints.

多関節アームの先端部をなす第5リンク20eには、図1に示すように、ワークを把持可能なチャック等のツール12が取り付けられている。また、第5リンク20eには、図1に示すように、光軸が第5リンク20eの軸と略平行となるようにレンズユニット30が取り付けられている。レンズユニット30は、図2に示すように、マウント部31と、対物レンズとしてマウント部31に搭載される液体レンズ32とを備える。なお、液体レンズ32は、円筒内に伝導体の水溶液と不導体の油を充填し、水溶液に電圧を印加することで、液体間の境界面を変化させて焦点距離を調整することができる。   As shown in FIG. 1, a tool 12 such as a chuck capable of gripping a workpiece is attached to the fifth link 20 e that forms the tip of the articulated arm. Further, as shown in FIG. 1, the lens unit 30 is attached to the fifth link 20e so that the optical axis is substantially parallel to the axis of the fifth link 20e. As shown in FIG. 2, the lens unit 30 includes a mount portion 31 and a liquid lens 32 mounted on the mount portion 31 as an objective lens. In addition, the liquid lens 32 can adjust the focal length by changing the boundary surface between the liquids by filling the cylinder with a conductive aqueous solution and a non-conductive oil and applying a voltage to the aqueous solution.

多関節アームの基端部をなす第1リンク20aには、図1に示すように、CCDやCMOS等の撮像素子40が取り付けられている。レンズユニット30と撮像素子40とは、ファイバケーブル50によって連結されている。ファイバケーブル50は、図2に示すように、ライトガイド54の長手方向に形成された連通穴にイメージファイバ52を挿入し、イメージファイバ52の一端にレンズユニット30(液体レンズ32)を接着したものである。また、ファイバケーブル50は、図1に示すように、ライトガイド54の途中でイメージファイバ52が分岐しており、イメージファイバ52の他端には撮像素子40が接眼され、ライトガイド54の他端には光源44が配置されている。また、ライトガイド54の連通穴には、図2に示すように、電源線56がイメージファイバ52に併設されており、液体レンズ駆動回路34(図3参照)から電源線56を介して液体レンズ32に電圧を印加できるようになっている。   As shown in FIG. 1, an image sensor 40 such as a CCD or a CMOS is attached to the first link 20a that forms the base end of the articulated arm. The lens unit 30 and the image sensor 40 are connected by a fiber cable 50. As shown in FIG. 2, the fiber cable 50 is obtained by inserting the image fiber 52 into a communication hole formed in the longitudinal direction of the light guide 54 and bonding the lens unit 30 (liquid lens 32) to one end of the image fiber 52. It is. As shown in FIG. 1, the image fiber 52 is branched in the middle of the light guide 54 in the fiber cable 50, the image sensor 40 is in contact with the other end of the image fiber 52, and the other end of the light guide 54. Is provided with a light source 44. Further, as shown in FIG. 2, a power line 56 is provided in the communication hole of the light guide 54 along with the image fiber 52. The liquid lens is supplied from the liquid lens driving circuit 34 (see FIG. 3) via the power line 56. A voltage can be applied to 32.

制御装置60は、図3に示すように、CPU61を中心としたマイクロプロセッサとして構成されており、CPU61の他に、ROM62と、HDD63と、RAM64と、入出力インタフェース65とを備える。これらは、バス66を介して電気的に接続されている。制御装置60には、第1〜第5駆動モータ24a〜24e(第1〜第5関節22a〜22e)の回転角を検知するエンコーダ28a〜28eからの回転角信号や、ツール12を駆動(チャックを開閉)するツールモータ14の回転角を検知するエンコーダ18からの回転角信号などが入出力インタフェース65を介して入力されている。また、制御装置60からは、第1〜第5駆動モータ24a〜24eをそれぞれ駆動するモータ駆動回路26a〜26eへの制御信号や、ツールモータ14を駆動するモータ駆動回路16への制御信号、液体レンズ駆動回路34への制御信号、撮像素子40を駆動するための撮像素子駆動回路42への制御信号、光源44を発光させるための光源駆動回路46への制御信号などが入出力インタフェース65を介して出力されている。   As shown in FIG. 3, the control device 60 is configured as a microprocessor centered on the CPU 61, and includes a ROM 62, an HDD 63, a RAM 64, and an input / output interface 65 in addition to the CPU 61. These are electrically connected via a bus 66. The controller 60 drives the rotation angle signals from the encoders 28a to 28e that detect the rotation angles of the first to fifth drive motors 24a to 24e (first to fifth joints 22a to 22e) and the tool 12 (chuck). The rotation angle signal from the encoder 18 for detecting the rotation angle of the tool motor 14 that opens and closes the input / output (not shown) is input via the input / output interface 65. Further, the control device 60 supplies control signals to the motor drive circuits 26a to 26e that drive the first to fifth drive motors 24a to 24e, control signals to the motor drive circuit 16 that drives the tool motor 14, and liquid. A control signal to the lens driving circuit 34, a control signal to the image sensor driving circuit 42 for driving the image sensor 40, a control signal to the light source driving circuit 46 for causing the light source 44 to emit light, and the like via the input / output interface 65. Is output.

次に、こうして構成されたロボット装置10の動作について説明する。図4は、制御装置60のCPU61により実行される作業処理の一例を示すフローチャートである。   Next, the operation of the robot apparatus 10 configured as described above will be described. FIG. 4 is a flowchart illustrating an example of work processing executed by the CPU 61 of the control device 60.

作業処理が実行されると、制御装置60のCPU61は、まず、例えばオペレータが予め入力したツール12の目標位置を読み出す(S100)。なお、S100の処理は、ツール12の目標位置に代えて、作業対象物の位置を読み出すものとしてもよい。続いて、CPU61は、液体レンズ32と撮像素子40とを用いて作業対象物を撮像する撮像処理を行い(S110)、撮像によって得られた画像により特定される作業対象物の位置に基づいて目標位置を補正する(S120)。そして、CPU61は、補正した目標位置へツール12が移動するよう第1〜第5駆動モータ24a〜24e(モータ駆動回路26a〜26e)を制御し(S130)、ツール12を駆動させて作業対象物に対して所定の作業が実行されるようツールモータ14を制御して(S140)、作業処理を終了する。なお、ツール12で行う作業としては、ツール12としてチャックを用いるものとし、チャックで部品を把持して所定の位置に組み立てる組立作業を例示することができる。   When the work process is executed, the CPU 61 of the control device 60 first reads out the target position of the tool 12 previously input by the operator, for example (S100). Note that the process of S100 may read the position of the work object instead of the target position of the tool 12. Subsequently, the CPU 61 performs an imaging process of imaging the work object using the liquid lens 32 and the image sensor 40 (S110), and sets the target based on the position of the work object specified by the image obtained by the imaging. The position is corrected (S120). Then, the CPU 61 controls the first to fifth drive motors 24a to 24e (motor drive circuits 26a to 26e) so that the tool 12 moves to the corrected target position (S130), and drives the tool 12 to operate the work object. The tool motor 14 is controlled so that a predetermined work is executed (S140), and the work process is terminated. An example of the work performed by the tool 12 is an assembly work in which a chuck is used as the tool 12 and a part is held by the chuck and assembled at a predetermined position.

前述したように、撮像素子40は、多関節アームの基端部である第1リンク20aに設けられ、多関節アームの先端部である第5リンク20eに設けられた液体レンズ32とファイバケーブル50を介して連結されている。これにより、実施例のロボット装置10は、多関節アームの先端部(第5リンク20e)を小型化および軽量化することができるため、多関節アームを移動させる際に、第5リンク20eに固定されたツール12の振動を抑制することができる。したがって、ツール12を目標位置へ移動させる際の位置精度を高めることができ、作業精度を向上させることができる。   As described above, the image sensor 40 is provided in the first link 20a that is the base end portion of the articulated arm, and the liquid lens 32 and the fiber cable 50 that are provided in the fifth link 20e that is the distal end portion of the articulated arm. It is connected through. Thereby, since the robot apparatus 10 of an Example can make the front-end | tip part (5th link 20e) of an articulated arm small and lightweight, when moving an articulated arm, it fixes to the 5th link 20e. The vibration of the tool 12 can be suppressed. Therefore, it is possible to improve the position accuracy when moving the tool 12 to the target position, and to improve the work accuracy.

次に、S110の撮像処理の詳細について説明する。図5は、制御装置60のCPU61により実行される撮像処理の一例を示すフローチャートである。撮像処理が実行されると、CPU61は、作業処理のS100で読み出したツール12の目標位置に基づいて作業対象物(撮像対象物)の位置を特定し、特定した撮像対象物の位置に基づいて液体レンズ32が撮像位置まで移動するよう第1〜第5駆動モータ24a〜24eを制御する(S200)。なお、本実施例では、ツール12の目標位置から撮像対象物の位置を特定するものとしたが、撮像対象物の位置を直接取得するものとしてもよい。続いて、CPU61は、各エンコーダ28a〜28eからの回転角に基づいて液体レンズ32の現在位置を順運動学によって算出し(S210)、液体レンズ32から作業対象物(撮像対象物)までの焦点距離Xを算出し(S220)、算出した焦点距離Xとなる電圧を液体レンズ32に印加するよう液体レンズ駆動回路34を制御する(S230)。図6は、液体レンズ32を撮像位置へ移動させて焦点距離を調整する様子を示す説明図である。焦点距離の調整は、図示するように、多関節アームによって液体レンズ32が撮像対象物に向き合うように液体レンズ32を移動させた後、液体レンズ32と撮像対象物との距離X(焦点距離)に応じた電圧を液体レンズ32に印加することにより行われる。そして、CPU61は、光源44から光が照射されるよう光源駆動回路46を制御すると共に撮像素子40が駆動されるよう撮像素子駆動回路42を制御することにより、撮像対象物を撮像して(S240)、撮像処理を終了する。   Next, details of the imaging processing in S110 will be described. FIG. 5 is a flowchart illustrating an example of an imaging process executed by the CPU 61 of the control device 60. When the imaging process is executed, the CPU 61 identifies the position of the work object (imaging object) based on the target position of the tool 12 read in S100 of the work process, and based on the identified position of the imaging object. The first to fifth drive motors 24a to 24e are controlled so that the liquid lens 32 moves to the imaging position (S200). In the present embodiment, the position of the imaging object is specified from the target position of the tool 12, but the position of the imaging object may be directly acquired. Subsequently, the CPU 61 calculates the current position of the liquid lens 32 by forward kinematics based on the rotation angles from the encoders 28a to 28e (S210), and the focal point from the liquid lens 32 to the work object (imaging object). The distance X is calculated (S220), and the liquid lens driving circuit 34 is controlled so as to apply a voltage at the calculated focal length X to the liquid lens 32 (S230). FIG. 6 is an explanatory diagram showing how the focal length is adjusted by moving the liquid lens 32 to the imaging position. As shown in the figure, the focal length is adjusted by moving the liquid lens 32 so that the liquid lens 32 faces the object to be imaged by an articulated arm, and then the distance X (focal distance) between the liquid lens 32 and the object to be imaged. This is performed by applying a voltage according to the above to the liquid lens 32. Then, the CPU 61 controls the light source drive circuit 46 so that light is emitted from the light source 44 and also controls the image sensor drive circuit 42 so that the image sensor 40 is driven, thereby imaging the imaging target (S240). ), The imaging process is terminated.

以上説明した実施例のロボット装置10は、多関節アームの先端部である第5リンク20eに対物レンズ(液体レンズ32)を設けると共に、多関節アームの基端部である第1リンク20aに撮像素子40を設け、液体レンズ32と撮像素子40とをイメージファイバ52(ファイバケーブル50)を介して連結する。これにより、多関節アームの先端部をより小型化および軽量化することができるため、多関節アームを移動させる際にアーム先端部に振動が生じるのを抑制することができる。この結果、多関節アームを用いて作業を行う際の位置精度を高め、作業精度を向上させることができる。しかも、対物レンズとして液体レンズ32を用いると共に、イメージファイバ52と並列に電源線56を設け、電源線56を介して液体レンズ32に電圧を印加するため、多関節アームの先端部を軽量化しつつ、液体レンズ32の焦点距離を調整することができる。さらに、イメージファイバ52にライトガイド54を並列に設け、ライトガイド54の他端に光源44を配置するから、撮像対象物の撮像に必要な量の光を照射することができる。   In the robot apparatus 10 according to the embodiment described above, an objective lens (liquid lens 32) is provided on the fifth link 20e that is the distal end portion of the articulated arm, and imaging is performed on the first link 20a that is the proximal end portion of the articulated arm. An element 40 is provided, and the liquid lens 32 and the imaging element 40 are connected via an image fiber 52 (fiber cable 50). Thereby, since the front-end | tip part of a multi-joint arm can be reduced in size and weight, it can suppress that a vibration arises in an arm front-end | tip part when moving a multi-joint arm. As a result, it is possible to increase the position accuracy when performing work using the multi-joint arm and improve the work accuracy. Moreover, since the liquid lens 32 is used as the objective lens, and the power supply line 56 is provided in parallel with the image fiber 52 and a voltage is applied to the liquid lens 32 via the power supply line 56, the tip of the articulated arm is reduced in weight. The focal length of the liquid lens 32 can be adjusted. Furthermore, since the light guide 54 is provided in parallel to the image fiber 52 and the light source 44 is disposed at the other end of the light guide 54, it is possible to irradiate with an amount of light necessary for imaging the imaging object.

実施例のロボット装置10では、多関節アームの基端部(第1リンク20a)に撮像素子40や光源44を設けるものとしたが、これに限定されるものではなく、撮像素子40や光源44をベース11に設ける等、ファイバケーブル50との干渉が生じない位置であれば、撮像素子40や光源44を如何なる位置に設けるものとしてもよい。   In the robot apparatus 10 of the embodiment, the image sensor 40 and the light source 44 are provided at the base end portion (first link 20a) of the articulated arm, but the present invention is not limited to this, and the image sensor 40 and the light source 44 are not limited thereto. The image sensor 40 and the light source 44 may be provided at any position as long as interference with the fiber cable 50 does not occur.

実施例のロボット装置10では、対物レンズとして液体レンズ32を用いるものとしたが、これに限定されるものではなく、モータ等のアクチュエータによって焦点距離を調整可能な他のズームレンズを用いるものとしてもよい。また、対物レンズとして焦点距離が固定された単焦点レンズを用いるものとしても構わない。   In the robot apparatus 10 of the embodiment, the liquid lens 32 is used as the objective lens, but the present invention is not limited to this, and another zoom lens whose focal length can be adjusted by an actuator such as a motor may be used. Good. Further, a single focal lens having a fixed focal length may be used as the objective lens.

実施例のロボット装置10では、イメージファイバ52にライトガイド54を併設して光源44の光を撮像対象物に照射するものとしたが、これに限定されるものではなく、別途照明装置を設けるものとしてもよい。   In the robot apparatus 10 of the embodiment, the light guide 54 is provided along with the image fiber 52 to irradiate the imaging object with the light of the light source 44. However, the present invention is not limited to this, and a separate illumination apparatus is provided. It is good.

実施例のロボット装置10では、イメージファイバ52と電源線56とを纏めて一本のファイバケーブル50としたが、これに限定されるものではなく、それぞれ別々のケーブルを使用するものとしてもよい。   In the robot apparatus 10 of the embodiment, the image fiber 52 and the power supply line 56 are combined into one fiber cable 50. However, the present invention is not limited to this, and separate cables may be used.

ここで、本実施例の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、リンク20a〜20eと関節22a〜22eとからなる多関節アームが「ロボット」に相当し、液体レンズ32が「レンズ」に相当し、CCDやCMOS等の撮像素子40が「撮像素子」に相当し、イメージファイバ52が「イメージファイバ」に相当する。また、電源線56が「電源線」に相当する。また、図4の作業処理のS100の処理を実行する制御装置60のCPU61が「位置情報取得手段」に相当する。エンコーダ28a〜28eと図5の撮像処理のS210の処理を実行する制御装置60のCPU61とが「先端部位置検知手段」に相当し、撮像処理のS230の処理を実行する制御装置60のCPU61とレンズ駆動回路34とが「焦点距離調整手段」に相当する。また、ライトガイド54が「ライトガイド」に相当し、光源44が「光源」に相当する。また、作業処理のS110の処理(撮像処理)を実行する制御装置60のCPU61が「撮像制御手段」に相当し、S120〜S140の処理を実行する制御装置60のCPU61が「作業制御手段」に相当する。   Here, the correspondence between the main elements of the present embodiment and the main elements of the invention described in the disclosure section of the invention will be described. That is, the multi-joint arm composed of the links 20a to 20e and the joints 22a to 22e corresponds to a “robot”, the liquid lens 32 corresponds to a “lens”, and the image pickup device 40 such as a CCD or a CMOS serves as an “image pickup device”. The image fiber 52 corresponds to an “image fiber”. The power supply line 56 corresponds to a “power supply line”. Further, the CPU 61 of the control device 60 that executes the process of S100 of the work process of FIG. 4 corresponds to the “position information acquisition unit”. The encoders 28a to 28e and the CPU 61 of the control device 60 that executes the processing of S210 of the imaging process of FIG. 5 correspond to the “tip position detecting means”, and the CPU 61 of the control device 60 that executes the processing of S230 of the imaging processing. The lens driving circuit 34 corresponds to “focal length adjusting means”. The light guide 54 corresponds to a “light guide”, and the light source 44 corresponds to a “light source”. Further, the CPU 61 of the control device 60 that executes the processing of S110 (imaging processing) of the work processing corresponds to “imaging control means”, and the CPU 61 of the control device 60 that executes the processing of S120 to S140 becomes “work control means”. Equivalent to.

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。   It should be noted that the present invention is not limited to the above-described embodiment, and it goes without saying that the present invention can be implemented in various modes as long as it belongs to the technical scope of the present invention.

本発明は、ロボット装置の製造産業などに利用可能である。   The present invention can be used in the manufacturing industry of robotic devices.

10 ロボット装置、11 ベース、12 ツール、14 ツールモータ、16 モータ駆動回路、18 エンコーダ、20a〜20e 第1〜第5リンク、22a〜22e 第1〜第5関節、24a〜24e 第1〜第5駆動モータ、26a〜26e モータ駆動回路、28a〜28e エンコーダ、30 レンズユニット、31 マウント部、32 液体レンズ、34 液体レンズ駆動回路、40 撮像素子、42 撮像素子駆動回路、44 光源、46 光源駆動回路、50 ファイバケーブル、52 イメージファイバ、54 ライトガイド、56 電源線、60 制御装置、61 CPU、62 ROM、63 HDD、64 RAM、65 入出力インタフェース、66 バス。   DESCRIPTION OF SYMBOLS 10 Robot apparatus, 11 base, 12 tool, 14 tool motor, 16 motor drive circuit, 18 encoder, 20a-20e 1st-5th link, 22a-22e 1st-5th joint, 24a-24e 1st-5th Drive motor, 26a to 26e motor drive circuit, 28a to 28e encoder, 30 lens unit, 31 mount unit, 32 liquid lens, 34 liquid lens drive circuit, 40 image sensor, 42 image sensor drive circuit, 44 light source, 46 light source drive circuit 50 fiber cable, 52 image fiber, 54 light guide, 56 power line, 60 control device, 61 CPU, 62 ROM, 63 HDD, 64 RAM, 65 input / output interface, 66 bus.

Claims (4)

対象物の画像を取得する画像取得装置であって、
先端部を移動可能なロボットと、
前記ロボットの先端部に設けられ、電極に電圧を印加することにより焦点距離を調整可能な液体レンズと、
前記ロボットの先端部とは異なる位置に設けられた撮像素子と、
前記液体レンズに一端を配置すると共に前記撮像素子に他端を配置し、前記一端から入射した画像を前記他端へ送るイメージファイバと、
前記イメージファイバと並列に配置され、前記液体レンズに電圧を印加するための電源線と、
前記対象物の位置情報を予め取得する対象物位置情報取得手段と、
前記ロボットの先端部の位置を検知する先端部位置検知手段と、
前記取得された対象物の位置情報と前記検知された先端部の位置とに基づいて焦点距離が調整されるよう前記液体レンズに印加する電圧を制御する焦点距離調整手段と、
を備えることを特徴とする画像取得装置。
An image acquisition device for acquiring an image of an object,
A robot that can move the tip,
A liquid lens provided at the tip of the robot and capable of adjusting a focal length by applying a voltage to the electrodes ;
An image sensor provided at a position different from the tip of the robot;
An image fiber that arranges one end of the liquid lens and the other end of the imaging device, and sends an image incident from the one end to the other end;
A power line arranged in parallel with the image fiber, and for applying a voltage to the liquid lens;
Object position information acquisition means for acquiring position information of the object in advance;
Tip position detecting means for detecting the position of the tip of the robot;
A focal length adjusting means for controlling a voltage applied to the liquid lens so that a focal length is adjusted based on the acquired position information of the object and the detected position of the tip portion;
An image acquisition apparatus comprising:
請求項に記載の画像取得装置であって、
前記イメージファイバに併設されたライトガイドと、
前記ライトガイドに光を照射可能な光源と、
を備えることを特徴とする画像取得装置。
The image acquisition device according to claim 1 ,
A light guide attached to the image fiber;
A light source capable of irradiating light to the light guide;
An image acquisition apparatus comprising:
請求項1または2に記載の画像取得装置であって、
前記ロボットは、多関節のアームを備え、
前記液体レンズは、前記アームの先端部に設けられ、
前記撮像素子は、前記アームの先端部とは異なる位置に設けられ、
前記イメージファイバは、前記アームに沿って配置されている
ことを特徴とする画像取得装置。
The image acquisition device according to claim 1 or 2 ,
The robot includes an articulated arm,
The liquid lens is provided at the tip of the arm,
The image sensor is provided at a position different from the tip of the arm,
The image acquisition device, wherein the image fiber is disposed along the arm.
先端部を移動可能なロボットを用いて対象物に対して所定の作業を行うロボット装置であって、
前記ロボットの先端部に設けられ電極に電圧を印加することにより焦点距離を調整可能な液体レンズと、前記ロボットの先端部とは異なる位置に設けられた撮像素子と、前記液体レンズに一端を配置すると共に前記撮像素子に他端を配置し前記一端から入射した画像を前記他端へ送るイメージファイバと、前記イメージファイバと並列に配置され前記液体レンズに電圧を印加するための電源線と、を有する画像取得装置と、
前記対象物の位置情報を予め取得する対象物位置情報取得手段と、
前記ロボットの先端部の位置を検知する先端部位置検知手段と、
前記所定の作業に先立って、前記取得された対象物の位置情報に基づいて前記画像取得装置の撮像範囲内に前記対象物が含まれるよう前記ロボットを制御し、前記取得された対象物の位置情報と前記検知された先端部の位置とに基づいて焦点距離が調整されるよう前記液体レンズに印加する電圧を制御し、前記対象物の画像が取得されるよう前記画像取得装置を制御する撮像制御手段と、
前記対象物または前記先端部の目標位置情報を予め取得する目標位置情報取得手段と、
前記画像取得装置により取得された対象物の画像に基づいて前記取得した目標位置情報を補正し、該補正した目標位置情報に基づいて前記所定の作業が行われるよう前記ロボットを制御する作業制御手段と、
を備えることを特徴とするロボット装置。
A robot apparatus that performs a predetermined operation on an object using a robot capable of moving a tip part,
A liquid lens provided at the tip of the robot, the focal length of which can be adjusted by applying a voltage to the electrode, an image sensor provided at a position different from the tip of the robot, and one end disposed on the liquid lens And an image fiber that arranges the other end of the image sensor and sends an image incident from the one end to the other end, and a power supply line that is arranged in parallel with the image fiber and applies a voltage to the liquid lens. An image acquisition device comprising:
Object position information acquisition means for acquiring position information of the object in advance;
Tip position detecting means for detecting the position of the tip of the robot;
Prior to the predetermined work, the robot is controlled so that the object is included in the imaging range of the image acquisition device based on the acquired position information of the object, and the position of the acquired object Imaging that controls the voltage applied to the liquid lens so that the focal length is adjusted based on the information and the detected position of the tip, and controls the image acquisition device so that an image of the object is acquired Control means;
Target position information acquisition means for acquiring in advance target position information of the object or the tip;
Work control means for correcting the acquired target position information based on the image of the object acquired by the image acquisition device and controlling the robot so that the predetermined work is performed based on the corrected target position information. When,
A robot apparatus comprising:
JP2016552754A 2014-10-08 2014-10-08 Image acquisition apparatus and robot apparatus Active JP6401286B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/076970 WO2016056087A1 (en) 2014-10-08 2014-10-08 Image acquisition device and robot device

Publications (2)

Publication Number Publication Date
JPWO2016056087A1 JPWO2016056087A1 (en) 2017-08-24
JP6401286B2 true JP6401286B2 (en) 2018-10-10

Family

ID=55652746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552754A Active JP6401286B2 (en) 2014-10-08 2014-10-08 Image acquisition apparatus and robot apparatus

Country Status (2)

Country Link
JP (1) JP6401286B2 (en)
WO (1) WO2016056087A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109328126A (en) * 2016-07-06 2019-02-12 株式会社富士 Filming apparatus and camera system
JP6976098B2 (en) * 2017-07-31 2021-12-08 Ntn株式会社 Link actuated work equipment

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60131387U (en) * 1984-02-14 1985-09-03
JPH0460798B2 (en) * 1985-05-31 1992-09-29 Yasukawa Denki Kk
JPS6224994A (en) * 1985-07-26 1987-02-02 Hitachi Construction Machinery Robot hand
JPS6295606A (en) * 1985-10-22 1987-05-02 Toshiba Corp Setting device for 3-dimensional position
JPS6335108U (en) * 1986-08-20 1988-03-07
JPS6367093U (en) * 1986-09-24 1988-05-06
JPS6391395U (en) * 1986-12-04 1988-06-13
JPS6397485U (en) * 1986-12-17 1988-06-23
JPH0557796B2 (en) * 1987-09-16 1993-08-24 Kogyo Gijutsuin
JPH03142186A (en) * 1989-10-25 1991-06-17 Hitachi Ltd Visual device for robot
JPH05138349A (en) * 1991-11-22 1993-06-01 Hitachi Ltd Automatic multilayer wedding equipment
JP2010226014A (en) * 2009-03-25 2010-10-07 Panasonic Corp Substrate carrying apparatus
JP2011255473A (en) * 2010-06-10 2011-12-22 Kobe Steel Ltd Apparatus for teaching welding manipulator
MX338575B (en) * 2010-12-01 2016-04-22 Adlens Beacon Inc Variable power endoscope based on liquid lens technology.
JP2012135432A (en) * 2010-12-27 2012-07-19 Fujifilm Corp Endoscope
JP2014159989A (en) * 2013-02-19 2014-09-04 Yaskawa Electric Corp Object detector and robot system

Also Published As

Publication number Publication date
JPWO2016056087A1 (en) 2017-08-24
WO2016056087A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
US9285582B2 (en) Optical scanning endoscope
JP6188440B2 (en) Robot apparatus and robot control method
JP6401286B2 (en) Image acquisition apparatus and robot apparatus
CN101269442B (en) Laser welding apparatus and method
CN101041204A (en) Apparatus and method for performing laser welding
US20140268177A1 (en) Shape measuring apparatus
JP2017181279A (en) Ranging device and industrial robot
JP6095486B2 (en) Image measuring device
JP2014161950A (en) Robot system, robot control method, and robot calibration method
JP4701037B2 (en) Image acquisition method and apparatus for electronic components
CN109014502A (en) A kind of weld seam tracing system and method based on laser sensor
JP5296624B2 (en) Welding method in which branch pipe is arranged on mother pipe and welded and arrangement method in which branch pipe is arranged on mother pipe
JP6605611B2 (en) Robot system
JP6298064B2 (en) Component mounter
JP5200866B2 (en) Robot system, robot control apparatus, and robot control method
WO2015129136A1 (en) Endoscope device
WO2018097060A1 (en) Endoscope device and method for controlling endoscope device
CN109495692A (en) A kind of laser auto focusing percussion device based on three-dimensional machine vision
KR101066852B1 (en) The probe with ultrasound image processing and high power hifu processing at the same time, and the apparatus for controlling the same
JP2005161385A (en) Underwater welding equipment and underwater welding method
CN108088906A (en) Bridge rail detecting system and method
KR101122303B1 (en) Calibration unit and working system having the same
JP6955414B2 (en) Welding robot system and welding method using welding robot system
JP5223537B2 (en) Laser welding quality inspection method and apparatus
WO2022013979A1 (en) Stereo camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180906

R150 Certificate of patent or registration of utility model

Ref document number: 6401286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250