WO2021001992A1 - 触覚センサ、触覚センサシステム及びプログラム - Google Patents

触覚センサ、触覚センサシステム及びプログラム Download PDF

Info

Publication number
WO2021001992A1
WO2021001992A1 PCT/JP2019/026650 JP2019026650W WO2021001992A1 WO 2021001992 A1 WO2021001992 A1 WO 2021001992A1 JP 2019026650 W JP2019026650 W JP 2019026650W WO 2021001992 A1 WO2021001992 A1 WO 2021001992A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
imaging
tactile sensor
imaging unit
Prior art date
Application number
PCT/JP2019/026650
Other languages
English (en)
French (fr)
Inventor
明彦 山口
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Priority to KR1020227000073A priority Critical patent/KR102702506B1/ko
Priority to PCT/JP2019/026650 priority patent/WO2021001992A1/ja
Priority to CN201980097957.3A priority patent/CN114072260A/zh
Priority to KR1020247025220A priority patent/KR20240117012A/ko
Priority to JP2021529656A priority patent/JP7345902B2/ja
Priority to EP19936205.4A priority patent/EP3995268A4/en
Priority to US17/618,854 priority patent/US11836823B2/en
Publication of WO2021001992A1 publication Critical patent/WO2021001992A1/ja
Priority to JP2023135633A priority patent/JP2023157985A/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B25J13/083—Grasping-force detectors fitted with slippage detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a tactile sensor, a tactile sensor system and a program.
  • Patent Document 1 a method of realizing a tactile sensor.
  • the imaging optical axis of the imaging unit is provided parallel to the normal direction of the rubber skin (hereinafter referred to as the contact surface).
  • the imaging unit detects the gripping state of the object by photographing the contact surface and detecting the displacement of the contact surface when the object comes into contact with the contact surface.
  • the size of the tactile sensor may be smaller, such as when the tactile object is small. Considering the miniaturization of the tactile sensor, it is an issue to shorten the distance between the image pickup unit that images an object and the contact surface, and to reduce the size of the image pickup unit itself. In the tactile sensor in the prior art, when trying to shorten the distance between the image pickup unit and the contact surface, it is necessary to use a lens having a wide image pickup angle of view.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a tactile sensor, a tactile sensor system, and a program that can be easily miniaturized.
  • the tactile sensor has a transmission portion including a first surface that can come into contact with a gripping object, a second surface that is a back surface of the first surface, and the first surface of the transmission portion.
  • An image pickup unit capable of capturing an image of an object existing on one surface side from the second surface side, and an imaging unit arranged on the second surface side of the transmission unit and from at least a part of the region of the transmission unit. It is provided with a reflecting unit that reflects light and guides it within the imaging angle of view of the imaging unit.
  • the tactile sensor according to one aspect of the present invention, at least a part of the transmitting portion is deformed along the shape of the gripping object in contact with the first surface, and the imaging portion is the first Both the image of the object existing on the surface side and the image of the marker attached to the transmissive portion indicating the deformation of the transmissive portion can be imaged from the second surface side.
  • the imaging unit is arranged so that the imaging optical axis of the imaging unit and the normal of the second surface of the transmitting unit have an intersection.
  • the reflecting unit includes a plurality of reflecting surfaces having different normal angles with respect to the imaging optical axis of the imaging unit.
  • the image pickup unit is reflected by the first image, which is an image of the image pickup target region of the transmission portion by the light incident without passing through the reflection unit, and the reflection unit.
  • Both the second image which is an image of the imaging target region of the transmitting portion due to the incident light, is imaged as an image of the transmitting portion.
  • the transmissive portion includes a plurality of regions in which the angles of normals of the image pickup unit with respect to the image pickup optical axis are different from each other, and the image pickup unit includes a plurality of the transmissive portions. It is possible to take an image of an object existing on the first surface side by light incident on each of the regions.
  • the tactile sensor system acquires the above-mentioned tactile sensor and an image captured by the imaging unit, and detects the contact state of the object with the first surface based on the acquired image. It includes a detection unit.
  • the program according to one aspect of the present invention includes a transmission portion including a first surface that can come into contact with a gripping object, a second surface that is a back surface of the first surface, and the transmission portion of the transmission portion.
  • An image pickup unit capable of capturing an image of an object existing on the first surface side from the second surface side, and an imaging unit arranged on the second surface side of the transmission unit, from at least a part of the region of the transmission unit.
  • FIG. 1 is a diagram showing an example of the robot system 100 in the embodiment.
  • the robot system 100 in the present embodiment grips the gripping object while detecting the gripping state by coming into contact with the gripping object.
  • the robot system 100 includes a tactile sensor module 10, a robot system control unit 90, a tip portion 110, an upper arm portion 120, a joint portion 130, a lower arm portion 140, and a main horizontal axis portion 150.
  • a main vertical axis portion 160 and a base portion 170 are provided.
  • the base portion 170 is a portion connected to the main vertical axis portion 160.
  • the main vertical axis portion 160 is a portion connecting the main horizontal axis portion 150 and the base portion 170.
  • the main vertical axis portion 160 is controlled by the robot system control unit 90, and the main horizontal axis portion 150 is displaced around the axis of the main vertical axis portion 160.
  • the main horizontal axis portion 150 is a portion connecting the lower arm portion 140 and the main vertical axis portion 160.
  • the main horizontal axis portion 150 is controlled by the robot system control unit 90, and the lower arm portion 140 is displaced around the axis of the main horizontal shaft portion 150.
  • the lower arm portion 140 is a portion connecting the joint portion 130 and the main horizontal axis portion 150.
  • the joint portion 130 is a portion connecting the upper arm portion 120 and the lower arm portion 140.
  • the joint portion 130 is controlled by the robot system control unit 90, and the upper arm portion 120 is displaced around the axis of the joint portion 130.
  • the upper arm portion 120 is a portion connecting the tip portion 110 and the joint portion 130.
  • the tip 110 is connected to the tactile sensor module 10.
  • the posture (for example, position and direction) of the tip 110 is controlled by the robot system control unit 90.
  • the posture of the tactile sensor module 10 changes as the posture of the tip portion 110 changes.
  • the tactile sensor module 10 detects the contact state of the gripped object, and outputs information indicating the detected contact state of the gripped object to the robot system control unit 90.
  • the robot system control unit 90 acquires the information output by the tactile sensor module 10.
  • the robot system control unit 90 uses a drive device (not shown) to drive each part (tip portion 110, upper arm portion 120, joint portion 130, lower arm portion 140, main horizontal axis portion 150, and main vertical axis portion 160) included in the robot system 100.
  • the tactile sensor module 10 is moved by being displaced.
  • the robot system control unit 90 controls the robot system 100 based on the information acquired from the tactile sensor module 10.
  • FIG. 2 is a diagram showing an example of the tactile sensor module 10 in the embodiment.
  • the tactile sensor module 10 in the present embodiment includes a sensor connection portion 11, a first tactile sensor 1a, and a second tactile sensor 1b.
  • the posture of the tactile sensor module 10 may be indicated by a three-dimensional Cartesian coordinate system of the x-axis, y-axis, and z-axis.
  • the sensor connection portion 11 is a portion that connects the tip portion 110 with the first tactile sensor 1a and the second tactile sensor 1b.
  • the first tactile sensor 1a is connected to the sensor connection portion 11.
  • the first tactile sensor 1a includes a first transmission portion contact surface 40a.
  • the second tactile sensor 1b is connected to the sensor connection portion 11.
  • the second tactile sensor 1b includes a second transmission contact surface 40b.
  • the first tactile sensor 1a and the second tactile sensor 1b are arranged at positions where the first transmission portion contact surface 40a and the second transmission portion contact surface 40b face each other.
  • the sensor connection unit 11 includes a drive device (not shown), and based on an instruction from the robot system control unit 90, the first tactile sensor 1a and the second tactile sensor 1b (or one of those sensors; the following description). ) Is displaced in the y-axis direction.
  • the tactile sensor module 10 grips the gripping object between the first tactile sensor 1a and the second tactile sensor 1b by driving the first tactile sensor 1a and the second tactile sensor 1b in the y-axis direction.
  • FIG. 3 is a diagram showing an example of a cross-sectional view of the tactile sensor according to the embodiment.
  • FIG. 2 shows a cross-sectional view of the first tactile sensor 1a shown in FIG. 2 on the xy plane.
  • the direction of the tactile sensor module 10 is indicated by a three-dimensional Cartesian coordinate system of the x-axis, y-axis, and z-axis. Since the first tactile sensor 1a and the second tactile sensor 1b have the same configuration as each other, the first tactile sensor 1a will be described and the second tactile sensor 1b will be omitted.
  • the first tactile sensor 1a includes a first imaging unit 30a, a first reflection unit 20a, a first transmission unit 43a, a first marker 45a, a first transmission unit contact surface 40a, and a first transmission unit non-contact surface. It includes 47a, a first rigid layer 70a, and a first frame 50a.
  • the first imaging unit 30a is the imaging unit 30
  • the first reflection unit 20a is the reflection unit 20
  • the first transmission unit 43a is the transmission unit 43
  • the first marker 45a is the marker 45
  • the part contact surface 40a is the transmission part contact surface 40
  • the first transmission part non-contact surface 47a is the transmission part non-contact surface 47
  • the first hard layer 70a is the hard layer 70
  • the first frame 50a is the frame 50, respectively.
  • the frame 50 holds the image pickup unit 30, the reflection unit 20, the transmission unit 43, and the hard layer 70.
  • the transmitting portion 43 is made of a transparent material that transmits light, and includes a transmitting portion contact surface 40 and a transmitting portion non-contact surface 47.
  • a specific material of the transmissive portion 43 there is a silicone material having a thickness of 2 mm and a transmittance of about 94%.
  • the transmissive portion contact surface 40 is a surface of the front surface and the back surface of the transmissive portion 43 that can come into contact with the object to be gripped.
  • the transparent portion non-contact surface 47 is a surface of the front surface and the back surface of the transparent portion 43 that does not come into contact with the gripping object.
  • the surface that can come into contact with the gripping object (that is, the transmissive portion contact surface 40) is also referred to as a surface or a first surface, and is a surface that does not come into contact with the gripping object ( That is, the transparent portion non-contact surface 47) is also referred to as a back surface or a second surface.
  • the transmission portion 43 has a transmission portion contact surface 40 which is a contact surface capable of contacting the gripping object and a transmission portion non-contact surface 47 which is a back surface of the contact surface and is a non-contact surface which does not contact the gripping object.
  • the transparent portion 43 is made of a transparent material. In this example, at least a part of the transmission portion 43 is deformed along the shape of the gripping object in contact with the transmission portion contact surface 40 which is the contact surface.
  • a plurality of markers 45 are arranged at predetermined positions of the transparent portion 43.
  • the marker 45 is an opaque member arranged at the positions of lattice points divided at equal intervals inside the transmission portion 43.
  • the marker 45 is said to be arranged inside the transparent portion 43, but the present invention is not limited to this, and the marker 45 may be provided on the transparent portion contact surface 40 or may be provided on the transparent portion non-contact surface 47. .. Further, the marker 45 will be described as being discretely arranged at the positions of the grid points, but the present invention is not limited to this.
  • the marker 45 may be a grid pattern or other continuous pattern. Further, the pattern of the marker 45 may be an irregular pattern so that the gripping state of the gripping object can be easily detected.
  • the marker 45 has been described as being an opaque member, the marker 45 is not limited to this, and may be a translucent member or a transparent member as long as the displacement when the gripping object comes into contact can be optically recognized.
  • the hard layer 70 is provided at a position where the transparent portion 43 is in contact with the non-contact surface 47 of the transparent portion.
  • the hard layer 70 is made of a transparent and hard material such as acrylic.
  • the hard layer 70 limits the amount of deformation of the transmission portion 43 when the gripping object is gripped. In the present embodiment, the transmission portion 43 and the hard layer 70 will be described as separate components.
  • the hard layer 70 may be omitted as long as the amount of deformation of the transmission portion 43 when the object to be gripped is within a predetermined range.
  • the reflecting unit 20 includes a reflecting surface that reflects light, such as a mirror. This reflecting surface is arranged on the non-contact surface side of the transmitting portion 43.
  • the reflecting unit 20 reflects the light transmitted through the transmitting unit 43 and guides the reflected light to the imaging unit 30.
  • the reflecting unit 20 reflects light from at least a part of the region of the transmitting unit 43. That is, the reflecting unit 20 is arranged on the non-contact surface side of the transmitting unit 43 (for example, the non-contact surface 47 of the transmitting unit), reflects light from at least a part of the region of the transmitting unit 43, and takes an image of the imaging unit 30. Guide within the angle of view.
  • the image pickup unit 30 is arranged on the non-contact surface 47 side of the transmission unit on both the front and back surfaces of the transmission unit 43. More specifically, in the imaging unit 30, the imaging optical axis OA of the imaging unit 30 and the normal line N41 of the non-contact surface 47 of the transmitting portion 43 of the transmitting unit 43 have an intersection (imaging optical axis OA and normal line). It is arranged so that it is not parallel to N41).
  • the imaging unit 30 images an image within the imaging angle of view centered on the imaging optical axis OA, and outputs the imaging result as image information.
  • the image pickup unit 30 can image an image of an object existing on the transmission portion contact surface 40 side of the transmission portion 43 from the transmission portion non-contact surface 47 side.
  • the light transmitted through the transmitting portion 43 includes an image of an object existing on the transmitting portion contact surface 40 side of the transmitting portion 43. Further, the light transmitted through the transmitting portion 43 includes an image of the marker 45 arranged on the transmitting portion 43 (that is, an image of the transmitting portion 43 or an image of the transmitting portion). That is, the imaging unit 30 has both an image of an object existing on the contact surface 40 side of the transmission unit 43, which is the contact surface side of the transmission unit 43, and an image of a marker attached to the transmission unit 43 indicating deformation of the transmission unit 43. Can be imaged from the non-contact surface 47 side of the transmissive portion, which is the non-contact surface side.
  • the image by the light transmitted through the transmission unit 43 and reflected by the reflection unit 20 and the image transmitted through the transmission unit 43 and directly reach the image pickup unit 30 without passing through the reflection unit 20. Includes images of light.
  • an image of light that passes through the transmitting unit 43 and directly reaches the imaging unit 30 without passing through the reflecting unit 20 is also referred to as a direct image.
  • an image of light transmitted through the transmitting portion 43 and reflected by the reflecting portion 20 is also referred to as a reflected image.
  • the image pickup range of the image pickup unit 30 will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram showing an example of a range in which the imaging unit 30 in the embodiment can take an image.
  • the range in which the image pickup unit 30 included in the tactile sensor 1 can take an image will be described.
  • the imageable range of the imaging unit 30 is determined by the geometric relative relationship between the angle of view A10 of the imaging unit 30 and the arrangement of the reflecting unit 20.
  • the imageable range of the imaging unit 30 includes a region where a direct image can be imaged and a region where a reflected image can be imaged.
  • the incident angle of the light incident on the reflecting portion 20 from the transmission portion contact surface 40 side is the first incident angle IA10
  • the light incident on the reflecting portion 20 is emitted in the direction of the first reflection angle RA10.
  • the incident angle of the light incident on the reflecting portion 20 from the contact surface 40 side of the transmitting portion is the second incident angle IA20
  • the light incident on the reflecting portion 20 is emitted in the direction of the second reflecting angle RA20.
  • the incident angle of the light incident on the reflecting portion 20 from the contact surface 40 side of the transmitting portion is the third incident angle IA30
  • the light incident on the reflecting portion 20 is in the direction of the third reflecting angle RA30 (in the case of this example).
  • Output to the imaging optical axis OA When an image of light emitted from the reflecting unit 20 (that is, a reflected image) is included in the angle of view A10, the imaging unit 30 can image the light emitted from the reflecting unit 20.
  • the first imaging range AR1 is a range in which the imaging unit 30 can directly image an image and the imaging unit 30 cannot image a reflected image.
  • the second imaging range AR2 is a range in which the imaging unit 30 can image both a direct image and a reflected image.
  • the third imaging range AR3 is a range in which the imaging unit 30 cannot directly image an image and the imaging unit 30 can image a reflected image.
  • FIG. 5 is a diagram showing an example of a captured image of the imaging unit 30 in the embodiment.
  • the captured image P includes a direct visual image captured image R and a reflected visual captured image M as image components.
  • the x c y c plane indicates an image plane in which the yz plane is imaged in FIG.
  • the direct visual imaging marker RM is an image obtained by the imaging unit 30 capturing a direct image of the marker 45.
  • the reflection image imaging marker MM is an image obtained by imaging the reflection image of the marker 45 by the imaging unit 30.
  • the first object OB1 to the third object OB3 will be described as an example.
  • the first object OB1 exists in the first imaging range AR1.
  • the imaging unit 30 can image a direct image of the first object OB1 and cannot image a reflected image of the first object OB1.
  • the second object OB2 exists in the second imaging range AR2.
  • the imaging unit 30 can image a direct image and a reflected image of the second object OB2.
  • the third object OB3 exists in the third imaging range AR3. In this case, the imaging unit 30 cannot image the direct image of the third object OB3, and can image the reflected image of the third object OB3.
  • the image pickup unit 30 includes a first image which is an image of an image pickup target area of the transmission unit 43 due to light incident without passing through the reflection unit 20, and an image pickup target area of the transmission unit 43 due to light reflected and incident by the reflection unit 20. Both the second image and the second image of the above image are taken as an image of the transmission unit 43. That is, the imaging unit 30 can simultaneously capture the direct visual imaging image R and the reflection visual imaging image M.
  • FIG. 6 is a diagram showing an example of a cross-sectional view of a tactile sensor when the gripping object touches the contact surface in the embodiment.
  • the object OB4 which is the object to be gripped, is in contact with the transparent portion contact surface 40.
  • the range in which the object OB4 is in contact with the transparent portion contact surface 40 is defined as the object detection range ODA.
  • the marker 45 in the object detection range ODA is displaced.
  • the imaging unit 30 images the marker 45 in the object detection range ODA in time series.
  • the object OB4 exists at a position that spans both the second imaging range AR2 and the third imaging range AR3. Therefore, both direct vision and reflection vision are possible.
  • FIG. 7 is a diagram showing an example of an image captured by the tactile sensor when the gripping object touches the contact surface in the embodiment.
  • the captured image P includes a direct visual image captured image R and a reflected visual captured image M as image components.
  • the image P when the object OB4 comes into contact with the transparent portion contact surface 40 is shown in the figure.
  • the direct visual imaging marker RM is imaged in the direct visual imaging image R.
  • the direct visual object detection range RODA is a range of the object detection range ODA that is captured as the direct visual image captured image R.
  • the reflection image imaging marker MM is imaged in the reflection image image M.
  • the reflected visual object detection range ODA is a range of the object detection range ODA captured as the reflected visual image captured image M.
  • the pre-contact direct visual marker image RMB is a direct visual imaging marker RM before the object OB4 comes into contact with the transmissive contact surface 40 in the direct visual object detection range RODA.
  • the post-contact direct visual marker image RMA is a direct visual imaging marker RM after the object OB4 comes into contact with the transmissive contact surface 40 in the direct visual object detection range RODA.
  • the difference in the position of the marker 45 in the image due to the time change is represented by the marker vector.
  • the direct visual marker vector RAR shows the difference between the direct visual marker image RMB before contact and the direct visual marker image RMA after contact.
  • the robot system 100 can detect the gripping state of the object OB4 by directly obtaining the visual marker vector RAR.
  • the difference in the position of the marker 45 in the image due to the time change can be represented by the marker vector in the same manner as the direct image. That is, as shown in the figure, there is a difference in position in the image between the pre-contact reflection view marker image MMB and the post-contact reflection view marker image MMA.
  • the reflection view marker vector MAR shows the difference between the pre-contact reflection view marker image MMB and the post-contact reflection view marker image MMA.
  • the robot system 100 can detect the gripping state of the object OB4 by obtaining the reflection visual marker vector MAR.
  • FIG. 8 is a diagram showing an example of the robot system control unit 90 in the embodiment.
  • the robot system control unit 90 includes a robot control unit 91, an input unit 92, an output unit 93, and a gripping state detection unit 80.
  • the robot control unit 91 includes a microcomputer (not shown), memories such as RAM (Random access memory) and ROM (Read only memory), and a communication unit that communicates with an external device.
  • the input unit 92 acquires information from sensors such as a pressure sensor, a position sensor, a temperature sensor, and an acceleration sensor, a camera, a microphone (all not shown), and the like.
  • the output unit 93 outputs a drive signal to a robot drive motor (not shown) or the like (not shown).
  • the gripping state detection unit 80 includes an image acquisition unit 81, an image processing unit 82, a control unit 83, and a reference state storage unit 84.
  • the gripping state detection unit 80 which is a detection unit, acquires an image captured by the image pickup unit 30 and detects the contact state of the object with the transparent unit contact surface 40 based on the acquired image.
  • the gripping state detecting unit 80 provides the detected gripping state to the robot control unit 91.
  • the image acquisition unit 81 acquires the image information captured by the image pickup unit 30.
  • the image acquisition unit 81 provides the image acquired from the image pickup unit 30 to the image processing unit 82.
  • the image acquired by the imaging unit 30 will be described as a still image, but the information acquired by the imaging unit 30 may be a moving image.
  • the image processing unit 82 acquires an image from the image acquisition unit 81.
  • the image processing unit 82 performs a process of detecting the position of the marker 45 based on the acquired image.
  • the reference state storage unit 84 stores the position information of the marker 45 in a state where the object is not detected, that is, the reference position information.
  • the reference state storage unit 84 uses the reference position information of the direct visual imaging marker RM captured by the marker 45 on the direct visual imaging image R and the reference of the reflective visual imaging marker MM in which the marker 45 is captured on the reflective visual imaging image M. Stores location information.
  • the control unit 83 acquires the reference position information of the direct visual imaging marker RM, the reference position information of the reflective visual imaging marker MM, and the detection result of the position of the marker 45 from the image processing unit 82.
  • the detection result of the position of the marker 45 includes the position information of the direct visual imaging marker RM and the positional information of the reflective visual imaging marker MM.
  • control unit 83 acquires the reference position information of the direct visual imaging marker RM and the reference position information of the reflection visual imaging marker MM from the reference state storage unit 84.
  • the control unit 83 displaces the direct visual imaging marker RM based on the position information of the direct visual imaging marker RM indicated by the captured image P and the reference position information of the direct visual imaging marker RM acquired from the reference state storage unit 84.
  • the direct visual marker vector RAR is obtained.
  • control unit 83 of the reflection image imaging marker MM is based on the position information of the reflection image imaging marker MM indicated by the captured image P and the reference position information of the reflection image imaging marker MM acquired from the reference state storage unit 84.
  • the displacement for example, the reflection marker vector MAR
  • the control unit 83 outputs the displacement information of the marker 45 to the robot control unit 91.
  • the displacement information of the marker 45 indicates the gripping state of the gripping object. That is, the control unit 83 detects the gripping state of the gripping object.
  • the control unit 83 may determine that the object has come into contact with the transparent portion contact surface 40 when the displacement amount of the marker 45 exceeds a predetermined value.
  • the control unit 83 may output the image captured by the image pickup unit 30 to the robot control unit 91.
  • the image captured by the image pickup unit 30 includes an image of an object existing on the transmission portion contact surface 40 side of the transmission portion 43. That is, the image captured by the imaging unit 30 includes an image of the state of the outside world that can be observed through the transmission unit 43.
  • the robot control unit 91 can grasp the state of the surroundings of the transparent portion contact surface 40 regardless of whether or not the object is in contact with the transparent portion contact surface 40. it can.
  • FIG. 9 is a diagram showing an example of the operation of the robot system control unit 90 in the embodiment. An example of the operation of the robot system control unit 90 will be described with reference to FIG. (Step S10)
  • the image acquisition unit 81 acquires the image information captured by the image pickup unit 30.
  • the image acquisition unit 81 provides the image acquired from the image pickup unit 30 to the image processing unit 82.
  • the image processing unit 82 acquires an image from the image acquisition unit 81.
  • the image processing unit 82 processes the acquired image.
  • the image processing unit 82 distinguishes between the range of the direct-view captured image R of the captured image P and the range of the reflected-view captured image M.
  • the image processing unit 82 includes position information of the direct visual imaging marker RM existing in the range of the direct visual imaging image R, position information of the reflective visual imaging marker MM existing in the range of the reflective visual imaging image M, and the captured image P. Is provided to the control unit 83.
  • the control unit 83 acquires the position information of the direct visual imaging marker RM, the position information of the reflective visual imaging marker MM, and the captured image P from the image processing unit 82. Further, the control unit 83 acquires the position information of the direct visual imaging marker RM and the position information of the reflective visual imaging marker MM in a state where the object is not detected from the reference state storage unit 84.
  • the control unit 83 includes the position information of the direct vision imaging marker RM acquired from the image processing unit 82 and the position information of the reflected vision imaging marker MM, and the position information and the reflected vision of the direct vision imaging marker RM acquired from the reference state storage unit 84. Compare with the position information of the imaging marker MM. (Step S30) If there is a difference in the comparison results (step S30; YES), the control unit 83 determines that the object has come into contact with the transparent portion contact surface 40, and proceeds to the process in step S40. If there is no difference in the comparison results (step S30; NO), the control unit 83 determines that the object is not in contact with the transparent portion contact surface 40, and proceeds to the process in step S10.
  • Step S40 The control unit 83 notifies the robot control unit 91 of the gripping state. Specifically, the control unit 83 notifies the robot control unit 91 of the displacement information of the direct visual imaging marker RM and the reflection visual imaging marker MM. Further, the control unit 83 simultaneously provides the robot control unit 91 with the captured image P when the displacement is detected.
  • FIG. 10 is a diagram showing an example of a cross-sectional view of the tactile sensor according to the second embodiment.
  • the reflecting portion 20 has been described as one plane.
  • the second embodiment differs from the above-described embodiment in that the reflecting unit 20 has a plurality of different angles.
  • the tactile sensor 1 includes reflecting portions 20 having a plurality of different angles.
  • the tactile sensor 1 includes a first angle reflection unit 21 and a second angle reflection unit 22. (Hereinafter, in this embodiment, when the first angle reflecting unit 21 and the second angle reflecting unit 22 are not distinguished, the reflecting unit 20 is used.)
  • the normal line N21 is the normal line of the first angle reflecting unit 21.
  • the normal line N22 is the normal line of the second angle reflecting unit 22.
  • the normal line N21 and the normal line N22 intersect at the intersection IP. That is, the tactile sensor 1 includes a plurality of reflecting surfaces having different normal angles with respect to the imaging optical axis OA of the imaging unit 30.
  • the tactile sensor 1 has a plurality of reflecting portions 20 having different angles, so that the imaging unit 30 has a wider range even when the angle of view A10 is the same as that of the first embodiment. It is possible to observe.
  • the reflection unit 20 is composed of a plurality of reflection units (first angle reflection unit 21 and second angle reflection unit 22) having different angles. These reflecting portions may be formed of different reflecting members. Further, a reflecting portion having the same effect may be formed by forming a plurality of reflecting portions having different angles in one reflecting member.
  • FIG. 11 is a diagram showing an example of a range in which the imaging unit 30 in the second embodiment can take an image.
  • the captured image P includes a direct visual imaging image R, a reflective visual imaging image M1 corresponding to the first angle reflecting unit 21, and a reflective visual imaging image M2 corresponding to the second angle reflecting unit 22. Is provided as a component of the image.
  • the reflection image image M1 corresponding to the first angle reflection unit 21 and the reflection image image M2 corresponding to the second angle reflection unit 22 are not distinguished, the reflection image image M (.)
  • the direct visual imaging marker RM is imaged in the direct visual imaging image R.
  • the reflection image imaging marker MM is imaged in the reflection image image M.
  • the imaging unit 30 detects the gripping state by observing the direct visual imaging marker RM and the reflective visual imaging marker MM.
  • FIG. 12 is a diagram showing an example of a cross-sectional view of the tactile sensor according to the third embodiment.
  • the transmission contact surface 40 has been described as being flat.
  • the third embodiment differs from the above-described embodiment in that the transmissive contact surface 40 has a plurality of different angles (that is, has a curved surface).
  • the tactile sensor 1 includes a transmissive contact surface 40 having a plurality of different angles.
  • the tactile sensor 1 includes a first angle transmitting portion contact surface 41 and a second angle transmitting portion contact surface 42.
  • the normal line N41 is the normal line of the contact surface 41 of the first angle transmitting portion.
  • the normal line N42 is the normal line of the contact surface 42 of the second angle transmitting portion.
  • the normal line N41 and the normal line N42 intersect at the intersection IP. That is, the transmission unit 43 includes a plurality of regions in which the angles of the normal lines of the imaging unit 30 with respect to the imaging optical axis OA are different from each other.
  • the imaging unit 30 can image an image of an object existing on the contact surface 40 side of the transmitting unit due to light incident on each of the plurality of regions of the transmitting unit 43.
  • the tactile sensor 1 has a plurality of transmissive contact surfaces 40 having different angles, so that the imaging unit 30 has the same angle of view A10 as in the first embodiment. It is possible to observe a wide range.
  • the tactile sensor 1 includes the second angle transmitting portion contact surface 42, so that the tactile sensor 1 detects an object existing in the traveling direction. Therefore, the tactile sensor 1 can avoid a collision with an object existing in the traveling direction.
  • FIG. 13 is a diagram showing an example of a range in which the imaging unit 30 in the third embodiment can take an image.
  • the captured image P includes a direct visual image R1 corresponding to the first angle transmitting portion contact surface 41, a direct visual imaging image R2 corresponding to the second angle transmitting portion contact surface 42, and a reflection image.
  • the captured image M is provided as a component of the image.
  • the direct visual imaging image R1 corresponding to the first angle transmitting portion contact surface 41 and the direct visual imaging image R2 corresponding to the second angle transmitting portion contact surface 42 are not distinguished, it is direct.
  • the direct visual imaging marker RM is imaged in the direct visual imaging image R.
  • the reflection image imaging marker MM is imaged in the reflection image image M.
  • the imaging unit 30 detects the gripping state by observing the direct visual imaging marker RM and the reflective visual imaging marker MM.
  • FIG. 14 is a diagram showing an example of a cross-sectional view of the tactile sensor according to the fourth embodiment.
  • the reflecting unit 20 has a plurality of different angles
  • the transmission contact surface 40 has a plurality of different angles
  • the fourth embodiment is different from the above-described embodiment in that the reflecting portion 20 has a plurality of different angles and the transmitting portion contact surface 40 has a plurality of different angles.
  • the tactile sensor 1 includes reflecting portions 20 having a plurality of different angles. Further, the tactile sensor 1 includes a transmission portion contact surface 40 having a plurality of different angles.
  • the tactile sensor 1 includes a first angle reflecting portion 21, a second angle reflecting portion 22, a first angle transmitting portion contact surface 41, and a second angle transmitting portion contact surface 42.
  • the tactile sensor 1 has a plurality of reflecting portions 20 having different angles, so that the imaging unit 30 has a wider range even when the angle of view A10 is the same as that of the first embodiment. It is possible to observe.
  • the imaging unit 30 is wider even when the angle of view A10 is the same as that of the first embodiment. It is possible to observe the range.
  • the fourth embodiment by providing the second angle transmitting portion contact surface 42, observation can be performed even in the x-axis direction. Therefore, when the robot system control unit 90 moves the position of the tactile sensor module 10 in the x-axis direction, the image captured by the imaging unit 30 included in the tactile sensor 1 detects a collision with an object in the traveling direction in advance. be able to.
  • FIG. 15 is a diagram showing an example of a range in which the imaging unit 30 in the fourth embodiment can take an image.
  • the captured image P includes a direct visual image R1 corresponding to the first angle transmissive contact surface 41, a direct visual image R2 corresponding to the second angle transmissive contact surface 42, and a first image.
  • a reflection image captured image M1 corresponding to the angle reflection unit 21 and a reflection image image M2 corresponding to the second angle reflection unit 22 are provided as image components.
  • the direct visual imaging image R1 corresponding to the first angle transmitting portion contact surface 41 and the direct visual imaging image R2 corresponding to the second angle transmitting portion contact surface 42 are not distinguished, it is direct.
  • the visual imaging image R is defined as the visual imaging image R.
  • the reflection vision imaging is used.
  • Image M. As in the first embodiment, the direct visual imaging marker RM is imaged in the direct visual imaging image R. Further, the reflection image imaging marker MM is imaged in the reflection image image M.
  • the imaging unit 30 detects the gripping state by observing the direct visual imaging marker RM and the reflective visual imaging marker MM.
  • FIG. 16 is a diagram showing an example of a cross-sectional view of the tactile sensor according to the fifth embodiment.
  • the transmission contact surface 40 has been described as being flat.
  • the embodiment in which the transmission contact surface 40 has a plurality of different angles has been described.
  • the tactile sensor 1 includes transmissive contact surfaces 40 having a plurality of different angles.
  • the transmission portion contact surface 40 has a plurality of different angles with respect to the x-axis direction.
  • the transmissive contact surface 40 further has a plurality of different angles with respect to the z-axis direction.
  • the tactile sensor 1 includes a plurality of reflecting portions 20.
  • the tactile sensor 1 includes a first angle reflection unit 21 and a second angle reflection unit 22. (Hereinafter, in this embodiment, when the first angle reflecting unit 21 and the second angle reflecting unit 22 are not distinguished, the reflecting unit 20 is used.)
  • the tactile sensor 1 includes a transmissive contact surface 40 having a plurality of different angles.
  • the tactile sensor 1 includes a first angle transmitting portion contact surface 41 and a second angle transmitting portion contact surface 42.
  • the first angle transmitting portion contact surface 41 has a first angle transmitting portion contact surface 41S having different angles in the z-axis direction.
  • the second angle transmitting portion contact surface 42 has a second angle transmitting portion contact surface 42S having different angles in the z-axis direction.
  • the transparent portion contact surface 40 is used.
  • the tactile sensor 1 can observe a wider range also in the z-axis direction by having the transmissive contact surfaces 40S having a plurality of different angles with respect to the z-axis direction. become.
  • the robot system control unit 90 moves the position of the tactile sensor module 10 in the z-axis direction
  • the image captured by the image pickup unit 30 included in the tactile sensor 1 may detect a collision with an object in the traveling direction in advance. it can. That is, in the fifth embodiment, the tactile sensor 1 can avoid a collision.
  • FIG. 17 is a diagram showing an example of a range in which the imaging unit 30 in the fifth embodiment can take an image.
  • the captured image P includes a direct visual image R1 corresponding to the first angle transmitting portion contact surface 41, a direct visual image captured image RS1 corresponding to the first angle transmitting portion contact surface 41S, and a second image.
  • a reflection image captured image M2 corresponding to the second angle reflection unit 22 is provided as an image component.
  • the direct visual imaging image R1 when the direct visual imaging image R1, the direct visual imaging image R2, the direct visual imaging image RS1 and the direct visual imaging image RS2 are not distinguished, the direct visual imaging image R is used.
  • the reflection image image M1 corresponding to the first angle reflection unit 21 and the reflection image image M2 corresponding to the second angle reflection unit 22 are not distinguished, the reflection image image M is used.
  • the reflection image captured image M1 has an MS1 that reflects the transmission contact surface 40S.
  • the reflection image captured image M2 has an MS2 that reflects the transmission contact surface 40S.
  • the direct visual imaging marker RM is imaged in the direct visual imaging image R.
  • the reflection image imaging marker MM is imaged in the reflection image image M.
  • the imaging unit 30 detects the gripping state by observing the direct visual imaging marker RM and the reflective visual imaging marker MM.
  • the tactile sensor module 10 and the gripping state detection unit 80 described above are collectively referred to as a tactile sensor system.
  • the tactile sensor 1 of the present embodiment can detect the gripping state by observing the transparent transmissive portion 43 that deforms along the shape of the gripping object in contact with the contact surface.
  • the tactile sensor 1 includes a reflecting unit 20, and by observing the direct visual imaging image R and the reflective visual imaging image M, it is possible to observe outside the range of the angle of view A10 of the imaging unit 30.
  • the image pickup unit is arranged perpendicular to the transmission unit and does not have a reflection unit.
  • the tactile sensor 1 of the present embodiment in addition to directly observing the transmitting portion 43, it is possible to observe the transmitting portion 43 by the reflecting portion 20.
  • the image pickup unit at a position where the transmission unit 43 is directly imaged (a position where the image pickup optical axis of the image pickup unit is parallel to the normal direction of the transmission unit).
  • the tactile sensor 1 of the present embodiment since the method of observing the transmitting portion 43 by the reflecting portion 20 in addition to directly observing the transmitting portion 43 is used, it is possible to take an image in a wider range.
  • the tactile sensor 1 can be configured without widening the angle of the imaging unit 30 or downsizing the imaging unit 30. That is, according to the tactile sensor 1 of the present embodiment, miniaturization can be facilitated.
  • the transmission unit 43 is not provided and the imaging unit cannot image the gripped object to be gripped.
  • this conventional tactile sensor there is a problem that even if the gripping state of the gripping object slips, it cannot be detected by the imaging unit.
  • the imaging unit 30 can detect that the gripping object has slipped by directly looking at the gripping object. ..
  • the image pickup unit 30 can directly observe the transmission unit 43 and also observes the transmission unit 43 by the reflection unit 20, so that a wider range of images can be captured. Further, the imaging unit 30 can detect that the gripping object has slipped in the gripping state by directly viewing the gripping object.
  • the image pickup unit 30 is arranged so that the image pickup optical axis OA of the image pickup unit 30 and the normal line of the transmission portion non-contact surface 47 of the transmission portion 43 have an intersection.
  • the image pickup unit 30 is arranged at a position parallel to the image pickup optical axis OA of the image pickup unit 30 and the normal line of the transmission portion non-contact surface 47 of the transmission unit 43. Therefore, the size of the tactile sensor 1 depends on the size of the imaging unit 30.
  • the imaging unit 30 can be installed so that the imaging optical axis OA of the imaging unit 30 and the normal of the non-contact surface 47 of the transmitting unit 43 of the transmitting unit 43 have an intersection. That is, according to the tactile sensor 1 of the present embodiment, miniaturization can be facilitated.
  • the reflecting unit 20 includes a plurality of reflecting surfaces having different normal angles. Therefore, the imaging unit 30 provides a field of view that intentionally narrows the observable range.
  • the tactile sensor 1 can limit the range in which the gripping object exists in the three-dimensional space by observing the gripping object with a plurality of reflective surfaces. Therefore, the tactile sensor 1 can identify the existence of the gripping object in the more limited three-dimensional space, and can detect the gripping state more accurately. Further, since the tactile sensor 1 accurately grasps the three-dimensional space, when the robot system 100 drives the tactile sensor 1 to approach the gripping object, the gripping object can be found more quickly.
  • the transmission unit 43 includes a plurality of regions having different normal angles with respect to the image pickup optical axis OA of the image pickup unit 30, and the image pickup unit 30 covers the plurality of regions of the transmission unit 43. It is possible to take an image of an object existing on the contact surface 40 side of the transmissive portion that is incident on each of them.
  • the tactile sensor 1 can grasp the gripped object more accurately by observing the gripped object by direct vision and reflection vision, respectively. That is, according to the above-described embodiment, the tactile sensor 1 can detect a more accurate gripping state.
  • the transmission unit 43 includes a plurality of regions in which the angles of the normal lines of the imaging unit 30 with respect to the imaging optical axis OA are different from each other.
  • the imaging unit 30 can image an image of an object existing on the contact surface 40 side of the transmitting unit, which is incident on each of the plurality of regions of the transmitting unit 43. Therefore, the image pickup unit 30 can take a wider range by direct vision as compared with the case where the transmission section 43 is a flat surface. That is, when the robot system control unit 90 moves the position of the tactile sensor module 10, the tactile sensor 1 can detect an image of an object. Therefore, the tactile sensor 1 in the above-described embodiment can avoid a collision.
  • the gripping state detecting unit 80 acquires an image captured by the imaging unit 30 and detects the contact state of the object with respect to the contact surface based on the acquired image. That is, the robot system 100 can detect the gripping state of the object by including the gripping state detecting unit 80.
  • the gripping state detection unit 80 can provide the robot control unit 91 with information so that the robot control unit 91 can control the robot system 100.
  • Tactile sensor 10 ... Tactile sensor module, 11 ... Sensor connection part, 100 ... Robot system, 110 ... Tip part, 120 ... Upper arm part, 130 ... Joint part, 140 ... Lower arm part, 150 ... Main horizontal axis part, 160 ... Main vertical axis, 170 ... Base, 90 ... Robot system control, 20 ... Reflection, 30 ... Imaging, 40 ... Transmission contact surface, 47 ... Transmission non-contact surface, 43 ... Transmission, 45 ... Marker, 50 ... Frame, 70 ... Hard layer, 91 ... Robot control unit, 92 ... Input unit, 93 ... Output unit, 80 ... Gripping state detection unit, 81 ... Image acquisition unit, 82 ... Image processing unit, 83 ...
  • Control Unit, 84 Reference state storage unit, A10 ... Image angle, OA ... Imaging optical axis, IA10 ... First incident angle, RA10 ... First reflection angle, IA20 ... Second incident angle, RA20 ... Second reflection angle, IA30 ... 3rd incident angle, RA30 ... 3rd reflection angle, AR1 ... 1st imaging range, AR2 ... 2nd imaging range, AR3 ... 3rd imaging range, OB1 ... 1st object, OB2 ... 2nd object, OB3 ... 3 Objects, RM ... Direct visual imaging marker, MM ... Reflective visual imaging marker, R ... Direct visual imaging image, M ... Reflective visual imaging image, P ... Captured image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

触覚センサは、把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部とを備える。

Description

触覚センサ、触覚センサシステム及びプログラム
　本発明は、触覚センサ、触覚センサシステム及びプログラムに関する。
　従来、触覚センサを実現する方法として、ラバースキンの外面に当接した物体を検知する方法が知られている（例えば、特許文献１を参照）。
特開２０００－２８８９７３号公報
　従来技術による触覚センサは、撮像部の撮像光軸がラバースキン（以後、当接面とする。）の法線方向に対して平行に備えられていた。撮像部は当接面を撮像し、物体が当接面に当接したときの、当接面の変位を検知することにより、物体の把持状態を検知していた。
　ここで、触覚センサの大きさは、触覚する対象物が小さい場合など、小さい方がよい場合がある。触覚センサの小型化を考慮した場合、物体を撮像する撮像部と当接面との距離を短くすること、及び撮像部自体の小型化をすることが課題となる。
　従来技術における触覚センサでは、撮像部と接触面との距離を短くしようとする場合、撮像画角が広いレンズを使わなければならない。撮像画角が広いレンズを使用した場合には、歪みの発生や、光量の確保等の問題が生ずるといった問題があった。さらに、撮像部の小型化をしようとする場合にも、撮像部の小型化には画像感度の低下を伴うために限界があり、触覚センサを撮像部より小さくすることは不可能であった。つまり触覚センサの小型化を考慮した場合、撮像部と当接面との距離を短くすることによる画質の維持が困難であること、及び撮像部の小型化には限界があるという問題が生じていた。
　すなわち、従来手法によると、触覚センサの小型化が容易でないという問題があった。
　本発明は、このような状況に鑑みてなされたものであり、容易に小型化することが可能な触覚センサ、触覚センサシステム及びプログラムを提供することを目的とする。
　本発明の一態様に係る触覚センサは、把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部とを備える。
　また、本発明の一態様に係る触覚センサにおいて、前記透過部は、前記第一の面に接触した把持対象物の形状に沿って少なくとも一部が変形し、前記撮像部は、前記第一の面側に存在する物体の像と、前記透過部に付された前記透過部の変形を示すマーカの像との両方を前記第二の面側から撮像可能である。
　また、本発明の一態様に係る触覚センサにおいて、前記撮像部は、前記撮像部の撮像光軸と、前記透過部の前記第二の面の法線とが交点を有するように配置される。
　また、本発明の一態様に係る触覚センサにおいて、前記反射部は、前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の反射面を備える。
　また、本発明の一態様に係る触覚センサにおいて、前記撮像部は、前記反射部を介さずに入射する光による前記透過部の撮像対象領域の像である第１像と、前記反射部によって反射されて入射する光による前記透過部の撮像対象領域の像である第２像との両方を、前記透過部の像として撮像する。
　また、本発明の一態様に係る触覚において、前記透過部は、前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の領域を備え、前記撮像部は、前記透過部の複数の前記領域を介してそれぞれ入射する光による前記第一の面側に存在する物体の像を、それぞれ撮像可能である。
　また、本発明の一態様に係る触覚センサシステムは、上述の触覚センサと、前記撮像部が撮像した画像を取得し、取得した前記画像に基づき前記第一の面に対する物体の接触状態を検出する検出部と、を備える。
　また、本発明の一態様に係るプログラムは、把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部とを備える触覚センサと接続されたコンピュータに、前記撮像部が撮像した画像を取得する画像取得ステップと、前記画像取得ステップにより取得された前記画像に基づき、前記第一の面に対する物体の接触状態を検出する検出ステップと、を実行させる。
　本発明によれば、容易に小型化することが可能な触覚センサ、触覚センサシステム及びプログラムを提供できる。
実施形態におけるロボットシステムの一例を示す図である。 実施形態における触覚センサモジュールの一例を示す図である。 実施形態における触覚センサの断面図の一例を示す図である。 実施形態における撮像部が撮像可能な範囲の一例を示す図である。 実施形態における撮像部の撮像画像の一例を示す図である。 実施形態における把持対象物が接触面に触れた場合の触覚センサの断面図の一例を示す図である。 実施形態における把持対象物が接触面に触れた場合の触覚センサの撮像画像の一例を示す図である。 実施形態におけるロボットシステム制御部の一例を示す図である。 実施形態におけるロボットシステム制御部の動作の一例を示す図である。 第２の実施形態における触覚センサの断面図の一例を示す図である。 第２の実施形態における撮像部が撮像可能な範囲の一例を示す図である。 第３の実施形態における触覚センサの断面図の一例を示す図である。 第３の実施形態における撮像部が撮像可能な範囲の一例を示す図である。 第４の実施形態における触覚センサの断面図の一例を示す図である。 第４の実施形態における撮像部が撮像可能な範囲の一例を示す図である。 第５の実施形態における触覚センサの断面図の一例を示す図である。 第５の実施形態における撮像部が撮像可能な範囲の一例を示す図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
［ロボットシステム１００の構成］
　図１は、実施形態におけるロボットシステム１００の一例を示す図である。本実施形態におけるロボットシステム１００は、把持対象物と接触することにより把持状態を検出しつつ、把持対象物を把持する。
　本実施形態において、ロボットシステム１００は、触覚センサモジュール１０と、ロボットシステム制御部９０と、先端部１１０と、上腕部１２０と、関節部１３０と、下腕部１４０と、主横軸部１５０と、主縦軸部１６０と、土台部１７０とを備える。
　土台部１７０は、主縦軸部１６０と接続される部位である。
　主縦軸部１６０は、主横軸部１５０と土台部１７０とを繋ぐ部位である。主縦軸部１６０はロボットシステム制御部９０により制御され、主横軸部１５０を主縦軸部１６０の軸周りに変位させる。
　主横軸部１５０は、下腕部１４０と主縦軸部１６０とを繋ぐ部位である。主横軸部１５０はロボットシステム制御部９０により制御され、下腕部１４０を主横軸部１５０の軸周りに変位させる。
　下腕部１４０は、関節部１３０と主横軸部１５０とを繋ぐ部位である。
　関節部１３０は、上腕部１２０と下腕部１４０とを繋ぐ部位である。関節部１３０はロボットシステム制御部９０により制御され、上腕部１２０を関節部１３０の軸周りに変位させる。
　上腕部１２０は、先端部１１０と関節部１３０とを繋ぐ部位である。
　先端部１１０は、触覚センサモジュール１０と接続される。先端部１１０の姿勢（例えば、位置及び方向）は、ロボットシステム制御部９０によって制御される。触覚センサモジュール１０の姿勢は、先端部１１０の姿勢が変化することによって変化する。
　触覚センサモジュール１０は、把持対象物の接触状態を検知し、検知した把持対象物の接触状態を示す情報をロボットシステム制御部９０に出力する。
　ロボットシステム制御部９０は、触覚センサモジュール１０が出力した情報を取得する。
　ロボットシステム制御部９０は、ロボットシステム１００が備える各部（先端部１１０、上腕部１２０、関節部１３０、下腕部１４０、主横軸部１５０及び主縦軸部１６０）を不図示の駆動装置によって変位させることにより、触覚センサモジュール１０を移動させる。ロボットシステム制御部９０は、触覚センサモジュール１０から取得した情報に基づき、ロボットシステム１００の制御を行う。
　図２は、実施形態における触覚センサモジュール１０の一例を示す図である。本実施形態における触覚センサモジュール１０は、センサ接続部１１と、第１触覚センサ１ａと、第２触覚センサ１ｂとを備える。以降の説明において、ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって触覚センサモジュール１０の姿勢を示す場合がある。
　センサ接続部１１は、先端部１１０と第１触覚センサ１ａ及び第２触覚センサ１ｂとを繋ぐ部位である。
　第１触覚センサ１ａは、センサ接続部１１に接続される。第１触覚センサ１ａは、第１透過部接触面４０ａを備えている。
　第２触覚センサ１ｂは、センサ接続部１１に接続される。第２触覚センサ１ｂは、第２透過部接触面４０ｂを備えている。
　第１触覚センサ１ａと第２触覚センサ１ｂとは、第１透過部接触面４０ａと第２透過部接触面４０ｂとが互いに向きあう位置に配置される。センサ接続部１１は、不図示の駆動装置を備えており、ロボットシステム制御部９０からの指示に基づき、第１触覚センサ１ａ及び第２触覚センサ１ｂ（又はそれらのセンサのうち一方。以下の説明において同じ。）をｙ軸方向に変位させる。触覚センサモジュール１０は、第１触覚センサ１ａ及び第２触覚センサ１ｂをｙ軸方向に駆動させることにより、第１触覚センサ１ａ及び第２触覚センサ１ｂの間にある把持対象物を把持する。
［触覚センサ１の構成］
　図３は、実施形態における触覚センサの断面図の一例を示す図である。同図には、図２に示す第１触覚センサ１ａのｘｙ平面上の断面図を示す。ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって触覚センサモジュール１０の方向を示す。
　なお、第１触覚センサ１ａと、第２触覚センサ１ｂとは互いに同様の構成であるため、第１触覚センサ１ａについて説明し、第２触覚センサ１ｂについての説明は省略する。
　第１触覚センサ１ａは、第１撮像部３０ａと、第１反射部２０ａと、第１透過部４３ａと、第１マーカ４５ａと、第１透過部接触面４０ａと、第１透過部非接触面４７ａと、第１硬質レイヤ７０ａと、第１フレーム５０ａとを備える。
　なお、以下において、第１撮像部３０ａを撮像部３０と、第１反射部２０ａを反射部２０と、第１透過部４３ａを透過部４３と、第１マーカ４５ａをマーカ４５と、第１透過部接触面４０ａを透過部接触面４０と、第１透過部非接触面４７ａを透過部非接触面４７と、第１硬質レイヤ７０ａを硬質レイヤ７０と、第１フレーム５０ａをフレーム５０と、それぞれ言い換えて説明する。
　フレーム５０は、撮像部３０、反射部２０、透過部４３、及び硬質レイヤ７０を保持する。
　透過部４３は、光を透過させる透明な材質によって構成されており、透過部接触面４０と、透過部非接触面４７とを備える。例えば、透過部４３の具体的な材質として、厚さが２ミリメートルで約９４パーセントの透過率のシリコーン素材がある。
　透過部接触面４０とは、透過部４３の表面及び裏面のうち、把持対象物に接触可能な面である。透過部非接触面４７は、透過部４３の表面及び裏面のうち、把持対象物に接触しない面である。
　なお、以下の説明において、透過部４３の面のうち、把持対象物に接触可能な面（つまり、透過部接触面４０）を表面又は第一の面ともいい、把持対象物に接触しない面（つまり、透過部非接触面４７）を裏面又は第二の面ともいう。すなわち、透過部４３は、把持対象物に接触可能な接触面である透過部接触面４０と、接触面の裏面であり把持対象物に接触しない非接触面である透過部非接触面４７とを備える。
　また、透過部４３は、透明な材質により構成される。この一例において、透過部４３は、接触面である透過部接触面４０に接触した把持対象物の形状に沿って少なくとも一部が変形する。
　マーカ４５は、透過部４３の所定の位置に複数配置される。本実施形態の一例では、マーカ４５とは、透過部４３の内部の等間隔に区切られた格子点の位置に配置された不透明部材である。なお、マーカ４５は、透過部４３の内部に配置されるとしたがこれに限られず、透過部接触面４０に備えられていてもよいし、透過部非接触面４７に備えられていてもよい。また、マーカ４５は、格子点の位置に離散的に配置されるものとして説明するがこれに限られない。マーカ４５は格子パターンやその他の連続的なパターンであってもよい。また、マーカ４５のパターンは把持対象物の把持状況の検知が容易なように不規則的なパターンであってもよい。マーカ４５は、不透明部材であるとして説明したがこれに限られず、把持対象物が接触したときの変位が光学的に認識できるものであれば半透明部材や透明部材であってもよい。
　硬質レイヤ７０は、透過部４３の透過部非接触面４７に接する位置に備えられる。硬質レイヤ７０は、透明で硬質なアクリル等の材質により構成される。硬質レイヤ７０は、把持対象物が把持された場合において、透過部４３の変形量を制約する。
　なお、本実施形態では透過部４３と硬質レイヤ７０とをそれぞれ別個の構成要素として説明する。把持対象物が把持された場合の透過部４３の変形量が所定範囲に収まるのであれば、硬質レイヤ７０は省略されていてもよい。
　反射部２０は、例えば鏡などの、光を反射させる反射面を備える。この反射面は、透過部４３の非接触面側に配置される。反射部２０は、透過部４３を透過した光を反射させ、反射させた光を撮像部３０に導く。
反射部２０は、透過部４３の少なくとも一部の領域からの光を反射させる。すなわち、反射部２０は、透過部４３の非接触面（例えば、透過部非接触面４７）側に配置され、透過部４３の少なくとも一部の領域からの光を反射させて撮像部３０の撮像画角内に導く。
　撮像部３０は、透過部４３の表裏両面のうち、透過部非接触面４７側に配置される。より具体的には、撮像部３０は、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線Ｎ４１とが交点を有するように（撮像光軸ＯＡと法線Ｎ４１とが平行とならないように）配置される。
　撮像部３０は、撮像光軸ＯＡを中心とした撮像画角内の像を撮像し、撮像結果を画像情報として出力する。撮像部３０は、透過部４３の透過部接触面４０側に存在する物体の像を透過部非接触面４７側から撮像可能である。
　ここで、透過部４３を透過した光には、透過部４３の透過部接触面４０側に存在する物体の像が含まれている。また、透過部４３を透過した光には、透過部４３に配置されたマーカ４５の像（つまり、透過部４３の像又は透過部の像）が含まれている。すなわち、撮像部３０は、透過部４３の接触面側である透過部接触面４０側に存在する物体の像と、透過部４３に付された透過部４３の変形を示すマーカの像との両方を非接触面側である透過部非接触面４７側から撮像可能である。
　また、撮像部３０の撮像可能範囲内には、透過部４３を透過し反射部２０によって反射された光による像と、透過部４３を透過し反射部２０を介さずに撮像部３０に直接到達する光による像とが含まれる。以下の説明において、透過部４３を透過し反射部２０を介さずに撮像部３０に直接到達する光による像のことを直接像ともいう。また、透過部４３を透過し反射部２０によって反射された光による像のことを反射像ともいう。撮像部３０の撮像可能範囲について、図４及び図５を参照して説明する。
［撮像部３０が撮像可能な範囲］
　図４は、実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。触覚センサ１が備える撮像部３０が撮像可能な範囲について説明する。
　この一例において、撮像部３０の撮像可能な範囲は、撮像部３０の画角Ａ１０と、反射部２０の配置との幾何学的な相対関係によって定まる。撮像部３０の撮像可能な範囲は、直接像を撮像可能である領域と、反射像を撮像可能である領域とが含まれる。
　例えば、透過部接触面４０側から反射部２０に入射する光の入射角が第１入射角ＩＡ１０である場合、反射部２０に入射した光は、第１反射角ＲＡ１０の方向に出射する。
　透過部接触面４０側から反射部２０に入射する光の入射角が第２入射角ＩＡ２０である場合、反射部２０に入射した光は、第２反射角ＲＡ２０の方向に出射する。
　また、透過部接触面４０側から反射部２０に入射する光の入射角が第３入射角ＩＡ３０である場合、反射部２０に入射した光は、第３反射角ＲＡ３０の方向（この一例の場合、撮像光軸ＯＡ）に出射する。
　反射部２０から出射する光による像（すなわち、反射像）が画角Ａ１０内に含まれる場合には、撮像部３０は、反射部２０から出射する光を撮像可能である。
　第１撮像範囲ＡＲ１は、撮像部３０が直接像を撮像可能な範囲であり、かつ、撮像部３０が反射像を撮像不可能な範囲である。
　第２撮像範囲ＡＲ２は、撮像部３０が直接像と反射像との両方を撮像可能な範囲である。
　第３撮像範囲ＡＲ３は、撮像部３０が直接像を撮像不可能な範囲であり、かつ、撮像部３０が反射像を撮像可能な範囲である。
　図５は、実施形態における撮像部３０の撮像画像の一例を示す図である。撮像画像Ｐは、直接視撮像画像Ｒ及び反射視撮像画像Ｍを画像の構成要素として備える。撮像画像Ｐをｘｃ軸及びｙｃ軸の二次元直交座標系によって示す。ｘｃｙｃ平面は、図４においてｙｚ平面が撮像された画像面を示す。
　直接視撮像マーカＲＭは、撮像部３０がマーカ４５の直接像を撮像した画像である。
　反射視撮像マーカＭＭは、撮像部３０がマーカ４５の反射像を撮像した画像である。
　以下、図４及び図５を参照し、第１対象物ＯＢ１～第３対象物ＯＢ３を一例にして説明する。
　この一例において、第１対象物ＯＢ１は、第１撮像範囲ＡＲ１に存在する。この場合、撮像部３０は、第１対象物ＯＢ１の直接像を撮像可能であり、第１対象物ＯＢ１の反射像を撮像不可能である。
　第２対象物ＯＢ２は、第２撮像範囲ＡＲ２に存在する。この場合、撮像部３０は、第２対象物ＯＢ２の直接像及び反射像を撮像可能である。
　第３対象物ＯＢ３は、第３撮像範囲ＡＲ３に存在する。この場合、撮像部３０は、第３対象物ＯＢ３の直接像を撮像不可能であり、第３対象物ＯＢ３の反射像を撮像可能である。
　撮像部３０は、反射部２０を介さずに入射する光による透過部４３の撮像対象領域の像である第１像と、反射部２０によって反射されて入射する光による透過部４３の撮像対象領域の像である第２像との両方を、透過部４３の像として撮像する。
　すなわち、撮像部３０は、直接視撮像画像Ｒと、反射視撮像画像Ｍとを同時に撮像することができる。
［把持対象物が透過部接触面４０に接触した場合］
　図６は、実施形態における把持対象物が接触面に触れた場合の触覚センサの断面図の一例を示す図である。一例として、対象物ＯＢ４が、透過部接触面４０に接触した場合について説明する。
　この一例において、把持対象物である対象物ＯＢ４は、透過部接触面４０に接触している。対象物ＯＢ４が透過部接触面４０に接触している範囲を、対象物検出範囲ＯＤＡとする。対象物が透過部接触面４０に接触する前と後とにおいて、対象物検出範囲ＯＤＡにあるマーカ４５が変位する。撮像部３０は対象物検出範囲ＯＤＡにおけるマーカ４５を時系列に撮像する。
　なお、この一例において、対象物ＯＢ４は、第２撮像範囲ＡＲ２及び第３撮像範囲ＡＲ３の両方の撮像範囲にまたがる位置に存在している。したがって、直接視及び反射視の両方が可能である。
　図７は、実施形態における把持対象物が接触面に触れた場合の触覚センサの撮像画像の一例を示す図である。撮像画像Ｐは、直接視撮像画像Ｒ及び反射視撮像画像Ｍを画像の構成要素として備える。対象物ＯＢ４が透過部接触面４０に接触した場合の撮像画像Ｐを同図に示す。
　直接視撮像画像Ｒには、直接視撮像マーカＲＭが撮像されている。ここで、直接視対象物検出範囲ＲＯＤＡは、対象物検出範囲ＯＤＡのうち、直接視撮像画像Ｒとして撮像される範囲である。
　反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。ここで、反射視対象物検出範囲ＭＯＤＡは、対象物検出範囲ＯＤＡのうち、反射視撮像画像Ｍとして撮像された範囲である。
　ここで、マーカ４５の直接像について、対象物ＯＢ４の接触前のマーカ４５の位置と、対象物ＯＢ４の接触後のマーカ４５の位置とを比較して説明する。
　接触前直接視マーカ画像ＲＭＢは、直接視対象物検出範囲ＲＯＤＡにおける、対象物ＯＢ４が透過部接触面４０に接触する前の直接視撮像マーカＲＭである。
　接触後直接視マーカ画像ＲＭＡは、直接視対象物検出範囲ＲＯＤＡにおける、対象物ＯＢ４が透過部接触面４０に接触した後の直接視撮像マーカＲＭである。
　ここで、時間変化によるマーカ４５の画像内の位置の差をマーカベクトルによって表す。接触前直接視マーカ画像ＲＭＢと、接触後直接視マーカ画像ＲＭＡとの間には、同図に示すように画像内の位置の差が生じる。直接視マーカベクトルＲＡＲは、接触前直接視マーカ画像ＲＭＢと、接触後直接視マーカ画像ＲＭＡとの差を示している。ロボットシステム１００は、直接視マーカベクトルＲＡＲを求めることにより、対象物ＯＢ４の把持状態を検知することが可能である。
　また、マーカ４５の反射像についても直接像と同様にして、時間変化によるマーカ４５の画像内の位置の差をマーカベクトルによって表すことができる。すなわち、接触前反射視マーカ画像ＭＭＢと、接触後反射視マーカ画像ＭＭＡとの間には、同図に示すように画像内の位置の差が生じる。反射視マーカベクトルＭＡＲは、接触前反射視マーカ画像ＭＭＢと、接触後反射視マーカ画像ＭＭＡとの差を示している。ロボットシステム１００は、反射視マーカベクトルＭＡＲを求めることにより、対象物ＯＢ４の把持状態を検知することが可能である。
［把持対象物が透過部接触面４０に触れた場合］
　図８は、実施形態におけるロボットシステム制御部９０の一例を示す図である。
　ロボットシステム制御部９０は、ロボット制御部９１と、入力部９２と、出力部９３と、把持状態検出部８０とを備える。
　ロボット制御部９１は、いずれも不図示のマイクロコンピュータ、ＲＡＭ(Random access memory)及びＲＯＭ(Read only memory)等のメモリ、及び外部機器との通信を行う通信部等を備えている。
　入力部９２は、圧力センサ、位置センサ、温度センサ、及び加速度センサ等のセンサ、カメラ、マイク（いずれも不図示）などから情報を取得する。
　出力部９３は、不図示のロボット駆動用のモータ（不図示）などに駆動信号を出力する。
　把持状態検出部８０は、画像取得部８１と、画像処理部８２と、制御部８３と、基準状態記憶部８４とを備える。
　ロボットシステム１００において、検出部である把持状態検出部８０は、撮像部３０が撮像した画像を取得し、取得した画像に基づき透過部接触面４０に対する物体の接触状態を検出する。
　把持状態検出部８０は、検出した把持状態をロボット制御部９１に提供する。
　画像取得部８１は、撮像部３０が撮像した画像情報を取得する。画像取得部８１は、撮像部３０より取得した画像を画像処理部８２に提供する。
　なお、この一例では、撮像部３０が取得する画像が静止画であるとして説明するが、撮像部３０が取得する情報は動画でもよい。
　画像処理部８２は、画像取得部８１から画像を取得する。画像処理部８２は、取得した画像に基づいて、マーカ４５の位置を検出する処理を行う。
　基準状態記憶部８４は、対象物を検出していない状態のマーカ４５の位置情報、すなわち基準位置情報を記憶している。つまり基準状態記憶部８４は、マーカ４５が直接視撮像画像Ｒに撮像された直接視撮像マーカＲＭの基準位置情報、及びマーカ４５が反射視撮像画像Ｍに撮像された反射視撮像マーカＭＭの基準位置情報を記憶している。
　制御部８３は、画像処理部８２から、直接視撮像マーカＲＭの基準位置情報、反射視撮像マーカＭＭの基準位置情報、及びマーカ４５の位置の検出結果を取得する。このマーカ４５の位置の検出結果には、直接視撮像マーカＲＭの位置情報と、反射視撮像マーカＭＭの位置情報とが含まれている。
　また、制御部８３は、基準状態記憶部８４から直接視撮像マーカＲＭの基準位置情報、及び反射視撮像マーカＭＭの基準位置情報を取得する。制御部８３は、撮像画像Ｐが示す直接視撮像マーカＲＭの位置情報と、基準状態記憶部８４から取得した直接視撮像マーカＲＭの基準位置情報とに基づいて、直接視撮像マーカＲＭの変位（例えば、直接視マーカベクトルＲＡＲ）を求める。また、制御部８３は、撮像画像Ｐが示す反射視撮像マーカＭＭの位置情報と、基準状態記憶部８４から取得した反射視撮像マーカＭＭの基準位置情報とに基づいて、反射視撮像マーカＭＭの変位（例えば、反射視マーカベクトルＭＡＲ）を求める。
　制御部８３は、マーカ４５の変位情報をロボット制御部９１に出力する。このマーカ４５の変位情報は、把持対象物の把持状態を示している。すなわち、制御部８３は、把持対象物の把持状態を検出する。
　なお、制御部８３は、マーカ４５の変位量が所定値を超える場合に、対象物が透過部接触面４０に接触したと判定してもよい。
　また、制御部８３は、画像取得部８１は、撮像部３０が撮像した画像をロボット制御部９１に出力してもよい。撮像部３０が撮像した画像には、透過部４３の透過部接触面４０側に存在する物体の画像が含まれている。つまり、撮像部３０が撮像した画像には、透過部４３を介して観察可能な外界の様子の画像が含まれている。このように構成された把持状態検出部８０によれば、透過部接触面４０への物体の接触の有無にかかわらず、透過部接触面４０の周囲の様子をロボット制御部９１に把握させることができる。
　図９は、実施形態におけるロボットシステム制御部９０の動作の一例を示す図である。図９を参照してロボットシステム制御部９０の動作の一例について説明する。
（ステップＳ１０）画像取得部８１は、撮像部３０が撮像した画像情報を取得する。画像取得部８１は、撮像部３０より取得した画像を画像処理部８２に提供する。
（ステップＳ２０）画像処理部８２は、画像取得部８１から画像を取得する。画像処理部８２は、取得した画像について処理を行う。画像処理部８２は撮像画像Ｐの直接視撮像画像Ｒの範囲と、反射視撮像画像Ｍの範囲とを識別する。画像処理部８２は、直接視撮像画像Ｒの範囲内に存在する直接視撮像マーカＲＭの位置情報、反射視撮像画像Ｍの範囲内に存在する反射視撮像マーカＭＭの位置情報、及び撮像画像Ｐを制御部８３に提供する。制御部８３は、画像処理部８２から、直接視撮像マーカＲＭの位置情報、反射視撮像マーカＭＭの位置情報、及び撮像画像Ｐを取得する。また、制御部８３は、基準状態記憶部８４から対象物を検出していない状態の直接視撮像マーカＲＭの位置情報、反射視撮像マーカＭＭの位置情報を取得する。制御部８３は、画像処理部８２から取得した直接視撮像マーカＲＭの位置情報及び反射視撮像マーカＭＭの位置情報と、基準状態記憶部８４から取得した直接視撮像マーカＲＭの位置情報及び反射視撮像マーカＭＭの位置情報とを比較する。
（ステップＳ３０）制御部８３は、比較した結果に差がある場合（ステップＳ３０；ＹＥＳ）には、対象物が透過部接触面４０に接触したと判定し、処理をステップＳ４０に進める。制御部８３は、比較した結果に差がない場合（ステップＳ３０；ＮＯ）には、対象物が透過部接触面４０に接触していないと判定し、処理をステップＳ１０に進める。
（ステップＳ４０）制御部８３は、ロボット制御部９１に把持状態を通知する。具体的には、制御部８３は直接視撮像マーカＲＭ及び反射視撮像マーカＭＭの変位情報をロボット制御部９１に通知する。また制御部８３は、変位が検知された際の撮像画像Ｐを同時にロボット制御部９１に提供する。
［第２の実施形態］
　図１０は、第２の実施形態における触覚センサの断面図の一例を示す図である。
　上述した実施形態では、反射部２０は１つの平面であるとして説明した。第２の実施形態では、反射部２０が複数の異なる角度を持つ点で、上述した実施形態と異なる。
　第２の実施形態において、触覚センサ１は、複数の異なる角度を持つ反射部２０を備える。この一例において、触覚センサ１は、第１角度反射部２１及び第２角度反射部２２を備える。（以後この実施形態において、第１角度反射部２１と、第２角度反射部２２とを区別しない場合には、反射部２０とする。）
　法線Ｎ２１は第１角度反射部２１の法線である。
　法線Ｎ２２は第２角度反射部２２の法線である。
　ここで、法線Ｎ２１と法線Ｎ２２は、交点ＩＰにおいて交差する。つまり、触覚センサ１は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の反射面を備える。
　第２の実施形態において、触覚センサ１は、角度が互いに異なる複数の反射部２０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。
　なお、この一例において反射部２０は複数の異なる角度を持つ反射部（第１角度反射部２１及び第２角度反射部２２）から構成されている。これらの反射部は、それぞれ異なる反射部材により構成してもよい。また、一つの反射部材に複数の異なる角度を持つ反射部を構成することにより同様の効果を持つ反射部を構成してもよい。
　図１１は、第２の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第２の実施形態において、撮像画像Ｐは、直接視撮像画像Ｒと、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを画像の構成要素として備える。（以後この実施形態において、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを区別しない場合には、反射視撮像画像Ｍとする。）
　直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
　撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
［第３の実施形態］
　図１２は、第３の実施形態における触覚センサの断面図の一例を示す図である。
　上述した実施形態では、透過部接触面４０は平面であるとして説明した。第３の実施形態では、透過部接触面４０が複数の異なる角度を持つ（つまり、湾曲面を有する）点で、上述した実施形態と異なる。
　第３の実施形態において、触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。この一例において、触覚センサ１は、第１角度透過部接触面４１と、第２角度透過部接触面４２とを備える。（以後この実施形態において、第１角度透過部接触面４１と、第２角度透過部接触面４２とを区別しない場合には、透過部接触面４０とする。）
　法線Ｎ４１は、第１角度透過部接触面４１の法線である。
　法線Ｎ４２は、第２角度透過部接触面４２の法線である。
　ここで、法線Ｎ４１と法線Ｎ４２は、交点ＩＰにおいて交差する。つまり、透過部４３は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の領域を備える。撮像部３０は、透過部４３の複数の領域を介してそれぞれ入射する光による透過部接触面４０側に存在する物体の像を、それぞれ撮像可能である。
　第３の実施形態において、触覚センサ１は、角度が互いに異なる複数の透過部接触面４０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。特に第３の実施形態では、第２角度透過部接触面４２を備えることにより、ｘ軸方向に対して、より広い範囲の観察が可能となる。したがって、ロボットシステム制御部９０が触覚センサモジュール１０の位置をｘ軸方向に移動させる場合、触覚センサ１が備える撮像部３０が撮像する画像により、進行方向にある物体との衝突を事前に検知することができる。
　つまり第３の実施形態において、触覚センサ１は第２角度透過部接触面４２を備えることにより、触覚センサ１は進行方向に存在する物体を検知する。したがって、触覚センサ１は、進行方向に存在する物体との衝突を回避することが可能になる。
　図１３は、第３の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第３の実施形態において、撮像画像Ｐは、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２と、反射視撮像画像Ｍとを画像の構成要素として備える。（以後この実施形態において、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２とを区別しない場合には、直接視撮像画像Ｒとする。）
　直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
　撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
［第４の実施形態］
　図１４は、第４の実施形態における触覚センサの断面図の一例を示す図である。
　上述した第２の実施形態では、反射部２０が複数の異なる角度を持つ実施形態について説明した。また、上述した第３の実施形態では、透過部接触面４０が複数の異なる角度を持つ実施形態について説明した。第４の実施形態では、反射部２０が複数の異なる角度を持ち、かつ透過部接触面４０が複数の異なる角度を持つ点で上述した実施形態と異なる。
　第４の実施形態において、触覚センサ１は、複数の異なる角度を持つ反射部２０を備える。また、触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。この一例において、触覚センサ１は、第１角度反射部２１、第２角度反射部２２、第１角度透過部接触面４１、及び第２角度透過部接触面４２を備える。（以後この実施形態において、第１角度反射部２１と、第２角度反射部２２とを区別しない場合には、反射部２０とする。また、第１角度透過部接触面４１と、第２角度透過部接触面４２とを区別しない場合には、透過部接触面４０とする。）
　第４の実施形態において、触覚センサ１は、角度が互いに異なる複数の反射部２０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。また、この一例において、触覚センサ１は、角度が互いに異なる複数の透過部接触面４０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。特に第４の実施形態では、第２角度透過部接触面４２を備えることにより、ｘ軸方向に対しても観察が可能となる。したがって、ロボットシステム制御部９０が触覚センサモジュール１０の位置をｘ軸方向に移動させる場合、触覚センサ１が備える撮像部３０が撮像する画像により、進行方向にある物体との衝突を事前に検知することができる。
　図１５は、第４の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第４の実施形態において、撮像画像Ｐは、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２と、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを画像の構成要素として備える。（以後この実施形態において、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２とを区別しない場合には、直接視撮像画像Ｒとする。また、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを区別しない場合には、反射視撮像画像Ｍとする。）
　直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
　撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
［第５の実施形態］
　図１６は、第５の実施形態における触覚センサの断面図の一例を示す図である。
　上述した実施形態では、透過部接触面４０は平面であるとして説明した。また、上述した第３の実施形態及び第４の実施形態では、透過部接触面４０が複数の異なる角度を持つ実施形態について説明した。特に、ｘ軸方向にのみ複数の角度を持つとして説明したが、第５の実施形態では、ｚ軸方向についても複数の角度を持つ点で、第５の実施形態は、第３の実施形態及び第４の実施形態と異なる。
　第５の実施形態において、触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。ここで、第３の実施形態及び第４の実施形態において、透過部接触面４０は、ｘ軸方向に対し複数の異なる角度を持つことを説明した。第５の実施形態においては、透過部接触面４０は、さらにｚ軸方向に対し複数の異なる角度を持つ。
　触覚センサ１は、複数の反射部２０を備える。この一例において、触覚センサ１は、第１角度反射部２１及び第２角度反射部２２を備える。（以後この実施形態において、第１角度反射部２１と、第２角度反射部２２とを区別しない場合には、反射部２０とする。）
　触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。この一例において、触覚センサ１は、第１角度透過部接触面４１と、第２角度透過部接触面４２とを備える。
　さらに、第１角度透過部接触面４１は、ｚ軸方向に異なる角度を持つ第１角度透過部接触面４１Ｓを有する。第２角度透過部接触面４２は、ｚ軸方向に異なる角度を持つ第２角度透過部接触面４２Ｓを有する。（以後この実施形態において、第１角度透過部接触面４１と、第２角度透過部接触面４２と、第１角度透過部接触面４１Ｓと、第２角度透過部接触面４２Ｓとを区別しない場合には、透過部接触面４０とする。）
　第５の実施形態において、触覚センサ１は、ｚ軸方向に対し複数の異なる角度を持つ透過部接触面４０Ｓを有することにより、ｚ軸方向に対しても、より広い範囲を観察することが可能になる。ロボットシステム制御部９０が触覚センサモジュール１０の位置をｚ軸方向に移動させる場合、触覚センサ１が備える撮像部３０が撮像する画像により、進行方向にある物体との衝突を事前に検知することができる。
　つまり第５の実施形態において、触覚センサ１は、衝突回避をすることが可能になる。
　図１７は、第５の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第５の実施形態において、撮像画像Ｐは、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第１角度透過部接触面４１Ｓに対応する直接視撮像画像ＲＳ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２と、第２角度透過部接触面４２Ｓに対応する直接視撮像画像ＲＳ２と、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを画像の構成要素として備える。（以後この実施形態において、直接視撮像画像Ｒ１と、直接視撮像画像Ｒ２と、直接視撮像画像ＲＳ１と、直接視撮像画像ＲＳ２とを区別しない場合には、直接視撮像画像Ｒとする。また、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを区別しない場合には、反射視撮像画像Ｍとする。）
　反射視撮像画像Ｍ１は、透過部接触面４０Ｓを反射するＭＳ１を有する。
　反射視撮像画像Ｍ２は、透過部接触面４０Ｓを反射するＭＳ２を有する。
　直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
　撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
　なお、上述した触覚センサモジュール１０と把持状態検出部８０とを総称して、触覚センサシステムともいう。
［実施形態の効果のまとめ］
　以上説明したように、本実施形態の触覚センサ１は、接触面に接触した把持対象物の形状に沿って変形する透明な透過部４３を観察することにより、把持状態を検出することができる。触覚センサ１は反射部２０を備え、直接視撮像画像Ｒと、反射視撮像画像Ｍとを観察することにより、撮像部３０の画角Ａ１０の範囲外を観察することが可能となる。
　ここで、従来の触覚センサの一例によると、撮像部は透過部に対して垂直に配置されており、また、反射部を備えていない。したがって、触覚センサの小型化をするためには、画角の広い撮像部を用いて撮像部と透過部との距離を短くする、もしくは撮像部自体の小型化を行う必要があった。撮像部の画角をより広角にしたり、撮像部を小型化したりすると、撮像品質が低下し、物体の把持状態の検出精度が低下してしまうという問題があった。つまり、従来の方法では、小型化が容易でないという問題があった。
　本実施形態の触覚センサ１によれば、透過部４３を直接観察することに加え、反射部２０により透過部４３を観察することが可能である。したがって、透過部４３を直接視により撮像する位置（撮像部の撮像光軸が透過部の法線方向に対して平行な位置）に撮像部を配置する必要がない。また、本実施形態の触覚センサ１によれば、透過部４３を直接観察することに加え、反射部２０により透過部４３を観察するという手法を用いるので、より広い範囲の撮像が可能となるため、撮像部３０を広角化することなく、又は撮像部３０を小型化することなく、触覚センサ１を構成することが可能となる。
　すなわち、本実施形態の触覚センサ１によれば、小型化を容易にすることができる。
　また、従来の触覚センサの他の一例によると、透過部４３を備えておらず、把持している把持対象物を撮像部が撮像できない構成のものがあった。この従来の触覚センサの他の一例によると、把持対象物の把持状態に滑りが生じても撮像部によっては検出できないという問題があった。
　本実施形態の触覚センサ１によれば、透過部４３を備えるため、撮像部３０は把持対象物を直接視することにより、把持対象物の把持状態に滑りが生じたことを検知することができる。
　すなわち、本実施形態の触覚センサ１によれば、撮像部３０は透過部４３を直接観察することに加え、反射部２０により透過部４３を観察することにより、より広い範囲の撮像が可能となり、さらに撮像部３０は把持対象物を直接視することにより、把持対象物の把持状態に滑りが生じたことを検知することができる。
　また、上述した実施形態によれば、撮像部３０は、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線とが交点を有するように配置される。
　従来の技術では、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線とは平行な位置に撮像部３０が配置されていた。そのため、触覚センサ１の大きさは、撮像部３０の大きさに依存していた。
　しかしながら上述した実施形態によれば、撮像部３０を、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線とが交点を有するように設置できる。
　すなわち、本実施形態の触覚センサ１によれば、小型化を容易にすることができる。
　また、上述した実施形態によれば、反射部２０は、法線の角度が互いに異なる複数の反射面を備える。したがって、撮像部３０は、意図的に観察できる範囲を狭めた視野を提供する。触覚センサ１は複数の反射面により把持対象物を観察することで、把持対象物が３次元空間上に存在している範囲を限定することができる。
　したがって、触覚センサ１はより限定された３次元空間上に把持対象物が存在することを特定することが可能になり、より正確な把持状態を検出することができるようになる。また、触覚センサ１は正確に３次元空間を把握することにより、ロボットシステム１００が触覚センサ１を駆動させて把持対象物に近づける際、把持対象物をより早く発見できるようになる。
　また、上述した実施形態によれば、透過部４３は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の領域を備え、撮像部３０は、透過部４３の複数の領域を介してそれぞれ入射する透過部接触面４０側に存在する物体の像を、それぞれ撮像可能である。触覚センサ１は直接視及び反射視のそれぞれにより把持対象物を観察することで、把持対象物をより正確に把握することができる。
　つまり上述した実施形態によれば、触覚センサ１は、より正確な把持状態を検出することができる。
　また、上述した実施形態によれば、透過部４３は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の領域を備える。撮像部３０は、透過部４３の複数の領域を介してそれぞれ入射する透過部接触面４０側に存在する物体の像を、それぞれ撮像可能である。したがって、撮像部３０は透過部４３が平面である場合に比べて、より広い範囲を直接視により撮像可能である。
　つまり、ロボットシステム制御部９０が触覚センサモジュール１０の位置を移動させる場合、触覚センサ１は、物体の像を検知することが可能となる。したがって上述した実施形態における触覚センサ１は、衝突回避をすることができる。
　また、上述した実施形態によれば、把持状態検出部８０は、撮像部３０が撮像した画像を取得し、取得した画像に基づき接触面に対する物体の接触状態を検出する。
　つまり、ロボットシステム１００は、把持状態検出部８０を備えることにより、物体の把持状態を検出することができる。
　把持状態検出部８０は、ロボット制御部９１に情報を提供することにより、ロボット制御部９１はロボットシステム１００を制御することができる。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…触覚センサ、１０…触覚センサモジュール、１１…センサ接続部、１００…ロボットシステム、１１０…先端部、１２０…上腕部、１３０…関節部、１４０…下腕部、１５０…主横軸部、１６０…主縦軸部、１７０…土台部、９０…ロボットシステム制御部、２０…反射部、３０…撮像部、４０…透過部接触面、４７…透過部非接触面、４３…透過部、４５…マーカ、５０…フレーム、７０…硬質レイヤ、９１…ロボット制御部、９２…入力部、９３…出力部、８０…把持状態検出部、８１…画像取得部、８２…画像処理部、８３…制御部、８４…基準状態記憶部、Ａ１０…画角、ＯＡ…撮像光軸、ＩＡ１０…第１入射角、ＲＡ１０…第１反射角、ＩＡ２０…第２入射角、ＲＡ２０…第２反射角、ＩＡ３０…第３入射角、ＲＡ３０…第３反射角、ＡＲ１…第１撮像範囲、ＡＲ２…第２撮像範囲、ＡＲ３…第３撮像範囲、ＯＢ１…第１対象物、ＯＢ２…第２対象物、ＯＢ３…第３対象物、ＲＭ…直接視撮像マーカ、ＭＭ…反射視撮像マーカ、Ｒ…直接視撮像画像、Ｍ…反射視撮像画像、Ｐ…撮像画像

Claims (8)

  1. 　把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、
    　前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、
    　前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部と
    　を備える触覚センサ。
  2. 　前記透過部は、前記第一の面に接触した把持対象物の形状に沿って少なくとも一部が変形し、
    　前記撮像部は、
    　前記第一の面側に存在する物体の像と、前記透過部に付された前記透過部の変形を示すマーカの像との両方を前記第二の面側から撮像可能である
    　請求項１に記載の触覚センサ。
  3. 　前記撮像部は、
    　前記撮像部の撮像光軸と、前記透過部の前記第二の面の法線とが交点を有するように配置される
    　請求項１又は請求項２に記載の触覚センサ。
  4. 　前記反射部は、
    　前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の反射面を備える
    　請求項１又は請求項３に記載の触覚センサ。
  5. 　前記撮像部は、
    　前記反射部を介さずに入射する光による前記透過部の撮像対象領域の像である第１像と、前記反射部によって反射されて入射する光による前記透過部の撮像対象領域の像である第２像との両方を、前記透過部の像として撮像する
    　請求項１から請求項４のいずれか一項に記載の触覚センサ。
  6. 　前記透過部は、
    　前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の領域を備え、
    　前記撮像部は、
    　前記透過部の複数の前記領域を介してそれぞれ入射する光による前記第一の面側に存在する物体の像を、それぞれ撮像可能である
    　請求項１から請求項５のいずれか一項に記載の触覚センサ。
  7. 　請求項１から請求項６のいずれか一項に記載の触覚センサと、
    　前記撮像部が撮像した画像を取得し、取得した前記画像に基づき前記第一の面に対する物体の接触状態を検出する検出部と、
    　を備える触覚センサシステム。
  8. 　把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、
    　前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、
    　前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部と
    　を備える触覚センサと接続されたコンピュータに、
    　前記撮像部が撮像した画像を取得する画像取得ステップと、
    　前記画像取得ステップにより取得された前記画像に基づき、前記第一の面に対する物体の接触状態を検出する検出ステップと、
    　を実行させるプログラム。
PCT/JP2019/026650 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム WO2021001992A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020227000073A KR102702506B1 (ko) 2019-07-04 2019-07-04 촉각 센서, 촉각 센서 시스템 및 프로그램
PCT/JP2019/026650 WO2021001992A1 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム
CN201980097957.3A CN114072260A (zh) 2019-07-04 2019-07-04 触觉传感器、触觉传感器系统及程序
KR1020247025220A KR20240117012A (ko) 2019-07-04 2019-07-04 촉각 센서, 촉각 센서 시스템 및 프로그램
JP2021529656A JP7345902B2 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム
EP19936205.4A EP3995268A4 (en) 2019-07-04 2019-07-04 TOUCH SENSOR, TOUCH SENSOR SYSTEM AND PROGRAM
US17/618,854 US11836823B2 (en) 2019-07-04 2019-07-04 Tactile sensor, tactile sensor system, and program
JP2023135633A JP2023157985A (ja) 2019-07-04 2023-08-23 触覚センサ、触覚センサシステム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/026650 WO2021001992A1 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム

Publications (1)

Publication Number Publication Date
WO2021001992A1 true WO2021001992A1 (ja) 2021-01-07

Family

ID=74100757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026650 WO2021001992A1 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム

Country Status (6)

Country Link
US (1) US11836823B2 (ja)
EP (1) EP3995268A4 (ja)
JP (2) JP7345902B2 (ja)
KR (2) KR102702506B1 (ja)
CN (1) CN114072260A (ja)
WO (1) WO2021001992A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022207853A1 (en) * 2021-03-31 2022-10-06 Ocado Innovation Limited Tactile sensor

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07128163A (ja) * 1993-11-08 1995-05-19 Fuji Electric Co Ltd 触覚センサ
JP2000288973A (ja) 1999-04-05 2000-10-17 Agency Of Ind Science & Technol 触覚センサ
US6321605B1 (en) * 2000-01-14 2001-11-27 National Research Council Of Canada Surface load and pressure sensing apparatus
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
JP2007518966A (ja) * 2003-09-16 2007-07-12 株式会社東京大学Ｔｌｏ 光学式触覚センサ及び該センサを用いた力ベクトル分布再構成法
JP2009285737A (ja) * 2008-05-27 2009-12-10 Univ Of Tokyo 入力インタフェース
JP2010221358A (ja) * 2009-03-24 2010-10-07 Toyota Industries Corp ロボットハンド用撮像装置内蔵フィンガ
KR101586665B1 (ko) * 2014-10-28 2016-01-19 한국기계연구원 접촉면 계측이 가능한 유체형 촉각센서
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5013507B1 (ja) * 1970-07-27 1975-05-20
WO1984003855A1 (en) 1983-04-04 1984-10-11 Siemens Ag 2-d pressure imaging system
US4668861A (en) * 1984-12-12 1987-05-26 The Regents Of The University Of California Tactile sensor employing a light conducting element and a resiliently deformable sheet
US4599908A (en) * 1985-03-18 1986-07-15 Sheridan Thomas B Opto-mechanical touch sensor
KR100846305B1 (ko) * 2000-08-31 2008-07-16 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
JP2005177977A (ja) * 2003-11-25 2005-07-07 Matsushita Electric Works Ltd ロボットハンドの制御装置
JP5013507B2 (ja) 2006-06-29 2012-08-29 国立大学法人東北大学 反射像を用いた触覚センサ
EP2294375B8 (en) * 2008-06-19 2024-02-14 Massachusetts Institute of Technology Tactile sensor using elastomeric imaging
EP3290167B1 (de) 2016-09-01 2021-10-20 J. Schmalz GmbH Handhabungsvorrichtung und verfahren zur überwachung eines handhabungsvorgangs

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07128163A (ja) * 1993-11-08 1995-05-19 Fuji Electric Co Ltd 触覚センサ
JP2000288973A (ja) 1999-04-05 2000-10-17 Agency Of Ind Science & Technol 触覚センサ
US6321605B1 (en) * 2000-01-14 2001-11-27 National Research Council Of Canada Surface load and pressure sensing apparatus
JP2007518966A (ja) * 2003-09-16 2007-07-12 株式会社東京大学Ｔｌｏ 光学式触覚センサ及び該センサを用いた力ベクトル分布再構成法
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
JP2009285737A (ja) * 2008-05-27 2009-12-10 Univ Of Tokyo 入力インタフェース
JP2010221358A (ja) * 2009-03-24 2010-10-07 Toyota Industries Corp ロボットハンド用撮像装置内蔵フィンガ
KR101586665B1 (ko) * 2014-10-28 2016-01-19 한국기계연구원 접촉면 계측이 가능한 유체형 촉각센서
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022207853A1 (en) * 2021-03-31 2022-10-06 Ocado Innovation Limited Tactile sensor
GB2605423B (en) * 2021-03-31 2023-09-27 Ocado Innovation Ltd Tactile Sensor

Also Published As

Publication number Publication date
US20220245750A1 (en) 2022-08-04
KR102702506B1 (ko) 2024-09-04
CN114072260A (zh) 2022-02-18
JP2023157985A (ja) 2023-10-26
US11836823B2 (en) 2023-12-05
JPWO2021001992A1 (ja) 2021-01-07
KR20220027142A (ko) 2022-03-07
JP7345902B2 (ja) 2023-09-19
EP3995268A4 (en) 2023-04-12
KR20240117012A (ko) 2024-07-30
EP3995268A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
US11254008B2 (en) Method and device of controlling robot system
US5249035A (en) Method of measuring three dimensional shape
EP1555507B1 (en) Three-dimensional visual sensor
JP2009241247A (ja) ステレオ画像型検出移動装置
CN112655024A (zh) 一种图像标定方法及装置
JP2023157985A (ja) 触覚センサ、触覚センサシステム及びプログラム
CN108536142B (zh) 基于数字光栅投影的工业机器人防撞预警系统及方法
KR20020066219A (ko) 촬상 시스템, 상기 시스템에서 화상 데이터를 제어하도록사용되는 프로그램, 상기 시스템에서 촬상 화상의 왜곡을보정하기 위한 방법 및 상기 방법의 순서를 기억시키는기록 매체
JP2018152022A (ja) プロジェクターシステム
JPS62206684A (ja) パタ−ン投影による位置形状計測方法
JPH06167564A (ja) 魚眼レンズを用いた測位方式およびその装置
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
JP7263501B2 (ja) 自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法
JPS6334093A (ja) 視覚装置
JP3803755B2 (ja) ロボットシステムおよびその利用方法
US11691237B2 (en) Machine control device
JP2006007390A (ja) 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
US11698434B2 (en) Machine control device
CN216847517U (zh) 缺陷检测装置
US20240238976A1 (en) Robot system, control device, diagnosis method, and diagnosis program
JP2020091154A (ja) 距離測定装置
WO2018209902A1 (zh) 操作动作在显示屏上的执行方法和操作动作执行装置
JPH05329793A (ja) 視覚センサ
JPS63254575A (ja) 視覚センサのキヤリブレ−シヨン装置
JPH0371043B2 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936205

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021529656

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019936205

Country of ref document: EP

Effective date: 20220204