WO2023100515A1 - 触覚センサ装置、接触センサモジュールおよびロボットアーム装置 - Google Patents

触覚センサ装置、接触センサモジュールおよびロボットアーム装置 Download PDF

Info

Publication number
WO2023100515A1
WO2023100515A1 PCT/JP2022/038954 JP2022038954W WO2023100515A1 WO 2023100515 A1 WO2023100515 A1 WO 2023100515A1 JP 2022038954 W JP2022038954 W JP 2022038954W WO 2023100515 A1 WO2023100515 A1 WO 2023100515A1
Authority
WO
WIPO (PCT)
Prior art keywords
compound
layer
eye imaging
contact sensor
sensor device
Prior art date
Application number
PCT/JP2022/038954
Other languages
English (en)
French (fr)
Inventor
章裕 野元
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023100515A1 publication Critical patent/WO2023100515A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
    • G01L5/166—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using photoelectric means

Definitions

  • the present disclosure relates to a touch sensor device, a contact sensor module and a robot arm device.
  • a tactile sensor device includes a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet, an illumination device for illuminating an imaging region of the compound-eye imaging device, and an imaging region. and a deformation layer on which a marker is formed.
  • a tactile sensor device includes a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet, and an elastic layer formed in an imaging region of the compound-eye imaging device. I have.
  • This tactile sensor device further includes a markless screen layer provided in the elastic layer or on the surface of the elastic layer, and a projection device for projecting a fixed pattern image onto the markless screen layer using markers.
  • a tactile sensor module includes a contact sensor device and a signal processing device.
  • the contact sensor device includes a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet, an illumination device that illuminates an imaging region of the compound-eye imaging device, and a deformation layer in which markers are formed in the imaging region. have.
  • the contact sensor device further has an output unit that outputs detection signals obtained from the respective compound eye imaging elements to the signal processing device as compound eye image data.
  • the signal processing device generates surface shape data of the deformation layer by processing compound eye image data input from the contact sensor device.
  • a tactile sensor module includes a contact sensor device and a signal processing device.
  • the contact sensor device has a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet, and an elastic layer formed in an imaging region of the compound-eye imaging device.
  • the contact sensor device further includes a markless screen layer provided in the elastic layer or on the surface of the elastic layer, a projection device for projecting a fixed pattern image using a marker on the markless screen layer, and each compound eye imaging device. and an output unit for outputting the detected signal as compound eye image data to the signal processing device.
  • the signal processing device generates surface shape data of the elastic layer by processing the compound eye image data input from the contact sensor device.
  • a robot arm device includes a hand device, an arm device connected to the hand device and having a wrist joint and an elbow joint, and a contact sensor device attached to a fingertip of the hand device.
  • the contact sensor device includes a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet, an illumination device that illuminates an imaging region of the compound-eye imaging device, and a deformation layer in which markers are formed in the imaging region. have.
  • a tactile sensor device includes a hand device, an arm device connected to the hand device and having a wrist joint and an elbow joint, and a contact sensor device attached to a fingertip of the hand device.
  • the contact sensor device includes a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet, and an elastic layer formed in an imaging region of the compound-eye imaging device.
  • This tactile sensor device further includes a markless screen layer provided in the elastic layer or on the surface of the elastic layer, and a projection device for projecting a fixed pattern image onto the markless screen layer using markers.
  • the tactile sensor modules according to the third and fourth aspects of the present disclosure and the robot arm devices according to the fifth and sixth aspects of the present disclosure, a plurality of are two-dimensionally arranged on a flexible sheet.
  • the tactile sensor device can be attached along the surface of the fingertip of the robot arm device, so that the fingertip of the robot arm device can be prevented from becoming large due to the attachment of the tactile sensor device.
  • FIG. 1 is a diagram illustrating a cross-sectional configuration example of a tactile sensor device according to a first embodiment of the present disclosure
  • FIG. 2 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 1; FIG. 1. It is a figure showing a mode that the tactile sensor apparatus of FIG. 1 was installed on the surface of the robot finger part.
  • 2 is a diagram showing an example of functional blocks of the tactile sensor device of FIG. 1
  • FIG. FIG. 2 is a diagram showing a cross-sectional configuration example of the compound-eye imaging device of FIG. 1 ; 1. It is a figure showing the example of a changed completely type of cross-sectional structure of the compound-eye imaging element of FIG. 1.
  • FIG. 10 is a diagram illustrating a cross-sectional configuration example of a touch sensor device according to a second embodiment of the present disclosure
  • FIG. 12 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 11;
  • FIG. 11 is a diagram illustrating a cross-sectional configuration example of a touch sensor device according to a third embodiment of the present disclosure
  • 14 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 13
  • FIG. FIG. 14 is a diagram showing a modified example of the cross-sectional configuration of the tactile sensor device of FIGS. 1, 11, and 13
  • FIG. 14 is a diagram showing a modified example of the cross-sectional configuration of the tactile sensor device of FIGS. 1, 11, and 13
  • FIG. 14 is a diagram showing a modified example of the cross-sectional configuration of the tactile sensor device of FIGS. 1, 11, and 13
  • FIG. 14 is a diagram showing a modified example of the cross-sectional configuration of the tactile sensor device of FIGS. 1, 11, and 13
  • FIG. 14 is a diagram showing a modified example of the cross-sectional configuration of the tactile sensor device of FIGS. 1, 11, and 13
  • FIG. 14 is a diagram showing a modified example of the cross-sectional configuration of the tactile sensor device
  • FIG. 11 is a diagram showing a cross-sectional configuration example of a touch sensor device according to a fourth embodiment of the present disclosure
  • FIG. 20 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 19; 1. It is a figure showing the example of a changed completely type of cross-sectional structure of the touch sensor apparatus of FIG.
  • FIG. 22 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 21
  • FIG. 2 is a diagram showing an example of the appearance of a robot device in which the tactile sensor device is applied to the tip portion of a robot arm device
  • 24 is a diagram showing an example of functional blocks of the robot apparatus of FIG. 23;
  • FIG. 20 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 19; 1. It is a figure showing the example of a changed completely type of cross-sectional structure of the touch sensor apparatus of FIG.
  • FIG. 22 is a diagram showing a planar configuration example of the tactile sensor device of FIG. 21
  • a compound eye camera is a camera in which one image sensor is provided with a plurality of monocular lenses.
  • the image sensor receives the light condensed by each of the plurality of ocular lenses.
  • An image signal obtained by photoelectric conversion in the image sensor is processed by a subsequent signal processing block. Thereby, one image is generated based on the light condensed by each of the plurality of eyepiece lenses.
  • the main feature of a compound eye camera is that the distance from the surface of the lens (monocular lens) to the image sensor can be shorter than that of a monocular camera. Therefore, a compound eye camera can be thinner than a monocular camera. Further, distance information from the camera to the subject can be extracted using parallax or the like due to a plurality of ommatidia. Further, by applying signal processing based on the structure of a compound eye camera to an image obtained by a single eye, a resolution higher than that of the single eye can be obtained.
  • the applicant proposes a thin tactile sensor device that uses a compound eye camera as a sensor that detects surface displacement.
  • the applicant of the present application also proposes a tactile sensor device that can be installed on a curved surface, in which a plurality of compound-eye cameras are mounted on a flexible sheet.
  • the compound eye camera is not limited to the configuration described above.
  • the compound eye camera may be composed of, for example, a plurality of monocular cameras arranged two-dimensionally.
  • a single-lens camera is a camera in which one image sensor is provided with one lens.
  • a compound-eye camera may be composed of, for example, a plurality of single-lens pixels arranged two-dimensionally.
  • the ommatidium pixel is an element in which one photodiode is provided with one lens.
  • FIG. 1 shows a cross-sectional configuration example of a tactile sensor device 1.
  • FIG. 2 shows a planar configuration example of the tactile sensor device 1 .
  • the tactile sensor device 1 is a device that can be suitably applied as a sensor that detects contact of the tip portion of the robot arm device with an external object.
  • the tactile sensor device 1 includes, for example, a compound eye imaging device 10, a lighting device 20, an elastic layer 30, a marker layer 40, and a controller 50, as shown in FIGS.
  • the compound-eye imaging device 10 has, for example, a flexible sheet 11 and a plurality of compound-eye imaging elements 12, as shown in FIGS. A plurality of compound eye imaging elements 12 are two-dimensionally arranged on the flexible sheet 11 .
  • the compound-eye imaging device 10 further includes, for example, a signal processing unit 13 and an FPC (flexible printed circuit board) that electrically connects the plurality of compound-eye imaging devices 12 and the signal processing unit 13 to each other, as shown in FIGS. Circuit) 14.
  • the signal processing unit 13 and the FPC 14 are arranged on the flexible sheet 11 as shown in FIG. 2, for example.
  • the flexible sheet 11 is, for example, a highly flexible sheet adhered along the surface of the fingertip (robot finger RF) of the robot arm, as shown in FIG.
  • the flexible sheet 11 includes, for example, a flexible resin sheet.
  • Materials for such a resin sheet include, for example, polyimide and PET.
  • Each compound-eye imaging element 12 outputs a detection signal obtained from each pixel by capturing an image of an imaging region to the signal processing unit 13 as compound-eye image data Ia.
  • Each compound-eye image pickup device 12 performs, for example, an image at predetermined intervals under the control of the controller 50 , and outputs compound-eye image data Ia obtained thereby to the signal processing unit 13 via the FPC 14 .
  • Each compound eye imaging device 12 has one or more microlenses and one or more optical sensors provided corresponding to one or more microlenses. The configuration of each compound eye imaging device 12 will be described in detail later.
  • the signal processing unit 13 generates integrated compound eye image data Ib by synthesizing a plurality of compound eye image data Ia obtained from the plurality of compound eye imaging elements 12 at the same time.
  • the signal processing unit 13 further generates parallax data Dp for depth from each compound eye image data Ia.
  • the parallax data Dp corresponds to surface shape data of the elastic layer 30 . Based on the integrated compound eye image data Ib at time t and the integrated compound eye image data Ib at time t ⁇ 1 one cycle before time t, the signal processing unit 13 calculates the amount of displacement of the marker position in the plane in one cycle.
  • the signal processing unit 13 further derives the amount of displacement of the marker position in the depth direction in one cycle based on the parallax data Dp at time t and the parallax data Dp at time t ⁇ 1. That is, the signal processing unit 13 derives the amount of displacement of the marker position in the three-dimensional direction based on the plurality of compound-eye image data Ia obtained from the plurality of compound-eye imaging elements 12 .
  • the signal processing unit 13 outputs the derived displacement amount to an external device.
  • the signal processing unit 13 may generate pressure vector data about the pressure applied to the elastic layer 30 based on the three-dimensional displacement amount of the marker position and the physical property information of the elastic layer 30 . In this case, the signal processing unit 13 outputs the generated pressure vector data to the external device.
  • the lighting device 20 illuminates the imaging area of the compound eye imaging device 10 .
  • the illumination device 20 has, for example, a plurality of light emitting elements 21 as shown in FIGS. 1 and 2 .
  • the plurality of light emitting elements 21 are arranged, for example, on the flexible sheet 11 and between two adjacent compound eye imaging elements 12 .
  • Each light-emitting element 21 emits light in the visible region toward the imaging region of the compound-eye imaging device 10, for example.
  • Each light emitting element 21 is, for example, a light emitting diode that emits white light.
  • the illumination device 20 further includes, for example, as shown in FIG.
  • Driver 22 and FPC 23 are arranged on flexible sheet 11, for example, as shown in FIG.
  • a driver 22 drives each light emitting element 21 via the FPC 23 .
  • the elastic layer 30 is a layer that supports the marker layer 40 and deforms when pressed by an object from the outside. Deformation of the elastic layer 30 changes the position and shape of the marker layer 40 .
  • the elastic layer 30 is arranged on the flexible sheet 11, for example, as shown in FIGS.
  • the elastic layer 30 is, for example, a transparent silicone rubber layer with a thickness of several millimeters.
  • transparent refers to having optical transparency to at least the light emitted from the illumination device 20 .
  • the white silicone rubber layer is formed, for example, by impregnating a transparent silicone rubber with a white pigment.
  • the marker layer 40 is formed in the imaging area of the compound eye imaging device 10 .
  • the marker layer 40 is arranged on or inside the elastic layer 30, for example.
  • FIG. 1 shows an example in which the marker layer 40 is arranged on the surface of the elastic layer 30 .
  • a composite consisting of the elastic layer 30 and the marker layer 40 corresponds to a specific example of the "deformable layer" of the present disclosure.
  • the marker layer 40 is, for example, a layer with a thickness of about several millimeters and made of a mixture of a pigment (for example, a white pigment) that efficiently reflects the light of the illumination device 20 and silicone rubber.
  • the marker layer 40 is formed, for example, by printing ink containing the above mixture on the surface of the elastic layer 30 .
  • the marker layer 40 has, for example, a polka dot pattern in plan view.
  • the controller 50 controls the compound-eye imaging device 10 and the illumination device 20 based on control signals from the outside. For example, the controller 50 causes the lighting device 20 to emit light at a predetermined timing. For example, the controller 50 causes the compound-eye imaging device 10 to detect image light formed by, for example, the light from the lighting device 20 being reflected by the marker layer 40 at predetermined intervals, thereby obtaining data from the compound-eye imaging device 10. is output from the compound-eye imaging device 10 to the outside.
  • the signal processing section 13 has an image integration section 13a, a marker detection section 13b, a marker data buffer section 13c, a 3D vector generation section 13d, and a data output section 13e.
  • the image integrating unit 13a generates integrated compound-eye image data Ib by integrating compound-eye image data Ia generated by each compound-eye imaging device 12 at predetermined intervals. That is, the integrated compound eye image data Ib is obtained by integrating a plurality of compound eye image data Ia obtained at the predetermined time t. For example, arrangement information of each compound-eye image sensor 12, arrangement information of each pixel in each compound-eye image sensor 12, characteristic information of each compound-eye image sensor 12, shooting time, and the like are used to generate the integrated compound-eye image data Ib. For example, the image integration unit 13a removes noise included in the compound eye image data Ia obtained from each compound eye image sensor 12, or calculates a predetermined feature amount based on the compound eye image data Ia obtained from each compound eye image sensor 12.
  • the image combining unit 13a generates parallax data Dp for depth from each compound eye image data Ia.
  • the image integration unit 13a performs AD conversion on the generated integrated compound eye image data Ib to generate digital integrated compound eye image data Ib, and outputs the digital integrated compound eye image data Ib to the marker detection unit 13b.
  • the image integration unit 13a further performs AD conversion on the generated parallax data Dp to generate digital parallax data Dp, and outputs the digital parallax data Dp to the marker detection unit 13b.
  • the marker detection unit 13b detects the position of the marker layer 40 based on the integrated compound eye image data Ib and the parallax data Dp input from the image integration unit 13a.
  • the marker detection unit 13b stores information about the detected position of the marker layer 40 (hereinafter referred to as “marker position information Dm(t)”) in the marker data buffer unit 13c and outputs the information to the 3D vector generation unit 13d. do.
  • the marker position information Dm(t) includes three-dimensional position information of the marker layer 40 at time t.
  • the marker data buffer section 13c includes, for example, a non-volatile memory.
  • the marker data buffer unit 13c stores, for example, marker position information Dm(t) at time t and marker position information Dm(t-1) at time t-1 one cycle before time t.
  • the 3D vector generation unit 13d Based on the marker position information Dm(t) input from the marker detection unit 13b and the marker position information Dm(t ⁇ 1) at time t ⁇ 1 read from the marker data buffer unit 13c, the 3D vector generation unit 13d , the amount of change in the three-dimensional direction of the marker position in one period (hereinafter referred to as "3D vector V(t)") is derived.
  • the 3D vector generation unit 13d outputs the derived 3D vector V(t) to the data output unit 13e.
  • the data output unit 13e outputs the 3D vector V(t) to an external device.
  • FIG. 5 shows a cross-sectional configuration example of the compound eye imaging device 12 .
  • the compound eye imaging device 12 has an imaging section 12a, a plurality of microlenses 12b, and a light transmission section 12c supporting the plurality of microlenses 12b.
  • the imaging units 12a are provided corresponding to the plurality of microlenses 12b.
  • the imaging unit 12a is composed of a plurality of optical sensors (photodiodes), for example, a CCD (Charge Coupled Devices) image sensor or a CMOS (complementary metal oxide semiconductor) image sensor.
  • the imaging unit 12a receives the reflected light (image light) from the marker layer 40 according to, for example, a control signal from the controller 50, and the signal processing unit 13 uses the detection signal obtained from each pixel as compound eye image data Ia. output to
  • the plurality of microlenses 12b are arranged to face the imaging unit 12a with a predetermined gap therebetween, and form an image of reflected light (image light) from the marker layer 40 on the light receiving surface of the imaging unit 12a.
  • the plurality of microlenses 12b are arranged such that a part of the visual field range (for example, target TG in the figure) of at least two microlenses 12b overlaps with each other.
  • the plurality of microlenses 12b are arranged in one row or two-dimensionally.
  • the light transmitting portion 12c is arranged between the plurality of microlenses 12b and the imaging portion 12a.
  • the light transmitting portion 12c is made of transparent silicone rubber, for example.
  • a plurality of compound eye imaging elements 12 are two-dimensionally arranged on the flexible sheet 11 .
  • the thickness of each compound-eye imaging device 12 can be reduced.
  • the tactile sensor device 1 can be attached along the surface of the robot finger RF. Therefore, it is possible to avoid an increase in the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • each compound-eye imaging device 12 is a compound-eye camera composed of a plurality of microlenses 12b and imaging units 12a provided corresponding to the plurality of microlenses 12b. Thereby, the thickness of each compound-eye imaging device 12 can be reduced. Therefore, it is possible to avoid an increase in the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • a plurality of light emitting elements 21 are arranged on the flexible sheet 11 and between two compound-eye imaging elements 12 adjacent to each other. This makes it possible to irradiate the marker layer 40 with the light emitted from each light emitting element 21 while avoiding direct incidence of the light emitted from each light emitting element 21 on the compound eye imaging element 12 . Further, since the plurality of light emitting elements 21 are arranged on the flexible sheet 11, it is possible to avoid an increase in the thickness of the touch sensor device 1 due to the provision of the plurality of light emitting elements 21. FIG.
  • FIG. 6 shows a modified example of the cross-sectional configuration of the compound-eye imaging element 12.
  • each compound-eye imaging device 12 is a compound-eye camera in which one imaging section 12a is provided for a plurality of microlenses 12b.
  • each compound-eye imaging device 12 is replaced by a single-eye imaging device 15 (a single-eye imaging device) in which one imaging unit 12a is provided for one microlens 12b, as shown in FIG. camera).
  • each compound-eye imaging element 12 the plurality of single-eye imaging elements 15 are arranged in one row or two-dimensionally.
  • the tactile sensor device 1 can be attached even to a surface with a large curvature, since each compound-eye imaging element 12 can be given flexibility. As a result, it is possible to avoid increasing the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • FIG. 7 shows a modified example of the cross-sectional configuration of the compound-eye imaging element 12.
  • each compound eye image sensor 12 may have a plurality of single eye image sensors 16 as shown in FIG. 7, for example.
  • each unit image pickup element 16 has a light receiving element 12d, a microlens 12b, and a light transmitting portion 12c that supports the microlens 12b.
  • the light receiving element 12d is a photodiode.
  • the microlens 12b is opposed to the light receiving element 12d with a predetermined gap therebetween, and forms an image of the reflected light (image light) from the marker layer 40 on the light receiving surface of the light receiving element 12d.
  • the light transmitting portion 12c is made of transparent silicone rubber, for example.
  • the plurality of microlenses 12b are arranged such that, for example, at least two of the microlenses 12b partially overlap each other.
  • a plurality of single-eye imaging elements 16 share the light transmitting portion 12c and are integrally formed.
  • a plurality of compound eye imaging elements 12 are two-dimensionally arranged on the flexible sheet 11 .
  • the thickness of each compound eye image pickup device 12 can be made thinner than that of a monocular image pickup device.
  • the tactile sensor device 1 can be attached along the surface of the robot finger RF. Therefore, it is possible to avoid an increase in the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • each compound-eye imaging element 12 is a monocular imaging element 16 (a monocular camera) composed of one microlens 12b and a light receiving element 12d provided corresponding to one microlens 12b. have more than one. Thereby, the thickness of each compound-eye imaging device 12 can be reduced. Therefore, it is possible to avoid an increase in the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • FIG. 8 shows a modified example of the cross-sectional configuration of the compound-eye imaging device 12 .
  • the plurality of single eye image sensors 16 share the light transmitting portion 12c and are integrally formed.
  • the plurality of compound-eye imaging elements 12 may be formed independently of each other, as shown in FIG. 8, for example.
  • the tactile sensor device 1 can be attached even to a surface with a large curvature, since each compound-eye imaging element 12 can be given flexibility. As a result, it is possible to avoid increasing the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • FIG. 9 shows a modified example of the cross-sectional configuration of the compound-eye imaging element 12.
  • each compound-eye imaging device 12 may have a microlens array 12e in the light transmitting portion 12c, as shown in FIG. 9, for example.
  • Each microlens included in the microlens array 12e has a size smaller than that of the microlens 12b, and a plurality of microlenses included in the microlens array 12e are assigned to one microlens 12b.
  • each compound-eye imaging device 12 includes, for example, one microlens included in the microlens array 12e and an area of the imaging unit 12a facing the microlens, as shown in FIG.
  • ommatidium pixels 12f sub-pixels
  • the microlens array 12e By providing the microlens array 12e in this way, it is possible to perform pupil correction for each ocular pixel 12f (sub-pixel), improve the shading characteristics of the ocular pixel 12f (sub-pixel), and improve the shading of the entire image. properties can be improved. It is also possible to improve the S/N (Signal to Noise ratio) ratio of the outer edge of the entire image.
  • FIG. 10 shows a modified example of the cross-sectional configuration of the compound-eye imaging device 12 .
  • the plurality of microlenses included in the microlens array 12e may be separated for each corresponding microlens 12b.
  • each compound-eye imaging device 12 is a single-eye imaging device composed of one microlens 12b, part of the microlens array 12e, part of the imaging unit 12a, and part of the light transmission unit 12c. 17.
  • the plurality of single-lens imaging elements 17 are formed independently of each other.
  • the tactile sensor device 1 can be attached along the surface of the robot finger RF even more than in the modification D described above. As a result, it is possible to avoid increasing the size of the robot finger RF due to the attachment of the tactile sensor device 1 .
  • FIG. 11 shows a cross-sectional configuration example of the tactile sensor device 2 .
  • FIG. 12 shows a planar configuration example of the tactile sensor device 2 .
  • the tactile sensor device 2 is a device that can be suitably applied as a sensor that detects contact of the tip portion of the robot arm device with an external object.
  • the tactile sensor device 2 includes, for example, a compound eye imaging device 10, a lighting device 60, an elastic light guide layer 70, a marker layer 41, and a controller 50, as shown in FIGS.
  • the marker layer 41 is formed in the imaging area of the compound eye imaging device 10 .
  • the marker layer 41 is arranged on or inside the elastic light guide layer 70, for example.
  • FIG. 11 shows an example in which the marker layer 41 is arranged on the surface of the elastic light guide layer 70 .
  • a composite consisting of the elastic light guide layer 70 and the marker layer 41 corresponds to a specific example of the "deformable layer" of the present disclosure.
  • the marker layer 41 is, for example, a layer with a thickness of several millimeters and made of a mixture of phosphor material and silicone rubber.
  • the marker layer 41 is formed, for example, by printing ink containing the above mixture on the surface of the elastic light guide layer 70 .
  • the marker layer 41 has, for example, a polka dot pattern in plan view.
  • the illumination device 60 illuminates the imaging area of the compound eye imaging device 10 .
  • the illumination device 60 has, for example, a light emitting element 61 as shown in FIGS. 11 and 12.
  • FIG. The light-emitting elements 61 are arranged, for example, on the flexible sheet 11 and around the area where the plurality of compound-eye imaging elements 12 are arranged.
  • the light emitting element 61 emits excitation light that excites the phosphor material contained in the marker layer 41 .
  • the light emitting element 61 illuminates the imaging region of the compound eye imaging device 10 by propagating the excitation light emitted from the light emitting element 61 into the elastic light guide layer 70 .
  • Each light emitting element 61 is, for example, a light emitting diode that emits the excitation light.
  • the illumination device 60 further includes, for example, as shown in FIG. 12, a driver 62 that drives the light emitting element 61 and an FPC 63 that electrically connects the light emitting element 61 and the driver 62 to each other.
  • Driver 62 and FPC 63 are arranged on flexible sheet 11, for example, as shown in FIG.
  • a driver 62 drives the light emitting element 61 via the FPC 63 .
  • the compound-eye imaging device 10 has, for example, a filter layer 18 that covers the light-receiving surface of each compound-eye image sensor 12, as shown in FIG.
  • the filter layer 18 is a wavelength selection filter that cuts the excitation light and selectively transmits fluorescence emitted from the marker layer 41 . Since the filter layer 18 is provided on the light receiving surface of each compound eye image sensor 12 , each compound eye image sensor 12 can generate the compound eye image data Ia based on the fluorescence transmitted through the filter layer 18 .
  • the elastic light guide layer 70 is a flexible layer that supports the marker layer 41 and deforms when pressed by an object from the outside. The deformation of the elastic light guide layer 70 changes the position and shape of the marker layer 41 .
  • the elastic light guide layer 70 also has a function of guiding the excitation light emitted from the light emitting element 61 .
  • the elastic light guide layer 70 is arranged on the flexible sheet 11 and covers the plurality of compound eye imaging elements 12 and the light emitting elements 61 .
  • the elastic light guide layer 70 is, for example, a transparent silicone rubber layer with a thickness of several millimeters.
  • the controller 50 controls the compound-eye imaging device 10 and the illumination device 60 based on control signals from the outside. For example, the controller 50 causes the lighting device 60 to emit light at a predetermined timing. For example, the controller 50 causes the compound-eye imaging device 10 to detect image light formed by, for example, light from the illumination device 60 being absorbed by the marker layer 41 and excitation light being emitted from the marker layer 41 at predetermined intervals. causes the compound-eye imaging device 10 to output the data obtained by the compound-eye imaging device 10 to the outside.
  • compound eye image data Ia is generated based on the fluorescence emitted from the phosphor material contained in the marker layer 41 .
  • blue excitation light emitted from the light emitting element 61 causes the marker layer 41 to emit red fluorescence.
  • the filter layer 18 cuts blue excitation light and transmits red fluorescence.
  • the blue excitation light does not enter the compound eye imaging element 12 (optical sensor), and only the red fluorescence enters the compound eye imaging element 12 (optical sensor).
  • Compound eye image data Ia with less noise can be obtained as compared with the case of generating image data Ia. As a result, it is possible to improve the positional accuracy of the marker.
  • FIG. 13 shows a cross-sectional configuration example of the tactile sensor device 3 .
  • FIG. 14 shows a planar configuration example of the tactile sensor device 3 .
  • the tactile sensor device 3 is a device that can be suitably applied as a sensor that detects contact of the tip portion of the robot arm device with an external object.
  • the tactile sensor device 3 includes, for example, a compound eye imaging device 10, a lighting device 80, an elastic layer 30, a marker layer 40, and a controller 50, as shown in FIGS.
  • the tactile sensor device 3 corresponds to a device provided with a lighting device 80 instead of the lighting device 20 in the tactile sensor device 1 according to the first embodiment.
  • the illumination device 80 illuminates the imaging area of the compound eye imaging device 10 .
  • the illumination device 80 has, for example, a light emitting element 81, a flexible light guide layer 82, a scattering layer 83, a driver 22 and an FPC 23, as shown in FIGS.
  • the light-emitting elements 81 are arranged, for example, on the back surface of the flexible sheet 11 (the surface opposite to the surface facing the compound-eye image pickup elements 12 ) and around the region facing the plurality of compound-eye image pickup elements 12 . ing.
  • the light emitting element 81 emits, for example, light in the visible region toward the end surface of the flexible light guide layer 82 .
  • the light emitting element 81 is, for example, a light emitting diode that emits white light.
  • the flexible light guide layer 82 is a highly flexible resin sheet that propagates light in the visible region emitted from the light emitting element 81 .
  • Materials for such a resin sheet include, for example, silicone, acrylic, polycarbonate, and cycloolefin.
  • the flexible sheet 11 is provided with a plurality of openings 11a.
  • a plurality of openings 11a are provided at locations facing the region between two compound-eye imaging elements 12 adjacent to each other.
  • a plurality of scattering layers 83 are provided in contact with the surface of the flexible light guide layer 82 (surface on the flexible sheet 11 side).
  • a plurality of scattering layers 83 are provided in contact with regions of the surface of the flexible light guide layer 82 that are exposed to the bottom surfaces of the openings 11a.
  • the light from the light emitting element 81 propagating through the flexible light guide layer 82 is scattered by the scattering layer 83 .
  • the scattering layer 83 serves as a light source and emits light in the visible region toward the imaging region of the compound-eye imaging device 10 .
  • the volume occupied by the scattering layer 83 is sufficiently smaller than that of the light emitting element 21, and the planar shape of the scattering layer 83 can be freely set as compared with that of the light emitting element 21.
  • the scattering layer 83 does not limit the size of the gap between two adjacent compound-eye imaging elements 12 .
  • wiring for applying current to the light-emitting element 21, which is necessary when the light-emitting element 21 is provided as in the first embodiment, can be omitted. can be
  • the marker layers 40 and 41 may be provided within the elastic layer 30 as shown in FIGS. 15 and 16, for example.
  • the surface of the elastic layer 30 is provided with a skin layer 31 having relatively high abrasion resistance compared to other portions of the elastic layer 30. good too.
  • the skin layer 31 is made of a material having a relatively high hardness compared to other portions of the elastic layer 30 (that is, when the flexibility of the elastic layer 30 is partially changed)
  • Deformation on the surface of the elastic layer 30 can be transmitted to the marker layers 40 and 41 with high responsiveness.
  • the marker layers 40 and 41 may be laminated bodies in which a plurality of marker layers are laminated. At this time, the marker layers 40 and 41 may be a laminate in which a first marker layer 42 and a second marker layer 43 are laminated in this order on the surface of the elastic layer 30, as shown in FIG. 17, for example. .
  • the first marker layer 42 is in contact with the surface of the elastic layer 30 .
  • the second marker layer 43 is in contact with the surface of the first marker layer 42 .
  • the first marker layer 42 is arranged closer to each compound-eye imaging element 12 than the second marker layer 43 , and the second marker layer 43 is arranged farther from each compound-eye imaging element 12 than the first marker layer 42 . are placed. In this way, the first marker layer 42 and the second marker layer 43 have different depths when viewed from each compound-eye imaging device 12 . Thereby, the sensitivity of the surface deformation of the elastic layer 30 can be enhanced.
  • the second marker layer 43 is a layer that is relatively more flexible than the rest of the elastic layer 30
  • the first marker layer 42 is more flexible than the second marker layer 43 . It may be a layer with a low
  • the marker layer 40 is formed on the surface of the elastic layer 30, for example, as shown in FIG. may have been At this time, the marker layer 40 may be made of a material having a relatively high hardness compared to the elastic layer 30 . This makes it possible to increase the sensitivity to surface deformation of the elastic layer 30 compared to the case where the surface of the composite composed of the elastic layer 30 and the marker layer 40 is a smooth surface.
  • FIG. 19 shows a cross-sectional configuration example of the tactile sensor device 4 .
  • FIG. 20 shows a planar configuration example of the tactile sensor device 4 .
  • the tactile sensor device 4 is a device that can be suitably applied as a sensor that detects contact of the tip portion of the robot arm device with an external object.
  • the tactile sensor device 4 includes, for example, a compound eye imaging device 10, a projection device 90, an elastic layer 30, and a controller 50, as shown in FIGS.
  • the projection device 90 projects a fixed pattern image as a marker onto the imaging area of the compound eye imaging device 10 .
  • the projection device 90 has a plurality of structured light sources 91 and a markless screen layer 92, as shown in FIGS. 19 and 20, for example.
  • a plurality of structured light sources 91 are arranged, for example, on the flexible sheet 11 and between two compound-eye imaging elements 12 adjacent to each other.
  • Each structured light source 91 emits fixed pattern image light in the visible region, for example, toward a markless screen layer 92 provided in the imaging region of the compound eye imaging device 10 .
  • the markless screen layer 92 is provided in the elastic layer 30 or on the surface of the elastic layer 30, for example.
  • the markless screen layer 92 is composed of, for example, a white silicone rubber layer.
  • each structured light source 91 includes, for example, a light-emitting diode that emits light of a color (for example, red) that looks good on the white sheet, and a light-emitting surface of the light-emitting diode. and a patterned light shielding film. A pattern image obtained by inverting the pattern of the light shielding film is projected onto the markless screen layer 92 .
  • the projection device 90 further includes, for example, as shown in FIG. 20, a driver 93 that drives each structured light source 91, and an FPC 94 that electrically connects the plurality of structured light sources 91 and the drivers 93 to each other.
  • Driver 93 and FPC 94 are arranged on flexible sheet 11, for example, as shown in FIG. A driver 93 drives each structured light source 91 via the FPC 94 .
  • a markless screen layer 92 provided in the elastic layer 30 or on the surface of the elastic layer 30 and a plurality of structured light sources 91 for projecting fixed pattern images as markers onto the markless screen layer 92 are provided. ing. Since this eliminates the need to provide the marker layers 40 and 41, the tactile sensor device 4 can be manufactured easily. In addition, since there is no need to replace the member due to deterioration of the marker layer 40, the maintainability is excellent.
  • each light emitting element 21 emits monochromatic light.
  • the plurality of light emitting elements 21 are, for example, as shown in FIGS. 21g and a plurality of light emitting elements 21b that emit blue light.
  • the marker layer 40 may have a marker layer 40r that efficiently reflects red light in the area illuminated by the red light emitted from the light emitting element 21r.
  • the marker layer 40 may have a marker layer 40b that efficiently reflects blue light in a region illuminated by the blue light emitted from the light emitting element 21b, as shown in FIG. 21, for example.
  • FIG. 23 shows a perspective configuration example of the robot device 100 .
  • the robot device 100 includes a main body 110, a robot arm device 120, a moving mechanism 130, a sensor 140, and two tactile sensor devices 1-4.
  • the main body 110 includes, for example, a power unit and a control unit of the robot device 100, and is a central part to which each part of the robot device 100 is attached.
  • the control unit controls the two robot arm devices 120, the moving mechanism 130, the sensor 140, and the two tactile sensor devices 1 provided in the robot device 100.
  • FIG. Body 110 may be shaped to simulate the upper human body, including the head, neck, and torso.
  • Each robot arm device 120 is, for example, an articulated manipulator attached to the main body 110.
  • One robot arm device 120 is attached, for example, to the right shoulder of a main body 110 imitating a human upper body.
  • the other robot arm device 120 is attached, for example, to the left shoulder of the main body 110 that simulates the upper half of a human body.
  • Touch sensor devices 1 to 4 are attached to the surface of the tip portion (fingertip of the hand device) of each robot arm device 120 .
  • the movement mechanism 130 is, for example, a part provided in the lower part of the main body 110 and responsible for movement of the robot device 100 .
  • the movement mechanism 130 may be a two-wheeled or four-wheeled movement device, or a two-legged or four-legged movement device.
  • the movement mechanism 130 may be a hover-type, propeller-type, or track-type movement device.
  • the sensor 140 is, for example, a sensor that is provided on the main body 110 or the like and that detects (senses) information about the environment (external environment) around the robot apparatus 100 in a non-contact manner.
  • the sensor 140 outputs sensor data obtained by sensing.
  • the sensor 140 is, for example, an imaging device such as a stereo camera, monocular camera, color camera, infrared camera, or polarization camera.
  • the sensor 140 is an environment sensor for detecting the weather or the like, a microphone for detecting voice, an ultrasonic sensor, a ToF (Time of Flight) sensor, or a depth sensor such as a LiDAR (Light Detection and Ranging) sensor.
  • GNSS Global Navigation Satellite System
  • some functions of the tactile sensor devices 1 to 4 may be provided in the control section of the main body 110 .
  • the tactile sensor devices 1 to 4 may include a data output section 13f that outputs the data generated by the image integration section 13a to the main body 110.
  • the main body 110 may also include a data input section 13g for receiving data output from the tactile sensor devices 1 to 4, and a data processing section 13h for processing data generated by the 3D vector generation section 13d.
  • the control unit of the main body 110 can handle the processing that requires an enormous amount of calculation.
  • the present disclosure can have the following configurations.
  • a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet; an illumination device that illuminates an imaging region of the compound eye imaging device;
  • a contact sensor device comprising: an elastic layer having a marker formed in the imaging area.
  • each of the compound-eye imaging devices is a compound-eye camera including a plurality of microlenses and one image sensor provided corresponding to the plurality of microlenses.
  • each of the compound eye imaging devices has a plurality of monocular cameras configured by one microlens and one image sensor provided corresponding to the one microlens.
  • each of the compound eye imaging elements has a plurality of ommatidium pixels configured by one microlens and one photodiode provided corresponding to the one microlens.
  • the illumination device is arranged on the flexible sheet and between two of the compound-eye imaging elements adjacent to each other. .
  • the marker comprises a phosphor material, The lighting device emits excitation light that excites the phosphor material,
  • the flexible sheet is an optical waveguide layer that guides light emitted from the lighting device, (6)
  • the contact sensor device according to (6) further comprising a light scattering layer that is on the surface of the flexible sheet and is in contact with a region between two of the compound eye imaging elements that are adjacent to each other.
  • the lighting device comprises a plurality of first lighting devices that emit red light, a plurality of second lighting devices that emit green light, and a plurality of third lighting devices that emit blue light, The plurality of first lighting devices, the plurality of second lighting devices, and the plurality of third lighting devices are repeatedly arranged on the flexible sheet in a first direction and in a second direction intersecting the first direction.
  • the contact sensor device according to any one of (1) to (8), wherein the elastic layer has partially different flexibility.
  • the elastic layer is a skin layer provided on a surface that comes into contact with an external object and having relatively high wear resistance compared to other portions of the elastic layer; a flexible layer provided in contact with the back surface of the skin layer and made of a material having higher flexibility than the skin layer,
  • the contact sensor device according to any one of (1) to (8), wherein the marker is formed within the flexible layer.
  • the elastic layer is a first elastic layer provided on a surface that comes into contact with an external object and having relatively higher flexibility than other portions of the elastic layer; a second elastic layer provided in contact with the back surface of the first elastic layer and having lower flexibility than the first elastic layer;
  • a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet; an elastic layer formed in an imaging region of the compound eye imaging device;
  • a contact sensor device comprising: a markless screen layer provided in the elastic layer or on the surface of the elastic layer; and a projection device that projects a fixed pattern image as a marker onto the markless screen layer.
  • a contact sensor device is a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet; an illumination device that illuminates an imaging region of the compound eye imaging device; an elastic layer having a marker formed in the imaging region; an output unit for outputting a detection signal obtained from each of the compound-eye imaging devices as compound-eye image data to the signal processing unit;
  • a contact sensor module wherein the signal processing device generates surface shape data of the elastic layer by processing the compound eye image data input from the contact sensor device.
  • the signal processing device generates pressure vector data about the pressure applied to the elastic layer by processing the compound eye image data input from the contact sensor device.
  • a contact sensor device is a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet; an elastic layer formed in an imaging region of the compound eye imaging device; a markless screen layer provided in the elastic layer or on the surface of the elastic layer; a projection device for projecting a fixed pattern image as a marker onto the markless screen layer; an output unit for outputting data to the signal processing unit,
  • a contact sensor module wherein the signal processing device generates surface shape data of the markless screen layer by processing the compound eye image data input from the contact sensor device.
  • a hand device (18) a hand device; an arm device coupled to the hand device and having a wrist joint and an elbow joint; a contact sensor device attached to the fingertip of the hand device,
  • the contact sensor device is a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet; an illumination device that illuminates an imaging region of the compound eye imaging device; an elastic layer on which a marker is formed in the imaging region;
  • the robot arm device wherein the flexible sheet is attached to the surface of the fingertip.
  • a hand device an arm device coupled to the hand device and having a wrist joint and an elbow joint; a contact sensor device attached to the fingertip of the hand device,
  • the contact sensor device is a compound-eye imaging device in which a plurality of compound-eye imaging elements are two-dimensionally arranged on a flexible sheet; an elastic layer formed in an imaging region of the compound eye imaging device; a markless screen layer provided in the elastic layer or on the surface of the elastic layer; and a projection device for projecting a fixed pattern image as a marker onto the markless screen layer,
  • the robot arm device wherein the flexible sheet is attached to the surface of the fingertip.
  • the tactile sensor devices In the tactile sensor devices according to the first and second aspects of the present disclosure, the tactile sensor modules according to the third and fourth aspects of the present disclosure, and the robot arm devices according to the fifth and sixth aspects of the present disclosure, a plurality of are two-dimensionally arranged on a flexible sheet. Accordingly, the tactile sensor device can be attached along the surface of the fingertip of the robot arm device, so that the hand device of the robot arm device can be prevented from increasing in size due to the attachment of the tactile sensor device. As a result, miniaturization of the tactile sensor device, the tactile sensor module, and the robot arm device can be achieved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

本開示の一側面に係る触覚センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域を照らす照明装置と、撮像領域にマーカが形成された変形層とを備えている。

Description

触覚センサ装置、接触センサモジュールおよびロボットアーム装置
　本開示は、触覚センサ装置、接触センサモジュールおよびロボットアーム装置に関する。
　ロボットによる物体のハンドリングを制御するために、ロボットには多くのセンサが用いられる。ロボットに用いられ得るセンサが、例えば、下記の特許文献１に開示されている。
国際公開ＷＯ２０１８／２３５２１４
　ところで、センサをロボットアームの先端部分に適用するためには、小型化が必要となる。特に、ロボットアームの先端部分の表面変位をカメラで測定するビジョン方式の接触センサをロボットアームの先端部分に適用する場合には、カメラの焦点距離の分だけデバイスが大きくなってしまう。従って、小型化を実現することの可能な触覚センサ装置、およびそのような触覚センサ装置を備えた接触センサモジュールおよびロボットアーム装置を提供することが望ましい。
　本開示の第１の側面に係る触覚センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域を照らす照明装置と、撮像領域にマーカが形成された変形層とを備えている。
　本開示の第２の側面に係る触覚センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域に形成された弾性層とを備えている。この触覚センサ装置は、さらに、弾性層内もしくは弾性層の表面に設けられたマークレススクリーン層と、マークレススクリーン層にマーカをとして固定パターン像を投影する投影装置とを備えている。
　本開示の第３の側面に係る触覚センサモジュールは、接触センサ装置と、信号処理装置とを備えている。接触センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域を照らす照明装置と、撮像領域にマーカが形成された変形層とを有している。接触センサ装置は、さらに、各複眼撮像素子から得られた検出信号を複眼画像データとして信号処理装置に出力する出力部を有している。信号処理装置は、接触センサ装置から入力された複眼画像データを処理することにより、変形層の表面形状データを生成する。
　本開示の第４の側面に係る触覚センサモジュールは、接触センサ装置と、信号処理装置とを備えている。接触センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域に形成された弾性層とを有している。接触センサ装置は、さらに、弾性層内もしくは弾性層の表面に設けられたマークレススクリーン層と、マークレススクリーン層にマーカをとして固定パターン像を投影する投影装置と、各複眼撮像素子から得られた検出信号を複眼画像データとして信号処理装置に出力する出力部とを有している。信号処理装置は、接触センサ装置から入力された複眼画像データを処理することにより、弾性層の表面形状データを生成する。
　本開示の第５の側面に係るロボットアーム装置は、手装置と、手装置に連結され、手首関節および肘関節を有するアーム装置と、手装置の指先に取り付けられた接触センサ装置とを備えている。接触センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域を照らす照明装置と、撮像領域にマーカが形成された変形層とを有している。
　本開示の第６の側面に係る触覚センサ装置は、手装置と、手装置に連結され、手首関節および肘関節を有するアーム装置と、手装置の指先に取り付けられた接触センサ装置とを備えている。接触センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域に形成された弾性層とを備えている。この触覚センサ装置は、さらに、弾性層内もしくは弾性層の表面に設けられたマークレススクリーン層と、マークレススクリーン層にマーカをとして固定パターン像を投影する投影装置とを備えている。
　本開示の第１および第２の側面に係る触覚センサ装置、本開示の第３および第４の側面に係る触覚センサモジュールならびに本開示の第５および第６の側面に係るロボットアーム装置では、複数の複眼撮像素子が可撓性シート上に２次元配置されている。これにより、ロボットアーム装置の指先の表面に沿って触覚センサ装置を取り付けることができるので、ロボットアーム装置の指先が触覚センサ装置を取り付けたことによって大型化するのを避けることができる。
本開示の第１の実施の形態に係る触覚センサ装置の断面構成例を表す図である。 図１の触覚センサ装置の平面構成例を表す図である。 図１の触覚センサ装置をロボット指部の表面に設置した様子を表す図である。 図１の触覚センサ装置の機能ブロック例を表す図である。 図１の複眼撮像素子の断面構成例を表す図である。 図１の複眼撮像素子の断面構成の一変形例を表す図である。 図１の複眼撮像素子の断面構成の一変形例を表す図である。 図１の複眼撮像素子の断面構成の一変形例を表す図である。 図１の複眼撮像素子の断面構成の一変形例を表す図である。 図１の複眼撮像素子の断面構成の一変形例を表す図である。 本開示の第２の実施の形態に係る触覚センサ装置の断面構成例を表す図である。 図１１の触覚センサ装置の平面構成例を表す図である。 本開示の第３の実施の形態に係る触覚センサ装置の断面構成例を表す図である。 図１３の触覚センサ装置の平面構成例を表す図である。 図１、図１１、図１３の触覚センサ装置の断面構成の一変形例を表す図である。 図１、図１１、図１３の触覚センサ装置の断面構成の一変形例を表す図である。 図１、図１１、図１３の触覚センサ装置の断面構成の一変形例を表す図である。 図１、図１１、図１３の触覚センサ装置の断面構成の一変形例を表す図である。 本開示の第４の実施の形態に係る触覚センサ装置の断面構成例を表す図である。 図１９の触覚センサ装置の平面構成例を表す図である。 図１の触覚センサ装置の断面構成の一変形例を表す図である。 図２１の触覚センサ装置の平面構成例を表す図である。 上記触覚センサ装置をロボットアーム装置の先端部分に適用したロボット装置の外観の一例を表す図である。 図２３のロボット装置の機能ブロック例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。また、本開示は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。なお、説明は、以下の順序で行う。
 
　　１．第１の実施の形態（触覚センサ装置）
　　　　マーカの変形を複眼撮像素子で検出する例（図１～図５）
　　２．第１の実施の形態の変形例（触覚センサ装置）
　　　　変形例Ａ～Ｅ：複眼撮像素子のバリエーション（図６～図１０）
　　３．第２の実施の形態（触覚センサ装置）
　　　　照明光を弾性導光層内に伝搬させる例（図１１，図１２）
　　４．第３の実施の形態（触覚センサ装置）
　　　　照明光を可撓性導光層内に伝搬させる例（図１３，図１４）
　　５．各実施の形態に共通の変形例（触覚センサ装置）
　　　　変形例Ｆ：弾性層内にマーカ層を設けた例（図１５，図１６）
　　　　変形例Ｇ：積層された複数のマーカ層を設けた例（図１７）
　　　　変形例Ｈ：弾性層表面に凹凸を設けた例（図１８）
　　６．第４の実施の形態（触覚センサ装置）
　　　　ストラクチャード光源を用いた例（図１９，図２０）
　　７．第１の実施の形態の変形例（触覚センサ装置）
　　　　照射光としてＲＧＢ光を用いた例（図２１，図２２）
　　８．適用例（ロボット装置）
　　　　ロボットの指先に触覚センサ装置を設けた例（図２３，図２４）
 
＜１．複眼カメラについて＞
　複眼カメラは、１つのイメージセンサに複数の個眼レンズが設けられたカメラである。複数の個眼レンズのそれぞれにより集光された光がイメージセンサにより受光される。イメージセンサにおける光電変換により得られた画像信号が、後段の信号処理ブロックにより処理される。これにより、複数の個眼レンズのそれぞれにより集光された光に基づく、１つの画像が生成され。
　複眼カメラの主な特長は、単眼カメラよりもレンズ（個眼レンズ）の表面からイメージセンサまでの距離を短くすることができることである。そのため、複眼カメラでは、単眼カメラと比較して、カメラの厚さを薄くすることができる。また、複数の個眼による視差等を利用してカメラから被写体までの距離情報を抽出することができる。また、個眼により得られた画像に対して、複眼カメラの構造に基づいた信号処理を施すことにより、個眼の解像度よりも高い解像度を得ることができる。
　本出願人は、複眼カメラを、表面変位を検出するセンサとして適用した薄型の触覚センサ装置を提案する。また、本出願人は、複数の複眼カメラを可撓性シート上に実装した曲面設置可能な触覚センサ装置を提案する。
　なお、複眼カメラは、上述した構成に限られるものではない。複眼カメラは、例えば、２次元配置された複数の個眼カメラによって構成されていてもよい。個眼カメラは、１つのイメージセンサに１つのレンズが設けられたカメラである。複眼カメラは、例えば、２次元配置された複数の個眼画素によって構成されていてもよい。個眼画素は、１つのフォトダイオードに１つのレンズが設けられた素子である。
＜２．第１の実施の形態＞
[構成]
　本開示の第１の実施の形態に係る触覚センサ装置１について説明する。図１は、触覚センサ装置１の断面構成例を表したものである。図２は、触覚センサ装置１の平面構成例を表したものである。触覚センサ装置１は、ロボットアーム装置の先端部分が外部の物体と接触するのを検出するセンサとして好適に適用可能なデバイスである。触覚センサ装置１は、例えば、図１，図２に示したように、複眼撮像装置１０、照明装置２０、弾性層３０、マーカ層４０およびコントローラ５０を備えている。
（複眼撮像装置１０）
　複眼撮像装置１０は、例えば、図１，図２に示したように、可撓性シート１１と、複数の複眼撮像素子１２とを有している。複数の複眼撮像素子１２は、可撓性シート１１上に２次元配置されている。複眼撮像装置１０は、さらに、例えば、図１，図２に示したように、信号処理部１３と、複数の複眼撮像素子１２と信号処理部１３とを互いに電気的に接続するＦＰＣ（Flexible Printed Circuit）１４とを有している。信号処理部１３およびＦＰＣ１４は、例えば、図２に示したように、可撓性シート１１上に配置されている。
　可撓性シート１１は、例えば、図３に示したように、ロボットアームの指先（ロボット指部ＲＦ）の表面に沿って貼り合わされる柔軟性の高いシートである。可撓性シート１１は、例えば、可撓性を有する樹脂シートを含んで構成されている。そのような樹脂シートの材料としては、例えば、ポリイミドやＰＥＴなどが挙げられる。
　各複眼撮像素子１２は、撮影領域を撮像することにより各画素から得られた検出信号を複眼画像データＩａとして信号処理部１３に出力する。各複眼撮像素子１２は、例えば、コントローラ５０による制御に従って所定の周期ごとに撮像を行い、それにより得られた複眼画像データＩａを、ＦＰＣ１４を介して信号処理部１３に出力する。各複眼撮像素子１２は、１つまたは複数のマイクロレンズと、１つまたは複数のマイクロレンズに対応して設けられた１または複数の光センサとを有している。各複眼撮像素子１２の構成については、後に詳述する。
　信号処理部１３は、複数の複眼撮像素子１２から同時刻に得られた複数の複眼画像データＩａを合成することにより統合複眼画像データＩｂを生成する。信号処理部１３は、さらに、各複眼画像データＩａから、奥行きについての視差データＤｐを生成する。視差データＤｐは、弾性層３０の表面形状データに相当する。信号処理部１３は、時刻ｔの統合複眼画像データＩｂと、時刻ｔの１周期前の時刻ｔ－１の統合複眼画像データＩｂとに基づいて、１周期におけるマーカ位置の平面内での変位量を導出する。信号処理部１３は、さらに、時刻ｔの視差データＤｐと、時刻ｔ－１の視差データＤｐとに基づいて、１周期におけるマーカ位置の奥行き方向の変位量を導出する。つまり、信号処理部１３は、複数の複眼撮像素子１２から得られた複数の複眼画像データＩａに基づいて、マーカ位置の３次元方向の変位量を導出する。信号処理部１３は、導出した変位量を外部機器に出力する。信号処理部１３は、マーカ位置の３次元方向の変位量と、弾性層３０の物性情報とに基づいて、弾性層３０に加えられた圧力についての圧力ベクトルデータを生成してもよい。この場合、信号処理部１３は、生成した圧力ベクトルデータを外部機器に出力する。
（照明装置２０）
　照明装置２０は、複眼撮像装置１０の撮像領域を照らす。照明装置２０は、例えば、図１，図２に示したように、複数の発光素子２１を有している。複数の発光素子２１は、例えば、可撓性シート１１上であって、かつ互いに隣接する２つの複眼撮像素子１２の間に配置されている。各発光素子２１は、例えば、可視領域の光を複眼撮像装置１０の撮像領域に向けて発する。各発光素子２１は、例えば、白色光を発する発光ダイオードである。照明装置２０は、さらに、例えば、図２に示したように、各発光素子２１を駆動するドライバ２２と、複数の発光素子２１とドライバ２２とを互いに電気的に接続するＦＰＣ２３とを有している。ドライバ２２およびＦＰＣ２３は、例えば、図２に示したように、可撓性シート１１上に配置されている。ドライバ２２は、ＦＰＣ２３を介して、各発光素子２１を駆動する。
（弾性層３０）
　弾性層３０は、マーカ層４０を支持するとともに、外部から物体に押圧されたときに変形する層である。弾性層３０の変形によりマーカ層４０の位置および形状が変化する。弾性層３０は、例えば、図１，図２に示したように、可撓性シート１１上に配置されており、複数の複眼撮像素子１２および複数の発光素子２１を覆っている。弾性層３０は、例えば、数ｍｍ程度の厚みの透明シリコーンゴム層である。本明細書において、「透明」とは、少なくとも照明装置２０から発せられる光に対して光透過性を有することを指している。白色シリコーンゴム層は、例えば、透明なシリコーンゴムに対して白色色素を含ませることにより形成される。
（マーカ層４０）
　マーカ層４０は、複眼撮像装置１０の撮像領域に形成されている。マーカ層４０は、例えば、弾性層３０の表面もしくは内部に配置されている。図１には、マーカ層４０が弾性層３０の表面に配置されている例が示されている。弾性層３０およびマーカ層４０からなる複合体が、本開示の「変形層」の一具体例に相当する。マーカ層４０は、例えば、照明装置２０の光を効率良く反射する色素（例えば、白色色素）と、シリコーンゴムとの混合物で構成された、厚さ数ｍｍ程度の層である。マーカ層４０は、例えば、上記混合物を含むインクを弾性層３０の表面に印刷することにより形成される。マーカ層４０は、例えば、平面視において水玉模様となっている。
（コントローラ５０）
　コントローラ５０は、外部からの制御信号に基づいて、複眼撮像装置１０および照明装置２０を制御する。コントローラ５０は、例えば、所定のタイミングで照明装置２０を発光させる。コントローラ５０は、例えば、照明装置２０の光がマーカ層４０で反射されることによって形成される像光を所定の周期ごとに複眼撮像装置１０で検出させ、それにより複眼撮像装置１０で得られるデータを複眼撮像装置１０から外部に出力させる。
　次に、信号処理部１３の機能について説明する。
　図４は、信号処理部１３の機能ブロック例を表したものである。信号処理部１３は、例えば、図４に示したように、画像統合部１３ａ、マーカ検出部１３ｂ、マーカデータバッファ部１３ｃ、３Ｄベクトル生成部１３ｄおよびデータ出力部１３ｅを有している。
　画像統合部１３ａは、各複眼撮像素子１２で所定の周期ごとに生成された複眼画像データＩａを統合することにより、統合複眼画像データＩｂを生成する。つまり、統合複眼画像データＩｂは、所定の時刻ｔに得られた複数の複眼画像データＩａを統合することにより得られる。統合複眼画像データＩｂの生成には、例えば、各複眼撮像素子１２の配置情報や、各複眼撮像素子１２における各画素の配置情報、各複眼撮像素子１２の特性情報、撮影時刻などが用いられる。画像統合部１３ａは、例えば、各複眼撮像素子１２から得られた複眼画像データＩａに含まれるノイズを除去したり、各複眼撮像素子１２から得られた複眼画像データＩａに基づいて所定の特徴量を算出したりしてもよい。画像統合部１３ａは、各複眼画像データＩａから、奥行きについての視差データＤｐを生成する。画像統合部１３ａは、生成した統合複眼画像データＩｂに対してＡＤ変換を行うことにより、デジタルの統合複眼画像データＩｂを生成し、マーカ検出部１３ｂに出力する。画像統合部１３ａは、さらに、生成した視差データＤｐに対してＡＤ変換を行うことにより、デジタルの視差データＤｐを生成し、マーカ検出部１３ｂに出力する。
　マーカ検出部１３ｂは、画像統合部１３ａから入力された統合複眼画像データＩｂおよび視差データＤｐに基づいて、マーカ層４０の位置を検出する。マーカ検出部１３ｂは、検出したマーカ層４０の位置についての情報（以下、「マーカ位置情報Ｄｍ（ｔ）」と称する。）をマーカデータバッファ部１３ｃに格納するとともに、３Ｄベクトル生成部１３ｄに出力する。マーカ位置情報Ｄｍ（ｔ）には、時刻ｔにおけるマーカ層４０の３次元位置情報が含まれる。マーカデータバッファ部１３ｃは、例えば、不揮発性メモリを含んで構成されている。マーカデータバッファ部１３ｃには、例えば、時刻ｔのマーカ位置情報Ｄｍ（ｔ）と、時刻ｔの１周期前の時刻ｔ－１のマーカ位置情報Ｄｍ（ｔ－１）とが格納される。
　３Ｄベクトル生成部１３ｄは、マーカ検出部１３ｂから入力されたマーカ位置情報Ｄｍ（ｔ）と、マーカデータバッファ部１３ｃから読み出した時刻ｔ－１のマーカ位置情報Ｄｍ（ｔ－１）とに基づいて、１周期におけるマーカ位置の３次元方向の変化量（以下、「３ＤベクトルＶ（ｔ）」と称する。）を導出する。３Ｄベクトル生成部１３ｄは、導出した３ＤベクトルＶ（ｔ）をデータ出力部１３ｅに出力する。データ出力部１３ｅは、３ＤベクトルＶ（ｔ）を外部機器に出力する。
　次に、複眼撮像素子１２の構成について説明する。
　図５は、複眼撮像素子１２の断面構成例を表したものである。複眼撮像素子１２は、例えば、図５に示したように、撮像部１２ａと、複数のマイクロレンズ１２ｂと、複数のマイクロレンズ１２ｂを支持する光透過部１２ｃとを有している。
　撮像部１２ａは、複数のマイクロレンズ１２ｂに対応して設けられている。撮像部１２ａは、複数の光センサ（フォトダイオード）によって構成されており、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサもしくはＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサによって構成されている。撮像部１２ａは、例えば、コントローラ５０からの制御信号に従って、マーカ層４０からの反射光（像光）を受光し、それにより各画素から得られた検出信号を複眼画像データＩａとして信号処理部１３に出力する。
　複数のマイクロレンズ１２ｂは、撮像部１２ａに対して所定の間隙を介して対向配置されており、マーカ層４０からの反射光（像光）を撮像部１２ａの受光面に結像する。複数のマイクロレンズ１２ｂは、例えば、図５に示したように、少なくとも２つのマイクロレンズ１２ｂの視野範囲の一部（例えば図中のターゲットＴＧ）が互いに重複するように配置されている。撮像部１２ａにおいて、複数のマイクロレンズ１２ｂは、１列もしくは２次元に配置されている。光透過部１２ｃは、複数のマイクロレンズ１２ｂと撮像部１２ａとの間に配置されている。光透過部１２ｃは、例えば、透明なシリコーンゴムによって構成されている。
[効果]
　次に、触覚センサ装置１の効果について説明する。
　本実施の形態では、複数の複眼撮像素子１２が可撓性シート１１上に２次元配置されている。これにより、各複眼撮像素子１２の厚さを薄くすることができる。さらに、ロボット指部ＲＦの表面に沿って触覚センサ装置１を取り付けることができる。従って、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
　本実施の形態では、各複眼撮像素子１２が、複数のマイクロレンズ１２ｂと、複数のマイクロレンズ１２ｂに対応して設けられた撮像部１２ａとにより構成された複眼カメラとなっている。これにより、各複眼撮像素子１２の厚さを薄くすることができる。従って、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
　本実施の形態では、可撓性シート１１上であって、かつ互いに隣接する２つの複眼撮像素子１２の間に複数の発光素子２１が配置されている。これにより、各発光素子２１から発せられた光が直接、複眼撮像素子１２に入射するのを避けつつ、各発光素子２１から発せられた光をマーカ層４０に照射することができる。また、複数の発光素子２１が可撓性シート１１上に配置されていることから、複数の発光素子２１を設けたことによる触覚センサ装置１の厚みの増加を避けることができる。
＜３．第１の実施の形態の変形例＞
　次に、第１の実施の形態に係る触覚センサ装置１の変形例について説明する。
［変形例Ａ］
　図６は、複眼撮像素子１２の断面構成の一変形例を表したものである。上記実施の形態では、各複眼撮像素子１２が、複数のマイクロレンズ１２ｂに対して１つの撮像部１２ａが設けられた複眼カメラとなっていた。しかし、上記実施の形態において、各複眼撮像素子１２が、例えば、図６に示したように、１つのマイクロレンズ１２ｂに対して１つの撮像部１２ａが設けられた個眼撮像素子１５（個眼カメラ）を複数有していてもよい。
　このとき、各複眼撮像素子１２において、複数の個眼撮像素子１５は、１列もしくは２次元に配置されている。このようにした場合には、各複眼撮像素子１２に対して屈曲性を与えることができるので、曲率の大きな表面に対しても触覚センサ装置１を取り付けることができる。その結果、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
［変形例Ｂ］
　図７は、複眼撮像素子１２の断面構成の一変形例を表したものである。上記実施の形態において、各複眼撮像素子１２が、例えば、図７に示したように、複数の個眼撮像素子１６を有していてもよい。
　各個眼撮像素子１６は、例えば、図７に示したように、受光素子１２ｄと、マイクロレンズ１２ｂと、マイクロレンズ１２ｂを支持する光透過部１２ｃを有している。受光素子１２ｄは、フォトダイオードである。マイクロレンズ１２ｂは、受光素子１２ｄに対して所定の間隙を介して対向配置されており、マーカ層４０からの反射光（像光）を受光素子１２ｄの受光面に結像する。光透過部１２ｃは、例えば、透明なシリコーンゴムによって構成されている。各複眼撮像素子１２において、複数のマイクロレンズ１２ｂは、例えば、少なくとも２つのマイクロレンズ１２ｂの視野範囲の一部が互いに重複するように配置されている。各複眼撮像素子１２において、複数の個眼撮像素子１６は、光透過部１２ｃを共有しており、一体に形成されている。
　本変形例では、複数の複眼撮像素子１２が可撓性シート１１上に２次元配置されている。これにより、単眼撮像素子と比べて、各複眼撮像素子１２の厚さを薄くすることができる。さらに、ロボット指部ＲＦの表面に沿って触覚センサ装置１を取り付けることができる。従って、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
　本変形例では、各複眼撮像素子１２が、１つのマイクロレンズ１２ｂと、１つのマイクロレンズ１２ｂに対応して設けられた受光素子１２ｄとにより構成された個眼撮像素子１６（個眼カメラ）を複数有している。これにより、各複眼撮像素子１２の厚さを薄くすることができる。従って、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
［変形例Ｃ］
　図８は、複眼撮像素子１２の断面構成の一変形例を表したものである。上記変形例Ｂでは、各複眼撮像素子１２において、複数の個眼撮像素子１６は、光透過部１２ｃを共有しており、一体に形成されていた。しかし、上記変形例Ｂにおいて、複数の複眼撮像素子１２が、例えば、図８に示したように、互いに独立して形成されていてもよい。このようにした場合には、各複眼撮像素子１２に対して屈曲性を与えることができるので、曲率の大きな表面に対しても触覚センサ装置１を取り付けることができる。その結果、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
［変形例Ｄ］
　図９は、複眼撮像素子１２の断面構成の一変形例を表したものである。上記実施の形態において、各複眼撮像素子１２が、例えば、図９に示したように、光透過部１２ｃ内にマイクロレンズアレイ１２ｅを有していてもよい。マイクロレンズアレイ１２ｅに含まれる各マイクロレンズは、マイクロレンズ１２ｂのサイズよりも小さなサイズであり、しかも、１つのマイクロレンズ１２ｂに対して、マイクロレンズアレイ１２ｅに含まれる複数のマイクロレンズが割り当てられている。従って、本変形例では、各複眼撮像素子１２は、例えば、図９に示したように、マイクロレンズアレイ１２ｅに含まれる１つマイクロレンズと、撮像部１２ａのうち、そのマイクロレンズと対向する領域とにより構成される個眼画素１２ｆ（サブ画素）を複数有している。このように、マイクロレンズアレイ１２ｅを設けることにより、個眼画素１２ｆ（サブ画素）ごとに瞳補正を行い、個眼画素１２ｆ（サブ画素）におけるシェーディング特性を改善することができ、全体画像のシェーディング特性を改善することができる。また、全体画像の外縁部のＳ／Ｎ（Signal to Noise ratio）比を良好にすることもできる。
［変形例Ｅ］
　図１０は、複眼撮像素子１２の断面構成の一変形例を表したものである。上記変形例Ｄにおいて、例えば、図１０に示したように、マイクロレンズアレイ１２ｅに含まれる複数のマイクロレンズが、対応するマイクロレンズ１２ｂごとに分離されていてもよい。このとき、各複眼撮像素子１２は、１つのマイクロレンズ１２ｂと、マイクロレンズアレイ１２ｅの一部と、撮像部１２ａの一部と、光透過部１２ｃの一部とにより構成された個眼撮像素子１７を複数有しているともいえる。複数の個眼撮像素子１７は、互いに独立して形成されている。これにより、上記変形例Ｄと比べてより一層、ロボット指部ＲＦの表面に沿って触覚センサ装置１を取り付けることができる。その結果、ロボット指部ＲＦが触覚センサ装置１を取り付けたことによって大型化するのを避けることができる。
＜３．第２の実施の形態＞
[構成]
　本開示の第２の実施の形態に係る触覚センサ装置２について説明する。図１１は、触覚センサ装置２の断面構成例を表したものである。図１２は、触覚センサ装置２の平面構成例を表したものである。触覚センサ装置２は、ロボットアーム装置の先端部分が外部の物体と接触するのを検出するセンサとして好適に適用可能なデバイスである。触覚センサ装置２は、例えば、図１１，図１２に示したように、複眼撮像装置１０、照明装置６０、弾性導光層７０、マーカ層４１およびコントローラ５０を備えている。
（マーカ層４１）
　マーカ層４１は、複眼撮像装置１０の撮像領域に形成されている。マーカ層４１は、例えば、弾性導光層７０の表面もしくは内部に配置されている。図１１には、マーカ層４１が弾性導光層７０の表面に配置されている例が示されている。弾性導光層７０およびマーカ層４１からなる複合体が、本開示の「変形層」の一具体例に相当する。マーカ層４１は、例えば、蛍光体材料と、シリコーンゴムとの混合物で構成された、厚さ数ｍｍ程度の層である。マーカ層４１は、例えば、上記混合物を含むインクを弾性導光層７０の表面に印刷することにより形成される。マーカ層４１は、例えば、平面視において水玉模様となっている。
（照明装置６０）
　照明装置６０は、複眼撮像装置１０の撮像領域を照らす。照明装置６０は、例えば、図１１，図１２に示したように、発光素子６１を有している。発光素子６１は、例えば、可撓性シート１１上であって、かつ複数の複眼撮像素子１２が配置された領域の周囲に配置されている。発光素子６１は、マーカ層４１に含まれる蛍光体材料を励起させる励起光を発する。発光素子６１は、発光素子６１から発せられた励起光を弾性導光層７０内に伝播させることにより、複眼撮像装置１０の撮像領域を照明する。各発光素子６１は、例えば、上記励起光を発する発光ダイオードである。照明装置６０は、さらに、例えば、図１２に示したように、発光素子６１を駆動するドライバ６２と、発光素子６１とドライバ６２とを互いに電気的に接続するＦＰＣ６３とを有している。ドライバ６２およびＦＰＣ６３は、例えば、図１２に示したように、可撓性シート１１上に配置されている。ドライバ６２は、ＦＰＣ６３を介して、発光素子６１を駆動する。
（複眼撮像装置１０）
　複眼撮像装置１０は、例えば、図１１に示したように、各複眼撮像素子１２の受光面を覆うフィルタ層１８を有している。フィルタ層１８は、上記励起光をカットするとともに、マーカ層４１から発せられる蛍光を選択的に透過させる波長選択フィルタである。フィルタ層１８が各複眼撮像素子１２の受光面に設けられていることにより、各複眼撮像素子１２は、フィルタ層１８を透過した蛍光に基づいて複眼画像データＩａを生成することができる。
（弾性導光層７０）
　弾性導光層７０は、マーカ層４１を支持するとともに、外部から物体に押圧されたときに変形する、可撓性を有する層である。弾性導光層７０の変形によりマーカ層４１の位置および形状が変化する。弾性導光層７０は、さらに、発光素子６１から発せられた励起光を導波する機能も有している。弾性導光層７０は、例えば、図１１，図１２に示したように、可撓性シート１１上に配置されており、複数の複眼撮像素子１２および発光素子６１を覆っている。弾性導光層７０は、例えば、数ｍｍ程度の厚みの透明シリコーンゴム層である。
（コントローラ５０）
　コントローラ５０は、外部からの制御信号に基づいて、複眼撮像装置１０および照明装置６０を制御する。コントローラ５０は、例えば、所定のタイミングで照明装置６０を発光させる。コントローラ５０は、例えば、照明装置６０の光がマーカ層４１で吸収され、マーカ層４１から励起光が発せられることによって形成される像光を所定の周期ごとに複眼撮像装置１０で検出させ、それにより複眼撮像装置１０で得られるデータを複眼撮像装置１０から外部に出力させる。
[効果]
　本実施の形態では、マーカ層４１に含まれる蛍光体材料から発せられた蛍光に基づいて複眼画像データＩａが生成される。例えば、発光素子６１から発せられた青色の励起光によって、マーカ層４１から赤色の蛍光が発せられたとする。このとき、フィルタ層１８は、青色の励起光をカットするとともに、赤色の蛍光を透過する。これにより、青色の励起光は複眼撮像素子１２（光センサ）に入射せず、赤色の蛍光のみが複眼撮像素子１２（光センサ）に入射するので、マーカ層４１での反射光に基づいて複眼画像データＩａを生成する場合と比べて、ノイズの少ない複眼画像データＩａを得ることができる。その結果、マーカの位置精度を高くすることができる。
＜４．第３の実施の形態＞
[構成]
　本開示の第３の実施の形態に係る触覚センサ装置３について説明する。図１３は、触覚センサ装置３の断面構成例を表したものである。図１４は、触覚センサ装置３の平面構成例を表したものである。触覚センサ装置３は、ロボットアーム装置の先端部分が外部の物体と接触するのを検出するセンサとして好適に適用可能なデバイスである。触覚センサ装置３は、例えば、図１３，図１４に示したように、複眼撮像装置１０、照明装置８０、弾性層３０、マーカ層４０およびコントローラ５０を備えている。
　触覚センサ装置３は、上記第１の実施の形態に係る触覚センサ装置１において、照明装置２０の代わりに照明装置８０が設けられた装置に相当する。照明装置８０は、複眼撮像装置１０の撮像領域を照らす。照明装置８０は、例えば、図１３，図１４に示したように、発光素子８１、可撓性導光層８２、散乱層８３、ドライバ２２およびＦＰＣ２３を有している。
　発光素子８１は、例えば、可撓性シート１１の裏面（複眼撮像素子１２側の表面とは反対側の表面）上であって、かつ複数の複眼撮像素子１２と対向する領域の周囲に配置されている。発光素子８１は、例えば、可視領域の光を、可撓性導光層８２の端面に向けて発する。発光素子８１は、例えば、白色光を発する発光ダイオードである。
　可撓性導光層８２は、発光素子８１から発せられた可視領域の光を伝播させる柔軟性の高い樹脂シートである。そのような樹脂シートの材料としては、例えば、シリコーンやアクリル、ポリカーボネイト、シクロオレフィンなどが挙げられる。可撓性シート１１には、複数の開口部１１ａが設けられている。複数の開口部１１ａは、互いに隣接する２つの複眼撮像素子１２の間の領域と対向する箇所に設けられている。可撓性導光層８２の表面（可撓性シート１１側の表面）には、複数の散乱層８３が接して設けられている。複数の散乱層８３は、可撓性導光層８２の表面のうち、各開口部１１ａの底面に露出している領域に接して設けられている。
[効果]
　本実施の形態では、可撓性導光層８２を伝播してきた発光素子８１の光が散乱層８３で散乱される。これにより、散乱層８３が光源となって、可視領域の光を複眼撮像装置１０の撮像領域に向けて発する。このようにした場合には、互いに隣接する２つの複眼撮像素子１２の間隙に発光素子２１を設ける必要がないので、互いに隣接する２つの複眼撮像素子１２の間隙の大きさを、発光素子２１に制限されることなく設定することができる。なお、散乱層８３の占有体積は発光素子２１と比べて十分に小さく、散乱層８３の平面形状は、発光素子２１と比べて自由に設定可能である。従って、散乱層８３は、互いに隣接する２つの複眼撮像素子１２の間隙の大きさを設定する際の制限にはならない。また、上記第１の実施の形態のような発光素子２１を設けた場合に必要となる、発光素子２１に電流を流すための配線を省略することができるので、触覚センサ装置３をシンプルな構造にすることができる。
＜５．各実施の形態に共通の変形例＞
　次に、第１～第３の実施の形態およびその変形例に係る触覚センサ装置１の変形例について説明する。
［変形例Ｆ］
　上記実施の形態において、マーカ層４０，４１が、例えば、図１５，図１６に示したように、弾性層３０内に設けられていてもよい。このとき、例えば、図１５，図１６に示したように、弾性層３０の表面に、弾性層３０のうち他の部分と比べて相対的に耐摩耗性の高い表皮層３１が設けられていてもよい。このように、表皮層３１を設けることで、弾性層３０の表面の劣化を防ぐこともできる。また、表皮層３１を、弾性層３０のうち他の部分と比べて相対的に硬度の高い材料で形成した場合（つまり、弾性層３０の柔軟性を部分的に異ならせた場合）には、弾性層３０の表面での変形を高い応答性でマーカ層４０，４１に伝達することができる。
［変形例Ｇ］
　上記実施の形態において、マーカ層４０，４１が複数のマーカ層を積層させた積層体となっていてもよい。このとき、マーカ層４０，４１が、例えば、図１７に示したように、弾性層３０の表面に第１マーカ層４２および第２マーカ層４３をこの順に積層した積層体となっていてもよい。
　第１マーカ層４２は、弾性層３０の表面に接している。第２マーカ層４３は、第１マーカ層４２の表面に接している。第１マーカ層４２は第２マーカ層４３と比べて各複眼撮像素子１２に近接して配置されており、第２マーカ層４３は第１マーカ層４２と比べて各複眼撮像素子１２から離れて配置されている。このように、第１マーカ層４２および第２マーカ層４３では、各複眼撮像素子１２から見たときの奥行きに違いがある。これにより、弾性層３０の表面変形の感度を高めることができる。
　本変形例において、第２マーカ層４３が弾性層３０のうち他の部分と比べて相対的に柔軟性の高い層となっており、第１マーカ層４２が第２マーカ層４３よりも柔軟性の低い層となっていてもよい。このように、マーカ層４０，４１を柔軟性の互いに異なる複数の層で構成することにより、弾性層３０の表面変形の感度を高めることができる。
［変形例Ｈ］
　上記実施の形態において、例えば、図１８に示したように、マーカ層４０が弾性層３０の表面に形成されていることにより、弾性層３０およびマーカ層４０からなる複合体の表面に凹凸が形成されていてもよい。このとき、マーカ層４０が弾性層３０と比べて相対的に硬度の高い材料で構成されていてもよい。これにより、弾性層３０およびマーカ層４０からなる複合体の表面が平滑な面となっている場合と比べて、弾性層３０の表面変形の感度を高めることができる。
＜６．第４の実施の形態＞
[構成]
　本開示の第４の実施の形態に係る触覚センサ装置４について説明する。図１９は、触覚センサ装置４の断面構成例を表したものである。図２０は、触覚センサ装置４の平面構成例を表したものである。触覚センサ装置４は、ロボットアーム装置の先端部分が外部の物体と接触するのを検出するセンサとして好適に適用可能なデバイスである。触覚センサ装置４は、例えば、図１９，図２０に示したように、複眼撮像装置１０、投影装置９０、弾性層３０およびコントローラ５０を備えている。
　投影装置９０は、複眼撮像装置１０の撮像領域にマーカとして固定パターン像を投影する。投影装置９０は、例えば、図１９，図２０に示したように、複数のストラクチャード光源９１と、マークレススクリーン層９２とを有している。
　複数のストラクチャード光源９１は、例えば、可撓性シート１１上であって、かつ互いに隣接する２つの複眼撮像素子１２の間に配置されている。各ストラクチャード光源９１は、例えば、可視領域の固定パターン像光を、複眼撮像装置１０の撮像領域に設けられたマークレススクリーン層９２に向けて発する。マークレススクリーン層９２は、例えば、弾性層３０内もしくは弾性層３０の表面に設けられている。マークレススクリーン層９２は、例えば、白色シリコーンゴム層によって構成されている。
　マークレススクリーン層９２が白色シートで構成されている場合、各ストラクチャード光源９１は、例えば、白色シートに映える色（例えば、赤色）の光を発する発光ダイオードと、その発光ダイオードの光出射面に設けられたパターニングされた遮光膜とにより構成されている。遮光膜のパターンを反転させたパターン像がマークレススクリーン層９２に投影される。
　投影装置９０は、さらに、例えば、図２０に示したように、各ストラクチャード光源９１を駆動するドライバ９３と、複数のストラクチャード光源９１とドライバ９３とを互いに電気的に接続するＦＰＣ９４とを有している。ドライバ９３およびＦＰＣ９４は、例えば、図２０に示したように、可撓性シート１１上に配置されている。ドライバ９３は、ＦＰＣ９４を介して、各ストラクチャード光源９１を駆動する。
[効果] 
　本実施の形態では、弾性層３０内もしくは弾性層３０の表面に設けられたマークレススクリーン層９２と、マークレススクリーン層９２にマーカとして固定パターン像を投影する複数のストラクチャード光源９１とが設けられている。これにより、マーカ層４０，４１を設ける必要がなくなるので、触覚センサ装置４が製造しやすくなる。また、マーカ層４０の劣化に伴う部材交換をする必要もなくなるので、メンテナンス性に優れている。
＜７．第１の実施の形態の変形例＞
　上記第１の実施の形態では、各発光素子２１は、単色の光を発していた。しかし、上記第１の実施の形態において、複数の発光素子２１が、例えば、図２１，図２２に示したように、赤色光を発する複数の発光素子２１ｒと、緑色光を発する複数の発光素子２１ｇと、青色光を発する複数の発光素子２１ｂとを含んでいてもよい。このとき、マーカ層４０は、たとえば、図２１に示したように、発光素子２１ｒから発せられる赤色光によって照明される領域に、赤色光を効率よく反射するマーカ層４０ｒを有していてもよい。また、マーカ層４０は、たとえば、図２１に示したように、発光素子２１ｂから発せられる青色光によって照明される領域に、青色光を効率よく反射するマーカ層４０ｂを有していてもよい。このように、複数の波長帯の光をマーカ層４０に照明することにより、マーカ層４０の場所ごとの変位を検出しやすくすることができる。
＜８．適用例＞
　次に、ロボットアーム装置１２０の先端部分に触覚センサ装置１～４を設けたロボット装置１００について説明する。図２３は、ロボット装置１００の斜視構成例を表したものである。ロボット装置１００は、例えば、図２３に示したように、本体１１０と、ロボットアーム装置１２０と、移動機構１３０と、センサ１４０と、２つの触覚センサ装置１～４とを備えている。
　本体１１０は、例えば、ロボット装置１００の動力部および制御部を備え、ロボット装置１００の各部が取り付けられる中心部位である。制御部は、ロボット装置１００に設けられた２つのロボットアーム装置１２０、移動機構１３０、センサ１４０および２つの触覚センサ装置１を制御する。本体１１０は、頭部、首、及び胴体を含む人間の上半身を模した形状であってもよい。
　各ロボットアーム装置１２０は、例えば、本体１１０に取り付けられた多関節型のマニピュレータである。一方のロボットアーム装置１２０が、例えば、人間の上半身を模した本体１１０の右肩に取り付けられている。他方のロボットアーム装置１２０が、例えば、人間の上半身を模した本体１１０の左肩に取り付けられている。各ロボットアーム装置１２０の先端部分（手装置の指先）の表面には、触覚センサ装置１～４が取り付けられている。
　移動機構１３０は、例えば、本体１１０の下部に設けられ、ロボット装置１００の移動を担う部位である。移動機構１３０は、二輪又は四輪の車輪式の移動装置であってもよく、二脚又は四脚の脚式の移動装置であってもよい。さらには、移動機構１３０は、ホバー式、プロペラ式、又は無限軌道式の移動装置であってもよい。
　センサ１４０は、例えば、本体１１０などに設けられ、ロボット装置１００の周囲の環境（外部環境）に関する情報を非接触にて検出（センシング）するセンサである。センサ１４０は、検出（センシング）により得られたセンサデータを出力する。センサ１４０は、例えば、ステレオカメラ、単眼カメラ、カラーカメラ、赤外線カメラ、若しくは偏光カメラなどの撮像装置である。なお、センサ１４０は、天候若しくは気象等を検出するための環境センサ、音声を検出するマイクロフォン、又は超音波センサ、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ、若しくはＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサなどの深度センサであってもよい。センサ１４０は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）センサなどの位置センサであってもよい。
　本適用例において、触覚センサ装置１～４における一部の機能が本体１１０の制御部に設けられていてもよい。例えば、図２４に示したように、触覚センサ装置１～４において、マーカ検出部１３ｂ、マーカデータバッファ部１３ｃおよび３Ｄベクトル生成部１３ｄが本体１１０の制御部に設けられていてもよい。このとき、触覚センサ装置１～４は、画像統合部１３ａで生成されたデータを本体１１０に出力するデータ出力部１３ｆを備えていてもよい。また、本体１１０は、触覚センサ装置１～４から出力されたデータを受信するデータ入力部１３ｇや、３Ｄベクトル生成部１３ｄで生成されたデータを処理するデータ処理部１３ｈを備えていてもよい。このようにした場合には、演算量が膨大な処理を本体１１０の制御部に担わせることができる。
　以上、実施の形態、変形例および適用例を挙げて本開示を説明したが、本開示は実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
　前記複眼撮像装置の撮像領域を照らす照明装置と、
　前記撮像領域にマーカが形成された弾性層と
　を備えた
　接触センサ装置。
（２）
　各前記複眼撮像素子は、複数のマイクロレンズと、前記複数のマイクロレンズに対応して設けられた１つのイメージセンサとにより構成された複眼カメラである
　（１）に記載の接触センサ装置。
（３）
　各前記複眼撮像素子は、１つマイクロレンズと、前記１つのマイクロレンズに対応して設けられた１つのイメージセンサとにより構成された個眼カメラを複数有する
　（１）に記載の接触センサ装置。
（４）
　各前記複眼撮像素子は、１つのマイクロレンズと、前記１つマイクロレンズに対応して設けられた１つのフォトダイオードとにより構成された個眼画素を複数有する
　（１）に記載の接触センサ装置。
（５）
　前記照明装置は、前記可撓性シート上であって、かつ互いに隣接する２つの前記複眼撮像素子の間に配置されている
　（１）ないし（４）のいずれか１つに記載の接触センサ装置。
（６）
　前記マーカは、蛍光体材料を含んで構成されており、
　前記照明装置は、前記蛍光体材料を励起させる励起光を出射し、
　当該接触センサ装置は、各前記複眼撮像素子の光受光面を覆う、前記蛍光体材料から発せられる蛍光を選択的に透過させるフィルター層を更に備えた
　（１）ないし（４）のいずれか１つに記載の接触センサ装置。
（７）
　前記可撓性シートが、前記照明装置から発せられる光を導波する光導波層となっており、
　前記可撓性シートの表面であって、かつ互いに隣接する２つの前記複眼撮像素子の間の領域に接する光散乱層を更に備えた
　（６）に記載の接触センサ装置。
（８）
　前記照明装置は、赤色光を発する複数の第１照明装置と、緑色光を発する複数の第２照明装置と、青色光を発する複数の第３照明装置とにより構成され、
　前記複数の第１照明装置、前記複数の第２照明装置、および前記複数の第３照明装置は、前記可撓性シート上に第１方向および前記第１方向と交差する第２方向に繰り返し順番に配置されている
　（５）に記載の接触センサ装置。
（９）
　前記弾性層では、柔軟性が部分的に異なっている
　（１）ないし（８）のいずれか１つに記載の接触センサ装置。
（１０）
　前記弾性層は、
　外部の物体が接触する表面に設けられ、当該弾性層のうち他の部分と比べて相対的に耐摩耗性の高い表皮層と、
　前記表皮層の裏面に接して設けられ、前記表皮層よりも柔軟性の高い材料によって構成された柔軟層と
　を有し、
　前記マーカは前記柔軟層内に形成されている
　（１）ないし（８）のいずれか１つに記載の接触センサ装置。
（１１）
　前記弾性層は、
　外部の物体が接触する表面に設けられ、当該弾性層のうち他の部分と比べて相対的に柔軟性の高い第１弾性層と、
　前記第１弾性層の裏面に接して設けられ、前記第１弾性層よりも柔軟性の低い第２弾性層と
　を有し、
　前記マーカは前記第１弾性層および前記第２弾性層の双方に形成されている
　（１）ないし（８）のいずれか１つに記載の接触センサ装置。
（１２）
　前記弾性層は、外部の物体が接触する表面に凹凸を有する
　（１）ないし（１１）のいずれか１つに記載の接触センサ装置。
（１３）
　前記弾性層のうち、外部の物体が接触する表面に設けられた、前記弾性層よりも硬度の高い凸部を更に備えた
　（１）ないし（１１）のいずれか１つに記載の接触センサ装置。
（１４）
　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
　前記複眼撮像装置の撮像領域に形成された弾性層と、
　前記弾性層内もしくは前記弾性層の表面に設けられたマークレススクリーン層と
　前記マークレススクリーン層にマーカとして固定パターン像を投影する投影装置と
　を備えた
　接触センサ装置。
（１５）
　接触センサ装置と、
　信号処理装置と
　を備え、
　前記接触センサ装置は、
　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
　前記複眼撮像装置の撮像領域を照らす照明装置と、
　前記撮像領域にマーカが形成された弾性層と、
　各前記複眼撮像素子から得られた検出信号を複眼画像データとして前記信号処理部に出力する出力部
　を有し、
　前記信号処理装置は、前記接触センサ装置から入力された前記複眼画像データを処理することにより、前記弾性層の表面形状データを生成する
　接触センサモジュール。
（１６）
　前記信号処理装置は、前記接触センサ装置から入力された前記複眼画像データを処理することにより、前記弾性層に加えられた圧力についての圧力ベクトルデータを生成する
　（１５）に記載の接触センサモジュール。
（１７）
　接触センサ装置と、
　信号処理装置と
　を備え、
　前記接触センサ装置は、
　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
　前記複眼撮像装置の撮像領域に形成された弾性層と、
　前記弾性層内もしくは前記弾性層の表面に設けられたマークレススクリーン層と
　前記マークレススクリーン層にマーカとして固定パターン像を投影する投影装置と
　各前記複眼撮像素子から得られた検出信号を複眼画像データとして前記信号処理部に出力する出力部
　を有し、
　前記信号処理装置は、前記接触センサ装置から入力された前記複眼画像データを処理することにより、前記マークレススクリーン層の表面形状データを生成する
　接触センサモジュール。
（１８）
　手装置と、
　前記手装置に連結され、手首関節および肘関節を有するアーム装置と、
　前記手装置の指先に取り付けられた接触センサ装置と
　を備え、
　前記接触センサ装置は、
　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
　前記複眼撮像装置の撮像領域を照らす照明装置と、
　前記撮像領域にマーカが形成された弾性層と
　を有し、
　前記可撓性シートが前記指先の表面に貼り合わされている
　ロボットアーム装置。
（１９）
　手装置と、
　前記手装置に連結され、手首関節および肘関節を有するアーム装置と、
　前記手装置の指先に取り付けられた接触センサ装置と
　を備え、
　前記接触センサ装置は、
　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
　前記複眼撮像装置の撮像領域に形成された弾性層と、
　前記弾性層内もしくは前記弾性層の表面に設けられたマークレススクリーン層と
　前記マークレススクリーン層にマーカとして固定パターン像を投影する投影装置と
　を有し、
　前記可撓性シートが前記指先の表面に貼り合わされている
　ロボットアーム装置。
　本開示の第１および第２の側面に係る触覚センサ装置、本開示の第３および第４の側面に係る触覚センサモジュールならびに本開示の第５および第６の側面に係るロボットアーム装置では、複数の複眼撮像素子が可撓性シート上に２次元配置されている。これにより、ロボットアーム装置の指先の表面に沿って触覚センサ装置を取り付けることができるので、ロボットアーム装置の手装置が触覚センサ装置を取り付けたことによって大型化するのを避けることができる。その結果、触覚センサ装置、触覚センサモジュールおよびロボットアーム装置の小型化を実現することができる。
　本出願は、日本国特許庁において２０２１年１２月２日に出願された日本特許出願番号第２０２１－１９６２５１号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (19)

  1. 　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
    　前記複眼撮像装置の撮像領域を照らす照明装置と、
    　前記撮像領域にマーカが形成された変形層と
    　を備えた
    　接触センサ装置。
  2. 　各前記複眼撮像素子は、複数のマイクロレンズと、前記複数のマイクロレンズに対応して設けられた１つのイメージセンサとにより構成された複眼カメラである
    　請求項１に記載の接触センサ装置。
  3. 　各前記複眼撮像素子は、１つマイクロレンズと、前記１つのマイクロレンズに対応して設けられた１つのイメージセンサとにより構成された個眼カメラを複数有する
    　請求項１に記載の接触センサ装置。
  4. 　各前記複眼撮像素子は、１つのマイクロレンズと、前記１つマイクロレンズに対応して設けられた１つのフォトダイオードとにより構成された個眼画素を複数有する
    　請求項１に記載の接触センサ装置。
  5. 　前記照明装置は、前記可撓性シート上であって、かつ互いに隣接する２つの前記複眼撮像素子の間に配置された複数の発光素子を有する
    　請求項１に記載の接触センサ装置。
  6. 　前記マーカは、蛍光体材料を含んで構成されており、
    　前記照明装置は、前記蛍光体材料を励起させる励起光を出射し、
    　当該接触センサ装置は、各前記複眼撮像素子の光受光面を覆う、前記蛍光体材料から発せられる蛍光を選択的に透過させるフィルタ層を更に備えた
    　請求項１に記載の接触センサ装置。
  7. 　前記照明装置から発せられる光を導波する可撓性導光層と、
    　前記可撓性導光層の表面であって、かつ互いに隣接する２つの前記複眼撮像素子の間の領域と対向する箇所に接する散乱層と
    　を更に備えた
    　請求項６に記載の接触センサ装置。
  8. 　前記複数の発光素子は、赤色光を発する複数の第１発光素子と、緑色光を発する複数の第２発光素子と、青色光を発する複数の第３発光素子とを含む
    　請求項５に記載の接触センサ装置。
  9. 　前記変形層では、柔軟性が部分的に異なっている
    　請求項１に記載の接触センサ装置。
  10. 　前記変形層は、
    　外部の物体が接触する表面に設けられ、当該変形層のうち他の部分と比べて相対的に耐摩耗性の高い表皮層と、
    　前記表皮層の裏面に接して設けられ、前記表皮層よりも柔軟性の高い材料によって構成された柔軟層と
    　を有し、
    　前記マーカは前記柔軟層内に形成されている
    　請求項１に記載の接触センサ装置。
  11. 　前記変形層は、
    　外部の物体が接触する表面に設けられ、当該変形層のうち他の部分と比べて相対的に柔軟性の高い第１変形層と、
    　前記第１変形層の裏面に接して設けられ、前記第１変形層よりも柔軟性の低い第２弾性層と
    　を有し、
    　前記マーカは前記第１変形層および前記第２変形層の双方に形成されている
    　請求項１に記載の接触センサ装置。
  12. 　前記変形層は、外部の物体が接触する表面に凹凸を有する
    　請求項１に記載の接触センサ装置。
  13. 　前記変形層は、前記変形層のうち、外部の物体が接触する表面に設けられた、当該変形層のうち他の部分と比べて相対的に硬度の高い凸部を更に有する
    　請求項１に記載の接触センサ装置。
  14. 　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
    　前記複眼撮像装置の撮像領域に形成された弾性層と、
    　前記弾性層内もしくは前記弾性層の表面に設けられたマークレススクリーン層と、
    　前記マークレススクリーン層にマーカとして固定パターン像を投影する投影装置と
    　を備えた
    　接触センサ装置。
  15. 　接触センサ装置と、
    　信号処理装置と
    　を備え、
    　前記接触センサ装置は、
    　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
    　前記複眼撮像装置の撮像領域を照らす照明装置と、
    　前記撮像領域にマーカが形成された弾性層と、
    　各前記複眼撮像素子から得られた検出信号を複眼画像データとして前記信号処理装置に出力する出力部と
    　を有し、
    　前記信号処理装置は、前記接触センサ装置から入力された前記複眼画像データを処理することにより、前記弾性層の表面形状データを生成する
    　接触センサモジュール。
  16. 　前記信号処理装置は、前記接触センサ装置から入力された前記複眼画像データを処理することにより、前記弾性層に加えられた圧力についての圧力ベクトルデータを生成する
    　請求項１５に記載の接触センサモジュール。
  17. 　接触センサ装置と、
    　信号処理装置と
    　を備え、
    　前記接触センサ装置は、
    　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
    　前記複眼撮像装置の撮像領域に形成された弾性層と、
    　前記弾性層内もしくは前記弾性層の表面に設けられたマークレススクリーン層と、
    　前記マークレススクリーン層にマーカとして固定パターン像を投影する投影装置と、
    　各前記複眼撮像素子から得られた検出信号を複眼画像データとして前記信号処理装置に出力する出力部
    　を有し、
    　前記信号処理装置は、前記接触センサ装置から入力された前記複眼画像データを処理することにより、前記マークレススクリーン層の表面形状データを生成する
    　接触センサモジュール。
  18. 　手装置と、
    　前記手装置に連結され、手首関節および肘関節を有するアーム装置と、
    　前記手装置の指先に取り付けられた接触センサ装置と
    　を備え、
    　前記接触センサ装置は、
    　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
    　前記複眼撮像装置の撮像領域を照らす照明装置と、
    　前記撮像領域にマーカが形成された弾性層と
    　を有し、
    　前記可撓性シートが前記指先の表面に貼り合わされている
    　ロボットアーム装置。
  19. 　手装置と、
    　前記手装置に連結され、手首関節および肘関節を有するアーム装置と、
    　前記手装置の指先に取り付けられた接触センサ装置と
    　を備え、
    　前記接触センサ装置は、
    　複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、
    　前記複眼撮像装置の撮像領域に形成された弾性層と、
    　前記弾性層内もしくは前記弾性層の表面に設けられたマークレススクリーン層と、
    　前記マークレススクリーン層にマーカとして固定パターン像を投影する投影装置と
    　を有し、
    　前記可撓性シートが前記指先の表面に貼り合わされている
    　ロボットアーム装置。
PCT/JP2022/038954 2021-12-02 2022-10-19 触覚センサ装置、接触センサモジュールおよびロボットアーム装置 WO2023100515A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-196251 2021-12-02
JP2021196251 2021-12-02

Publications (1)

Publication Number Publication Date
WO2023100515A1 true WO2023100515A1 (ja) 2023-06-08

Family

ID=86611838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038954 WO2023100515A1 (ja) 2021-12-02 2022-10-19 触覚センサ装置、接触センサモジュールおよびロボットアーム装置

Country Status (1)

Country Link
WO (1) WO2023100515A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525284A (ja) * 2008-06-19 2011-09-15 マサチューセッツ インスティテュート オブ テクノロジー 弾性撮像を使用する接触センサ
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット
US20200393313A1 (en) * 2019-06-17 2020-12-17 The Hong Kong University Of Science And Technology Tactile sensors and methods
JP6864401B1 (ja) * 2020-08-17 2021-04-28 株式会社ＳｅｎｓＡＩ 触覚センサ
JP2021154412A (ja) * 2020-03-25 2021-10-07 株式会社Preferred Networks 触覚センサシステム、把持システム、制御方法及び制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525284A (ja) * 2008-06-19 2011-09-15 マサチューセッツ インスティテュート オブ テクノロジー 弾性撮像を使用する接触センサ
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット
US20200393313A1 (en) * 2019-06-17 2020-12-17 The Hong Kong University Of Science And Technology Tactile sensors and methods
JP2021154412A (ja) * 2020-03-25 2021-10-07 株式会社Preferred Networks 触覚センサシステム、把持システム、制御方法及び制御プログラム
JP6864401B1 (ja) * 2020-08-17 2021-04-28 株式会社ＳｅｎｓＡＩ 触覚センサ

Similar Documents

Publication Publication Date Title
CN113196741B (zh) 动态可编程图像传感器
US20120098746A1 (en) Optical Position Detection Apparatus
WO2015012280A1 (ja) 視線検出装置
US20070181785A1 (en) Compact optical navigation module and microlens array therefore
US20100225564A1 (en) Image display device
TWM568429U (zh) 電子裝置及其取像模組
US8643602B2 (en) Device and method for performing optical navigation without using lenses
TWI680397B (zh) 感測板及具有感測板的顯示器
US20210044742A1 (en) Dynamically programmable image sensor
CN112639687B (zh) 使用反向偏置发光二极管器件的眼睛跟踪
US7615733B2 (en) Optical navigation apparatus and method for making the apparatus
JP5783045B2 (ja) 入力装置および入力システム
WO2023100515A1 (ja) 触覚センサ装置、接触センサモジュールおよびロボットアーム装置
US11402473B1 (en) Photonic integrated circuit illuminator
WO2020189691A1 (ja) 入力デバイス
CN209167945U (zh) 一种设备
JP6663736B2 (ja) 非接触表示入力装置及び方法
JP2019526089A (ja) マルチファンクションセンシングシステム
CN209170426U (zh) 一种设备
JP2011172174A (ja) 撮像装置、距離画像取得装置、及びこれらの製造方法
WO2023100483A1 (ja) 触覚センサ装置およびロボットアーム装置
WO2020062108A1 (zh) 设备
JP6750039B2 (ja) 実用検知システム
CN112055134B (zh) 图像采集装置及电子设备
US12028505B2 (en) Image sensing device and head-mounted display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900948

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023564793

Country of ref document: JP

Kind code of ref document: A