WO2005029027A1 - 光学式触覚センサを用いた力ベクトル再構成法 - Google Patents

光学式触覚センサを用いた力ベクトル再構成法 Download PDF

Info

Publication number
WO2005029027A1
WO2005029027A1 PCT/JP2004/013203 JP2004013203W WO2005029027A1 WO 2005029027 A1 WO2005029027 A1 WO 2005029027A1 JP 2004013203 W JP2004013203 W JP 2004013203W WO 2005029027 A1 WO2005029027 A1 WO 2005029027A1
Authority
WO
WIPO (PCT)
Prior art keywords
force
marker
force vector
vector
small area
Prior art date
Application number
PCT/JP2004/013203
Other languages
English (en)
French (fr)
Inventor
Terukazu Mizota
Kazuto Kamiyama
Hiroyuki Kajimoto
Naoki Kawakami
Susumu Tachi
Original Assignee
Toudai Tlo, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toudai Tlo, Ltd. filed Critical Toudai Tlo, Ltd.
Priority to US10/571,371 priority Critical patent/US7460964B2/en
Priority to CN2004800267746A priority patent/CN1853094B/zh
Priority to CA002538007A priority patent/CA2538007A1/en
Priority to EP04787844A priority patent/EP1666861A4/en
Publication of WO2005029027A1 publication Critical patent/WO2005029027A1/ja
Priority to HK06112979.4A priority patent/HK1092522A1/xx

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/241—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/247—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet using distributed sensing elements, e.g. microcapsules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

Definitions

  • the present invention relates to an optical tactile sensor, and more particularly, to a force-beta reconstructing method using an optical tactile sensor.
  • the inventors of the present application have developed an optical tactile sensor capable of measuring a three-dimensional vector distribution.
  • the principle of the optical tactile sensor will be described with reference to FIG.
  • the optical tactile sensor is configured using a transparent elastic body 1 and a CCD camera. By photographing the spherical markers 3 and 4 placed inside the transparent elastic body with a CCD camera, the deformation information inside the elastic body when a force is applied to the surface is measured, and the force distribution is reconstructed.
  • a CCD camera is used to photograph the z-direction force spherical marker, so that the movement of the measurement point when a force is applied should be moved in the xy plane direction. Measure as a tuttle.
  • the red spherical marker 3 and the blue spherical marker 4 are measured at different depths inside the elastic body. Two dimensional motion vectors with different depths were obtained by disposing NXN points each, and by treating them as different information, the amount of information was increased and the force vector distribution was easily obtained.
  • the calculation time required to obtain the force vector increases in proportion to the fourth power of the size of the contact surface constituting the sensor surface (the amount of information on the behavior of the marker). If the surface is large, the calculation time may be prolonged and real-time sensing may not be possible. In addition, even if the sensor surface is relatively small, if the measurement density is high, the amount of information on the behavior of the marker increases, and the time required to calculate the force vector distribution increases, and real-time sensing is performed. Can not be done. Therefore, when considering the practical application and application of the optical tactile sensor, it is important to reduce the calculation time for obtaining the force vector distribution by a very small amount.
  • Patent Document 1 International Publication WO02 / 18893 A1
  • An object of the present invention is to provide a method capable of shortening the calculation time for calculating a force vector even when the contact surface of the sensor has a large area or the measurement density on the contact surface is high. Is to provide.
  • the technical means adopted by the present invention to solve this object is a force vector reconstruction method using an optical tactile sensor, which is used when an object comes into contact with the contact surface of the elastic body.
  • the step of obtaining the force vector includes calculating the force vector.
  • the feature is that the force vector is calculated by omitting the information on the behavior of the marker when the contribution is low.
  • the point force to which the force is applied has little effect on the marker that is separated in the calculation of the force vector, and the marker that is separated has a contribution to the calculation of the force vector. Probably low.
  • the step of obtaining the force vector is a step of calculating the force vector using only information on the behavior of the marker near the position where the force vector is obtained.
  • the matrix that is the transfer function can be made compact.
  • more than a certain degree from the desired marker Matrix calculations can be made lighter by setting the matrix elements that reflect marker information at distant positions to 0.
  • the step of obtaining the force vector is characterized in that the force vector is calculated by omitting elements close to 0 among the elements of the matrix. By doing so, the matrix calculation can be lightened similarly.
  • the position at which the power vector is to be obtained is composed of one or a plurality of sampling points, and a plurality of sampling points around the position at which the power vector is to be obtained are provided.
  • a force sampling point is located, and the force vector is obtained using information on the behavior of the marker near the position where the force vector is to be obtained.
  • the force vector acting on the position and a plurality of force sampling points around the position is obtained.
  • the sampling points are sparsely arranged as the positional force for which the power vector is obtained is increased.
  • the force vector reconstruction method includes a step of capturing a marker image by photographing the behavior of the colored marker when an object comes into contact with the contact surface of the elastic body. Acquiring the information on the behavior of the marker that is larger than the number of force vectors desired to be obtained from the marker image; and obtaining the force vector acting on the contact surface from the acquired information on the behavior of the marker and the transfer function. Obtaining a force vector, setting the marker image force into a small area of a predetermined size, and arranging sampling points of a plurality of force vectors inside and outside the small area.
  • the present invention also provides a means for photographing the behavior of the colored marker when an object comes into contact with the contact surface of the elastic body to obtain a marker image, and a method for obtaining a desired force vector from the marker image.
  • Means for acquiring information on the behavior of the marker, which is larger than the number of markers, and setting a small area of the marker image power to a predetermined size, and a plurality of force stickers inside and outside the small area Means for arranging the sampling points of the plurality of force vectors, means for calculating the force vectors acting on the sampling points of the plurality of force vectors by giving the marker information in the small area to the transfer function, And a means for employing a force vector applied to at least some of the sampling points.
  • the present invention further provides a means for acquiring a marker image by photographing a behavior of the colored marker when an object comes into contact with the contact surface of the elastic body, Means for acquiring information on the behavior of the marker, which is larger than the number of force vectors desired to be obtained, from the marker image; setting a small area of the marker image force to a predetermined size; Means for arranging the sampling points of the above, means for giving marker information in the small area to a transfer function to calculate force vectors applied to the sampling points of the plurality of force vectors, and a plurality of sampling points arranged in the small area Is provided as a program for functioning as a means for employing a force vector that has acted on at least a part of the sampling points of.
  • the optical tactile sensor has a tactile portion composed of a transparent elastic body and a plurality of marker groups provided in the elastic body, and each marker group is composed of a plurality of colored markers, respectively. Markers constituting different marker groups have different colors from each other. By photographing the behavior of the colored marker, at least one of displacement, distortion, and inclination of the colored marker when an object comes into contact with the elastic body is observed. From the information of the colored markers when the contact object comes into contact with the sensor, the distortion information inside the transparent elastic body, and the shape and contact interface of the contact object (the surface of the elastic body, (Including both) is detected.
  • a plurality of types of information can be individually collected by a simple method called “color coding”, and a plurality of types of optical tactile information can be obtained simultaneously. Then, according to the present invention, force vectors are estimated and reconstructed by gathering independent observation values (information on the behavior of the markers) of the unknown number or more by “color classification” and stably solving the inverse problem. be able to.
  • the colored markers are photographed and image-processed by imaging means, in one preferred example a CCD camera. For example, comparing the images at the time of contact with the object and before (in the state where no external force is acting on the transparent elastic body), the marker movement information (for example, movement vector) is detected. Put out. Alternatively, always (when no external force is applied to the transparent elastic body), the marker is embedded in the transparent elastic body in such an arrangement that the marker cannot be recognized, and when an object comes in contact with the transparent elastic body. The marker is recognized in accordance with the displacement, deformation, and inclination of the marker caused by the distortion around each marker position, and the information is detected from the appearance of the colored marker. Alternatively, in another preferred embodiment, the behavior of the marker (for example, in the case of a step-shaped band-shaped marker) is obtained as a change in the luminance of the marker.
  • imaging means in one preferred example a CCD camera.
  • the optical tactile sensor has information on the behavior of the marker acquired by the imaging means (for example, a moving solid that is movement information of each marker when an object comes into contact with the contact surface).
  • the transfer function for reconstructing the force vector distribution, such as the force vector added to, is stored.
  • the transfer function is a function that associates information on the force applied to the contact surface with information on the behavior of the marker (for example, a movement vector).
  • the colored marker when the object comes into contact with the contact surface of the elastic body is photographed to obtain a marker image, information on the behavior of the marker is obtained from the image of the force, and the obtained information is used as a transfer function.
  • a force vector is obtained as an output.
  • the number of information about the behavior of the marker input to the transfer function is larger than the number of force vectors obtained,.
  • the photographing means is disposed on a side opposite to a side on which the transparent elastic body comes into contact.
  • the transparent elastic body comes into contact.
  • the selection of a colored marker is performed, for example, by using a color filter.
  • a plurality of marker groups are embedded in the transparent elastic body.Each marker group is composed of a large number of markers, and the markers that constitute different marker groups have different colors for each group. , And furthermore, Each group has a different spatial arrangement.
  • a plurality of marker groups arranged in a stack within the thickness of the elastic body can be mentioned.
  • the markers constituting the marker group are spherical fine pieces, and the spherical markers constituting the marker group of each layer have different colors.
  • Examples of other spatial arrangements include a plurality of marker groups arranged so as to cross each other.
  • each marker group is composed of a plurality of surface groups extending in the same direction, and the extending direction and color of the surface are different for each marker group. Things.
  • shape of the colored marker is not particularly limited, spherical, cylindrical, columnar, strip-like, and planar shapes can be considered as preferable examples.
  • the description in International Publication WO02 / 18893 A1 can be referred to.
  • shape and arrangement of the markers are not limited to those shown in the drawings or those described in the above-mentioned International Publication.
  • the present invention it is possible to reduce the size of a matrix that is a transfer function for calculating a force vector, thereby reducing the calculation time for calculating a force vector. Therefore, even a sensor having a large-area contact surface can perform sensing in real time.
  • FIG. 3 is a principle view of the optical tactile sensor device according to the present invention.
  • the sensor device includes a transparent elastic body 1 which also serves as a translucent elastic member, and the transparent elastic body 1 has a curved contact surface ( Sensor side) 2.
  • a number of colored markers 3 and 4 are embedded in the transparent elastic body 1 close to the contact surface 2 and along the curved surface of the contact surface 2, and the transparent elastic body 1 and the colored marker 1 Unit.
  • the transparent elastic body 1 is preferably formed of silicone rubber. 1S Other elastic members such as rubbers and elastomers may also be formed.
  • the colored marker is composed of two colored marker groups, and the two marker groups are buried at different depths from the contact surface 2.
  • the colored marker 3 that constitutes one marker group and the colored marker 4 that constitutes the other marker group have different colors (for example, One is red and the other is blue).
  • the sensor device further includes a camera 6 and a light source 7 as imaging means.
  • the optical camera 6 is disposed so as to sandwich the transparent elastic body 1 and to be located on the side opposite to the side in contact with the object 5 (side away from the contact surface 2).
  • the camera 6 shoots the distortion.
  • the light source 7 may be a light guide using a waveguide (optical fiber).
  • the images of the markers 3 and 4 obtained by the imaging means are transmitted to the computer 8 and displayed on the display unit of the marker computer S, and the marker image force is also displayed on the marker information (eg, displacement, distortion, and tilt) of the marker (eg, The movement vector, which is one of the movement information, is measured by the calculation unit of the computer 8.
  • the transfer function described above is stored in the storage unit of the computer 8, and the calculation unit uses the transfer function and the marker information (for example, movement information) to calculate the force distribution acting on the contact surface 2 from the object 5. Rebuild.
  • the camera as the photographing means is a digital camera, that is, a camera that outputs image data as electric signals, and in one preferable example, is a CCD camera.
  • the imaging means according to the present invention is not limited to a CCD camera, but may be a digital camera using, for example, a C-MOS image sensor.
  • three types of markers, Red, Green, and Blue are prepared, they can be captured individually by (1) separating them with the color filter of the image sensor (in this case, each marker can be individually (2)
  • the image sensor captures only the light intensity, and prepares Red, Green, and Blue as light sources. (When Red is illuminated, there is reflected light only from the Red marker. Since the two types of markers absorb light, the camera captures only the red marker as a result, and if this is performed on green and blue in a time-sharing manner, information equivalent to (1) can be obtained.)
  • FIGS. 4 and 5 a method of reconstructing the force vector distribution of the marker information will be described with reference to FIGS. 4 and 5 based on a method of obtaining the force vector distribution from the marker movement vector. 4 and 5 have substantially the same contents, except that FIG. 4 shows a flat contact surface and FIG. 5 shows a free-form contact surface.
  • FIG. 4 shows a flat contact surface
  • FIG. 5 shows a free-form contact surface.
  • F represents a force vector exerted on the contact surface
  • m and n represent movement vectors of the markers colored blue and red on the CCD element, respectively.
  • each force vector has three components (x, y, z components), but here we consider two components ( ⁇ , ⁇ components).
  • camera shooting means projecting a three-dimensional object onto a two-dimensional plane of the pixel plane, so that movement of a marker in that plane is projected only in the horizontal direction (x, y components).
  • x [m (l), m (2), m (3), m (4), n (l), n (2), n (3), n (4)].
  • Mx [m (l), m (2), m (3), m (4), n (l), n (2), n (3), n (4)].
  • Mx (l) [m (l), m (2), m (3), m (4), n (l), n (2), n (3), n (4)]
  • the movement vector of each marker observed when a unit force in the directional direction is applied at the point 1 is ⁇ (1)
  • the movement vector observed at the point 2 when the unit force in the X direction is applied is set in the same way as ⁇ (2) and so on.
  • the general force fx (l), fx (2), fe (3), fe (4) , f Z (l), f Z (2), fe (3), motion vector X that occurs when f Z (4)] is given is written as follows.
  • X Mx (l) * fx (l) + Mz (l) * fz (l) + Mx (2) * fe (2) +---+ Mz (4) * fz (4)
  • Imx (l, l) etc. are each element of inv (H), but ultimately represent the contribution of m (l) for calculating fx (l).
  • m [mx (l), my (l), mx (2), my (2), mx (3), my (3), mx (4), my (4)] not enough.
  • 16 observation data can be obtained, and this will identify 12 unknowns. Since the information is redundant, it is considered that robust estimation against noise can be performed.
  • the force vector of the CCD image is also estimated. Even in other measurement methods using other markers, only the observed data is different, and by means of color coding, independent observation values (information on marker behavior) that are larger than the number of unknowns are collected to stably solve the inverse problem. The idea of estimating the force vector by solving is still the same.
  • the whole elastic body is composed of a myriad of these micro regions (integrated spatially).
  • the relational expression to be satisfied in the minute region described above is calculated as a function of the force applied to the surface and the internal displacement. Functions that can be fulfilled everywhere have been found in mathematical form.
  • the matrix H can be obtained by substituting the coordinates of the elastic body surface (contact surface) and the coordinates of the internal markers, which are divided into meshes, into this function.
  • the H matrix was obtained by using the above formula by assuming the shape of the elastic body as a semi-infinite elastic body. Using a H-matrix obtained by applying a semi-infinite elastic body formula to a free-form surface such as a hemisphere, it was a component force that the surface stress could not be obtained correctly. It is necessary to relate surface stress to internal displacement by some other means.
  • the first method proposed for that purpose is a method of associating surface stress with internal displacement by numerical simulation.
  • the elastic body simulation software which is already on the market, divides the elastic body into meshes, and the surface to be filled by each mesh (the above-mentioned minute area).
  • Elastic deformation that satisfies the relationship between stress and strain and the relationship that adjacent meshes must satisfy eg, the same magnitude of force acts on the boundary surface between adjacent meshes
  • the surface is first divided into meshes, and the amount of marker movement when unit stress (X, y, and z directions) is applied to each mesh is calculated by simulation.
  • the second approach is to actually apply force.
  • a known force Fl, F2, F3, F4 "'Fn is applied to the contact surface of the elastic body having a free-form surface.
  • the movement vector Ml, M2, M3, M4, ..Mn of the marker for each applied force is calculated.
  • F1 is the three vectors Fix, Fly, and Flz, and when these forces are applied, the movement vectors of the corresponding markers are Mlx, Mly, and Mlz.
  • a matrix H is created by using the force (movement vector) and the obtained information (movement vector), which will be specifically described below.
  • a large number of sample points are discretely arranged on the elastic body surface (contact surface).
  • the sample points are arranged to cover the entire contact surface.
  • the arrangement of a large number of discrete sample points on the contact surface is arranged using polar coordinates (concentrically arranged in plan view).
  • the sample points are arranged in a grid in plan view.
  • a contact surface that comes into contact with the contact surface through the sample point is taken, and directions orthogonal to each other within the contact surface are defined as an X direction and a y direction, and z is defined in a direction perpendicular to the contact surface. Take the direction.
  • an xy plane may be set irrespective of the shape of the contact surface, and the z direction may be perpendicular to the xy plane.
  • the force applied to each sample point is a known force, and in one preferred embodiment, a force of a certain magnitude, for example, 100 [gf] is applied to the sample point in the X, y, and z directions, respectively. Kakere In each case, the movement vector of the marker is measured. Also, if the force applied to each sample point is a known force, if the marker movement vector is measured based on a different known force that does not necessarily have to be the same force, the marker Normalize the size of the moving vector of.
  • the force applied to each sample point will be the force in the X, y, and z directions. Is not limited. Considering that the elastic body is linear, the following method can be considered. First, the movement amount of the marker when one point is moved in the z direction is stored, then the force is applied in the xz direction, and the movement information for the z direction component of the force is subtracted to obtain the X direction component. The same is true for the y direction.
  • a matrix H that is a transfer function that links force information F and information (eg, movement information) M on the behavior of the marker is created by a mathematical formula, simulation, or actual measurement based on the elastic body theory.
  • the optical tactile sensor has a storage unit and an arithmetic processing unit, and a matrix H created in advance is stored in the storage unit.
  • the proposed method is to cut out and use a part of the H matrix.
  • the H matrix describes the correspondence between the force applied to all grid points and the movement of all markers. Force
  • Figs. 4 and 5 it is assumed that only 1 and 2 markers should be used to calculate 1), and only 1 and 3 markers should be used to calculate 2). Can reduce the size of the matrix.
  • the new matrix in this example is:
  • Equation 4 This equation becomes as shown in Equation 4 by ignoring the contribution at a distance.
  • P is the place where the force vector is to be obtained
  • circle area A1 is where the force vector is to be obtained.
  • Range of markers used for In the figure in the two-dimensional image of the entire contact surface, a region near the place where the force vector distribution is to be obtained is set.
  • the nearby area is not necessarily determined based only on the distance in the two-dimensional image. That is, the distance between the point where the force is applied and the marker is a spatial distance, and when the marker group is laminated in an elastic body, it may be desirable to consider the depth at which the marker is provided. is there.
  • the area near the place where the force vector is desired to be determined is not necessarily determined only by the distance on the xy plane.
  • the determination may be based on a three-dimensional distance including the direction. If the distance in the z direction is negligible, the neighborhood area may be set based on the two-dimensional distance on the xy plane! / ⁇
  • the transfer function (inverse matrix) is obtained by actual measurement or simulation.
  • the method of creating such a transfer function has already been described. For example, when looking at the elements of the matrix of the transfer function based on actual measurement, if a certain element of the matrix is close to the force SO, the marker integrated with such an element is a marker that can be ignored to obtain a certain force vector. It is believed that there is.
  • the force vector can be calculated by automatically omitting the portion of the transfer function close to a certain element force in the matrix from the calculation. For example, a threshold value indicating a negligible index in the reconstruction of the force vector is set for a matrix element, and a value of a matrix element having a value smaller than the threshold value and having a value is set to 0.
  • calculation shortening method considers that the movement of the marker is hardly affected apart from the point of the force to be obtained, and uses only the marker information in the extracted circular area A1 in FIG. The information on the movement of the marker in the portion A2 other than the region that was not used was not used.
  • the marker in the area is moved even by the cut-out external force.
  • the movement of the marker by the external force and the force of the cut area is also the area It is considered that a problem has arisen in that the accuracy is reduced because it is generated within and tries to calculate as a force. In order to solve such problems, the following methods were improved.
  • the point that a certain region of the image is cut out is the same as the above-described calculation time reduction method.
  • the improved method prepares a sampling point of the calculated force outside the cutout area. Only the information in the cut-out area is handled for the first move. This is a sampling point for considering the influence of the force from outside the above-mentioned area.
  • the movement of the marker in the cutout area is affected to some extent by the force applied to the outside of the cutout area.
  • the forces that acted inside the clipping area taking into account the forces that acted outside the clipping area Is to rebuild.
  • sampling points of the force outside the region are set so as to be sparse and scattered as the cut-out region force increases.
  • the reason for this is that the farther the region power is, the smaller the effect is, and it is considered that it may be represented by a small number of sampling points.
  • a small area corresponding to 5 ⁇ 5 sampling points is set in the image of the haptic part.
  • Sampling points are densely arranged in a small area.
  • a force sampling point is also placed outside the small area.
  • the force sampling points outside the small area are sparsely arranged as the distance from the small area increases.
  • sampling points are densely arranged at the same density as in the small area, and the sampling points are sparsely arranged as the distance from the small area increases.
  • a force vector at a sampling point arranged inside and outside the small area is calculated.
  • the results of at least a part of the force vectors in the small area are adopted and stored as final calculation results.
  • the force level at the sampling point of 3 ⁇ 3 force in the small region of 5 ⁇ 5 is stored as the final calculation result.
  • the force vectors at sampling points outside the small area and at the adopted sampling points within the small area are discarded.
  • the cut-out small areas are sequentially shifted to obtain a force vector, thereby obtaining a force vector distribution in the entire measurement area of the sensor.
  • force vectors at some sampling points in the small area are used.
  • Force vectors at all sampling points in the small area may be used. Further, in FIG. 9, a force vector at a plurality of sampling points in a part of the small region is employed. Only a force vector at one sampling point in the small region may be employed. In FIG. 9, the size of the small region to be cut out is shown as a small region of 5 ⁇ 5 points. According to this improved method, the calculation amount is increased by tl as compared with the above-described calculation time reduction method, but there is a sufficient reduction in the calculation time compared to before the application of the high-speed method.
  • the high-speed dangling method before the improvement is to use only the movement information of the best force that exists near the point where the force to be obtained is applied.
  • FIG. 13 shows a diagram of the improved service speed-up method.
  • F, F, F, F, F are arranged as force sampling points. More
  • the elements related to the force F increase and can be expressed as follows.
  • the present invention can be widely applied to tactile sensors, and particularly can be suitably used for sensors that require real-time sensing.
  • FIG. 1 is a diagram showing a force vector distribution generated between a tactile sensor and a contact target.
  • FIG. 2 is a principle diagram of an optical tactile sensor.
  • the upper figure is a plan view (CCD image) of the transparent elastic body, and the lower figure is a side view of the transparent elastic body.
  • the transparent elastic body has two types of markers Is buried. When a downward force acts on the transparent elastic body, the marker moves from the left to the right.
  • FIG. 3 is a schematic view of an optical tactile sensor according to the present invention.
  • FIG. 4 is a view for explaining a force vector applied to a contact surface (plane) and movement of a marker.
  • FIG. 5 is a diagram illustrating a force vector applied to a contact surface (free-form surface) and movement of a marker.
  • FIG. 6 is an explanatory diagram of a method of creating a transfer function used for reconstructing a force vector distribution.
  • FIG. 7 is an explanatory diagram of a method for reducing the calculation time of force vector reconstruction.
  • FIG. 8 is a view showing the influence of the external force of the cut-out area
  • the upper figure is a side view of the transparent elastic body in which the lugs are embedded
  • the lower figure is the same plan view.
  • the clipping regions for adjacent force sampling points overlap (see meshes 1, 2, and 3).
  • FIG. 9 is a conceptual diagram of an improved method in a calculation shortening method.
  • the black and white circles represent the force sampling points, and the black circles represent the calculation results used after the calculation.
  • FIG. 10 is a view showing a case where the number of markers is increased.
  • FIG. 11 is a diagram showing an example in which the number of markers is increased, and focusing on the movement of one marker with respect to a certain force.
  • FIG. 12 is a diagram for explaining the high-speed riding method shown in FIG. 7 based on FIG.
  • FIG. 13 is a diagram illustrating an improved method based on FIG.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Image Analysis (AREA)

Abstract

力ベクトル算出のための計算時間を短縮する。光学式触覚センサを用いた力ベクトル再構成法である。該弾性体の接触面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、力ベクトルを求めたい位置Pの近傍の領域A１のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出する。

Description

明 細 書
光学式触覚センサを用いた力ベクトル再構成法
技術分野
[0001] 本発明は、光学式触覚センサに係り、詳しくは、光学式触覚センサを用いた力べタト ル再構成法に関するものである。
背景技術
[0002] 触覚センサによって接触面の接触状態を知ることを考える時、接触面の各点にかか る力は大きさと方向を持った 3成分のベクトルである。これを図 1の座標系で x,y)と表 すことにする。ただし fはベクトルであるため、実際には各点において x,y,z3成分を持 つ。それぞれの成分を明示的に示す場合には X,y)=[fX(X,y),fy(X,y),fZ(x,y)]と表す。 力分布が各接触点において 3成分を持つことから、触覚センサによって接触面の力 分布を再構成するためには少なくとも接触面の各点に対して 3自由度以上の情報を 得なければならない。
[0003] 本出願の発明者等は、 3次元ベクトル分布の計測が可能な光学式触覚センサを開発 した。光学式触覚センサの原理について、図 2に基づいて説明する。光学式触覚セ ンサは、透明弾性体 1と CCDカメラを用いて構成されている。透明弾性体内部に配 置された球状マーカー 3, 4を CCDカメラで撮影することで、表面に力が加わった時 の弾性体内部の変形情報を計測し、力分布を再構築する。
[0004] 弾性体表面を xy平面、垂直方向を z軸にとり CCDカメラを用いて z方向力 球状マー カーを撮影することにより、力が加わった際の測定点の移動を xy平面方向の移動べ タトルとして計測する。し力しながら、このままでは情報量が少なく変形情報から力べ タトル分布を再構築することが困難であるため、弾性体内部の異なった深さに赤色球 状マーカー 3、青色球状マーカー 4を測定点としてそれぞれ N X N個配設することで 深さの異なった 2次元移動ベクトルを 2つ求め、それぞれ異なった情報として扱うこと で、情報量を増やして力ベクトル分布を求め易くした。
[0005] しかしながら、力ベクトルを求めるのに要する計算時間は、センサ面を構成する接触 面の大きさ (マーカーの振る舞いに関する情報量)の 4乗に比例して大きくなり、接触 面が大きいとその分だけ計算時間が長くなつてリアルタイムのセンシングができなくな る恐れがある。また、センサ面が比較的小面積であっても、計測密度が高い場合に は、マーカーの振る舞いに関する情報量が多くなり、力ベクトル分布を計算するのに 要する時間が長くなつてしまいリアルタイムのセンシングができなくなる。したがって、 光学式触覚センサの実用化や応用を考えた時に、力ベクトル分布を求めるための計 算時間を!、かに短縮するかが重要な課題となる。
特許文献 1：国際公開公報 WO02/18893 A1
発明の開示
発明が解決しょうとする課題
[0006] 本発明の目的は、センサの接触面が大面積である、あるいは、接触面における計測 密度が高い場合であっても、力ベクトル算出のための計算時間を短縮することができ る手法を提供することにある。
課題を解決するための手段
[0007] かかる目的を解決するために本発明が採用した技術手段は、光学式触覚センサを 用いた力ベクトル再構成法であって、該弾性体の接触面に物体が接触した際の該有 色マーカーの振る舞 、を撮影してマーカー画像を取得するステップと、該マーカー 画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報 (例えば、マーカーの移動情報の一つである移動ベクトル）を取得するステップと、取 得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを 出力として得るステップとを有し、力ベクトルを得るステップは、力ベクトルの算出に寄 与度の低 、マーカーの振る舞いに関する情報を省 、て力ベクトルを算出することを 特徴とするものである。例えば力の加わる点とマーカーとの距離が充分離れていれ ば、力ベクトル算出において、力の加わる点力も離隔したマーカーの影響は少ないと 考えられ、離隔したマーカーは力ベクトルの算出に寄与度が低いと考えられる。
[0008] 一つの好ま 、態様では、力ベクトルを得るステップは、力ベクトルを求めた 、位置 の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するもの である。所望の位置の近傍のマーカー情報のみを用いることで、伝達関数である行 列をコンパクトにすることができる。行列において、所望のマーカーからある程度以上 離れた位置のマーカー情報を反映させる行列の要素を 0とすることで、行列の計算を 軽くすることができる。他の好ましい態様では、力ベクトルを得るステップは、該行列 の要素の中で 0に近い要素を省いて力ベクトルを算出することを特徴とするものであ る。こうすることで同様に、行列の計算を軽くすることができる。
[0009] 他の好ましい態様では、該カベクトルを求めたい位置は、一つあるいは複数のサン プリング点から構成されており、さらに、該カベクトルを求めたい位置を構成するサン プリング点の周囲に複数の力のサンプリング点を配置し、力ベクトルを求めたい位置 の近傍のマーカーの振る舞いに関する情報を用いて該カベクトルを求めた 、位置及 び該位置の周囲の複数の力のサンプリング点に作用した力ベクトルをそれぞれ算出 し、算出された力ベクトルにおいて、該カベクトルを求めたい位置に作用した力べタト ルのみを採用するようにしたことを特徴とする。さらに好ましくは、該サンプリング点は 、該カベクトルを求めた 、位置力も離隔するに従って疎に配置するものである。
[0010] さらに、他の好ま ヽ態様では、力ベクトル再構成法は、該弾性体の接触面に物体 が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステ ップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る 舞いに関する情報を取得するステップと、取得したマーカーの振る舞いに関する情 報と伝達関数とから、該接触面に作用した力ベクトルを得るステップとを有し、力べク トルを得るステップは、該マーカー画像力 所定の大きさの小領域を設定し、該小領 域内外に複数の力ベクトルのサンプリング点を配置するステップと、該小領域内のマ 一力一情報と伝達関数とから該複数の力ベクトルのサンプリング点に作用した力べク トルを算出するステップと、該小領域内に配置した複数のサンプリング点の少なくとも 一部のサンプリング点に作用した力ベクトルを採用するステップとを有するものである 。さらに好ましくは、サンプリング点は該小領域内で密に配置し、該小領域から離隔 するに従って疎に配置する。
[0011] 本発明は、また、該弾性体の接触面に物体が接触した際の該有色マーカーの振る 舞いを撮影してマーカー画像を取得する手段と、該マーカー画像から、求めたい力 ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段と、該 マーカー画像力 所定の大きさの小領域を設定し、該小領域内外に複数の力べタト ルのサンプリング点を配置する手段と、該小領域内のマーカー情報を伝達関数に与 えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段と、 該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作 用した力ベクトルを採用する手段とを有する力ベクトル再構築装置として提供される。
[0012] 本発明は、さらに、力ベクトル再構成装置を構成するコンピュータを、該弾性体の接 触面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を 取得する手段、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカ 一の振る舞いに関する情報を取得する手段、該マーカー画像力 所定の大きさの小 領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段、 該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング 点に作用した力ベクトルを算出する手段、該小領域内に配置した複数のサンプリング 点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段として機 能させるためのプログラムとして提供される。
[0013] 光学式触覚センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから 構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成さ れており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有して いる。該有色マーカーの振る舞いを撮影することで、該弾性体に物体が接触した際 における該有色マーカーの変位、ひずみ、傾きの少なくとも一つ以上を観測する。接 触対象がセンサに接触した時の有色マーカーの情報から、透明弾性体内部のひず み情報、さらにそこから計算された接触対象の形状や接触界面 (弾性体の面、接触 対象の面の双方を含む）に働く力の情報を検出するものである。本発明によれば、複 数種類の情報を「色分け」というシンプルな方法によって個別に採集でき、光学式で 複数種類の触覚情報を同時に得ることができる。そして、本発明によれば、「色分け」 によって未知数の数以上の独立の観測値 (マーカーの振る舞いに関する情報）を集 め、逆問題を安定に解くことによって、力ベクトルを推定して再構築することができる。
[0014] 有色マーカーは撮像手段、一つの好ましい例では CCDカメラ、によって撮影され、 画像処理される。例えば、物体接触時とそれ以前の状態 (透明弾性体に外力が作用 していない状態）の画像を比較し、マーカーの移動情報 (例えば、移動ベクトル)を検 出する。あるいは、常時 (透明弾性体に外力が作用していない状態)では、マーカー が認識できな ヽような配設態様でマーカーを透明弾性体に埋設しておき、透明弾性 体に物体が接触した時に各マーカー存在位置周辺におけるひずみにより生じるマー カーの変位、変形、傾きに応じてマーカーが認識されるように構成し、有色マーカー の見え方等から情報を検出する。あるいは、他の好ましい態様では、マーカー（例え ば、階段状の帯状マーカーの場合)の振る舞いは、マーカーの輝度の変化として取 得される。
[0015] 光学式触覚センサには、該撮像手段で取得されたマーカーの振る舞いに関する情 報 (例えば、接触面に物体が接触した時の各マーカーの移動情報である移動べタト ル）力 接触面に加えられた力ベクトルな 、し力ベクトル分布を再構成するための伝 達関数が格納されている。伝達関数は、接触面に加えられた力情報とマーカーの振 る舞いに関する情報 (例えば、移動ベクトル）とを関連付ける関数である。弾性体の接 触面に物体が接触した際の該有色マーカーを撮影してマーカー画像を取得し、該マ 一力一画像から、マーカーの振る舞いに関する情報を取得し、取得した情報を伝達 関数に入力することで、力ベクトルを出力として求める。伝達関数に入力されるマー カーの振る舞いに関する情報の数は、求めた 、力ベクトルの数よりも多 、。
[0016] 該伝達関数を構成する行列の作成法としては、弾性体理論から導かれる式に基づい て算出されるもの、実測によって算出されるもの、シミュレーションによって算出される ものがある。
[0017] 該撮影手段は、望ましい態様では、該透明弾性体の物体が接触する側とは反対側 に位置して配設される。また、互いに異なる色を有する複数の有色マーカーがある場 合に、ある有色マーカーのみを選択して個別に捉えることで撮影後の処理の便宜を 図ることが望ましい。有色マーカーの選択は、例えば、カラーフィルタを用いることで 行う。また、マーカーの画像を安定ィ匕させるためには、該接触面に遮光層を設けるこ とが望ましい。
[0018] マーカーの配設構成について説明する。透明弾性体には、複数のマーカー群が埋 設されており、各マーカー群はそれぞれ多数のマーカーから構成されており、異なる マーカー群を構成するマーカーは群毎で互いに異なる色を有しており、さらに、該マ 一力一群は互いに異なる空間的配列を有して 、る。この異なる空間的配列の例とし ては、該弾性体の肉厚内で積層状に配設された複数のマーカー群が挙げられる。積 層状のマーカー群の具体例では、該マーカー群を構成するマーカーは球状の微細 小片であり、各層のマーカー群を構成する球状マーカーは互いに異なる色を有する 。他の空間的配列の例では、互いに交差するように配設された複数のマーカー群が 挙げられる。さらに他の空間的配列としては、各マーカー群は同じ方向に延出する複 数の面の群から構成されており、該面の延出方向および色は、各マーカー群毎で互 いに異なるものが挙げられる。有色マーカーの形状は特には限定されないが、好適 な例を挙げると球状、円筒状、円柱状、帯片状、平面状の形状が考えられる。これら のマーカーの詳細については、国際公開公報 WO02/18893 A1の記載を参照するこ とができる。また、マーカーの形状や配設態様は、図示のものあるいは前記国際公開 公報に記載されたものに限定されるものではない。
発明の効果
[0019] 本発明によれば、力ベクトルを算出するための伝達関数である行列のサイズを小さく することができ、それによつて、力ベクトルを算出する計算時間を短縮することができ る。したがって、大面積の接触面を備えたセンサであっても、リアルタイムでセンシン グを行うことが可能となる。
発明を実施するための最良の形態
[0020] [A]光学式触覚センサの構成
図 3は本発明に係る光学式触覚センサ装置の原理図であり、センサ装置は、透光性 弾性部材カもなる透明弾性体 1を備えており、透明弾性体 1は曲面状の接触面 (セン サ面） 2を有している。透明弾性体 1には、接触面 2に近接して、接触面 2の曲面に沿 うようにして多数の有色マーカー 3, 4が埋設されており、透明弾性体 1と有色マーカ 一とで触覚部を構成している。透明弾性体 1は好ましくはシリコンゴムカゝら形成される 1S 他のゴム類やエラストマ一等の他の弾性部材カも形成されてもょ 、。
[0021] 有色マーカーは、 2つの有色マーカー群から構成されており、 2つのマーカー群は接 触面 2から異なる深さに夫々埋設されて 、る。一方のマーカー群を構成する有色マ 一力一 3と、他方のマーカー群を構成する有色マーカー 4とは互いに異なる色 (例え ば、一方が赤で、他方が青）を有している。
[0022] 透明弾性体 1の接触面 2に物体 5が接触すると、透明弾性体 1の内部に設けられた有 色マーカー 3, 4が変位あるいは歪みを起こすように構成されている。センサ装置はさ らに、撮像手段としてのカメラ 6及び光源 7を備えている。光学式カメラ 6は、透明弾性 体 1を挟むようにして、物体 5が接触する側とは反対側 (接触面 2から離隔した側）に 位置させて配設されており、マーカー 3, 4の変位、歪みをカメラ 6で撮影するようにな つている。光源 7は、導波管（光ファイノく）を用いて導くものであってもよい。撮像手段 によって取得されたマーカー 3, 4の画像がコンピュータ 8に送信されてマーカー画像 力 Sコンピュータ 8の表示部に表示され、マーカー画像力もマーカーの振る舞い（変位 、歪、傾き）に関するマーカー情報 (例えば、移動情報の一つである移動ベクトル）が コンピュータ 8の演算部によって計測される。コンピュータ 8の記憶部には前述の伝達 関数が格納されており、演算部によって、該伝達関数及び該マーカー情報 (例えば、 移動情報)を用いて、物体 5から接触面 2に作用した力分布を再構築する。
[0023] 撮影手段としてのカメラは、ディジタル式カメラ、すなわち画像データを電気信号とし て出力するカメラであり、一つの好ましい例では、 CCDカメラである。本発明に係る撮 像手段は CCDカメラに限定されるものではなぐ例えば C-MOS式イメージセンサを 用いたディジタルカメラでもよい。マーカーとして Red, Green, Blueの 3種類用意した とき、これらを個別に捉えるためには、（1)撮像素子のカラーフィルタで分ける（この場 合力メラの RGB出力を見ればそのまま各マーカーを個別に撮影したことになる）という 方法と、（2)撮像素子は光の強度のみ捉え、光源として Red, Green, Blueを用意する (Redを光らせたときには Redのマーカーからのみ反射光が有り、他の二種類のマーカ 一は光を吸収するため，結果的にカメラは Redのマーカーのみ捉える。これを時分割 で Green, Blueに対しても行えば (1)と等価な情報が得られる。）という方法の二つが有 る。
[0024] [B]接触面に加えられた力ベクトル分布の再構成法
光学式触覚センサによって得られたマーカーの振る舞いに関する情報 (例えば、マ 一力一の移動情報の一つである移動ベクトル)から接触面にカ卩えられた力ベクトル分 布を求めるには、マーカーの振る舞いに関する情報 (例えば、移動情報) Mから力情 報 Fへの変換が必要となる。マーカー情報 M力も力情報 Fへの変換は、式 F = HMに よって行なわれる。以下に、マーカー情報力 力ベクトル分布を再構成する手法につ いて、図 4, 5を参照しながら、マーカーの移動ベクトルから力ベクトル分布を求める 手法に基づいて説明する。図 4と図 5とは、図 4が平面状の接触面、図 5が自由曲面 状の接触面を示している点を除き、実質的に同じ内容である。ここでは簡単のため二 次元断面（図の y軸方向は考えない）について考えるが、一般的な三次元の場合でも ァノレゴリズムは同一である。
[0025] fは接触表面に力かる力ベクトル、 m,nはそれぞれ Blue, Redの色付けをしたマーカー の CCD素子上での移動ベクトルを表す。適当な離散化によって有限な点数（図 4,図 5では 4点）について考える。前述のように力ベクトルはそれぞれ 3成分 (x,y,z成分)を もつが、ここでは 2成分 (χ,ζ成分)を考える。また一般にカメラによる撮影は、三次元物 体を画素面の二次元平面上に射影すると言うことであるから、その平面状でのマーカ 一の移動は水平方向 (x,y成分)のみが射影されて観測される力 ここでは図のように X 方向成分のみ観測されたとする。
[0026] すなわち、 fx(l),fe(2),fe(3),fx(4),fz(l),fz(2),fz(3),fz(4)]の 8成分が求めた!/、力分布で あり、 m=[m(l),m(2),m(3),m(4)]， n=[n(l),n(2),n(3),n(4)]が観測される移動ベクトルであ る。この m,nをまとめて Xと書くことにする。
すなわち、 x=[m(l),m(2),m(3),m(4),n(l),n(2),n(3),n(4)]となる。ここで、点 1において x方 向単位力（大きさ 1の力）が加えられたときに観察される各マーカーの移動ベクトル m,nをまとめて Mx(l)と書く。すなわち、
Mx(l)=[m(l),m(2),m(3),m(4),n(l),n(2),n(3),n(4)]
when Μΐ,Ο,Ο,Ο,Ο,Ο,Ο,Ο]
[0027] 同様に、点 1において ζ向単位力が加えられたときに観察される各マーカーの移動べ タトルを Μζ(1)、点 2おいて X方向単位力が加えられたときに観察される各マーカーの 移動ベクトルを Μχ(2)等、以下同様に定める。線形弾性体 (加えられた力分布と変位 の間に線形加算関係が成り立つ弾性体。多くの弾性体はこの性質を満たす)の場合 、一般的な力 fx(l),fx(2),fe(3),fe(4),fZ(l),fZ(2),fe(3),fZ(4)]が与えられたときに生じる 移動ベクトル Xは次のように書かれる。 X=Mx(l)*fx(l) + Mz(l)*fz(l) + Mx(2)*fe(2)+- - -+Mz(4)*fz(4)
(逆にこのように表せるということが、力の「重ね合わせ」が成り立つ、すなわち線形弹 性体であることの条件である。 )
[0028] これを行列形式で書くと、 X=H*fとなる。ただし H=[Mx(l);Mx(2);…； Mz(4)]。この Hを、 力！ ^ら変位 Xに伝達させるための写像と言う意味で伝達関数と呼ぶ。
要素ごとに書くと次のようになる。
[数 1] m(l)" "Hmx(l,l) Hmz(l,l) Hmx(l ） Hmz(l^) Hmx(l^) Hmz(l^) Hmx(l,4) Hmz(l,4) fx(D" m(2) Hms(2,l) Hmz(2,l) Hmx(2^) Hmz(2 ） Hmx(2^) Hmz(2^) Hmx(2,4) Hmz(2,4) fed) m(3) Hmx(3,l) Hmz(3,l) Hmx(3^) Hmz(3^) Hmx(3^) Hmz(3，3) Hmx(3,4) Hmz(3,4) ¾(2) m(4) Hms(4,l) Hmz(4,l) Hmx(4^) Hmz(4^) Hmx(4r3) Hmz(4，3) Hmx(4,4) Hmz(4,4) fz(2) n(l) Hns(l,l) Hnz(l,l) Ηηχ(Ι^) Hnz(l^) Hnzd^) Hnx(l,4) Hn2(l,4) fx(3) n(2) Hnx(2，l) Hnz(2,l) Hnx(2 ） Hnz(2^) Hnx(2^) Hm(2^) Hnx(2,4) Hnz(2,4) fz(3)
31(3) Hnx(3,l) Hnz(3,l) Hnx(3 ） Hnz(3^∑) Hnx(3^) Ηηζ(3 ) Hnx(3,4) Hn2(3,4) fx(4) 一 11(4) Hns(4,l) Hnz(4,l) Hns(4^) Hnz(4^) Hnx(4^) Hnz(4^) Hnx(4,4) Hnz(4,4) fz(4) ただし Hmx(xl,x2)は，座標 x=x2の表面に加わった x方向単位力による座標 x=xlにお ける、 mマーカーがある深さでの X方向変位量を表す。同様に、 Hnz(xl,x2)は座標 x=x2の表面にカ卩わった z方向単位力による座標 x=xlにおける， nマーカーがある深さ での X方向変位量を表す。
[0029] これは単純な行列の掛け算であり、 Xは 1*8、 Hは 8x8の正方行列、 fは 1*8の成分を持 つ。このため、観測された X力 ¾求めるには Hの逆行列をかけてやればよい。すな わち ην(Η)*Χ (式 1)となる。ただ Unvは逆行列（一般には一般ィ匕逆行列）を表す。 要素ごとに書くと数 2のようになる。
[数 2]
"Imx(l,l) Imx(2,l) Imx(3,l) Imx(4,l) Inx(1 ) Inx(2,l) Inx(3,l) Inx(4,l)" "m(D f2(l) Imz(i,2) Imz(2^) ϊαιχ(4β) Inz(l^) Inz(3,2) Inz(4,2) m(2) fx(2) Imx(2^) Imx(4^) Ιηχ(ΐ ) 1αχ(2β) Inx(3^) Inx(4^) m(3) fz(2) Imz(l,4) Imz(2,4) Imz(3,4) Imz(4,4) Inz(l,4) Inz(2,4) Inz(3,4) Inz(4,4) ∞(4) fx(3) Ims(l,l) Imx(2,l) Imx(3,l) Imx(4,l) Inx(l,l) Inx(2,l) Inx(3,l) Inx(4,l) n(l)
¾3) Imz(l,2) Imz(2,2) Imz(3,2)
Figure imgf000011_0001
n(2) fx(4> Ims(lj3) Ιιηχ(2^) Im O^) Inx(l,3) Inx(2^) Iiix(3,3) Inx(4^) n(3) fz(4) Imz(l,4) Imz(2,4) Imz(3,4) Imz(4,4) Inz(l,4) Inz(2,4) Inz(3,4) Inz(4,4) n(4) ただし Imx(l , l)等は inv(H)の各要素であるが，結局のところ fx(l)を計算するための m(l)の寄与を表す。
[0030] ここで重要なことは、このように、伝達関数によって定まった行列の逆行列を使うこと で未知数を定める場合、未知数の個数を観測されたデータの個数が上回って 、るか 同数である必要があると言うことである。もしこれが満たされない場合、逆行列を求め ることが出来ず、すなわち求めたい未知数に冗長性が生じ、一意には求まらなくなる 。この例の場合、もしもマーカーが 1層しかなければ、求めたい力ベクトル成分 8つに 対して移動ベクトル成分力 つしかなぐ力ベクトル成分が一意に定まらない (従来の 面分布型触覚センサはこの状況にある）。この問題を解決するために色分けした 2層 のマーカー群を用意し、 2層のマーカー群の各マーカーの移動を取ることによって独 立な観測データ数を 8つまで増やして!/、る。
[0031] 一般的な三次元の場合 (この図では y軸が追加された場合)、一点における力ベクトル は 3自由度、マーカーの水平移動ベクトルは 2自由度である。もしサンプリング点が同 様に 4点であったとすると、未知数は
l fe(l),fy(l),fz(l),fx(2),fy(2),fz(2),fX(3),fy(3),fz(3),fX(4),fy(4),fz(4)]の 12個存在するの に対して、観測される値は移動ベクトル
m=[mx(l),my(l),mx(2),my(2),mx(3),my(3),mx(4),my(4)]の 8個であり、やはり足りない。 これを 2層に分けて観測することにより 16個の観測データを得ることが出来、これによ り 12個の未知数を同定することになる。情報としては冗長であるため、よりノイズに対 して頑強な推定を行うことができると考えられる。以上のようなアルゴリズムを用いて、 CCD画像力も力ベクトルを推定する。他のマーカーを用いた他の測定方式でも、観 測されるデータが異なるだけで、色分けという工夫によって未知数の数より多い独立 な観測値 (マーカーの振る舞いに関する情報)を集め、逆問題を安定に解くことによ つて力ベクトルを推定すると言う骨子に変わりは無い。
[0032] [C]力ベクトル分布の再構成に用いる伝達関数
上記の説明から、本光学式触覚センサにとって表面応力と内部変位の関係を示す 伝達関数 (行列 H)を得ることが本質的に重要であることがわかる。これは、従来提案 されてきたマトリクス状触覚センサの多くとは異なる点である。従来のマトリクス状触覚 センサはマトリクス状に配置された各センサエレメントが、自身に加わる力を計測する だけである。
[0033] 次に、伝達関数を求めるための手法を説明する。弾性体理論が基本的に示すのは、 弾性体内部の微小領域 (例えば微小立方体 Δ X Δ y Δ z)の表面 (χ=0, Δ x, y=0, Δ y, ζ=0, Δ ζ)に力！]わる力とその微小領域のひずみ (d Δ x/dx,d Δ y/dx,d Δ z/dx,d Δ x/dy,d Δ y/dy,d Δ z/dy,d Δ x/dz,d Δ y/dz,d Δ y/dz)の間で満たすべき関係式である。弾性 体全体はこの微小領域が無数に集まって (空間的に積分されて)構成されるものであ る。
[0034] ある特徴的な形の弾性体 (例えば半無限弾性体）にお 、ては、表面に加わる力と内 部変位の関数として、前述の微小領域で満たすべき関係式を弾性体内部のあらゆる 場所で満たすことに出来る関数が数式の形で発見されている。このような形の場合に は、この関数にメッシュ状に区切った弾性体表面 (接触面）の座標と内部マーカーの 座標を代入すれば行列 Hが求まる。
[0035] ここで数式の形で発見されているとは、表面応力 ¾Kxl)、内部変位を m(x2,y2)とした 場合に、 m(x2,y2) = G( xl),x2,y2)という形で内部変位を表面応力から求める関数 G が発見されているということである。このとき例えば図 4、図 5で点 1に力が加わったとき のマーカー 2における変位は m(2,y2) = G(Kl), 2,y2)によってもとまる。ただし y2はマー カーの深さ（既知）である。
[0036] しかしこのような特徴的な形は極めて稀であり、一例を挙げれば応用上重要と思われ る球形状に関してすら表面応力と内部変位の関数は発見されていない。従来本光学 式触覚センサでは弾性体形状を半無限大弾性体と仮定することによって上述のよう な数式を用いて H行列を取得していた。し力 例えば半球のような自由曲面に対して 同様に半無限大弾性体の式を当てはめて取得した H行列を用いると、表面応力が正 しく得られないことが分力つた。何らかの別手段で表面応力と内部変位を関連付ける 必要がある。
[0037] そのために提案する第一の手法は、数値シミュレーションによって表面応力と内部変 位を関連付ける手法である。現在既に市販されて 、る弾性体シミュレーションソフトゥ エアは弾性体をメッシュ状に区切り、各メッシュ (前述の微小領域)が満たすべき表面 応力とひずみの関係、隣り合ったメッシュ同士が満たすべき関係（隣り合ったメッシュ の境界面では同じ大きさの力が働く等)を満たす弾性体変形を数値計算によって求 めることが出来る。よって提案するセンサで適用するに際しては、まず表面をメッシュ に区切り、各メッシュに単位応力（X方向、 y方向、 z方向）が加わった際のマーカーの 移動量をシミュレーションで計算する。
[0038] 第二の手法は実際に力を加えることである。自由曲面を有する弾性体の接触面に、 既知の力 Fl,F2,F3,F4"'Fnを加える。加えられたそれぞれの力に対するマーカーの 移動ベクトル Ml,M2,M3,M4,..Mnを計測し、これを保存する。 F1は、 Fix, Fly, Flz の 3つのベクトルであり、これらの力を加えたときに夫々対応するマーカーの移動べク トルは Mlx,Mly,Mlzとなる。既知の力と得られた情報（移動ベクトル）を用いて行列 H を作成する。以下具体的に説明する。
[0039] 弾性体表面 (接触面)上に多数のサンプル点を離散的に配置する。好ましくは、サン プル点は接触面の全域をカバーするように配置される。一つの態様では、接触面上 の離散的な多数のサンプル点の配設は、極座標を用いて配設される（平面視同心状 に配設される)。他の態様では、サンプル点は平面視格子状に配設される。
[0040] 各サンプル点において、 X方向、 y方向、 z方向にそれぞれ作用する既知の大きさの 力と、かかる力が作用したそれぞれの場合のマーカーの移動ベクトルとを関連付ける 情報を取得する。一つの好ましい方法では、各サンプル点に X方向、 y方向、 z方向 の所定の力をそれぞれカ卩え、その時のマーカーの移動ベクトルをそれぞれ計測して 、保存する。サンプル点に加える力ベクトルの X方向、 y方向、 z方向の取り方は、力べ タトルを用いて、接触面にカ卩えられる任意の力を表示できるものであれば、その方向 は限定されない。
[0041] 一つの態様では、サンプル点を通って接触面に接する接面を取り、該接面内で互い に直交する方向を X方向、 y方向とし、該接面に対して鉛直方向に z方向を取る。ある いは、接触面の形状と無関係に、 xy平面を設定し、該 xy平面に鉛直状に z方向を取 つても良い。
[0042] 各サンプル点にカ卩える力は既知の力であり、一つの好ましい態様では、一定の大き さの力、例えば 100[gf]をそれぞれ X方向、 y方向、 z方向力もサンプル点にカ卩えて、そ れぞれの場合のマーカーの移動ベクトルを計測する。また、各サンプル点に加える 力は既知の力であれば、必ずしも同じ大きさの力でなくてもよぐ異なる既知の力に 基づいてマーカーの移動ベクトルを計測した場合には、後で、マーカーの移動べタト ルの大きさを正規化すればょ 、。
[0043] また、結果的に X方向、 y方向、 z方向の力とマーカーの移動ベクトルとを関連付ける 情報が取得できれば、各サンプル点に加える力は、 X方向、 y方向、 z方向の力には 限定されない。弾性体は線形であると考えることで、次のような方法も考えられる。ま ず一点に対して z方向にカ卩えた時のマーカー移動量を保存し、次に xz方向に力をカロ え、 力の z方向成分に対する移動情報を差し引くことで X方向成分とする。 y方向も同 様である。
[0044] このようにして、弾性体理論に基づく数式、シミュレーションあるいは実測によって、力 情報 Fとマーカーの振る舞いに関する情報 (例えば、移動情報) Mとを結び付ける伝 達関数である行列 Hを作成する。光学式触覚センサは記憶手段、演算処理手段を 有しており、予め作成された行列 Hは記憶手段に格納されている。透明弾性体の接 触面に物体が当接して、接触面に任意の力が作用した場合に、撮像手段によってマ 一力一画像を取得する。取得したマーカー画像力も演算処理手段によって、マーカ 一移動ベクトルを計測する。計測されたマーカー移動ベクトルを行列 Hに入力して演 算処理手段で計算することで、弾性体の接触面に作用した力ベクトル分布が出力さ れる。
[0045] [D]計算時間短縮法
ここで、行列 Hの要素数が大きくなると移動情報力 力分布を計算する時間が長くな つてしまう。これはある点にカ卩えられた力を求める際に、全てのマーカーの移動情報 を用いることに起因する。実際に前述のアルゴリズムを適用する場合、 H行列が巨大 になり、（式 1)の行列演算に時間がかかる。一例を挙げればメッシュが 100x100であ つた場合、観測点が 10,000点あるために H行列は 10,000 X 10,000という巨大な行列と なる。一般にセンサ面を NxNに区切った場合、観測点が Nの 2乗個あるために H行列 のサイズは Nの二乗 X Nの二乗となる。すると（式 1)の行列演算には Nの 4乗の時間が 力かることになる。したがって、計算時間を短縮するための手法が必要となる。 [0046] 提案する手法は H行列の一部を切り出して用いるというものである。上述のように、 H 行列には全ての格子点にカ卩わる力と全てのマーカーの移動との対応関係が記述さ れている。し力 現実問題として、例えば力の加わる点とマーカーとの距離が充分離 れていれば影響を無視することが出来る。すると例えば図 4,図 5では、 1)を計算す るには 1一 2番目のマーカーのみ、 2)を計算するには 1一 3番目のマーカーのみの移 動量を使えばよいと仮定することによって行列のサイズを小さくすることが出来る。こ の例における新し 、行列は以次のようになる。
[0047] 元の（式 1) f=inv(H)*xは数 3のとおりであった。
[数 3]
Imx(l,l) Ims(2,l) Imx(3,l) Imx(4,l) Inx(1 ) Inx(2,l) Inx(3,l) Inx(4,l)" "m(D f2(D Imz(l,2) Imz(2^) Imz(3 ） Imz(4^) Inz(l^) Inz(2^) Inz(3，2) Inz(4,2) m(2) fx(2) ϋηχ(1 ) Imx(2 ) Ίιηχ(3 ) ύηχ(4 ) Ιηχίΐ ) 1η\(2β) Inx(3^) Inx(4^) m(3) (2) Imz(l,4) Imz(2,4) Imz(3,4) Imz(4,4) Inz(l,4) Inz(2,4) Inz(3,4) Inz(4,4) ∞(4) fa(3) Ims(l,l) Imx(2,l) Imx(3,l) Imx(4,l) Inx(l,l) Inx(2,l) Inx(3,l) Inx(4,l) n(l)
¾3) Imz(l,2) Imz(2，2) Imz(3,2) &nz(4^) Inz(l^) Inz(2^) Inz(3^) n(2) fx(4) Imx(2^) Im O^) Inx(l,3) Inx(2^) Inx(3,3) Inx(4^) n(3) fz(4) Imzil,4) Imz(2,4) Imz(3,4) Imz(4,4) Inz(l,4) Inz(2,4) Inz(3,4) Inz(4,4) n(4)
[0048] この式が、距離の離れたところの寄与を無視することにより数 4のようになる。
[数 4]
Figure imgf000016_0001
0と置 、たところが無視すべき距離の離れた点である。この部分は計算する必要が無 いため、より高速に計算することが出来る。この高速ィ匕は前述のように格子サイズ Nが 大きくなるほど加速度的に効果が現れる。
[0049] これは、力ベクトルを求めたい場所を含むある面積を切り出して使うのと等価である。
図 7において、 Pが力ベクトルを求めたい場所であり、円領域 A1が力ベクトルを求める ために用いるマーカーの範囲である。図のものでは、接触面全体の 2次元画像にお いて、力ベクトル分布を求めたい場所の近傍領域を設定している。ここで、力ベクトル を求めたい場所の近傍領域を設定する場合に、必ずしも、近傍領域は 2次元画像に おける距離のみに基づいて判断されるものではない。すなわち、力の加わる点とマー カーとの距離は空間距離であって、マーカー群が弾性体内に積層されているような 場合には、マーカーが設けられた深さを考慮した方が望ましい場合もある。具体的に は、平面状の接触面を有するセンサにおいて、接触面を xy平面とすると、力ベクトル を求めたい場所の近傍領域は、必ずしも、 xy平面上の距離のみによって判断される のではなぐ z方向を含めた 3次元距離で判断してもよい。 z方向の距離が無視できる ような場合であれば、 xy平面上の 2次元距離に基づ ヽて近傍領域を設定してもよ!/ヽ
[0050] 接触面が自由曲面の場合、一概に距離の離れた場所の寄与が小さいとも言い切れ ない。そこで、計算時間を短縮する他の方法を提案する。まず、実測あるいはシミュレ ーシヨンによって伝達関数 (逆行列）を求める。このような伝達関数の作成法は、既に 述べた。例えば、実測に基づく伝達関数の行列の要素を見た時に、行列のある要素 力 SOに近ければ、かかる要素と積算されるマーカーは、ある力ベクトルを求めるのに無 視してもよいマーカーであると考えられる。伝達関数で行列のある要素力 に近い部 分を自動的に計算から省いて、力ベクトルを計算することができる。例えば、力べタト ルの再構成において無視できる程度の指標を示す閾値を行列要素に対して設定し 、該閾値よりも小さ 、値を有する行列要素の値を 0とする。
[0051] さらに、計算短縮ィ匕方法の改良について説明する。発明者等がさらに鋭意研究を重 ねたところ、上述の計算短縮ィ匕方法を用いる場合に、力ベクトルの計測の精度が落 ちる場合があることがわ力つた。上述の計算短縮ィ匕方法は、求めたい力の点から離 れて 、るマーカーの動きの影響はほとんどな 、と考え、図 7における切り出した円領 域 A1内のマーカー情報のみを用い、切り出した領域以外の部分 A2のマーカーの動 きに関する情報を使用しないというものであった。
[0052] しかしながら、実際には切り出した領域外力もの力によっても領域内のマーカーは移 動をおこすことになる。この切り出した領域外力もの力によるマーカーの移動も領域 内で発生して 、る力として計算しょうとしてしまうため、精度が落ちてしまう問題が発 生したと考えられる。このような不具合を解決するために、次のような手法を改良した
[0053] 画像のある領域を切り出すという点に関しては、前述の計算時間短縮法と同じである 。前述の方法では切り出し領域がありその内部の情報にっ 、てのみ扱って!/、たのに 対して、改良手法は切り出し領域外にも計算する力のサンプリング点を用意する。マ 一力一の移動に関してはあくまで切り出し領域内の情報のみを扱う。これは前述の領 域外からの力の影響を考慮してやるためのサンプリング点となる。すなわち、切り出し 領域内におけるマーカーの移動は、切り出し領域外に加わる力の影響をある程度受 けていると考えられるため、切り出し領域内におけるマーカーの移動情報に基づく力 ベクトルの再構成時において、切り出し領域内に作用したであろう力のみならず、切 り出し領域外に作用したであろう力をも算出することで、切り出し領域外に作用した力 を考慮しつつ、切り出し領域内に作用した力を再構築するものである。
[0054] さらに、領域外の力のサンプリング点は切り出し領域力 離れるに従い、まばらになつ て 、くように設定する。これは領域力 離れれば離れるほど影響は軽微になるため少 数のサンプリング点で代表させてもよいと考えたためである。図 9に基づいて説明す ると、 5 X 5点のサンプリング点に対応する小領域を触覚部の画像において設定する 。小領域内にサンプリング点を密に配設する。小領域外にも力のサンプリング点を配 置する。小領域外の力のサンプリング点は、小領域から離隔するに従って疎に配置 される。図示のものでは、小領域に隣接する部位においては、小領域内と同じ密度 でサンプリング点を密に配置し、該小領域から離れるに従い、サンプリング点を疎に 配置するようになっている。
[0055] そして、小領域内におけるマーカーの移動情報を用いて、小領域内外に配置したサ ンプリング点における力ベクトルを計算する。計算された力ベクトルのうち、小領域内 にある力ベクトルの少なくとも一部の結果のみを最終的な計算結果として採用し、保 存する。図 9のものでは、 5 X 5の小領域における 3 X 3の力のサンプリング点におけ る力べ外ルを最終的な計算結果として保存する。小領域外におけるサンプリング点 及び小領域内における採用されな力つたサンプリング点の力ベクトルは捨てる。そし て、切り出した小領域を順次ずらして、力ベクトルを取得することで、センサの計測領 域全体における力ベクトル分布を取得する。図 9では、小領域の一部のサンプリング 点における力ベクトルを採用している力 小領域内の全てのサンプリング点における 力ベクトルを採用してもよい。また、図 9では、小領域の一部の複数のサンプリング点 における力ベクトルを採用している力 小領域内の一つのサンプリング点における力 ベクトルのみを採用してもよい。図 9では、 5 X 5点の小領域を示した力 切り出す小 領域の大きさは限定されない。この改良手法によると、前述の計算時間短縮法に比 ベて、計算量は増力 tlしてしまう結果になるが、高速化手法適用前に比べると十分な 計算時間短縮がある。
改良された手法について、図 10乃至図 13に基づいて説明する。図 10では、改良手 法の説明の便宜上、図 4、図 5に示すものに比べてマーカー点数を増やしてある。マ 一力一点数を増やしたことにより、対応する数式中の要素数が増加してしまうため、 図 11において、ある一点の力に対するマーカー nの x、 z方向移動についてのみ表記 する。数式 3における行列 inv(H)の要素 Imx(l,l), Imx(2,l), Imx(3,l), Imx(4,l), Imz(l,2), Imz(2,2), Imz(3,2), Imz(4,2)に対応する部分のみを取り出し、マーカー点数 を増加させることと等価である。これを数式表示すると以下のようになる。左辺 Fが力、 右辺 mが移動ベクトルを表し、右辺左項が inv(H)からある一点の力 F、マーカー mに対 応した要素を取り出したものとなる。
[数 5]
Figure imgf000020_0001
改良前の高速ィ匕手法は求めようとしている力の加わっている点の近傍に存在するマ 一力一の移動情報のみを用いることであり、図 12に示すように、 m — m のマーカ
10 14 一の移動情報のみを用いるものである。これを、数式で表現すると以下のようになる。
[数 6]
Figure imgf000021_0003
Figure imgf000021_0001
上記数式中の mから m、m 力も m のマーカー移動情報は求めようとしている力
1 9 15 23
の寄与が無 、こととなり、次のように要素数を減らすことが可能となる。
[数 7]
Figure imgf000021_0002
[0058] これに対し、改良後の咼速ィ匕手法を図で表現すると、図 13のようになる。すなわち、 力のサンプリング点として、 Fのみならず、 F , F , F , F , F を配置する。さらに数
8 2 5 9 11 14
式表現すると、力 Fに関する要素が増加し、以下のように表現可能である。
[数 8]
Figure imgf000022_0001
そして、計算された力ベクトルにおいて、 F 、 F における力ベクトルのみを採用する x8 z8 産業上の利用可能性
[0059] 本発明は触覚センサに広く適用することができ、特に、リアルタイムのセンシングが必 要とされるセンサに好適に利用され得る。
図面の簡単な説明
[0060] [図 1]触覚センサと接触対象の間に生じる力ベクトル分布を示す図である。
[図 2]光学式触覚センサの原理図である。上図は透明弾性体の平面図（CCD画像） であり、下図は透明弾性体の側面図である。透明弾性体には、 2種類のマーカー群 が埋設されている。透明弾性体に下方力 力が作用すると、マーカーは左図から右 図のように移動する。
[図 3]本発明に係る光学式触覚センサの模式図である。
[図 4]接触表面 (平面）に力かる力ベクトルとマーカーの移動を説明する図である。
[図 5]接触表面（自由曲面）に力かる力ベクトルとマーカーの移動を説明する図である
[図 6]力ベクトル分布の再構成に用いる伝達関数の作成法の説明図である。
[図 7]力ベクトル再構築の計算時間の短縮法の説明図である。
[図 8]切り出し領域外力もの力の影響を示す図であり、上図はマーかが埋設された透 明弾性体の側面図、下図は同平面図である。ここで、切り出し領域に対して力のサン プリング点の間隔は小さいため、隣り合った力のサンプリング点に対するそれぞれの 切り出し領域はオーバーラップする (メッシュ 1, 2, 3参照)。
[図 9]計算短縮法における改良手法の概念図である。図中、黒丸及び白丸は力のサ ンプリング点を表し、黒丸は計算後利用する計算結果を表す。
[図 10]マーカー点数を増加させたものを示す図である。
[図 11]マーカー点数を増加させたものを示す図であり、ある一点の力に対するマーカ 一の移動に注目した図である。
[図 12]図 11に基づいて、図 7に示す高速ィ匕手法を説明する図である。
[図 13]図 11に基づいて、改良手法を説明する図である。
符号の説明
1 透明弾性体
2 接触面
3 マーカー
4 マーカー
5 物体
6 撮像手段
7 光源
8 コンピュータ

Claims

請求の範囲
[1] 光学式触覚センサを用いた力ベクトル再構成法であって、該センサは、透明弾性 体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マー カー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構 成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成法は、該弾性体の接触面に物体が接触した際の該有色マーカー の振る舞いを撮影してマーカー画像を取得するステップと、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞い に関する情報を取得するステップと、
取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力べタト ルを出力として得るステップとを有し、
力ベクトルを得るステップは、力ベクトルの算出に寄与度の低いマーカーの振る舞 いに関する情報を省いて力ベクトルを算出することを特徴とする力ベクトル再構成法
[2] 請求項 1にお 、て、力ベクトルを得るステップは、力ベクトルを求めた 、位置の近傍 のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するものであるこ とを特徴とする力ベクトル再構成法。
[3] 請求項 2において、該カベクトルを求めたい位置は、一つあるいは複数のサンプリ ング点カゝら構成されていることを特徴とする力ベクトル再構築法。
[4] 請求請 3において、
該カベクトルを求めたい位置の周囲に複数の力のサンプリング点を配置するステツ プと、
力ベクトルを求めた 、位置の近傍のマーカーの振る舞いに関する情報を用いて該 力ベクトルを求めたい位置及び該カベクトルを求めたい位置の周囲の複数の力のサ ンプリング点に作用した力ベクトルをそれぞれ算出するステップと、
算出された力ベクトルにおいて、該カベクトルを求めたい位置に作用した力べタト ルのみを採用するステップと、
を有することを特徴とする力ベクトル再構成法。
[5] 請求項 4において、該カベクトルを求めたい位置の周囲のサンプリング点は、該カ ベクトルを求めたい位置にあるサンプリング点力 離隔するに従って疎に配置するこ とを特徴とする力ベクトル再構成法。
[6] 請求項 1にお 、て、力ベクトルを得るステップは、該伝達関数を構成する行列の要 素の中で 0に近 、要素を省!ヽてカベクトルを算出するものであることを特徴とする力 ベクトル再構成法。
[7] 請求項 1乃至 6いずれかにおいて、該伝達関数は実測に基づいて作成されたもの であることを特徴とする力ベクトル再構成法。
[8] 光学式触覚センサを用いた力ベクトル再構成法であって、該センサは、透明弾性 体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マー カー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構 成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成法は、
該弾性体の接触面に物体が接触した際の該有色マーカーの振る舞いを撮影して マーカー画像を取得するステップと、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞い に関する情報を取得するステップと、
該マーカー画像力 所定の大きさの小領域を設定し、該小領域内外に複数の力べ タトルのサンプリング点を配置するステップと、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリン グ点に作用した力ベクトルを算出するステップと、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に 作用した力ベクトルを採用するステップと、
を有することを特徴とする力ベクトル再構築法。
[9] 請求項 8において、サンプリング点は該小領域内で密に配置し、該小領域から離隔 するに従って疎に配置したことを特徴とする力ベクトル再構築法。
[10] 光学式触覚センサを用いた力ベクトル再構成装置であって、該センサは、透明弾 性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マ 一力一群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を 構成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成装置は、
該弾性体の接触面に物体が接触した際の該有色マーカーの振る舞いを撮影して マーカー画像を取得する手段と、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞い に関する情報を取得する手段と、
該マーカー画像力 所定の大きさの小領域を設定し、該小領域内外に複数の力べ タトルのサンプリング点を配置する手段と、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリン グ点に作用した力ベクトルを算出する手段と、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に 作用した力ベクトルを採用する手段と、
を有することを特徴とする力ベクトル再構築装置。
[11] 請求項 10において、サンプリング点は該小領域内で密に配置し、該小領域から離 隔するに従って疎に配置したことを特徴とする力ベクトル再構築装置。
[12] 請求項 10, 1 IV、ずれかにお 1、て、該装置は、該伝達関数を格納する記憶手段を 有することを特徴とする力ベクトル再構築装置。
[13] 光学式触覚センサを用いた力ベクトル再構成装置において、該センサは、透明弾 性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マ 一力一群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を 構成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成装置を構成するコンピュータを、
該弾性体の接触面に物体が接触した際の該有色マーカーの振る舞いを撮影して マーカー画像を取得する手段、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞い に関する情報を取得する手段、
該マーカー画像力 所定の大きさの小領域を設定し、該小領域内外に複数の力べ タトルのサンプリング点を配置する手段、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリン グ点に作用した力ベクトルを算出する手段、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に 作用した力ベクトルを採用する手段、
として機能させるためのプログラム。
請求項 13において、サンプリング点を、該小領域内で密に配置し、該小領域から 離隔するに従って疎に配置するようにコンピュータを機能させるためのプログラム。
PCT/JP2004/013203 2003-09-16 2004-09-10 光学式触覚センサを用いた力ベクトル再構成法 WO2005029027A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US10/571,371 US7460964B2 (en) 2003-09-16 2004-09-10 Force vector reconstruction method using optical tactile sensor
CN2004800267746A CN1853094B (zh) 2003-09-16 2004-09-10 使用光学式触觉传感器的力矢量重构法
CA002538007A CA2538007A1 (en) 2003-09-16 2004-09-10 Force vector reconstruction method using optical tactile sensor
EP04787844A EP1666861A4 (en) 2003-09-16 2004-09-10 FORCE VECTOR RECONSTRUCTION METHOD USING AN OPTICAL TOUCH SENSOR
HK06112979.4A HK1092522A1 (en) 2003-09-16 2006-11-27 Force vector reconstruction method using optical tactile sensor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003322627 2003-09-16
JP2003-322627 2003-09-16
JP2004177794A JP4206057B2 (ja) 2003-09-16 2004-06-16 光学式触覚センサを用いた力ベクトル再構成法
JP2004-177794 2004-06-16

Publications (1)

Publication Number Publication Date
WO2005029027A1 true WO2005029027A1 (ja) 2005-03-31

Family

ID=34380299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/013203 WO2005029027A1 (ja) 2003-09-16 2004-09-10 光学式触覚センサを用いた力ベクトル再構成法

Country Status (9)

Country Link
US (1) US7460964B2 (ja)
EP (1) EP1666861A4 (ja)
JP (1) JP4206057B2 (ja)
KR (1) KR20060076292A (ja)
CN (1) CN1853094B (ja)
CA (1) CA2538007A1 (ja)
HK (1) HK1092522A1 (ja)
RU (1) RU2354943C2 (ja)
WO (1) WO2005029027A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7180920B2 (en) 2003-03-18 2007-02-20 Loma Linda University Medical Center Method and apparatus for material processing
JP2007147443A (ja) * 2005-11-28 2007-06-14 Nitta Ind Corp 光学式触覚センサ

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
US8182433B2 (en) * 2005-03-04 2012-05-22 Endosense Sa Medical apparatus system having optical fiber load sensing capability
US8075498B2 (en) 2005-03-04 2011-12-13 Endosense Sa Medical apparatus system having optical fiber load sensing capability
JP4632086B2 (ja) * 2005-06-21 2011-02-16 アイシン精機株式会社 荷重検出装置及び荷重検出方法
US8894589B2 (en) * 2005-08-01 2014-11-25 Endosense Sa Medical apparatus system having optical fiber load sensing capability
JP4955286B2 (ja) * 2006-03-07 2012-06-20 ミネベア株式会社 外力検出装置
US8567265B2 (en) 2006-06-09 2013-10-29 Endosense, SA Triaxial fiber optic force sensing catheter
US8048063B2 (en) 2006-06-09 2011-11-01 Endosense Sa Catheter having tri-axial force sensor
WO2008032661A1 (fr) 2006-09-12 2008-03-20 National Institute Of Advanced Industrial Science And Technology Procédé de mesure de valeur de distribution et système de mesure utilisant un capteur de valeur de distribution pour celui-ci
US8157789B2 (en) 2007-05-24 2012-04-17 Endosense Sa Touch sensing catheter
US8622935B1 (en) 2007-05-25 2014-01-07 Endosense Sa Elongated surgical manipulator with body position and distal force sensing
KR100950234B1 (ko) * 2007-07-06 2010-03-29 한국표준과학연구원 압력 센서를 이용한 마우스 알고리즘 구현 방법
EP2034287A1 (en) * 2007-09-10 2009-03-11 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO Optical sensor for measuring a force distribution
US8298227B2 (en) 2008-05-14 2012-10-30 Endosense Sa Temperature compensated strain sensing catheter
WO2011064339A2 (de) * 2009-11-26 2011-06-03 Werth Messtechnik Gmbh Verfahren und anordnung zur taktil-optischen bestimmung der geometrie eines messobjektes
JP5549203B2 (ja) * 2009-12-01 2014-07-16 セイコーエプソン株式会社 光学式位置検出装置、ハンド装置およびタッチパネル
JP5549204B2 (ja) * 2009-12-01 2014-07-16 セイコーエプソン株式会社 光学式位置検出装置、ハンド装置およびタッチパネル
CN102713558B (zh) * 2009-12-03 2015-02-18 宝洁公司 用于评估由纤维尖端产生的力特性的方法
CN103607961B (zh) 2011-04-14 2016-12-14 圣犹达医疗用品卢森堡控股有限公司 用于导管的紧凑型力传感器
US8823639B2 (en) * 2011-05-27 2014-09-02 Disney Enterprises, Inc. Elastomeric input device
KR101371736B1 (ko) * 2012-08-22 2014-03-07 현대자동차(주) 터치스크린의 터치 인식방법
WO2014164207A1 (en) * 2013-03-12 2014-10-09 Stryker Corporation Sensor assembly and method for measuring forces and torques
CN105987781B (zh) * 2015-02-10 2021-01-05 北京纳米能源与系统研究所 动态应力传感器、制备方法及动态应力测量系统
EP3376986B1 (en) 2016-01-07 2020-02-19 St. Jude Medical International Holding S.à r.l. Medical device with multi-core fiber for optical sensing
US20180299972A1 (en) * 2016-03-29 2018-10-18 Saito Inventive Corp. Input device and image display system
CN105865664A (zh) * 2016-06-02 2016-08-17 江西洪都航空工业集团有限责任公司 一种非接触式装配应力检测系统及使用方法
CN106052914A (zh) * 2016-07-21 2016-10-26 清华大学 一种基于视觉的触觉测量传感器
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット
JP7284947B2 (ja) * 2019-02-09 2023-06-01 株式会社齋藤創造研究所 センサー
EP3693139A1 (en) 2019-02-11 2020-08-12 Université d'Aix-Marseille Optical tactile sensor
CN112097675A (zh) 2019-06-17 2020-12-18 香港科技大学 触觉传感器
CN110682294A (zh) * 2019-10-28 2020-01-14 陈彦水 一种触觉感知方法及装置
TWI767264B (zh) * 2020-06-24 2022-06-11 財團法人工業技術研究院 受壓狀態量測方法及受壓狀態量測系統
US20230251149A1 (en) * 2022-02-04 2023-08-10 Massachusetts Institute Of Technology Flexible optical tactile sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
JPH11118625A (ja) * 1997-10-13 1999-04-30 Toyota Central Res & Dev Lab Inc 荷重測定装置
WO2002018893A1 (fr) * 2000-08-31 2002-03-07 Center For Advanced Science And Technology Incubation, Ltd. Détecteur tactile optique

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5033102A (en) * 1988-01-29 1991-07-16 Minolta Camera Kabushiki Kaisha Image reading apparatus capable of reading desired image areas
US5058190A (en) * 1990-09-14 1991-10-15 The United States Of America As Represented By The Secretary Of The Navy Selective readout of a detector array

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
JPH11118625A (ja) * 1997-10-13 1999-04-30 Toyota Central Res & Dev Lab Inc 荷重測定装置
WO2002018893A1 (fr) * 2000-08-31 2002-03-07 Center For Advanced Science And Technology Incubation, Ltd. Détecteur tactile optique

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1666861A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7180920B2 (en) 2003-03-18 2007-02-20 Loma Linda University Medical Center Method and apparatus for material processing
JP2007147443A (ja) * 2005-11-28 2007-06-14 Nitta Ind Corp 光学式触覚センサ

Also Published As

Publication number Publication date
RU2354943C2 (ru) 2009-05-10
JP2005114715A (ja) 2005-04-28
CN1853094A (zh) 2006-10-25
EP1666861A1 (en) 2006-06-07
US7460964B2 (en) 2008-12-02
EP1666861A4 (en) 2007-09-19
HK1092522A1 (en) 2007-02-09
KR20060076292A (ko) 2006-07-04
CA2538007A1 (en) 2005-03-31
CN1853094B (zh) 2010-05-05
JP4206057B2 (ja) 2009-01-07
RU2006108383A (ru) 2007-09-27
US20070043508A1 (en) 2007-02-22

Similar Documents

Publication Publication Date Title
WO2005029027A1 (ja) 光学式触覚センサを用いた力ベクトル再構成法
WO2005124305A1 (ja) 光学式触覚センサ
Alspach et al. Soft-bubble: A highly compliant dense geometry tactile sensor for robot manipulation
Ward-Cherrier et al. The tactip family: Soft optical tactile sensors with 3d-printed biomimetic morphologies
RU2358247C2 (ru) Оптический тактильный датчик и способ восстановления распределения вектора силы с использованием указанного датчика
JP5261786B2 (ja) ３次元触覚センサ及び３次元触覚センシング方法
Do et al. Densetact: Optical tactile sensor for dense shape reconstruction
Lin et al. Sensing the frictional state of a robotic skin via subtractive color mixing
CN108161994B (zh) 一种多模态触觉感知装置
Cramphorn et al. Addition of a biomimetic fingerprint on an artificial fingertip enhances tactile spatial acuity
JP5825604B2 (ja) ６軸力計測装置、及び６軸力計測方法
CN107909624B (zh) 一种从三维断层成像中提取及融合二维图像的方法
JP4708979B2 (ja) 光学式触覚センサ
Andrussow et al. Minsight: A Fingertip‐Sized Vision‐Based Tactile Sensor for Robotic Manipulation
CN115272466A (zh) 手眼标定方法、视觉机器人、手眼标定设备和存储介质
Althoefer et al. A miniaturised camera-based multi-modal tactile sensor
Jiang et al. Vision‐based tactile sensor using depth from defocus for artificial finger in hand prosthesis
Patruno et al. Optical encoder neural network: a CNN-based optical encoder for robot localization
WO2019220942A1 (ja) 光学式触覚センサ
JP2010190770A (ja) 複合型光学式触覚センサ
JP7176900B2 (ja) 変形撮影装置、変形撮影支援装置および変形撮影方法
JP2009288033A (ja) 光学式触覚センサ
Zhang et al. Design, optimization and application of tactile sensor based on virtual binocular vision
Hu et al. Smart capacitive e-skin takes soft robots beyond proprioception
Fu et al. ELTac: A vision-based electroluminescent tactile sensing skin for force localization and magnitude estimation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480026774.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GM HR HU ID IL IN IS KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NA NI NO NZ OM PG PL PT RO RU SC SD SE SG SK SL SY TM TN TR TT TZ UA UG US UZ VC YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SZ TZ UG ZM ZW AM AZ BY KG MD RU TJ TM AT BE BG CH CY DE DK EE ES FI FR GB GR HU IE IT MC NL PL PT RO SE SI SK TR BF CF CG CI CM GA GN GQ GW ML MR SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2538007

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2007043508

Country of ref document: US

Ref document number: 10571371

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020067005119

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2004787844

Country of ref document: EP

Ref document number: 2006108383

Country of ref document: RU

WWP Wipo information: published in national office

Ref document number: 2004787844

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067005119

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10571371

Country of ref document: US