WO2020054268A1 - 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム - Google Patents

情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム Download PDF

Info

Publication number
WO2020054268A1
WO2020054268A1 PCT/JP2019/031019 JP2019031019W WO2020054268A1 WO 2020054268 A1 WO2020054268 A1 WO 2020054268A1 JP 2019031019 W JP2019031019 W JP 2019031019W WO 2020054268 A1 WO2020054268 A1 WO 2020054268A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
robot
robot hand
hand
information processing
Prior art date
Application number
PCT/JP2019/031019
Other languages
English (en)
French (fr)
Inventor
▲すすむ▼ 舘
康之 井上
史洋 加藤
Original Assignee
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学 filed Critical 国立大学法人 東京大学
Publication of WO2020054268A1 publication Critical patent/WO2020054268A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements

Definitions

  • the present invention relates to an information processing device, a robot hand control system, and a robot hand control program.
  • Patent Literature 1 discloses a master-slave type robot hand that can operate in accordance with the movement of a human user's hand. According to such a robot hand, the motion of the user's hand can be roughly reproduced on the robot hand.
  • Patent Literature 1 has a size and a structure different from those of an operating human hand, and thus merely transmits an approximate shape such as a gesture.
  • it is necessary to manufacture a robot hand having the same hand size and structure as a specific user, which is not practical. That is, there is a demand for a robot hand capable of performing a task having such special skills regardless of the size or structure of the user's hand.
  • the present invention has been made in view of such circumstances, and has an information processing apparatus and a robot hand control for realizing a robot hand capable of performing a task having special skills, regardless of the size or structure of a user's hand. It is an object to provide a system and a robot hand control program.
  • an information processing device for a robot hand of a robot comprising: an input unit, a calculation unit, and a generation unit, wherein characteristic points in a user's hand are defined as first and second user characteristic points, When the characteristic points in the robot hand corresponding to the first and second user characteristic points are defined as first and second robot characteristic points, the input unit is configured to be able to input information on the first and second user characteristic points.
  • the calculation unit calculates a user vector that is a vector between the first and second user feature points in a user coordinate system that is a local coordinate system related to the user's hand, and the generation unit calculates the user vector as the user vector.
  • a control signal for the robot hand is generated based on the first and second robot characteristic points.
  • Ttobekutoru is a signal for controlling the robot hand to match the user vector, the information processing apparatus is provided.
  • the calculation unit calculates a user vector that is a vector between the first and second user feature points in a user coordinate system that is a local coordinate system related to a user's hand, and the generation unit A control signal for the robot hand is generated based on the vector, and the control signal is a signal for controlling the robot hand so that a robot vector, which is a vector between the first and second robot feature points, matches a user vector. It is characterized by.
  • FIG. 2 is a functional block diagram of the robot hand control system according to the embodiment.
  • FIG. 2A is a schematic diagram showing a human (user) hand mode and FIG. 2B is a robot hand mode.
  • FIG. 3A is a view showing a correspondence between a user's hand and a robot hand shown in FIG. 3B when there is no offset.
  • FIG. 4A is a diagram showing the correspondence (no offset) when the user's hand is larger than the robot hand in the form of the user's hand and [FIG. 4B] the robot hand.
  • FIG. 5A FIG. 5A is a view showing a state of a user's hand and [FIG.
  • FIG. 5B a state of a robot hand, showing a corresponding relationship (with offset) when the user's hand is larger than the robot hand.
  • FIG. 6A is a view showing a state of a user's hand and [FIG. 6B] a state of a robot hand, showing a correspondence (no offset) when the user's hand is smaller than the robot hand.
  • FIG. 7A is a view showing a state of a user's hand and [FIG. 7B] a state of a robot hand, showing a correspondence relationship when the user's hand is smaller than the robot hand (with an offset).
  • FIG. 8A is a schematic diagram showing a fingertip coincidence in a global coordinate system between a user and a robot in FIG.
  • FIG. 9A is a view of a user's hand and [FIG. 9B] a view of a robot hand, showing a degree of redundancy.
  • FIG. 10A is a diagram of a user's hand and [FIG. 10B] a diagram of a robot hand, showing the degree of freedom of redundancy when the directions of the tips of the fingers are matched.
  • the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and information processing of software that can be specifically realized by these hardware resources.
  • various types of information are handled. These pieces of information are represented by a signal value as a binary bit set composed of 0 or 1, and communication / operation is executed on a circuit in a broad sense. Can be done.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining a circuit (Circuit), circuits (Circuitry), a processor (Processor), a memory (Memory), and the like. That is, an application-specific integrated circuit (Application Specialized Integrated Circuit: ASIC), a programmable logic device (for example, a Simple Programmable Logic Device: SPLD), a composite programmable logic device (Complex ProgramDragible PD, and a programmable programmable logic device). It includes a programmable gate array (Field Programmable Gate Array: FPGA) and the like.
  • ASIC Application Specialized Integrated Circuit
  • SPLD Simple Programmable Logic Device
  • SPLD Simple Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • FIG. 1 is a diagram illustrating a schematic configuration of a robot hand control system 1 according to the present embodiment.
  • the robot hand control system 1 includes a sensor 2, an information processing device 3, and a robot 4, and is a system in which these are electrically connected.
  • the robot hand 41 of the robot 4 accurately reproduces the movement of the user U's hand UH in conjunction therewith. That is, it should be noted that the robot hand 41 is formed based on the shape of a human hand.
  • the user U is wearing a head-mounted display 5 (an example of a “display device” in the claims), and visually recognizes an image captured by the camera 42 serving as an eye in the robot 4 as if it were his own. Can do it.
  • a head-mounted display 5 an example of a “display device” in the claims
  • the sensors 2, the information processing device 3, and the robot 4 will be described in sections 1.1 to 1.3, respectively.
  • the sensor 2 is provided in a glove type device (not shown).
  • the sensor 2 is configured to be able to acquire the position and movement of each finger in the user U's hand UH.
  • an optical type, a magnetic type, an inertial sensor type, an image recognition type motion capture, or the like can be adopted.
  • the sensor 2 acquires information (feature information) of some characteristic portion (an example of “first and second user characteristic portions” in the claims) in the hand UH of the user U, and obtains information described later. It is configured to be able to transmit to the processing device 3.
  • characteristic portions include, for example, the tip of the first finger Ha of the hand UH (see FIG. 2A / an example of the “first user characteristic portion” in the claims) and the tips of the second to fifth fingers Hb to He ( An example of the “second user characteristic portion” in the claims corresponds to the above.
  • the information processing device 3 includes a communication unit 31, a storage unit 32, and a control unit 33 (particularly, an arithmetic unit 331 and a generation unit 332). Connected through.
  • a communication unit 31 a communication unit 31, a storage unit 32, and a control unit 33 (particularly, an arithmetic unit 331 and a generation unit 332). Connected through.
  • a control unit 33 particularly, an arithmetic unit 331 and a generation unit 332.
  • the communication unit 31 is configured to be able to transmit and receive electric signals to and from external devices viewed from the information processing device 3.
  • the electric signal can include various information.
  • the communication unit 31 is configured to be able to acquire the movement of the hand UH of the user U (the position, posture, and the like of each finger) as information (“information about first and second user characteristic points” in the claims). Such information can be received from the sensor 2 (an example of the “input unit” in the claims).
  • the communication format is not particularly limited.
  • the communication unit 31 can transmit a control signal to the robot 4 having the robot hand 41 (an example of an “output unit” in the claims). Based on the control signal, the fingers 41a to 41e (see FIG. 2B) of the robot hand 41 of the robot 4 are controlled so as to come to a desired position or to have a desired posture.
  • the communication format is not particularly limited.
  • wired communication means such as USB, IEEE 1394, Thunderbolt, and wired LAN network communication
  • wireless communication means such as wireless LAN network communication, mobile communication such as LTE / 3G, and Bluetooth (registered trademark) communication may be used as necessary.
  • the device be configured so as to be connectable to an external device.
  • the storage unit 32 stores various programs and the like to be executed by the control unit 33 (described below). This is, for example, as a storage device such as a solid state drive (Solid State Drive: SSD), or a random access memory (Random Access Memory :) that stores temporarily necessary information (arguments, arrays, etc.) related to the operation of the program. RAM) or the like. Also, a combination of these may be used. More specifically, parameters of the operation related to the kinematics or the inverse kinematics, conversion formulas / algorithms, and the like are stored.
  • SSD Solid State Drive
  • Random Access Memory Random Access Memory
  • the control unit 33 performs processing and control of the entire operation related to the information processing device 3.
  • the control unit 33 is, for example, a central processing unit (CPU) (not shown).
  • the control unit 33 realizes various functions related to the information processing device 3 by reading a predetermined program stored in the storage unit 32. More specifically, the calculation function and the generation function correspond to this. That is, the information processing by software (stored in the storage unit 32) is specifically realized by the hardware (control unit 33), so that the calculation unit 331 having the calculation function and the generation unit 332 having the generation function are formed. Can be performed.
  • FIG. 1 shows a single control unit 33, the present invention is not limited to this, and a plurality of control units 33 may be provided for each function. Also, a combination thereof may be used.
  • the calculation unit 331 and the generation unit 332 will be described in more detail.
  • the arithmetic unit 331 is one in which information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33), and is transmitted from the sensor 2 and received by the communication unit 31. A mathematical operation can be performed on the information on the hand UH of the user U. Further, the calculation unit 331 can execute the calculation of the user coordinate system, which is the local coordinate system for the hand UH of the user U, and the calculation of the robot coordinate system, which is the local coordinate system for the robot hand 41, in a distinguishable manner.
  • some features of the hand UH of the user U an example of “first user features” in the claims
  • features of the robot hand 41 corresponding to the above-described feature of the hand UH of the user U. It is preferable to make the relative coordinate positions in the local coordinate system coincide with each other in a certain state (initial state) for a position (an example of a “first robot characteristic position” in the claims).
  • the characteristic points of the user U and the robot 4 are the tip of the first finger Ha of the hand UH of the user U and the tip of the first finger 41a of the robot hand 41.
  • the origin O of the user coordinate system may be set as the wrist Hf of the hand UH
  • the origin O of the robot coordinate system may be set as the wrist 41f of the robot hand 41.
  • the initial state is, for example, a state in which the fingers Ha to He in the hand UH of the user U or the fingers 41a to 41e in the robot hand 41 are extended.
  • the calculation unit 331 previously obtains the position of the first finger Ha of the hand UH of the user U in the initial state and the position of the first finger 41a of the robot hand 41 in the initial state, The difference vector is calculated.
  • the difference vector is the difference between the length of the hand UH to the tip of the first finger Ha with respect to the origin O of the user coordinate system and the length of the hand UH to the tip of the first finger 41a of the robot hand 41 with respect to the origin O of the robot coordinate system, that is,
  • the difference between the size of the hand UH of the user U and the size of the robot hand 41 of the robot 4 is defined as an offset. If the target position of the first finger 41a of the robot hand 41 is offset during the control, the problem of the movable range due to the individual difference of the hand UH can be solved.
  • the calculation unit 331 sets the tip of the first finger Ha as a start point and the tip of the remaining second to fifth fingers Hb to He as end points based on the information on the hand UH of the user U acquired from the sensor 2.
  • a vector (an example of a “user vector” in the claims / a parameter having a magnitude and a direction) is calculated.
  • the user U can operate the robot 4 as if it were inside the robot 4 or as if it were the robot 4 itself. More specifically, when the user U carries the tip of the first finger Ha to a desired position, the tip of the first finger 41a of the robot hand 41 is carried to the same position in the robot coordinate system. The distance between the tips of the first finger 41a and the second to fifth fingers 41b to 41e exactly matches the distance between the tips of the first finger Ha and the second to fifth fingers Hb to He. Thus, the user U can perform a precise operation or the like while the robot hand 41 has a feeling as if it were the own hand UH.
  • the generation unit 332 is one in which information processing by software (stored in the storage unit 32) is specifically realized by hardware (the control unit 33), and the above-described offset (offset processing performed by the calculation unit 331) is performed.
  • a control signal for controlling the robot hand 41 is generated based on the coordinate system) and the calculated vector between the fingers. Further, the control signal here is a concept that can include a signal before D / A conversion and a signal after conversion.
  • the control signal generated by the generation unit 332 is output to the robot hand 41 via the communication unit 31, and the robot hand 41 is controlled so as to perform a desired operation.
  • the robot 4 is a humanoid robot controlled by the information processing device 3.
  • the robot 4 includes a robot hand 41 and a camera 42 configured to capture information on the outside world.
  • the robot hand 41 is a robot hand formed following a human hand, as shown in FIG. 2B.
  • the robot hand 41 includes first to fifth fingers 41a to 41e so as to correspond to the first to fifth fingers Ha to He of the hand UH of the user U.
  • the robot hand 41 is controlled by a control signal generated by the generation unit 332 in the information processing device 3.
  • the control signal includes the position of the tip of the first finger 41a of the robot hand 41 in the robot coordinate system and information on the second to fifth fingers 41b to 41e (the vector starting from the tip of the first finger 41a as described above). Contains.
  • the control method is not particularly limited, for example, P control, PD control, PID control and the like can be appropriately adopted.
  • Each coefficient relating to control may be set to a preferable value as needed. Further, the value of the control signal may be defined by a voltage.
  • the drive rate for driving the robot hand 41 (the control signal generation rate of the generation unit 332) is high.
  • it is 10 Hz or more, preferably 50 Hz or more, and more preferably 250 Hz or more.
  • the camera 42 plays the role of the eyes of the robot 4 and is configured to be able to capture visual information of the outside world captured by the robot 4.
  • the captured data (video) is configured to be visually recognized online by the user U via the head-mounted display 5.
  • the communication between the camera 42 and the head-mounted display 5 is not particularly limited. For example, it may be realized via the communication unit 31 in the information processing device 3, and may have a configuration in which data is directly transferred from the camera 42 to the head mounted display 5.
  • FIG. 3A shows the form of the hand UH of the user U
  • FIG. 3B shows the form of the robot hand 41, which corresponds to the case where there is no offset. Shows the relationship.
  • the vector u_1 starting from the origin O in FIG. 3A and ending at the tip of the first finger Ha
  • the vector u_1 starting from the origin O in FIG. It matches the vector v_1 as the end point.
  • vectors u_2 to u_5 starting from the tip of the first finger Ha in FIG.
  • the user U can see the wrist 41f and the fingers 41a to 41e of the robot hand 41 of the robot 4 via the head mount display 5 in the direction in which the user's wrist Hf and the tips of the fingers Ha to He are viewed. Become.
  • FIGS. 4A and 5A show aspects of the hand UH of the user U
  • FIGS. 4B and 5B show aspects of the robot hand 41.
  • the correspondence when the hand UH is larger than the robot hand 41 is shown.
  • the fingers Ha to He of the user U are longer than the fingers 41a to 41e of the robot hand 41, they exceed the movable range of the robot hand 41 as shown in FIGS. 4A and 4B. Therefore, as shown in FIGS. 5A and 5B, the position of the wrist 41f, which is the origin O in the robot coordinate system, is offset to the far side (upward in the figure).
  • the vector u_1 starting from the origin O and ending at the tip of the first finger Ha in FIG. 4A does not match the vector v_1 starting from the origin O and ending at the tip of the first finger 41a in FIG. 4B. (Note that the vector v_1 ′ indicated by the dotted line before the offset matches the vector u_1.)
  • Vectors v_2 to v_5 starting from the tip of 41a and ending at the tips of the second to fifth fingers 41b to 41e coincide with each other.
  • the coordinate positions of the fingers Ha to He in the hand UH of the user U which are the characteristic points, and the robot 4 in the respective global coordinate systems with the human eye UE and the camera 41 as the origins.
  • the coordinate positions of the fingers 41a to 41e of the robot hand 41 completely match. More specifically, the vectors u_0 and u_1 in FIG. 8A do not match the vectors v_0 and v_1 in FIG. 8B, but the vector sums u_0 + u_1 and v_0 + v_1 match. In other words, the user U can see the fingers 41a to 41e of the robot hand 41 of the robot 4 via the head mount display 5 in the direction of viewing the tips of the fingers Ha to He.
  • FIGS. 6A and 7A show aspects of the hand UH of the user U
  • FIGS. 6B and 7B show aspects of the robot hand 41.
  • the correspondence when the hand UH is smaller than the robot hand 41 is shown.
  • the fingers Ha to He of the user U are shorter than the fingers 41a to 41e of the robot hand 41
  • the movable range of the robot hand 41 becomes extremely narrow as shown in FIGS. 6A and 6B. Therefore, as shown in FIGS. 7A and 7B, the position of the wrist 41f, which is the origin O in the robot coordinate system, is offset toward the near side (downward in the figure).
  • the vector u_1 starting from the origin O and ending at the tip of the first finger Ha in FIG. 6A does not match the vector v_1 starting from the origin O and ending at the tip of the first finger 41a in FIG. 6B. (Note that the vector v_1 ′ indicated by the dotted line before the offset matches the vector u_1.)
  • Vectors v_2 to v_5 starting from the tip of 41a and ending at the tips of the second to fifth fingers 41b to 41e coincide with each other.
  • the coordinate positions of the fingers Ha to He in the hand UH of the user U which are the characteristic points, and the robot 4 in the respective global coordinate systems with the human eye UE and the camera 41 as the origins.
  • the coordinate positions of the fingers 41a to 41e of the robot hand 41 completely match. More specifically, the vectors u_0 and u_1 in FIG. 8A do not match the vectors v_0 and v_1 in FIG. 8B, but the vector sums u_0 + u_1 and v_0 + v_1 match. In other words, the user U can see the fingers 41a to 41e of the robot hand 41 of the robot 4 via the head mount display 5 in the direction of viewing the tips of the fingers Ha to He.
  • a vector having the tip of the first finger Ha of the hand UH of the user U as a start point and the end points of the tips of the second to fifth fingers Hb to He, not limited to the presence or absence of the offset.
  • the control is performed so that vectors (robot vectors) starting from the tip of the first finger 41a of the robot hand 41 and ending with the tips of the second to fifth fingers Hb to He are the same.
  • the posture of the robot hand 41 does not always match the hand UH and is not uniquely determined. For example, as shown in FIGS.
  • the positional relationship between the first finger Ha and the second finger Hb and the positional relationship between the first finger 41a and the second finger 41b may be the same, and the reverse motion may be performed.
  • an arbitrary posture is selected from among the redundant degrees of freedom of the robot hand 41 as a whole.
  • ⁇ The conditions may be increased within the range of such redundancy degrees of freedom.
  • a direction D1 indicated by the tip of the first finger Ha of the hand UH of the user U an example of the “first direction” in the claims
  • a direction D2 indicated by the tip of the second finger Hb Patent
  • An example of the "second direction” in the claims a direction d1 (an example of the "first direction” in the claims) indicated by the tip of the first finger 41a of the robot hand 41, and the tip of the second finger 41b.
  • the pointing direction d2 is matched.
  • robot hand control system 1 may be further creatively devised in the following manner.
  • the user U can visually recognize information on the outside world captured by the camera 42 of the robot 4 via the head-mounted display 5. May be implemented so that the user U can view it. That is, instead of the actual robot 4, an avatar robot defined in the virtual reality space may be implemented so as to be controllable as described above.
  • the control unit 33 in the information processing device 3 functions as a rendering unit (not shown).
  • the rendering unit generates computer graphics of the robot hand 4 based on the control signal generated by the generation unit 332. Then, such computer graphics can be displayed on the head mounted display 5.
  • the user U can visually recognize the external information captured by the camera 42 of the robot 4 via the head-mounted display 5. May be added. Thereby, the user U can operate the robot hand 41 of the robot 4 while experiencing the augmented reality.
  • the tip of the first to fifth fingers Ha to He is selected as an example of the “first and second user characteristic points” in the claims, and the “first and second robots” are selected.
  • the tips of the first to fifth fingers 41a to 41e are selected as an example of the "characteristic location", but the present invention is not limited to this example. In fact, since humans mostly use fingertips to perform some kind of work, the above-described selection is preferable. May be implemented.
  • the robot hand 41 may include the tip of the first finger 41a and at least one of the second to fifth fingers 41b to 41e opposed thereto.
  • the information processing apparatus 3 for realizing the robot hand 41 capable of performing the work having the special skill regardless of the size or the structure of the hand UH of the user U is implemented. can do.
  • the information processing device 3 relates to the robot hand 41 of the robot 4 and includes an input unit (communication unit 31), a calculation unit 331, and a generation unit 332, and stores first and second characteristic portions in the hand UH of the user U. Defined as two user characteristic portions (tips of the first finger Ha and the second to fifth fingers Hb to He), and the first and second user characteristic portions (the first finger Ha and the second to fifth fingers Hb to He).
  • the input unit communication unit 31
  • And information on the first and second user characteristic portions can be input.
  • User coordinates that are A user vector that is a vector between the first and second user characteristic portions (tips of the first finger Ha and the second to fifth fingers Hb to He) is calculated, and the generation unit 332 generates the robot hand based on the user vector.
  • a control signal for the robot 41 is generated, and the control signal matches a robot vector, which is a vector between the first and second robot features (tips of the first finger 41a and the second to fifth fingers 41b to 41e), with the user vector. This is a signal for controlling the robot hand 41 so as to cause the robot hand 41 to operate.
  • the robot hand control system 1 for realizing the robot hand 41 capable of performing a task having a special skill can be implemented regardless of the size or structure of the hand UH of the user U.
  • the robot hand control system 1 includes an information processing device 3 and a sensor 2.
  • the sensor 2 includes first and second user characteristic portions (tips of the first finger Ha and the second to fifth fingers Hb to He). , And can be transmitted to the information processing device 3.
  • a program may be provided as a non-transitory recording medium readable by a computer (information processing device 3), may be provided so as to be downloadable from an external server, or may be provided as an external computer. In such a case, the program may be started to execute so-called cloud computing that can execute each function on the client terminal.
  • Such a robot hand control program causes a computer (information processing device 3) to execute an input function, an arithmetic function, and a generation function, and the first and second user characteristic portions (the first finger Ha and the first finger Ha) are operated by the input function.
  • the input of the second to fifth fingers Hb to He becomes possible, and the first and second user characteristic portions (first finger Ha and first finger Ha and A user vector, which is a vector between the second to fifth fingers Hb to He, is calculated, and a generation function generates a control signal for the robot hand 41 based on the user vector.
  • a robot vector which is a vector between two robot feature points (tips of the first finger 41a and the second to fifth fingers 41b to 41e), is added to the user vector. It is a signal for controlling the robot hand 41 so as to.
  • Robot hand control system 2 Sensor 3: Information processing device 30: Communication bus 31: Communication unit 32: Storage unit 33: Control unit 331: Operation unit 332: Generation unit 4: Robot 41: Robot hand 41a: First finger 41b: second finger 41c: third finger 41d: fourth finger 41e: fifth finger 41f: wrist 42: camera 5: head mounted display Ha: first finger Hb: second finger Hc: third finger Hd: fourth Finger He: Fifth finger Hf: Wrist U: User UH: Hand

Abstract

【課題】ユーザの手の大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンドを実現させるための情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムを提供すること。 【解決手段】本発明によれば、ロボットにおけるロボットハンドに関する情報処理装置であって、入力部と、演算部と、生成部と備え、ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、前記入力部は、第１及び第２ユーザ特徴箇所に関する情報を入力可能に構成され、前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、情報処理装置が提供される。

Description

情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム
　本発明は、情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムに関する。
　人間の手は５本の指が器用に動くことにより様々な作業を遂行することができる。しかし、特別な技能（外科手術や楽器の演奏等）に関する器用な人の手の動きは、特定の人にしかできないことが多く、また、それらは暗黙的な身体知である。そのため、専門医や演奏家などの優れた技能は、その人の手の届く範囲でしか実現されず、その技能を他者に教えることも困難である。
　それに対して、人間の身体の動きを記録してロボットにその動きを再現させるという技術的アプローチが存在する。例えば、特許文献１には、人間であるユーザの手の動きに合わせて動作可能なマスター・スレーブ式のロボットハンドが開示されている。このようなロボットハンドによれば、ユーザの手の動きをロボットハンドにおおよそ再現させることができる。
特開２００５－０１４１６６号公報
　しかしながら、特許文献１に開示されているロボットハンドは、操作する人間の手と大きさも構造も異なるため、単にジェスチャー等のおおよその形を伝える程度に過ぎない。仮に前述のような特別な技能を発揮するには、特定のユーザの手の大きさや及び構造と同一のロボットハンドを製作する必要があり、これは現実的ではない。すなわち、ユーザの手の大きさや構造に関わらず、このような特別な技能を有する作業を遂行可能なロボットハンドの実現が望まれている。
　本発明は、かかる事情を鑑みてなされたものであり、ユーザの手の大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンドを実現させるための情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムを提供することを目的とする。
　本発明によれば、ロボットにおけるロボットハンドに関する情報処理装置であって、入力部と、演算部と、生成部と備え、ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、前記入力部は、第１及び第２ユーザ特徴箇所に関する情報を入力可能に構成され、前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、情報処理装置が提供される。
　本発明に係る情報処理装置において、演算部は、ユーザの手に関するローカル座標系であるユーザ座標系において第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、生成部は、ユーザベクトルに基づいてロボットハンドに対する制御信号を生　成し、制御信号は、第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルをユーザベクトルに一致させるようにロボットハンドを制御する信号であることを特徴とする。このような構成を有する情報処理装置により、ロボットハンドの操縦者であるユーザ自らの手指の動作をロボットハンドに正確に再現させることができる、という効果を奏する。これにより、外科手術や楽器の演奏等の特別な技能を有する作業を遂行可能なロボットハンドの実現が期待されうる。
実施形態に係るロボットハンド制御システムの機能ブロック図。 ［図２Ａ］ヒト（ユーザ）の手の態様及び［図２Ｂ］ロボットハンドの態様を示す概要図。 ［図３Ａ］ユーザの手の態様及び［図３Ｂ］ロボットハンドの態様であって、オフセットがない場合の対応関係を示す図。 ［図４Ａ］ユーザの手の態様及び［図４Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより大きい場合の対応関係（オフセット無し）を示す図。 ［図５Ａ］ユーザの手の態様及び［図５Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより大きい場合の対応関係（オフセット有り）を示す図。 ［図６Ａ］ユーザの手の態様及び［図６Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより小さい場合の対応関係（オフセット無し）を示す図。 ［図７Ａ］ユーザの手の態様及び［図７Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより小さい場合（オフセット有り）の対応関係を示す図。 ［図８Ａ］ユーザ及び［図８Ｂ］ロボット間でのグローバル座標系での指先の一致を表す概要図。 ［図９Ａ］ユーザの手の態様及び［図９Ｂ］ロボットハンドの態様であって、冗長自由度を示す図。 ［図１０Ａ］ユーザの手の態様及び［図１０Ｂ］ロボットハンドの態様であって、指の先端の指す向きを一致させた上での冗長自由度を示す図。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＬＰＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．全体構成
　第１節では、本実施形態に係るロボットハンド制御システム１の全体構成について説明する。図１は、本実施形態に係るロボットハンド制御システム１の構成概要を示す図である。ロボットハンド制御システム１は、図１に示されるように、センサ２と、情報処理装置３と、ロボット４とからなり、これらが電気的に接続されたシステムである。ユーザＵが自身の手ＵＨを動かすと、それに連動してロボット４におけるロボットハンド４１がユーザＵの手ＵＨの動きを正確に再現する。すなわち、ロボットハンド４１は前提として、ヒトの手の形状に倣って形成されたものであることに留意されたい。また、ユーザＵはヘッドマウントディスプレイ５（特許請求の範囲における「表示装置」の一例）を装着しており、ロボット４において目の役割をするカメラ４２の捕える映像を自身の感覚のように視認することができるものとする。以下、第１．１～１．３節において、センサ２、情報処理装置３、及びロボット４についてそれぞれ説明する。
１．１　センサ２
　例えば、センサ２は、不図示のグローブ型デバイスに具備されるものである。ユーザＵが当該グローブ型デバイスを手ＵＨに装着することで、センサ２は、ユーザＵの手ＵＨにおける各指の位置や動きを取得可能に構成される。例えば、光学式、磁気式、慣性センサ式、画像認識式のモーションキャプチャ等を採用することができる。具体的には、センサ２は、ユーザＵの手ＵＨにおける何らかの特徴箇所（特許請求の範囲における「第１及び第２ユーザ特徴箇所」の一例）の情報（特徴情報）を取得し、後述の情報処理装置３に送信可能に構成される。かかる特徴箇所は、例えば、手ＵＨにおける第１指Ｈａの先端（図２Ａ参照／特許請求の範囲における「第１ユーザ特徴箇所」の一例）や、第２～第５指Ｈｂ～Ｈｅの先端（特許請求の範囲における「第２ユーザ特徴箇所」の一例）が該当する。
１．２　情報処理装置３
　情報処理装置３は、通信部３１と、記憶部３２と、制御部３３（特に、演算部３３１及び生成部３３２）とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して接続されている。以下、各構成要素について更に説明する。
＜通信部３１＞
　通信部３１は、情報処理装置３から見た外部機器と電気信号を送受信可能に構成される。当該電気信号は種々の情報を含みうるものである。例えば、通信部３１は、ユーザＵの手ＵＨの動き（各指の位置、姿勢等）を情報（特許請求の範囲における「第１及び第２ユーザ特徴箇所に関する情報」）として取得可能に構成されるセンサ２から、かかる情報を受信することができる（特許請求の範囲における「入力部」の一例）。通信形式については特に限定されるものではない。一方、通信部３１は、ロボットハンド４１を有するロボット４に制御信号を送信することができる（特許請求の範囲における「出力部」の一例）。かかる制御信号に基づいて、ロボット４が有するロボットハンド４１における各指４１ａ～４１ｅ（図２Ｂ参照）が所望の位置に来るように、或いは所望の姿勢となるように制御される。こちらも通信形式については特に限定されるものではない。
　なお、センサ２及びロボット４以外にも様々な外部機器と通信可能に構成されることが好ましい。例えば、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段又は、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等の無線通信手段を必要に応じて有することで、外部機器と接続可能に構成されるとよい。
＜記憶部３２＞
　記憶部３２は、制御部３３（次に説明）が実行するための種々のプログラム等を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。具体的には、運動学又は逆運動学に係る演算のパラメータや、その変換数式・アルゴリズム等が記憶されている。
＜制御部３３＞
　制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的には演算機能や生成機能が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、演算機能を有する演算部３３１及び生成機能を有する生成部３３２として実行されうる。なお、図１においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、演算部３３１及び生成部３３２について更に詳述する。
［演算部３３１］
　演算部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているもので、センサ２から送信され且つ通信部３１によって受信したユーザＵの手ＵＨに関する情報に数学的な演算を実行可能に構成される。更に、演算部３３１は、ユーザＵの手ＵＨに関するローカル座標系であるユーザ座標系の演算と、ロボットハンド４１に関するローカル座標系であるロボット座標系の演算とを区別可能に実施しうる。本実施形態では、ユーザＵの手ＵＨにおける何らかの特徴箇所（特許請求の範囲における「第１ユーザ特徴箇所」の一例）と、ロボットハンド４１において前述のユーザＵの手ＵＨにおける特徴箇所に対応する特徴箇所（特許請求の範囲における「第１ロボット特徴箇所」の一例）とについて、ある規定の状態（初期状態）でそれぞれのローカル座標系での相対的な座標位置を一致させることが好ましい。本実施形態では、ユーザＵ及びロボット４における特徴箇所とは、ユーザＵの手ＵＨの第１指Ｈａの先端及びロボットハンド４１の第１指４１ａの先端である。そして、ユーザ座標系の原点Ｏを手ＵＨの手首Ｈｆとし、ロボット座標系の原点Ｏをロボットハンド４１の手首４１ｆとして実施すればよい。なお、初期状態とは、例えばユーザＵの手ＵＨにおける各指Ｈａ～Ｈｅ又はロボットハンド４１における各指４１ａ～４１ｅを伸ばした状態である。
　しかし、ユーザＵの手ＵＨの大きさは個体差があるため、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも長い場合、ロボットハンド４１の可動範囲を越えてしまう。逆に、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも短い場合、ロボットハンド４１の可動範囲が極端に狭くなることが起こりうる。このような場合に備えて、演算部３３１は、初期状態におけるユーザＵの手ＵＨの第１指Ｈａの位置と、同じく初期状態におけるロボットハンド４１の第１指４１ａの位置を予め求めておき、その差分ベクトルを算出する。かかる差分ベクトルは、ユーザ座標系の原点Ｏに対する手ＵＨの第１指Ｈａの先端までの長さとロボット座標系の原点Ｏに対するロボットハンド４１の第１指４１ａの先端までの長さとの差、すなわちユーザＵの手ＵＨとロボット４のロボットハンド４１の大きさの違いを表しており、これをオフセットとして定義する。そして、制御時にロボットハンド４１における第１指４１ａの目標位置をオフセットさせておけば、前述の手ＵＨの個体差による可動範囲の問題を解決することができる。
　更に、演算部３３１は、センサ２より取得されたユーザＵの手ＵＨに関する情報に基づいて、第１指Ｈａの先端を始点とし残りの第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトル（特許請求の範囲における「ユーザベクトル」の一例／すなわち大きさと向きを有するパラメータ）を算出する。ロボットハンド４１の制御の際に演算部３３１により算出されたかかるベクトルを、ロボット座標系において対応するロボットハンド４１の指間のベクトル（ロボットベクトル）として反映させることで、ユーザＵが自己認知する各指Ｈａ～Ｈｅの感覚を維持した状態で、ヘッドマウントディスプレイ５を介して誤差なくロボットハンド４１を操作することが可能となる。換言すると、ユーザＵはあたかもロボット４の中に入っている、あるいは自分自身がロボット４になったような感覚でロボット４を操作することができる。より詳細には、ユーザＵが所望の位置に第１指Ｈａの先端を運ぶと、ロボット座標系でも同じ位置にロボットハンド４１の第１指４１ａの先端が運ばれる。そして、第１指４１ａと第２～第５指４１ｂ～４１ｅとの先端の間隔は、第１指Ｈａと第２～第５指Ｈｂ～Ｈｅとの先端の間隔に正確に一致する。これにより、ユーザＵは、ロボットハンド４１があたかも自身の手ＵＨのような感覚を有しながら、精密な作業等を実施することができる。
［生成部３３２］
　生成部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているもので、前述のオフセット（演算部３３１によってオフセット処理された座標系）及び算出された指間のベクトルに基づいて、ロボットハンド４１を制御するための制御信号を生成する。更にここでいう制御信号とは、Ｄ／Ａ変換前のものも変換後のものも含みうる概念である。生成部３３２によって生成された制御信号が、通信部３１を介してロボットハンド４１に出力され、ロボットハンド４１が所望の動作をなすように制御される。
１．３　ロボット４
　ロボット４は、情報処理装置３によって制御されるヒト型のロボットである。特にロボット４は、ロボットハンド４１と、外界の情報を撮像可能に構成されるカメラ４２とを備える。
＜ロボットハンド４１＞
　ロボットハンド４１は、図２Ｂに示されるように、ヒトの手に倣って形成されたロボットハンドである。ロボットハンド４１は、ユーザＵの手ＵＨが有する第１～第５指Ｈａ～Ｈｅに対応するように第１～第５指４１ａ～４１ｅを備える。ロボットハンド４１は、情報処理装置３における生成部３３２によって生成された制御信号によって制御される。かかる制御信号には、ロボットハンド４１の第１指４１ａの先端のロボット座標系における位置や第２～第５指４１ｂ～４１ｅの情報（前述の通り第１指４１ａの先端を始点とするベクトル）を含んでいる。制御手法は特に限定されないが、例えば、Ｐ制御、ＰＤ制御、ＰＩＤ制御等を適宜採用することができる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また制御信号の値は電圧で規定されるとよい。
　なおロボットハンド４１を駆動させる駆動レート（生成部３３２の制御信号生成レート）は、高いことが好ましい。例えば、１０ヘルツ以上であり、好ましくは、５０ヘルツ以上であり、更に好ましくは２５０ヘルツ以上である。具体的には例えば、１０、２０、３０、４０、５０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００ヘルツ、またはこれ以上の値であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
＜カメラ４２＞
　カメラ４２は、ロボット４の目の役割を果たすものであり、ロボット４が捕える外界の視覚情報を撮像可能に構成される。撮像されたデータ（映像）は、ユーザＵがヘッドマウントディスプレイ５を介して、オンラインで視認可能に構成される。このとき、タイムラグが小さいほど、ユーザＵがより自然に自己認知を有しながらロボット４を制御することができる。なお、カメラ４２とヘッドマウントディスプレイ５との通信は特に限定されるものではない。例えば、情報処理装置３における通信部３１を介して実現してもよく、直接的にカメラ４２からヘッドマウントディスプレイ５に対してデータが転送されるような構成を有してもよい。
２．オフセットの例
　続いて、前述のロボットハンド制御システム１の演算部３３１によってなされるオフセット処理の例について説明する。
２．１　手ＵＨとロボットハンド４１とが同じ大きさの場合
　図３ＡはユーザＵの手ＵＨの態様を示し、図３Ｂはロボットハンド４１の態様を示す図であって、オフセットがない場合の対応関係を示している。かかる場合は、オフセットさせる必要がないので、図３Ａにおける原点Ｏを始点とし且つ第１指Ｈａの先端を終点とするベクトルｕ＿１と、図３Ｂにおける原点Ｏを始点とし且つ第１指４１ａの先端を終点とするベクトルｖ＿１とは一致する。また、オフセットの有無に限らず、図３Ａにおける第１指Ｈａの先端を始点とし且つ第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトルｕ＿２～ｕ＿５と、図３Ｂにおける第１指４１ａの先端を始点とし且つ第２～第５指４１ｂ～４１ｅの先端を終点とするベクトルｖ＿２～ｖ＿５とは一致する。
　このような構成により、人の目ＵＥ及びカメラ４１を原点としたそれぞれのグローバル座標系において、ユーザＵの手ＵＨにおける手首Ｈｆ（ローカル座標系であるユーザ座標系の原点）及び各指Ｈａ～Ｈｅの座標位置と、ロボット４のロボットハンド４１における手首４１ｆ（ローカル座標系であるロボット座標系の原点）及び各指４１ａ～４１ｅの座標位置とが完全に一致する。より詳細には、図８Ａにおけるベクトルｕ＿０（始点が目ＵＥ、終点が手首Ｈｆ），ｕ＿１，ｕ＿２～ｕ＿５と、図８Ｂにおけるベクトルｖ＿０（始点がカメラ４２、終点が手首４１ｆ），ｖ＿１，ｖ＿２～ｖ＿５とがすべて一致する。換言すると、ユーザＵにとっては自分の手首Ｈｆや各指Ｈａ～Ｈｅの先端を見る方向に、ヘッドマウントディスプレイ５を介してロボット４のロボットハンド４１における手首４１ｆや各指４１ａ～４１ｅが見えることとなる。
２．２　手ＵＨがロボットハンド４１よりも大きい場合
　図４Ａ及び図５ＡはユーザＵの手ＵＨの態様を示し、図４Ｂ及び図５Ｂはロボットハンド４１の態様を示す図であって、ユーザＵの手ＵＨがロボットハンド４１より大きい場合の対応関係を示している。かかる場合は、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも長いため、図４Ａ及び図４Ｂに示されるようにロボットハンド４１の可動範囲を越えてしまう。そこで、図５Ａ及び図５Ｂに示されるようにロボット座標系における原点Ｏである手首４１ｆの位置を奥側（図中上方向）へオフセットさせている。したがって、図４Ａにおける原点Ｏを始点とし且つ第１指Ｈａの先端を終点とするベクトルｕ＿１と、図４Ｂにおける原点Ｏを始点とし且つ第１指４１ａの先端を終点とするベクトルｖ＿１とは一致しない（なお、オフセット前の点線で示されるベクトルｖ＿１’はベクトルｕ＿１と一致）。一方で、オフセットの有無に限らず、図４Ａにおける第１指Ｈａの先端を始点とし且つ第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトルｕ＿２～ｕ＿５と、図４Ｂにおける第１指４１ａの先端を始点とし且つ第２～第５指４１ｂ～４１ｅの先端を終点とするベクトルｖ＿２～ｖ＿５とは一致する。
　このようなオフセットも含めた構成により、人の目ＵＥ及びカメラ４１を原点としたそれぞれのグローバル座標系において、特徴箇所であるユーザＵの手ＵＨにおける各指Ｈａ～Ｈｅの座標位置と、ロボット４のロボットハンド４１における各指４１ａ～４１ｅの座標位置が完全に一致する。より詳細には、図８Ａにおけるベクトルｕ＿０，ｕ＿１と、図８Ｂにおけるベクトルｖ＿０，ｖ＿１とは一致しないが、ベクトル和ｕ＿０＋ｕ＿１と、ｖ＿０＋ｖ＿１とは一致する。換言すると、ユーザＵにとっては自分の各指Ｈａ～Ｈｅの先端を見る方向に、ヘッドマウントディスプレイ５を介してロボット４のロボットハンド４１における各指４１ａ～４１ｅが見えることとなる。
２．３　手ＵＨがロボットハンド４１よりも小さい場合
　図６Ａ及び図７ＡはユーザＵの手ＵＨの態様を示し、図６Ｂ及び図７Ｂはロボットハンド４１の態様を示す図であって、ユーザＵの手ＵＨがロボットハンド４１より小さい場合の対応関係を示している。かかる場合は、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも短いため、図６Ａ及び図６Ｂに示されるようにロボットハンド４１の可動範囲が極端に狭くなる。そこで、図７Ａ及び図７Ｂに示されるようにロボット座標系における原点Ｏである手首４１ｆの位置を手前側（図中下方向）へオフセットさせている。したがって、図６Ａにおける原点Ｏを始点とし且つ第１指Ｈａの先端を終点とするベクトルｕ＿１と、図６Ｂにおける原点Ｏを始点とし且つ第１指４１ａの先端を終点とするベクトルｖ＿１とは一致しない（なお、オフセット前の点線で示されるベクトルｖ＿１’はベクトルｕ＿１と一致）。一方で、オフセットの有無に限らず、図６Ａにおける第１指Ｈａの先端を始点とし且つ第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトルｕ＿２～ｕ＿５と、図６Ｂにおける第１指４１ａの先端を始点とし且つ第２～第５指４１ｂ～４１ｅの先端を終点とするベクトルｖ＿２～ｖ＿５とは一致する。
　このようなオフセットも含めた構成により、人の目ＵＥ及びカメラ４１を原点としたそれぞれのグローバル座標系において、特徴箇所であるユーザＵの手ＵＨにおける各指Ｈａ～Ｈｅの座標位置と、ロボット４のロボットハンド４１における各指４１ａ～４１ｅの座標位置が完全に一致する。より詳細には、図８Ａにおけるベクトルｕ＿０，ｕ＿１と、図８Ｂにおけるベクトルｖ＿０，ｖ＿１とは一致しないが、ベクトル和ｕ＿０＋ｕ＿１と、ｖ＿０＋ｖ＿１とは一致する。換言すると、ユーザＵにとっては自分の各指Ｈａ～Ｈｅの先端を見る方向に、ヘッドマウントディスプレイ５を介してロボット４のロボットハンド４１における各指４１ａ～４１ｅが見えることとなる。
３．冗長自由度
　前述の通り、オフセットの有無に限らず、ユーザＵの手ＵＨの第１指Ｈａの先端を始点とし第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトル（ユーザベクトル）と、ロボットハンド４１の第１指４１ａの先端を始点とし第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトル（ロボットベクトル）が一致するように制御がなされる。ところで、これらを一致させるという条件において、ロボットハンド４１の姿勢が必ずしも手ＵＨに一致するわけではなく、また一意に定まるものではないことに留意されたい。例えば、図９Ａ及び図９Ｂに示されるように、第１指Ｈａ及び第２指Ｈｂの位置関係と、第１指４１ａ及び第２指４１ｂの位置関係とが一致していればよく、逆運動学を解くことで、全体としてはロボットハンド４１が有する冗長自由度の中から任意の姿勢が選択されることとなる。
　かかる冗長自由度の範囲で、条件を増やしてもよい。図１０Ａ及び図１０Ｂでは、ユーザＵの手ＵＨの第１指Ｈａの先端の指す方向Ｄ１（特許請求の範囲における「第１方向」の一例）及び第２指Ｈｂの先端の指す方向Ｄ２（特許請求の範囲における「第２方向」の一例）と、ロボットハンド４１の第１指４１ａの先端の指す方向ｄ１（特許請求の範囲における「第１方向」の一例）及び第２指４１ｂの先端の指す方向ｄ２（特許請求の範囲における「第２方向」の一例）とを一致させている。かかる場合は、センサ２から各指Ｈａ～Ｈｅの先端以外の特徴箇所（各指Ｈａ～Ｈｅの先端からその遠位指節間関節までの何れか部位）の情報を取得すればよい。かかる情報を用いてロボットハンド４１を制御することで、各指の先端の指す方向をユーザＵにおける手ＵＨと、ロボットハンド４１とで一致させることができる。もちろん、かかる場合であっても、逆運動学を解くことで、全体としてはロボットハンド４１が有する冗長自由度の中から任意の姿勢が選択されることとなる。
４．変形例
　なお、次のような態様によって、本実施形態に係るロボットハンド制御システム１を更に創意工夫してもよい。
　第一に、前述の実施形態は、ユーザＵがヘッドマウントディスプレイ５を介してロボット４におけるカメラ４２が捕える外界の情報を視認することができるものであるが、これに代えてバーチャルリアリティ空間の映像をユーザＵが視認可能に実施してもよい。すなわち、実際のロボット４に代えて、バーチャルリアリティ空間上に規定されるアバターロボットを前述のように制御可能に実施してもよい。かかる場合は、情報処理装置３における制御部３３が、不図示のレンダリング部として機能することとなる。かかるレンダリング部は、生成部３３２によって生成された制御信号に基づいてロボットハンド４のコンピュータグラフィックスを生成する。そして、かかるコンピュータグラフィックスがヘッドマウントディスプレイ５に表示されうる。
　第二に、前述の実施形態は、ユーザＵがヘッドマウントディスプレイ５を介してロボット４におけるカメラ４２が捕える外界の情報を視認することができるものであるが、これにバーチャルリアリティ空間としてのなんらかの情報を付加可能に実施してもよい。これにより、ユーザＵが拡張現実感を体感しながら、ロボット４におけるロボットハンド４１を操作することができる。
　第三に、前述の実施形態では、特許請求の範囲における「第１及び第２ユーザ特徴箇所」の一例として第１～第５指Ｈａ～Ｈｅの先端を選択し、「第１及び第２ロボット特徴箇所」の一例として第１～第５指４１ａ～４１ｅの先端を選択したが、当該例に限られるものではない。実際、人間がなんらかの作業を行う上で、指先を用いることがほとんどであるため、前述のような選択が好ましいが、例えば、指先以外を用いて行う作業であれば、それに合わせた特徴箇所の選択を実施してもよい。
　第四に、前述の実施形態では、ヒトの手に倣った５指のロボットハンド４１について説明をしたが、当該例に拘泥されるものではない。例えば、第１指４１ａの先端と、これに対向する第２指～第５指４１ｂ～４１ｅの少なくとも１本とから構成されるロボットハンド４１であってもよい。
５．結言
　以上のように、本実施形態によれば、ユーザＵの手ＵＨの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド４１を実現させるための情報処理装置３を実施することができる。
　かかる情報処理装置３は、ロボット４におけるロボットハンド４１に関するもので、入力部（通信部３１）と、演算部３３１と、生成部３３２と備え、ユーザＵの手ＵＨにおける特徴箇所を第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）と定義し、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）に対応するロボットハンド４１における特徴箇所を第１及び第２ロボット特徴箇所（第１指４１ａ及び第２～第５指４１ｂ～４１ｅの先端）と定義すると、入力部（通信部３１）は、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）に関する情報を入力可能に構成され、演算部３３１は、ユーザＵの手ＵＨに関するローカル座標系であるユーザ座標系において第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）間のベクトルであるユーザベクトルを算出し、生成部３３２は、ユーザベクトルに基づいてロボットハンド４１に対する制御信号を生成し、制御信号は、第１及び第２ロボット特徴箇所（第１指４１ａ及び第２～第５指４１ｂ～４１ｅの先端）間のベクトルであるロボットベクトルをユーザベクトルに一致させるように前記ロボットハンド４１を制御する信号である。
　また、ユーザＵの手ＵＨの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド４１を実現させるためのロボットハンド制御システム１を実施することができる。
　かかるロボットハンド制御システム１は、情報処理装置３と、センサ２とを備え、センサ２は、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）に関する情報を取得し、且つ情報処理装置３へ送信可能に構成される。
　また、ユーザＵの手ＵＨの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド４１をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータ（情報処理装置３）が読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。
　かかるロボットハンド制御プログラムは、コンピュータ（情報処理装置３）に入力機能と、演算機能と、生成機能とを実行させるもので、入力機能によって、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）が入力可能となり、演算機能によって、ユーザＵの手ＵＨに関するローカル座標系であるユーザ座標系において第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）間のベクトルであるユーザベクトルが算出され、生成機能によって、ユーザベクトルに基づいてロボットハンド４１に対する制御信号が生成され、制御信号は、第１及び第２ロボット特徴箇所（第１指４１ａ及び第２～第５指４１ｂ～４１ｅの先端）間のベクトルであるロボットベクトルをユーザベクトルに一致させるように前記ロボットハンド４１を制御する信号である。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　：ロボットハンド制御システム
２　　　：センサ
３　　　：情報処理装置
３０　　：通信バス
３１　　：通信部
３２　　：記憶部
３３　　：制御部
３３１　：演算部
３３２　：生成部
４　　　：ロボット
４１　　：ロボットハンド
４１ａ　：第１指
４１ｂ　：第２指
４１ｃ　：第３指
４１ｄ　：第４指
４１ｅ　：第５指
４１ｆ　：手首
４２　　：カメラ
５　　　：ヘッドマウントディスプレイ
Ｈａ　　：第１指
Ｈｂ　　：第２指
Ｈｃ　　：第３指
Ｈｄ　　：第４指
Ｈｅ　　：第５指
Ｈｆ　　：手首
Ｕ　　　：ユーザ
ＵＨ　　：手

Claims (11)

  1. ロボットにおけるロボットハンドに関する情報処理装置であって、
    　入力部と、演算部と、生成部と備え、
    　ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、
    　前記入力部は、第１及び第２ユーザ特徴箇所に関する情報を入力可能に構成され、
    　前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、
    　前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、
    情報処理装置。
  2. 請求項１に記載の情報処理装置において、
    　前記ユーザの手又は前記ロボットハンドにおける規定の状態を初期状態と定義すると、
    　前記演算部は、
    　　前記ユーザ座標系において前記第１ユーザ特徴箇所の座標位置、及びロボットハンドに関するローカル座標系であるロボット座標系において前記第１ロボット特徴箇所の座標位置を算出し、且つ
    　　前記第１ユーザ特徴箇所の座標位置と前記第１ロボット特徴箇所の座標位置との差分をオフセットとして算出し、
    　前記生成部は、前記オフセットに基づいて前記ロボットハンドに対する前記制御信号を生成する、
    情報処理装置。
  3. 請求項２に記載の情報処理装置において、
    　前記ユーザ座標系及び前記ロボット座標系の原点位置は、前記ユーザの手及び前記ロボットハンドにおける手首の位置であり、
    　前記初期状態は、前記ユーザの手及び前記ロボットハンドにおける各指を伸ばした状態である、
    情報処理装置。
  4. 請求項２又は請求項３に記載の情報処理装置において、
    　前記ユーザの目及び前記ロボットが有するカメラを原点位置とするグローバル座標系を前記ユーザ及び前記ロボットに対してそれぞれ定義すると、前記第１及び第２ユーザ特徴箇所及び前記第１及び第２ロボット特徴箇所の座標位置がそれぞれのグローバル座標系において一致する、
    情報処理装置。
  5. 請求項１～請求項４の何れか１つに記載の情報処理装置において、
    　前記第１ユーザ特徴箇所は前記ユーザの第１指先端であり、前記第２ユーザ特徴箇所は前記ユーザの第２～第５指の少なくとも何れかの先端であり、
    　前記ロボットハンドは、ヒトの手に倣った形状のロボットハンドであり、且つ
    　前記第１ロボット特徴箇所は前記ロボットハンドの第１指先端であり、前記第２ロボット特徴箇所は前記ロボットハンドの第２～第５指の少なくとも何れかの先端である、
    情報処理装置。
  6. 請求項５に記載の情報処理装置において、
    　前記第１指先端の指す方向を第１方向と定義し、前記第２～５指の少なくとも何れかの先端の指す方向を第２方向と定義すると、
    　前記演算部は、前記ユーザにおける前記第１及び第２方向を算出可能に構成され、
    　前記制御信号は、前記ユーザにおける前記第１及び第２方向と前記ロボットハンドにおける前記第１及び第２方向とを一致させるように前記ロボットハンドを制御する信号である、
    情報処理装置。
  7. 請求項６に記載の情報処理装置において、
    　前記入力部は、
    　　前記ユーザの前記第１指先端及びその遠位指節間関節間の何れか部位を特徴箇所として入力可能に構成され、且つ
    　　前記ユーザの前記第２～５指の少なくとも何れかの先端及びその遠位指節間関節間の何れか部位を特徴箇所として入力可能に構成され、
    　前記演算部は、前記入力部を介して入力された前記特徴箇所に基づいて、前記ユーザにおける前記第１及び第２方向を算出可能に構成される、
    情報処理装置。
  8. ロボットハンド制御システムであって、
    請求項１～請求項７の何れか１つに記載の情報処理装置と、センサとを備え、
    　前記センサは、
    　　前記第１及び第２ユーザ特徴箇所に関する情報を取得し、且つ
    　　前記情報処理装置へこれを送信可能に構成される、
    ロボットハンド制御システム。
  9. 請求項８に記載のロボットハンド制御システムにおいて、
    　ロボットハンドを更に備え、
    　前記情報処理装置は、前記制御信号を前記ロボットハンドに出力可能に構成される出力部を備え、
    　前記ロボットハンドは、前記出力部より受信した前記制御信号に基づいて動作するように構成される、
    ロボットハンド制御システム。
  10. 請求項８又は請求項９に記載のロボットハンド制御システムにおいて、
    　前記情報処理装置は、レンダリング部を備え、
    　前記レンダリング部は、前記制御信号に基づいて前記ロボットハンドのコンピュータグラフィックスを生成可能に構成され、
    　前記コンピュータグラフィックスを表示可能な表示装置を更に備える、
    ロボットハンド制御システム。
  11. ロボットハンド制御プログラムであって、
    　コンピュータに入力機能と、演算機能と、生成機能とを実行させるもので、
    　ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、
    　前記入力機能によって、第１及び第２ユーザ特徴箇所に関する情報が入力可能となり、
    　前記演算機能によって、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルが算出され、
    　前記生成機能によって、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号が生成され、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、
    ロボットハンド制御プログラム。
PCT/JP2019/031019 2018-09-14 2019-08-07 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム WO2020054268A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-172026 2018-09-14
JP2018172026A JP7248271B2 (ja) 2018-09-14 2018-09-14 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム

Publications (1)

Publication Number Publication Date
WO2020054268A1 true WO2020054268A1 (ja) 2020-03-19

Family

ID=69777247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031019 WO2020054268A1 (ja) 2018-09-14 2019-08-07 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム

Country Status (2)

Country Link
JP (1) JP7248271B2 (ja)
WO (1) WO2020054268A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0557637A (ja) * 1991-08-30 1993-03-09 Nippon Telegr & Teleph Corp <Ntt> ロボツトハンドのマスタ・スレーブ対応動作制御装置
WO2011065034A1 (ja) * 2009-11-24 2011-06-03 株式会社豊田自動織機 ロボットの動作を制御する方法およびロボットシステム
US20150025547A1 (en) * 2010-03-18 2015-01-22 SPI Surgical, Inc. Surgical cockpit comprising multisensory and multimodal interface for robotic surgery and methods related thereto
JP2015186651A (ja) * 2009-11-13 2015-10-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
WO2017115425A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 医療用マニピュレータシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0557637A (ja) * 1991-08-30 1993-03-09 Nippon Telegr & Teleph Corp <Ntt> ロボツトハンドのマスタ・スレーブ対応動作制御装置
JP2015186651A (ja) * 2009-11-13 2015-10-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
WO2011065034A1 (ja) * 2009-11-24 2011-06-03 株式会社豊田自動織機 ロボットの動作を制御する方法およびロボットシステム
US20150025547A1 (en) * 2010-03-18 2015-01-22 SPI Surgical, Inc. Surgical cockpit comprising multisensory and multimodal interface for robotic surgery and methods related thereto
WO2017115425A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 医療用マニピュレータシステム

Also Published As

Publication number Publication date
JP2020044581A (ja) 2020-03-26
JP7248271B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US11344374B2 (en) Detection of unintentional movement of a user interface device
US20200249654A1 (en) Robotic control via a virtual world simulation
JP6678832B2 (ja) 遠隔制御マニピュレータシステムおよび制御装置
Fritsche et al. First-person tele-operation of a humanoid robot
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
JP5974668B2 (ja) マニピュレーションシステム
US20200201460A1 (en) Universal Handheld Controller of a Computer System
US20210089162A1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
EP3797931B1 (en) Remote control system, information processing method, and program
CN110549353B (zh) 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质
CN114503057A (zh) 基于图像和惯性测量单元两者的取向确定
Gholami et al. Quantitative physical ergonomics assessment of teleoperation interfaces
KR20200051938A (ko) 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템
JP2005046931A (ja) ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム
JP2007125670A (ja) ロボット用表現動作変換システム
WO2020054268A1 (ja) 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム
JP2007011460A (ja) 物体の変位シミュレーション方法及び物体の変位シミュレーション装置、並びに力覚提示装置
Ficuciello et al. A Human Gesture Mapping Method to Control a Multi‐Functional Hand for Robot‐Assisted Laparoscopic Surgery: The MUSHA Case
WO2021172580A1 (ja) 位置・力制御システム、装着ユニット、制御ユニット、位置・力制御方法及びプログラム
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Jyothi et al. Haptic technology-a sense of touch
Parasuraman et al. Development of robot assisted hand stroke rehabilitation system
JP7432275B1 (ja) 映像表示装置、映像表示方法、及びプログラム
WO2006070495A1 (ja) インタフェース装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860256

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19860256

Country of ref document: EP

Kind code of ref document: A1