WO2016035759A1 - 人型ロボット - Google Patents

人型ロボット Download PDF

Info

Publication number
WO2016035759A1
WO2016035759A1 PCT/JP2015/074739 JP2015074739W WO2016035759A1 WO 2016035759 A1 WO2016035759 A1 WO 2016035759A1 JP 2015074739 W JP2015074739 W JP 2015074739W WO 2016035759 A1 WO2016035759 A1 WO 2016035759A1
Authority
WO
WIPO (PCT)
Prior art keywords
humanoid robot
data set
hand
vein pattern
vein
Prior art date
Application number
PCT/JP2015/074739
Other languages
English (en)
French (fr)
Inventor
重樹 上田平
Original Assignee
インターマン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターマン株式会社 filed Critical インターマン株式会社
Priority to JP2016546641A priority Critical patent/JP6295399B2/ja
Priority to US15/508,443 priority patent/US10195748B2/en
Publication of WO2016035759A1 publication Critical patent/WO2016035759A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B25J15/12—Gripping heads and other end effectors having finger members with flexible finger members
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Definitions

  • the present invention relates to a humanoid robot that can identify an individual with natural movement. About.
  • Such a humanoid robot is usually capable of walking on two legs or moving by wheel, and can move to a necessary position autonomously by a human instruction. In the future, it is expected that it will be possible to work and perform in the field alone.
  • Patent Document 1 discloses a humanoid robot that performs predetermined work contents when it is authenticated as a regular worker.
  • the humanoid robot itself does not authenticate, but the operator performs an authentication procedure using another authentication device, and it is not natural as a humanoid robot that expects communication with humans.
  • using another device is not convenient for home use.
  • authentication procedures for humanoid robots that can communicate with humans that is, humanoid robots that have the purpose of softening and entertaining people by moving, they are not very smart but are inherently The charm of will be halved.
  • an object of the present invention is to provide a humanoid robot capable of identifying an individual person who comes into contact with the robot by its natural operation.
  • a humanoid robot in a right hand having a plurality of fingers having a joint and a driving mechanism capable of shaking hands with a human hand, and the right hand.
  • a near-infrared light emitting device and a near-infrared light sensor wherein the near-infrared light emitted from the near-infrared light emitting device illuminates the inside of the human hand in a state of shaking with a human hand, and the near-infrared sensor forms a vein pattern
  • the near-infrared light emitting device and the near-infrared sensor provided at a position that is detected by the near-infrared sensor, an information recording device that records the vein pattern detected by the near-infrared sensor, and the information recording device Information processing that compares the recorded vein pattern with another vein pattern detected by the near-infrared sensor and calculates the degree of similarity between them Characterized in that comprising a location.
  • the information processing apparatus controls the movement of the right hand of the humanoid robot to perform a handshake with a human hand, and uses the near infrared light emitting device and the near infrared sensor to collate vein patterns.
  • the similarity between the vein pattern acquired as a set and the vein pattern previously recorded as a registered data set in the information recording apparatus is calculated, and the person is identified based on the similarity.
  • the vein pattern recorded as the registration data set is a vein pattern of the humanoid robot owner, and the owner is based on the similarity between the vein pattern and the matching data set. Authenticate.
  • the registration data set is repeatedly acquired while changing the position of the right hand of the humanoid robot.
  • the handshake is performed again to acquire the registration data set again, Both of them are used as a registered data set for personal identification by comparing with a matching data set.
  • the result of the personal identification is reflected in the operation of the humanoid robot.
  • the vein pattern is a vein pattern of a human finger.
  • the humanoid robot According to the humanoid robot according to the present invention, it is possible to suppress the theft of the humanoid robot by identifying the person of the person in contact by the natural movement as a handshake person, and the identification result is also included in the operation of the humanoid robot. Can be reflected. Therefore, a humanoid robot with high communication ability with humans is realized.
  • FIG. 1 is a diagram illustrating the basic configuration of a humanoid robot according to the present invention.
  • FIG. 2 is a block diagram showing an information processing apparatus that controls the operation of the humanoid robot shown in FIG.
  • FIG. 3 is a diagram illustrating a hand structure of the humanoid robot according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing a procedure for registering the vein data set of the owner by shaking hands with a person in the humanoid robot according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing a procedure for authenticating an owner by shaking hands with a person in the humanoid robot according to the first embodiment of the present invention.
  • FIG. 1 is a diagram illustrating the basic configuration of a humanoid robot according to the present invention.
  • FIG. 2 is a block diagram showing an information processing apparatus that controls the operation of the humanoid robot shown in FIG.
  • FIG. 3 is a diagram illustrating a hand structure
  • FIG. 6 is a diagram illustrating a hand structure of the humanoid robot according to the second embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a state in which a vein is photographed in a state in which the humanoid robot according to the second embodiment of the present invention is shaking hands with a person.
  • FIG. 8 is a flowchart showing a procedure for identifying the person in the humanoid robot according to the first embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a hand structure of a humanoid robot according to a fifth embodiment of the present invention.
  • FIG. 1 is a diagram showing a basic configuration of a humanoid robot.
  • the humanoid robot 100 includes a left leg 22L, a right leg 22R, a torso 30, a left arm 42L, a right arm 42R, and a head 50.
  • the left arm 42L and the right arm 42R on both sides of the torso 30 include a plurality of joints, their drive mechanisms, torque sensors, joint position sensors that detect the positions of the joints, and acceleration sensors, and can move in the same manner as a human arm. .
  • the head 50 is provided with left and right eyes 52L and 52R each having an image sensor, left and right ears 54L and 54R each having a microphone, a nose 56 having an olfactory sensor, and a mouth 58 having a speaker. ing.
  • the left leg 22L and the right leg 22R provided at the bottom of the torso 30 include a plurality of joints and their drive mechanisms, torque sensors, joint position sensors that detect the positions of the joints, and acceleration sensors. Is possible. However, even though these legs have a simpler structure, the features of the embodiments of the present invention described in detail below are applicable.
  • the left leg and the right leg may be integrated without being separated, a plurality of wheels may be provided at the bottom thereof, and the wheel may be moved by being rotationally driven.
  • FIG. 2 is a block diagram showing the main part of the information processing apparatus 10.
  • a CPU 11, a ROM 12, a RAM 13, a timer 14, and an I / O control circuit 15 are connected to each other by a bus 16.
  • the CPU 11 is activated by executing a program stored in the ROM 12, and by referring to an interrupt signal from the timer 14, recording and reading data to the RAM 13, outputting an instruction to the I / O control circuit 15, and the like.
  • the operation of the humanoid robot 100 is controlled.
  • the I / O control circuit 15 directly controls these external devices by outputting a control signal to an external device such as the drive motor control circuit 17 according to a command from the CPU 11 and realizes an actual operation according to the program.
  • the drive motor control circuit 17 controls the supply of electric power to the motor that moves each joint of the humanoid robot 100.
  • External devices controlled by the I / O control circuit 15 include a drive motor control circuit 17, a nonvolatile memory such as an EEPROM, a driving force transmission mechanism, a GPS, a wireless LAN, a temperature sensor, a humidity sensor, a position sensor, Battery etc. are included. Further, a near infrared LED and a near infrared sensor described later are also included.
  • a drive motor control circuit 17 a nonvolatile memory such as an EEPROM, a driving force transmission mechanism, a GPS, a wireless LAN, a temperature sensor, a humidity sensor, a position sensor, Battery etc. are included. Further, a near infrared LED and a near infrared sensor described later are also included.
  • the information processing apparatus controls the drive mechanism that moves the left leg 22L, the right leg 22R, the torso 30, the left arm 42L, the right arm 42R, and the head 50 of the humanoid robot 100. Since the control procedure and its specific control procedure may be generally known, details thereof will be omitted except for those specifically described below.
  • the humanoid robot according to the first embodiment will be described with reference to FIGS. 3 to 5.
  • the basic structure of this humanoid robot is as shown in FIG.
  • the first embodiment is characterized in that the authentication means is provided in the right hand 60R at the end of the right arm 42R.
  • FIG. 3 is a diagram illustrating the hand 60R of the humanoid robot according to the first embodiment.
  • the hand 60R includes a palm part 62, a thumb part 64t, an index finger part 64i, a middle finger part 64m, a ring finger part 64r, and a little finger part 64f.
  • Each finger portion is provided with joints provided at three locations, like a human being, and drive mechanisms for independently driving these joints.
  • each joint is equipped with a joint position sensor, a torque sensor, and an acceleration sensor. By driving each joint while referring to the information of each sensor, it is possible to move like a human hand. It has become. In particular, it is configured to be able to perform a firm handshake that envelops the opponent's (human) hand.
  • an essential requirement for the operation to be implemented in the hand 60R is that it can be shaken with a human. Therefore, there is no problem even if the index finger portion 64i, the middle finger portion 64m, the ring finger portion 64r, and the little finger portion 64f are integrated to form a composite finger portion.
  • the composite finger portion is provided with a joint necessary for shaking hands with a human and can be driven independently of the thumb portion 64t.
  • a near infrared sensor 74 is provided in the center of the palm portion 62 of the hand 60R, and a pair of near infrared LEDs 72a and 72b are also placed inside the palm portion 62 with the near infrared sensor 74 interposed therebetween (upper and lower in the figure). Is provided. Near-infrared rays are emitted from near-infrared LEDs 72a and 72b while shaking hands with a person. This near-infrared light passes through the near-infrared window 76 and illuminates the inside of each finger, index finger 65i, middle finger 65m, ring finger 65r, and little finger 65f, especially the middle finger 65m and ring finger 65r of the person shaking hands. Then, the reflected light is incident on the near infrared sensor 74, where it is detected and acquired as vein image data.
  • vein authentication is performed.
  • the image data is analyzed, and the image areas of the index finger 65i, the middle finger 65m, the ring finger 65r, and the little finger 65f are specified.
  • each vein pattern is acquired from the image area
  • the left arm 42L and the right arm 42R are completely symmetric, and the hand 60L at the end of the left arm 42L has the same structure.
  • left-hand authentication means such as near-infrared LEDs 72a and 72b and near-infrared sensor 74 may be omitted, and authentication may always be performed only with the right hand. In this case, if a left-handed person tries to shake hands with his left hand, he may say, “I'm sorry. I will shake you with my right hand to identify you.”
  • the humanoid robot 100 After the shipment, at the first activation, the humanoid robot 100 makes a general greeting such as “Nice to meet you” and then says “Tell me my owner's name”. Therefore, the owner answers to the humanoid robot 100, for example, "It's George.” The humanoid robot 100 recognizes the content by voice recognition, and says, “George, I will register you as an owner. Therefore, the owner shakes hands with the humanoid robot 100 and starts an authentication operation. The process will be described with reference to the flowchart of FIG.
  • step S401 the humanoid robot 100 starts a handshake operation by holding out the hand 60R.
  • This handshake operation is an operation for shifting to a state in which a person's hand is gripped with a constant pressure. Therefore, in step S402, it is detected by the joint position sensor whether the thumb part 64t is in a positional relationship corresponding to the handshake state with the palm part 62 or other finger parts, and each finger part corresponds to the handshake state.
  • the torque sensor detects whether or not a certain level of torque is generated. In this way, it is determined whether or not the handshake state has been entered. If it has not shifted to the handshake state, after waiting for a certain time (for example, 100 milliseconds) in step S403, the transition to the handshake state is confirmed again in step S402. This is repeated until the transition to the handshake state is confirmed.
  • a certain time for example, 100 milliseconds
  • step S402 If it is determined in step S402 that the transition to the handshake state has been completed, the process proceeds to step S404.
  • step S ⁇ b> 404 near infrared rays are emitted from the near infrared LEDs 72 a and 72 b, and a captured image is acquired by the near infrared sensor 74.
  • three captured images are acquired at an interval of 100 milliseconds.
  • processing is performed by a multitask including a photographing thread and a data registration thread.
  • a shooting thread is first generated.
  • the captured image data is acquired by the near infrared sensor 74 in step S404
  • one data registration thread using the captured image data is generated.
  • This data registration thread is a thread that performs the processing from step S410 to step S416.
  • the shooting thread is a thread that performs the processing from step S401 to step S408 in parallel with the data registration thread.
  • the shooting thread determines whether or not a predetermined number (three in this case) of captured images has been acquired in step S405. After waiting for 100 milliseconds in step S406, the captured image is acquired again in step S404.
  • step S405 If it is determined in step S405 that a predetermined number (three in this case) of captured images have been acquired, the humanoid robot 100 changes the position of the hand 60R or shifts the hand grip to change the handshake position. The process of changing and acquiring a captured image again is repeated a predetermined number of times.
  • step S407 it is determined whether captured image acquisition has been repeated a predetermined number of times. If it has not been repeated a predetermined number of times, in step S408, the process of changing the handshake position, re-gripping and then stopping, and further acquiring the captured image is repeated.
  • step S407 If it is determined in step S407 that captured image acquisition has been repeated a predetermined number of times, the captured thread is terminated without acquiring more captured images (step S409).
  • This predetermined number is, for example, 3 to 5 times, and 9 to 15 captured images are acquired for convenience.
  • the data registration thread generated in step S404 every time one captured image is acquired extracts a vein data set from the captured image in step S410, and as an owner registration data set in step S411. Save to the information recording device.
  • step S412 it is determined whether or not the shooting thread has ended. If the shooting thread has not ended, the data registration thread ends here in step S413. If it is determined in step S ⁇ b> 412 that the imaging thread has ended, the above process is repeated once again to acquire a vein data set. This is to increase the registration data and improve the accuracy of authentication.
  • step S414 it is determined whether reacquisition has already been performed. If reacquisition has already been performed, the reacquisition is performed only once, so the entire process ends here. If the retry has not been performed yet, in step S415, the finger part of the hand 60R is once opened, the handshake state is released and the hand is released, and then, say “Please make handshake again”. . In step S416, a shooting thread is generated again, and the data registration thread is terminated. Thereafter, the above-described processing is repeated from step S401 using the re-generated shooting thread.
  • the registration data acquired by the above processing is recorded in a vein database stored in a nonvolatile memory such as an EEPROM in association with the current location and registration date obtained by GPS using the name “George” as a key.
  • a nonvolatile memory such as an EEPROM
  • the same processing may be performed. For example, when the registration of one owner is completed, the humanoid robot 100 says “Please tell me the name of another owner”. If you answer "There is no other owner” or "This is the end", the process ends.
  • step S501 the humanoid robot 100 starts a handshake operation by holding out the hand 60R.
  • This handshake operation is an operation for shifting to a state in which a person's hand is gripped with a constant pressure.
  • step S502 it is detected by the joint position sensor whether the thumb part 64t is in a positional relationship with the palm part 62 or other finger parts corresponding to the handshake state.
  • the torque sensor detects whether or not a certain level of torque is generated in the part corresponding to the handshake state. In this way, it is determined whether or not the handshake state has been entered.
  • step S503 If it has not shifted to the handshake state, it waits for a certain time (for example, 100 milliseconds) in step S503, and then confirms the shift to the handshake state again in step S502. This is repeated until the transition to the handshake state is confirmed.
  • a certain time for example, 100 milliseconds
  • step S502 If it is determined in step S502 that the transition to the handshake state has been completed, the process proceeds to step S504.
  • step S504 near infrared rays are emitted from the near infrared LEDs 72a and 72b, and a captured image is acquired by the near infrared sensor 74.
  • three captured images are acquired at an interval of 100 milliseconds.
  • processing is performed by a multitask including an imaging thread and an evaluation thread.
  • this process is first started as a shooting thread.
  • captured image data is acquired by the near infrared sensor 74 in step S504
  • one evaluation thread using the captured image data is generated.
  • This evaluation thread is a thread that performs the processing from step S510 to step S520.
  • the shooting thread is a thread that performs the processing from step S501 to step S508 in parallel with the evaluation thread.
  • the shooting thread determines whether or not a predetermined number (three in this case) of captured images has been acquired in step S505. If the predetermined number has not yet been acquired, After waiting for 100 milliseconds in step S506, a captured image is acquired again in step S504.
  • step S505 If it is determined in step S505 that a predetermined number (three in this case) of captured images have been acquired, the humanoid robot 100 changes the position of the hand 60R, The process is repeated such as shifting the grip and re-holding (step S508) and acquiring a captured image.
  • the number of times of imaging including this repetition is about 2 to 3 times, and 6 to 9 captured images are acquired for convenience. That is, if it is determined in step S507 that the captured image acquisition has been repeated a predetermined number of times, the captured thread is terminated without acquiring any more captured images (step S509).
  • step S510 a vein data set is extracted from the captured image and stored as a collation data set. The processing so far is the same as the acquisition of the registration data set shown in FIG.
  • step S51 one of registered data sets registered as an owner is acquired from the vein database.
  • step S512 the registered data set is compared and collated with the collation data set stored in step S510, and a score indicating the degree of similarity is calculated.
  • step S513 it is determined whether or not the calculated score is higher than a predetermined threshold value. If it is higher than the predetermined threshold, in step S514, the person shaking hands is authenticated as the owner and the process ends with a result of successful authentication.
  • the verification data set that has been successfully authenticated is added to the vein database as a new registration data set. If the number of registered data sets registered in the vein database exceeds a predetermined number (for example, 32 sets), one of the registered data sets having the smallest correlation with the other is deleted.
  • a predetermined number for example, 32 sets
  • step S513 determines whether there is a next registered data set. If the next registered data set is high, the process returns to step S511, and the new registered data set is processed again.
  • step S515 determines whether or not the shooting thread has ended. If the shooting thread has not ended, the evaluation thread ends in step S517.
  • step S516 If it is determined in step S516 that the shooting thread has ended, the authentication has been unsuccessful. However, it is possible that the positional relationship of the handshake was inappropriate, so authentication may be successful if the handshake is redone. Therefore, retry only once.
  • step S5128 it is determined whether a retry has already been performed. If a retry has already been performed, the process ends with a result of unsuccessful authentication since the retry is only once. In this case, the humanoid robot 100 may explain such that “the owner cannot be confirmed, so that the robot operates in the restricted mode”.
  • step S519 the finger part of the hand 60R is once opened, the handshake state is released and the hand is released, and then, “Please handshake again”.
  • step S520 a shooting thread is generated again, and the evaluation thread is terminated. Thereafter, the above-described processing is repeated from step S501 by the again generated shooting thread.
  • next evaluation thread may start before one evaluation thread ends. At that time, parallel processing is performed between the evaluation threads. However, if there is little merit of processing multiple evaluation threads in parallel (for example, when the information processing apparatus operates on a single processor), the next evaluation thread is kept waiting and the preceding evaluation thread is terminated. Then, the next evaluation thread may be started. In the above process, the retry is performed only once, but may be repeated a plurality of times.
  • the robot When the owner is identified as described above, the robot basically operates in the operation mode for the owner with no operation restriction. If the owner is not identified, the operation is performed in the restricted mode. For example, when asked about the owner's personal life log, he / she answers in the owner's operation mode, but otherwise says “It cannot be answered because it is personal information”. Further, even if the owner is identified, the operation may be performed in the restricted mode when it is known by the image sensors of the left and right eyes 52L and 52R that there are other persons at the same time.
  • the above-described first embodiment shown in FIG. 3 is so-called finger vein authentication in which authentication is performed by examining the veins of the finger of a person who is shaking hands.
  • the vein authentication of the two fingers of the middle finger 65m and the ring finger 65r is performed, higher accuracy can be expected.
  • near infrared rays are emitted in parallel to the palm of the hand, there is a feature that the focal length of the optical system can be increased and image data with less distortion can be obtained.
  • FIG. 6 is a diagram illustrating a hand 80R of the humanoid robot according to the second embodiment. Since the basic part of the operation of the hand 80R excluding the part related to vein authentication is the same as that of the hand 60R of the humanoid robot shown in FIG. 3, the same reference numerals are given and description thereof is omitted.
  • Example 2 a plurality of near-infrared LEDs 82b are provided in a row near the base of the thumb portion 64t of the hand 80R, and a near-infrared sensor 84m is provided near the base of each of the middle finger portion 64m and the ring finger portion 64r. 84r is provided. Further, a plurality of near-infrared LEDs 82t are also provided inside the tip of the thumb portion 64t. A light shielding cover 88 is provided to reduce external light incident on the near infrared sensors 84m and 84r.
  • near-infrared LEDs 82b and 82t emit near-infrared rays while shaking hands with a person (see FIG. 7).
  • This near-infrared light illuminates the inside of the palm HM of the person shaking hands, and the reflected light passes through the near-infrared windows 86m and 86r and enters the near-infrared sensors 84m and 84r. Obtained as image data. Using this captured image, palm vein authentication is performed.
  • the registration process and authentication process of the humanoid robot 100 are basically the same as the registration process and authentication process of the first embodiment shown in FIGS. However, since two near-infrared sensors 84m and 84r are provided, and captured images are respectively acquired, the number of captured images is twice that of the first embodiment. As a result, the data set for verification is doubled and high accuracy can be expected.
  • the robot owner not only the robot owner but also persons other than the owner are identified.
  • the hardware of this humanoid robot is the same as that of the humanoid robot of the first embodiment or the second embodiment, and it is configured so that a firm handshake that wraps around the opponent's (human) hand is possible. .
  • the humanoid robot left and right eyes 52L, to identify the person by the image sensor 52R, when it is recognized that met in person performs a greeting such as "Hello, I'm Robo of humanoid robot.” . If the person knows that this humanoid robot will personally identify with a handshake, and wants it, say “Robo, let's shake hands with me” and start the identification process.
  • step S801 the humanoid robot starts a handshake operation by offering the hand 60R.
  • This handshake operation is an operation for shifting to a state in which a person's hand is gripped with a constant pressure.
  • a fixed time for example, 100 milliseconds
  • step S802 If it is determined in step S802 that the transition to the handshake state has been completed, the process proceeds to step S804.
  • step S804 near infrared rays are emitted from the near infrared LEDs 72b and 72t, and captured images are acquired by the near infrared sensors 74m and 74r.
  • three captured images are acquired at intervals of 100 milliseconds for each near-infrared sensor.
  • Processing is performed with multitasking consisting of threads and evaluation threads.
  • this process is first started as a shooting thread.
  • captured image data is acquired by the near-infrared sensors 74m and 74r in step S804
  • one evaluation thread using the captured image data is generated.
  • This evaluation thread is a thread that performs the processing from step S810 to step S820.
  • the shooting thread is a thread that performs the processing from step S801 to step S808 in parallel with the evaluation thread.
  • the shooting thread determines whether or not a predetermined number of captured images have been acquired in step S805. If the predetermined number of captured images has not been acquired yet, 100 milliseconds in step S806. After waiting, a captured image is acquired again in step S804.
  • the predetermined number here is, for example, three in the first embodiment and three for each near-infrared sensor in the second embodiment.
  • step S805 If it is determined in step S805 that the predetermined number of captured images have been acquired, the humanoid robot changes the position of the hand 60R or shifts the grip of the finger as in the registration process of FIG.
  • step S808 The process of re-holding and standing still (step S808) and further acquiring a captured image are repeated.
  • the number of photographing including this repetition is about 2 to 3 times. Accordingly, 6 to 9 captured images are acquired in the first embodiment, and 6 to 9 captured images are acquired for each near infrared sensor in the second embodiment, and thus 12 to 18 captured images are acquired. That is, if it is determined in step S807 that the captured image acquisition has been repeated a predetermined number of times, the captured thread is terminated without acquiring any more captured images (step S809).
  • step S810 a vein data set is extracted from the captured image and stored as a matching data set. The processing so far is the same as the acquisition of the collation data set shown in FIG. 5 and FIG.
  • step S811 one of registered data sets registered from the vein database is acquired.
  • the owner's vein data set is acquired first here.
  • step S812 the registered data set is compared with the verification data set stored in step S810, and a score indicating the degree of similarity is calculated.
  • step S813 it is determined whether or not the calculated score is higher than a predetermined threshold value. If it is higher than the predetermined threshold value, personal identification of the person shaking hands is made in step S814, and the process ends with the result of successful personal identification. In that case, the humanoid robot uses the identified individual's name and says, for example, "You are George.” Thereafter, an operation using the personal identification result may be performed. Then, as in step S514, the vein database is updated with this collation data set.
  • step S813 determines whether there is a next registered data set. If the next registered data set is high, the process returns to step S811, and the new registered data set is processed again.
  • step S815 determines whether or not the shooting thread has ended. If the shooting thread has not ended, the evaluation thread ends in step S817.
  • step S816 If it is determined in step S816 that the shooting thread has ended, the authentication has been unsuccessful. However, a retry similar to that in the embodiment shown in FIG. 5 is performed only when the owner cannot be determined but the possibility is high. Specifically, in step S813, although the calculated score is not higher than a predetermined threshold (first threshold), the calculated score is compared for the entire registered data set of the owner. Try again if you think it is expensive. For example, if there is a score higher than a second threshold value that is lower than the first threshold value, the retry is performed only once.
  • first threshold a predetermined threshold
  • step S818 it is determined whether or not to retry. That is, when the condition that the step S818 is not performed in the retry process and the score when compared with the registered data set of the owner is higher than the second threshold value are satisfied, Determine that a retry should be performed.
  • step S819 the finger part of the hand 60R is once opened, the handshake state is released, the hand is released, and then “Please shake again”.
  • step S820 a shooting thread is generated again, and the evaluation thread is terminated. Thereafter, the above-described processing is repeated from step S801 by the again generated shooting thread.
  • step S821 If no retry is required, authentication is unsuccessful. In that case, the humanoid robot says, “Can you tell me your name?” For example, if the partner answers “It is Bob”, in step S821, the plurality of matching data sets are registered in association with the name Bob.
  • This embodiment is characterized by performing vein authentication and measuring the heart rate.
  • the measured heart rate is used as one of reference information for identity verification, or is communicated to the person by voice. For example, in the case where the determination of whether vein authentication is right or wrong is on the border line, if the heart rate is substantially the same, the possibility that the person is the person has increased and the authentication is successful. Or, he tries to replace the pulse meter.
  • the basic part of the operation of this embodiment excluding the heart rate measurement is the same as that of the first embodiment or the second embodiment, so that the description thereof is omitted.
  • the vein is located near the surface of the skin (about 1.5mm to 2.0mm). Therefore, by setting the focal position of the optical system of the near-infrared sensor at that position, the transmitted light that has passed through the vein is efficiently collected to capture the vein pattern.
  • the artery is located inside the vein but still absorbs near infrared rays.
  • the vein has almost no pulsation, but the artery periodically changes its size according to the heart rate by pulsation. Therefore, periodic fluctuations due to pulsations are reflected in the near-infrared signal level incident on the near-infrared sensor.
  • the heart rate can be measured by calculating the average signal level of the output of the near-infrared sensor for each measurement and taking out a certain frequency range with a band-pass filter implemented by a digital filter or the like.
  • imaging is performed three times at intervals of 100 milliseconds. However, in this embodiment, imaging is performed every 100 milliseconds while shaking hands. An average signal level for each image is calculated using all the images, and further a Fourier transform is performed to specify a period corresponding to the heart rate.
  • sampling is performed at intervals of 100 milliseconds, it is possible to measure up to 300 times / minute in terms of heart rate. This is sufficient because the maximum human heart rate is about 200. Further, if the number of samplings is increased and high frequencies are removed, the accuracy is improved, but it is considered that such high frequency components can be ignored in a normal state. For example, as a frequency component of 30 times / minute or less, physical movement, heart rate fluctuation, or the like can be considered. However, the influence on the near-infrared signal level caused by physical movement is considered to be small. Further, since fluctuation of the heart rate has a limited measurement time range, it can be ignored from the required accuracy.
  • no bandpass filter is used in this embodiment. That is, if the near-infrared signal level incident on the near-infrared sensor is spatially averaged, the average signal level obtained at 100 millisecond intervals is directly Fourier transformed, and the largest frequency component is specified from the result, The corresponding heart rate can be calculated. Specifically, shaking hands for about 7 seconds, 64 data are collected and processed by Fourier transform (FFT).
  • FFT Fourier transform
  • 256 data may be collected after speaking in advance, saying, for example, “I will measure your heart rate. In this case, a heart rate with higher accuracy can be measured.
  • three images are picked up from images that have a large contrast between light and dark, that is, those that are in focus. Use.
  • a sensor for acquiring biological information is further provided in the hand of the humanoid robot in any of the first to fourth embodiments.
  • force sensors 91a and 91b for measuring the gripping force during a handshake and a temperature sensor 93 for measuring the body temperature are provided.
  • the force sensors 91a, 91b are force sensors such as a piezo method or a strain gauge method, for example, and are in a position where the grip force is reliably received, for example, two positions in the direction of the index finger 64i at the base of the thumb portion 64t. In the position. Then, a change with time in the magnitude of the gripping force (grip strength pattern) from the start of the handshake operation to the stable state is recorded as an output from each force sensor.
  • the fluctuation can be absorbed even if there is a slight change in the handshake position. Further, by correlating the temporal changes in the grip strength at each position with each other, it is possible to record a certain amount of the hand shake motion of the person and obtain it as a correlation value.
  • the temperature sensor 93 is a temperature sensor using a thermistor element, for example, and is provided near the center of the palm 62. Then, the temperature of the skin of the hand is measured when shaking hands. The measured temperature is not the body temperature as it is, but gives an indication of the skin temperature during the handshake of the person.
  • the grip strength pattern and the measured skin temperature at that time are recorded as the biological information data of the person.
  • the grip strength pattern and the skin temperature substantially match the past recorded data, the authentication is successful. That is, these joint position patterns are used as auxiliary information for the determination of identity verification.
  • biometric information data are sequentially stored as reference data, but are deleted from those with a large deviation from the average value when they exceed a certain number. Therefore, the biometric information data recorded is optimized by repeating the authentication.
  • vein authentication is performed and information on the hand shape is acquired. That is, in each of the above-described embodiments, a constant torque is detected from each of the finger parts of the humanoid robot, that is, the torque sensors of the thumb part 64t, the index finger part 64i, the middle finger part 68m, the ring finger part 64r, and the little finger part 64f. In the state, the output of each joint position sensor is recorded. These joint position patterns are considered to reflect the shape of the hand of the person shaking hands.
  • the joint position pattern at that time is recorded as data indicating the shape of the person's hand.
  • the determination of whether vein authentication is right or wrong is in the border line, if the detected joint position pattern substantially matches the past recorded data, the authentication is successful. That is, these joint position patterns are also used as auxiliary information for the identification confirmation.
  • the vein authentication is combined with another type of authentication technology.
  • a formant of a registrant owner
  • a formant is registered for voiceprint authentication before or after the vein data registration process or in parallel with the registration process.
  • a formant is a pattern of local maximum values of frequencies included in speech. This voiceprint pattern is related to the shape of the vocal tract and is difficult to imitate.
  • the features of intonation and accent, utterance level, and utterance speed are registered.
  • a voice is recorded while speaking freely, the voice is analyzed, and a formant is calculated.
  • formants can be acquired very naturally.
  • Authenticating with a voiceprint involves recording a voice and verifying it with a registered voiceprint pattern before, after, or in parallel with the vein data authentication process. This collation result is reflected in the score of vein authentication.
  • this humanoid robot always performs voice recognition during communication. Normally, it is not necessary to store the speech recognition result, but it is preferable to store all the results in a database separately for each conversation partner. For example, during a conversation, a morphological analysis is performed using the conversation content as text, and the content is compared with the content of the database. In this case, since the accuracy may not be so high, it can be used as one of the communications such as “Is it Mr. Ooo?”.
  • face authentication data is registered before or after the vein data registration process, or in parallel with the registration process.
  • a voice print authentication formant is acquired and face images are collected while speaking freely.
  • Features are extracted from this face image and registered. Specifically, the relative position and size of the facial parts, the shape of the eyes, nose, cheekbones and chin are used as features.
  • voiceprint authentication and face authentication are generally not as accurate as vein authentication. Authentication based on conversation content appears to be even lower. However, when the accuracy of vein authentication is lowered for some reason, it fulfills the function of complementing it. In addition, voiceprint authentication, face authentication, and authentication based on conversation content use an information source that is completely different from vein authentication. It is considered very effective.
  • vein authentication is highly accurate, but it takes time to sequence due to processing such as database reference. Therefore, when performing authentication, first, authentication by any or a combination of voiceprint authentication, face authentication, and conversation content is performed, and if a clear result is not obtained by those authentication methods, then vein authentication is performed. May be.
  • vein authentication is performed from the beginning, and other operations are You may make it authenticate by any one or combination of voiceprint authentication, face authentication, and conversation content.
  • step S513 or step S813 the individual is successfully identified and the process ends.
  • a predetermined threshold value for example, 32 sets
  • the score is calculated for all of the registered data sets associated with the individual. Also good.
  • the registration data set having the lowest score is deleted, and the matching data set is added as a new registration data set instead of the deleted registration data set.
  • the humanoid robot According to the humanoid robot according to the present invention, it is possible to suppress theft of the humanoid robot by identifying the individual of the person in contact by the natural operation as a handshake person. Can also reflect the identification results. Therefore, the value of the humanoid robot itself is increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　自然な動作で個人を識別することのできる人型ロボットが示されている。この人型ロボットは、手と握手をすることで、その人の生体情報を取得し個人を識別する。特に、人型ロボットの手に近赤外線発光装置および近赤外線センサーが設けられており、人間の手と握手をした状態において、この近赤外線発光装置から発光した近赤外線が人間の手の内部を照らし、近赤外線センサーで静脈パターンを読み取る。この静脈パターンを記録し照合することによって、個人の識別を行う。

Description

人型ロボット
　本発明は、自然な動作で個人を識別することのできる人型ロボットに関する。
に関する。
　実用ロボットといえば、製造業などにおいて用いられる産業用ロボットが代表的である。しかし、近年、人間とのコミュニケーションが可能な人型ロボットが、徐々に製品化されてきている。その背景には、音声認識や音声合成といった複雑な技術の進歩がある。また、視聴覚装置の機能が向上し、外部の情報を効率的に処理するコンピュータ技術の発展が、家庭内でも利用可能な自律性の高いロボットの実現を可能としている。
　このような人型ロボットは、二足歩行や車輪による移動が可能であることが普通で、人の指示や自律的に必要な位置に移動できる。また、将来的には単独で野外での作業や活動も可能となることが期待されている。
特開２０１４－９４４３６号公報
　しかしながら、このような自律型の人型ロボットが一般に利用されるようになると、盗難という問題も予め対処しておく必要がある。盗まれても、そのまま機能するようでは、盗難を助長することになる。また、所有者のプライバシーがロボットを通じて漏洩する可能性もある。
　一方で、パソコンなどのように認証してから起動するといった方法も考えられる。例えば、特許文献１には、正規の作業者であると認証された場合に、所定の作業内容を行う人型ロボットが示されている。しかし、ここでは人型ロボット自体が認証を行うのではなく、別の認証デバイスを用いて作業者が認証手続きを行うというものであり、人間とのコミュニケーションを期待する人型ロボットとしては自然ではないし、別のデバイスを用いるというのも家庭用としては使い勝手が悪い。また、人間とのコミュニケーションが可能な人型ロボット、すなわち動作する事によって人を和ませたり、楽しませるような目的を持った人型ロボットを対象とした認証手続きとしてみると、余りスマートではなく本来の魅力を半減させてしまう。
　そこで、本発明の目的は、ロボット自体の自然な動作で、それと接する人の個人を識別することの可能な人型ロボットを提供することである。
　上記課題を解決するために、本発明の１つの様相による人型ロボットは、人間の手と握手ができるような関節と駆動機構を備えた複数の指部を有する右手と、前記右手に設けられた近赤外線発光装置および近赤外線センサーであって、人間の手と握手をした状態において、前記近赤外線発光装置から発光した近赤外線が人間の手の内部を照らし、前記近赤外線センサーで静脈パターンとして前記近赤外線センサーで検出される様な位置に設けられた前記近赤外線発光装置および前記近赤外線センサーと、前記近赤外線センサーで検出された静脈パターンを記録する情報記録装置と、前記情報記録装置に記録されている静脈パターンと、前記近赤外線センサーで検出された別の静脈パターンを比較処理して、相互の類似度を算出する情報処理装置とからなることを特徴とする。
　また、好ましい実施例では、前記情報処理装置は、前記人型ロボットの右手の動きを制御して人間の手と握手を行い、前記近赤外線発光装置と前記近赤外線センサーにより静脈パターンを照合用データセットとして取得し、この静脈パターンと、予め前記情報記録装置に登録データセットとして記録しておいた静脈パターンとの類似度を算出し、この類似度に基いて前記人間の個人識別を行う。
　更に、好ましい実施例では、前記登録データセットとして記録しておいた静脈パターンは、前記人型ロボットのオーナーの静脈パターンであり、この静脈パターンと前記照合用データセットとの類似度に基いてオーナーの認証を行う。
　更に、好ましい実施例では、前記登録データセットは、前記人型ロボットの右手の位置を変えながら繰り返し取得する。
　更に、好ましい実施例では、前記登録データセットを取得した後、一旦、前記人型ロボットの右手を握手している人間の手から離して、再度握手してもう一度前記登録データセットの取得を行い、これらの双方を照合用データセットと比較処理して個人識別を行う為の登録データセットとして用いる。
　更に、好ましい実施例では、前記個人識別の結果を、前記人型ロボットの動作に反映させる。
　更に、好ましい実施例では、前記静脈パターンは、人間の指の静脈のパターンである。
　本発明に係わる人型ロボットによれば、握手という人としての自然な動作によって、接する人の個人を識別することにより、人型ロボットの盗難を抑制でき、人型ロボットの動作にも識別結果を反映できる。従って、人間とのコミュニケーション能力の高い人型ロボットが実現される。
図１は、本発明に係る人型ロボットの基本構成を説明する図である。 図２は、図１に示した人型ロボットの動作を制御する情報処理装置を示すブロックダイアグラムである。 図３は、本発明の実施例１に係る人型ロボットの手の構造を示す図である。 図４は、本発明の実施例１に係る人型ロボットにおいて、人と握手を行ってオーナーの静脈データセットを登録する手続きを示すフローチャートである。 図５は、本発明の実施例１に係る人型ロボットにおいて、人と握手を行ってオーナーの認証を行う手続きを示すフローチャートである。 図６は、本発明の実施例２に係る人型ロボットの手の構造を示す図である。 図７は、本発明の実施例２係る人型ロボットにおいて、人と握手を行っている状態で、静脈の撮影を行う状態を説明する図である。 図８は、本発明の実施例１に係る人型ロボットにおいて、その人の識別を行う手続きを示すフローチャートである。 図９は、本発明の実施例５に係る人型ロボットの手の構造を示す図である。
　以下、添付図面を参照しながら本発明の実施形態による人型ロボットを説明する。図１は、人型ロボットの基本的な構成を示す図である。この人型ロボット１００は、左脚２２Ｌ、右脚２２Ｒ、胴体３０、左腕４２Ｌ、右腕４２Ｒ、頭部５０を備えている。
　胴体３０両側の左腕４２Ｌと右腕４２Ｒは、複数の関節とその駆動機構、トルクセンサー、関節の位置を検出する関節位置センサーおよび加速度センサーを備え、人間の腕と同様の動きが可能となっている。
　頭部５０には、夫々イメージセンサーを備えた左右の眼５２Ｌ、５２Ｒと、マイクロフォンを備えた左右の耳５４Ｌ、５４Ｒと、嗅覚センサーを備えた鼻５６と、スピーカを備えた口５８が設けられている。
　胴体３０の底部に設けられた左脚２２Ｌおよび右脚２２Ｒは、複数の関節とその駆動機構、トルクセンサー、関節の位置を検出する関節位置センサーおよび加速度センサーを備え、人間の脚と同様の動きが可能となっている。しかし、これらの脚部はより単純な構造としても、以下に詳細に説明する本発明の実施例の特徴は適用可能である。例えば左脚と右脚を分離せずに一体化し、その底部に複数の車輪を設け、この車輪を回転駆動することにより移動するような構造であっても良い。
　また、人型ロボット１００の適当な位置に、この人型ロボット１００の動作を制御する情報処理装置が設けられている。図２は、この情報処理装置１０の主要部を示すブロックダイアグラムである。この情報処理装置１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、タイマー１４、Ｉ／Ｏ制御回路１５が、バス１６によって相互に接続されている。ＣＰＵ１１はＲＯＭ１２に格納されているプログラムを実行することで起動し、タイマー１４からの割り込み信号などを参照しつつ、ＲＡＭ１３へのデータの記録読み出し、Ｉ／Ｏ制御回路１５への命令の出力などにより人型ロボット１００の動作を制御する。
　Ｉ／Ｏ制御回路１５は、ＣＰＵ１１からの命令に従って、駆動モーター制御回路１７といった外部装置に制御信号を出力することでこれらの外部装置を直接制御し、プログラムに従って実際の動作を実現する。駆動モーター制御回路１７は、人型ロボット１００の各関節を動かすモーターへの電力の供給を制御する。
　Ｉ／Ｏ制御回路１５によって制御される外部装置としては、駆動モーター制御回路１７の他に、ＥＥＰＲＯＭなどの不揮発性メモリ、駆動力伝達機構、ＧＰＳ、無線ＬＡＮ、温度センサー、湿度センサー、位置センサー、バッテリー等が含まれている。更に、後述の近赤外線ＬＥＤや近赤外線センサーも含まれている。
　なお、人型ロボット１００の左脚２２Ｌ、右脚２２Ｒ、胴体３０、左腕４２Ｌ、右腕４２Ｒ、頭部５０の動きを行う駆動機構の制御は、上記情報処理装置により行われるが、その詳細な構造やその具体的な制御手続きは、一般的に知られているもので良いため、下記に特記するものを除いてその詳細は省略する。
　以下、図３乃至図５を参照して、実施例１の人型ロボットを説明する。この人型ロボットの基本構造は図１に示した通りである。特に、この実施例１では、右腕４２Ｒの末端にある右手６０Ｒに認証手段が設けられていることが特徴となっている。
　図３は、実施例１の人型ロボットの手６０Ｒを示す図である。ここで、手６０Ｒは、掌部６２、親指部６４ｔ、人差指部６４ｉ、中指部６４ｍ、薬指部６４ｒ、小指部６４ｆからなっている。各指部には、人間と同様に夫々３箇所に設けられた関節と、これらを独立に駆動する駆動機構を備えている。更に、各関節には、関節位置センサー、トルクセンサーおよび加速度センサーが備えられており、各センサーの情報を参照しつつ、夫々の関節を駆動することにより、人間の手と同様の動きが可能となっている。特に、相手（人間）の手を包み込むようなしっかりとした握手ができるような構成となっている。
　しかし、この実施例においては、手６０Ｒに実装すべき動作の必須要件は、人間と握手が可能であることである。従って、人差指部６４ｉ、中指部６４ｍ、薬指部６４ｒおよび小指部６４ｆを一体化して複合指部としても問題はない。ただし、複合指部には、人間と握手を行う際に必要となる関節が備えられており、親指部６４ｔとは独立に駆動可能となっている。
　また、手６０Ｒの掌部６２の内部中央には近赤外線センサー７４が設けられ、この近赤外線センサー７４を挟んで（図の上下）、やはり掌部６２の内部に一対の近赤外線ＬＥＤ７２ａ、７２ｂが設けられている。人と握手を行っている状態で、近赤外線ＬＥＤ７２ａ、７２ｂから近赤外線を照射する。この近赤外線は、近赤外線窓７６を通過して、握手を行っている人の各指、人差指６５ｉ、中指６５ｍ、薬指６５ｒ、小指６５ｆの内部、特に中指６５ｍ、薬指６５ｒの内部を照らす。そして、その反射光が、近赤外線センサー７４に入射し、そこで検出され静脈の画像データとして取得される。
　人の掌部には静脈のネットワークがあり、そこを血液が巡っている。静脈を流れる血液には還元ヘモグロビンが含まれており、それが７６０ナノメートル付近の波長の近赤外線を吸収する。従って、近赤外線を照射することにより反射の弱い静脈のパターンが黒くなった撮像画像が得られる。この撮像画像を用いて、静脈認証を行う。
　ここでは、まず画像データを解析し、人差指６５ｉ、中指６５ｍ、薬指６５ｒ、小指６５ｆの画像領域を特定する。そして、中指６５ｍ、薬指６５ｒの画像領域から、夫々の静脈パターンを取得する。従って、中指６５ｍ、薬指６５ｒの夫々について静脈認証を行うことになり、一本のみの場合に比較して精度が向上する。
　なお、この実施例１の人型ロボットでは、左腕４２Ｌと右腕４２Ｒは完全に左右対称であり、左腕４２Ｌの末端にある手６０Ｌも全く同様の構造となっている。しかし、近赤外線ＬＥＤ７２ａ、７２ｂや近赤外線センサー７４といった左手の認証手段は省略し、認証は常に右手でのみ行うようにしても良い。この場合、左利きの人などが左手で握手をしようとした場合には、「ごめんなさい。私は右手で握手してあなたを識別します」といったことを言うようにしても良い。
　［登録処理］次に、この実施例による人型ロボット１００の登録処理を説明する。出荷後、最初の起動の際に、人型ロボット１００は、「はじめまして・・・」といった一般的な挨拶などを行った後に、「私のオーナーのお名前を教えて下さい」と言う。そこで所有者は、人型ロボット１００へ例えば「ジョージだよ」と答える。人型ロボット１００は、音声認識により内容を認識し、「ジョージ、あなたをオーナーとして登録します。そのために、握手をして静脈認証をさせて下さい」と言う。そこで所有者は、人型ロボット１００と握手して認証動作を開始する。その処理を図４のフローチャートを参照して説明する。
　先ず、ステップＳ４０１において、人型ロボット１００は、手６０Ｒを差し出して握手動作を開始する。この握手動作は、人の手を一定の圧力で握っている状態へ移行する動作である。従って、ステップＳ４０２で、親指部６４ｔが掌部６２や他の指部と、握手状態に対応する位置関係にあるかどうかを関節位置センサーにより検出し、更に、各指部に握手状態に対応して一定以上のトルクが発生しているかどうかをトルクセンサーにより検出する。これにより握手状態へ移行したか否かを判断する。もし握手状態へ移行していなければ、ステップＳ４０３で一定時間（例えば、１００ミリ秒）待機してから、再度ステップＳ４０２で握手状態への移行を確認する。これを握手状態への移行が確認されるまで繰り返す。
　ステップＳ４０２で握手状態への移行が完了したと判断した場合には、ステップＳ４０４へ進む。ステップＳ４０４では、近赤外線ＬＥＤ７２ａ、７２ｂから近赤外線を照射し、近赤外線センサー７４により撮像画像を取得する。ここでは、例えば、１００ミリ秒間隔で３枚の撮像画像を取得するが、この１００ミリ秒の時間を有効に活用するために、撮影スレッドとデータ登録スレッドとからなるマルチタスクで処理を行う。
　すなわち、この登録処理では先ず撮影スレッドを生成する。そして、ステップＳ４０４で近赤外線センサー７４により撮像画像データが取得されると、この撮像画像データを用いたデータ登録スレッドが１つ生成される。このデータ登録スレッドは、ステップＳ４１０からステップＳ４１６までの処理を行うスレッドである。一方、撮影スレッドは、データ登録スレッドと並行してステップＳ４０１からステップＳ４０８までの処理を行うスレッドである。
　ステップＳ４０４でデータ登録スレッドが生成されると、撮影スレッドはステップＳ４０５で所定枚数（ここでは３枚）の撮像画像が取得されたか否かを判断し、まだ所定枚数まで取得されていない場合には、ステップＳ４０６で１００ミリ秒待ってから再度ステップＳ４０４で撮像画像を取得する。
　ステップＳ４０５で所定枚数（ここでは３枚）の撮像画像が取得されたと判断された場合には、人型ロボット１００は、手６０Ｒの位置を変えたり、指の握りをずらせたりして握手位置を変更して、更にもう一度撮像画像を取得するといった処理を所定回数だけ繰り返す。
　すなわち、ステップＳ４０７で撮像画像取得が所定回数の繰り返えされたか否かを判定する。もし、まだ所定回数だけ繰り返えされていなければ、ステップＳ４０８で、握手位置を変更し握りなおしてから静止し、更に撮像画像を取得するといった処理を繰り返す。
　ステップＳ４０７で撮像画像取得が所定回数だけ繰り返えされたと判定された場合には、それ以上の撮像画像の取得は行わず、撮影スレッドを終了する（ステップＳ４０９）。この所定回数は、例えば３～５回であり、都合９～１５枚の撮像画像を取得することになる。
　また、上記の通り、一枚の撮像画像が取得される毎にステップＳ４０４で生成されるデータ登録スレッドは、ステップＳ４１０でその撮像画像から静脈データセットを抽出し、ステップＳ４１１でオーナー登録データセットとして情報記録装置に保存する。
　次に、ステップＳ４１２において、撮影スレッドが終了しているか否かを判定する。もし、撮影スレッドが終了していなければ、ステップＳ４１３において、当該データ登録スレッドはここで終了する。もし、ステップＳ４１２において、撮影スレッドが終了していると判定された場合、上記処理を、もう一度繰り返して更に静脈データセットを取得する。これは登録データを増やして、認証の精度をあげるためである。
　まず、ステップＳ４１４において、再取得が既に行われているか否かを判定する。もし、再取得が既に行われている場合には、再取得は一度だけなので、ここで全体のプロセスは終了する。まだ再試行が行われていない場合には、ステップＳ４１５において、一旦手６０Ｒの指部を開いて、握手状態を解除して手を離した後、「もう一度、握手をさせて下さい」などと言う。そしてステップＳ４１６で、撮影スレッドを再度生成して、このデータ登録スレッドを終了する。以下、再度生成された撮影スレッドにより、ステップＳ４０１から上記の処理を繰り返す。
　上記の処理により取得された登録データは、「ジョージ」という名前をキーとして、ＧＰＳにより求めた現在地および登録日と関連付けて、ＥＥＰＲＯＭなどの不揮発性メモリに保存された静脈データベースに記録する。
　なお、複数のオーナーを登録する場合には、更に同様の処理を行えば良い。例えば、一人のオーナーの登録を終えた際に、人型ロボット１００は、「別のオーナーのお名前を教えて下さい」と言う。ここで「別のオーナーはいない」とか「これで終わり」とか答えれば、処理を終える。
　［認証処理］次に、上記登録データセットを用いた認証処理（ユーザー識別処理）を説明する。例えば、既にオーナーの登録を終えている人型ロボットが起動する場合、人型ロボット１００は、最初に「今から起動します。握手をしてオーナーを確認させて下さい」と言って握手を求める。以下この処理を、図５のフローチャートを参照して説明する。
　先ず、ステップＳ５０１において、人型ロボット１００は、手６０Ｒを差し出して握手動作を開始する。この握手動作は、人の手を一定の圧力で握っている状態へ移行する動作である。従って、上記登録処理と同様に、ステップＳ５０２で、親指部６４ｔが掌部６２や他の指部と、握手状態に対応する位置関係にあるかどうかを関節位置センサーにより検出し、更に、各指部に握手状態に対応して一定以上のトルクが発生しているかどうかをトルクセンサーにより検出する。これにより握手状態へ移行したか否かを判断する。もし握手状態へ移行していなければ、ステップＳ５０３で一定時間（例えば、１００ミリ秒）待機してから、再度ステップＳ５０２で握手状態への移行を確認する。これを握手状態への移行が確認されるまで繰り返す。
　ステップＳ５０２で握手状態への移行が完了したと判断した場合には、ステップＳ５０４へ進む。ステップＳ５０４では、近赤外線ＬＥＤ７２ａ、７２ｂから近赤外線を照射し、近赤外線センサー７４により撮像画像を取得する。ここでは、例えば、１００ミリ秒間隔で３枚の撮像画像を取得するが、この１００ミリ秒の時間を有効に活用するために、撮影スレッドと評価スレッドとからなるマルチタスクで処理を行う。
　すなわち、このプロセスは先ず撮影スレッドとして開始される。ステップＳ５０４で近赤外線センサー７４により撮像画像データが取得されると、この撮像画像データを用いた評価スレッドが１つ生成される。この評価スレッドは、ステップＳ５１０からステップＳ５２０までの処理を行うスレッドである。一方、撮影スレッドは、評価スレッドと並行してステップＳ５０１からステップＳ５０８までの処理を行うスレッドである。
　ステップＳ５０４で評価スレッドが生成されると、撮影スレッドはステップＳ５０５で所定枚数（ここでは３枚）の撮像画像が取得されたか否かを判断し、まだ所定枚数まで取得されていない場合には、ステップＳ５０６で１００ミリ秒待ってから再度ステップＳ５０４で撮像画像を取得する。
　ステップＳ５０５で所定枚数（ここでは３枚）の撮像画像が取得されたと判断された場合には、図５の登録処理と同様に、人型ロボット１００は、手６０Ｒの位置を変えたり、指の握りをずらせたりして握りなおしてから静止し（ステップＳ５０８）、更に撮像画像を取得するといった処理を繰り返す。但し、ここでは、この繰り返しを含めた撮影回数は２～３回程度とし、都合６～９枚の撮像画像を取得する。すなわち、ステップＳ５０７で所定回数の撮像画像取得が繰り返えされたと判断した場合には、それ以上の撮像画像の取得は行わず、撮影スレッドを終了する（ステップＳ５０９）。
　また、上記の通り、ステップＳ５０４で一枚の撮像画像が取得される毎に、評価スレッドが生成されてからステップＳ５１０へ進む。ステップＳ５１０では、その撮像画像から静脈データセットを抽出して照合用データセットとして保存する。ここまでの処理は、図５に示した登録データセットの取得と同様である。
　次に、ステップＳ５１１で、静脈データベースからオーナーとして登録されている登録データセットの１つが取得される。また、ステップＳ５１２において、この登録データセットがステップＳ５１０で保存された照合用データセットと比較照合され、相互の類似度を示すスコアが算出される。
　ステップＳ５１３において、算出されたスコアが、所定のしきい値よりも高いか否かを判定する。もし、所定のしきい値よりも高い場合には、ステップＳ５１４において、握手をしている人は当該オーナーであると認証され、このプロセスは、認証成功という結果で終了する。
　そして、認証に成功した照合用データセットを、静脈データベースへ新たな登録データセットとして追加する。もし、静脈データベースに登録された登録データセットの数が、所定の数（例えば３２セット）を越えた場合には、最も他との相関の小さい登録データセットの１つを削除する。
　逆に、ステップＳ５１３において、算出されたスコアが所定のしきい値よりも高くないと判定されれば、ステップＳ５１５に進む。このステップＳ５１５において、次の登録データセットがあるか否かを判定する。もし、次の登録データセットがある高い場合には、ステップＳ５１１に戻り、その新たな登録データセットについて再度処理を行う。
　逆に、ステップＳ５１５において、次の登録データセットはないと判定された場合、つまり、すべての登録データセットについて処理が終了した場合には、ステップＳ５１６に進む。このステップＳ５１６において、撮影スレッドが終了しているか否かを判定する。もし、撮影スレッドが終了していなければ、ステップＳ５１７において、当該評価スレッドは終了する。
　もし、ステップＳ５１６において、撮影スレッドが終了していると判定された場合、認証が不成功に終わったことになる。しかし、握手の位置関係が不適当だったということも有りえるので、握手のやり直しをすると、認証がうまくいくこともある。従って、一度だけ再試行を行う。
　まず、ステップＳ５１８において、再試行が既に行われているか否かを判定する。もし、再試行が既に行われている場合には、再試行は一度だけなので、このプロセスは認証不成功という結果で終了する。この場合は、人型ロボット１００が「オーナー確認ができないので、制限モードで動作します」といった説明を行うようにしても良い。
　まだ再試行が行われていない場合には、ステップＳ５１９において一旦手６０Ｒの指部を開いて、握手状態を解除して手を離した後、「もう一度、握手をさせて下さい」などと言う。そしてステップＳ５２０において、撮影スレッドを再度生成して、この評価スレッドを終了する。以下、再度生成された撮影スレッドにより、ステップＳ５０１から上記の処理を繰り返す。
　なお、登録データセットが多くある場合、評価に時間がかかり１つの評価スレッドが終了する前に次の評価スレッドが開始することも有りえる。その際には、評価スレッド間で並列処理が行われる。しかし、もし評価スレッドを複数並列処理するメリットが少ない場合（例えば、情報処理装置がシングルプロセッサで動作するような場合）には、次の評価スレッドは待機させておき、先行する評価スレッドが終了してから次の評価スレッドを開始するようにしても良い。また、上記プロセスでは、再試行は１回のみ行われているが、複数回繰り返すようにしても良い。
　このようにオーナー個人の識別が行われた場合、基本的に動作制限のないオーナー用の動作モードでロボットは動作を行う。オーナー個人が識別されなければ、制限モードで動作を行う。例えば、オーナー個人のライフログなどを質問された場合で、オーナー用動作モードであれば回答するが、そうでなければ「それは個人情報なのでお答えできません」などと言う。更に、オーナーが識別されていても、左右の眼５２Ｌ、５２Ｒのイメージセンサーによりそれ以外の人が同時にいることが分かっている場合には、制限モードで動作してもよい。
　また、ＧＰＳにより現在地がオーナー自宅から遠く離れている場合には、上記オーナーの認証が行われてから一定時間経過するとオーナー用動作モードから制限モードへ移行するようにすると良い。これは誰か他の人が、オーナー宅から離れた場所へ移動させた際に、オーナーのプライバシーなどを保護するために行う。
　これによれば、オーナー自身がロボットと共に外出した際にも、制限モードへ以降してしまうことも有りえる。従って、オーナー用動作モードが必要となったら、再度上記オーナーの認証を行うようにする。このような場合には、制限モードで動作している人型ロボット１００に対して「握手しようか」とか言って、認証処理を開始するようにする。
　上記、図３に示した実施例１では、握手を行っている人の指の静脈を調べて認証を行う所謂指静脈認証である。この場合、中指６５ｍ、薬指６５ｒの２本の指の静脈認証を行うのでその分高い精度が期待できる。また、近赤外線は手のひらに平行に照射されるので、光学系の焦点距離が長く取れ、歪の少ない画像データが得られるという特徴がある。
　しかし、握手をしている各指は折れ曲がっているため、まっすぐ伸ばした状態に比較して静脈パターンが歪んでしまうということもある。この歪みは、登録データと照合用データの双方で対応しているので、比較そのものには問題はない。しかし、握手の際の折れ曲がり具合や位置ずれなどで、補正のための画像処理が必要で、ソフトウエア側への負担が大きくなる。
　そこで実施例２では、指静脈認証ではなく手のひら認証を利用する。図６は、実施例２の人型ロボットの手８０Ｒを示す図である。この手８０Ｒの、静脈認証に関する部分を除く、動作の基本部分は図３の人型ロボットの手６０Ｒと同等なので、同じ符号を付してその説明を省略する。
　この実施例２では、手８０Ｒの親指部６４ｔの付け根付近には近赤外線ＬＥＤ８２ｂが一列に並んで複数設けられており、中指部６４ｍと薬指部６４ｒの夫々の付け根付近には近赤外線センサー８４ｍ、８４ｒが設けられている。更に、親指部６４ｔの先端の内側にも複数の近赤外線ＬＥＤ８２ｔが設けられている。また、遮光カバー８８が、近赤外線センサー８４ｍ、８４ｒへ入射する外光を少なくする為に設けられている。
　そして、人と握手を行っている状態で、近赤外線ＬＥＤ８２ｂ、８２ｔから近赤外線を照射する（図７参照）。この近赤外線は握手を行っている人の掌部ＨＭの内部を照らし、その反射光が、近赤外線窓８６ｍ、８６ｒを通過して、近赤外線センサー８４ｍ、８４ｒに入射し、そこで検出され静脈の画像データとして取得される。この撮像画像を用いて、手のひら静脈認証を行う。
　この実施例による人型ロボット１００の登録処理および認証処理は、図４および図５に示した実施例１の登録処理および認証処理と基本的に同じなので、重複する説明は行わない。ただし、２個の近赤外線センサー８４ｍ、８４ｒが設けられており、夫々に撮像画像を取得するので、撮像画像の枚数は実施例１と比較して２倍となる。これにより照合用データセットも２倍となりその分高い精度が期待できる。
　この実施例では、実施例１または実施例２において、ロボットのオーナーだけではなく、オーナー以外の人の識別も行う。この人型ロボットのハードウエアは、実施例１または実施例２の人型ロボットと同一であり、やはり、相手（人間）の手を包み込むようなしっかりとした握手ができるような構成となっている。
　この人型ロボットは、左右の眼５２Ｌ、５２Ｒのイメージセンサーにより人を識別し、人に出会ったことを認識した場合には、「こんにちは、私は人型ロボットのロボです。」といった挨拶を行う。もし、その人がこの人型ロボットが握手で個人識別を行うことを知っており、それを望むなら「ロボ、私と握手をしよう」と言って識別処理を開始する。
　以下、この識別処理を、図８のフローチャートを参照して説明する。ここではオーナーとそれ以外の人を同様の処理で識別を行う。ただし、上記の通り、オーナーの場合はより多くの静脈データセットの記録されており、それらが用いられるので識別精度はそれ以外の人に比較して高くなる。また、オーナーの静脈データセットを最初に用いる。そして、オーナーであるとは判定できないがその可能性が高い場合には、図５に示したようなステップＳ５１９やステップＳ５２０を経由する再試行を行うが、オーナー以外の人の静脈データセットに関しては一回のみ識別処理を行う。更に、オーナーが識別されれば、オーナー用の動作モードへ移行するようにする。
　先ず、ステップＳ８０１において、人型ロボットは、手６０Ｒを差し出して握手動作を開始する。この握手動作は、人の手を一定の圧力で握っている状態へ移行する動作である。ここでも図５の実施例と同様に、ステップＳ８０３で一定時間（例えば、１００ミリ秒）待機を行いながら、ステップＳ８０２で握手状態への移行が完了したか否かを判断する。
　ステップＳ８０２で握手状態への移行が完了したと判断した場合には、ステップＳ８０４へ進む。ステップＳ８０４では、近赤外線ＬＥＤ７２ｂ、７２ｔから近赤外線を照射し、近赤外線センサー７４ｍ、７４ｒにより撮像画像を取得する。ここでは、例えば、各近赤外線センサー毎に１００ミリ秒間隔で３枚の撮像画像を取得するが、この１００ミリ秒の時間を有効に活用するために、図５の実施例と同様に、撮影スレッドと評価スレッドとからなるマルチタスクで処理を行う。
　すなわち、このプロセスは先ず撮影スレッドとして開始される。ステップＳ８０４で近赤外線センサー７４ｍ、７４ｒにより撮像画像データが取得されると、この撮像画像データを用いた評価スレッドが１つ生成される。この評価スレッドは、ステップＳ８１０からステップＳ８２０までの処理を行うスレッドである。一方、撮影スレッドは、評価スレッドと並行してステップＳ８０１からステップＳ８０８までの処理を行うスレッドである。
　ステップＳ８０４で評価スレッドが生成されると、撮影スレッドはステップＳ８０５で所定枚数の撮像画像が取得されたか否かを判断し、まだ所定枚数まで取得されていない場合には、ステップＳ８０６で１００ミリ秒待ってから再度ステップＳ８０４で撮像画像を取得する。なお、ここでの所定枚数は、例えば実施例１では３枚、実施例２では各近赤外線センサー毎に３枚である。
　ステップＳ８０５でこの所定枚数の撮像画像が取得されたと判断された場合には、図４の登録処理と同様に、人型ロボットは、手６０Ｒの位置を変えたり、指の握りをずらせたりして握りなおしてから静止し（ステップＳ８０８）、更に撮像画像を取得するといった処理を繰り返す。但し、ここでは、この繰り返しを含めた撮影回数は２～３回程度とする。従って、撮像画像は、実施例１では６～９枚、実施例２では各近赤外線センサー毎に６～９枚の撮像画像、従って１２～１８枚の撮像画像が取得される。すなわち、ステップＳ８０７で所定回数の撮像画像取得が繰り返えされたと判断した場合には、それ以上の撮像画像の取得は行わず、撮影スレッドを終了する（ステップＳ８０９）。
　また、上記の通り、ステップＳ８０４で一枚の撮像画像が取得される毎に、新たな評価スレッドが生成されステップＳ８１０へ進む。ステップＳ８１０では、その撮像画像から静脈データセットを抽出して照合用データセットとして保存する。ここまでの処理は、図５や図４に示した照合用データセットの取得と同様である。
　次に、ステップＳ８１１で、静脈データベースから登録されている登録データセットの１つが取得される。上記の通り、ここではオーナーの静脈データセットが最初に取得される。また、ステップＳ８１２において、この登録データセットがステップＳ８１０で保存された照合用データセットと比較照合され、相互の類似度を示すスコアが算出される。
　ステップＳ８１３において、算出されたスコアが、所定のしきい値よりも高いか否かを判定する。もし、所定のしきい値よりも高い場合には、ステップＳ８１４において、握手をしている人の個人識別がなされ、このプロセスは、個人識別成功という結果で終了する。その場合、人型ロボットは識別された個人の名前を使って、例えば「あなたはジョージですね」と言う。その後、その個人識別結果を利用した動作を行うようにしても良い。そして、ステップＳ５１４と同様に、この照合用データセットによって静脈データベースを更新する。
　逆に、ステップＳ８１３において、算出されたスコアが所定のしきい値よりも高くないと判定されれば、ステップＳ８１５に進む。このステップＳ８１５において、次の登録データセットがあるか否かを判定する。もし、次の登録データセットがある高い場合には、ステップＳ８１１に戻り、その新たな登録データセットについて再度処理を行う。
　逆に、ステップＳ８１５において、次の登録データセットはないと判定された場合、つまり、すべての登録データセットについて処理が終了した場合には、ステップＳ８１６に進む。このステップＳ８１６において、撮影スレッドが終了しているか否かを判定する。もし、撮影スレッドが終了していなければ、ステップＳ８１７において、当該評価スレッドは終了する。
　もし、ステップＳ８１６において、撮影スレッドが終了していると判定された場合、認証が不成功に終わったことになる。しかし、オーナーであるとは判定できないがその可能性が高い場合のみ、図５に示した実施例と同様の再試行を行う。具体的には、ステップＳ８１３において、算出されたスコアが所定のしきい値（第１のしきい値）よりも高くはないものの、オーナーの登録データセットの全体について、算出されたスコアが、比較的高いと思われる場合には再試行を行う。例えば、第１のしきい値よりも低い第２のしきい値よりも高いスコアがあれば、一度だけ再試行を行う。
　すなわち、ステップＳ８１８において、再試行を行うべきか否かを判定する。すなわち、当該ステップＳ８１８が再試行プロセスの中で行われていないという条件と、オーナーの登録データセットと比較した場合のスコアが、第２のしきい値よりも高いという条件を満たした場合に、再試行を行うべきと判定する。
　もし再試行を行うべきであると判定した場合には、ステップＳ８１９において一旦手６０Ｒの指部を開いて、握手状態を解除して手を離した後、「もう一度、握手をさせて下さい」などと言う。そしてステップＳ８２０において、撮影スレッドを再度生成して、この評価スレッドを終了する。以下、再度生成された撮影スレッドにより、ステップＳ８０１から上記の処理を繰り返す。
　もし、再試行が不要であれば、認証不成功ということになる。その場合、人型ロボットは「あなたのお名前を教えて頂けますか？」と言う。例えば、相手が「ボブだよ」と答えれば、ステップＳ８２１において、上記複数の照合用データセットをボブという名前に関連付けて登録する。
　この実施例では、静脈認証を行うと共に心拍数も計測することを特徴とする。測定された心拍数は、本人確認の参考情報の１つとして利用したり、音声で本人に伝えたりする。例えば、静脈認証の正否の判断がボーダーラインにあるような場合に、心拍数が略一致してれば本人である可能性が高まったとして、認証を成功させたりする。または、脈拍計の代わりを努めされたりする。なお、以下の説明では、心拍数測定を除くこの実施例の動作の基本部分は実施例１または実施例２と同等なので、その説明を省略する。
　静脈は皮膚の表面近く（１．５ｍｍ～２．０ｍｍ程度）の位置に存在する。従って、その位置に近赤外線センサーの光学系の焦点位置を設定することで、静脈を透過した透過光を、効率よく集光して静脈パターンの撮像を行うようにしている。一方で、動脈は静脈よりも内部に位置しているが、やはり近赤外線を吸収する。
　静脈には殆ど脈動はないが、動脈は脈動によって心拍数に対応してそのサイズを周期的に変化させる。従って、近赤外線センサーへ入射する近赤外線の信号レベルに、脈動による周期的変動が反映される。この近赤外線センサーの出力を各測定毎に平均信号レベルを算出し、デジタルフィルターなどで実装されたバンドパスフィルターで一定周波数範囲を取り出せば、心拍数を計測できることになる。
　上記実施例の具体例では、１００ミリ秒間隔で３回の撮像を行っている。しかし、本実施例では握手を行っている間、ずっと１００ミリ秒間隔で撮像を行う。この全ての画像を用いて画像毎の平均信号レベルを算出し、更にフーリエ変換して心拍数に対応する周期を特定する。
　１００ミリ秒間隔でサンプリングを行うと、心拍数換算で３００回／分まで計測できる。概ね人間の最大心拍数は２００程度なので、これで十分である。更にサンプリング数を多くして、高い周波数を除去すれば、精度は向上するが、通常の状態ではそのような高い周波数成分は無視できると考えられる。また、例えば３０回／分とかそれ以下の周波数成分としては、身体的な動きや心拍数のゆらぎなどが考えられる。しかし、身体的な動きに起因する近赤外線の信号レベルへの影響は小さいと考えられる。また、心拍数のゆらぎは測定の時間範囲が限られているので、要求される精度からすれば無視してもよいものと考えられる。
　以上の理由から、この実施例においては、バンドパスフィルターは用いない。すなわち、近赤外線センサーへ入射する近赤外線の信号レベルを空間的に平均化し、１００ミリ秒間隔で得た平均信号レベルを、そのままフーリエ変換して、その結果から最も大きな周波数成分を特定すれば、対応する心拍数が算出できる。具体的には、握手を７秒程行い６４個のデータを収集しフーリエ変換（ＦＦＴ）で処理する。
　しかし、例えば「心拍数を計測します。３０秒ほど握手したままでじっとして下さい」といったことを話し、予め目的を知らせておいてから、２５６個のデータを収集してもよい。この場合、より高い精度の心拍数が測定できる。なお、このように心拍数を計測する為に多くのサンプリングを行う場合、静脈認証には、撮像された画像の中で明暗差が大きなもの、つまりよりピントの合ったものから３枚の画像を用いる。
　この実施例では、上記の実施例１ないし実施例４の何れかにおいて、更に生体情報を取得するセンサーを人型ロボットの手に設けている。図９に示されているように、ここでは、握手の際の握力を計測する力センサー９１ａ、９１ｂと、体温を計測する温度センサー９３が設けられている。
　力センサー９１ａ、９１ｂは、例えばピエゾ方式又はひずみゲージ方式などの力センサーであり、握手をした状態で、確実に握力を受ける位置、例えば、親指部６４ｔの付け根の人差指部６４ｉ方向の二箇所の位置に設けられている。そして、握手動作を開始してから安定した状態になるまでの握力の大きさの経時的な変化（握力パターン）を、夫々の力センサーからの出力として記録しておく。
　このように、複数の力センサーを別々の位置に設け、最も大きな測定値を握力の代表値とすると、握手位置に若干の変化があっても変動を吸収できる。また、各位置における握力の時間的な変化を、互いに関連付けることで、その人の握手動作の癖をある程度まで記録でき、それを相関値として取得できる。
　また、温度センサー９３は、例えばサーミスタ素子を用いた温度センサーであり、掌部６２の中心付近に設けられている。そして、握手の際に手の皮膚の温度を計測する。計測された温度は、そのまま体温にはなっていないが、その人の握手の際の皮膚温度の目安を与える。
　握手の際に認証に成功した場合には、その時の握力パターンや、計測された皮膚温度を、その人の生体情報データとして記録しておく。また、例えば、静脈認証の正否の判断がボーダーラインにあるような場合に、握力パターンや皮膚温度が、過去の記録データと略一致してれば、認証を成功させたりする。すなわち、これらの関節位置のパターンは、本人確認の判断の補助的な情報として利用する。
　また、握力が何時もよりも大きかったりした場合には、「今日はお元気そうですね」とか言ったり、逆に握力が何時もよりも小さかったりした場合には、「体調はいかがですか」とか言ったりする。同様に、皮膚温度が高かったりした場合には、「熱はありませんか」とか言ったりする。
　これらの生体情報データは、参照データとして逐次蓄積しておくが、一定数を越えた段階で、平均値からのずれの大きなものから削除するようにする。従って、認証を繰り返すことで記録されている生体情報データの最適化が行われることになる。
　この実施例では、静脈認証を行うと共に手の形状に関する情報も取得する。すなわち、上記各実施例において、人型ロボットの各指部、つまり親指部６４ｔ、人差指部６４ｉ、中指部６８ｍ、薬指部６４ｒ、小指部６４ｆの夫々のトルクセンサーから一定のトルクが検出されている状態で、各関節位置センサーの出力を記録しておく。これらの関節位置のパターンは、握手を行っている人の手の形状を反映していると考えられる。
　認証に成功した際に、その時の関節位置パターンを、その人の手の形状を示すデータとして記録しておく。また、例えば、静脈認証の正否の判断がボーダーラインにあるような場合に、検出された関節位置パターンが、過去の記録データと略一致していれば、認証を成功させたりする。すなわち、これらの関節位置のパターンも、本人確認の判断の補助的な情報として利用する。
　また、認証に成功した時の関節位置パターンが一定数を超えると、平均値からよりずれたものから削除するようにする。従って、認証を繰り返すことで最適な関節位置パターンが得られるようになる。
　この実施例では、上記静脈認証に他の種類の認証技術を組み合わせる。例えば、実施例１において、静脈データの登録処理を行う前や後、または登録処理と並行して、声紋認証のために登録者（所有者）のフォルマントを登録する。フォルマントとは、音声に含まれる周波数の極大値のパターンである。この声紋パターンは、声道の形状と関係し、真似ることは困難である。これに加えてイントネーションやアクセントの特徴や、発声レベル、発声速度なども登録しておく。
　方法としては、静脈認証登録の際に、自由に話しながら音声の録音を行い、その音声を解析しフォルマントを算出する。これにより、フォルマントの取得をごく自然に行うことができる。より精度を高めるには、適当なキーワードやフレーズを決めておいて、それを発してもらい、フォルマントの登録を行うと良い。
　声紋による本人確認は、やはり静脈データの認証処理を行う前や後、またはそれと並行して、音声の録音を行い、登録されている声紋パターンとの照合を行う。この照合結果は、静脈認証のスコアに反映される。
　なお、この人型ロボットは、コミュニケーションの際に、常に音声認識を行っている。通常、この音声認識結果は保存しておく必要はないが、会話相手毎に区別してすべてをデータベースに保存するようにすると良い。例えば、会話している際に、会話内容をテキストとして形態素解析を行い、データベースの内容と比較し、類似関係にある会話内容を多く含むユーザーを当該会話相手である可能性が高いと判断する。この場合、精度は余り高くない場合もあるので、「ひょっとして、〇〇さんですか？」といったコミュニケーションの一つとして利用すること等が可能である。
　また、やはり静脈データの登録処理を行う前や後、または登録処理と並行して、顔認証データを登録する。例えば、静脈認証登録の際に、自由に話しながら声紋認証のフォルマントを取得すると共に顔画像を収集する。この顔画像から特徴を抽出して登録する。具体的には、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として利用する。
　これらの声紋認証や顔認証は、静脈認証に比較すると一般的に精度は高くない。会話内容に基づく認証は更に低いと思われる。しかし、静脈認証が何らかの事情によって精度が落ちている場合に、それを補完する機能を果たす。また、声紋認証や顔認証および会話内容による認証は、静脈認証とは全く別の情報源を利用するので、不正行為などで静脈認証の信頼性に何らかの器具が生じた際に、セキュリティ上の意味で非常に有効であると考えられる。
　一方で静脈認証は、精度が高い反面、データベース参照などの処理がある為、シーケンスに時間がかかる。したがって、認証を行うにあたって、先ず声紋認証や顔認証および会話内容のいずれか又は組み合わせによる認証を行い、それらの認証方法で明確な結果が得られなかった場合に、続いて静脈認証を行うようにしても良い。
　或いは、オーナー個人のライフログなどの質問といった個人情報に係る質問に対する応答や、ロボットの設定の変更といった、セキュリティに関わる動作を行う場合には、最初から静脈認証を行い、それ以外の動作は、声紋認証や顔認証および会話内容のいずれか又は組み合わせによる認証を行うようにしても良い。
　以上、本発明を実施例により詳細に説明したが、当業者にとっては、本発明が本願中に説明した実施例に限定されるものではないということは明らかである。本発明の装置は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本願の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
　例えば、ステップＳ５１３またはステップＳ８１３において、算出されたスコアが、所定のしきい値よりも高い場合には、個人の識別に成功しプロセスは終了する。しかし、静脈データベースに登録された登録データセットの数が、所定の数（例えば３２セット）を越えた場合には、この個人に関連付けられた登録データセットの全てに関してスコアの算出を行うようにしても良い。そして、最もスコアの低い登録データセットを削除し、この削除された登録データセットの代わりに当該照合用データセットを新たな登録データセットとして加えるようにする。このような方法で、静脈データベースに登録された登録データセットの中から、相関の小さい登録データセットを少ない計算量で削除できる。
　以上のように、本発明による人型ロボットによれば、握手という人としての自然な動作によって、接する人の個人を識別することにより、人型ロボットの盗難を抑制でき、人型ロボットの動作にも識別結果を反映できる。従って、人型ロボット自体の価値が高まる。
　１０　情報処理装置
　１４　タイマー
　１５　制御回路
　１６　バス
　１７　駆動モーター制御回路
　２２Ｌ　左脚
　２２Ｒ　右脚
　３０　胴体
　４２Ｌ　左腕
　４２Ｒ　右腕
　５０　頭部
　５２Ｌ、５２Ｒ　眼
　５４Ｌ、５４Ｒ　耳
　５６　鼻
　５８　口
　６０Ｌ　左手
　６０Ｒ　右手
　６２　掌部
　６４ｆ　小指部
　６４ｉ　人差指部
　６４ｒ　薬指部
　６４ｔ　親指部
　６４ｍ　中指部
　６５ｆ　小指
　６５ｉ　人差指
　６５ｍ　中指
　６５ｒ　薬指
　７２ｂ、７２ｔ　近赤外線ＬＥＤ
　７４ｍ、７４ｒ　近赤外線センサー
　７６ｍ、７６ｒ　近赤外線窓
　８０Ｒ　手
　８４ｍ、８４ｒ　近赤外線センサー
　８６ｍ、８６ｒ　近赤外線窓
　８８　遮光カバー
　９１ａ、９１ｂ　力センサー
１００　人型ロボット

Claims (7)

  1. 　人間の手と握手ができるような関節と駆動機構を備えた複数の指部を有する右手と、
    　前記右手に設けられた近赤外線発光装置および近赤外線センサーであって、人間の手と握手をした状態において、前記近赤外線発光装置から発光した近赤外線が人間の手の内部を照らし、前記近赤外線センサーで静脈パターンとして前記近赤外線センサーで検出される様な位置に設けられた前記近赤外線発光装置および前記近赤外線センサーと、
    　前記近赤外線センサーで検出された静脈パターンを記録する情報記録装置と、
    　前記情報記録装置に記録されている静脈パターンと、前記近赤外線センサーで検出された別の静脈パターンを比較処理して、相互の類似度を算出する情報処理装置と
    　からなることを特徴とする人型ロボット。
  2. 　前記情報処理装置は、前記人型ロボットの右手の動きを制御して人間の手と握手を行い、前記近赤外線発光装置と前記近赤外線センサーにより静脈パターンを照合用データセットとして取得し、この静脈パターンと、予め前記情報記録装置に登録データセットとして記録しておいた静脈パターンとの類似度を算出し、この類似度に基いて前記人間の個人識別を行うことを特徴とする請求項１に記載の人型ロボット。
  3. 　前記登録データセットとして記録しておいた静脈パターンは、前記人型ロボットのオーナーの静脈パターンであり、この静脈パターンと前記照合用データセットとの類似度に基いてオーナーの認証を行うことを特徴とする請求項２に記載の人型ロボット。
  4. 　前記登録データセットは、前記人型ロボットの右手の位置を変えながら繰り返し取得することを特徴とする請求項２に記載の人型ロボット。
  5. 　前記登録データセットを取得した後、一旦、前記人型ロボットの右手を握手している人間の手から離して、再度握手してもう一度前記登録データセットの取得を行い、これらの双方を照合用データセットと比較処理して個人識別を行う為の登録データセットとして用いることを特徴とする請求項３に記載の人型ロボット。
  6. 　前記個人識別の結果を、前記人型ロボットの動作に反映させることを特徴とする請求項５に記載の人型ロボット。
  7. 　前記静脈パターンは、人間の指の静脈のパターンであることを特徴とする請求項６に記載の人型ロボット。
PCT/JP2015/074739 2014-09-03 2015-08-31 人型ロボット WO2016035759A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016546641A JP6295399B2 (ja) 2014-09-03 2015-08-31 人型ロボット
US15/508,443 US10195748B2 (en) 2014-09-03 2015-08-31 Humanoid robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-179226 2014-09-03
JP2014179226A JP2016052697A (ja) 2014-09-03 2014-09-03 人型ロボット

Publications (1)

Publication Number Publication Date
WO2016035759A1 true WO2016035759A1 (ja) 2016-03-10

Family

ID=55439820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074739 WO2016035759A1 (ja) 2014-09-03 2015-08-31 人型ロボット

Country Status (3)

Country Link
US (1) US10195748B2 (ja)
JP (2) JP2016052697A (ja)
WO (1) WO2016035759A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082124A (ja) * 2016-11-18 2018-05-24 国立研究開発法人理化学研究所 磁気素子、スキルミオンメモリ、スキルミオンメモリ搭載中央演算処理ｌｓｉ、データ記録装置、データ処理装置およびデータ通信装置
WO2019142664A1 (ja) * 2018-01-16 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2019524465A (ja) * 2016-08-17 2019-09-05 ユニバーシティ・オブ・ハートフォードシャー・ハイヤーエデュケーション・コーポレーションＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｈｅｒｔｆｏｒｄｓｈｉｒｅ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ロボット
JP2020503728A (ja) * 2017-05-31 2020-01-30 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ ブロックチェーンデータ処理方法および装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708301B2 (en) * 2016-03-24 2020-07-07 Always Organised Ltd. Method of, and apparatus for, secure online electronic communication
US10682774B2 (en) 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
US10792809B2 (en) * 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
JP6554202B1 (ja) * 2018-04-02 2019-07-31 日本航空電子工業株式会社 センサモジュール及びロボットシステム
JP7326707B2 (ja) * 2018-06-21 2023-08-16 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
EP3653348A1 (en) * 2018-11-19 2020-05-20 Tata Consultancy Services Limited System and method for intelligent 3d imaging guided robotic gripper
KR20240141029A (ko) * 2023-03-16 2024-09-25 성균관대학교산학협력단 Ai 로봇 메디컬 핸드 장치 및 이를 이용한 자가 검사 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236585A (ja) * 2000-02-21 2001-08-31 Sony Corp 移動ロボット及び移動ロボットのための盗難防止方法
JP2003281653A (ja) * 2002-03-26 2003-10-03 Victor Co Of Japan Ltd 自律行動ロボット
JP2006235772A (ja) * 2005-02-23 2006-09-07 Tamotsu Yokoyama データ収集解析表示システム
JP2006255430A (ja) * 2006-04-24 2006-09-28 Fujitsu Ltd 個人認識装置
JP2011081756A (ja) * 2009-10-08 2011-04-21 Inspire Corp 静脈認証システム・・私の指パスの一日
JP2011240468A (ja) * 2010-05-21 2011-12-01 Toyota Motor Corp ロボットの接触種類判別システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7017396A (en) * 1995-09-08 1997-03-27 Ross-Hime Designs, Inc. Robotic manipulator
JP4303602B2 (ja) * 2004-01-09 2009-07-29 本田技研工業株式会社 顔面像取得システム
JP4384021B2 (ja) * 2004-12-14 2009-12-16 本田技研工業株式会社 脚式ロボットの制御装置
US8585620B2 (en) * 2006-09-19 2013-11-19 Myomo, Inc. Powered orthotic device and method of using same
JP4918004B2 (ja) * 2006-11-24 2012-04-18 パナソニック株式会社 多指ロボットハンド
JP2008262272A (ja) * 2007-04-10 2008-10-30 Toyota Central R&D Labs Inc 肌色モデル生成装置及びプログラム
US8052185B2 (en) * 2009-04-09 2011-11-08 Disney Enterprises, Inc. Robot hand with humanoid fingers
KR101896473B1 (ko) * 2012-01-04 2018-10-24 삼성전자주식회사 로봇 핸드의 제어 방법
US9814604B2 (en) * 2012-08-12 2017-11-14 5Th Element Limited Gripping device
JP5549724B2 (ja) 2012-11-12 2014-07-16 株式会社安川電機 ロボットシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236585A (ja) * 2000-02-21 2001-08-31 Sony Corp 移動ロボット及び移動ロボットのための盗難防止方法
JP2003281653A (ja) * 2002-03-26 2003-10-03 Victor Co Of Japan Ltd 自律行動ロボット
JP2006235772A (ja) * 2005-02-23 2006-09-07 Tamotsu Yokoyama データ収集解析表示システム
JP2006255430A (ja) * 2006-04-24 2006-09-28 Fujitsu Ltd 個人認識装置
JP2011081756A (ja) * 2009-10-08 2011-04-21 Inspire Corp 静脈認証システム・・私の指パスの一日
JP2011240468A (ja) * 2010-05-21 2011-12-01 Toyota Motor Corp ロボットの接触種類判別システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENZE, B.; ET AL.: "Control applications of TORO - A Torque controlled humanoid robot", PROCEEDINGS OF 2014 14TH IEEE -RAS INTERNATIONAL CONFERENCE ON HUMANOID ROBOTS (HUMANOIDS, November 2014 (2014-11-01), pages 841 - 841, XP032736047, DOI: doi:10.1109/HUMANOIDS.2014.7041461 *
SHIOMI, M.; ET AL.: "Interactive Humanoid Robots for a Science Museum", IEEE INTELLIGENT SYSTEMS, vol. 22, no. Issue:2, March 2007 (2007-03-01), pages 25 - 32, XP011175407, DOI: doi:10.1109/MIS.2007.37 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019524465A (ja) * 2016-08-17 2019-09-05 ユニバーシティ・オブ・ハートフォードシャー・ハイヤーエデュケーション・コーポレーションＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｈｅｒｔｆｏｒｄｓｈｉｒｅ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ロボット
JP2018082124A (ja) * 2016-11-18 2018-05-24 国立研究開発法人理化学研究所 磁気素子、スキルミオンメモリ、スキルミオンメモリ搭載中央演算処理ｌｓｉ、データ記録装置、データ処理装置およびデータ通信装置
US10658426B2 (en) 2016-11-18 2020-05-19 Riken Magnetic element, skyrmion memory, skyrmion memory-mounted central processing LSI, data recording apparatus, data processing apparatus, and data communication apparatus
JP2020503728A (ja) * 2017-05-31 2020-01-30 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ ブロックチェーンデータ処理方法および装置
WO2019142664A1 (ja) * 2018-01-16 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP6295399B2 (ja) 2018-03-20
JPWO2016035759A1 (ja) 2017-07-13
US10195748B2 (en) 2019-02-05
JP2016052697A (ja) 2016-04-14
US20170282380A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6295399B2 (ja) 人型ロボット
JP4294853B2 (ja) 操作指示装置
US10262123B2 (en) Multimodal biometric authentication system and method with photoplethysmography (PPG) bulk absorption biometric
JP6841167B2 (ja) コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム
US9907103B2 (en) Mobile terminal, wearable device, and equipment pairing method
US20210259557A1 (en) Doorway system that utilizes wearable-based health state verifications
US20220032482A1 (en) Information processing device and storage medium
US10836041B2 (en) More endearing robot, robot control method, and non-transitory recording medium
JP2006247780A (ja) コミュニケーションロボット
JP2019164352A (ja) 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット
US20100328033A1 (en) Biometric authentication device, biometric authentication method, and storage medium
WO2017212901A1 (ja) 車載装置
JP7205148B2 (ja) ロボット、制御方法、及び、プログラム
JP2006123136A (ja) コミュニケーションロボット
US20170193207A1 (en) Multimodal biometric authentication system and method with photoplethysmography (ppg) bulk absorption biometric
CN111108463A (zh) 信息处理装置、信息处理方法和程序
JP6380668B2 (ja) 把持型心電測定装置
KR20200137919A (ko) 피부 케어 장치를 제어하는 전자 장치와 이의 동작 방법
JP2005131748A (ja) 関係検知システム
JP2020042404A (ja) 撮像装置、構造物、情報処理装置、および生体認証システム
JP2019175432A (ja) 対話制御装置、対話システム、対話制御方法及びプログラム
US20230095810A1 (en) User Authentication Using Biometric and Motion-Related Data of a User Using a Set of Sensors
CN110625607A (zh) 机器人、机器人的控制方法及存储介质
JP2019208651A (ja) 視力検査処理プログラムおよび視力検査システム
EP3839943A1 (en) Instruction validation system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838162

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016546641

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15508443

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838162

Country of ref document: EP

Kind code of ref document: A1