JP7097956B2 - ロボットの移動を管理するための装置、及び関連する処理ロボット - Google Patents
ロボットの移動を管理するための装置、及び関連する処理ロボット Download PDFInfo
- Publication number
- JP7097956B2 JP7097956B2 JP2020520716A JP2020520716A JP7097956B2 JP 7097956 B2 JP7097956 B2 JP 7097956B2 JP 2020520716 A JP2020520716 A JP 2020520716A JP 2020520716 A JP2020520716 A JP 2020520716A JP 7097956 B2 JP7097956 B2 JP 7097956B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- general
- purpose model
- robot
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 239000012636 effector Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 229910052573 porcelain Inorganic materials 0.000 description 9
- 238000010422 painting Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 210000003625 skull Anatomy 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000001099 axilla Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101100324954 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) oli gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000004013 groin Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H23/00—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
- A61H23/02—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H9/00—Pneumatic or hydraulic massage
- A61H9/005—Pneumatic massage
- A61H9/0057—Suction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1657—Movement of interface, i.e. force application means
- A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
- A61H2230/85—Contour of the body
- A61H2230/855—Contour of the body used as a control parameter for the apparatus
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37205—Compare measured, vision data with computer model, cad data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37208—Vision, visual inspection of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45084—Service robot
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Epidemiology (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Radiology & Medical Imaging (AREA)
- Vascular Medicine (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Percussion Or Vibration Massage (AREA)
- Massaging Devices (AREA)
Description
本発明は、非常に多様な形状の表面の上で動作するロボットの移動を管理する分野に関する。
本発明は、ロボットの作業面が演繹的に知られていない、多くの技術的分野に適用可能とされる。例えば、本発明は、手工磁器（artisanal porcelain）を塗装するためのロボットであって、職人によって製造された磁器の様々な形状に適応しなければならないロボットのために実施可能とされる。
本発明は、例えばマッサージロボットのような処置ロボットの電動アームを移動させるために、特に優位な応用を提供する。
所定の経路に追従するようにプログラムされた産業用ロボットとは異なり、未知の表面上で動作するロボットは、経路を決定するために、処置すべき表面を分析可能とされる移動管理手段を具備する必要がある。
一般に、識別ロボットは、少なくとも１つのカメラと、表面探索を経時的に分析し、当該識別ロボットが追従すべき経路を決定するための画僧処理手段とを備えている。
未知の表面を分析するための当該方法は、ロボットの経時的な移動を正確に案内するために、高い計算能力を要求する。その結果として、探索ロボットは、当該探索ロボットの移動を管理するための装置に、カメラによって獲得され且つ画像処理手段によって処理された情報に基づいて当該探索ロボットの移動を最適化させるために、低速で移動する。
さらに、マッサージロボット又は手工磁器を塗装するためのロボットについては、当該ロボットの移動は、個々人の身体の所望の領域をマッサージするために、又は塗装層を所望の領域に付与するために極めて正確でなくてはならない。
このことを実現するために、ロボットが処理すべき表面の三次元数値モデリングを利用することによって作業者が当該ロボットの移動をプログラムすることができるように、三次元表面をスキャンすることが知られている。
例えば、特許文献１は、患者の身体をスキャンするための三次元スキャナであって、患者の身体の三次元モデルの投影をタッチパッドで利用することによってロボットのマッサージ経路を施術者に決定させるための三次元スキャナを具備する、マッサージロボットを開示している。
しかしながら、このようなマッサージロボットは自律していない。施術者が、自身の専門知識を利用し、マッサージロボットの経路をデジタルモデルにプログラムするために必要とされるからである。
従って、技術的課題は、未知の表面上で動作するロボットの移動の管理を高い移動精度で自動化することにある。
"KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*" published on October 16, 2011 in UIST’11
"Building Statistical Shape Spaces for 3D Human Modeling, Pishchulin & all" published on March 19, 2015 in the journal "Published in Pattern Recognition 2017"
Suzuki, S. and Abe, K., Topological Structural Analysis of Digitized Binary Images by Border Following, CVGIP 30 1, pp 32-46 (1985)
the method Sklansky, J., Finding the Convex Hull of a Simple Polygon. PRL 1 $number, pp 79-83 (1982)
Visual Pattern Recognition by Moment Invariants, IRE Transactions on Information Theory, 8:2, pp. 179-187, 1962.
本発明の目的は、汎用モデル（generic model）についての既知の移動順序を調整すると共に当該移動順序を処理すべき表面に適用するように、当該汎用モデルを用いて処理すべき表面を調整するための手段に関連する当該汎用モデルの複数の既知の移動順序によって、このような技術的課題を解決することである。
そうすると、移動順序を汎用モデルにプログラムする場合に処理すべき表面の形状が知られていくとも、ロボットは、汎用モデルの形状を処理すべき表面の形状に適応させることによって、移動順序を自動的に調整することができる。
当該目的を達成するために、第１の実施態様において、本発明は、表面を処理するように構成されているロボットの移動を管理するための装置であって、処理すべき表面の三次元表現を獲得するための獲得手段と、処理すべき表面の三次元表現に基づいて移動手順を決定するための決定手段と、を含んでいる装置を提供する。
本発明の特徴は、決定手段が、少なくとも１つの三次元汎用モデルを備えており、複数の移動手順が、少なくとも１つの三次元汎用モデルとして既知とされ、装置が、処理すべき表面の三次元表現と共に三次元汎用モデルを調整するための調整手段であって、処理すべき表面の三次元表現に対応するように三次元汎用モデルを変形させることができる調整手段を含んでおり、三次元汎用モデルの変形が、処理すべき表面の三次元表現に対して調整された少なくとも１つの新規の移動手順を得るように、既知の移動手順に適用され、ロボットが、新規の移動手順のうち一の移動手順に基づいて表面を処理するように構成されていることを特徴とする。
従って、本発明は、移動手順を学習する際に形状が未知である処理すべき表面に対して移動手順を適用するために、汎用モデルについての複数の既知の移動手順を利用することができる。手工磁器を塗装するためのロボットの例では、塗装者は、標準的なカップの汎用モデルに関連する意匠を記録することによって、カップに塗装すべき標準的な意匠を定義することができる。ロボットは、新規に創作されたカップの表面をスキャンし、新規に創作されたカップの表面に基づいて汎用モデルを変形することによって、標準的な意匠のうち一の意匠を適用することができる。
マッサージロボットの例では、人体の汎用モデルが、実際のヒトの計測から作られる。このような汎用モデルは、施術者が汎用モデルの様々な敏感点の近傍を通過するマッサージ経路を定義することによって効果的なマッサージ効果を得られるように、三次元で表現されている。
汎用モデルの当該敏感点は、領域に、例えば当該敏感点の高さにおける表面に対する法線方向において当該敏感点を中心とする半径５０ｍｍ以内に延在する領域に適合する。
ロボットが新しい患者をマッサージするために利用される場合には、患者の身体がスキャンされ、汎用モデルの形状が、汎用モデルの変形によってロボットの移動を患者の体形に対して調整するためのマッサージ経路の変形を得るように、施術者によって記録されたマッサージの精度を考慮しつつ、患者の形状に対して調整される。その結果として、本発明は、施術者のマッサージ感覚に非常に近い又は同一のマッサージ感覚で、非常に高い質のマッサージを再現することができる。
本発明では、幾つかの異なるタイプのマッサージを実行するために、幾つかのマッサージ経路をデジタル化することができる。また、幾つかの汎用モデルは、例えば大型、小型、及び中型のヒトのような性別や子供、若者、及び成人のような年齢について３つのタイプの汎用モデルを利用することによって、患者の身体に対する汎用モデルの調整を改善するために作られ得る。
一の実施例では、少なくとも１つの既知の移動手順が、アクションがロボットのために事前にプログラムされた位置を備えている。
当該実施例では、ロボットの移動の際にアクチュエータの動作を制御することができる。手工磁器を塗装するためのロボットの例では、ロボットは、特定の位置において特定の表面処理を実行することができる。マッサージロボットの例では、ロボットの特定の位置が、マッサージの快適性及び／又は効果を改善するために、加熱手段の起動を制御することができる。さらに、既知の移動手順は、他のタイプの運動によって他の運動を実行しつつ、触診－回転運動によって実行可能な複数の経路を含んでいる。
一の実施例では、処理すべき表面についての三次元汎用モデル及び三次元表現が、散布図の形式で形式化されており、調整手段が、処理すべき表面の三次元表現の点それぞれについて法線方向を計算するための計算手段と、三次元表現の散布図の点それぞれを探索するための探索手段であって、散布図の点の近傍における三次元汎用モデルの点について、三次元汎用モデルの点の法線方向と対象の点の法線方向との差が最小とされる、探索手段と、三次元汎用モデルの決定された点と対象の点との距離を決定するための決定手段と、三次元表現の散布図のすべての点について決定された距離に基づいて、三次元汎用モデルの変換の全体を検索するための検索手段と、を含んでいる。
法線方向は、汎用モデルの面の配向と処理すべき表面の三次元表現の面の配向とに関連する情報を獲得することができる。点座標と点座標との単一の比較と異なり、面同士の比較は、より効果的な識別を獲得することができる。
さらに、汎用モデルの調整が、距離の平均に基づいて汎用モデルを徐々に変更することによって段階的に実施される。その結果として、当該実施例では、汎用モデルの点それぞれの法線方向と処理すべき表面の三次元表現の法線方向とを比較することによって、汎用モデルを効率的に調整することができる。
一の実施例では、探索手段が、対象となる点を中心とする所定の球の内部における、三次元汎用モデルの点を探索するように構成されている。当該実施例の目的は、計算時間を制限するように汎用モデルの点の探索領域を限定することである。さらに、探索領域の限定によって、汎用モデルの変更の精度を向上させるように、２つの比較対象の間における汎用モデルの変更範囲を制限することができる。
一の実施例では、法線方向が、対象となる点に最も近い３つ又は４つの点の座標によって面を構成することによって決定される。
当該実施例では、汎用モデルの面の、及び処理すべき表面の三次元表現の面の効果的な構成を実現することができる。
一の実施例では、調整手段が、三次元表現の特徴点を検出するための手段と、特徴点の位置が三次元汎用モデルの特徴点の位置に対応するように、回転及び／又は並進について三次元汎用モデルを変形させるための手段と、を含んでいる。
当該実施例では、標準的な人によって実施される正確な調整の速度を改善するために、汎用モデルの最初の粗い調整を実施することができる。手工磁器を塗装するためのロボットの例では、特徴点が、手工磁器の上側端部及び下側端部に対応する。マッサージロボットの例では、特徴点は、頭蓋骨の上側端部に、腋窩の位置に、及び鼠径部の位置に対応する。
一の実施例では、獲得手段が、複数の三次元表現をキャプチャすることによって三次元表現を事前処理するための事前処理手段を含んでおり、獲得手段が、様々な三次元表現の点の座標の平均を得る。当該実施例では、三次元表現の精度を、ひいては汎用モデルの調整を改善することができる。
一の実施例では、事前処理手段が、様々な三次元表現の点の座標の平均の選別を実施する。
当該実施例では、三次元表現の精度を、ひいては汎用モデルの調整を改善することができる。
第２の実施態様では、本発明は、処理ロボットであって、関節式アームと、関節式アームの一方の端部に配置されているエフェクタと、三次元画像キャプチャ装置と、処理ロボットの移動を監視するための本発明の第１の実施態様における装置と、を含んでいる。
本発明の第２の実施態様は、ロボットの移動の精度が患者に傷を負わせないための必須条件である、処置ロボットに関する。
一の実施例では、獲得手段が、関節式アーム又はエフェクタに配置されている。当該実施例では、三次元表現を正確に獲得するために獲得手段を移動させることができる。
本発明の実施形態及びその利点は、例示的且つ非限定的な図１に表わす実施例から明らかとなるだろう。
本発明について、ロボットの調整能力を表わすように、マッサージロボットを参照しつつ説明する。ヒトの身体の表面が大きい段差（disparity）を有していることが明白であるからである。
しかしながら、本発明は、このような特定の利用に限定される訳では無く、ロボットが正確に移動しなければならないが、事前に決定されていない形状の表面で動作する複数のロボットのために利用可能とされる。
図１に表わすように、処理すべき表面の分析は、処理すべき表面の三次元表現Ｒｅを提供することができる獲得手段１４によって実施される。
三次元表現Ｒｅは、点それぞれが正規直交系の三座標：ｘ，ｙ，ｚを有している、散布図の形態とされる。
獲得手段１４は、一連の撮像センサ（photographic sensor）、一連の赤外線センサ、断層撮影センサ（tomographic sensor）、立体センサ（stereoscopic sensor）、又は表面の三次元表現を獲得可能とされる任意の他の既知のセンサに対応する。
例えば、マイクロソフト（登録商標）社のＫｉｎｅｃｔ（登録商標）カメラが、三次元表現Ｒｅを得るために利用可能である。
環境を取り込むことなく三次元表現Ｒｅを得るために、当該環境に対応する第１の散布図と当該環境における処理すべき表面に対応する第２の散布図とを取り込むことができる。第１の散布図と第２の散布図との間における相違点のみが、処理すべき表面に対応する点を環境から抽出するように維持される。当該方法は、記録のために標準化された環境から抽象化し、任意の環境に適応させることができる。
図１に表わすように、これらセンサ１４は、改善された品質又は精度で三次元表現Ｒｅを提供するために、事前処理手段１５と共に実装される場合がある。例えば、事前処理手段１５は、ヒストグラムを平坦化するためのアルゴリズム、選別のためのアルゴリズム、複数の連続した表現について表現を平均化するためのアルゴリズムに対応している。
例えば、非特許文献１に開示される手法を利用することができる。
この場合、デバイスは、汎用モデルｍ１，ｍ２，ｍ３それぞれに事前にプログラムされた動作手順Ｔｘを三次元表現Ｒｅに転送するように、汎用モデルｍ１，ｍ２，ｍ３を三次元表現Ｒｅに適応させるために処理するコンピュータを実装している。例えば、移動手順Ｔｘが、処理すべき表面に対応する第２の散布図に投影される。さらに、これら移動手順Ｔｘは、動作がロボットのために事前にプログラムされた位置を含んでいる。
また、汎用モデルｍ１，ｍ２，ｍ３は、散布図の形態で形式化されている。散布図では、点が正規直交系の三座標ｘ，ｙ，ｚを表わす。好ましくは、汎用モデルは、三座標のＮ個の頂点の平均モデルＭｏｄＭｏｙと、３Ｎ座標すなわちＮ個の頂点についての三座標とＭ個の形態要素とから成る変形行列ＭｏｄＳｉｇｍａとから構成されている。
大量の異なる人々、例えば１０００人の人々が、汎用モデルｍ１，ｍ２，ｍ３それぞれを改善するために必要とされる。
主要な要素の分析は、データサイズを減らすために適用される。主要な要素の分析をこれらデータに適用することによって、データ中の変化を決定すること、及び、要素についての共通する変化を関連付けることが可能となる。従って、一人につき一の要素を維持する代わりに、汎用モデルｍ１，ｍ２，ｍ３それぞれが、１０００の人々についての変化の大部分を説明する約２０の要素を格納する。
当該方法は、非特許文献２により詳細に開示されている。
好ましくは、汎用モデルｍ１，ｍ２，ｍ３は、汎用モデルｍ１，ｍ２，ｍ３を三次元表現Ｒｅに適応させることができるデバイスの画像処理手段によってアクセス可能とされるメモリに格納されている。
このために、三次元表現Ｒｅが得られた場合に、デバイスは、デジタル処理手段１６を介して当該三次元表現Ｒｅの特徴点Ｐｒｅｆの検出を実行する。図１に表わす例では、特徴点Ｐｒｅｆは、頭蓋骨の上端部、腋窩の位置、及び鼠蹊の位置に対応する。デジタル処理手段１６は、画像上の要素を検出するためのすべての既知の方法、例えばＶｉｏｌａ－Ｊｏｎｅｓ法を実行することができる。
好ましくは、特徴点Ｐｒｅｆを検出するために、散布図が深度画像に、すなわち、例えば０ｍｍ～４０９５ｍｍの範囲の深度にエンコード可能とされる１２ビットにエンコードされたグレースケール画像に変換される。この深度画像は、対象となる物体／身体に対応する画素を値１で抽出しないように、且つ、外部環境に対応する画素を値０で抽出しないように、境界化及び二値化される。次に、例えば非特許文献３に開示される方法を利用することによって、このように二値化された画像の輪郭が検出される。輪郭の凸角点及び（例えば非特許文献４を利用することによって決定された）当該輪郭の凸性の欠陥が、特徴点Ｐｒｅｆとして利用される。
従って、汎用モデルｍ１，ｍ２，ｍ３の選択手段１７は、三次元表現Ｒｅに最も類似する汎用モデルｍ１，ｍ２，ｍ３を選択するために実装されている。
例えば、この選択は、三次元表現Ｒｅの高さを概算するために、頭蓋骨の頂部の特徴点Ｐｒｅｆと鼠径部の特徴点との間の距離を計算することによって、及び、高さの大きさが最も近い汎用モデルｍ１，ｍ２，ｍ３を選択することによって実行される。同様に又は付加的に、汎用モデルｍ１，ｍ２，ｍ３の選択は、三次元表現Ｒｅの幅を利用して、腋窩の特徴点Ｐｒｅｆ同士の距離を計算することによって実行される。
さらに、汎用モデルｍ１，ｍ２，ｍ３は、ヒトの骨格の最も重要な骨を表す仮想骨によって関節式で連結されている。例えば、１５本の仮想骨が、脊椎、大腿骨、脛骨、尺骨、上腕骨、頭蓋骨の位置及び形状を定義するために、汎用モデルｍ１，ｍ２，ｍ３にモデル化される場合がある。これら仮想骨の配向によって、汎用モデルのポーズを、すなわち、汎用モデルｍ１，ｍ２，ｍ３が空気中に片腕を有しているか否かや脚が開いているか否かについて定義することができる。
また、汎用モデルｍ１，ｍ２，ｍ３のポーズは、（例えば、非特許文献５に開示されるＨｕ法を利用して計算された）数千の姿勢についての汎用モデルの深度画像輪郭のデータベースと対象となる物体／身体の深度画像の輪郭との距離を比較することによって、選択手段１７を介して決定することもできる。対象となる物体／身体の深度画像に最も類似する、関節式に連結された汎用モデルｍ１，ｍ２，ｍ３の深度画像が選択され、仮想骨の回転値が保存される。
その後に、第１の調整が、三次元表現Ｒｅに類似するように、選択された汎用モデルを変形させることによって実施される。例えば、このような第１の調整は、選択された汎用モデルの特徴点Ｐｒｅｆ同士の間隔が三次元表現Ｒｅの特徴点Ｐｒｅｆ同士の間隔に対応するように、選択された汎用モデルの幅及び高さを単に変形させることができる。
このような第１の調整は、汎用モデルｍ１，ｍ２，ｍ３の仮想ボーンのポーズを定義することもできる。
汎用モデルが調整される場合には、すなわち、頂点の位置が変更される場合には、汎用モデルに事前にプログラムされた移動手順Ｔｘの点の位置が同様に調整される。
このような比較的粗い第１の調整の後に、三次元表現Ｒｅの点同士の間に定義された表面それぞれによって形成されている法線方向によって、比較的正確な第２の調整を利用することができる。
このために、デバイスは、三次元表現Ｒｅの表面それぞれ及び選択された汎用モデルの表面それぞれの法線を計算するための計算手段１９を備えている。例えば、法線方向は、対象となる点に最も近接する３つの点又は４つの点の座標を介して三次元表現Ｒｅの辺それぞれを構成することによって決定可能とされる。代替的には、汎用モデルの法線方向は、汎用モデルを定義するステップの際に計算可能とされる。代替的には、２つの調整が、一の同一のステップにおいて同時に実施可能とされる。
その後に、デバイスは、三次元表現Ｒｅの散布図の点それぞれについて、汎用モデルの点の法線方向と対象となる点の法線方向との差が最小となるように選択された直近の点を検出するための探索手段２０を利用する。仮想骨が選択された汎用モデルの構成要素である場合には、探索手段２０が、仮想骨を三次元表現Ｒｅ上に存在する身体の要素の位置に調整するために、仮想骨それぞれの特性を変化させることによって、仮想骨の位置及び大きさを調整する。
例えば、探索手段２０は、対象となる点を中心とする所定の球の内部において汎用モデルの点を検索するように構成されている。好ましくは、当該球の半径は、約１０個の点が当該球体に含まれるように、汎用モデルの頂点の数と対象となる物体／身体の大きさとに基づいて決定される。
一連の当該法線方向を利用することによって、デバイスは、対象となる点と探索手段によって検出される選択された汎用モデルの点との距離を計算することができる決定手段を利用することによって、選択された汎用モデルと三次元表現Ｒｅとの差を計算することができる。一連の当該距離は、対象となる点を検出された点に一致させるために当該対象となる点に適用させなくてはならない変換ベクトルを形成する。
検索手段２２は、選択された汎用モデルの変換の全体を獲得するように、当該変換ベクトルの平均を決定するようになっている。
言い換えれば、Ｍ要素の新しい変換ベクトルＣｏｍｐＶｅｃを考慮して、以下の数式を適用することによって、頂点の三次元配置Ｐｔｓ３Ｄを知ることができる。
Ｐｔｓ３Ｄ ＝ ＭｏｄＭｏｙ ＋ ＣｏｍｐＶｅｃ ＊ ＭｏｄＳｉｇｍａ
Ｐｔｓ３Ｄ ＝ ＭｏｄＭｏｙ ＋ ＣｏｍｐＶｅｃ ＊ ＭｏｄＳｉｇｍａ
未知の配置Ｐｔｓ３Ｄの場合、例えば新しい患者の場合、目的は、平均モデルＭｏｄＭｏｙｅｎと変形行列ＭｏｄＳｉｇｍａとを知っている当該患者に対応する形態要素ＤｆｆＭｏｄの値を探索することである。
このために、検索手段２２は、ＭｏｄＳｉｇｍａの擬似逆行列ＭｏｄＳｉｇｍａＩｎｖと同様に、頂点の三次元配置Ｐｔｓ３Ｄと平均モデルＭｏｄＭｏｙｅｎとの差を計算する。例えば、擬似逆行列ＭｏｄＳｉｇｍａＩｎｖは、以下の関係を利用することによって行列ＭｏｄＳｉｇｍａを特異値に分解することによって計算可能とされる。
ＭｏｄＳｉｇｍａ ＝ Ｕ Ｅ Ｖ＊；
ＭｏｄＳｉｇｍａＩｎｖ ＝ Ｖ Ｅｔ Ｕ＊；
ここで、Ｅｔは、Ｅの転置行列に相当し、
Ｖ＊は、Ｖの転置共役行列であり、
Ｕ＊は、Ｕの転置共役行列である。
ＭｏｄＳｉｇｍａ ＝ Ｕ Ｅ Ｖ＊；
ＭｏｄＳｉｇｍａＩｎｖ ＝ Ｖ Ｅｔ Ｕ＊；
ここで、Ｅｔは、Ｅの転置行列に相当し、
Ｖ＊は、Ｖの転置共役行列であり、
Ｕ＊は、Ｕの転置共役行列である。
これらデータを利用することによって、検索手段２２は、以下の数式によって、形態要素ＤｉｆｆＭｏｄを計算する。
ＤｉｆｆＭｏｄ ＊ ＭｏｄＳｉｇｍａＩｎｖ ＝ ＣｏｍｐＶｅｃ ＊ ＭｏｄＳｉｇｍａ ＊ ＭｏｄＳｉｇｍａＩｎｖ
ＤｉｆｆＭｏｄ ＊ ＭｏｄＳｉｇｍａＩｎｖ ＝ ＣｏｍｐＶｅｃ ＊ ＭｏｄＳｉｇｍａ ＊ ＭｏｄＳｉｇｍａＩｎｖ
すなわち、ＣｏｍｐＶｅｃ ＝ ＤｉｆｆＭｏｄ ＊ ＭｏｄＳｉｇｍａＩｎｖによって、特定患者についての形態要素ＤｉｆｆＭｏｄを得ることができる。
その後に、変換ベクトルＣｏｍｐＶｅｃが、選択された汎用モデルに適用され、必要に応じてポーズが上述のように再び概算され、新しい探索が、汎用モデルが三次元表現Ｒｅに適正に類似するまで実行される。ループは、汎用モデルのすべての頂点と散布図上における対応点との平均ユークリッド距離が汎用モデルの頂点の数と例えば２ｍｍである対象となる物体／身体の大きさとに基づいて定義される閾値より小さくなった場合に、又は閾値より小さい平均距離に到達しない状態で例えば１００回である最大反復回数に到達した場合に停止する。
上述と同様に、汎用モデルが調整される場合に、すなわち頂点の位置が変更される場合に、汎用モデル上で事前にプログラムされた移動手順Ｔｘの点の位置が同様に調整される。
センサ１４とロボットとの間におけるキャリブレーション段階が実行される必要がある場合がある。特に移動手順Ｔｘは、センサ１４の正規直交基準座標系における汎用モデルｍ１，ｍ２，ｍ３について定義され、ロボットは、センサ１４の正規直交基準座標系とは異なる自身の正規直交基準座標系において指令を受信する。視覚センサ１４とロボットとをキャリブレーションするために、２つの基準座標系における少なくとも３つの共通点の座標を記録することができる。実際に、３つより多い多数の点Ｎを利用することが望ましい。ロボットは、作業領域に亘って移動され、Ｎ回停止する。停止する度に、ロボットの移動設定点によって実行される移動を計算することによって、ロボットの位置が記録され、検出によって、当該停止時の三次元的な位置を視覚センサ１４を介して知ることができる。
Ｎ回停止の最後に、２つの基準座標系におけるＮ点の座標を知ることができる。２つの基準座標系におけるＮ点の分布の重心は、以下の関係式を利用することによって決定される：
ＢａｒｙｃｅｎｔｅｒＡ ＝ １／Ｎ ｓｕｍ（ＰＡ（ｉ）） ここで、ｉは１～Ｎであり、ＰＡ（ｉ）はセンサ１４の基準座標系の点を表わす；及び
ＢａｒｙｃｅｎｔｅｒＢ ＝ １／Ｎ ｓｕｍ（ＰＢ（ｉ）） ここで、ｉは１～Ｎであり、ＰＢ（ｉ）はロボットの基準座標系の点を表わす。
ＢａｒｙｃｅｎｔｅｒＡ ＝ １／Ｎ ｓｕｍ（ＰＡ（ｉ）） ここで、ｉは１～Ｎであり、ＰＡ（ｉ）はセンサ１４の基準座標系の点を表わす；及び
ＢａｒｙｃｅｎｔｅｒＢ ＝ １／Ｎ ｓｕｍ（ＰＢ（ｉ）） ここで、ｉは１～Ｎであり、ＰＢ（ｉ）はロボットの基準座標系の点を表わす。
従って、共分散行列Ｃは、以下の関係式によって決定される：
Ｃ ＝ ｓｕｍ（（ＰＡ（ｉ）－ＢａｒｙｃｅｎｔｅｒＡ）（ＰＢ（ｉ）－ＢａｒｙｃｅｎｔｅｒＢ）ｔ） ここで、ｉは１～Ｎである。
Ｃ ＝ ｓｕｍ（（ＰＡ（ｉ）－ＢａｒｙｃｅｎｔｅｒＡ）（ＰＢ（ｉ）－ＢａｒｙｃｅｎｔｅｒＢ）ｔ） ここで、ｉは１～Ｎである。
共分散行列Ｃは、特異値：Ｃ ＝ Ｕ Ｅ Ｖ＊に分解される。
２つの基準座標系の間の回転行列Ｒは、以下の関係式から得られる：
Ｒ ＝ Ｖ Ｕｔ；Ｒの行列式が負である場合に、回転行列Ｒの第３行に－１を乗じることができる。
Ｒ ＝ Ｖ Ｕｔ；Ｒの行列式が負である場合に、回転行列Ｒの第３行に－１を乗じることができる。
２つの基準座標系の間で適用すべき変換は、以下の関係式によって決定される：
Ｔ ＝ － Ｒ ＊ ＢａｒｙｃｅｎｔｅｒＡ ＋ＢａｒｙｃｅｎｔｅｒＢ
Ｔ ＝ － Ｒ ＊ ＢａｒｙｃｅｎｔｅｒＡ ＋ＢａｒｙｃｅｎｔｅｒＢ
従って、以下の関係式を適用することによって、センサ１４の基準座標系の任意の点をロボットＰｂの基準座標系に回転させることができる：
Ｐｂ ＝ Ｒ ＊ Ｐａ ＋ Ｔ
Ｐｂ ＝ Ｒ ＊ Ｐａ ＋ Ｔ
従って、本発明は、１つ又は複数の汎用モデルｍ１～ｍ３について複数の移動手順Ｔｘをプログラムすることができ、移動手順Ｔｘを学習する際に未知の形状の表面について移動手順Ｔｘを正確に再現するために、汎用モデルｍ１～ｍ３を効率的に調整することができる。
従って、ロボットは、利用者又は作業者によって選択された移動手順Ｔｘに追従することができる。移動手順Ｔｘは、単純な一連の点より複雑であって、例えば実行速度や実行圧力のような、移動手順Ｔｘを実施するための様々なパラメータを含んでいる。さらに、移動手順Ｔｘは、例えば振動、吸引、又は温度を作用させることのような、ロボットのために事前にプログラムされたアクションの位置を含んでいる。
また、選択された移動手順Ｔｘのアクション又はパラメータは、ロボットによる移動手順の実行の前に又は当該実行の際に、利用者又は作業員によって調整可能とされる。従って、手工磁器を塗装するためのロボットの例では、作業員は、手工磁器上で走らせるブラシの塗装速度及び支持力を設定することができる。マッサージロボットの例では、利用者は、ロボットの圧力をリアルタイムで設定することによって、マッサージの速度及び力を自ら選択することができるので、これらパラメータを自身の感覚に合うように調整することができる。また、利用者は、マッサージハンドが放出する温度を、又は例えば振動又は吸引の力のようなマッサージハンドの効果を設定することができる。
１４ センサ
１５ 事前処理手段
１６ 検出手段
１７ 選択手段
１８ 変形手段
１９ 計算手段
２０ 探索手段
２１ 決定手段
２２ 検索手段
２３ 調整手段
１５ 事前処理手段
１６ 検出手段
１７ 選択手段
１８ 変形手段
１９ 計算手段
２０ 探索手段
２１ 決定手段
２２ 検索手段
２３ 調整手段
Claims (10)
- 表面を処理するように構成されているロボットの移動を管理するための装置であって、
処理すべき表面の三次元表現（Ｒｅ）を獲得するための獲得手段（１４）と、
前記処理すべき表面の前記三次元表現（Ｒｅ）に基づいて、利用者又は作業者によって選択された移動手順を決定するための決定手段と、
を含んでいる前記装置において、
前記決定手段が、形態要素から成る変形行列を含む少なくとも１つの三次元汎用モデル（ｍ１～ｍ３）を備えており、複数の前記移動手順（Ｔｘ）が、少なくとも１つの前記三次元汎用モデル（ｍ１～ｍ３）として既知とされ、
前記装置が、前記処理すべき表面の前記三次元表現（Ｒｅ）と共に前記三次元汎用モデル（ｍ１～ｍ３）を調整するための調整手段（１８，２３）であって、前記三次元汎用モデル（ｍ１～ｍ３）が前記処理すべき表面の前記三次元表現（Ｒｅ）に対応する前記変形行列の前記形態要素の値を探索することができる前記調整手段（１８，２３）を含んでおり、
前記三次元汎用モデル（ｍ１～ｍ３）の変形が、前記処理すべき表面の前記三次元表現（Ｒｅ）に対して調整された少なくとも１つの新規の移動手順を得るように、既知の前記移動手順（Ｔｘ）に適用され、
前記ロボットが、前記新規の移動手順のうち一の移動手順に基づいて前記表面を処理するように構成されていることを特徴とする装置。 - 少なくとも１つの既知の前記移動手順（Ｔｘ）が、アクションが前記ロボットのために事前にプログラムされた位置を備えていることを特徴とする請求項１に記載の装置。
- 前記三次元汎用モデル（ｍ１～ｍ３）と前記処理すべき表面の前記三次元表現（Ｒｅ）とが、散布図の形式で形式化されており、
前記調整手段（２３）が、
前記処理すべき表面の前記三次元表現（Ｒｅ）の点それぞれに対する法線方向を計算するための計算手段（１９）と、
前記三次元表現（Ｒｅ）の前記散布図の点それぞれについて、前記三次元汎用モデル（ｍ１～ｍ３）の点の法線方向と対象の点の法線方向との差が最小とされる近傍の前記三次元汎用モデル（ｍ１～ｍ３）の点を探索するための探索手段（２０）と、
前記三次元汎用モデル（ｍ１～ｍ３）の決定された点と前記対象の点との距離を決定するための決定手段（２１）と、
前記三次元表現（Ｒｅ）の前記散布図のすべての点について決定された距離に基づいて、前記三次元汎用モデル（ｍ１～ｍ３）の変換の全体を検索するための検索手段（２２）と、
を含んでいることを特徴とする請求項１又は２に記載の装置。 - 前記探索手段（２０）が、前記対象となる点を中心とする所定の球の内部における、前記三次元汎用モデルの点を探索するように構成されていることを特徴とする請求項３に記載の装置。
- 前記法線方向が、前記対象となる点に最も近い３つ又は４つの点の座標によって面を構成することによって決定されることを特徴とする請求項３又は４に記載の装置。
- 前記調整手段（１８）が、
前記三次元表現（Ｒｅ）の特徴点（Ｐｒｅｆ）を検出するための検出手段（１６）と、
前記特徴点の位置が前記三次元汎用モデルの特徴点の位置に対応するように、回転及び／又は並進について前記三次元汎用モデル（ｍ１～ｍ３）を変形させるための変形手段（１８）と、
を含んでいることを特徴とする請求項１～５のいずれか一項に記載の装置。 - 前記獲得手段（１４）が、複数の前記三次元表現（Ｒｅ）をキャプチャすることによって前記三次元表現（Ｒｅ）を事前処理するための事前処理手段（１５）を含んでおり、
前記獲得手段（１４）が、様々な前記三次元表現（Ｒｅ）の点の座標の平均を得ることを特徴とする請求項１～６のいずれか一項に記載の装置。 - 前記事前処理手段（１５）が、様々な前記三次元表現（Ｒｅ）の前記点の前記座標の平均の選別を実施することを特徴とする請求項７に記載の装置。
- 処理ロボットであって、
関節式アームと、
前記関節式アームの一方の端部に配置されているエフェクタと、
三次元画像キャプチャ装置（Ｒｅ）と、
前記処理ロボットの移動を監視するための請求項１～８のいずれか一項に記載の装置と、
を含んでいることを特徴とする処理ロボット。 - 前記獲得手段（１４）が、前記関節式アーム（１２）又は前記エフェクタに配置されていることを特徴とする請求項９に記載の処理ロボット。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1755812A FR3067957B1 (fr) | 2017-06-26 | 2017-06-26 | Dispositif de gestion des deplacements d'un robot et robot de soin associe |
| FR1755812 | 2017-06-26 | ||
| PCT/EP2018/066672 WO2019002104A1 (fr) | 2017-06-26 | 2018-06-21 | Dispositif de gestion des deplacements d'un robot et robot de soin associe |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020525306A JP2020525306A (ja) | 2020-08-27 |
| JP7097956B2 true JP7097956B2 (ja) | 2022-07-08 |
Family
ID=59521126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020520716A Active JP7097956B2 (ja) | 2017-06-26 | 2018-06-21 | ロボットの移動を管理するための装置、及び関連する処理ロボット |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US11338443B2 (ja) |
| EP (1) | EP3645218A1 (ja) |
| JP (1) | JP7097956B2 (ja) |
| KR (1) | KR102500626B1 (ja) |
| CN (1) | CN110785269B (ja) |
| CA (1) | CA3067555A1 (ja) |
| FR (1) | FR3067957B1 (ja) |
| SG (1) | SG11201912547UA (ja) |
| WO (1) | WO2019002104A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3104054B1 (fr) * | 2019-12-10 | 2022-03-25 | Capsix | Dispositif de definition d’une sequence de deplacements sur un modele generique |
| USD1009283S1 (en) | 2020-04-22 | 2023-12-26 | Aescape, Inc. | Therapy end effector |
| US11999061B2 (en) | 2020-05-12 | 2024-06-04 | Aescape, Inc. | Method and system for autonomous object manipulation |
| WO2021231663A2 (en) | 2020-05-12 | 2021-11-18 | Aescape, Inc. | Method and system for autonomous object interaction |
| US11858144B2 (en) | 2020-05-12 | 2024-01-02 | Aescape, Inc. | Method and system for autonomous body interaction |
| CN111571611B (zh) * | 2020-05-26 | 2021-09-21 | 广州纳丽生物科技有限公司 | 一种基于面部及皮肤特征的面部作业机器人轨迹规划方法 |
| FR3127428A1 (fr) * | 2021-09-30 | 2023-03-31 | Exel Industries | Procede de peinture d’une piece comprenant la generation d’une trajectoire adaptee a la piece reelle |
| FR3141853A1 (fr) | 2022-11-14 | 2024-05-17 | Capsix | Effecteur de massage |
| US12083050B1 (en) | 2023-09-06 | 2024-09-10 | Aescape, Inc. | Adjustable table system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001246582A (ja) | 2000-02-29 | 2001-09-11 | Mitsubishi Heavy Ind Ltd | 作業用ロボット装置 |
| US20050089213A1 (en) | 2003-10-23 | 2005-04-28 | Geng Z. J. | Method and apparatus for three-dimensional modeling via an image mosaic system |
| JP2005138223A (ja) | 2003-11-06 | 2005-06-02 | Fanuc Ltd | ロボット用位置データ修正装置 |
| US20060181236A1 (en) | 2003-02-13 | 2006-08-17 | Abb Ab | Method and a system for programming an industrial robot to move relative to defined positions on an object, including generation of a surface scanning program |
| US20080270069A1 (en) | 2004-09-06 | 2008-10-30 | Francois Cros | Device for Creating a Full Three-Dimensional Representation of a Limb of a Patient From a Reduced Number of Measurements Taken From Said Limb |
| JP2016140958A (ja) | 2015-02-03 | 2016-08-08 | キヤノン株式会社 | オフライン教示装置、オフライン教示方法及びロボットシステム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02148307A (ja) | 1988-11-30 | 1990-06-07 | Kobe Steel Ltd | 工業用ロボットの教示データ作成装置 |
| US5083552A (en) * | 1990-06-05 | 1992-01-28 | Harvey Lipowitz | Computer controlled massage device |
| JP3670700B2 (ja) * | 1994-04-27 | 2005-07-13 | 株式会社日立製作所 | ロボット機構制御方法 |
| JPH10128684A (ja) * | 1996-10-30 | 1998-05-19 | Asahi Sanac Kk | ロボットの動作プログラム作成方法及びその作成装置 |
| US6267737B1 (en) * | 1997-05-15 | 2001-07-31 | Algis A. Meilus | Robotic system for lengthening muscles and method of use |
| IL133551A0 (en) * | 1999-12-16 | 2001-04-30 | Nissim Elias | Human touch massager |
| DE102006005958A1 (de) * | 2006-02-08 | 2007-08-16 | Kuka Roboter Gmbh | Verfahren zum Erzeugen eines Umgebungsbildes |
| CN100517060C (zh) * | 2006-06-01 | 2009-07-22 | 高宏 | 一种三维人像摄影方法 |
| US8578579B2 (en) * | 2007-12-11 | 2013-11-12 | General Electric Company | System and method for adaptive machining |
| US8918211B2 (en) * | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| CN101751689B (zh) * | 2009-09-28 | 2012-02-22 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| US9817389B2 (en) * | 2013-03-05 | 2017-11-14 | Rolls-Royce Corporation | Adaptively machining component surfaces and hole drilling |
| SG10201402803RA (en) * | 2014-06-02 | 2016-01-28 | Yizhong Zhang | A mobile automatic massage apparatus |
| KR20160033325A (ko) * | 2014-09-17 | 2016-03-28 | 전자부품연구원 | 로봇암으로 제어되는 의료용 레이저 장치 |
| US20170360578A1 (en) * | 2014-12-04 | 2017-12-21 | James Shin | System and method for producing clinical models and prostheses |
| US20170266077A1 (en) | 2016-03-21 | 2017-09-21 | Christian Campbell Mackin | Robotic massage machine and method of use |
| CN106407930A (zh) * | 2016-09-18 | 2017-02-15 | 长沙军鸽软件有限公司 | 一种按摩机器人的服务方法 |
-
2017
- 2017-06-26 FR FR1755812A patent/FR3067957B1/fr active Active
-
2018
- 2018-06-21 KR KR1020207002557A patent/KR102500626B1/ko active IP Right Grant
- 2018-06-21 SG SG11201912547UA patent/SG11201912547UA/en unknown
- 2018-06-21 US US16/625,704 patent/US11338443B2/en active Active
- 2018-06-21 WO PCT/EP2018/066672 patent/WO2019002104A1/fr unknown
- 2018-06-21 CN CN201880042150.5A patent/CN110785269B/zh active Active
- 2018-06-21 CA CA3067555A patent/CA3067555A1/fr active Pending
- 2018-06-21 JP JP2020520716A patent/JP7097956B2/ja active Active
- 2018-06-21 EP EP18731147.7A patent/EP3645218A1/fr active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001246582A (ja) | 2000-02-29 | 2001-09-11 | Mitsubishi Heavy Ind Ltd | 作業用ロボット装置 |
| US20060181236A1 (en) | 2003-02-13 | 2006-08-17 | Abb Ab | Method and a system for programming an industrial robot to move relative to defined positions on an object, including generation of a surface scanning program |
| US20050089213A1 (en) | 2003-10-23 | 2005-04-28 | Geng Z. J. | Method and apparatus for three-dimensional modeling via an image mosaic system |
| JP2005138223A (ja) | 2003-11-06 | 2005-06-02 | Fanuc Ltd | ロボット用位置データ修正装置 |
| US20080270069A1 (en) | 2004-09-06 | 2008-10-30 | Francois Cros | Device for Creating a Full Three-Dimensional Representation of a Limb of a Patient From a Reduced Number of Measurements Taken From Said Limb |
| JP2016140958A (ja) | 2015-02-03 | 2016-08-08 | キヤノン株式会社 | オフライン教示装置、オフライン教示方法及びロボットシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200023646A (ko) | 2020-03-05 |
| EP3645218A1 (fr) | 2020-05-06 |
| US11338443B2 (en) | 2022-05-24 |
| FR3067957A1 (fr) | 2018-12-28 |
| CA3067555A1 (fr) | 2019-01-03 |
| CN110785269B (zh) | 2023-04-07 |
| CN110785269A (zh) | 2020-02-11 |
| US20210154852A1 (en) | 2021-05-27 |
| SG11201912547UA (en) | 2020-01-30 |
| FR3067957B1 (fr) | 2020-10-23 |
| WO2019002104A1 (fr) | 2019-01-03 |
| JP2020525306A (ja) | 2020-08-27 |
| KR102500626B1 (ko) | 2023-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7097956B2 (ja) | ロボットの移動を管理するための装置、及び関連する処理ロボット | |
| JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2023505749A (ja) | 汎用モデルにおいて運動のシーケンスを定義するための装置 | |
| RU2016134234A (ru) | Способы и системы для приготовления пищи на роботизированной кухне | |
| JP4479194B2 (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
| Bouaziz et al. | Dynamic 2D/3D registration for the Kinect | |
| CN106164978A (zh) | 使用参数化可变形网状物来构造个性化具体化的方法和系统 | |
| KR20210154811A (ko) | 로봇 암의 가이딩 방법, 가이딩 시스템 | |
| Provenzale et al. | A grasp synthesis algorithm based on postural synergies for an anthropomorphic arm-hand robotic system | |
| CN116421277A (zh) | 毛囊移植控制方法、装置、计算机设备和存储介质 | |
| Muddassir et al. | Robotics meets cosmetic dermatology: Development of a novel vision-guided system for skin photo-rejuvenation | |
| CN112381952B (zh) | 一种基于多相机的面部轮廓点云模型重构方法及装置 | |
| Grieve et al. | Fingernail image registration using active appearance models | |
| WO2023112728A1 (ja) | 医療支援方法、医療支援ロボット装置、およびコンピュータプログラム | |
| Wang et al. | Hybrid model and appearance based eye tracking with kinect | |
| Grest et al. | Human model fitting from monocular posture images | |
| Zhang et al. | Autonomous path planning and stabilizing force interaction control for robotic massage in unknown environment | |
| Kwok et al. | Ga-based homography transformation for vision rectification in robot drawing system | |
| Balarezo et al. | Remote Manipulation of a Robotic Arm with 6 DOF via IBSV Using a Raspberry Pi and Machine Vision | |
| Charoenpong et al. | A new method to estimate rotation angle of a 3D eye model from single camera | |
| Cocias et al. | Generic fitted shapes (gfs): Volumetric object segmentation in service robotics | |
| Hwang et al. | Tracking the joints of arthropod legs using multiple images and inverse kinematics | |
| US8659591B2 (en) | Method of and system for image processing | |
| Carriere | Ultrasound-guided robotic assistance for prostate brachytherapy | |
| Paoli et al. | Automatic Point Clouds Alignment for the Reconstruction of Upper Limb Anatomy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220628 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7097956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |