JP7415956B2 - ロボットの制御装置、ロボットの制御方法、及びプログラム - Google Patents
ロボットの制御装置、ロボットの制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7415956B2 JP7415956B2 JP2020569603A JP2020569603A JP7415956B2 JP 7415956 B2 JP7415956 B2 JP 7415956B2 JP 2020569603 A JP2020569603 A JP 2020569603A JP 2020569603 A JP2020569603 A JP 2020569603A JP 7415956 B2 JP7415956 B2 JP 7415956B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- target position
- movable part
- unit
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000008451 emotion Effects 0.000 claims description 31
- 230000014509 gene expression Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 210000003128 head Anatomy 0.000 description 17
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 241001465754 Metazoa Species 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 210000001364 upper extremity Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000004744 fore-foot Anatomy 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 210000000548 hind-foot Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H2200/00—Computerized interactive toys, e.g. dolls
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Toys (AREA)
Description
1.ロボット装置の構成
2.対象への顔の追従制御
3.抱き上げに応じた顔向きの制御
4.制御のバリエーション
5.制御部で行われる処理
図1は、本開示の一実施形態に係るロボット装置1000の外観と、関節の回転軸を示す模式図である。ロボット装置1000は、サーボモータ等の電動モータにより駆動される4本の足100,110,120,130を備える。
次に、ロボット装置1000がユーザに抱き上げられた場合に行われる、ロボット装置1000の顔(頭部)の対象物への追従制御について説明する。本実施形態に係るロボット装置1000では、ユーザの抱き上げ動作に合わせて、興味の対象に顔を向け続けることができる。この動きは、例えば犬などの動物を抱き上げて向きを変えた場合に、その動物が、胴体の向きが変わっても興味の対象を見続ける動作に対応する。このような動きを実現することで、ロボット装置1000の動きをより現実の動物に近づけることができる。そして、ユーザの動きに合わせてロボット装置1000が動作するため、ロボット装置1000が対象に興味があることを示すとともに、ロボット装置1000がユーザと密なインタラクションを行うことができ、インタラクションの価値向上を行うことができる。なお、以下の説明では、顔の対象物への追従制御について説明するが、顔は一例であり、顔以外の任意の可動部についても、その向きが対象物に追従するように制御することができる。例えば、手の向きが対象物に追従するように制御しても良い。
次に、制御部600で行われる処理について説明する。図4は、ユーザがロボット装置1000を抱き上げた状態を示す模式図である。ユーザによってロボット装置1000が抱き上げられると、制御部600の抱き上げ判定部602によって抱き上げられたことが判定される。抱き上げ判定部602は角度取得部300のIMUから得られる情報、ロボット装置1000の脚などに装着された接触検知センサから得られる情報等に基づいて、ロボット装置1000が抱き上げられたことを判定する。
X2 = X1
Y2=Y1cosα-Z1sinα
Z2=Y1sinα+Z1cosα
ピッチ(Pitch)をβ回転
X3=X2cosβ+Z2sinβ
Y3=Y2
Z3=-X2sinβ+Z2cosβ
ロール(Roll)をγ回転
X4=X3cosγ-Y3sinγ
Y4=X3sinγ+Y3cosγ
Z4=Z3
以下では、制御部600による制御のバリエーションについて説明する。制御部600では、上述した抱き上げ時の角度変更分に応じた鼻先ベクトルaの補正に加えて、ロボット装置1000の感情、性格に合わせて顔をターゲット位置に向ける動きの表現を変更したり、目350など、頭部以外の駆動部による表現の制御を行う。なお、目350の駆動の制御についても、制御部600の駆動制御部606により行われる。
図6Aは、制御部600で行われる処理を示すフローチャートである。先ず、ステップS10では、ユーザがロボット装置1000を抱き上げる。次のステップS12では、ターゲット座標(X1、Y1、Z1)を決定する。次のステップS14では、角度取得部300から、ユーザがロボット装置1000を動かした際の回転角度を取得する。
(1) ロボットが持ち上げられたことを判定する判定部と、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、
を備える、ロボットの制御装置。
(2) 前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定するターゲット位置決定部を備える、前記(1)に記載のロボットの制御装置。
(3) 前記ターゲット位置決定部は、前記ロボットが持ち上げられた時点で前記可動部が向いている前記対象の位置を前記ターゲット位置として決定する、前記(2)に記載のロボットの制御装置。
(4) 前記所定の方向に存在する特定の前記対象の特徴を認識する特徴認識部を備え、
前記ターゲット位置決定部は、前記特徴認識部によって認識された前記特定の前記対象の位置を前記ターゲット位置として決定する、前記(2)に記載のロボットの制御装置。
(5) 前記特徴認識部は顔認識を行い、
前記特定の前記対象は、前記ロボットにとって特定の関係を有する人である、前記(4)に記載のロボットの制御装置。
(6) 前記回転角度に基づいて前記ターゲット位置の座標変換を行う座標変換部を備え、
前記駆動制御部は、前記可動部が座標変換された前記ターゲット位置を向くように前記可動部の駆動を制御する、前記(2)~(5)のいずれかに記載のロボットの制御装置。
(7) 前記ロボットが所定の動作を行った場合に、前記ターゲット位置を更新する更新部を更に備える、前記(2)~(6)のいずれかに記載のロボットの制御装置。
(8) 前記ロボットに設定された感情又は性格に関する情報を取得する取得部と、
前記感情又は前記性格に関する前記情報に基づいて、前記可動部の動きの表現を決定する表現決定部と、を備え、
前記駆動制御部は、前記表現に基づいて、前記可動部の動きを制御する、前記(1)~(7)のいずれかに記載のロボットの制御装置。
(9) ロボットが持ち上げられたことを判定することと、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、
を備える、ロボットの制御方法。
(10) ロボットが持ち上げられたことを判定する手段、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、
としてコンピュータを機能させるためのプログラム。
603 ターゲット位置決定部
604 回転角度取得部
606 駆動制御部
608 座標変換部
610 駆動表現決定部
1000 ロボット装置
2000 制御装置
Claims (8)
- ロボットが持ち上げられたことを判定する判定部と、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、
前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定するターゲット位置決定部と、
前記ロボットのヨー軸、ピッチ軸及びロール軸のいずれかが90度以上回転した場合に、前記ターゲット位置を更新する更新部と、
を備える、ロボットの制御装置。 - 前記ターゲット位置決定部は、前記ロボットが持ち上げられた時点で前記可動部が向いている前記対象の位置を前記ターゲット位置として決定する、請求項1に記載のロボットの制御装置。
- 前記所定の方向に存在する特定の前記対象の特徴を認識する特徴認識部を備え、
前記ターゲット位置決定部は、前記特徴認識部によって認識された前記特定の前記対象の位置を前記ターゲット位置として決定する、請求項1に記載のロボットの制御装置。 - 前記特徴認識部は顔認識を行い、
前記特定の前記対象は、前記ロボットにとって特定の関係を有する人である、請求項3に記載のロボットの制御装置。 - 前記回転角度に基づいて前記ターゲット位置の座標変換を行う座標変換部を備え、
前記駆動制御部は、前記可動部が座標変換された前記ターゲット位置を向くように前記可動部の駆動を制御する、請求項1~4のいずれか1項に記載のロボットの制御装置。 - 前記ロボットに設定された感情又は性格に関する情報を取得する取得部と、
前記感情又は前記性格に関する前記情報に基づいて、前記可動部の動きの表現を決定する表現決定部と、を備え、
前記駆動制御部は、前記表現に基づいて、前記可動部の動きを制御する、請求項1~5のいずれか1項に記載のロボットの制御装置。 - ロボットが持ち上げられたことを判定することと、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、
前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定することと、
前記ロボットのヨー軸、ピッチ軸及びロール軸のいずれかが90度以上回転した場合に、前記ターゲット位置を更新することと、
を備える、ロボットの制御方法。 - ロボットが持ち上げられたことを判定する手段、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、
前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定する手段、
前記ロボットのヨー軸、ピッチ軸及びロール軸のいずれかが90度以上回転した場合に、前記ターゲット位置を更新する手段、
としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019015698 | 2019-01-31 | ||
JP2019015698 | 2019-01-31 | ||
PCT/JP2020/002685 WO2020158641A1 (ja) | 2019-01-31 | 2020-01-27 | ロボットの制御装置、ロボットの制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020158641A1 JPWO2020158641A1 (ja) | 2021-12-02 |
JP7415956B2 true JP7415956B2 (ja) | 2024-01-17 |
Family
ID=71840051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569603A Active JP7415956B2 (ja) | 2019-01-31 | 2020-01-27 | ロボットの制御装置、ロボットの制御方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220118602A1 (ja) |
EP (1) | EP3919146A4 (ja) |
JP (1) | JP7415956B2 (ja) |
CN (1) | CN113329798B (ja) |
WO (1) | WO2020158641A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003266348A (ja) | 2002-03-18 | 2003-09-24 | Sony Corp | ロボット装置及びその制御方法 |
JP2003311028A (ja) | 2002-04-26 | 2003-11-05 | Matsushita Electric Ind Co Ltd | ペットロボット装置 |
WO2018012219A1 (ja) | 2016-07-11 | 2018-01-18 | Groove X株式会社 | 自律行動型ロボット |
WO2018016461A1 (ja) | 2016-07-20 | 2018-01-25 | Groove X株式会社 | スキンシップを理解する自律行動型ロボット |
WO2018084170A1 (ja) | 2016-11-07 | 2018-05-11 | Groove X株式会社 | 人を識別する自律行動型ロボット |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4517509B2 (ja) | 1998-11-30 | 2010-08-04 | ソニー株式会社 | ロボット装置及びその制御方法 |
JP2004306251A (ja) * | 2003-03-23 | 2004-11-04 | Sony Corp | ロボット装置及びその制御方法 |
JP4715787B2 (ja) * | 2007-03-22 | 2011-07-06 | トヨタ自動車株式会社 | 移動ロボット及びロボット移動制御方法 |
JP5456588B2 (ja) * | 2010-06-07 | 2014-04-02 | 本田技研工業株式会社 | 脚式移動ロボットの制御装置 |
JP6854722B2 (ja) * | 2017-07-14 | 2021-04-07 | パナソニック株式会社 | ロボット |
-
2020
- 2020-01-27 CN CN202080010478.6A patent/CN113329798B/zh active Active
- 2020-01-27 JP JP2020569603A patent/JP7415956B2/ja active Active
- 2020-01-27 EP EP20749649.8A patent/EP3919146A4/en active Pending
- 2020-01-27 WO PCT/JP2020/002685 patent/WO2020158641A1/ja unknown
- 2020-01-27 US US17/425,047 patent/US20220118602A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003266348A (ja) | 2002-03-18 | 2003-09-24 | Sony Corp | ロボット装置及びその制御方法 |
JP2003311028A (ja) | 2002-04-26 | 2003-11-05 | Matsushita Electric Ind Co Ltd | ペットロボット装置 |
WO2018012219A1 (ja) | 2016-07-11 | 2018-01-18 | Groove X株式会社 | 自律行動型ロボット |
WO2018016461A1 (ja) | 2016-07-20 | 2018-01-25 | Groove X株式会社 | スキンシップを理解する自律行動型ロボット |
WO2018084170A1 (ja) | 2016-11-07 | 2018-05-11 | Groove X株式会社 | 人を識別する自律行動型ロボット |
Also Published As
Publication number | Publication date |
---|---|
CN113329798A (zh) | 2021-08-31 |
US20220118602A1 (en) | 2022-04-21 |
WO2020158641A1 (ja) | 2020-08-06 |
JPWO2020158641A1 (ja) | 2021-12-02 |
EP3919146A1 (en) | 2021-12-08 |
EP3919146A4 (en) | 2022-04-06 |
CN113329798B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4609584B2 (ja) | ロボット装置、顔認識方法及び顔認識装置 | |
US11691289B2 (en) | Systems and methods for robotic behavior around moving bodies | |
US20220097230A1 (en) | Robot control device, robot control method, and program | |
JP4239635B2 (ja) | ロボット装置、その動作制御方法、及びプログラム | |
US8924020B2 (en) | Apparatus for controlling robot and control method thereof | |
JP2003266351A (ja) | ロボット装置及びロボット装置の動作制御方法 | |
JP6228097B2 (ja) | 移動ロボット | |
JP2018167330A (ja) | ロボットの制御装置 | |
Wang et al. | A generative human-robot motion retargeting approach using a single depth sensor | |
US11285606B2 (en) | Control device, robot, control method, and non-transitory computer-readable recording medium | |
JP7415956B2 (ja) | ロボットの制御装置、ロボットの制御方法、及びプログラム | |
JP7309371B2 (ja) | ロボット制御システム | |
US11986746B2 (en) | Information processing device and information processing method | |
Chen et al. | Human-aided robotic grasping | |
JP6158665B2 (ja) | ロボット、ロボット制御方法、およびロボット制御プログラム | |
US20220001547A1 (en) | Information processing device, information processing method, and program | |
JP2004130427A (ja) | ロボット装置及びロボット装置の動作制御方法 | |
Brandk-ão et al. | Reaching for the unreachable: integration of locomotion and whole-body movements for extended visually guided reaching | |
US20230239439A1 (en) | Imaging system and robot system | |
Liu et al. | Symmetric Kullback‐Leibler Metric Based Tracking Behaviors for Bioinspired Robotic Eyes | |
US20240189992A1 (en) | Robot control device, robot control method, and program | |
JP6647143B2 (ja) | 機能装置ならびにその制御装置および制御方法 | |
JP4539291B2 (ja) | ロボット装置及びその動作制御方法 | |
CN114789437A (zh) | 仿人手臂 | |
JP2023537552A (ja) | ロボット付属物の作動 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7415956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |