JP7415956B2 - ロボットの制御装置、ロボットの制御方法、及びプログラム - Google Patents

ロボットの制御装置、ロボットの制御方法、及びプログラム Download PDF

Info

Publication number
JP7415956B2
JP7415956B2 JP2020569603A JP2020569603A JP7415956B2 JP 7415956 B2 JP7415956 B2 JP 7415956B2 JP 2020569603 A JP2020569603 A JP 2020569603A JP 2020569603 A JP2020569603 A JP 2020569603A JP 7415956 B2 JP7415956 B2 JP 7415956B2
Authority
JP
Japan
Prior art keywords
robot
target position
movable part
unit
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569603A
Other languages
English (en)
Other versions
JPWO2020158641A1 (ja
Inventor
祐介 川部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020158641A1 publication Critical patent/JPWO2020158641A1/ja
Application granted granted Critical
Publication of JP7415956B2 publication Critical patent/JP7415956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本開示は、ロボットの制御装置、ロボットの制御方法、及びプログラムに関する。
従来、下記の特許文献1には、ロボット装置及びその制御方法に関し、加速度センサや回転角センサによって加速度情報や回転角情報を検出し、検出した信号を時系列的に記憶部に記憶させ、記憶した時系列信号から分散等の特定情報を算出し、この特定情報からロボット装置の状態を判定することが記載されている。
特許第4517509号公報
ペットとして飼われている動物は、人間との間の触れ合いに応じて様々な動きを行う。ロボットなどにおいても、動物型のロボットなどでは、実際の動物と同様の動作を行うことが望ましい。
しかし、上記特許文献に記載された技術は、加速度情報や回転角情報に基づいてロボットの状態を判定することは想定しているものの、ユーザがロボットを持ち上げた場合に、実際の動物と同様の動作をすることは想定していなかった。
そこで、ユーザがロボットを持ち上げた場合に、ロボットが実際の動物と同様の動作をすることが求められていた。
本開示によれば、ロボットが持ち上げられたことを判定する判定部と、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、を備える、ロボットの制御装置が提供される。
また、本開示によれば、ロボットが持ち上げられたことを判定することと、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、を備える、ロボットの制御方法が提供される。
また、本開示によれば、ロボットが持ち上げられたことを判定する手段、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、としてコンピュータを機能させるためのプログラムが提供される。
ロボット装置の外観と、関節の回転軸を示す模式図である。 ロボット装置の頭部を示す模式図である。 ロボット装置を制御するシステムの構成を示す模式図である。 ユーザがロボット装置を抱き上げた状態を示す模式図である。 複数の人物が存在する場合に、ターゲット位置の座標を決定する方法を示す模式図である。 制御部で行われる処理を示すフローチャートである。 図6AのステップS12でターゲット座標を決定(更新)する処理を詳細に示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.ロボット装置の構成
2.対象への顔の追従制御
3.抱き上げに応じた顔向きの制御
4.制御のバリエーション
5.制御部で行われる処理
1.ロボット装置の構成
図1は、本開示の一実施形態に係るロボット装置1000の外観と、関節の回転軸を示す模式図である。ロボット装置1000は、サーボモータ等の電動モータにより駆動される4本の足100,110,120,130を備える。
図1に示すように、ロボット装置1000は、複数の関節部を備える。ここで、説明の便宜上、ロボット装置1000をその動きから右前足系統、左前足系統、右後足系統、左後足系統、本体(Body)系統、頭系統に分類することにする。右前足系統は、関節部102、関節部104、関節部106を有する。左前足系統は、関節部112、関節部114、関節部116を有する。右後足系統は、関節部122、関節部124、関節部126を有する。左後足系統は、関節部132、関節部134、関節部136を有する。また、本体系統は、関節部142を有する。頭系統は関節部152、関節部154、関節部156、関節部158を有する。これらの各系統は、胴体140に対して連結されている。なお、図1に示す各関節部は、電動モータにより駆動される主要な関節部を示している。ロボット装置1000は、図1に示す関節部の他にも、他の関節部の動きに従って従動的に動く関節部を有する。また、ロボット装置1000は、口、耳、尻尾などの複数の可動部を有し、これらの可動部も電動モータ等によって駆動される。
図1では、各関節部を円筒で示している。各関節部において、円筒の中心軸が関節部の回転軸に対応している。頭系統では、関節部152が設けられていることにより、ロボット装置1000を正面から見た場合に、首を左右に傾ける動作が実現される。また、本体系統では、関節部142が設けられていることにより、ロボット装置1000を上から見た場合に、腰を左右に振る動きが実現される。これにより、ロボット装置1000による、今まで以上に多彩な動きを実現することが可能である。
各関節部は、サーボモータ等の電動モータ(以下、単にモータという)によって駆動される。なお、駆動源は特に限定されるものではない。各関節部のモータは、ギヤ機構、エンコーダ、及びモータを駆動するためのマイクロコントローラとともに、1つのボックス(箱)に収められている。ボックスは、樹脂材料(プラスチックなど)から構成される。モータとギヤ機構を1つのボックスの中に収納して密閉することで、ロボット装置1000の静粛性を高めることが可能である。
右後足系統を例に挙げると、関節部132と関節部134のモータ、ギヤ機構、エンコーダ、マイクロコントローラは、1つのボックスに収納されており、このボックスは2軸の回転軸を構成する。一方、関節部136のモータ、ギヤ機構、マイクロコントローラは、1つのボックスに収納されており、このボックスは1軸の回転軸を構成する。また、頭系統では、関節部152、関節部154、関節部156により3軸の回転軸が構成されている。
なお、2軸の回転軸を1つのボックスに収納することで、球体の関節を実現することができる。また、2軸の回転軸を1つのボックスに収納することで、関節部に関わるスペースを抑制することができ、デザインを重視してロボット装置1000の形状を決定することが可能となる。
上述した右前足系統などの各系統は、各関節部が備えるマイクロコンピュータによって制御される。関節部のうち、例えば頭系統の関節部158は、電気的にブレーキがかかるように構成されている。電源オフ時などに関節部158が自在に回転できるようになると、頭部が下に降りて、ユーザの手などに当たる可能性がある。関節部158にブレーキをかけておくことで、このような事態を回避できる。ブレーキは、電源オフ時に関節部158のモータの回転により生じる起電力に基づいて、モータの回転を判定し、モータが回転しようとする方向と逆方向に駆動力を生じさせる方法により実現できる。
図2は、ロボット装置1000の頭部150、特に顔を示す模式図である。図2に示すロボット装置1000の目350は、ロボット装置1000の動作に応じて、様々な動きや表示を行うように構成されている。このため、ロボット装置1000は、左右のそれぞれの目350に自発光型の表示装置(OLED)を備えている。
2.対象への顔の追従制御
次に、ロボット装置1000がユーザに抱き上げられた場合に行われる、ロボット装置1000の顔(頭部)の対象物への追従制御について説明する。本実施形態に係るロボット装置1000では、ユーザの抱き上げ動作に合わせて、興味の対象に顔を向け続けることができる。この動きは、例えば犬などの動物を抱き上げて向きを変えた場合に、その動物が、胴体の向きが変わっても興味の対象を見続ける動作に対応する。このような動きを実現することで、ロボット装置1000の動きをより現実の動物に近づけることができる。そして、ユーザの動きに合わせてロボット装置1000が動作するため、ロボット装置1000が対象に興味があることを示すとともに、ロボット装置1000がユーザと密なインタラクションを行うことができ、インタラクションの価値向上を行うことができる。なお、以下の説明では、顔の対象物への追従制御について説明するが、顔は一例であり、顔以外の任意の可動部についても、その向きが対象物に追従するように制御することができる。例えば、手の向きが対象物に追従するように制御しても良い。
図3は、ロボット装置1000を制御する制御装置2000の構成を示す模式図であって、顔の追従制御を行うための構成を示している。制御装置2000は、ロボット装置1000に搭載される。図3に示すように、この制御装置2000は、駆動部200、角度取得部300、特徴認識部400、感情・性格取得部500、制御部600、を有して構成されている。
駆動部200は、各関節のモータ、エンコーダ、ギヤ機構に対応する。角度取得部300は、慣性計測装置(IMU:Inertial Measurement Unit)から構成され、ロボット装置1000がユーザに抱き上げられて動かされた場合に、ロボット装置1000の3軸(ヨー、ピッチ、ロール)の回転角度を検出する。
特徴認識部400は、カメラを有して構成され、カメラの撮像画像を画像処理することで、撮像画像の特徴を認識する。図2に示すように、ロボット装置1000の鼻には、カメラ700が装着されており、カメラ700は、特徴認識部400のカメラに相当する。
特徴認識部400は、例えば顔認識処理を行うことで、ロボット装置1000の所有者などロボット装置1000にとって特定の関係を有する人(以下、オーナ等という)、オーナ等以外の人物であって、ロボット装置1000との関連性の高い人物などを認識することができる。なお、オーナ等や関連性の高い人物の顔画像を予め保有しておき、撮像した顔画像と対比することで顔認識処理が行われる。また、特徴認識部400は、3Dカメラを備えることにより、被写体までの距離を取得するものであっても良い。更に、特徴検出部400は、ToFセンサを有していても良く、ToFセンサから物体のデプス情報を検出するものであっても良い。
感情・性格取得部500は、ロボット装置1000の感情、性格を取得する。ロボット装置1000は、その時々の状態に応じて、複数の感情のうちのいずれかに設定されることができる。感情・性格取得部500は、現時点で設定されているロボット装置1000の感情を取得する。設定される感情としては、「怒り」、「喜び」、「悲しみ」などが挙げられる。
また、ロボット装置1000は、先天的または後天的に設定された性格を有している。感情・性格取得部500は、設定されているロボット装置1000の性格を取得する。設定される感情としては、「ワイルド」、「キュート」、「シャイ」、「甘えん坊」などが挙げられる。
制御部600は、駆動部200、角度取得部300、特徴認識部400、感情・性格取得部500、のそれぞれから得られる情報に基づいて、ロボット装置1000の顔の追従制御を行う。このため、制御部600は、抱き上げ判定部602、ターゲット位置決定部603、回転角度取得部604、駆動制御部606、座標変換部608、駆動表現決定部610、座標更新部612、を有して構成されている。なお、制御部600の各構成要素は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)から構成することができる。
3.抱き上げに応じた顔向きの制御
次に、制御部600で行われる処理について説明する。図4は、ユーザがロボット装置1000を抱き上げた状態を示す模式図である。ユーザによってロボット装置1000が抱き上げられると、制御部600の抱き上げ判定部602によって抱き上げられたことが判定される。抱き上げ判定部602は角度取得部300のIMUから得られる情報、ロボット装置1000の脚などに装着された接触検知センサから得られる情報等に基づいて、ロボット装置1000が抱き上げられたことを判定する。
そして、抱き上げられた状態で、ターゲット位置決定部603が、駆動部200のエンコーダから得られる情報に基づいて、顔の向きを示すベクトル(図1に示すベクトルa)が向くターゲット位置の座標(X1、Y1、Z1)を決定する。なお、以下では、ベクトルaを鼻先ベクトルaと称する。
具体的には、各関節部に設けられたエンコーダから、各関節部の角度が判るため、これに基づいて顔の向きを示す鼻先ベクトルaが一義的に定まる。ターゲット位置決定部603は、抱き上げられたタイミングでの顔の向きに基づいて、例えば鼻先ベクトルaの方向に存在する対象をターゲットとして決定し、対象までの距離に基づいてターゲット位置の座標を決定する。なお、対象までの距離は、特徴認識部400が備える3Dカメラ、ToFセンサから検出することができる。
なお、上述した説明では、抱き上げられたタイミングでの顔の向きに基づいてターゲット位置の座標を決定する手法を示したが、ターゲット位置の座標は、特徴認識部400から得られた、例えばロボット装置1000のオーナ等の顔の位置を示す座標や、オーナ等以外の人物であってロボット装置1000が顔を記憶している特定の人物の顔の位置を示す座標、抱き上げ姿勢時の頭部座標などであっても良い。これらの人物は、上述したように、特徴認識部400が顔認識処理を行うことで認識される。
ターゲット位置の座標は、特徴認識部400が認識する特徴位置が更新されたり、角度取得部300から得られるロボット装置1000の回転角度に基づいて、ロボット装置が90度以上回転された場合などに更新される。ターゲット位置の座標は、制御部600の座標更新部612によって更新される。
ユーザによってロボット装置1000が抱き上げられた後、人がロボット装置1000を動かすと、鼻先ベクトルaがターゲット位置の座標(X1、Y1、Z1)から相違する。図4では、ユーザがロボット装置1000を矢印A1方向に旋回させた様子を示している。このとき、人がロボット装置1000を動かした際の回転角度(ターゲット位置からの偏差)を角度取得部300が取得する。
制御部600の回転角度取得部604は、角度取得部300が取得した回転角度(偏差)を取得する。制御部600の座標変換部608は、回転角度を補正するための顔の回転量の演算(ターゲット位置の座標変換)を行う。制御部600の駆動制御部606は、回転量を駆動部200へ送り、顔の回転を制御する。これにより、主に頭系統の関節部152、関節部154、関節部156、関節部158のモータが制御されることで、人がロボット装置1000を動かしたことに応じて、鼻先ベクトルaがターゲット位置の座標(X1、Y1、Z1)に向かうように顔の向きが制御される。図4の例では、顔の向きが矢印A2方向に回転する。これにより、元のターゲット位置にロックした場所に顔を回転することができる。
具体的に、制御部600による、上述した顔の回転量を演算は、以下のように行うことができる。元のターゲット位置の座標(X1、Y1、Z1)に対して、角度取得部300から得られる情報に基づいて、ヨー(Yaw)をα回転、ピッチ(Pitch)をβ回転、ロール(Roll)をγ回転する場合、以下のように、座標(X1、Y1、Z1)に対してヨーのα回転、ピッチのβ回転、ロールのγ回転を順次に行い、補正後のターゲット位置の座標(X4、Y4、Z4)を演算する。なお、ロボット装置1000の自身の座標は(0,0,0)であるものとする。
ヨー(Yaw)をα回転
X2 = X1
Y2=Y1cosα-Z1sinα
Z2=Y1sinα+Z1cosα
ピッチ(Pitch)をβ回転
X3=X2cosβ+Z2sinβ
Y3=Y2
Z3=-X2sinβ+Z2cosβ
ロール(Roll)をγ回転
X4=X3cosγ-Y3sinγ
Y4=X3sinγ+Y3cosγ
Z4=Z3
以上により鼻先ベクトルaがロボット装置1000の座標(0,0,0)に対して何処を向けばターゲット位置に向かうかを演算することができる。なお、補正後のターゲット位置に顔の向きを向け直すことで、元のターゲット位置にロックした場所に顔を回転することができる。
以上のような制御をロボット装置1000の抱き上げ中に継続することで、ターゲット位置に対して継続的に顔を向けることができる。従って、抱き上げ時に、興味のある対象に対してロボット装置1000の顔の向きが追従するような動きを実現でき、ロボット装置1000に対して、実際の動物と同様に生命感のある動きを演出させることができる。
4.制御のバリエーション
以下では、制御部600による制御のバリエーションについて説明する。制御部600では、上述した抱き上げ時の角度変更分に応じた鼻先ベクトルaの補正に加えて、ロボット装置1000の感情、性格に合わせて顔をターゲット位置に向ける動きの表現を変更したり、目350など、頭部以外の駆動部による表現の制御を行う。なお、目350の駆動の制御についても、制御部600の駆動制御部606により行われる。
このため、制御部600の駆動表現決定部610は、感情・性格取得部500が取得したロボット装置1000の感情、性格を取得し、ロボット装置1000の感情、性格に応じた動きの表現を決定する。駆動制御部606は、駆動表現決定部610が決定した駆動の表現に基づいて、駆動部200を制御する。
これにより、駆動制御部606は、人がロボット装置1000を動かした際の回転角度に基づいて顔の向きの制御を行う際に、感情・性格取得部500から取得したロボット装置1000の感情、性格を加味して顔の向きの制御を行う。
例えば、感情・性格取得部500から取得したロボット装置1000の性格が「ワイルド」の場合、角度取得部300から取得した回転角度に基づき、ターゲット位置への頭部の動きが通常よりも素早く行われ、ロボット装置1000の性格が「ワイルド」であることが表現される。一方、感情・性格取得部500から取得したロボット装置1000の性格が「シャイ」の場合、角度取得部300から取得した回転角度に基づき、ターゲット位置への頭部の動きがゆっくりと行われ、ロボット装置1000の性格が「シャイ」であることが表現される。
また、感情・性格取得部500から取得したロボット装置1000の性格が「シャイ」の場合、ロボット装置1000の頭部以外の目350や足の動きを制御して、ロボット装置1000がシャイである表現を行う。例えば、ターゲット位置への復帰を遅らせたり、前足で顔を隠すような動作を行うことで、ロボット装置1000がシャイであることを表現できる。
また、感情・性格取得部500から取得したロボット装置1000の性格が「キュート」の場合、ロボット装置1000の目350や足の動きを制御して、ロボット装置1000が可愛らしく動作するような表現を行う。例えば、ターゲット位置への頭部の復帰の動きに揺れの動作を加えたり、目350の瞬きの回数を多くしたり、前足を細かく動かすなどの動作を行うことで、ロボット装置1000が可愛らしく動作するような表現を行うことができる。
また、感情・性格取得部500から取得したロボット装置1000の感情が「怒っている」の場合、角度取得部300から取得した回転角度に基づき、ターゲット位置への頭部の動きが、あたかもロボット装置1000が怒っているかのごとく、素早く行われる。
また、制御部600の駆動制御部606は、人がロボット装置1000を動かした際の回転角度に基づいて顔の向きの制御を行う際に、回転角度の大きさに基づいて、顔をターゲット位置に向ける動きの表現を変更したり、目350など、頭部以外の駆動部による表現の制御を行うこともできる。
例えば、回転角度が所定値よりも大きい場合は、ロボット装置1000の目350がびっくりした状態を表現するように目350の表示を制御する。また、駆動制御部606は、回転角度が所定値よりも大きい場合は、前足で顔を隠すような危険回避姿勢をとるように駆動部200の制御を行う。
また、回転角度が所定値よりも小さい場合は、角度取得部300から取得した回転角度の変化(回転角速度)に応じて、ターゲット位置へ向ける制御速度が変化するように制御しても良い。また、回転角度が所定値よりも大きい場合は、ターゲット位置へ向ける制御速度が一定となるように制御しても良い。
更に、ターゲット位置に顔を向ける軌跡は、最短の軌跡でなくても良く、ロボット装置1000の感情や回転角度(偏差)に応じて変更することができる。例えば、ロボット装置1000の感情が「シャイ」の場合、ターゲット位置に顔を向ける軌跡を最短の軌跡とせずに、余分な軌跡を加えることで、ロボット装置1000がシャイであることを表現しても良い。
図5は、複数の人物が存在する場合に、ターゲット位置の座標を決定する方法を示す模式図である。複数人の人物が存在する場合、ロボット装置1000が矢印A3方向に首を回し、複数人を見渡してスキャンする動きを行い、オーナ等など予め認識している人物をターゲット座標として更新する。また、複数の人物が存在する場合、中央の人物をターゲット位置の座標として決定しても良い。また、人の声を取得し、声のする方向をターゲット位置としても良い。
5.制御部で行われる処理
図6Aは、制御部600で行われる処理を示すフローチャートである。先ず、ステップS10では、ユーザがロボット装置1000を抱き上げる。次のステップS12では、ターゲット座標(X1、Y1、Z1)を決定する。次のステップS14では、角度取得部300から、ユーザがロボット装置1000を動かした際の回転角度を取得する。
次のステップS16では、角度取得部300から取得した回転角度に基づいて、上述した手法により3次元座標変換を行う。次のステップS18では、感情・性格取得部500が取得したロボット装置1000の感情、性格に基づいて、駆動表現を決定する。次のステップS20では、ターゲット位置に鼻先ベクトルaが向くように駆動部200を制御する。
また、ステップS20では、ステップS18で決定した駆動表現に基づいて、駆動部200を制御する。これにより、上述したように、感情、性格に応じて駆動部200の制御が行われる。
次のステップS22では、ユーザによるロボット装置1000の抱き上げが継続しているか否かを判定し、抱き上げが継続している場合はステップS12に戻り、以降の処理を行う。一方、抱き上げが継続していない場合は、抱き上げを終了し(ステップS24)、処理を終了する。
図6Bは、図6AのステップS12でターゲット座標を決定(更新)する処理を詳細に示すフローチャートである。ステップS26では、特徴認識部400による画像認識で得られた特徴点が更新されたか、またはロボット装置1000のヨー軸が90度以上回転したかを判定する。ステップS26で特徴点が更新されたか、またはロボット装置1000のヨー軸が90度以上回転した場合は、ステップS28へ進み、ターゲット座標を更新する。ステップS28の後は処理を終了する。また、ステップS26で特徴点が更新されておらず、且つロボット装置1000のヨー軸が90度以上回転していない場合は、ステップS28へ進むことなく処理を終了する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) ロボットが持ち上げられたことを判定する判定部と、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、
を備える、ロボットの制御装置。
(2) 前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定するターゲット位置決定部を備える、前記(1)に記載のロボットの制御装置。
(3) 前記ターゲット位置決定部は、前記ロボットが持ち上げられた時点で前記可動部が向いている前記対象の位置を前記ターゲット位置として決定する、前記(2)に記載のロボットの制御装置。
(4) 前記所定の方向に存在する特定の前記対象の特徴を認識する特徴認識部を備え、
前記ターゲット位置決定部は、前記特徴認識部によって認識された前記特定の前記対象の位置を前記ターゲット位置として決定する、前記(2)に記載のロボットの制御装置。
(5) 前記特徴認識部は顔認識を行い、
前記特定の前記対象は、前記ロボットにとって特定の関係を有する人である、前記(4)に記載のロボットの制御装置。
(6) 前記回転角度に基づいて前記ターゲット位置の座標変換を行う座標変換部を備え、
前記駆動制御部は、前記可動部が座標変換された前記ターゲット位置を向くように前記可動部の駆動を制御する、前記(2)~(5)のいずれかに記載のロボットの制御装置。
(7) 前記ロボットが所定の動作を行った場合に、前記ターゲット位置を更新する更新部を更に備える、前記(2)~(6)のいずれかに記載のロボットの制御装置。
(8) 前記ロボットに設定された感情又は性格に関する情報を取得する取得部と、
前記感情又は前記性格に関する前記情報に基づいて、前記可動部の動きの表現を決定する表現決定部と、を備え、
前記駆動制御部は、前記表現に基づいて、前記可動部の動きを制御する、前記(1)~(7)のいずれかに記載のロボットの制御装置。
(9) ロボットが持ち上げられたことを判定することと、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、
を備える、ロボットの制御方法。
(10) ロボットが持ち上げられたことを判定する手段、
前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、
前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、
としてコンピュータを機能させるためのプログラム。
602 抱き上げ判定部
603 ターゲット位置決定部
604 回転角度取得部
606 駆動制御部
608 座標変換部
610 駆動表現決定部
1000 ロボット装置
2000 制御装置

Claims (8)

  1. ロボットが持ち上げられたことを判定する判定部と、
    前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、
    前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、
    前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定するターゲット位置決定部と、
    前記ロボットのヨー軸、ピッチ軸及びロール軸のいずれかが90度以上回転した場合に、前記ターゲット位置を更新する更新部と、
    を備える、ロボットの制御装置。
  2. 前記ターゲット位置決定部は、前記ロボットが持ち上げられた時点で前記可動部が向いている前記対象の位置を前記ターゲット位置として決定する、請求項に記載のロボットの制御装置。
  3. 前記所定の方向に存在する特定の前記対象の特徴を認識する特徴認識部を備え、
    前記ターゲット位置決定部は、前記特徴認識部によって認識された前記特定の前記対象の位置を前記ターゲット位置として決定する、請求項に記載のロボットの制御装置。
  4. 前記特徴認識部は顔認識を行い、
    前記特定の前記対象は、前記ロボットにとって特定の関係を有する人である、請求項に記載のロボットの制御装置。
  5. 前記回転角度に基づいて前記ターゲット位置の座標変換を行う座標変換部を備え、
    前記駆動制御部は、前記可動部が座標変換された前記ターゲット位置を向くように前記可動部の駆動を制御する、請求項1~4のいずれか1項に記載のロボットの制御装置。
  6. 前記ロボットに設定された感情又は性格に関する情報を取得する取得部と、
    前記感情又は前記性格に関する前記情報に基づいて、前記可動部の動きの表現を決定する表現決定部と、を備え、
    前記駆動制御部は、前記表現に基づいて、前記可動部の動きを制御する、請求項1~5のいずれか1項に記載のロボットの制御装置。
  7. ロボットが持ち上げられたことを判定することと、
    前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、
    前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、
    前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定することと、
    前記ロボットのヨー軸、ピッチ軸及びロール軸のいずれかが90度以上回転した場合に、前記ターゲット位置を更新することと、
    を備える、ロボットの制御方法。
  8. ロボットが持ち上げられたことを判定する手段、
    前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、
    前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、
    前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定する手段、
    前記ロボットのヨー軸、ピッチ軸及びロール軸のいずれかが90度以上回転した場合に、前記ターゲット位置を更新する手段、
    としてコンピュータを機能させるためのプログラム。
JP2020569603A 2019-01-31 2020-01-27 ロボットの制御装置、ロボットの制御方法、及びプログラム Active JP7415956B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019015698 2019-01-31
JP2019015698 2019-01-31
PCT/JP2020/002685 WO2020158641A1 (ja) 2019-01-31 2020-01-27 ロボットの制御装置、ロボットの制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020158641A1 JPWO2020158641A1 (ja) 2021-12-02
JP7415956B2 true JP7415956B2 (ja) 2024-01-17

Family

ID=71840051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569603A Active JP7415956B2 (ja) 2019-01-31 2020-01-27 ロボットの制御装置、ロボットの制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US20220118602A1 (ja)
EP (1) EP3919146A4 (ja)
JP (1) JP7415956B2 (ja)
CN (1) CN113329798B (ja)
WO (1) WO2020158641A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266348A (ja) 2002-03-18 2003-09-24 Sony Corp ロボット装置及びその制御方法
JP2003311028A (ja) 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd ペットロボット装置
WO2018012219A1 (ja) 2016-07-11 2018-01-18 Groove X株式会社 自律行動型ロボット
WO2018016461A1 (ja) 2016-07-20 2018-01-25 Groove X株式会社 スキンシップを理解する自律行動型ロボット
WO2018084170A1 (ja) 2016-11-07 2018-05-11 Groove X株式会社 人を識別する自律行動型ロボット

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517509B2 (ja) 1998-11-30 2010-08-04 ソニー株式会社 ロボット装置及びその制御方法
JP2004306251A (ja) * 2003-03-23 2004-11-04 Sony Corp ロボット装置及びその制御方法
JP4715787B2 (ja) * 2007-03-22 2011-07-06 トヨタ自動車株式会社 移動ロボット及びロボット移動制御方法
JP5456588B2 (ja) * 2010-06-07 2014-04-02 本田技研工業株式会社 脚式移動ロボットの制御装置
JP6854722B2 (ja) * 2017-07-14 2021-04-07 パナソニック株式会社 ロボット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266348A (ja) 2002-03-18 2003-09-24 Sony Corp ロボット装置及びその制御方法
JP2003311028A (ja) 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd ペットロボット装置
WO2018012219A1 (ja) 2016-07-11 2018-01-18 Groove X株式会社 自律行動型ロボット
WO2018016461A1 (ja) 2016-07-20 2018-01-25 Groove X株式会社 スキンシップを理解する自律行動型ロボット
WO2018084170A1 (ja) 2016-11-07 2018-05-11 Groove X株式会社 人を識別する自律行動型ロボット

Also Published As

Publication number Publication date
CN113329798A (zh) 2021-08-31
US20220118602A1 (en) 2022-04-21
WO2020158641A1 (ja) 2020-08-06
JPWO2020158641A1 (ja) 2021-12-02
EP3919146A1 (en) 2021-12-08
EP3919146A4 (en) 2022-04-06
CN113329798B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
JP4609584B2 (ja) ロボット装置、顔認識方法及び顔認識装置
US11691289B2 (en) Systems and methods for robotic behavior around moving bodies
US20220097230A1 (en) Robot control device, robot control method, and program
JP4239635B2 (ja) ロボット装置、その動作制御方法、及びプログラム
US8924020B2 (en) Apparatus for controlling robot and control method thereof
JP2003266351A (ja) ロボット装置及びロボット装置の動作制御方法
JP6228097B2 (ja) 移動ロボット
JP2018167330A (ja) ロボットの制御装置
Wang et al. A generative human-robot motion retargeting approach using a single depth sensor
US11285606B2 (en) Control device, robot, control method, and non-transitory computer-readable recording medium
JP7415956B2 (ja) ロボットの制御装置、ロボットの制御方法、及びプログラム
JP7309371B2 (ja) ロボット制御システム
US11986746B2 (en) Information processing device and information processing method
Chen et al. Human-aided robotic grasping
JP6158665B2 (ja) ロボット、ロボット制御方法、およびロボット制御プログラム
US20220001547A1 (en) Information processing device, information processing method, and program
JP2004130427A (ja) ロボット装置及びロボット装置の動作制御方法
Brandk-ão et al. Reaching for the unreachable: integration of locomotion and whole-body movements for extended visually guided reaching
US20230239439A1 (en) Imaging system and robot system
Liu et al. Symmetric Kullback‐Leibler Metric Based Tracking Behaviors for Bioinspired Robotic Eyes
US20240189992A1 (en) Robot control device, robot control method, and program
JP6647143B2 (ja) 機能装置ならびにその制御装置および制御方法
JP4539291B2 (ja) ロボット装置及びその動作制御方法
CN114789437A (zh) 仿人手臂
JP2023537552A (ja) ロボット付属物の作動

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7415956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151