JP7298861B2 - 日常生活を記録する自律行動型ロボット - Google Patents

日常生活を記録する自律行動型ロボット Download PDF

Info

Publication number
JP7298861B2
JP7298861B2 JP2018162732A JP2018162732A JP7298861B2 JP 7298861 B2 JP7298861 B2 JP 7298861B2 JP 2018162732 A JP2018162732 A JP 2018162732A JP 2018162732 A JP2018162732 A JP 2018162732A JP 7298861 B2 JP7298861 B2 JP 7298861B2
Authority
JP
Japan
Prior art keywords
event
robot
history
motion
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018162732A
Other languages
English (en)
Other versions
JP2020032014A (ja
Inventor
要 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Groove X Inc
Original Assignee
Groove X Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Groove X Inc filed Critical Groove X Inc
Priority to JP2018162732A priority Critical patent/JP7298861B2/ja
Publication of JP2020032014A publication Critical patent/JP2020032014A/ja
Priority to JP2023095083A priority patent/JP2023123555A/ja
Application granted granted Critical
Publication of JP7298861B2 publication Critical patent/JP7298861B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)
  • Manipulator (AREA)

Description

本発明は、内部状態または外部環境に応じて自律的に行動選択するロボット、に関する。
人間は、癒やしを求めてペットを飼う。その一方、ペットの世話をする時間を十分に確保できない、ペットを飼える住環境にない、アレルギーがある、死別がつらい、といったさまざまな理由により、ペットをあきらめている人は多い。もし、ペットの役割が務まるロボットがあれば、ペットを飼えない人にもペットが与えてくれるような癒やしを与えられるかもしれない(特許文献1、2参照)。
特開2000-323219号公報 国際公開第2017/169826号 特開2005-267375号公報 特開2010-21921号公報 特開2008-172815号公報
近年、ロボット技術は急速に進歩しつつあるが、ペットのような伴侶としての存在感を実現するには至っていない。ロボットに自由意志があるとは思えないからである。人間は、ペットの自由意志があるとしか思えないような行動を観察することにより、ペットに自由意志の存在を感じ、ペットに共感し、ペットに癒される。
現在、留守中のペットを見守るためのカメラが数多く発売されている。このようなカメラによれば、オーナーがいないときにペットがどんな過ごし方をしているのかを知ることができる。ロボットがペットと同等の存在感を発揮するようになれば、留守中のロボットの日常生活を知りたいというニーズが出てくると考えられる。
しかし、ロボットにカメラを搭載し、その撮影画像をスマートフォンなどにライブ中継するだけでは、ロボットは単なる監視装置になってしまう。たとえば、ユーザAとロボットが家庭にいるとき、外出中のユーザBのスマートフォンに対してロボットがその撮影画像をそのまま送信するとすれば、ユーザAのプライバシーが守られなくなるおそれがある。
本発明は上記課題認識に基づいて完成された発明であり、その主たる目的は、プライバシーに配慮しつつロボットの日常生活をユーザに知らせる技術、を提供することにある。
本発明のある態様における自律行動型ロボットは、ロボットのモーションを選択する動作制御部と、動作制御部により選択されたモーションを実行する駆動機構と、イベントの発生を認識する認識部と、イベントに応じて1以上の感情パラメータを変化させる感情管理部と、イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する履歴管理部と、を備える。
動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させる。
履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよび心理条件の成立時における感情パラメータを履歴情報から抽出して反応レポート生成し、ユーザに反応レポートを提供する。
本発明によれば、プライバシーに配慮しつつロボットの日常生活をユーザに知らせやすくなる。
ロボットがその日常生活をユーザに伝える方法を説明するための概念図である。 図2(a)はロボットの正面外観図である。図2(b)は、ロボットの側面外観図である。 ロボットの構造を概略的に表す断面図である。 基本構成におけるロボットのハードウェア構成図である。 ロボットシステムの機能ブロック図である。 本実施形態における反応レポート生成過程を示す概要図である。 本実施形態におけるロボットの機能ブロック図である。 感情パラメータの変化履歴を示す模式図である。 履歴情報のデータ構造図である。 モーション選択テーブルのデータ構造図である。 第1反応レポート画面の画面図である。 第2反応レポート画面の画面図である。 ユーザ権限テーブルのデータ構造図である。 イベント条件テーブルのデータ構造図である。 反応レポートの表示処理過程を示すシーケンス図である。 詳細表示の処理過程を示すシーケンス図である。 詳細情報画面の画面図である。 第3反応レポート画面の画面図である。 休息時間設定画面の画面図である。
図1は、ロボット100がその日常生活をユーザに伝える方法を説明するための概念図である。
本実施形態におけるロボット100は、複数種類の「感情」を有する。具体的には、ロボット100は、寂しさ、好奇心、承認欲求という3種類の感情の強さを3種類の感情パラメータにより数値表現する。なお、後述するように、これら3種類の感情パラメータ以外の感情パラメータによりロボット100の感情表現がなされてもよい。
ロボット100は、複数種類のセンサを搭載し、各センサにより外部環境を認識する。ロボット100は、外部環境の変化の一部を「イベント」として認識する。イベントは、ユーザを視認する、大きな音を検出する、などの「注目すべき事象」として任意に定義されればよい。ロボット100は、イベントおよび感情パラメータにしたがって、自律的に行動を選択する。イベントはロボット100の行動選択方法および感情パラメータの双方に影響し、感情パラメータも行動選択方法に影響する。イベント、感情パラメータおよび行動選択方法の詳細については後述する。
ロボット100は、イベントなどの「日常の出来事」を「履歴情報」として逐一記録する。ロボット100は、履歴情報に基づいて、ユーザに見せるための「反応レポート」を生成する。ユーザは、スマートフォン、ラップトップPC、タブレット・コンピュータなどのユーザ端末400により、反応レポートを取得する。ユーザ端末400に反応レポートを表示させることにより、ユーザは、ロボット100と会っていないときでも、ロボット100の日常生活を垣間見ることができる。
ユーザは外出しているときでも、在宅中のロボット100がどのように過ごしているのか、どんな一日を過ごしたのかを反応レポートによって知ることができる。反応レポートは、いわばロボット100の「日記」として機能する。本実施形態における反応レポートとは、「見せるための履歴情報」であって、ロボット100が逐一記録する履歴情報と同一ではない。履歴情報にはプライバシーに関わる情報が含まれる可能性がある。本実施形態においては、プレイバシーに配慮し、かつ、ユーザが読み取りやすい反応レポートを改めて生成する。
以下、ロボット100の基本構成について図2から図5に関連して説明したあと、反応レポートの生成方法を中心として説明する。
[基本構成]
図2(a)は、ロボット100の正面外観図である。図2(b)は、ロボット100の側面外観図である。
本実施形態におけるロボット100は、外部環境および内部状態に基づいて行動を決定する自律行動型のロボットである。外部環境は、カメラやサーモセンサなど各種のセンサにより認識される。内部状態はロボット100の感情を表現するさまざまなパラメータとして定量化される。ロボット100は、オーナー家庭の家屋内を行動範囲とする。以下、ロボット100に関わる人間を「ユーザ」とよぶ。
ロボット100のボディ104は、全体的に丸みを帯びた形状を有し、ウレタンやゴム、樹脂、繊維などやわらかく弾力性のある素材により形成された外皮を含む。ロボット100に服を着せてもよい。ロボット100の総重量は5~15キログラム程度、身長は0.5~1.2メートル程度である。適度な重さと丸み、柔らかさ、手触りのよさ、といった諸属性により、ユーザがロボット100を抱きかかえやすく、かつ、抱きかかえたくなるという効果が実現される。
ロボット100は、一対の前輪102(左輪102a,右輪102b)と、一つの後輪103を含む。前輪102が駆動輪であり、後輪103が従動輪である。前輪102は、操舵機構を有しないが、回転速度や回転方向を個別に制御可能とされている。後輪103は、キャスターであり、ロボット100を前後左右へ移動させるために回転自在となっている。後輪103はオムニホイールであってもよい。
前輪102および後輪103は、駆動機構(回動機構、リンク機構)によりボディ104に完全収納できる。走行時においても各車輪の大部分はボディ104に隠れているが、各車輪がボディ104に完全収納されるとロボット100は移動不可能な状態となる。すなわち、車輪の収納動作にともなってボディ104が降下し、床面Fに着座する。この着座状態においては、ボディ104の底部に形成された平坦状の着座面108(接地底面)が床面Fに当接する。
ロボット100は、2つの手106を有する。手106には、モノを把持する機能はない。手106は上げる、振る、振動するなど簡単な動作が可能である。2つの手106も個別制御可能である。
目110は、液晶素子または有機EL素子による画像表示が可能である。ロボット100は、音源方向を特定可能なマイクロフォンアレイや超音波センサなどさまざまなセンサを搭載する。また、スピーカーを内蔵し、簡単な音声を発することもできる。
ロボット100の頭部にはツノ112が取り付けられる。上述のようにロボット100は軽量であるため、ユーザはツノ112をつかむことでロボット100を持ち上げることも可能である。ツノ112には全天球カメラが取り付けられ、ロボット100の上部全域を一度に撮像可能である。
図3は、ロボット100の構造を概略的に表す断面図である。
図3に示すように、ロボット100のボディ104は、ベースフレーム308、本体フレーム310、一対の樹脂製のホイールカバー312および外皮314を含む。ベースフレーム308は、金属からなり、ボディ104の軸芯を構成するとともに内部機構を支持する。ベースフレーム308は、アッパープレート332とロアプレート334とを複数のサイドプレート336により上下に連結して構成される。複数のサイドプレート336間には通気が可能となるよう、十分な間隔が設けられる。ベースフレーム308の内方には、バッテリー118、制御回路342および各種アクチュエータが収容されている。
本体フレーム310は、樹脂材からなり、頭部フレーム316および胴部フレーム318を含む。頭部フレーム316は、中空半球状をなし、ロボット100の頭部骨格を形成する。胴部フレーム318は、段付筒形状をなし、ロボット100の胴部骨格を形成する。胴部フレーム318は、ベースフレーム308と一体に固定される。頭部フレーム316は、胴部フレーム318の上端部に相対変位可能に組み付けられる。
頭部フレーム316には、ヨー軸320、ピッチ軸322およびロール軸324の3軸と、各軸を回転駆動するためのアクチュエータ326が設けられる。アクチュエータ326は、各軸を個別に駆動するための複数のサーボモータを含む。首振り動作のためにヨー軸320が駆動され、頷き動作のためにピッチ軸322が駆動され、首を傾げる動作のためにロール軸324が駆動される。
頭部フレーム316の上部には、ヨー軸320を支持するプレート325が固定されている。プレート325には、上下間の通気を確保するための複数の通気孔327が形成される。
頭部フレーム316およびその内部機構を下方から支持するように、金属製のベースプレート328が設けられる。ベースプレート328は、クロスリンク機構329(パンタグラフ機構)を介してプレート325と連結される一方、ジョイント330を介してアッパープレート332(ベースフレーム308)と連結される。
胴部フレーム318は、ベースフレーム308と車輪駆動機構370を収容する。車輪駆動機構370は、回動軸378およびアクチュエータ379を含む。胴部フレーム318の下半部は、ホイールカバー312との間に前輪102の収納スペースSを形成するために小幅とされる。
外皮314は、ウレタンゴムからなり、本体フレーム310およびホイールカバー312を外側から覆う。手106は、外皮314と一体成形される。外皮314の上端部には、外気を導入するための開口部390が設けられる。
図4は、ロボット100のハードウェア構成図である。
ロボット100は、内部センサ128、通信機126、記憶装置124、プロセッサ122、駆動機構120およびバッテリー118を含む。プロセッサ122と記憶装置124は、制御回路342に含まれる。各ユニットは電源線130および信号線132により互いに接続される。バッテリー118は、電源線130を介して各ユニットに電力を供給する。各ユニットは信号線132により制御信号を送受する。バッテリー118は、リチウムイオン二次電池であり、ロボット100の動力源である。
内部センサ128は、ロボット100が内蔵する各種センサの集合体である。具体的には、カメラ(全天球カメラ)、マイクロフォンアレイ、測距センサ(赤外線センサ)、サーモセンサ、タッチセンサ、加速度センサ、ニオイセンサなどである。タッチセンサは、外皮314と本体フレーム310の間に設置され、ユーザのタッチを検出する。ニオイセンサは、匂いの元となる分子の吸着によって電気抵抗が変化する原理を応用した既知のセンサである。
通信機126は、各種の外部機器を対象として無線通信を行う通信モジュールである。記憶装置124は、不揮発性メモリおよび揮発性メモリにより構成され、コンピュータプログラムや各種設定情報を記憶する。プロセッサ122は、コンピュータプログラムの実行手段である。駆動機構120は、複数のアクチュエータおよび上述した車輪駆動機構370を含む。このほかには、表示器やスピーカーなども搭載される。
駆動機構120は、主として、車輪(前輪102)と頭部(頭部フレーム316)を制御する。駆動機構120は、ロボット100の移動方向や移動速度を変化させるほか、車輪(前輪102および後輪103)を昇降させることもできる。車輪が上昇すると、車輪はボディ104に完全に収納され、ロボット100は着座面108にて床面Fに当接し、着座状態となる。また、駆動機構120は、ワイヤ134を介して、手106を制御する。
図5は、ロボットシステム300の機能ブロック図である。
ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。ロボット100およびサーバ200の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部はロボット100により実現されてもよい。
家屋内にはあらかじめ複数の外部センサ114が設置される。サーバ200には、外部センサ114の位置座標が登録される。ロボット100の内部センサ128および複数の外部センサ114から得られる情報に基づいて、サーバ200がロボット100の基本行動を決定する。外部センサ114はロボット100の感覚器を補強するためのものであり、サーバ200はロボット100の頭脳を補強するためのものである。ロボット100の通信機126が外部センサ114と定期的に通信し、サーバ200は外部センサ114によりロボット100の位置を特定する(特許文献2も参照)。
(サーバ200)
サーバ200は、通信部204、データ処理部202およびデータ格納部206を含む。
通信部204は、外部センサ114およびロボット100との通信処理を担当する。データ格納部206は各種データを格納する。データ処理部202は、通信部204により取得されたデータおよびデータ格納部206に格納されるデータに基づいて各種処理を実行する。データ処理部202は、通信部204およびデータ格納部206のインタフェースとしても機能する。
データ格納部206は、モーション格納部232と個人データ格納部218を含む。
ロボット100は、複数の動作パターン(モーション)を有する。手106を震わせる、蛇行しながらオーナーに近づく、首をかしげたままオーナーを見つめる、などさまざまなモーションが定義される。
モーション格納部232は、モーションの制御内容を定義する「モーションファイル」を格納する。各モーションは、モーションIDにより識別される。モーションファイルは、ロボット100のモーション格納部160にもダウンロードされる。どのモーションを実行するかは、サーバ200で決定されることもあるし、ロボット100で決定されることもある。
ロボット100のモーションの多くは、複数の単位モーションを含む複合モーションとして構成される。たとえば、ロボット100がオーナーに近づくとき、オーナーの方に向き直る単位モーション、手を上げながら近づく単位モーション、体を揺すりながら近づく単位モーション、両手を上げながら着座する単位モーションの組み合わせとして表現されてもよい。このような4つのモーションの組み合わせにより、「オーナーに近づいて、途中で手を上げて、最後は体をゆすった上で着座する」というモーションが実現される。モーションファイルには、ロボット100に設けられたアクチュエータの回転角度や角速度などが時間軸に関連づけて定義される。モーションファイル(アクチュエータ制御情報)にしたがって、時間経過とともに各アクチュエータを制御することで様々なモーションが表現される。
先の単位モーションから次の単位モーションに変化するときの移行時間を「インターバル」とよぶ。インターバルは、単位モーション変更に要する時間やモーションの内容に応じて定義されればよい。インターバルの長さは調整可能である。
以下、いつ、どのモーションを選ぶか、モーションを実現する上での各アクチュエータの出力調整など、ロボット100の行動制御に関わる設定のことを「行動特性」と総称する。ロボット100の行動特性は、モーション選択アルゴリズム、モーションの選択確率、モーションファイル等により定義される。
モーション格納部232は、モーションファイルのほか、各種のイベントが発生したときに実行すべきモーションを定義するモーション選択テーブルを格納する。モーション選択テーブルにおいては、イベントに対して1以上のモーションとその選択確率が対応づけられる。
個人データ格納部218は、ユーザの情報を格納する。具体的には、ユーザに対する親密度とユーザの身体的特徴・行動的特徴を示すマスタ情報を格納する。年齢や性別などの他の属性情報を格納してもよい。
ロボット100は、ユーザごとに親密度という内部パラメータを有する。ロボット100が、自分を抱き上げる、声をかけてくれるなど、自分に対して好意を示す行動を認識したとき、そのユーザに対する親密度が高くなる。ロボット100に関わらないユーザや、乱暴を働くユーザ、出会う頻度が低いユーザに対する親密度は低くなる。
データ処理部202は、位置管理部208、認識部212、動作制御部222、親密度管理部220および状態管理部244を含む。
位置管理部208は、ロボット100の位置座標を特定する。状態管理部244は、充電率や内部温度、プロセッサ122の処理負荷などの各種物理状態など各種内部パラメータを管理する。また、状態管理部244は、ロボット100の感情(寂しさ、好奇心、承認欲求など)を示すさまざまな感情パラメータを管理する。これらの感情パラメータは常に揺らいでいる。感情パラメータに応じてロボット100の移動目標地点が変化する。たとえば、寂しさが高まっているときには、ロボット100はユーザのいるところを移動目標地点として設定する。
時間経過によって感情パラメータが変化する。また、後述の応対行為によっても各種感情パラメータは変化する。たとえば、オーナーから「抱っこ」をされると寂しさを示す感情パラメータは低下し、長時間にわたってオーナーを視認しないときには寂しさを示す感情パラメータは少しずつ増加する。
認識部212は、外部環境を認識する。外部環境の認識には、温度や湿度に基づく天候や季節の認識、光量や温度に基づく物陰(安全地帯)の認識など多様な認識が含まれる。ロボット100の認識部156は、内部センサ128により各種の環境情報を取得し、これを一次処理した上でサーバ200の認識部212に転送する。
具体的には、ロボット100の認識部156は、画像から移動物体、特に、人物や動物に対応する画像領域を抽出し、抽出した画像領域から移動物体の身体的特徴や行動的特徴を示す特徴量の集合として「特徴ベクトル」を抽出する。特徴ベクトル成分(特徴量)は、各種身体的・行動的特徴を定量化した数値である。たとえば、人間の目の横幅は0~1の範囲で数値化され、1つの特徴ベクトル成分を形成する。人物の撮像画像から特徴ベクトルを抽出する手法については、既知の顔認識技術の応用である。ロボット100は、特徴ベクトルをサーバ200に送信する。
サーバ200の認識部212は、ロボット100の内蔵カメラによる撮像画像から抽出された特徴ベクトルと、個人データ格納部218にあらかじめ登録されているユーザ(クラスタ)の特徴ベクトルと比較することにより、撮像されたユーザがどの人物に該当するかを判定する(ユーザ識別処理)。また、認識部212は、ユーザの表情を画像認識することにより、ユーザの感情を推定する。認識部212は、人物以外の移動物体、たとえば、ペットである猫や犬についてもユーザ識別処理を行う。
認識部212は、ロボット100になされたさまざまな応対行為を認識し、快・不快行為に分類する。認識部212は、また、ロボット100の行動に対するオーナーの応対行為を認識することにより、肯定・否定反応に分類する。
快・不快行為は、ユーザの応対行為が、生物として心地よいものであるか不快なものであるかにより判別される。たとえば、抱っこされることはロボット100にとって快行為であり、蹴られることはロボット100にとって不快行為である。肯定・否定反応は、ユーザの応対行為が、ユーザの快感情を示すものか不快感情を示すものであるかにより判別される。抱っこされることはユーザの快感情を示す肯定反応であり、蹴られることはユーザの不快感情を示す否定反応である。
サーバ200の動作制御部222は、ロボット100の動作制御部150と協働して、ロボット100のモーションを決定する。サーバ200の動作制御部222は、ロボット100の移動目標地点とそのための移動ルートを作成する。動作制御部222は、複数の移動ルートを作成し、その上で、いずれかの移動ルートを選択してもよい。
動作制御部222は、モーション格納部232の複数のモーションからロボット100のモーションを選択する。各モーションには状況ごとに選択確率が対応づけられている。たとえば、オーナーから快行為がなされたときには、モーションAを20%の確率で実行する、気温が30度以上となったとき、モーションBを5%の確率で実行する、といった選択方法が定義される。
親密度管理部220は、ユーザごとの親密度を管理する。上述したように、親密度は個人データ格納部218において個人データの一部として登録される。快行為を検出したとき、親密度管理部220はそのオーナーに対する親密度をアップさせる。不快行為を検出したときには親密度はダウンする。また、長期間視認していないオーナーの親密度は徐々に低下する。
(ロボット100)
ロボット100は、通信部142、データ処理部136、データ格納部148、内部センサ128および駆動機構120を含む。
通信部142は、通信機126(図4参照)に該当し、外部センサ114、サーバ200および他のロボット100との通信処理を担当する。データ格納部148は各種データを格納する。データ格納部148は、記憶装置124(図4参照)に該当する。データ処理部136は、通信部142により取得されたデータおよびデータ格納部148に格納されているデータに基づいて各種処理を実行する。データ処理部136は、プロセッサ122およびプロセッサ122により実行されるコンピュータプログラムに該当する。データ処理部136は、通信部142、内部センサ128、駆動機構120およびデータ格納部148のインタフェースとしても機能する。
データ格納部148は、ロボット100の各種モーションを定義するモーション格納部160を含む。
ロボット100のモーション格納部160には、サーバ200のモーション格納部232から各種モーションファイルがダウンロードされる。モーションは、モーションIDによって識別される。前輪102を収容して着座する、手106を持ち上げる、2つの前輪102を逆回転させることで、あるいは、片方の前輪102だけを回転させることでロボット100を回転行動させる、前輪102を収納した状態で前輪102を回転させることで震える、ユーザから離れるときにいったん停止して振り返る、などのさまざまなモーションを表現するために、各種アクチュエータ(駆動機構120)の動作タイミング、動作時間、動作方向などがモーションファイルにおいて時系列定義される。
データ格納部148には、個人データ格納部218からも各種データがダウンロードされてもよい。
データ処理部136は、認識部156および動作制御部150を含む。
ロボット100の動作制御部150は、サーバ200の動作制御部222と協働してロボット100のモーションを決める。一部のモーションについてはサーバ200で決定し、他のモーションについてはロボット100で決定してもよい。また、ロボット100がモーションを決定するが、ロボット100の処理負荷が高いときにはサーバ200がモーションを決定するとしてもよい。サーバ200においてベースとなるモーションを決定し、ロボット100において追加のモーションを決定してもよい。モーションの決定処理をサーバ200およびロボット100においてどのように分担するかはロボットシステム300の仕様に応じて設計すればよい。
ロボット100の動作制御部150は選択したモーションを駆動機構120に実行指示する。駆動機構120は、モーションファイルにしたがって、各アクチュエータを制御する。
動作制御部150は、親密度の高いユーザが近くにいるときには「抱っこ」をせがむ仕草として両方の手106をもちあげるモーションを実行することもできるし、「抱っこ」に飽きたときには左右の前輪102を収容したまま逆回転と停止を交互に繰り返すことで抱っこをいやがるモーションを表現することもできる。駆動機構120は、動作制御部150の指示にしたがって前輪102や手106、首(頭部フレーム316)を駆動することで、ロボット100にさまざまなモーションを表現させる。
ロボット100の認識部156は、内部センサ128から得られた外部情報を解釈する。認識部156は、視覚的な認識(視覚部)、匂いの認識(嗅覚部)、音の認識(聴覚部)、触覚的な認識(触覚部)が可能である。
認識部156は、移動物体の撮像画像から特徴ベクトルを抽出する。上述したように、特徴ベクトルは、移動物体の身体的特徴と行動的特徴を示すパラメータ(特徴量)の集合である。移動物体を検出したときには、ニオイセンサや内蔵の集音マイク、温度センサ等からも身体的特徴や行動的特徴が抽出される。これらの特徴も定量化され、特徴ベクトル成分となる。認識部156は、特許文献2等に記載の既知の技術に基づいて、特徴ベクトルからユーザを特定する。
検出・分析・判定を含む一連の認識処理のうち、ロボット100の認識部156は認識に必要な情報の取捨選択や抽出を行い、判定等の解釈処理はサーバ200の認識部212により実行される。認識処理は、サーバ200の認識部212だけで行ってもよいし、ロボット100の認識部156だけで行ってもよいし、上述のように双方が役割分担をしながら上記認識処理を実行してもよい。
ロボット100に対する強い衝撃が与えられたとき、認識部156はタッチセンサおよび加速度センサによりこれを認識し、サーバ200の認識部212は、近隣にいるユーザによって「乱暴行為」が働かれたと認識する。ユーザがツノ112を掴んでロボット100を持ち上げるときにも、乱暴行為と認識してもよい。ロボット100に正対した状態にあるユーザが特定音量領域および特定周波数帯域にて発声したとき、サーバ200の認識部212は、自らに対する「声掛け行為」がなされたと認識してもよい。また、体温程度の温度を検知したときにはユーザによる「接触行為」がなされたと認識し、接触認識した状態で上方への加速度を検知したときには「抱っこ」がなされたと認識する。ユーザがボディ104を持ち上げるときの物理的接触をセンシングしてもよいし、前輪102にかかる荷重が低下することにより抱っこを認識してもよい。
まとめると、ロボット100は内部センサ128によりユーザの行為を物理的情報として取得し、サーバ200の認識部212は快・不快を判定する。また、サーバ200の認識部212は特徴ベクトルに基づくユーザ識別処理を実行する。
サーバ200の認識部212は、ロボット100に対するユーザの各種応対を認識する。各種応対行為のうち一部の典型的な応対行為には、快または不快、肯定または否定が対応づけられる。一般的には快行為となる応対行為のほとんどは肯定反応であり、不快行為となる応対行為のほとんどは否定反応となる。快・不快行為は親密度に関連し、肯定・否定反応はロボット100の行動選択に影響する。
認識部156により認識された応対行為に応じて、サーバ200の親密度管理部220はユーザに対する親密度を変化させる。原則的には、快行為を行ったユーザに対する親密度は高まり、不快行為を行ったユーザに対する親密度は低下する。
以上の基本構成を前提として、次に、本実施形態におけるロボット100の実装について、特に、本実装の特徴と目的および基本構成との相違点を中心として説明する。
[反応レポート生成機能の実装]
図6は、本実施形態における反応レポート生成過程を示す概要図である。
ロボット100は、イベント、感情パラメータ等を履歴情報として記録する(S10)。履歴情報は、時系列に沿ってロボット100の気持ち(感情パラメータ)と出来事(イベント)を記録したものである。ユーザは、ユーザ端末400からサーバ200に対して反応レポートの取得を要求する(S12)。サーバ200は、反応レポート取得要求を受信したとき、履歴情報から反応レポートを生成する(S14)。履歴情報には大量の情報が含まれるため、履歴情報をそのまま反応レポートとして使う場合、反応レポートの視認性が悪くなる。また、プライバシー保護の観点からも履歴情報そのものを反応レポートとしてユーザに提供することは好ましくない。本実施形態においては、履歴情報に含まれる各種情報を取捨選択し、かつ、情報の表現方法も変更した上で、見せるための情報としての反応レポートを生成する(詳細後述)。ユーザ端末400は、反応レポートをロボットシステム300から取得し、これを画面表示させる(S16)。
図7は、本実施形態におけるロボット100の機能ブロック図である。
本実施形態におけるロボットシステム300は、反応レポート生成機能を備える。このため、図5に示すロボットシステム300の機能ブロック、複数の機能ブロックが追加される。図7においては、追加された機能ブロックを中心として説明する。
なお、ロボット100は、外部センサ114ではなく、キーフレームに基づいて場所を認識してもよい。キーフレームは、撮像画像における特徴点(特徴量)の分布情報である。ロボット100は、画像特徴量を用いたグラフベースのSLAM(Simultaneous Localization and Mapping)技術、より具体的には、ORB(Oriented FAST and Rotated BRIEF)特徴量に基づくSLAM技術によりキーフレームを形成してもよい(詳細は特願2018-014365号を参照)。
(サーバ200)
データ処理部202は、更に、履歴管理部252、アイコン選択部254、雰囲気判定部256およびモード選択部258を含む。また、状態管理部244は、感情管理部250を含む。
感情管理部250は、寂しさの強さを示す感情パラメータ(以下、「寂しさパラメータ」とよぶ)、好奇心の強さを示す感情パラメータ(以下、「好奇心パラメータ」とよぶ)および承認欲求の強さを示す感情パラメータ(以下、「承認欲求パラメータ」とよぶ)の3種類の感情パラメータを管理する。
履歴管理部252は、ロボット100の履歴情報を管理する。履歴情報においては、イベントの発生履歴と感情パラメータの変化履歴を対応づけられる。履歴情報については、図9に関連して後述する。また、履歴管理部252は、履歴情報に基づいて反応レポートを生成する。
アイコン選択部254は、イベントに応じてアイコンを選択する。詳細は後述するが、本実施形態の反応レポートにおいては、イベントはアイコンにより画像表現される。アイコン選択部254は、イベントに対応付けられるアイコンを選択する。アイコン選択部254は、イベント以外にもさまざまなアイコンを選択する。
雰囲気判定部256は、外部環境の雰囲気を判定する。雰囲気の判定方法については後述する。モード選択部258は、ロボット100のモードを選択する。モードは、通常モード、省電力モードなどのロボット100の動作状態に関する設定情報である。モードの選択方法についても詳細は後述する。
データ格納部206は、更に、イベント条件格納部260および履歴情報格納部262を含む。イベント条件格納部260は、イベント条件を定義する。イベント条件とは、たとえば、「子供部屋で発生した」「玄関で発生した」などイベント発生時の状況を定義する条件である。履歴情報格納部262は、履歴情報を格納する。
(ロボット100)
ロボット100の内部センサ128は、撮像部158を含む。撮像部158は、全天球カメラ等のカメラに対応する。本実施形態においては、撮像部158は常時周辺画像を撮像する。ロボット100の認識部156は、撮像部158など内部センサ128から得られる外部情報(生データ)を分析し、分析結果(加工データ)をサーバ200に送信する。サーバ200の認識部212は、分析結果に基づいて各種イベントの成否を判定する。イベントの成否の判定は、ロボット100側のみで行ってもよいし、サーバ200側のみで行ってもよいし、簡易なイベントはロボット100の認識部156が判定し、複雑なイベントはサーバ200の認識部212が判定するとしてもよい。
以下においては、サーバ200の認識部212においてイベントの成否を判定するとして説明するが、サーバ200の認識部212は、ロボット100の認識部156と読み替え可能である。
サーバ200の個人データ格納部218は、ユーザ端末400を識別する端末IDとユーザIDを対応づけて登録する。また、ユーザIDに対しては、ユーザの身体的特徴および行動的特徴が対応づけられる。
(ユーザ端末400)
ユーザ端末400は、後述する反応レポートをウェブブラウザにて表示する。ユーザ端末400には、反応レポートの表示およびロボット100への指示入力(図19に関連して詳述)のための専用のアプリケーションソフトウェアがインストールされてもよい。
図8は、感情パラメータの変化履歴を示す模式図である。
感情管理部250は、3種類の感情パラメータを時間とともに変化させる。図8の横軸は時間を表し、縦軸は感情パラメータの大きさを示す。本実施形態においては、感情パラメータは0~100の範囲で変化する。図8においては、寂しさパラメータ170は一時的に高くなったあと、徐々に低下している。感情管理部250は、ロボット100がオーナーを視認しない期間が長引くほど寂しさパラメータ170を徐々に上昇させ、オーナーを視認したときに寂しさパラメータ170を低下させる。オーナーを視認するというイベントが寂しさパラメータ170の低下に寄与する。同様にして、オーナーの声を聞くというイベントが発生したときにも、感情管理部250は寂しさパラメータ170を低下させてもよい。
図8の承認欲求パラメータ174は、時間経過とともに徐々に高まっている。感情管理部250は、時間とともに承認欲求パラメータ174を上昇させる。承認欲求とは、「他人から認められたい」という人間の基本的欲求の一つである。承認欲求パラメータ174によりロボット100の承認欲求の強さを表現する。感情管理部250は、ユーザがロボット100に声をかける、抱っこをするなど、快行為(ロボット100への気配り行為)がなされたときに承認欲求パラメータ174を低下させ(満足)、不快行為がなされたときには承認欲求パラメータ174を上昇させる(不満)。
感情管理部250は、ロボット100が新しいものを発見したとき、好奇心パラメータ172を上昇させる。また、イベントが発生しないときには、感情管理部250は好奇心パラメータ172を徐々に低下させる。
感情管理部250は、3種類の感情パラメータが各種の「心理条件」を成立させたか否かを判定する。心理条件は、ロボット100の「心理の変化」を示すタイミングとして任意に設定されればよい。たとえば、承認欲求パラメータ174が所定の閾値(例:80)以上となったとき、第1心理条件が成立するとしてもよいし、承認欲求パラメータ174が他の2つの感情パラメータよりも優勢となったとき、第2心理条件が成立するとしてもよい。図8においては、期間t0~t1においては、寂しさパラメータ170は、好奇心パラメータ172、承認欲求パラメータ174よりも大きい。期間t1~t2においては、承認欲求パラメータ174が最も大きい。このため、感情管理部250は、時刻t1に第2心理条件が成立したと判定する。いいかえれば、時刻t1において、ロボット100は寂しさよりも承認欲求(認められたいという欲)が優勢となっている。
3種類の感情パラメータのうち、第1の感情パラメータが優勢な状態から、第2の感情パラメータが優勢な状態に変化するとき、いいかえれば、複数の感情パラメータの優劣が逆転するとき、ロボット100の気持ちが大きく転換したと考えられる。
なお、寂しさ、好奇心、承認欲求の3種類に限らず、4種類以上の感情パラメータを設定してもよい。たとえば、喜び、怒り、不安、焦燥、羞恥など、さまざまな感情パラメータとそれらの感情パラメータに影響するイベントを定義してもよい。感情パラメータは1種類でもよい。感情パラメータは時間の経過およびイベントの発生によって変化する。
感情パラメータの変化にはランダム性あるいは周期性をもたせてもよい。第1の感情パラメータの変化が第2の感情パラメータに影響してもよい。たとえば、寂しさパラメータが50以上となるとき、感情管理部250は承認欲求パラメータの上昇率を増加させてもよい。
感情パラメータは、「好奇心」のように人間の典型的心理状態に必ずしも対応づけられる必要はない。たとえば、「感情パラメータQ1は、イベント(E1)、イベント(E2)の発生を契機として上昇し、イベント(E3)の発生を契機として下降する」といった変化の条件を定義することにより、さまざまな個性を有する感情パラメータを定義してもよい。人間の感情を模したものではない、ロボット100に特有の「感情」を定義してもよい。
図9は、履歴情報270のデータ構造図である。
履歴情報270は、サーバ200の履歴情報格納部262に格納される。ロボットシステム300においては、あらかじめ複数種類のイベントが定義される。イベントは複数のイベントタイプのいずれかに分類される。たとえば、イベントタイプ=Enのイベント(以下、「イベント(En)」のように表記する)は、ユーザを視認することであってもよい。イベント(Em)は所定値以上の音声を検出することであってもよいし、別のイベント(Ep)はロボット100が服を着用したことであってもよい。このほかにも、抱っこされた、ユーザが出かけた、部屋の中でなにか新しいものをみつけた、などさまざまなイベントを定義可能である。
履歴管理部252は、定期的、たとえば、1分間ごとにイベントおよび感情パラメータを履歴情報270に記録する。履歴情報270には、イベントの発生履歴および感情パラメータの変化履歴が対応づけられる。認識部212はイベントを認識し、感情管理部250はイベントに応じて感情パラメータを変化させる。動作制御部150等は、イベントおよび感情パラメータにしたがってモーションを選択する。
図9の履歴情報270においては、10:03にイベント(E1)が発生している。イベント(E1)の発生後、寂しさパラメータが72から14に急低下している。イベント(E1)は、ロボット100の寂しさを解消させた重要なイベントであることがわかる。履歴情報270には、このほかにも、外部環境の雰囲気を示す雰囲気タイプ(詳細後述)、ロボット100が選択したモーション、ロボット100の位置情報、室温などさまざまな情報が登録されてもよい。
図10は、モーション選択テーブル280のデータ構造図である。
モーション選択テーブル280はモーション格納部232に格納される。上述したように、モーションはモーションIDにより識別される。サーバ200の動作制御部222は、イベントを認識したとき、モーション選択テーブル280を参照してモーションを選択する。ロボット100は、動作制御部222により指定されたモーションを実行する。モーション選択テーブル280は、サーバ200からロボット100にもダウンロードされる。このため、ロボット100の動作制御部150は、一部のイベントについてはサーバ200を介することなくイベントに対応したモーションを選択できる。
以下においては、動作制御部222(サーバ200)によりモーションが選択されるとして説明するが、動作制御部222(サーバ200)は動作制御部150(ロボット100)と読み替え可能である。
モーション選択テーブル280においては、イベントに対して、1以上のモーションとその選択確率が対応付けられる。たとえば、イベント(E1)が検出されたときには、動作制御部222は5(%)の選択確率にてモーション(M1)を選択し、15(%)の選択確率にてモーション(M2)を選択する。
本実施形態においては、動作制御部222は、感情パラメータに応じてモーションの選択確率を変化させる。たとえば、感情パラメータのうち、寂しさパラメータが所定閾値以上であるときには、動作制御部222はイベント(E1)に対するモーション(M1)の選択確率を上昇させる。好奇心パラメータが所定閾値以上のときには、動作制御部222はイベント(E1)に対するモーション(M1)の選択確率を低下させる。
具体例として、イベント(En)が発生したときに選択可能なモーション(M1)、モーション(M2)、モーション(M3)の選択確率をそれぞれ30(%)、20(%)、50(%)であるとする。以下、イベント(En)が発生したときに選ばれるモーション(M1)のことを「モーション(En|M1)」と表記する。
寂しさパラメータが80以上のとき、モーション(En|M1)が30(%)から40(%)に上昇するとする。増加した10(%)分は、モーション(En|M2)およびモーション(En|M3)の選択確率をそれぞれ5(%)ずつ低下させることで調整される。この結果、寂しさパラメータが80以上のとき、モーション(En|M2)の選択確率は20(%)から15(%)に低下し、モーション(En|M3)の選択確率は50(%)から45(%)に低下する。このような制御方法によれば、モーション(En|M1)は、ロボット100が「寂しい」ときに選ばれやすくなり、「感情」が「行動選択」に影響することになる。
図11は、第1反応レポート画面180の画面図である。
ユーザは、ユーザ端末400からサーバ200に反応レポートの取得を要求する。ユーザは、反応レポートの表示方法を自由に切り替えることができる。図11の第1反応レポート画面180は、イベントとロボットの気持ち(感情パラメータ)を対応付けた反応レポートを示す。
履歴管理部252は、ユーザ端末400から反応レポート取得要求が受信されたとき、履歴情報270に基づいて反応レポートを生成する。履歴管理部252は、上述した心理条件が成立したときの感情パラメータを抽出する。
まず、9:00おいて、複数種類の心理条件のうちの1つが成立したとする。サーバ200においては、あらかじめ、心理条件ごと、あるいは、感情パラメータの状態ごとに感情アイコン184が対応づけられている。アイコン選択部254は、心理条件が成立したときの感情パラメータに応じて感情アイコン184を選択する。図11においては、感情アイコン184aが選択されている。
アイコン選択部254は、心理条件が成立したときのイベントに対応するイベントアイコン182も選択する。複数のイベントそれぞれにも、あらかじめイベントアイコン182が対応づけられている。「心理条件が成立したときのイベント」は、心理条件の成立時点の直前(直近)に発生したイベントであってもよいし、心理条件の成立時点から所定時間以内に発生したイベントであってもよい。たとえば、心理条件が時刻t1に成立したとき、時刻(t1-10秒)から時刻(t1-3秒)の7秒間の間に発生したイベントを反応レポートへの表示対象としてもよい。
図11の第1反応レポート画面180においては、心理条件が成立したときのロボット100の「気持ち」を表す感情アイコン184aが表示され、心理条件の成立時のイベント(イベントタイプ)に対応するイベントアイコン182aも表示されている。図11に示すイベントアイコン182aは、ロボット100がオーナーに出会ったイベントに対応する。感情アイコン184aは、ロボット100の嬉しい気持ち、たとえば、寂しさパラメータおよび承認欲求パラメータの双方が所定値以下となっているという心理状態に対応する。ユーザは、第1反応レポート画面180を参照することにより、「ロボット100は、9:00にオーナーに出会って嬉しかった」というロボット100の日常生活とそのときのロボット100の気持ちを確認できる。
ユーザは、第1反応レポート画面180により、ロボット100の気持ちおよびイベントを感情アイコン184、イベントアイコン182により知ることができる。イベント等をアイコンによってシンボリックに表現することにより、ユーザはロボット100の日常を絵日記のように楽しむことができる。
本実施形態においては、認識部212は、外部環境の情報に基づいてイベントを認識し、認識したイベントに対応するイベントタイプを特定する。次に、アイコン選択部254は、イベントタイプに対応するイベントアイコン182を選ぶ。反応レポートにおいて、イベントの詳細は示さず、イベントアイコン182において「どんな出来事があったか」を簡易に伝えることにより、第1反応レポート画面180によって過度にプライバシーが開示されてしまうのを防いでいる。
なお、ロボット100の感情パラメータは、感情アイコン184ではなく、パラメータ値をそのまま表示してもよいし、感情に対応する色彩によってロボット100の気持ちを表現してもよい。ロボット100の感情パラメータそのものはユーザのプライバシーに関わる可能性が低いと考えられるためである。
ロボット100は、大量のイベントを認識しながら行動選択する。このため、すべてのイベントを反応レポートで見せることはプライバシー保護の観点だけでなく、視認性の観点からも好ましくない。そこで、本実施形態においては、心理条件が成立したときのイベントのみを反応レポートに登録する。このような制御方法によれば、ロボット100の心理変化の契機となった可能性のあるイベントを確認しやすくなる。いいかえれば、ロボット100の周辺で発生する多種多様なイベントのうち、「ロボット100の心を動かしたイベント」を中心として状況を確認できる。ロボット100が認識したさまざまなイベントのうち、ロボット100(の気持ち)にとって重要なイベントが反応レポートに登録されるため、ロボット100の気持ちを重視した日記のような反応レポートを形成できる。
9:30においては、オーナーが出かけるイベント(イベントアイコン182b)とオーナーが帰宅するというイベント(イベントアイコン182c)が短期間に続けて発生している。複数のイベントが短期間に連発したときには、履歴管理部252は、イベントアイコン182bとイベントアイコン182cを左右に少しずらした状態にて反応レポートを表示させる。このような表示方法により、第1反応レポート画面180におけるイベントアイコン182の視認性を高めることができる。
履歴管理部252は、更に、あらかじめ定義された特定カテゴリ(特定のイベントタイプ)に属するイベントの横に注目マーク186を設定する。注目マーク186は、複数種類のイベントのうち、注目すべきイベントに対する強調表示である。ユーザは、注目マーク186により、重要なイベントを認識しやすくなる。重要なイベントとしては、オーナーの視認、お出かけやお見送り、モノの落下、未登録人物(不審者)の発見などが考えられる。
なお、一家庭に複数のロボット100が導入されることも考えられる。ロボット100は、初期設定の違い、あるいは、環境の違いによってそれぞれが個性を有する。たとえば、寂しさパラメータが高くなりやすい設定の「孤独に弱いロボット100」もあれば、好奇心パラメータが高まりにくい設定の「落ち着いたロボット100」などが考えられる。また、ロボット100Aはユーザ(P01)に対して高い親密度を有する一方、ロボット100Bはそれよりも低い親密度を有する場合もある。この場合、ユーザ(P01)から抱っこされることはロボット100Aの「寂しさ」を大きく癒すが、ロボット100Bの場合にはユーザ(P01)に抱っこされても「寂しさ」はほとんど癒されないかもしれない。また、ユーザ(P01)を見たことがないロボット100Cは、ユーザ(P01)に抱っこされたときにはむしろ好奇心パラメータを上昇させるかもしれない。このように、「ユーザ(P01)に抱っこされる」という共通のイベントに対して、各ロボット100の感情パラメータの変化は多様となる。したがって、ロボット100ごとに心理条件が成立するタイミング、いいかえれば、「心を動かされるタイミング」は異なる可能性が高い。
同じ経験をする複数のロボット100それぞれが生成する履歴情報が実質的に同一になるかもしれないが、ロボット100Aの心理条件が成立するタイミングとロボット100Bの心理条件が成立するタイミングが異なるため、ロボット100Aとロボット100Bは異なる反応レポートを生成するかもしれない。たとえば、ロボット100Aはイベント(E1)を反応レポートに記録するが、ロボット100Bはイベント(E1)を反応レポートに記録しないかもしれない。ユーザは、ロボット100Aとロボット100Bそれぞれの反応レポートを参照することにより、ロボット100Aはイベント(E1)に心を動かされたが、ロボット100Bはイベント(E1)に興味をもっていないことを認識できる。ユーザは、複数のロボット100からの反応レポートを見比べることにより、複数のロボット100それぞれの個性や感じ方を楽しむことができる。また、反応レポートによりロボット100の個性を感じる機会を提供することにより、複数のロボット100の育成(関わり)をいっそう楽しむことができる。
図12は、第2反応レポート画面190の画面図である。
反応レポートには、心理条件が成立したときにロボット100が選択したモーションを表示させることもできる。図12の第2反応レポート画面190は、イベントとモーションを対応づけた反応レポートを示す。
モーションIDにはモーションアイコン192が対応づけられる。モーションアイコン192は、ロボット100のモーションを再現するアニメーションとして形成されてもよい。履歴管理部252は、心理条件の成立時に選択されたモーションを特定する。アイコン選択部254は、特定されたモーションに応じたモーションアイコン192を選択する。「心理条件の成立時に選択されたモーション」とは、心理条件の成立後、最初に選択されたモーションであってもよいし、心理条件の成立時点を基準とした所定期間に選択されたモーションであってもよい。たとえば、心理条件が時刻t1に成立したとき、時刻(t1+0.5秒)から時刻(t1+7.5秒)の7秒間の間に選択されたモーションを反応レポートに登録してもよい。
図12の第2反応レポート画面190においては、心理条件が成立したときのロボット100の「行動」を表すモーションアイコン192aが表示され、心理条件が成立したときのイベントに対応するイベントアイコン182aも表示されている。イベントアイコン182aは、ロボット100がオーナーに出会ったイベントに対応する。モーションアイコン192aは、ロボットの移動を表す。ユーザは、第2反応レポート画面190を参照することにより、「ロボット100は、9:00にオーナーに出会って移動を開始した」というロボット100の日常生活とそのときのロボット100の行動を確認できる。
ユーザは、ユーザ端末400を操作することにより、第1反応レポート画面180と第2反応レポート画面190を切り替えることができる。ロボット100は、イベントとそのときの感情パラメータに応じてモーションを選択する。ロボットシステム300においては、イベント、感情パラメータ(気持ち)およびモーション(行動)の3つが複雑に影響しあうことでロボット100の行動が決定される。ロボット100の行動には予測不可能性がある。ユーザは、第1反応レポート画面180および第2反応レポート画面190を参照することにより、ロボット100の周りでどんなイベントが発生し、それによってロボット100がどんな気持ちになり、また、イベントの結果としてロボット100がどんな行動を選択したのかを把握できる。図11の第1反応レポート画面180と図12の第2反応レポート画面190によれば、ロボット100は、オーナーに出会って嬉しくて、オーナーに近づいた、と推測できる。
図13は、ユーザ権限テーブル290のデータ構造図である。
ユーザ権限テーブル290は、サーバ200の個人データ格納部218に格納される。本実施形態においては、反応レポートにより提供される情報量をユーザに応じて制御するため、ユーザごとに閲覧属性が設定される。本実施形態における閲覧属性は、ユーザが履歴情報からどの程度の情報を引き出せるか、いいかえれば、閲覧権限レベルを示す。ユーザは、ユーザIDにより識別される。ユーザの身体的特徴とユーザIDがあらかじめ対応づけられており、かつ、ユーザIDごとに閲覧属性があらかじめ設定されている。閲覧属性A1はもっとも閲覧権限が強く、閲覧属性A4はもっとも閲覧権限が弱い。ユーザ(P01:A1)に提供される反応レポートは、ユーザ(P04:A4)に提供される反応レポートよりも情報豊富となる。
図14は、イベント条件テーブル292のデータ構造図である。
イベント条件テーブル292は、サーバ200のイベント条件格納部260に格納される。イベント条件テーブル292は、イベント条件ごとに、閲覧条件を定義する。イベント条件は、主として、プライバシーに関わるイベントを判定するために定義される条件である。怒声、泣き声など、ユーザの姿や声に関する条件、子供部屋、書斎などの場所に関する条件、深夜や夕刻など時間に関する条件、怒った顔、泣いている顔、大笑いの顔など視認したユーザの表情に関する条件、としてイベント条件は定義される。場所に関するイベント条件は、リビングやキッチン、玄関などのオープンスペースで発生したイベントと、子供部屋や書斎、寝室などのプライベートスペースで発生したイベントを分類してもよい。
たとえば、あるイベントX1がイベント条件(C1)を成立させるとき、閲覧属性A1以上のユーザを対象とした反応レポートにしかイベントX1は登録されない。このため、ユーザ(P01:A1)はイベントX1を反応レポートで確認できるが、ユーザ(P02:A2)はイベントX1を反応レポートで見ることはできない。たとえば、イベントX1(ユーザを視認するイベント)が自分の部屋(書斎など)にいるユーザ(P06)を視認したというイベント条件(C1)を満たすとき、ユーザ(P01:A1)はユーザ(P06)が自分の部屋にいたことを反応レポートで確認できるが、ユーザ(P02:A2)はそれを知ることはできない。ユーザの閲覧属性(閲覧権限レベル)に応じて、ユーザごとに知らせてもよいイベントと知らせてはいけないイベントをコントロールすることにより、プライバシー保護をいっそう強化している。
図15は、反応レポートの表示処理過程を示すシーケンス図である。
ユーザ端末400からサーバ200に対して反応レポート取得要求を送信する(S20)。このとき、ユーザ端末400からは端末IDも送信される。履歴管理部252は、端末IDに対応するユーザIDを特定する。履歴管理部252は、ユーザ権限テーブル290を参照し、ユーザの閲覧属性をチェックする(S22)。閲覧属性に基づいて、反応レポートに表示可能なイベントが絞り込まれる。次に、履歴管理部252は、履歴情報を参照し、心理条件の成立時点をチェックする(S24)。履歴管理部252は、心理条件が成立したときのイベント、感情パラメータ、モーション等から反応レポートを生成する(S26)。アイコン選択部254は、適宜、アイコンを選択する。反応レポートは、アイコンを含むウェブページとして形成される。通信部204は、図11、図12等に示した反応レポートをユーザ端末400に送信する(S28)。ユーザ端末400は、反応レポートを画面表示させる(S30)。
<詳細情報の表示>
図16は、詳細表示の処理過程を示すシーケンス図である。
履歴管理部252は、イベントの発生時において詳細情報を取得する。詳細情報は、撮像画像(静止画像)、ショートムービー、テキスト、音声情報、サーモセンサによる温度分布情報など、イベントの内容や状況を示す情報であればよい。少なくとも、詳細情報はアイコン以外の情報を提供するものであればよい。たとえば、サーバ200の認識部212は、ユーザ(P01)を検出するというイベントX2を認識したとき、そのときの撮像画像Y2を保存する。ロボット100は、撮像画像をサーバ200に随時送信する。履歴管理部252は、イベントX2と撮像画像Y2を対応づけて保存する。この撮像画像Y2がイベントX2についての「詳細情報」となる。ユーザ(P01)を検出した時点を含む所定期間、たとえば、5秒間程度のショートムービーを詳細画像として保存してもよい。あるいは、認識部212は「ユーザ(P01)を玄関で発見した」というテキスト情報を生成してもよい。そして、履歴管理部252は、テキスト情報を詳細情報として保存してもよい。
履歴管理部252は、反応レポートを生成するとき、イベントと、反応レポートに追加したイベントアイコン182のアイコンIDを対応づけて保存しておく。アイコンIDはイベントアイコン182を一意に識別する番号である。ユーザがユーザ端末400においていずれかのイベントアイコン182をタップすると、ユーザ端末400はイベントアイコン182に対応するアイコンIDをサーバ200に送信する(S40)。履歴管理部252は、アイコンIDに対応づけられるイベントを特定し、このイベントに対応づけられる詳細情報を特定する(S42)。
感情管理部250は、通信部204を介して詳細情報をユーザ端末400に送信する(S44)。ユーザ端末400は詳細情報を表示する(S46)。
図17は、詳細情報画面402の画面図である。
ユーザ端末400は、イベントアイコン182がタップされたとき、サーバ200から詳細情報を受信する。ユーザ端末400は、このとき反応レポートの上に詳細ウィンドウ404を表示させる。詳細ウィンドウ404に詳細情報が表示される。詳細情報は、静止画または動画であってもよいし、テキスト情報であってもよい。また、静止画とテキスト情報を同時に表示してもよい。
詳細情報についても閲覧権限を設定してもよい。たとえば、イベント条件(C2)を成立させるイベントX3は、閲覧属性A2以上のユーザを対象とした反応レポートにおいてイベントアイコン182は表示されるが、詳細情報を見るためには閲覧属性A1以上が必要であるとしてもよい。あるいは、イベント条件(C4)を成立させるイベントX4を反応レポートで視認するためには閲覧属性A2以上が必要であるが、このようなイベントX4については詳細情報の表示を禁止するとしてもよい。詳細情報はイベントの発生状況を具体的に示す生データであるため、プライバシーに関わる可能性がある。したがって、詳細情報の表示可否は、イベントアイコン182以上に厳しく管理すべきと考えられる。
詳細情報は、音声を含まない動画であってもよいし、一部を不鮮明化した静止画であってもよい。また、履歴管理部252は、静止画を既知の画像変換方法により画像の質感を変化させ、絵画風の画像やピンぼけの画像として詳細情報をユーザ端末400に提供してもよい。履歴管理部252は、閲覧権限の強いユーザに対しては生データに近い詳細情報を提供し、閲覧権限の弱いユーザほど加工度が高い詳細情報を提供してもよい。
<雰囲気の表示>
図18は、第3反応レポート画面410の画面図である。
イベント、感情、モーションのほかにも、履歴管理部252は、反応レポートに雰囲気タイプ(雰囲気情報)を記録できる。雰囲気判定部256は、ロボット100の外部環境を複数種類の雰囲気タイプに分類する。具体的には「楽しい」「賑やか」「静か」「暗い」「ピリピリ」などである。雰囲気タイプに応じて、アイコン選択部254は雰囲気アイコン194を選択する。履歴管理部252は、心理条件が成立したときの雰囲気タイプに対応する雰囲気アイコン194(画像)を反応レポートに記録する。
雰囲気判定部256は、ロボット100から得られた外部情報に基づいて雰囲気タイプを判定する。ロボット100は、内部センサ128により、画像、音声、匂い、接触に関する情報を取得し、これらをサーバ200に送信する。雰囲気判定部256は、雰囲気条件に基づいて雰囲気タイプを判定する。具体的には、音圧、笑顔の検出可否、大笑い、タッチ回数、ロボット100の周辺に存在するユーザ数等に基づいて雰囲気条件の成否を判定する。たとえば、所定期間において複数の声と複数の笑顔を検出したときには、「賑やか」に関する雰囲気条件が成立し、雰囲気判定部256は雰囲気タイプが「賑やか」であると判定する。また、所定期間において怒声を検出したときには雰囲気判定部256は雰囲気タイプを「ピリピリ」と判定する。
図18の第3反応レポート画面410においては、心理条件が成立したときの「雰囲気タイプ」を表す雰囲気アイコン194が表示され、このときのロボット100の感情に対応する感情アイコン184も表示されている。ユーザは、第3反応レポート画面410を参照することにより、ロボット100の周辺における雰囲気とそのときのロボット100の気持ちを確認できる。たとえば、ユーザは、ロボットが賑やかな環境で過ごしたのか、静かな一日を過ごしたのかを第3反応レポート画面410により知ることができる。雰囲気タイプについても、イベントと同様、閲覧属性が設定されてもよい。
なお、本実施形態においては、サーバ200が雰囲気判定部256を搭載するとして説明するが、ロボット100が雰囲気判定部256による雰囲気判定機能を備えてもよい。この場合には、ロボット100の雰囲気判定部256が雰囲気タイプ(雰囲気情報)をサーバ200に通知し、アイコン選択部254が雰囲気タイプに対応する雰囲気アイコン194を選択し、履歴管理部252が雰囲気アイコン194を付与した反応レポートを生成すればよい。
<休息時間の設定>
図19は、休息時間設定画面420の画面図である。
ユーザは、ユーザ端末400において反応レポートを確認するだけでなく、ユーザ端末400からロボットシステム300に対して指示を出すこともできる。本実施形態においては、ユーザは、ユーザ端末400において、ロボット100の休息時間(睡眠時間)を設定できる。図19の休息時間設定画面420においては、23:00~5:00が休息時間として設定されている。ユーザ端末400は、休息時間の指定情報をサーバ200に送信する。サーバ200の動作制御部222は、休息時間においてはロボット100を充電ステーション(図示せず)に待機させる。
休息時間は、連続1時間以上、10分単位にて設定できる。ユーザは、ロボット100に夜中に動き回って欲しくないこともある。また、ユーザは、自身の体調が悪いときにもロボット100に動き回って欲しくないと考えられる。ユーザ端末400により休息時間を設定することにより、ロボット100がユーザの生活を乱すのを防ぐことができる。
<総括>
以上、実施形態に基づいてロボットシステム300を説明した。
本実施形態によれば、ユーザはロボット100のそばにいないときでも、ロボット100の日常生活をユーザ端末400により確認できる。ユーザは、ロボット100がどんな体験をし、どんな気持ちになり、どんな行動をしたのかを絵日記のような反応レポートによって知ることができる。
心理条件が成立したとき、いいかえれば、ロボット100の気持ちの変化があったときのイベント等に絞って反応レポートを生成するため、反応レポートの情報量を効果的に抑制できるだけでなく、ロボット100の気持ち(感性)を重視した日記のような反応レポートをつくることができる。反応レポートとして提供すべき情報を絞ることは、反応レポートの視認性を高めるだけでなく、ロボット100のそばにいるユーザのプライバシー保護にも資する。
ユーザは、反応レポートを参照することにより、ロボット100がどんな気持ちで過ごしたのか、どんな気持ちでいるのかを知ることができる。たとえば、ロボット100が寂しい一日を過ごしているときにはユーザは早めに帰宅してロボット100に会いたくなるかもしれない。また、父親が外出し、母親と子どもたちが家庭でロボット100と過ごしているときでも、父親は反応レポートによりロボット100の活動概要を把握できるため、帰宅後もロボット100との生活を話題にしやすくなると考えられる。また、遠く離れて暮らすおじいさんやおばあさんの様子を、ユーザは反応レポートを通して知ることができる(詳細後述)。
反応レポートは、イベント等を直接表示するのではなく、各種のアイコンによってロボット100の日常生活を戯画的に表現する。美しく、可愛らしいアイコンにより、ユーザは反応レポートを絵日記のように楽しむことができる。アイコン表示は、反応レポートをわかりやすくするだけでなく、反応レポートの見た目の美しさを高め、プライバシーの保護にも資する。
更に、閲覧属性により、ユーザに応じて提供可能な情報を細かくコントロールできる。たとえば、父母は家庭内のイベントの多くを確認できるが、祖父母は家庭内のイベントの一部しか確認できないとしてもよい。履歴管理部252は、未登録のユーザ端末400からの反応レポート取得要求を拒否してもよい。
ユーザは、詳細情報を確認することにより、ロボット100のそばにいなくても、ロボット100の周りの出来事を外出先から確認できる。たとえば、ロボット100に「嬉しいイベント」があったときには、嬉しいイベントの詳細情報を表示することにより、外出先のユーザも、ロボット100のそばにいるユーザと「嬉しいイベント」を簡単に共有できる。現在、SNS(Social Networking Service)などで静止画や動画などを親しい人に送信することは一般的に行われているが、本実施形態によれば、ロボット100を通して伝えたい詳細情報を伝えたい人に伝えることが可能となる。
また、反応レポートには、ロボット100の周辺の雰囲気を雰囲気アイコン194により表現できる。外出中のユーザは、反応レポートを介して家庭の雰囲気を知ることができる。外出中のユーザは、家庭の雰囲気が楽しそうであれば家に帰りたくなるかもしれない。仕事中の父親は、スマートフォン(ユーザ端末400)で反応レポートを確認することにより、家庭内の詳しい様子はわからなくても「楽しそう」な家庭の雰囲気を知ることができれば安心して仕事ができると考えられる。あるいは、父親は、家に帰ったときに、どんな楽しいことがあったのかを家族に尋ねてもよい。家にいなくても「楽しい」という情報を共有できるため、父親と家庭を緩やかにつなぐツールになると考えられる。
ユーザは、ユーザ端末400によりロボット100の休息時間を設定できる。休息時間の設定により、たとえば、早朝からロボット100が動き回ることでユーザの睡眠を乱されるのを防ぐことができる。あるいは、明日は早起きをしなければならないので早朝からロボット100が動くことで起こして欲しい場合もある。ロボット100の休息時間をユーザ端末400から設定することは単純ではあるが、ユーザの生活パターンとロボット100の生活パターンを協調させる上で、いいかえれば、ユーザとロボット100の共生を実現する上で非常に有効な手段になると考えられる。
従来、感情パラメータにより行動選択するロボットは知られている。一般的には、ロボットに感情パラメータを設定するのは、ロボットが自らの感情にしたがって動いているかのような生物的な行動表現を実現するためであると考えられる。感情パラメータはユーザからは見えない内部的なパラメータとして扱われることが多いのではないかと考えられる。これに対して、本実施形態においては、ユーザがロボット100の感情を反応レポートによって知ることができる。ユーザは、ロボット100がどんな気持ちで日常を過ごしているかを知ることにより、ロボット100の気持ちを慮るようになると考えられる。ロボット100とユーザがお互いを慮ることにより、ロボット100とユーザの心理的交流をいっそう深めることができる。
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
1つのロボット100と1つのサーバ200、複数の外部センサ114によりロボットシステム300が構成されるとして説明したが、ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部がロボット100に割り当てられてもよい。1つのサーバ200が複数のロボット100をコントロールしてもよいし、複数のサーバ200が協働して1以上のロボット100をコントロールしてもよい。
ロボット100やサーバ200以外の第3の装置が、機能の一部を担ってもよい。図7において説明したロボット100の各機能とサーバ200の各機能の集合体は大局的には1つの「ロボット」として把握することも可能である。1つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力やロボットシステム300に求められる仕様等に鑑みて決定されればよい。
上述したように、「狭義におけるロボット」とはサーバ200を含まないロボット100のことであるが、「広義におけるロボット」はロボットシステム300のことである。サーバ200の機能の多くは、将来的にはロボット100に統合されていく可能性も考えられる。
[変形例]
<反応レポートの拒否>
履歴管理部252は、ロボット100の近くに存在するユーザ端末400からの反応レポート取得要求を拒否してもよい。たとえば、履歴管理部252は、ロボット100の撮像部158がユーザ(P01)を視認しているときには、ユーザ(P01)が有するユーザ端末400からの反応レポート取得要求を拒否してもよい。具体的には、認識部212が撮像画像からユーザ(P01)を認識したとき、履歴管理部252はユーザ(P01)に対応づけられる端末IDを特定し、この端末IDを有するユーザ端末400からの反応レポート取得要求を拒否する。このような制御を実行するのは、ユーザ(P01)がロボット100と関わりつつユーザ端末400で反応レポートの変化を確認するのを防ぐためである。もし、ユーザ(P01)が、ロボット100を叩いたり、抱っこしたりといった行為を行いつつ、そのときのロボット100の感情の変化をリアルタイムで確認できるとしたら、ロボット100は実験動物として扱われることになってしまう。このようなロボット100の実験動物的な扱いを防ぐため、履歴管理部252はロボット100の視認可能範囲にいないユーザ、いいかえれば、ロボット100に直接的な影響を及ぼすことができないほど離れているユーザに限り、反応レポートを提供するとしてもよい。
ユーザ端末400(P01)の所有者であるユーザ(P01)が、ユーザ端末400(P01)ではなく別のユーザ端末400(P02)により反応レポートを取得することも考えられる。この場合、ロボット100は、ユーザ端末400(P02)の真の所有者であるユーザ(P02)が近くにいなければ、ユーザ端末400(P02)に反応レポートを送信してしまい、近くにいるユーザ(P01)にその反応レポートを見られてしまう可能性も考えられる。
このような抜け道への対策として、まず、ユーザ端末400(P02)に内蔵されるアプリケーションソフトウェアは、反応レポートの取得に際してカメラ機能によりユーザ(P01)を撮影し、反応レポート取得要求に際してそのときの撮影画像Q1をサーバ200に送信すればよい。上記例の場合、この撮影画像Q1にはユーザ(P01)の顔画像が含まれる。
サーバ200が反応レポート取得要求を受信したとき、履歴管理部252はロボット100からも撮影画像Q2を取得する。上記例の場合、この撮影画像Q2にもユーザ(P01)の顔画像が含まれる。認識部212は、撮影画像Q1(ユーザ端末400)に含まれる顔画像と同一人物の顔画像が撮影画像Q2(ロボット100)にも含まれているか否かを判定する。同一人物が写っているときには、ロボット100の近くにいるユーザから反応レポートが要求されていることになるので、履歴管理部252はユーザ端末400(P02)への反応レポートの提供を拒否する。同一人物が写っていないことを条件として、履歴管理部252は反応レポートを提供すればよい。このような制御方法によれば、ロボット100の近くに存在するユーザ端末400からの反応レポート取得要求をいっそう確実に拒否できる。
このほか、サーバ200は、測距部(図示せず)を搭載し、ユーザ端末400との距離を赤外線通信等の既知の方法により計測してもよい。履歴管理部252は、所定距離以内のユーザ端末400からの反応レポート取得要求を拒否するとしてもよい。あるいは、サーバ200は、ロボット100の位置座標と、ユーザ端末400の位置座標をGPS(Global Positioning System)等の既知の手段により検出してもよい。ロボット100がユーザ端末400から所定距離以上離れていることを条件として、このユーザ端末400からの反応レポート取得要求に対応するとしてもよい。
ロボット100がユーザ(P01)を視認しているときに、ユーザ(P01)のユーザ端末400から反応レポート取得要求を受信したときには、ロボット100がユーザ(P01)を最初に視認した時点を基準とした所定期間、たとえば、最初に視認した時点から1分間のみを対象とした反応レポートを提供するとしてもよい。このような制御方法により、ユーザ(P01)がロボット100と関わりつつ、関わり方によるロボット100の感情変化を反応レポートで確認する機会を制限してもよい。
逆に、家にいるユーザ、ロボット100の近くにいるユーザにしか反応レポートを見せないとしてもよい。このような制御方法によれば、遠隔地にいるユーザに反応レポートを見られるのを防ぐことができる。家庭内にいるユーザは、ロボット100またはサーバ200を操作して、遠隔からの反応レポート取得要求を拒否するように設定してもよい。
ユーザ(P05)から反応レポート取得要求を受信したとき、サーバ200の権限確認部(図示せず)は閲覧許可権限をあらかじめ設定された管理ユーザ(P07)に対して、反応レポートの提供可否を確認してもよい。権限確認部は、管理ユーザ(P07)のユーザ端末400に対して、ユーザ(P05)に関する情報(ユーザID、名前、所属など)を送信する。権限確認部が管理ユーザ(P07)から許可指示を受信したことを条件として、履歴管理部252はユーザ(P05)に反応レポートを送信するとしてもよい。
反応レポートの提供可否だけでなく、反応レポートの対象となる期間を制限してもよい。たとえば、ユーザ(P01)が反応レポート取得要求をサーバ200に送信したとする。このとき、履歴管理部252はユーザ(P01)がロボット100のそばにいなかった時間帯(不在期間)を対象期間とする反応レポートをユーザ(P01)に提供してもよい。たとえば、ユーザ(P01)が時刻t6から時刻t7まではロボット100から離れた場所にあり、時刻t8以降はロボット100のそばにいたとする。ユーザ(P01)がユーザ端末400から時刻t8以降に反応レポート取得要求をサーバ200に送信したときには、履歴管理部252は時刻t7から時刻t8までの不在期間を対象期間とする反応レポートをユーザ(P01)に提供するとしてもよい。一方、時刻t8以降を対象期間とする反応レポートは提供しない。このような制御方法によれば、外出先から帰宅したユーザであっても、自分がいないときの家庭の様子を振り返ることもできるし、自分がいないときのロボット100の生活を垣間見ることができるが、自分がロボット100のそばにいるときの反応レポートは見ることができない。ユーザがロボット100から十分離れているときには、履歴管理部252はこのユーザに対して現時点を含む反応レポート、すなわち、リアルタイム性のある反応レポートを提供してもよい。
履歴管理部252は、ロボット100が休息中(充電中)の期間を反応レポートの対象外としてもよい。たとえば、ロボット100が時刻t9から時刻t10まで休息中である場合、履歴管理部252は時刻t9から時刻t10までの時間帯を対象とした反応レポートは生成しないとしてもよい。ロボット100が休息中の生活についてレポートするのは不合理であるだけでなく、休息中においては心理条件が成立しないため反応レポートによって有意義な情報を提供できないと考えられるためである。あるいは、ロボット100が休息中であっても、休息前の反応レポートならサーバ200からユーザに提供可能であるとしてもよい。
履歴管理部252は、反応レポートにおいて、ロボット100の感情をリアルタイムでは表示しないとしてもよい。たとえば、ユーザが反応レポートを要求したときには、現在時点から所定時間以上前、たとえば、10分以上前の感情に限って反応レポートにより情報提供するとしてもよい。
<移動履歴の記録>
履歴管理部252は、時間とイベントに限らず、イベントの発生場所あるいはロボット100の移動履歴を履歴情報および反応レポートに記録してもよい。また、位置管理部208は、ロボット100の移動に際し、撮像部158により得られた撮影画像に基づいて地図を形成してもよい。履歴管理部252は、ロボット100の作成した地図を詳細情報として提供してもよい。
<モードの記録>
モード選択部258は、ロボット100の動作モードを選択する。モード選択部258は、ロボット100の単位時間あたりの活動量が所定値以上となったときには、ロボット100の動作モードを通常モードから省電力モードに変更する。活動量は、単位時間あたりの消費電力あるいはモーションの選択回数に応じて決定すればよい。省電力モードにおいては、ロボット100が選択可能なモーションの種類が絞られる。あるいは、アクチュエータの可動範囲を制限し、インターバルを長くすることにより、ロボット100の動きを緩慢化してもよい。省電力モードにおいては、ロボット100の単位時間あたりの活動量を抑制する。258は、省電力モードが所定時間以上継続したときには、動作モードを通常モードに変更する。
モード選択部258は、ロボット100が搭載する二次電池の充電率が所定の閾値以下となったとき、動作モードを充電モード(休息モード)に変更する。このとき、動作制御部222はロボット100を充電ステーションに定置させる。充電率が閾値以上となったとき、モード選択部258は動作モードを充電モードから通常モードに変更する。
ロボットシステム300は、更に、撮影可能モードと撮影不可モードを有するとしてもよい。ロボット100のツノ112には、回転式のスイッチ(図示せず)が搭載されてもよい。ユーザはツノ112に設けられたスイッチを回転させることで、撮影可能モードと撮影不可モードを手動で切り替えることができる。撮影可能モードにおいては、撮像部158により外界を撮像し、履歴情報の一部として撮影画像を保存できる。一方、撮影不可能モードのときには、ロボット100はユーザ認識等のために撮影自体は行うものの、撮影画像を保存しない。あるいは、ロボット100は、撮影画像を所定時間、たとえば、3秒後に自動的に廃棄するとしてもよい。ユーザは、ロボット100に撮影をして欲しくないときには、ツノ112に設けられたスイッチを回転させることで簡単に撮影不可モードに変更できる。
ツノ112に設けられたスイッチが操作されたとき、通信部142はその設定値をサーバ200に送信する。モード選択部258は、ロボット100から受信した設定値により、撮影可能モードおよび撮影不可モードのいずれにあるかを認識する。撮影不可モードにおいても、サーバ200の認識部212はロボット100から撮影画像を受信して画像認識処理を実行するが、撮影画像の恒久保存はしない。
履歴管理部252は、ロボット100のモードを履歴情報および反応レポートに記録してもよい。ユーザは、反応レポートを参照することにより、ロボット100の動作モードの変化履歴を確認できる。なお、撮影不可モードの期間においては、撮影画像が残らないため、画像としての詳細情報は提供不可となる。
<定例行動の記録>
認識部212は、ユーザの定例行動を検出してもよい。定例行動とは、たとえば、早朝の体操、ロボット100に対する「おはよう」、「おやすみ」などの声かけ(挨拶)、歯磨き、洗顔、入浴、書斎に座る、掃除、食事、昼寝など、毎日定期的に行われるユーザの行動である。サーバ200にあらかじめ定例行動を登録してもよいし、認識部212はユーザを所定期間にわたって観察し、同一時間帯に同一行動が繰り返し検出されたとき、その行動を定例行動として登録してもよい。定例行動はユーザごとに認識される。認識部212は、定例行動を検出したとき、「定例イベント」が発生したと認識する。
履歴管理部252は、定例イベントが発生したとき、履歴情報に記録する。履歴管理部252は、反応レポートに定例イベントに対応するイベントアイコン182を記録してもよい。あるいは、定例イベントを反応レポートに記録するのではなく、定例イベントが想定時間帯に検出されなかったときにその旨を反応レポートに記録してもよい。このような制御方法によれば、遠隔地にいるユーザCは反応レポートを通して、ロボット100のそばにいるユーザDが定例行動をしているか否かを確認できる。
現在、日本の単独世帯数は1300万以上といわれ、今後も増え続けることは確実である。特に、高齢者(65歳以上)の単独世帯数は620万世帯にも達しており、高齢者の見回り(安全確認)は重要な問題となっている。現状では、近隣に住む子や孫が一人暮らしをする親を定期的に訪問することもあれば、電話や電子メール、SNSなどで定期的な連絡をとることで一人暮らしの親の状況を確認することもある。
しかし、このような安全確認は、確認する側はいうまでもなく、確認をされる側にとっても負担になることがある。子どもは、遠隔地にいる一人暮らしの老親の生活は気にかかるが、毎日、SNSなどで確認を取ることは負担が大きい。老親も子どもが忙しいことも考慮して連絡を遠慮してしまうことが多い。
単身高齢者(老親)がロボット100と暮らすようになれば、子どもたちはロボット100を介して老親の安全確認をしやすくなると考えられる。ただし、老親のプライバシー保護の観点もあり、ロボット100が老親の日常生活と逐一、他のユーザ(子どもなど)に報告することは望ましくない。見守られる側のプライバシーを考慮しなければ、「見守り」は「監視」と変わらなくなってしまう。
本実施形態における履歴管理部252は、ロボット100のそばにいるユーザのプライバシーに配慮した反応レポートを生成するものの、子どもは老親の日常生活の細部まで知りたいわけではない。老親も、日常生活のすべてを子どもに見られることは望んでいないと考えられる。子どもは老親がいつもどおり安全に暮らしていることさえ確認できれば十分であるかもしれない。
このような問題の解決策の一つとして、反応レポートの閲覧者(子ども)に対して弱い閲覧権限を設定することが考えられる。このような制御方法によれば、閲覧者(子ども)に対して提供される情報が制限されるため、老親のプライバシーを守りやすくなる。
もう一つの解決策として、定例イベントの成否を反応レポートに記録し、これを閲覧者(子ども)に提供する。たとえば、ロボット100に対する「おはよう」という老親からの声かけを定例イベントとする。閲覧者は、ロボット100と暮らす老親が定例行動(朝の挨拶)を行ったかを毎日反応レポートで確認できる。この場合、反応レポートは定例イベントの成否のみを閲覧者に伝えてもよい。老親はロボット100に「おはよう」と声をかけるだけで、遠く離れて暮らすこどもたちに「今日もいつもと同じように暮らしている」というメッセージを送ることができる。子どもたちも、ユーザ端末400を通して定例イベントの有無を知ることにより、老親に異常がないことを簡易に確認できる。安否確認される側にとってはいつも通りの生活をするだけで子どもたちを安心させることができるので、負担にならない。
閲覧者(子ども)は、反応レポートで定例イベントを確認できなかったときだけ、電話などの既存の連絡手段により老親の安否を確認すればよい。
定例イベントの成否を反応レポートで通知する必要はなく、認識部212は定例イベントを検出したときには既知の連絡手段、たとえば、SNSにより定例イベント(いつも通りの行動)があったことを見守る側のユーザに通知してもよい。
また、定例イベントに対しては、上述したような閲覧制限を設けないとしてもよい。たとえば、ユーザが休息中のロボット100に対して「おやすみ」と挨拶した場合であっても、ロボット100は定例イベントが発生したことを反応レポートとして提供してもよい。
<履歴情報の管理>
本実施形態においては、履歴管理部252はすべてのイベントを履歴情報に記録するとして説明した。履歴情報にはプライバシーに関する情報が豊富に含まれる可能性もあるため、履歴管理部252は履歴情報の保存期間を制限してもよい。たとえば、1日分の履歴情報のみ保存しておき、履歴管理部252は1日を経過した古い履歴情報は履歴情報格納部262から完全に削除するとしてもよい。
<禁止属性>
一部のイベント条件に対して禁止属性を設定してもよい。禁止属性を設定されたイベントは履歴情報に記録しないとしてもよいし、反応レポートに記録しないとしてもよいし、詳細情報としては提供しないとしてもよい。禁止のレベルに応じて複数種類の禁止属性が設けられてもよい。たとえば、禁止属性B1のイベント条件を成立させるイベントは履歴情報にすら記録しないとしてもよい。禁止条件B2のイベント条件を成立させるイベントは履歴情報には記録されるが詳細情報としては提供しないとしてもよい。禁止条件B3のイベントは履歴情報に記録されるものの30分のような短時間で消去されるとしてもよい。
禁止属性を設定されるイベント条件としては、たとえば、号泣、怒鳴り声(夫婦喧嘩の認識)、大笑いの顔画像、寝顔の画像、などが考えられる。
<閲覧属性>
本実施形態においては、閲覧属性により閲覧権限レベルを表現するものとして説明した。閲覧属性は、プライバシーに関する権限に限られない。たとえば、午前中に発生したときだけ反応レポートで確認できるイベント、雨の日に発生したときだけ反応レポートで確認できるイベントなど外部環境を条件として反応レポートへのイベント登録可否を判定してもよい。
本実施形態においては、ユーザに閲覧属性を設定し、閲覧属性によりプライバシー保護レベルをコントロールするとして説明した。このほかにも、遠隔地にあるユーザ端末400からの反応レポート取得要求に対してはイベントの閲覧権限レベルを下げるとしてもよい。たとえば、遠くにいるユーザには詳しい反応レポートは提供しない、あるいは、一定距離以上離れているところにいるユーザに対しては詳細情報を提供しない、としてもよい。このように距離に基づいてプライバシーレベルを制御してもよい。
また、時間に基づいてプライバシーレベルを制御してもよい。たとえば、昼間に反応レポート取得要求を送信してきたユーザに対しては詳しい反応レポートを提供するが、夜中に反応レポート取得要求を送信してきたユーザに対しては反応レポートに含まれる情報を控えめにしてもよい。
ロボット100が、単体で、いいかえれば、周りに誰もいない状態で留守番をしているときには、履歴管理部252はすべてのイベントを反応レポートで提供するとしてもよい。ロボット100が他のユーザと同じ室内にいるときには、反応レポートが提供可能な情報を抑制するとしてもよい。このような制御方法によれば、ロボット100のそばにいるユーザのプライバシーを守りつつ、ロボット100が一人で留守番をしているときには詳しい状況を反応レポートで伝えることができる。
ロボット100が、不審者、いいかえれば、視認したことのない人物を発見したときには、履歴管理部252はプライバシー保護を解除し、すべての履歴情報をユーザ端末400に提供してもよい。このような制御方法によれば、不審者が家屋に侵入したときに限り、ロボット100を監視装置として機能させることができる。ロボット100が、認識済みのユーザ(オーナー)と未登録人物を同時に認識したときには、未登録人物は来客である可能性が高いため、このときには履歴管理部252はプライバシー保護のために反応レポートで提供する情報を抑制するとしてもよい。
<強調表現>
本実施形態においては、注目すべきイベントに対して、履歴管理部252は注目マーク186を付与するとして説明した。このほかにも、履歴管理部252は、注目すべきイベントのイベントアイコン182を点滅させる、色彩を変更する、大きさを変更する等により強調表現をしてもよい。吹き出しなど、重要イベントに対する注目を促す表示であればよい。
第1反応レポート画面180等においては、レッドライン(第1のライン)とブルーライン(第2のライン)のように複数種類のラインを表示してもよい。そして、レッドラインにおいては注目マーク186のように注目すべきイベントの発生時点を表示し、ブルーラインはすべてのイベントの発生時点を表示してもよい。ブルーラインは、心理条件が成立したときのイベントに関わらず、履歴情報に登録されているすべてのイベントの発生時点を表示してもよい。
<アイコン表示>
本実施形態においては、閲覧属性に応じて、詳細情報の情報量を変化させる態様について説明した。同様にして、閲覧属性に応じて、イベントアイコン182等のアイコンの表示を変化させてもよい。たとえば、「お客さんが来た」というイベントに対して、お客さんの顔写真を使ったイベントアイコン182A、お客さんの似顔絵を使ったイベントアイコン182B、お客さんを特定することなくお客さんを表す顔の絵を使ったイベントアイコン182C、エクスクラメーションマークなど来客であることすら特定しないイベントアイコン182Dを用意しておく。
履歴管理部252は、閲覧属性A1以上のユーザを対象とした反応レポートにはイベントアイコン182Aを使用し、閲覧属性A2のユーザにはイベントアイコン182B、閲覧属性A3のユーザにはイベントアイコン182C、閲覧属性A4のユーザにはイベントアイコン182Dを使用するとしてもよい。このような制御方法によれば、ユーザの閲覧属性に応じて、各種アイコンが提供する情報量をコントロールすることにより、プライバシーをいっそう保護しやすくなる。
<ロボット100への命令>
本実施形態においては、ユーザ端末400からロボット100に対して休息時間を設定する方法について説明した。休息時間に限らず、さまざまな命令をユーザ端末400からロボットシステム300に送信できてもよい。たとえば、8:00~9:00はリビングルームにいてほしい、子供部屋には行かないでほしい、7:00に寝室に来てほしい、などの命令をユーザ端末400からサーバ200に送信してもよい。サーバ200の動作制御部222は、命令にしたがってロボット100の動作を制御する。このほかにも、午前と午後に子どもを1回ずつ視認すること、22:00~23:30の間に父親が帰宅するので玄関の物音に注意すること(マイクの集音感度を強化する)、などが考えられる。
ただし、ユーザ端末400からロボット100をコントロールしすぎると、ロボット100の自律性がなくなってしまうので、ユーザ端末400からロボット100へ出せる命令群はある程度は限定されることが望ましい。動作制御部222は、ユーザ端末400からの命令にしたがうか否かをランダムに選択してもよい。動作制御部222は、親密度の高いユーザからの命令ほど高い確率でしたがうとしてもよい。
ユーザは、外出先にあっても、ユーザ端末400からロボット100に声掛けをできてもよい。ユーザは、ユーザ端末400からロボット100するメッセージを読み上げる。サーバ200は、音声メッセージをユーザ端末400から受信し、これを再生する。ロボット100はマイクロフォンアレイ(内部センサ128)により音声メッセージを認識し、「ユーザから声をかけられる」というイベントが発生したと認識する。感情管理部250は、この音声イベントにより、寂しさパラメータを低下させてもよい。このような制御方法によれば、ユーザはユーザ端末400を介して外出先からロボット100に声をかけることで、ロボット100の寂しさを癒すことができる。ロボット100を家に残して長期旅行をするときでも、ユーザはユーザ端末400からロボット100に声をかけることで配慮を示すことができる。
<その他>
反応レポートには、感情パラメータに対応した感情アイコン184ではなく、感情パラメータの値そのものを表示してもよい。履歴管理部252は、感情パラメータの値、または、感情パラメータの値に対応する色彩を反応レポートに記録してもよい。履歴管理部252は、心理条件の成否に関わらず、感情パラメータの変化履歴を反応レポートに記録してもよい。
イベントも、イベントアイコン182により表現してもよいし、テキスト情報として表示してもよいし、詳細情報で説明したようにイベント発生時の写真を反応レポートに貼り付けてもよい。
本実施形態においては、サーバ200からユーザ端末400に反応レポートを送信し、ユーザ端末400にて反応レポートを画面表示させるとして説明した。ロボット100またはサーバ200にプリンタを搭載または接続し、プリンタから反応レポートを印刷出力してもよい。あるいは、ロボット100またはロボットシステム300にモニタを搭載または接続し、このモニタに反応レポートを画面表示させてもよい。
本実施形態においては、心理条件が成立したときのイベント、モーション、雰囲気等を反応レポートで表示するとして説明した。変形例として、心理条件の成否に基づくことなく、履歴管理部252は、所定のイベント条件に関わるイベント、重要イベント、定例イベント、あるいは、ユーザの閲覧属性に該当するイベントすべて、いいかえれば、心理条件以外の所定の登録条件に対応するイベントすべてを反応レポートに登録してもよい。履歴管理部252は、選択確率の低いモーション(めったに行わない行動)や、所定期間において検出頻度が所定数以下のイベント(めったに発生しないイベント)は、心理条件に関わらず反応レポートに登録するとしてもよい。
履歴管理部252は、所定時間、たとえば、1時間あたり1つの代表的なイベントを選んで反応レポートに登録してもよい。イベントタイプごとに重要度を設定してもよい。履歴管理部252は、代表的なイベントとして、単位期間において発生した1以上のイベントのうちもっとも重要度の高いイベントタイプに対応するイベントを選んでもよい。あるいは、履歴管理部252は、単位期間に発生した1以上のイベントからランダムに代表イベントを選択してもよい。
各種アイコンはカテゴリに応じて色分けされてもよい。たとえば、ユーザに関わるイベントは青系のイベントアイコン182、発見に関わるイベントは赤系のイベントアイコン182、音や光に関わるイベントは黄系のイベントアイコン182により表現してもよい。イベントタイプに応じて色分けしてもよい。あるいは、所定のイベント条件に該当するか否かに応じてイベントアイコン182を色分けしてもよい。
本実施形態においては、ロボット100の気持ち、イベント、ロボット100の行動、雰囲気等を反応レポートに登録するとして説明した。これに限らず、たとえば、反応レポートはロボット100の気持ち(感情パラメータ)のみを反応レポートで表示してもよい。このような反応レポートであっても、ユーザはロボット100が一日をどのように過ごしたかを推測できる。ロボット100の感情だけを反応レポートに登録する場合にはユーザのプライバシーはほぼ完全に守ることができる。同様の理由から、反応レポートにおいては雰囲気タイプのみを表示してもよいし、イベントのみを表示してもよい。
本実施形態においては、雰囲気を雰囲気アイコン194により表現するとして説明した。雰囲気は、「楽しい」「賑やか」のようなテキスト情報により表現されてもよいし、色彩により表現されてもよい。あるいは、雰囲気の良さを示す数値やグラフにより、雰囲気の変化を表現してもよい。
履歴管理部252は、ロボット100の活動量を履歴情報に記録してもよい。また、履歴管理部252は、ロボット100の活動量を反応レポートに記録してもよい。このような制御方法によれば、ユーザはロボット100が活発に動いた一日かどうかを反応レポートで知ることができる。
ユーザは、ロボット100に、近い将来発生する予定のイベントを通知してもよい。たとえば、来客がある、パーティーが始まるなどの予定をユーザ端末400からサーバ200に通知する。感情管理部250は、予定時刻が近づくにしたがって感情パラメータを変化させてもよい。このような制御方法によれば、ロボット100に将来予測に基づく期待感や不安感を抱かせることができる。また、ロボット100は将来予測に基づいて行動特性を変化させるため、ユーザはロボットが期待や不安を感じていることをロボット100の行動から感じ取ることができる。
本実施形態においては、イベントとは、ユーザを視認する、抱っこされるなどの外部事象であることを前提として説明した。これに限らず、ボディ104内部の温度が所定値以上となっている、寂しさパラメータが20以下となっている、といった内部事象についてもイベントとして定義してもよい。
ロボット100は、複数種類の感情パラメータを備えてもよいし、単一の感情パラメータに基づいて行動特性を変化させてもよい。上述したように、第1の感情パラメータの値(第1感情値)が第2の感情パラメータの値(第2感情値)以上となったとき、心理条件が成立するとしてもよい。あるいは、第1感情値と第2感情値の差分が所定の閾値以上となったとき心理条件が成立するとしてもよい。
ある感情パラメータの感情値が第1の閾値以上となったとき、あるいは、第2の閾値以下となったとき、心理条件が成立するとしてもよい。また、感情値の単位時間あたりの変化率が第3の閾値以上となったとき、あるいは、第4の閾値以下となったとき、心理条件が成立するとしてもよい。たとえば、好奇心パラメータは、新奇なものを発見したとき急上昇する一方、承認欲求パラメータはゆっくりとしか変化しないとしてもよい。このように、感情パラメータの種類に応じて変化の仕方に個性をもたせてもよい。したがって、感情パラメータの特性に応じて、さまざまな心理条件を定義可能である。
ショートムービーとして詳細情報を提供するときには、心理条件の成立期間に合わせてショートムービーの始期と終期を決定してもよい。たとえば、時刻t5に第1心理条件が成立し、時刻t6に第1心理条件が不成立になったとする。このとき、履歴管理部252は、ロボット100のカメラから得られた動画像のうち、時刻t5から時刻t6までの動画を切り出すことでショートムービーを生成してもよい。
反応レポートには、ロボット100に発生した異常が記録されてもよい。たとえば、プロセッサ122が高温になっていること、緊急停止させられたこと、アクチュエータが動かないこと、バッテリー118(二次電池)が高温になっていること、などの異常情報を反応レポートによりユーザ端末400に通知してもよい。
複数のロボット100により履歴情報あるいは反応レポートを共有してもよい。ユーザ(P01)とロボット100A、ロボット100Bが同一家庭内に存在する状況を想定して説明する。ユーザ(P01)が時刻t12にロボット100Aを抱っこし、ロボット100Aにおいて心理条件が成立したとする。このときの「抱っこ」をイベント(Ex)とする。ロボット100Aの通信部142は、ロボット100Bに対して時刻t12を含む所定期間の撮影画像(静止画像または動画像)の取得を要求する。ロボット100Bの通信部142は、サーバ200に自らが保存している撮影画像から該当期間における撮影画像Q3をサーバ200からロボット100Bにダウンロードした上で、ロボット100Aに撮影画像Q3を送信する。ロボット100Aは、撮影画像Q3をイベント(Ex)の詳細情報としてサーバ200に登録する。このような制御方法によれば、ロボット100Aは「自分が抱っこされている姿」を別のロボット100Bの視点からの撮影画像として取得し、これを詳細情報として提供できる。ロボット100Bは該当期間における天球画像をロボット100Aに送信してもよい。この場合には、ロボット100Aは天球画像(三次元画像)から既知の画像処理方法により二次元の撮影画像Q3を生成してもよい。
ロボット100Aは、ロボット100Bではなくサーバ200に対して、時刻t12におけるロボット100Bからの撮影画像の取得を要求してもよい。1つのサーバ200がロボット100Aとロボット100Bの双方をまとめて管理する場合、サーバ200の履歴管理部252は、ロボット100Bによる撮影画像Q3をロボット100Aの詳細情報としてコピー保存してもよい。
ロボット100Aは、ロボット100Bに対して、動画像の開始時点と終了時点を指定して、ショートムービーとしての撮影画像Q3を取得してもよい。たとえば、ロボット100Aの通信部142は、時刻t12から5秒前を開始時点、時刻t12から5秒後を終了時点として指定することで、イベント(Ex)の成立前後10秒間の動画像をロボット100Bから取得してもよい。
ロボット100Aは、なんらかのモーションを実行するとき、撮影依頼をロボット100Bに送信してもよい。たとえば、ロボット100Aの通信部142は、モーション(Mx)を実行するときには、実行前にロボット100Bに撮影依頼を送信する。ロボット100B(動作制御部150)は、撮影依頼を受信したときロボット100Aのそばに移動する。ロボット100A(認識部156)は、ロボット100Bがそばにいることを認識した上で、モーション(Mx)を実行する。このような制御方法によれば、ロボット100Aがモーション(Mx)を実行するときの様子を、ロボット100Bの視点から撮影することができる。このときの撮影画像は、ロボット100Aの詳細画像として提供されてもよい。ロボット100Aが実行するモーションのロボット100A自身による撮影画像では、ロボット100Aがどのような動きをしているかわかりづらい可能性がある。ロボット100Bがいれば良好なアングルにて撮影画像をユーザに提供できる。特に、モーション(Mx)がめったに実行されないめずらしいモーションである場合、ロボットBによる撮影画像は貴重な撮影画像となる。複数のロボット100が互いに撮影し合うことで、1台のロボット100だけでは得られない多様な撮影画像(詳細画像)を取得できる。
100 ロボット、102 前輪、102a 左輪、102b 右輪、103 後輪、104 ボディ、106 手、108 着座面、110 目、112 ツノ、114 外部センサ、118 バッテリー、120 駆動機構、122 プロセッサ、124 記憶装置、126 通信機、128 内部センサ、130 電源線、132 信号線、134 ワイヤ、136 データ処理部、142 通信部、148 データ格納部、150 動作制御部、156 認識部、158 撮像部、160 モーション格納部、170 寂しさパラメータ、172 好奇心パラメータ、174 承認欲求パラメータ、180 第1反応レポート画面、182 イベントアイコン、184 感情アイコン、186 注目マーク、190 第2反応レポート画面、192 モーションアイコン、194 雰囲気アイコン、200 サーバ、202 データ処理部、204 通信部、206 データ格納部、208 位置管理部、212 認識部、218 個人データ格納部、220 親密度管理部、222 動作制御部、232 モーション格納部、244 状態管理部、250 感情管理部、252 履歴管理部、254 アイコン選択部、256 雰囲気判定部、258 モード選択部、260 イベント条件格納部、262 履歴情報格納部、270 履歴情報、280 モーション選択テーブル、290 ユーザ権限テーブル、292 イベント条件テーブル、300 ロボットシステム、308 ベースフレーム、310 本体フレーム、312 ホイールカバー、314 外皮、316 頭部フレーム、318 胴部フレーム、320 ヨー軸、322 ピッチ軸、324 ロール軸、325 プレート、326 アクチュエータ、327 通気孔、328 ベースプレート、329 クロスリンク機構、330 ジョイント、332 アッパープレート、334 ロアプレート、336 サイドプレート、342 制御回路、370 車輪駆動機構、378 回動軸、379 アクチュエータ、390 開口部、400 ユーザ端末、402 詳細情報画面、404 詳細ウィンドウ、410 第3反応レポート画面、420 休息時間設定画面

Claims (20)

  1. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記感情管理部は、第1の感情パラメータおよび第2の感情パラメータの優劣が逆転し
    たとき前記心理条件が成立したと判定する
    ことを特徴とする自律行動型ロボット。
  2. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記履歴管理部は、更に、前記心理条件の成立後に前記動作制御部により選択されたモ
    ーションも前記反応レポートに記録した上で、前記反応レポートをユーザに提供すること
    を特徴とする自律行動型ロボット。
  3. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、
    ロボットの周辺を撮像する撮像部と、
    通信端末との通信処理を実行する通信部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記認識部は、撮像画像から人物を特定し、
    前記履歴管理部は、第1のユーザの通信端末から前記反応レポートの取得要求が受信さ
    れたとき、撮像画像において第1のユーザが特定されていないことを条件として、前記通
    信部に指示して前記第1のユーザの通信端末に前記反応レポートを送信させることを特徴
    とする自律行動型ロボット。
  4. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、
    イベントに応じてアイコンを選択するアイコン選択部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記履歴管理部は、前記心理条件が成立したときのイベントを前記イベントに対応する
    アイコンとして前記反応レポートに記録することにより、前記反応レポートにおいてイベ
    ントの発生履歴をアイコンにより画像表現することを特徴とする自律行動型ロボット。
  5. 前記履歴管理部は、複数種類のカテゴリのうち特定のカテゴリに属するイベントのアイ
    コンに対しては、前記反応レポートにおいて強調表現を付加することを特徴とする請求項
    に記載の自律行動型ロボット。
  6. 前記履歴管理部は、イベントの詳細情報を記録し、前記反応レポートに記録される1以
    上のアイコンのいずれかがユーザに選択されたときには、前記選択されたアイコンに対応
    するイベントの詳細情報を前記ユーザに提供することを特徴とする請求項4または5に記
    載の自律行動型ロボット。
  7. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記履歴管理部は、ユーザにあらかじめ対応づけられる閲覧属性を特定し、前記心理条
    件が成立したときのイベントのうち、前記特定した閲覧属性に適合するイベントのみを前
    記ユーザに提供すべき反応レポートへ記録することを特徴とする自律行動型ロボット。
  8. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記履歴管理部は、前記心理条件が成立したときのイベントのうち、ユーザにあらかじ
    め設定された閲覧権限レベルに適合するイベントのみを前記ユーザに提供すべき反応レポ
    ートへ記録することを特徴とする自律行動型ロボット。
  9. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、
    外部情報に基づいて、あらかじめ定められた複数の雰囲気条件それぞれの成否を判定す
    る雰囲気判定部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記履歴管理部は、更に、いずれかの雰囲気条件が成立したとき、前記成立した雰囲気
    条件に対応づけられる雰囲気情報を前記反応レポートに記録することを特徴とする自律行動型ロボット。
  10. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、
    ロボットのモードを選択するモード選択部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記履歴管理部は、更に、ロボットのモードの変化履歴を前記反応レポートに記録する
    ことを特徴とする自律行動型ロボット。
  11. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    イベントの発生を認識する認識部と、
    イベントに応じて1以上の感情パラメータを変化させる感情管理部と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    履歴管理部と、を備え、
    前記動作制御部は、感情パラメータに基づいてロボットの行動特性を変化させ、
    前記履歴管理部は、感情パラメータが所定の心理条件を成立させるときのイベントおよ
    び前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポー
    トを生成し、ユーザに前記反応レポートを提供し、
    前記認識部は、ユーザの定例行動を定例イベントとして認識し、
    前記履歴管理部は、更に、前記定例イベントの成否を前記反応レポートに記録すること
    を特徴とする自律行動型ロボット。
  12. 通信端末との通信処理を実行する通信部と、を更に備え、
    前記動作制御部は、前記通信端末から休息時間帯の設定が指示されたときには、前記休
    息時間帯においてはロボットを外部の充電器に定置させることを特徴とする請求項1~11のいずれか1項に記
    載の自律行動型ロボット。
  13. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    第1の感情パラメータおよび第2の感情パラメータの優劣が逆転したとき前記心理条件が成立したと判定する機能と、をコンピュータに発揮させることを特徴とする自律
    行動型ロボットの行動制御プログラム。
  14. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、前記心理条件の成立後に前記選択されたモーションも前記反応レポートに記録した上で、ユーザに前記反応レポートを提供する機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
  15. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    ロボットの周辺の撮像画像から人物を特定する機能と、
    第1のユーザの通信端末から前記反応レポートの取得要求が受信されたとき、撮像画像において第1のユーザが特定されていないことを条件として、前記第1のユーザの通信端末に前記反応レポートを送信させる機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
  16. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    イベントに応じてアイコンを選択する機能と、
    前記心理条件が成立したときのイベントを前記イベントに対応する
    アイコンとして前記反応レポートに記録することにより、前記反応レポートにおいてイベ
    ントの発生履歴をアイコンにより画像表現する機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
  17. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    ユーザにあらかじめ対応づけられる閲覧属性を特定し、前記心理条件が成立したときのイベントのうち、前記特定した閲覧属性に適合するイベントのみを前
    記ユーザに提供すべき反応レポートへ記録する機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
  18. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    いずれかの雰囲気条件が成立したとき、前記成立した雰囲気条件に対応づけられる雰囲気情報を前記反応レポートに記録する機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
  19. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    ロボットのモードを選択する機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    ロボットのモードの変化履歴を前記反応レポートに記録する機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
  20. ロボットのモーションを選択する機能と、
    前記選択されたモーションを実行する機能と、
    イベントの発生を認識する機能と、
    イベントに応じて1以上の感情パラメータを変化させる機能と、
    イベントの発生履歴と感情パラメータの変化履歴を対応づけて履歴情報として記録する
    機能と、
    感情パラメータに基づいてロボットの行動特性を変化させる機能と、
    感情パラメータが所定の心理条件を成立させるときのイベントおよび前記心理条件の成
    立時における感情パラメータを前記履歴情報から抽出して反応レポート生成し、ユーザに
    前記反応レポートを提供する機能と、
    ユーザの定例行動を定例イベントとして認識する機能と、
    前記定例イベントの成否を前記反応レポートに記録する機能と、
    をコンピュータに発揮させることを特徴とする自律行動型ロボットの行動制御プログラム。
JP2018162732A 2018-08-31 2018-08-31 日常生活を記録する自律行動型ロボット Active JP7298861B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018162732A JP7298861B2 (ja) 2018-08-31 2018-08-31 日常生活を記録する自律行動型ロボット
JP2023095083A JP2023123555A (ja) 2018-08-31 2023-06-08 日常生活を記録する自律行動型ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018162732A JP7298861B2 (ja) 2018-08-31 2018-08-31 日常生活を記録する自律行動型ロボット

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023095083A Division JP2023123555A (ja) 2018-08-31 2023-06-08 日常生活を記録する自律行動型ロボット

Publications (2)

Publication Number Publication Date
JP2020032014A JP2020032014A (ja) 2020-03-05
JP7298861B2 true JP7298861B2 (ja) 2023-06-27

Family

ID=69666272

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018162732A Active JP7298861B2 (ja) 2018-08-31 2018-08-31 日常生活を記録する自律行動型ロボット
JP2023095083A Pending JP2023123555A (ja) 2018-08-31 2023-06-08 日常生活を記録する自律行動型ロボット

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023095083A Pending JP2023123555A (ja) 2018-08-31 2023-06-08 日常生活を記録する自律行動型ロボット

Country Status (1)

Country Link
JP (2) JP7298861B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001191283A (ja) 1999-12-31 2001-07-17 Sony Corp ロボット装置及びその制御方法
JP2005184304A (ja) 2003-12-18 2005-07-07 Sony Corp 遠隔制御システム、サーバおよびコンピュータプログラム
JP2008210403A (ja) 2008-04-30 2008-09-11 Mitsubishi Heavy Ind Ltd 自律移動型ロボットの特定位置誘導制御方法
JP2018001387A (ja) 2016-07-08 2018-01-11 ロボットスタート株式会社 ロボット、プログラム、ロボットシステム及びサーバ
WO2018097089A1 (ja) 2016-11-24 2018-05-31 Groove X株式会社 瞳を変化させる自律行動型ロボット
JP2018088238A (ja) 2016-11-18 2018-06-07 株式会社ベネッセスタイルケア サービス支援装置、サービス支援方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001191283A (ja) 1999-12-31 2001-07-17 Sony Corp ロボット装置及びその制御方法
JP2005184304A (ja) 2003-12-18 2005-07-07 Sony Corp 遠隔制御システム、サーバおよびコンピュータプログラム
JP2008210403A (ja) 2008-04-30 2008-09-11 Mitsubishi Heavy Ind Ltd 自律移動型ロボットの特定位置誘導制御方法
JP2018001387A (ja) 2016-07-08 2018-01-11 ロボットスタート株式会社 ロボット、プログラム、ロボットシステム及びサーバ
JP2018088238A (ja) 2016-11-18 2018-06-07 株式会社ベネッセスタイルケア サービス支援装置、サービス支援方法及びプログラム
WO2018097089A1 (ja) 2016-11-24 2018-05-31 Groove X株式会社 瞳を変化させる自律行動型ロボット

Also Published As

Publication number Publication date
JP2020032014A (ja) 2020-03-05
JP2023123555A (ja) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109475781B (zh) 理解物理接触的行为自主型机器人
JP6402320B2 (ja) 人見知りする自律行動型ロボット
JP7231924B2 (ja) 活動量をコントロールされる自律行動型ロボット
CN109644303B (zh) 对发声体作出动作的机器人
CN109153127B (zh) 执行迎接行为的行为自主型机器人
CN110024000B (zh) 使瞳部变化的行为自主型机器人
JP6495486B2 (ja) 自律行動型ロボット及びコンピュータプログラム
JP7236142B2 (ja) 自律行動型ロボット
CN109689174B (zh) 接纳访客的机器人及服务器
JP6671577B2 (ja) 人を識別する自律行動型ロボット
JP2024055866A (ja) 内部状態または外部環境に応じて自律的に行動選択するロボット
CN113164822B (zh) 穿衣服的机器人
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6575005B2 (ja) ロボットの関節に好適なジョイント構造
JP2019171566A (ja) 柔らかな外皮を有するロボット
JP7298861B2 (ja) 日常生活を記録する自律行動型ロボット
EP3992987A1 (en) System and method for continously sharing behavioral states of a creature
KR102668931B1 (ko) 맞춤형 서비스 제공 장치 및 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7298861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150