JP6583283B2 - 制御システム、制御方法、および記憶媒体 - Google Patents

制御システム、制御方法、および記憶媒体 Download PDF

Info

Publication number
JP6583283B2
JP6583283B2 JP2016557468A JP2016557468A JP6583283B2 JP 6583283 B2 JP6583283 B2 JP 6583283B2 JP 2016557468 A JP2016557468 A JP 2016557468A JP 2016557468 A JP2016557468 A JP 2016557468A JP 6583283 B2 JP6583283 B2 JP 6583283B2
Authority
JP
Japan
Prior art keywords
user
moving body
emotion
heat map
target user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016557468A
Other languages
English (en)
Other versions
JPWO2016072116A1 (ja
Inventor
敦 塩野崎
敦 塩野崎
池田 聡
聡 池田
田原 哲雄
哲雄 田原
宮島 靖
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016072116A1 publication Critical patent/JPWO2016072116A1/ja
Application granted granted Critical
Publication of JP6583283B2 publication Critical patent/JP6583283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/89Arrangement or mounting of control or safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Telephonic Communication Services (AREA)
  • Air Conditioning Control Device (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)

Description

本開示は、制御システム、制御方法、および記憶媒体に関する。
近年、ユーザの生活を快適にするためにロボットを自動制御する技術が提案されている。
例えば、下記引用文献1では、人物の表情から心的状態を評価し、離れて暮らす家族に情報を伝達するロボットが開示されている。下記引用文献2では、撮像画像および生体情報からユーザの感情を推定し、感情推定結果に応じてロボットの振る舞いを変えたり、話題を変えたりする技術が開示されている。下記特許文献3では、ユーザがロボットに触る強度等からユーザの性格を判断し、さらに触っている継続時間から感情判別を行うコミュニケーションロボットが開示されている。
また、下記特許文献4、5では、太陽の位置に応じてモータにより傘の角度を調整する装置が提案されている。
特開2013−246517号公報 特開2012−59107号公報 特開2008−278981号公報 WO2013−020562号公報 US2006−0124122号公報
しかしながら、上記いずれの特許文献においても、移動しているユーザに追従してユーザの周辺の環境を変化させる技術については考慮されていなかった。上記特許文献4、5で開示されている技術は、ビーチパラソルのような固定された装置の制御であって、人物が同じ場所に留まっていることを想定しており、移動する人物の周囲環境を変化させることはできない。
例えば、外出時に突然雨に降られた場合、ユーザは雨を回避したいという感情(または雨に濡れることを不快に思う感情)になるが、このようなユーザの感情に応じてユーザが雨に濡れないよう、移動体を制御してユーザの周囲の環境を局所的に変化させることで、より快適な生活をユーザに提供することができる。
そこで、本開示では、ユーザの感情に応じて、移動体によりユーザの周辺環境を変化させることが可能な制御システム、制御方法、および記憶媒体を提案する。
本開示によれば、ユーザの感情を推定する推定部と、推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する移動体制御部と、を備える、制御システムを提案する。
本開示によれば、ユーザの感情を推定する推定部と、推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する移動体制御部と、を備える、制御方法を提案する。
本開示によれば、コンピュータを、ユーザの感情を推定する推定部と、推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する移動体制御部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
以上説明したように本開示によれば、ユーザの感情に応じて、移動体によりユーザの周辺環境を変化させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による環境調整システムの概要を説明する図である。 ユーザに追従する移動体の一例を示す図である。 本実施形態による移動体の構成の一例を示すブロック図である。 本実施形態による環境調整サーバの構成の一例を示すブロック図である。 本実施形態による環境ヒートマップの一例を説明する図である。 本実施形態による感情ヒートマップおよび統合ヒートマップの一例を説明する図である。 本実施形態による感性サーバの構成の一例を示すブロック図である。 本実施形態による環境調整システムの環境調整動作処理を示すフローチャートである。 本実施形態の移動体による雨避け・日除けの概要を説明する図である。 本実施形態の移動体によるカバー範囲の拡大について説明する図である。 本実施形態の複数の移動体によるカバー範囲の拡大について説明する図である。 本実施形態による雨避けの環境変化の動作処理を示すフローチャートである。 雨避け時における移動体の対象ユーザに対する相対位置の算出について説明する図である。 本実施形態による日除けの環境変化の動作処理を示すフローチャートである。 日除け時における移動体の対象ユーザに対する相対位置の算出について説明する図である。 本実施形態による感性値に基づくカバー範囲の変更処理を示すフローチャートである。 本実施形態の移動体による照明制御を説明する図である。 本実施形態の移動体による照明制御処理を示すフローチャートである。 照明時における移動体の照明方向(角度)、位置の算出について説明する図である。 本実施形態によるエアカーテンによる環境変化を説明する図である。 本実施形態によるエアカーテンによる環境変化の動作処理を示すフローチャートである。 本実施形態による煙草避けによる環境変化を説明する図である。 本実施形態による煙草避けによる環境変化の動作処理を示すフローチャートである。 本実施形態による音楽再生による環境変化を説明する図である。 本実施形態による音楽再生による環境変化の動作処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による環境調整システムの概要
2.基本構成および動作
2−1.移動体の構成
2−2.環境調整サーバの構成
2−3.感性サーバの構成
2−4.環境調整動作
3.環境変化例
3−1.雨避け・日除け
3−2.照明
3−3.風、水等の出力
3−4.音楽再生
4.まとめ
<<1.本開示の一実施形態による環境調整システムの概要>>
まず、本開示の一実施形態による環境調整システム1の概要を図1に示して説明する。図1に示すように、本実施形態による環境調整システム1は、ユーザに追従してユーザの周辺環境を変化させる移動体6と、移動体6を制御する環境調整サーバ7とを含む。環境調整サーバ7は、アクセスポイント等を介して移動体6と通信し、移動体6の移動制御等を行う。移動体6は、図1に示すように、複数の移動体6a〜6cであってもよく、それぞれ屋外等に設置された各ベースステーションを基点として移動することができる。
また、環境調整サーバ7は、ネットワーク3を介して、感性サーバ2やヒートマップサーバ75と接続し、移動体6の移動制御を行う際に必要な情報を取得する。環境調整サーバ7は、移動体6をユーザに追従させ、ユーザの感情に応じて周囲の環境を局所的に変化させることで、ユーザにより快適な環境を提供することができる。
移動体6は、図1に示すような小型のドローンであってもよく、図2に示すように、移動するユーザに追従して飛行することができる。また、移動体6は、図1に示す飛行物体に限定されず、例えば図2に示すような地上を移動してユーザを追従するロボット型の移動体6’や、水上移動体(不図示)であってもよい。なお、図1、図2に示す移動体6、6’の形状は一例であって、本実施形態はこれに限定されない。
また、ユーザは、図2に示すように、脈拍、体温等の生体情報を取得するためのバンド型通信端末(以下、スマートバンドとも称す)8を装着していてもよい。スマートバンド8は、取得した生体情報を移動体6に送信する。ユーザから取得した生体情報は、ユーザの感情を推定する際の一情報として用いられ得る。
以上、本開示による環境調整システム1の概要について説明した。続いて、環境調整システム1に含まれる各装置の具体的な構成および基本動作について図3〜図8を参照して説明する。
<<2.基本構成および動作>>
<2−1.移動体の構成>
図3は、本実施形態による移動体6の構成の一例を示すブロック図である。図3に示すように、移動体6は、通信部61、対象物センサ62、移動体制御部63、および環境センサ64を有する。なお図3に示す構成は一例であって、例えば、移動体6は、さらに変形制御部65や出力部66を有していてもよい。
通信部61は、環境調整サーバ7とデータの送受信を行う。例えば通信部61は、対象物センサ62や環境センサ64で取得したセンサ情報を環境調整サーバ7へ送信し、また、移動制御や変形制御の指示を含む制御情報を環境調整サーバ7から受信する。
対象物センサ62は、追従対象物に関する情報を取得する検知部である。ここで、追従対象物とは、例えば屋外を移動するユーザが該当する。また、対象物センサ62は、具体的には、例えばカメラ62a、赤外線カメラ62b、無線信号受信部62c、またはマイクアレイ62dによりユーザに関する情報を取得する。
カメラ62aは、可視光による通常の撮像装置であって、これにより追従対象物を撮像し、撮像画像を取得する。また、赤外線カメラ62bは、非可視光による撮像装置の一例であって、これにより追従対象物を撮像し、赤外線画像を取得する。無線信号受信部62cは、例えばユーザが装着しているスマートバンド8から送信されるユーザの生体情報を受信する。また、無線信号受信部62cは、ユーザの位置を特定するためのビーコン等の検出も行う。マイクアレイ62dは、ユーザの足音等の周囲の音声を取得する。
以上説明した対象物センサ62の具体例は一例であって、さらに対象物センサ62は、超音波センサや測距センサ等を有していてもよい。
移動体制御部63は、移動体6の移動を制御する機能を有する。具体的には、移動体制御部63は、図3に示すように、動力駆動部63aおよび姿勢制御部63bにより構成される。動力駆動部63aは、例えばプロペラ、車輪、歩行脚により実現され、移動体制御部63の制御に従って対象ユーザを追従するよう駆動する。また、姿勢制御部63bは、ジャイロセンサ等により移動体6の姿勢を検知し、動力駆動部63aを制御して移動体6の傾きや高度を調整する。本開示による移動体制御部63は、例えば移動体6がユーザの雨避けや日除けになるよう移動体6の飛行経路や高度を制御することで、ユーザの周囲環境を局所的に変化させることができる。
環境センサ64は、周囲の環境に関する情報を取得する検知部である。環境センサ64は、具体的には、例えば緯度経度測位部64a、または高度センサ64bにより環境情報を取得する。なお環境センサ64の具体例は図3に示す例に限定されず、さらに必要に応じて温度センサや湿度センサ等を有していてもよい。
変形制御部65は、雨避けや日除けのカバー範囲を拡大するよう移動体6の形状を変形させる制御を行う。移動体6によるカバー範囲の拡大については、図10、図11を参照して後述する。
出力部66は、ユーザの周囲環境を変化させるための各種出力を行う。例えば、出力部66は、照明部(ライト)、風(空気)出力部、水出力部、レーザ出力部等により実現される。また、出力部66は、環境調整サーバ7からの制御に従って出力制御を行う。
以上説明した移動体6には、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、および不揮発性メモリを備えたマイクロコンピュータが搭載され、移動体6の各構成を制御する。
<2−2.環境調整サーバの構成>
図4は、本実施形態による環境調整サーバ7の構成の一例を示すブロック図である。図に示すように、環境調整サーバ7は、通信部71、制御部70、およびユーザDB72を有する。
通信部71は、外部装置とデータの送受信を行う。具体的には、例えば通信部71は、移動体6から対象物情報や環境情報を受信し、また、移動体6の移動を制御するための制御情報を移動体6に送信する。また、通信部71は、ネットワーク3を介して、感性サーバ2やヒートマップサーバ75から所定のデータを取得する。
制御部70は、環境調整サーバ7の各構成を制御する。具体的には、制御部70は、移動体6を対象ユーザに追従させ、ユーザの感情に応じて対象ユーザの周辺環境を変化させるよう制御する。また、制御部70は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより実現される。
ここで、制御部70は、図4に示すように、ユーザ設定管理部70a、対象物検出部70b、感情推定部70c、環境情報取得部70d、ヒートマップ生成/取得部70e、感性値算出部70f、および移動体制御部70gとして機能する。
ユーザ設定管理部70aは、本システムの利用ユーザの情報の登録、変更、削除といった管理を行う。利用ユーザの情報とは、例えばユーザ名、識別番号、顔画像、年齢、性別、趣味・嗜好、自宅住所、勤務地、行動パターン等である。ユーザの趣味・嗜好は、ユーザにより入力されてもよいし、ユーザのライフログや、ソーシャルメディアへの書き込み内容、メールやメッセージツールのテキスト内容分析、友人や家族との会話内容分析、購買履歴、スケジュール等から自動的に設定されてもよい。また、ユーザの行動パターンは、ライフログ(具体的には過去の行動履歴)、購買履歴等から自動的に設定されてもよい。ユーザ設定管理部70aは、ユーザDB72に利用ユーザの情報を記憶して管理する。
対象物検出部70bは、移動体6から送信された対象物センサ情報に基づいて、移動体6の周囲に居る人物や人物が所持している物等の検出を行う。具体的には、例えば対象物検出部70bは、移動体6から送信された撮像画像を解析し、ユーザDB72に登録済みの利用ユーザの顔画像と照合することで、対象ユーザを検出することができる。または、対象物検出部70bは、移動体6が、ユーザに装着されたスマートバンド8等の無線通信装置から受信したユーザの識別情報に基づいて、対象ユーザを検出することもできる。対象ユーザが検出できた場合、対象物検出部70bは、検出結果を感情推定部70cに出力する。なお、上述した対象物検出部70bによる対象ユーザの検出方法は一例であって、本実施形態による対象ユーザの検出方法はこれに限定されない。
感情推定部70cは、対象物検出部70bにより検出された対象ユーザの感情を推定する。具体的には、例えば感情推定部70cは、対象ユーザの生体情報(脈拍、体温、発汗量、脳波、等)に基づいて、対象ユーザの感情を推定する。生体情報は、図2に示すスマートバンド8により取得され、スマートバンド8から移動体6へ送信され、さらに移動体6から環境調整サーバ7に送信される。
また、感情推定部70cは、対象ユーザの属性(性別、年齢、身長、体重、性格、職業等)や趣味・嗜好、周辺環境に基づいて、対象ユーザの感情を推定することもできる。例えば、若い女性であれば日中は直射日光に当たりたくない(日焼けが怖い)という感情や、夜は暗い道(夜道や人通りの無い道など)が怖いといった感情が推定される。また、通勤中や仕事中の会社員であれば大事な書類を持っているため雨に濡れたくないという感情が推定される。このような対象ユーザの属性や趣味・嗜好といった情報は、ユーザDB72から取得し得る。感情推定部70cは、推定結果をヒートマップ生成/取得部70eに出力する。
環境情報取得部70dは、通信部71を介して、移動体6から周辺環境に関する情報を取得する。具体的には、環境情報取得部70dは、移動体6の環境センサ64により検知されたデータ(緯度経度、高度等)を環境情報として取得する。また、環境情報取得部70dは、移動体6の位置(緯度経度情報)に応じて、周囲の地形情報や建物情報等を所定のサーバから環境情報として取得してもよい。環境情報取得部70dは、取得した環境情報をヒートマップ生成/取得部70eに出力する。
ヒートマップ生成/取得部70eは、感情推定部70cの推定結果と、環境情報取得部70dから出力された環境情報に基づいて、感情を地理的にマップした感情ヒートマップを生成する。より具体的には、ヒートマップ生成/取得部70eは、複数のユーザの感情推定結果に基づいて、どの場所でどのような感情になった人が多いかを示す感情ヒートマップを生成する。また、ヒートマップ生成/取得部70eは、感情推定部70cの推定結果の他、ソーシャルメディアへの書き込みやメール内容を分析した結果に基づいて、場所に紐づく感情を収集してもよい。具体的には、例えば雨に濡れて嫌な気持ちになったり、書類が濡れて困ったり、買い物帰りに両手が塞がっていて傘がさせなくて困ったり、晴れているときは通れる近道が雨の場合は迂回しなくてはならず不便であったり等の感情が位置と結び付けられてマッピングされる。
また、ヒートマップ生成/取得部70eは、環境情報取得部70dから出力された環境情報(緯度経度、高度、地形情報、建物情報等)に基づいて、対象ユーザの現在地周辺の環境ヒートマップを生成する。より具体的には、ヒートマップ生成/取得部70eは、雨に濡れやすい場所を示す環境ヒートマップ“雨”や、建物の影になる場所等を示す環境ヒートマップ“影”等を生成する。例えば雨に濡れやすい場所は、地理的な土地の形状(地形情報)や、アーケードや地下街、軒先のような人工建造物によって雨に濡れやすい場所と濡れにくい場所が分かるので、地形や建造物からシミュレーションして判断してもよいし、移動体6により実際に計測された雨量等に基づいて判断してもよい。また、雨に濡れやすい場所の情報が手動で入力されてもよい。若しくは、ヒートマップ生成/取得部70eは、雨が降ってきたため雨避けに移動体6をユーザが自発的に自分のいる場所に呼んだ履歴や、ユーザの身体に装着された水滴センサなどの各種センサにより実際に雨に濡れた場所を収集して、雨に濡れやすい場所を判断してもよい。
このように生成されたヒートマップは、ネットワーク上のヒートマップサーバ75に格納されてもよいし、環境調整サーバ7の記憶部(不図示)に格納されてもよい。また、ヒートマップは定期的に更新され得る。
さらに、ヒートマップ生成/取得部70eは、感情ヒートマップと環境ヒートマップを統合した統合ヒートマップを生成することもできる。
ここで、ヒートマップ生成/取得部70eにより生成される各種ヒートマップについて図5および図6を参照して説明する。ヒートマップ生成/取得部70eは、図5左に示すような対象エリアのマップ40に対して、所定の環境の度合い(例えば、雨に濡れやすいエリア)をマッピングして、図5右に示すような環境ヒートマップ41を生成する。環境ヒートマップ41が「雨」の場合、濃い色の場所程、雨に濡れやすい場所であることを示す。
また、ヒートマップ生成/取得部70eは、図5左に示す対象エリアのマップ40に対して、所定の感情の度合い(例えば雨に濡れて不快になった感情)がマッピングして、図6左に示すような感情ヒートマップ42を生成する。感情ヒートマップ42が「不快」の場合、濃い色の場所程、雨に濡れて不快になったり困ったりした場所であることを示す。
さらに、ヒートマップ生成/取得部70eは、環境ヒートマップ41と感情ヒートマップ42を統合し、図6右に示すような統合ヒートマップ43を生成する。この際、どちらかのヒートマップに特定の重み付けを行うことで、環境ヒートマップ重視にしたり、感情ヒートマップ重視にしたりすることが可能である。
このように生成された統合ヒートマップは、総合的に「ユーザを雨から守る価値が高いエリア」を判断するための情報となる。
ヒートマップ生成/取得部70eは、生成した統合ヒートマップを移動体制御部70gに出力する。
なお、上述したように、環境ヒートマップおよび感情ヒートマップは、一定期間ごとに更新するのが望ましい。例えば、新しい建造物が造られると雨に濡れやすい場所や建物の陰になる場所が変化するためである。また、感情ヒートマップも一定期間ごとに更新されることが望ましい。日々新たな感情が追加されることが考えられ、また、夏は雨に濡れても不快にならないこともあるが、冬の冷たい雨は非常に不快になるなど、季節や日時によって感情が変化する可能性があるためである。
また、ヒートマップの更新頻度は、ヒートマップの種類によってそれぞれ異なる期間としてもよい。例えば紫外線強度ヒートマップの場合、ある地点に日光が当たるかどうかは1日の中で時間によって変化し、また、季節によっても変化する。したがって、紫外線強度ヒートマップの場合には短時間で更新することが望ましい。また、紫外線強度は、天候(曇り、快晴等)にも左右されるため、曇や快晴のときの個別の紫外線ヒートマップを生成することも考えられる。
また、ヒートマップ生成/取得部70eは、繰り返しやってくる季節の要素や、天気予報から得られる情報などを利用して未来の環境ヒートマップを予想して生成することもできる。また、地下道やアーケードの建設計画に基づいて未来の環境ヒートマップを予想して生成することも可能である。また、予測により生成した環境ヒートマップを、実測値に基づいてリアルタイムに更新していってもよいし、後からフィードバックをかけて予想の精度を上げていってもよい。
また、感情ヒートマップに関しても、例えばオフィス街エリアでは平日は人が多く、休日は人が少ない等の周期性が過去の感情ヒートマップデータから抽出できる場合、休日には雨に濡れて困る人が少ないという予測や、雨を避けられる狭いエリアでも混雑がないために濡れずに(あるいは紫外線に当たらずに)快適に通行できる等の予測が可能である。
感性値算出部70fは、対象物検出部70bにより検出された対象ユーザの、所持品や一緒に居る人物に対する感性値(すなわち相対的感性値)を算出する。具体的には、感性値算出部70fは、対象ユーザのオブジェクトIDに対応付けられたインタラクション評価を感性サーバ2から取得し、当該インタラクション評価に基づいて対象ユーザの相対的感性値を算出する。ここで、インタラクション評価とは、対象ユーザが他の人物や物に対して行ったインタラクション(すなわち行為)の評価であって、対象ユーザによる他の人物や物に対しての気持ち(本明細書では、感性値と称す)を算出する際に利用され得る。
例えば、対象ユーザが所持している時計に対して、頻繁に手入れを行ったといったインタラクションの評価や、専用ケースに保管したといったインタラクションの評価が感性サーバ2に格納されており、感性値算出部70fは、このような対象ユーザのインタラクション評価を取得して感性値を算出する。感性値の算出式は特に限定しないが、例えば対象ユーザの特定オブジェクト(関連オブジェクト)に対する各インタラクションをインタラクション種類毎に分類し、インタラクション種類に応じた重み付け関数を用いて、特定オブジェクトに対する全てのインタラクションの評価を平均化してもよい。なお対象ユーザのオブジェクトIDは、ユーザDB72から取得し得る。
移動体制御部70は、ヒートマップ生成/取得部70eから出力された統合ヒートマップに基づいて、対象ユーザが移動する経路において、環境を変化させるべきエリアを判断し、移動体6によりユーザの周辺環境を変化させるよう制御する。環境を変化させるべきエリアの判断は、例えば統合ヒートマップの値が所定の閾値より高いか否かに基づいて行う。このように、感情ヒートマップと環境ヒートマップを統合した統合ヒートマップを利用することで、対象ユーザが移動する経路において、例えば雨に濡れやすい場所を通る時は移動体6を対象ユーザに追従させて雨避けを実現することで対象ユーザの周辺環境を局所的に変化させ、対象ユーザを快適な状態にさせることができる。
なお、本実施形態では、複数のユーザの感情推定結果が反映された感情ヒートマップと、地形等の環境情報に基づいて生成された環境ヒートマップを統合した統合ヒートマップを利用することで、対象ユーザが移動中に不快な状態にならないよう移動体6により環境調整を行っているが、本実施形態はこれに限定されない。例えば、移動体制御部70gは、感情推定部70cによる推定結果に応じて、ユーザの感情が不快になっている場合に、移動体6を制御して周辺環境を局所的に変化させて快適にさせることも可能である。
また、移動体制御部70は、移動体6により対象ユーザの周辺環境を変化させる際、感性値算出部70fにより取得された、対象ユーザの所持品や一緒にいる人物に対する感性値(大事に思っている度合い)に応じて、移動体6によるカバー範囲を拡大したり、対象ユーザよりも優先してカバーしたりといった制御を行うことも可能である。
以上、本実施形態による環境調整サーバ7の構成について具体的に説明した。続いて、本実施形態による感性サーバ2の構成について図7を参照して説明する。
<2−3.感性サーバの構成>
図7は、本実施形態による感性サーバ2の構成の一例を示すブロック図である。図7に示すように、感性サーバ2は、通信部21、制御部20、オブジェクトDB22、および感性情報DB24を有する。
通信部21は、ネットワーク3を介して環境調整サーバ7と接続し、環境調整サーバ7から指定された対象ユーザのオブジェクトIDに紐付けられたインタラクション評価を返信する。また、通信部21は、各オブジェクト(人物、物体)に装着/搭載されたセンシングデバイス(不図示)から、インタラクション情報を受信する。
制御部20は、感性サーバ2の各構成を制御する。また、制御部20は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部20は、インタラクション記憶制御部20a、評価部20b、オブジェクト管理部20c、関連オブジェクト検索部20dとして機能する。
インタラクション記憶制御部20aは、オブジェクトに装着/搭載されたセンシングデバイスから受信したインタラクション情報を感性情報DB24に記憶するよう制御する。センシングデバイスは、湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、またはジャイロセンサ等を有し、オブジェクトに対する他のオブジェクトからのインタラクションを検知する。
評価部20bは、感性情報DB24に記憶したインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部20bは、インタラクションを受けたオブジェクトにとって好ましいインタラクションである程高く評価し、具体的には−1〜1の点数を付ける。評価結果は、インタラクションに対応付けて感性情報DB24に記憶される。
オブジェクト管理部20cは、オブジェクトDB22に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。
関連オブジェクト検索部20dは、要求されたオブジェクトIDとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトDB22や感性情報DB24から検索する。
オブジェクトDB22は、各オブジェクトのオブジェクトIDを格納する記憶部である。また、オブジェクトDB22には、オブジェクトIDの他、商品名、商品種類、メーカーID、型番、製造日時等の、オブジェクトに関する多々の情報が格納されている。
感性情報DB24は、オブジェクト間のインタラクションや、インタラクションの評価を格納する記憶部である。
以上、本実施形態による感性サーバ2の具体的な構成について説明した。
<2−4.環境調整動作>
次に、上述した各装置を含む環境調整システムにおける環境調整動作について、図8を参照して説明する。図8は、本実施形態による環境調整システムの環境調整動作処理を示すフローチャートである。ここでは、ユーザが、ある地点から目的地に移動する場合の環境変化の適用開始から終了までの流れを示す。環境調整サーバ7は、ユーザの目的地や移動経度、時刻から移動経路上の天候等を取得し、ユーザの感情と照らし合わせて、より快適に移動できるよう、移動体6を制御してユーザ周辺の環境を変化させる。
具体的には、まず、ステップS103において、環境調整サーバ7は、対象ユーザの現在地および目的地の環境情報と、目的地到着時刻情報を取得する。
次に、ステップS106において、環境調整サーバ7の感情推定部70cは、ユーザの属性、趣味・嗜好、または生体情報等を取得する。
次いで、ステップS109において、感情推定部70cは、ユーザの感情を推定する。ここで、感情推定部70cは、ユーザの属性、趣味・嗜好、または生体情報等に基づいて、現在地から目的地までの経路上で、現状の環境下においてユーザがどのような感情になるかを推定することができる。例えば、ユーザが30代の女性で、普段から日傘を持ち歩いていることが過去の行動履歴や会話、書き込みなどから抽出され、また、購買履歴から日焼け止めや日傘を購入していることが抽出されると、当該女性は紫外線や直射日光、日焼けに対して恐れの感情(不快な感情)を抱いていることが推定される。一方、普段からユーザが日焼けを好む嗜好が抽出された場合は、紫外線や直射日光、日焼けに対して好ましい感情(快適な感情)を抱いていることが推定される。また、感情推定部70cは、ユーザの生体情報(体温、脈拍、心拍、発汗量、脳波等)に基づいて、現在の周辺環境に対するユーザの感情(快適/不快)を推定することも可能である。
続いて、ステップS112において、環境調整サーバ7の制御部70は、推定結果に基づいて、環境変化が必要か否かを判断する。具体的には、例えば制御部70は、ユーザが紫外線や直射日光、日焼けに対して恐れの感情(不快な感情)を抱いている場合に、現在地や目的地の天候が快晴であって、直射日光が当たる環境である場合、環境変化が必要と判断する。一方、ユーザが日焼けに対して好ましい感情(快適な感情)を抱いている場合に、現在地や目的地の天候が快晴であって、直射日光が当たる環境である場合、環境変化は不要と判断する。このように、特定の環境に対して好ましい感情を持つか不快な感情を持つかは、ユーザの属性、趣味・嗜好等に応じて異なり、制御部70は、ユーザの属性、趣味・嗜好、生体情報等から環境変化が必要か否かを判断することができる。
次に、環境変化が必要な場合(S112において「Yes」)、ステップS115において、ヒートマップ生成/取得部70eは、必要な環境変化に応じた環境ヒートマップを取得、生成する。例えば、ヒートマップ生成/取得部70eは、紫外線や直射日光を回避する環境変化が必要な場合、現在地から目的地までの移動経路を含むエリアにおける直射日光が当たりやすい場所を示す環境ヒートマップをヒートマップサーバ75から取得する。また、ヒートマップ生成/取得部70eは、取得した環境ヒートマップに対して、現在地および目的地の現在の環境情報を反映させて更新してもよい。さらに、ヒートマップ生成/取得部70eは、対応する環境ヒートマップが取得できなかった場合、現在地および目的地の現在の環境情報等に基づいて、生成してもよい。
次いで、ステップS118において、ヒートマップ生成/取得部70eは、必要な環境変化に応じた感情ヒートマップを取得、生成する。例えば、ヒートマップ生成/取得部70eは、現在地から目的地までの移動経路を含むエリアにおいて、複数のユーザによる紫外線や直射日光を恐れた感情、直射日光に当たって不快に思った感情等を示す感情ヒートマップをヒートマップサーバ75から取得する。また、ヒートマップ生成/取得部70eは、取得した感情ヒートマップに対して、現在の対象ユーザの感情を反映させて更新してもよい。さらに、ヒートマップ生成/取得部70eは、対応する感情ヒートマップが取得できなかった場合、現在の対象ユーザの感情等に基づいて、生成してもよい。
次に、ステップS121において、ヒートマップ生成/取得部70eは、取得した環境ヒートマップおよび感情ヒートマップを統合し、統合ヒートマップを生成する。例えば直射日光が当たって不快に思った感情が発生した場所と、直射日光が当たりやすい場所とが統合されることで、直射日光から対象ユーザを守る必要性が高いエリアが分かる。ヒートマップ生成/取得部70eは、生成した統合ヒートマップを移動体制御部70gに出力する。
続いて、ステップS124において、移動体制御部70gは、統合ヒートマップを参照し、ユーザの移動経路上に、閾値より高いヒートマップエリアがあるか否かを判断する。
次いで、閾値より高いヒートマップエリアがある場合(S124において「Yes」)、ステップS127において、移動体制御部70gは、対象ユーザの周辺環境を変化させるよう移動体6の制御を行う。具体的には、移動体制御部70gは、移動体6を対象ユーザに追従させ、対象ユーザ周辺の環境を変化させるよう、雨避け、日除けとなる位置で飛行させたり、暖かい/冷たい風を出させたり、照明を点けさせたり、音楽を再生させたりする。具体的な環境変化の内容については、後述する。
次に、ステップS130において、環境調整サーバ7は、ユーザが目的地に着いたか否かを判断する。目的地に着いた場合、環境調整動作が終了するので、例えば移動体制御部70gは、移動体6を所定のベースステーションに戻すよう制御する。
次いで、ユーザが目的地に着いていない場合(S130において「No」)、ステップS133において、環境調整サーバ7は、対象物検出部70bおよび環境情報取得部70dにより、ユーザの現在位置情報、および現在地の環境情報を取得する。
そして、ステップS136において、ヒートマップ生成/取得部70eは、取得した環境情報に基づいて環境ヒートマップを更新し、感情ヒートマップに統合して、統合ヒートマップを更新する。更新された統合ヒートマップは移動体制御部70gに出力され、目的地に到達するまで、上記S124〜S136が繰り返される。
以上、本実施形態による環境調整システムの動作処理について具体的に説明した。続いて、本実施形態による具体的な環境変化例について複数の具体例を挙げて以下説明する。
<<3.環境変化例>>
<3−1.雨避け・日除け>
まず、図9〜図16を参照して、移動体6により、雨避け・日除けの環境変化を行う場合について説明する。
図9は、本実施形態の移動体6による雨避け・日除けの概要を説明する図である。図9に示すように、移動体6が飛行物体の場合、移動するユーザの上方に位置しながら追従飛行することで、雨傘(移動体6−1)や日傘(移動体6−2)として機能し、雨や直射日光がユーザに当たらないようにすることで、局所的に周辺環境を変化させることができる。
ここで、移動体6は、上述したようにカバー範囲を拡大するための変形制御部65を有してもよく、変形制御により雨避けや日除けのカバー範囲を拡大して、対象ユーザと一緒に行動している友人や、ベビーカー、大きな荷物等に対しても環境変化を適用することが可能となる。移動体6のカバー範囲を拡大は、例えば図10に示すように、移動体6の中心から円状に広がる板状部材651により、移動体6自体の大きさを変形させてもよい。若しくは、図11に示すように、複数の移動体6a、6bを連携させて、より広い範囲をカバーするようにしてもよい。具体的には、マスターとなる移動体6aのカバー範囲を広げるために近傍に居る他の移動体6bを呼び、両者が接近した際に移動体6aが有するシート653を移動体6bに接合する(例えば移動体6bの接合部に設けられた磁石をONにする等)。その後、両者を一定距離離すよう飛行制御することで、図11に示すように、シート653によりカバー範囲を拡大することができる。スレーブとなる移動体6bは、マスターとなる移動体6aの飛行パターンをコピーして飛行するようにしてもよい。
このようなカバー範囲の設定は、対象ユーザにより手動で設定されてもよいし、環境調整サーバ7の移動体制御部70gにより、顔識別によるトラッキングや衣服や持ち物の特徴点を撮像画像から抽出したり、持ち物等に貼付されている特定のマーカーを抽出したりすることで自動的に設定してもよい。
(雨避けの動作処理)
続いて、移動体6−1により雨避けの環境変化を行う場合の動作処理について図12を参照して説明する。図12は、本実施形態による雨避けの環境変化の動作処理を示すフローチャートである。
図12に示すように、まず、ステップS203において、環境調整サーバ7の移動体制御部70gは、対象ユーザの初期位置を設定する。図8を参照して上述したように、移動体制御部70gは、対象ユーザの現在地から目的地の移動経路上において、環境変化の必要があるエリアを判断して移動体6−1を制御する。この際、移動体制御部70gは、環境変化の必要があるエリアを対象ユーザが通過する時刻において、当該対象エリアを対象ユーザの初期位置として設定し、対象エリア近くのベースステーションを基点とする移動体6−1の飛行を開始させる。なお本実施形態では、屋外等に設置された各ベースステーションを基点としてそれぞれの移動体6−1が飛行する状況を前提とし、次のエリアに対象ユーザが移動した場合は、次のエリアに設置されているベースステーションを基点として飛行する移動体6−1’により対象ユーザを追従させる。しかしながら、本実施形態はこれに限定されず、例えば対象ユーザ所有の移動体6−1が、対象ユーザの移動中において継続して対象ユーザに追従するよう制御してもよい。
次に、ステップS206において、移動体6−1により対象ユーザの検出を行う。具体的には、例えば移動体6の対象物センサ62に含まれるカメラ62aにより撮像した撮像画像に基づいて、環境調整サーバ7の対象物検出部70bにより画像解析を行い、対象ユーザの顔画像を認識して対象ユーザの検出を行う。また、対象ユーザに装着されたマーカー(例えば赤外線反射板、赤外線発光LED)等を赤外線カメラ62bにより検出して対象ユーザの検出精度を上げることもできる。
次いで、対象ユーザの検出ができた場合(S209において「Yes」)、ステップS212において、移動体制御部70gは、移動体6−1に搭載された雨量・風向センサ(環境センサ64の一例)の検出値に基づいて、対象ユーザに向かう雨の向きと量(図13に示す雨の降雨単位ベクトルRv(x,y,z))を取得する。
次に、ステップS215において、移動体制御部70gは、移動体6−1を対象ユーザと雨の間に移動させ、雨避けを行うよう制御する。ここで、移動体6−1を移動させる対象ユーザに対する相対位置は次のように求められる。
図13は、雨避け時における移動体6−1の対象ユーザに対する相対位置の算出について説明する図である。図13に示すように、降雨の方角(Rv(x,y,z))、対象ユーザの位置(T(x,y,z))、および移動体6−1の高度から対象ユーザの高さを差し引いた高さdhを用いて、下記式1により、移動体6−1の位置O(x,y,z)が求められる。なおRv_zはRvのz成分を示す。
(式1)
O=(T-Rv・dh/Rv_z)
移動体制御部70gは、このようにして求めた位置O(x,y,z)に移動体6−1を制御する。また、移動体制御部70gは、対象ユーザが複数である等、広い範囲をカバーする必要がある場合、複数の移動体6−1を連携させたり、移動体6−1を変形させたりしてカバー範囲を広げるよう制御する。
次いで、ステップS218において、移動体制御部70gは、対象ユーザの前回の位置と今回の位置に基づいて対象ユーザの移動ベクトルを算出する。また移動体6−1は、対象ユーザに対する相対位置(O(x,y,z))を継続しながら、対象ユーザに追従飛行し、対象ユーザをカメラ62aによりトラッキング、または対象ユーザが所持する通信端末(スマートデバイスやスマートフォン等)から発信される電波(Bluetooth(登録商標)やWi-Fi(登録商標))を無線信号受信部62cにより受信しながら、対象ユーザを見失わないようにする。
続いて、ステップS221において、移動体制御部70gは、対象ユーザが目的地に到達したか否かを判断し、対象ユーザが目的地に到達した場合は移動体6−1による追従飛行および環境調整制御を終了する。
一方、対象ユーザを検出できなかった場合(S209において「No」)、一定時間が経過する前であれば(S224において「No」)、ステップS227において、移動体制御部70gは、最後に検出された対象ユーザの位置や、その際に算出された移動ベクトル、および現在までの経過時間に基づいて、目的地に向かって移動している対象ユーザの現在地を推定する。
次に、ステップS230において、移動体制御部70gは、推定した対象ユーザの現在地へ移動するよう移動体6−1を制御する。
一方、対象ユーザが検出できないまま一定時間が経過した場合(S224において「Yes」)、移動体制御部70gは、対象ユーザの初期位置を再度設定する(S203)。
(日除けの動作処理)
次に、移動体6−2により日除けの環境変化を行う場合の動作処理について図14を参照して説明する。図14は、本実施形態による日除けの環境変化の動作処理を示すフローチャートである。なお図12に示す雨避けの動作処理と同様の処理については説明を簡略化する。
図14に示すように、まず、ステップS303において、環境調整サーバ7の移動体制御部70gは、対象ユーザの初期位置を設定する。
次に、ステップS306において、移動体6−2により対象ユーザの検出を行う。
次いで、対象ユーザの検出ができた場合(S309において「Yes」)、ステップS312において、移動体制御部70gは、移動体6−2に搭載された照度センサ、太陽方位取得部、カレンダー・時計部(環境センサ64の一例)の検出値に基づいて、対象ユーザに対する太陽の位置や太陽光の向き(図15に示す太陽の光線単位ベクトルSv(x,y,z))を取得する。なお環境センサ64の一例である太陽方位取得部は、緯度経度測位部64aおよび高度センサ64bにより取得される現在位置情報(緯度経度高度)と、カレンダー・時計部から検出される現在日時情報から、太陽の位置や向きを取得することができる。
次に、ステップS315において、移動体制御部70gは、移動体6−2を対象ユーザと太陽の間に移動させ、日除けを行うよう制御する。ここで、移動体6−2を移動させる対象ユーザに対する相対位置は次のように求められる。
図15は、日除け時における移動体6−2の対象ユーザに対する相対位置の算出について説明する図である。図15に示すように、太陽光の方角(Sv(x,y,z))、対象ユーザの位置(T(x,y,z))、および移動体6−2の高度から対象ユーザの高さを差し引いた高さdhを用いて、下記式2により、移動体6−2の位置O(x,y,z)が求められる。なおSv_zはSvのz成分を示す。
(式2)
O=(T-Sv・dh/Sv_z)
移動体制御部70gは、このようにして求めた位置O(x,y,z)に移動体6−2を制御する。
次いで、ステップS318において、移動体制御部70gは、対象ユーザの前回の位置と今回の位置に基づいて対象ユーザの移動ベクトルを算出する。また移動体6−2は、対象ユーザに対する相対位置(O(x,y,z))を継続しながら、対象ユーザに追従飛行し、対象ユーザをカメラ62aによりトラッキング、または対象ユーザが所持する通信端末(スマートデバイスやスマートフォン等)から発信される電波(Bluetooth(登録商標)やWi-Fi(登録商標))を受信しながら、対象ユーザを見失わないようにする。
続いて、ステップS321において、移動体制御部70gは、対象ユーザが目的地に到達したか否かを判断し、対象ユーザが目的地に到達した場合は移動体6−2による追従飛行および環境調整制御を終了する。
一方、対象ユーザを検出できなかった場合(S309において「No」)、一定時間が経過する前であれば(S324において「No」)、ステップS327において、移動体制御部70gは、最後に検出された対象ユーザの位置や、その際に算出された移動ベクトル、および現在までの経過時間に基づいて、目的地に向かって移動している対象ユーザの現在地を推定する。
次に、ステップS330において、移動体制御部70gは、推定した対象ユーザの現在地へ移動するよう移動体6−2を制御する。
一方、対象ユーザが検出できないまま一定時間が経過した場合(S324において「Yes」)、移動体制御部70gは、対象ユーザの初期位置を再度設定する(S303)。
(感性値に基づくカバー範囲の変更)
本実施形態では、さらに対象ユーザの感性値に基づいて、カバー範囲を変更することも可能である。これにより、日頃から対象ユーザが大切にしている物を優先してカバーしたり、対象ユーザにとって大事な人もカバーしたり等、対象ユーザの気持ちに応じた環境変化の提供が可能となる。以下、図16を参照して具体的に説明する。
図16は、本実施形態による感性値に基づくカバー範囲の変更処理を示すフローチャートである。図16に示すように、まず、ステップS410において、環境調整サーバ7の感性値算出部70fは、対象ユーザのオブジェクトIDを取得する。
次に、ステップS412において、対象物検出部70bにより、対象ユーザと共に移動している他の物体(ベビーカーや、荷物等)、または対象ユーザと共に移動している人物を検出する。
次いで、ステップS415において、感性値算出部70fは、検出された他の物体や人物のオブジェクトIDを取得する。これらのオブジェクトID(関連オブジェクトIDとも称す)は、予めユーザDB72に登録されていてもよいし、移動体6のカメラ62aで取得した撮像画像の解析結果に基づいて感性サーバ2に問い合わせを行い、関連オブジェクト検索部20d(図7参照)によりオブジェクトDB22から検索されたものであってもよい。
続いて、ステップS418において、感性値算出部70fは、対象ユーザのオブジェクトIDと、対象ユーザと共に移動している他の物体や人物のオブジェクトIDを指定し、対象ユーザと他の物体や人物間のインタラクション評価を、感性サーバ2から取得する。インタラクション評価は、例えば対象ユーザから他の人物に対する会話、メール、若しくは対象ユーザから物体に対する保管、メンテナンス、着用、鑑賞等の行為の評価値(例えば−1.0〜1.0で数値化)である。
次に、ステップS421において、感性値算出部70fは、他の物体/人物に対する対象ユーザの感性値を算出する。感性値の算出式は特に限定しないが、例えば対象ユーザの特定オブジェクト(関連オブジェクト)に対する各インタラクションをインタラクション種類毎に分類し、インタラクション種類に応じた重み付け関数を用いて、特定オブジェクトに対する全てのインタラクションの評価を平均化してもよい(下記式3参照)。
また、上記式3では、人間同士のインタラクション評価に基づいて感性値を算出する場合であって、評価値に対する時間経過の重み付け関数TW(t)を用いている。t はインタラクション時刻(または評価時刻)を指定し、インタラクションが行われた時間からどの程度経過しているかによって重み付けを行う。人間同士の関係の場合、過去のインタラクションよりも最近のインタラクションを重視するためである。
続いて、ステップS424において、移動体制御部70gは、感性値算出部70fにより算出された感性値に基づいて、カバー範囲の変更が必要か否かを判断する。具体的には、移動体制御部70gは、対象ユーザの他の物体/人物に対する相対的感性値が閾値より高い場合、他の物体/人物も対象ユーザと共に、または対象ユーザよりも優先してカバーするよう判断する。
そして、カバー範囲の変更が必要な場合(S424において「Yes」)、ステップS427において、移動体制御部70gは、カバー範囲を変更するよう移動体6に指示を行う。
以上により、本実施形態では、例えば対象ユーザが大事にしている骨董品を持ち歩く際に、少しでも太陽や雨が当たらないよう移動体6によりカバーしたり、子供や親友と一緒の場合はカバー範囲を共有したりすることができる。
<3−2.照明>
続いて、本実施形態の移動体6による他の環境調整制御について説明する。図17は、本実施形態の移動体6−3による照明制御を説明する図である。例えば夜の時間帯に暗い道を歩くことを恐れる感情が推定されるため、図17に示すように、移動体6−3により対象ユーザの周囲の道を照らすよう環境調整制御を行うことで、対象ユーザを安心させることができる。以下、図18を参照して具体的に説明する。
図18は、本実施形態の移動体6−3による照明制御処理を示すフローチャートである。図18に示すように、まず、ステップS503において、環境調整サーバ7の移動体制御部70gは、設定した対象ユーザの初期位置に移動体6−3を飛行させ、移動体6−3の赤外線カメラ62b(夜道のため)の撮像画像等に基づいて対象物検出部70bにより対象ユーザの検出を行う。
次に、ステップS506において、移動体制御部70gは、移動体6−3の飛行高度を設定する。飛行高度は予め設定されたものであってもよい。
次いで、ステップS509において、移動体制御部70gは、対象ユーザの移動方向(単位ベクトルFv)を算出する。
続いて、ステップS512において、移動体制御部70gは、移動体6−3のマイクアレイ62dで取得した音声データに基づいて、対象ユーザの足音の音量が閾値より大きくなったか否かを判断する。
また、ステップS515において、移動体制御部70gは、移動体6−3の赤外線カメラ62bで取得した撮像画像等に基づいて、対象ユーザの移動スピードの変化が閾値より大きくなったか否かを判断する。
足音が大きくなった場合(S512において「Yes」)、または移動スピードの変化が閾値より大きくなった場合(S515において「Yes」)、ステップS518において、移動体制御部70gは、対象ユーザの恐怖度合いが閾値より大きいか否かを判断する。夜道での一人歩きの場合、恐怖を感じた歩行者は歩行スピードを上げたり、足音が大きくなったりするので、このような情報は周辺環境に対する恐怖度合いのバロメータとなる。また、ユーザの生体情報、例えば心拍数の変化に応じて恐怖度合いを算出してもよい。ユーザの心拍数は、ユーザが装着しているスマートバンド8により取得し得る。若しくは、集合知または個人属性としてユーザが特に恐怖を感じるエリアを統合ヒートマップ(例えば、恐怖の感情を示す感情ヒートマップと、人通りが少ない・危険が発生しやすい場所を示す環境ヒートマップとの統合)から特定し、恐怖度合いを算出してもよい。
恐怖度合いが閾値より大きい場合(S518において「Yes」)、ステップS521において、移動体制御部70gは、照明部(出力部66の一例)による照度を上げたり、照明範囲を広げたりといった調整を行う。または、移動体制御部70gは、スピーカ(出力部66の一例)からアラームを鳴らすよう制御する。
次いで、恐怖度合いに応じた調整後、または足音の音量やスピード変化が閾値を越えない場合、ステップS524において、移動体制御部70gは、対象ユーザの移動方向前方を照らすよう照明部(出力部66の一例)を制御する。ここで、移動体6−3による照明方向、照明位置は、例えば以下のようにして求められる。
図19は、照明時における移動体6−3の照明方向(角度)、位置の算出について説明する図である。図19に示すように、移動体6−3の位置O(x,y,z)、対象ユーザの位置T(x,y,z)、移動方向単位ベクトルFv(x,y,z)、および対象ユーザから照明位置の距離tdが、規定値として予め設定されている場合、照明位置Pは、下記式4により求められる。
(式4)
P=T+Fv・td
したがって、照明部による照射角度単位ベクトルLvは、下記式5により求められる。
(式5)
Lv=(P-O)/|P-O|
そして、ステップS527において、移動体制御部70gは、移動体6−3が、対象ユーザに対する照明部の照射角度Lvを継続しながら、対象ユーザに追従飛行し、対象ユーザを赤外線カメラ62bによりトラッキング、または対象ユーザが所持する通信端末(スマートデバイスやスマートフォン等)から発信される電波(Bluetooth(登録商標)やWi-Fi(登録商標))を受信しながら、対象ユーザを見失わないようにする。
<3−3.風・水等の出力>
さらに、本実施形態による移動体6は、出力部66から温風、冷風、空気、蚊よけ、水等を放出して、暑い日/寒い日に心地よい環境を提供したり、煙草の煙や花粉を避けたり、蚊等の虫避けを実行することで、対象ユーザを快適な気持ちにさせることができる。暑さや寒さ、煙草の煙、虫等に不快な感情を持つか否かは、対象ユーザの属性や、趣味・嗜好、生体情報等から感情推定部70cにより推定され得る。また、本実施形態において、周辺環境のセンシングは、環境センサ64の一例である、湿度センサ、温度センサ、空気質センサ、花粉センサ、匂いセンサ等により実施される。
対象ユーザの周辺環境を風・水等の出力により変化させる実施形態について、以下図20〜図23を参照して具体的に説明する。
(エアカーテン)
図20は、本実施形態によるエアカーテンによる環境変化を説明する図である。図20に示すように、対象ユーザに追従飛行する移動体6−4は、暑い日に対象ユーザが汗をかいて不快な感情になっている場合に、冷風を風出力部(出力部66の一例)から出力することで、快適な環境に変化させることができる。また、対象ユーザが蚊に刺され易い体質で周囲の虫に対して不快な感情を有している場合、移動体6−4は、蚊よけの薬品を噴霧することで、快適な環境に変化させることができる。
図21は、本実施形態によるエアカーテンによる環境変化の動作処理を示すフローチャートである。図21に示すように、まず、ステップS603において、環境調整サーバ7の移動体制御部70gは、設定した対象ユーザの初期位置に移動体6−4を飛行させ、移動体6−4のカメラ62aの撮像画像等に基づいて対象物検出部70bにより対象ユーザの検出を行う。
次に、ステップS606において、移動体制御部70gは、移動体6−4の飛行高度を設定する。飛行高度は予め設定されたものであってもよい。
次いで、ステップS609において、移動体制御部70gは、対象ユーザの移動方向を算出する。
続いて、ステップS612において、移動体制御部70gは、対象ユーザの周囲に、冷風/温風の出力(送風)または蚊よけ薬品の噴霧を行うよう移動体6−4を制御する。送風量や温度は、対象ユーザの感情、周囲の湿度、温度等に基づいて調整される。
そして、ステップS615において、移動体制御部70gは、対象ユーザを追従飛行するよう移動体6−を制御する。
(タバコ避け)
次に、移動体6−5によるタバコの煙避けによる環境変化について、図22および図23を参照して説明する。タバコの煙避けは、上述したエアカーテンで実現することもできるが、図22に示すように、移動体6−5から近くの煙草50の火を消すよう水を放出することも可能である。水放出制御は、条例等により路上での煙草喫煙が禁止されているエリアに限って実行するようにしてもよい。
図23は、本実施形態による煙草避けによる環境変化の動作処理を示すフローチャートである。図23に示すように、まず、ステップS623において、環境調整サーバ7の移動体制御部70gは、設定した対象ユーザの初期位置に移動体6−5を飛行させ、移動体6−5のカメラ62aの撮像画像等に基づいて対象物検出部70bにより対象ユーザの検出を行う。
次に、ステップS626において、移動体制御部70gは、移動体6−5の赤外線カメラ62bの撮像画像等に基づいて、移動体6−5の周辺360度を赤外線探索し、煙草の火を探索する。若しくは、移動体制御部70gは、移動体6−5に搭載された風向センサにより風向きを測定し、対象ユーザに向かって流れてくる煙の風上方向を集中的に赤外線で探索してもよい。
次いで、ステップS629において、対象物検出部70bにより、消去対象の煙草を検出する。
続いて、消去対象の煙草が検出されると(S629において「Yes」)、ステップS632において、移動体制御部70gは、移動体6−5に対して、煙草の火を消すよう水放出部(出力部66の一例)からの水の放出を指示する。
そして、ステップS635において、移動体制御部70gは、対象ユーザを追従飛行するよう移動体6−5を制御する。
<3−4.音楽再生>
また、本実施形態による移動体6は、スピーカ(出力部66の一例)から音楽を再生することで、楽しい環境を提供することができる。例えば、暗い気持ちや、周囲の騒音に対して不快な感情になっていると感情推定部70cにより推定された場合に、対象ユーザの属性や、趣味・嗜好に応じて、対象ユーザが好む音楽を移動体6で再生することで、快適な気持ちにさせることができる。
具体的には、図24に示すように、対象ユーザに追従して飛行する移動体6−6が対象ユーザの上方から音楽を再生する。これにより、対象ユーザはヘッドホンスピーカやイヤホンスピーカを装着しない状態で音楽が聞こえるため、同時に周囲の環境音も聞こえ、歩行時やジョギング時の安全性が増すという効果がある。また、自転車のようにヘッドホンスピーカやイヤホンスピーカを装着した状態での走行が法律的に禁止されている場合でも、音楽を楽しむことができる。さらに、スピーカーアレイやビームフォーミングの技術と併用することで、移動体6−6の下の居る対象ユーザにしか音楽が聞こえないようにすることもできる。
図25は、本実施形態による音楽再生による環境変化の動作処理を示すフローチャートである。図25に示すように、まず、ステップS643において、環境調整サーバ7の移動体制御部70gは、設定した対象ユーザの初期位置に移動体6−6を飛行させ、移動体6−6のカメラ62aの撮像画像等に基づいて対象物検出部70bにより対象ユーザの検出を行う。
次に、ステップS646において、移動体制御部70gは、移動体6−の飛行高度を設定する。飛行高度は予め設定されたものであってもよい。
次いで、ステップS649において、移動体制御部70gは、対象ユーザの移動方向を算出する。
続いて、ステップS652において、移動体制御部70gは、移動体6−6に対して、音楽を再生するようスピーカ(出力部66の一例)から音楽再生を指示する。再生する音楽は、対象ユーザの趣味・嗜好や、過去の音楽再生履歴に基づいて選出してもよい。
そして、ステップS655において、移動体制御部70gは、対象ユーザを追従飛行するよう移動体6−6を制御する。
<<4.まとめ>>
上述したように、本開示の実施形態による環境調整システム1では、移動する対象ユーザに対して移動体6を追従させ、対象ユーザの感情に応じて周辺環境を局所的に変化させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した移動体6、環境調整サーバ7に内蔵されるCPU、ROM、およびRAM等のハードウェアに、移動体6、環境調整サーバ7の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、移動体6の移動制御を、環境調整サーバ7により行っているが、本実施形態による環境調整システムはこれに限定されず、移動体6の制御部(CPU)により移動制御を実行してもよい。例えば、図4に示す環境調整サーバ7が有する機能構成(対象物検出部70b、環境情報取得部70d、感情推定部70c、ヒートマップ生成/取得部70e、感性値算出部70f、および移動体制御部70g)の少なくとも一部を移動体6が有していてもよい。
また、移動体6−1〜移動体6−6のうち少なくとも2以上の移動体6の機能を組み合わせてもよい。例えば雨の夜道の場合、雨避けと、夜道の照明といった2つの環境変化を提供する。この場合、移動体制御部70gは、どのくらいの時間飛行すればよいか、どのくらいの時間各機能を使用するかといったことを、統合ヒートマップから予測し、必要な機能、バッテリー容量、機体を選択することができる。
また、本実施形態の環境調整システムによる環境変化は、頭上からの落下物の回避(例えば雨避け)、光の遮蔽(例えば日除け)、光の照射、音声出力、風の噴出、水の噴出、薬品の噴霧の他、映像の投影、遮音、気体の吸引、液体の吸引、熱の放出、ロボットアームの制御等により実現され得る。
また、本実施形態による環境調整システム1では、環境調整サーバ7の感性値算出部70fにより感性値の算出を行っているが、本開示はこれに限定されず、感性サーバ2において感性値の算出を行ってもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザの感情を推定する推定部と、
推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する移動体制御部と、
を備える、制御システム。
(2)
前記推定部は、前記ユーザの生体情報に基づいて、前記ユーザの感情を推定する、前記(1)に記載の制御システム。
(3)
前記推定部は、前記ユーザの属性、趣味・嗜好に基づいて、前記ユーザの感情を推定する、前記(1)または(2)に記載の制御システム。
(4)
前記推定部は、さらに前記ユーザの周辺の環境を参照して、前記ユーザの感情を推定する、前記(3)に記載の制御システム。
(5)
前記制御システムは、
前記ユーザの、特定のオブジェクトに対する感性値を、前記特定のオブジェクトに対するインタラクション評価に基づいて算出する感性値算出部をさらに備える、前記(1)〜(4)のいずれか1項に記載の制御システム。
(6)
前記移動体制御部は、前記特定のオブジェクトに対する感性値に応じて、変更範囲の調整を行うよう制御する、前記(5)に記載の制御システム。
(7)
前記制御システムは、
前記推定部により推定された複数のユーザの感情に基づき、感情ヒートマップを生成する生成部をさらに備え、
前記移動体制御部は、前記感情ヒートマップに応じて、前記ユーザ周辺の環境を変更するよう前記移動体を制御する、前記(1)〜(6)のいずれか1項に記載の制御システム。
(8)
前記生成部は、前記ユーザ周辺の環境情報に基づいて環境ヒートマップを生成し、
前記移動体制御部は、前記感情ヒートマップと前記環境ヒートマップに応じて、前記ユーザ周辺の環境を変更するよう前記移動体を制御する、前記(7)に記載の制御システム。
(9)
前記生成部は、未来の前記感情ヒートマップまたは前記環境ヒートマップを予測して生成する、前記(8)に記載の制御システム。
(10)
前記移動体制御部は、前記推定部により、前記ユーザの感情が不快と推定された場合、前記ユーザの感情が快となるように、前記ユーザ周辺の環境を変更するよう前記移動体を制御する、前記(1)〜(9)のいずれか1項に記載の制御システム。
(11)
前記移動体制御部は、前記推定部により、前記ユーザの特定の環境に対する感情が不快であると推定された場合、前記ユーザの感情が快となるように、前記ユーザ周辺の前記特定の環境を変更するよう前記移動体を制御する、前記(10)に記載の制御システム。
(12)
前記移動体制御部は、前記推定されたユーザの特定の環境に対する感情に応じた感情ヒートマップおよび環境ヒートマップに基づいて、目的地までの移動経路のうち、環境を変更させるエリアを判断し、当該エリアを担当する移動体により前記ユーザの周辺の環境を変更させるよう制御する、前記(11)に記載の制御システム。
(13)
前記移動体は、飛行移動体、地上移動体、または水上移動体である、前記(1)〜(12)のいずれか1項に記載の制御システム。
(14)
ユーザの感情を推定することと、
推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御することと、
を含む、制御方法。
(15)
コンピュータを、
ユーザの感情を推定する推定部と、
推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する移動体制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。
1 環境調整システム
2 感性サーバ
20 制御部
20a インタラクション記憶制御部
20b 評価部
20c オブジェクト管理部
20d 関連オブジェクト検索部
21 通信部
22 オブジェクトDB
24 感性情報DB
3 ネットワーク
6 移動体
61 通信部
62 対象物センサ
63 移動体制御部
64 環境センサ
65 変形制御部
66 出力部
7 環境調整サーバ
70 制御部
70a ユーザ設定管理部
70b 対象物検出部
70c 感情推定部
70d 環境情報取得部
70e ヒートマップ生成/取得部
70f 感性値算出部
70g 移動体制御部
71 通信部
72 ユーザDB

Claims (15)

  1. ユーザの感情を推定する推定部と、
    推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する処理として、前記ユーザを追従しながら前記ユーザの周辺の環境を変更するよう前記移動体を制御する処理を行う移動体制御部と、
    を備える、制御システム。
  2. 前記推定部は、前記ユーザの生体情報に基づいて、前記ユーザの感情を推定する、請求項1に記載の制御システム。
  3. 前記推定部は、前記ユーザの属性、趣味・嗜好に基づいて、前記ユーザの感情を推定する、請求項1に記載の制御システム。
  4. 前記推定部は、さらに前記ユーザの周辺の環境を参照して、前記ユーザの感情を推定する、請求項3に記載の制御システム。
  5. 前記制御システムは、
    前記ユーザの、特定のオブジェクトとして、前記ユーザとともに移動している物理的なオブジェクトに対する感性値を、前記特定のオブジェクトに対するインタラクション評価に基づいて算出する感性値算出部をさらに備える、請求項1に記載の制御システム。
  6. 前記移動体制御部は、前記特定のオブジェクトに対する感性値に応じて、変更範囲の調整を行うよう制御する、請求項5に記載の制御システム。
  7. 前記制御システムは、
    前記推定部により推定された複数のユーザの感情に基づき、感情ヒートマップを生成する生成部をさらに備え、
    前記移動体制御部は、前記感情ヒートマップに応じて、前記ユーザ周辺の環境を変更するよう前記移動体を制御する、請求項1に記載の制御システム。
  8. 前記生成部は、前記ユーザ周辺の環境情報に基づいて環境ヒートマップを生成し、
    前記移動体制御部は、前記感情ヒートマップと前記環境ヒートマップに応じて、前記ユーザ周辺の環境を変更するよう前記移動体を制御する、請求項7に記載の制御システム。
  9. 前記生成部は、未来の前記感情ヒートマップまたは前記環境ヒートマップを予測して生成する、請求項8に記載の制御システム。
  10. 前記移動体制御部は、前記推定部により、前記ユーザの感情が不快と推定された場合、前記ユーザの感情が快となるように、前記ユーザ周辺の環境を変更するよう前記移動体を制御する、請求項1に記載の制御システム。
  11. 前記移動体制御部は、前記推定部により、前記ユーザの特定の環境に対する感情が不快であると推定された場合、前記ユーザの感情が快となるように、前記ユーザ周辺の前記特定の環境を変更するよう前記移動体を制御する、請求項10に記載の制御システム。
  12. 前記移動体制御部は、前記推定されたユーザの特定の環境に対する感情に応じた感情ヒートマップおよび環境ヒートマップに基づいて、目的地までの移動経路のうち、環境を変更させるエリアを判断し、当該エリアを担当する移動体により前記ユーザの周辺の環境を変更させるよう制御する、請求項11に記載の制御システム。
  13. 前記移動体は、飛行移動体、地上移動体、または水上移動体である、請求項1に記載の制御システム。
  14. ユーザの感情を推定することと、
    推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する処理として、前記ユーザを追従しながら前記ユーザの周辺の環境を変更するよう前記移動体を制御する処理を行うことと、
    を含む、制御方法。
  15. コンピュータを、
    ユーザの感情を推定する推定部と、
    推定した感情に応じて、前記ユーザの周辺の環境を変更するよう移動体を制御する処理として、前記ユーザを追従しながら前記ユーザの周辺の環境を変更するよう前記移動体を制御する処理を行う移動体制御部と、
    として機能させるためのプログラムが記憶された、記憶媒体。
JP2016557468A 2014-11-07 2015-08-04 制御システム、制御方法、および記憶媒体 Active JP6583283B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014227005 2014-11-07
JP2014227005 2014-11-07
PCT/JP2015/072033 WO2016072116A1 (ja) 2014-11-07 2015-08-04 制御システム、制御方法、および記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2016072116A1 JPWO2016072116A1 (ja) 2017-08-31
JP6583283B2 true JP6583283B2 (ja) 2019-10-02

Family

ID=55908848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016557468A Active JP6583283B2 (ja) 2014-11-07 2015-08-04 制御システム、制御方法、および記憶媒体

Country Status (4)

Country Link
US (3) US10788235B2 (ja)
JP (1) JP6583283B2 (ja)
CN (2) CN113778114A (ja)
WO (1) WO2016072116A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113819614A (zh) * 2021-09-13 2021-12-21 青岛海尔空调器有限总公司 用于控制空调的方法、装置及空调

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778114A (zh) * 2014-11-07 2021-12-10 索尼公司 控制系统、控制方法以及存储介质
US10220517B2 (en) * 2016-10-31 2019-03-05 International Business Machines Corporation System, method and computer program product for controlling a mission-oriented robot based on a user's emotional state
JP2018077599A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理装置
CN106843458B (zh) * 2016-12-12 2021-05-25 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
EP4040368A1 (en) * 2017-04-27 2022-08-10 Snap Inc. Low-latency delivery mechanism for map-based gui
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
JP6906197B2 (ja) * 2017-09-29 2021-07-21 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置及び情報処理プログラム
JP7003593B2 (ja) * 2017-11-16 2022-02-04 トヨタ自動車株式会社 スポット空調装置
JP6896594B2 (ja) * 2017-11-27 2021-06-30 Kddi株式会社 楽曲選択装置、楽曲選択方法及びプログラム
JP7160092B2 (ja) * 2018-05-01 2022-10-25 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム
JP7225642B2 (ja) * 2018-09-27 2023-02-21 富士通株式会社 コミュニケーションロボット、制御方法及び制御プログラム
JP7115258B2 (ja) * 2018-11-29 2022-08-09 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム
CN111290001A (zh) * 2018-12-06 2020-06-16 杭州海康威视数字技术股份有限公司 一种基于gps坐标的目标统筹方法、装置及设备
CN112830124B (zh) * 2019-11-25 2022-10-18 魏宏帆 废弃物容纳装置以及智能管理系统
JP2021094890A (ja) * 2019-12-13 2021-06-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行体、及び制御方法
JP7138618B2 (ja) * 2019-12-24 2022-09-16 楽天グループ株式会社 運搬システム、制御装置、及び、方法

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6269763B1 (en) * 1998-02-20 2001-08-07 Richard Lawrence Ken Woodland Autonomous marine vehicle
JPH11259129A (ja) * 1998-03-09 1999-09-24 Yamaha Motor Co Ltd 自律移動体の制御方法
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
JP2000064933A (ja) * 1998-08-19 2000-03-03 Yamaha Motor Co Ltd 2サイクル筒内噴射エンジンの始動方法
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
US6616613B1 (en) * 2000-04-27 2003-09-09 Vitalsines International, Inc. Physiological signal monitoring system
US20010043000A1 (en) * 2000-05-17 2001-11-22 Hinds Jason Mark Seating apparatus
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
JP2004066367A (ja) * 2002-08-05 2004-03-04 Mitsubishi Heavy Ind Ltd 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム
JP4204839B2 (ja) * 2002-10-04 2009-01-07 株式会社エイ・ジー・アイ 発想モデル装置、自発感情モデル装置、発想のシミュレーション方法、自発感情のシミュレーション方法、およびプログラム
GB2409734B (en) * 2002-11-11 2007-01-03 Alfred Schurmann Determination and control of activities of an emotional system
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
US20050124234A1 (en) * 2003-12-05 2005-06-09 Robin Sells Remote marine craft system and methods of using same
JP4595436B2 (ja) * 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
US7631653B2 (en) * 2004-11-18 2009-12-15 Young Mechatronics Solutions, LLC Apparatus for automated movement of an umbrella
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
JP4682217B2 (ja) * 2007-03-07 2011-05-11 パナソニック株式会社 行動制御装置、方法、プログラム
JP5007404B2 (ja) 2007-05-09 2012-08-22 株式会社国際電気通信基礎技術研究所 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器
JP2009061547A (ja) * 2007-09-06 2009-03-26 Olympus Corp ロボット制御システム、ロボット、プログラム及び情報記憶媒体
US10275569B2 (en) * 2007-10-15 2019-04-30 22andMe, Inc. Family inheritance
JP2009108727A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 車両およびその制御方法
US9326099B2 (en) * 2008-02-11 2016-04-26 Popular Metrics, Inc. System and method for determining audience characteristics of a music concert based on mobile phone tracking and mobile data transmissions
JP5152570B2 (ja) * 2008-03-06 2013-02-27 株式会社デンソー 自動車用ユーザーもてなしシステム
CN101504546B (zh) * 2008-12-12 2010-04-21 北京科技大学 一种儿童机器人的体位跟踪装置
KR101678018B1 (ko) * 2010-01-22 2016-11-22 삼성전자주식회사 감성 모델 장치 및 감성 모델 장치의 행동 결정 방법
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US20140081090A1 (en) * 2010-06-07 2014-03-20 Affectiva, Inc. Provision of atypical brain activity alerts
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US10289898B2 (en) * 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
JP2012059107A (ja) 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
US8996429B1 (en) * 2011-05-06 2015-03-31 Google Inc. Methods and systems for robot personality development
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
KR101830767B1 (ko) * 2011-07-14 2018-02-22 삼성전자주식회사 사용자의 감정 인식 장치 및 방법
WO2013020562A1 (en) 2011-08-09 2013-02-14 Farouk Mohamed Ashraf Automated sun tracking umbrella
US10176725B2 (en) * 2011-08-29 2019-01-08 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
KR101295003B1 (ko) * 2011-10-12 2013-08-16 한국과학기술연구원 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법
WO2013082021A1 (en) * 2011-11-28 2013-06-06 Gividual Solutions, Inc. System, computer-storage medium and methods for allocation of donations between parties
KR101353195B1 (ko) * 2011-12-26 2014-01-20 세명대학교 산학협력단 이동통신단말을 이용한 조명 제어 방법
KR101970962B1 (ko) * 2012-03-19 2019-04-22 삼성전자주식회사 아기 감시 방법 및 장치
US20130275320A1 (en) * 2012-04-16 2013-10-17 Google Inc. Identifying Prospective Employee Candidates via Employee Connections
JP5987473B2 (ja) 2012-05-23 2016-09-07 富士通株式会社 非言語情報収集装置および非言語情報収集プログラム
US20150350614A1 (en) * 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
US10555498B2 (en) * 2012-09-19 2020-02-11 Botsitter, Llc Method and system for remote monitoring, care and maintenance of animals
US8972313B2 (en) * 2012-10-01 2015-03-03 Korea Institute Of Industrial Technology Apparatus and method for learning emotion of robot
US9443207B2 (en) * 2012-10-22 2016-09-13 The Boeing Company Water area management system
US20140150806A1 (en) * 2012-12-02 2014-06-05 John Hu Robotic First Responder System and Method
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US8840131B1 (en) * 2013-03-15 2014-09-23 Planet Rider LLC Three-wheeled vehicle
US11883606B2 (en) * 2013-03-15 2024-01-30 Sleep Solutions Inc. Stress reduction and sleep promotion system
JP6002834B2 (ja) * 2013-03-28 2016-10-05 本田技研工業株式会社 マップ生成システム、マップ生成装置、マップ生成方法およびプログラム
EP2988275A4 (en) * 2013-04-16 2016-11-30 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
CN103593650B (zh) * 2013-10-28 2017-01-25 浙江大学 一种基于表情识别系统生成艺术图像的方法
US9158304B2 (en) * 2013-11-10 2015-10-13 Google Inc. Methods and systems for alerting and aiding an emergency situation
US9535421B1 (en) * 2014-02-28 2017-01-03 Savioke, Inc. Mobile delivery robot with interior cargo space
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
US10265227B2 (en) * 2014-03-21 2019-04-23 Rensselaer Polytechnic Institute Mobile human-friendly assistive robot
CN103916540B (zh) * 2014-03-31 2018-03-16 惠州Tcl移动通信有限公司 一种信息反馈的方法及移动终端
EP2933796B1 (en) * 2014-04-17 2018-10-03 Softbank Robotics Europe Executing software applications on a robot
US10579252B2 (en) * 2014-04-28 2020-03-03 Ford Global Technologies, Llc Automotive touchscreen with simulated texture for the visually impaired
KR20150126196A (ko) * 2014-05-02 2015-11-11 삼성전자주식회사 사용자 감성 활동 기반 데이터 처리 장치 및 방법
CN105517664B (zh) * 2014-05-30 2018-11-20 深圳市大疆创新科技有限公司 无人飞行器对接系统及方法
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
US9798322B2 (en) * 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9348336B2 (en) * 2014-09-12 2016-05-24 Toyota Jidosha Kabushiki Kaisha Robot assistance for detecting, managing, and mitigating risk
US10819959B2 (en) * 2014-11-05 2020-10-27 Jason Christopher Palazzolo Firearm environmental recording apparatus and system
JP6561996B2 (ja) * 2014-11-07 2019-08-21 ソニー株式会社 情報処理装置、制御方法、および記憶媒体
CN113778114A (zh) * 2014-11-07 2021-12-10 索尼公司 控制系统、控制方法以及存储介质
CN104482627A (zh) * 2014-11-28 2015-04-01 成都纽赛思科技有限公司 一种基于声波调控的空调智能控温系统
KR102247518B1 (ko) * 2014-12-23 2021-05-03 삼성전자주식회사 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
JP6607198B2 (ja) * 2015-01-30 2019-11-20 ソニー株式会社 情報処理システムおよび制御方法
CN113139104B (zh) * 2015-02-13 2023-12-15 索尼公司 信息处理系统和控制方法
US9471059B1 (en) * 2015-02-17 2016-10-18 Amazon Technologies, Inc. Unmanned aerial vehicle assistant
WO2016179321A1 (en) * 2015-05-04 2016-11-10 Johnson Controls Technology Company User control device with housing containing angled circuit boards
WO2016191382A1 (en) * 2015-05-26 2016-12-01 Mores Inc. Self charging lightweight drone apparatus
US10668863B2 (en) * 2015-05-29 2020-06-02 Doorbrella Pty Ltd Holding arrangement and protective cover
EP3101889A3 (en) * 2015-06-02 2017-03-08 LG Electronics Inc. Mobile terminal and controlling method thereof
JP6505514B2 (ja) * 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
CN105041371A (zh) * 2015-06-10 2015-11-11 东北大学 一种全地形智能移动救援机器人
US10799122B2 (en) * 2015-06-14 2020-10-13 Facense Ltd. Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses
US20210259557A1 (en) * 2015-06-14 2021-08-26 Facense Ltd. Doorway system that utilizes wearable-based health state verifications
US11103139B2 (en) * 2015-06-14 2021-08-31 Facense Ltd. Detecting fever from video images and a baseline
US10984498B2 (en) * 2015-06-15 2021-04-20 International Business Machines Corporation Managing transportation deployment using customer activity
US11107009B2 (en) * 2015-06-15 2021-08-31 International Business Machines Corporation Managing user transportation needs without user intervention
US10408631B2 (en) * 2015-07-24 2019-09-10 International Business Machines Corporation Journey planning
JP6090382B2 (ja) * 2015-07-31 2017-03-08 ダイキン工業株式会社 空調制御システム
US9513629B1 (en) * 2015-10-30 2016-12-06 Sony Mobile Communications, Inc. Methods and devices for heart rate controlled drones
WO2017120530A1 (en) * 2016-01-06 2017-07-13 SonicSensory, Inc. Virtual reality system with drone integration
US10228695B2 (en) * 2016-01-20 2019-03-12 Alarm.Com Incorporated Drone control device
US9594372B1 (en) * 2016-01-21 2017-03-14 X Development Llc Methods and systems for providing feedback based on information received from an aerial vehicle
JP6522170B2 (ja) * 2016-02-04 2019-05-29 三菱電機株式会社 空気調和機
US10414052B2 (en) * 2016-02-09 2019-09-17 Cobalt Robotics Inc. Building-integrated mobile robot
US10168700B2 (en) * 2016-02-11 2019-01-01 International Business Machines Corporation Control of an aerial drone using recognized gestures
US10597155B2 (en) * 2016-02-24 2020-03-24 Razmik Karabed Shadow casting drone
JP6073000B1 (ja) * 2016-02-24 2017-02-01 三菱電機株式会社 制御装置及び制御プログラム
JP6495486B2 (ja) * 2016-05-20 2019-04-03 Groove X株式会社 自律行動型ロボット及びコンピュータプログラム
US9875648B2 (en) * 2016-06-13 2018-01-23 Gamma 2 Robotics Methods and systems for reducing false alarms in a robotic device by sensor fusion
US11299270B2 (en) * 2016-06-24 2022-04-12 Matthew CULVER Systems and methods for unmanned aerial vehicles
JP6436548B2 (ja) * 2016-07-11 2018-12-12 Groove X株式会社 自律行動型ロボット
EP3488428B1 (en) * 2016-07-19 2020-12-30 Ford Global Technologies, LLC Autonomous vehicle providing safety zone to persons in distress
DE112017003651T5 (de) * 2016-07-20 2019-04-04 Groove X, Inc. Autonom agierender Roboter, der Körperkontakt versteht
US9942707B2 (en) * 2016-07-25 2018-04-10 International Business Machines Corporation Cognitive geofencing
US10342360B2 (en) * 2016-08-01 2019-07-09 Larking, Inc. Antimicrobial disposable seat cover
DE112017004363T5 (de) * 2016-08-29 2019-06-19 Groove X, Inc. Autonom agierender roboter, der die richtung einer geräuschquelle erkennt
JP2018038553A (ja) * 2016-09-06 2018-03-15 パナソニックIpマネジメント株式会社 車載表示装置、車載表示装置の制御方法、及び、プログラム
US20180068573A1 (en) * 2016-09-07 2018-03-08 Cornell University Mindless technologies to subtly influence behavior
US10614380B2 (en) * 2016-10-13 2020-04-07 Nutanix, Inc. Dynamically adjusting system metric thresholds based on user specified system performance feedback
US10019002B2 (en) * 2016-10-13 2018-07-10 Navico Holding As Unmanned vehicle control and operation in a marine environment
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技(深圳)有限公司 导览机器人及其移动区域标定方法
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
US10257669B2 (en) * 2016-12-01 2019-04-09 Kodiak Networks, Inc. PTX data analytic engine notifying group list of detected risk event
US20180190257A1 (en) * 2016-12-29 2018-07-05 Shadecraft, Inc. Intelligent Umbrellas and/or Robotic Shading Systems Including Noise Cancellation or Reduction
US11548633B2 (en) * 2016-12-31 2023-01-10 Jayant Ratti High endurance unmanned aerial vehicle
CA3049726A1 (en) * 2017-01-10 2018-07-19 Babak Rezvani Emergency drone guidance device
US10747997B2 (en) * 2017-01-17 2020-08-18 James P Janniello Intelligent protective drone
US10496107B2 (en) * 2017-01-17 2019-12-03 Valeo North America, Inc. Autonomous security drone system and method
WO2018139879A1 (en) * 2017-01-25 2018-08-02 Samsung Electronics Co., Ltd. Method and apparatus for determining stereoscopic multimedia information
US20180291579A1 (en) * 2017-02-04 2018-10-11 Shadecraft, Inc. Snow/Ice Melting Drone Device
WO2018195857A1 (zh) * 2017-04-27 2018-11-01 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
US20180336575A1 (en) * 2017-05-16 2018-11-22 International Business Machines Corporation Graphical representations of real-time social emotions
CN107415837B (zh) * 2017-06-15 2019-10-25 浙江吉利控股集团有限公司 车载无人机、自动撑伞系统及自动撑伞控制方法
US20200174490A1 (en) * 2017-07-27 2020-06-04 Waymo Llc Neural networks for vehicle trajectory planning
WO2019023522A1 (en) * 2017-07-28 2019-01-31 Nuro, Inc. SYSTEM AND MECHANISM FOR INCENTIVE SALE OF PRODUCTS ON AUTONOMOUS VEHICLES
WO2019050034A1 (ja) * 2017-09-11 2019-03-14 Groove X株式会社 相手を見つめる自律行動型ロボット
US10427786B2 (en) * 2017-09-14 2019-10-01 At&T Intellectual Property I, L.P. Drone authentication system
US20190099877A1 (en) * 2017-09-29 2019-04-04 Airbus Operations Gmbh Exoskeleton System
US10921763B1 (en) * 2017-10-25 2021-02-16 Alarm.Com Incorporated Baby monitoring using a home monitoring system
KR102060715B1 (ko) * 2017-11-30 2019-12-30 엘지전자 주식회사 이동 로봇 및 그 제어방법
FR3075681B1 (fr) * 2017-12-27 2020-08-28 Softbank Robotics Europe Securisation d'une articulation d'un robot
US11475291B2 (en) * 2017-12-27 2022-10-18 X Development Llc Sharing learned information among robots
US11017317B2 (en) * 2017-12-27 2021-05-25 X Development Llc Evaluating robot learning
US10730181B1 (en) * 2017-12-27 2020-08-04 X Development Llc Enhancing robot learning
CN108132677B (zh) * 2017-12-28 2021-06-11 何佳林 一种遮阳无人机控制系统和控制方法
WO2019133680A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for detecting physical proximity between devices
US11015832B2 (en) * 2018-01-12 2021-05-25 Carrier Corporation Thermographic sensing of human thermal conditions to improve thermal comfort
US10558862B2 (en) * 2018-01-12 2020-02-11 Intel Corporation Emotion heat mapping
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
TWI658377B (zh) * 2018-02-08 2019-05-01 佳綸生技股份有限公司 機器人輔助互動系統及其方法
EP3756188A4 (en) * 2018-02-15 2022-02-23 DMAI, Inc. SYSTEM AND METHOD FOR DYNAMIC ROBOT CONFIGURATION FOR ENHANCED DIGITAL EXPERIENCES
WO2019160613A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
US20190258523A1 (en) * 2018-02-21 2019-08-22 Anki, Inc. Character-Driven Computing During Unengaged Time
CN110309254A (zh) * 2018-03-01 2019-10-08 富泰华工业(深圳)有限公司 智能机器人与人机交互方法
WO2019183182A1 (en) * 2018-03-20 2019-09-26 Day Michael Joseph Security system
KR101959366B1 (ko) * 2018-04-10 2019-03-21 주식회사 아르고스다인 무인기와 무선단말기 간의 상호 인식 방법
KR102574937B1 (ko) * 2018-05-18 2023-09-05 현대자동차주식회사 차량 및 그 제어 방법
CN113703333A (zh) * 2018-05-23 2021-11-26 厦门波耐模型设计有限责任公司 无人化居家休养照护方法、装置
EP3803774A4 (en) * 2018-06-11 2022-03-09 Rapidsos, Inc. SYSTEMS AND USER INTERFACES FOR EMERGENCY DATA INTEGRATION
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP7095431B2 (ja) * 2018-06-19 2022-07-05 トヨタ自動車株式会社 情報処理装置、情報処理方法、情報処理システム
KR102578194B1 (ko) * 2018-06-20 2023-09-13 현대자동차주식회사 자동차의 손상 검출 장치 및 방법
US20200004272A1 (en) * 2018-06-28 2020-01-02 Skyyfish, LLC System and method for intelligent aerial inspection
JP6977677B2 (ja) * 2018-06-28 2021-12-08 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び、情報処理プログラム
EP3823891A1 (en) * 2018-07-16 2021-05-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for rescue mission assistance
US10623696B1 (en) * 2018-08-06 2020-04-14 Paula Muller Communication system for use with protected persons
KR102242779B1 (ko) * 2018-09-14 2021-04-20 엘지전자 주식회사 로봇 및 그 동작 방법
KR20200034039A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
JP7067414B2 (ja) * 2018-10-24 2022-05-16 トヨタ自動車株式会社 コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム
KR102204510B1 (ko) * 2018-10-26 2021-01-19 국방과학연구소 부상자 분류 방법 및 그 방법을 수행하는 구조 로봇
JP7201394B2 (ja) * 2018-10-30 2023-01-10 トヨタ自動車株式会社 情報提供装置、情報提供システム、情報提供方法、情報提供プログラム
JP7096138B2 (ja) * 2018-10-30 2022-07-05 トヨタ自動車株式会社 情報処理装置、情報処理方法、情報処理プログラム
US11741500B2 (en) * 2018-12-14 2023-08-29 Productive Application Solutions, Inc. Pedestrian thoroughfare portable media kiosk
US20220126878A1 (en) * 2019-03-29 2022-04-28 Intel Corporation Autonomous vehicle system
US20220288791A1 (en) * 2019-04-16 2022-09-15 Sony Group Corporation Information processing device, information processing method, and program
EP3731235A1 (en) * 2019-04-23 2020-10-28 Sony Corporation Device and method for monitoring activity performance
CN110164439A (zh) * 2019-05-29 2019-08-23 姚英泽 智能服务机器人
KR20190095188A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 로봇 및 그 제어방법
KR102212638B1 (ko) * 2019-08-21 2021-02-04 건국대학교 글로컬산학협력단 음악 추천 시스템 및 방법
KR102696262B1 (ko) * 2019-08-30 2024-08-21 엘지전자 주식회사 화자인식 기반 차량 제어 방법 및 지능형 차량
JP2021066304A (ja) * 2019-10-23 2021-04-30 トヨタ自動車株式会社 搬送ロボット
CN211867819U (zh) * 2019-11-28 2020-11-06 谢钊锋 一种具有净化空气功能的智能机器人
JP7359437B2 (ja) * 2019-12-11 2023-10-11 株式会社Agama-X 情報処理装置、プログラム、及び、方法
CN113826053B (zh) * 2020-02-20 2023-11-21 Whill株式会社 电动移动设备以及设施内的系统
US20230138192A1 (en) * 2020-03-14 2023-05-04 Xiamen Brana Design Co., Ltd. Medical service robot device, and method and system thereof
CN111625003B (zh) * 2020-06-03 2021-06-04 上海布鲁可积木科技有限公司 移动机器人玩具及其使用方法
US11458995B2 (en) * 2020-07-28 2022-10-04 Motional Ad Llc Passenger health screening and monitoring
US11621068B2 (en) * 2020-09-11 2023-04-04 International Business Machines Corporation Robotic arm for patient protection
CN112644696A (zh) * 2020-12-30 2021-04-13 戴林军 一种折叠式农业无人机挂载装置
CN112809696B (zh) * 2020-12-31 2022-03-15 山东大学 面向高传染性隔离病区的全方位智能护理系统及方法
US12017142B2 (en) * 2021-02-16 2024-06-25 Pritesh KANANI System and method for real-time calibration of virtual apparel using stateful neural network inferences and interactive body measurements

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113819614A (zh) * 2021-09-13 2021-12-21 青岛海尔空调器有限总公司 用于控制空调的方法、装置及空调

Also Published As

Publication number Publication date
US20240191905A1 (en) 2024-06-13
US20200408437A1 (en) 2020-12-31
CN107111314A (zh) 2017-08-29
US11940170B2 (en) 2024-03-26
WO2016072116A1 (ja) 2016-05-12
JPWO2016072116A1 (ja) 2017-08-31
US10788235B2 (en) 2020-09-29
CN113778114A (zh) 2021-12-10
CN107111314B (zh) 2021-10-08
US20170297201A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6583283B2 (ja) 制御システム、制御方法、および記憶媒体
JP6822527B2 (ja) 情報処理システム、制御方法、記憶媒体、およびプログラム
JP6930618B2 (ja) ナビゲーションシステム、クライアント端末装置、制御方法、記憶媒体、およびプログラム
US11331242B2 (en) Travel assistance system
US10831311B2 (en) Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10302444B2 (en) Information processing system and control method
US10275083B2 (en) Assistive device with a refreshable haptic feedback interface
US10024678B2 (en) Wearable clip for providing social and environmental awareness
JP2014202690A (ja) ナビゲーション装置及び記憶媒体
US20170229045A1 (en) Information processing device, control method, and program
US20160033280A1 (en) Wearable earpiece for providing social and environmental awareness
WO2012157015A1 (ja) ナビゲーション装置
CN110073395A (zh) 利用推断洞察的可穿戴设备控制
US11904893B2 (en) Operating a vehicle
JP6500139B1 (ja) 視覚支援装置
US20240004493A1 (en) Assistive device with a refreshable haptic feedback interface to provide non-visual assistance to a user
US11844741B2 (en) Travel assistance system
CN115038933A (zh) 车辆的导航指示
JP5398771B2 (ja) 位置判定装置、位置判定方法及びコンピュータプログラム
CN110709837A (zh) 信息处理装置、信息处理方法及程序
JP2004021340A (ja) 情報提供装置、情報提供方法および情報提供プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R151 Written notification of patent or utility model registration

Ref document number: 6583283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151