JP5858228B2 - 同定装置、同定方法および同定プログラム - Google Patents

同定装置、同定方法および同定プログラム Download PDF

Info

Publication number
JP5858228B2
JP5858228B2 JP2011284716A JP2011284716A JP5858228B2 JP 5858228 B2 JP5858228 B2 JP 5858228B2 JP 2011284716 A JP2011284716 A JP 2011284716A JP 2011284716 A JP2011284716 A JP 2011284716A JP 5858228 B2 JP5858228 B2 JP 5858228B2
Authority
JP
Japan
Prior art keywords
identification
candidates
classification
classifier
inertial sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011284716A
Other languages
English (en)
Other versions
JP2013132719A (ja
Inventor
礼央 松村
礼央 松村
昌裕 塩見
昌裕 塩見
敬宏 宮下
敬宏 宮下
石黒 浩
浩 石黒
萩田 紀博
紀博 萩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2011284716A priority Critical patent/JP5858228B2/ja
Publication of JP2013132719A publication Critical patent/JP2013132719A/ja
Application granted granted Critical
Publication of JP5858228B2 publication Critical patent/JP5858228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Description

この発明は、インタラクションの対象を同定するための同定装置、同定方法および同定プログラムに関する。
人々とのインタラクションを通じて生活支援を行うエージェントとして、小型ロボットの利用が進んでいる。その理由として、コスト面や安全面の問題から小型ロボットは高齢者施設や家庭内などの日常環境下への導入が比較的容易な点があげられる。
実際に、高齢者施設内における癒しを目的としたペット型ロボット(非特許文献1参照)や、家庭内のセンサネットワークと連携して情報支援やヘルスケアを行うロボット(非特許文献2,3を参照)の開発が既に行われている。
一方で、将来的に、小型ロボットがこのような日常環境下でインタラクションを通じた支援を行うためには、個人に応じた振る舞いや、人々との長期的な関係性を構築することが求められると予想される。そのためには、ロボットがインタラクションを行っている個人を同定する技術が必要である。
このような個人同定の技術としては、従来から、以下のようなものがある。
i)画像処理を用いた個人同定技術(たとえば、非特許文献4)
ii)音声情報処理を用いた個人同定技術(たとえば、非特許文献5)
iii)無線タグやマーカ等を利用した個人同定技術(たとえば、特許文献1、非特許文献6)
iv)慣性センサを用いた個人同定技術(たとえば、非特許文献7,8)
特開2007−320033号明細書
柴田崇徳, "メンタルコミットロボット・パロとロボットセラピーの展開," 日本ロボット学会誌, Vol. 24, No. 3,pp43-46, 2006 小林亮博,上田博唯,佐竹純二,近間正樹,木戸出正継,"家庭内ユビキタス環境における対話ロボットの実稼動実験と対話戦略の評価," 情報処理学会論文誌, vol. 48,no.5,pp. 2023-2031,2007. O. Sugiyama, K. Shinozawa, T. Akimoto, and N. Hagita. Inheritance of personal factors among multi-robot health care system. In Proc. of Workshop on Ubiquitous Networking Robotics: an Approach for Human-Robot Interaction In The IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2010. S. Lao and M. Kawade, "Vision-based face understanding technologies and their applications," Lecture Notes in Computer Science, 2005, Volume 3338/2005, pp. 339-348, 2005 田中 章浩, 小林 光,岸田 悟,長谷川 弘,渡辺 徹,"階層型ニューラルネットワークを用いた声紋による個人認証システムの構築," 電子情報通信学会技術研究報告(ニューロコンピューティング),No.107(542), pp.427-431, 2008. T. Kanda, M. Shiomi, Z. Miyashita, H. Ishiguro, and N. Hagita, "A communication robot in a shopping mall,"IEEE Transactions on Robotics,26(5),pp.897-913,2010. Etsushi Ikeda, Hiroshi Ishiguro, Dylan F. Glas, Masahiro Shiomi, Takahiro Miyashita, and Norihiro Hagita, "Person Identification by Integrating Wearable Sensors and Tracking Results from Environmental Sensors," IEEE International Conference on Robotics and Automation, May 3 - 8, 2010. 杉森 大輔,岩本 健嗣,松本 三千人,"3 軸加速度センサを用いた歩行者推定に関する研究," 電子情報通信学会研究会 2010-09-HPB.
しかしながら、画像処理や音声情報処理などを用いた既存の個人同定技術をそのまま小型ロボットに適用することは、以下に示す主に二つの理由から困難である。
一つ目の理由として、人々が小型ロボットに対して行う、身体的なインタラクションがあげられる。小型ロボットは、環境に固定されたカメラや大型のロボットと異なり、人が自由に持ち上げたり、抱き上げたりするといった、大人が子どもと遊ぶようなインタラクションが可能である[14]。その結果、ロボットと人との距離が極端に近い状況によって、カメラなどのセンサで対象となる人を検出できない状況や適切に音声が取得できない状況が発生する。このような状況では、個人を同定するための十分なセンサ情報を取得することが出来ない。
二つ目の理由として、小型ロボットはハードウェアや内部スペースの制約上、個人同定に必要とされる高性能な計算機やカメラを搭載することが出来ない点があげられる。商業施設などの比較的大規模な環境下に、カメラや無線タグリーダなどを設置して個人同定を行う手法も提案されているが、家庭内への環境センサ導入や個人へのタグ配布はプライバシーやコストの問題があり、その適用は難しい。
また、慣性センサはその利便性から、小型ロボットに限らず、様々なデバイスでの識別技術に利用されている。しかし、多くの場合、慣性センサを用いて識別の対象とされたものは環境や人々の行動であり、ロボットの対話相手を対象とした個人同定技術は実現されていなかった。
個人の同定に関しては、環境に設置されたセンサと、慣性センサから得られる情報を統合することで、個人を同定する技術も提案されている。上述した非特許文献7においては、環境中に設置された複数の距離センサから取得される位置情報履歴と、加速度センサの履歴情報を組み合わせることで、歩行者の中から個人を同定する技術を実現している。しかし、これらの研究は環境中に異なる情報を推定するセンサが存在することを前提としており、慣性センサのみを用いて個人を同定する技術を実現したものではなかった。
一方、たとえば、非特許文献8には、慣性センサのみを用いて個人を同定する技術として、携帯端末を利用した技術が開示されている。非特許文献8においては、携帯電話に搭載された加速度センサから得られる情報を用いて、決定木による歩行者の推定手法を提案している。ただし、従来の慣性センサによる個人同定は、人間の歩行行動やジェスチャから得られるセンサ情報に着目したものであり、人がロボットに対して行う身体的なインタラクションから得られる慣性センサ情報に着目したものではなかった。
身体的なインタラクションは必ずしも歩行行動を伴うものではなく、また、人がロボットを持ち上げたり、抱き上げたりするといった行動は歩行行動とは大きく異なる。そのため、これらの手法をそのまま人・ロボット間インタラクションに適用することは難しい。
この発明は、上記のような問題点を解決するためになされたものであって、その目的は、慣性センサからの情報に基づいて、この慣性センサの搭載された装置を保持ないし携帯する個人についての同定処理を実行することが可能な同定装置、同定方法および同定プログラムを提供することである。
この発明の他の目的は、慣性センサからの情報に基づいて、この慣性センサの搭載された装置を保持してインタラクションする個人を同定することが可能な同定装置、同定方法および同定プログラムを提供することである。
この発明の1つの局面に従うと、同定装置であって、慣性センサと、慣性センサでの測定結果を履歴情報として記憶し、所定の期間にわたる履歴情報を用いて、同定対象となる複数の候補のうちから分類の対象となり得る候補の組合せのそれぞれに対して生成された複数の分類器を特定するための情報を格納する記憶装置と、演算装置とを備え、演算装置は、複数の分類器のうち、同定対象となる複数の候補のすべてに対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、複数の候補のすべてのうちから、候補の絞り込みを実行し、複数の分類器のうち、絞り込まれた候補に対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、絞り込まれた候補のうちから、候補の絞り込みをさらに実行する処理を、分類後の候補が1つとなるまで繰り返すことにより、同定対象の特定を確定し、分類器を生成するための同定対象の特徴量は、慣性センサのサンプリングが所定のサンプリング時間の間隔で実行されるとき、サンプリング時間よりも長い第1の長さの期間中の慣性センサの複数の出力から算出され、分類器は、第2の長さの投票期間について、1サンプリング時間ごとにシフトした第1の長さの期間ごとの特徴量に対して、それぞれ分類処理を実行した複数の分類結果により、分類の割合を算出する
好ましくは、同定装置は、記憶装置に格納された測定装置を外部機器に出力し、複数の分類器を特定するための情報を外部機器から受信して記憶装置に予め記憶させる通信手段を有する。
好ましくは、特徴量は、第1の長さの期間中の慣性センサの出力の組の平均、分散および零点交差数の少なくとも1つを含む。
好ましくは、同定対象は人間であって、人間に同定装置を搭載する機器に対して、所定の身体的インタラクションをとることを促す情報を出力する手段を備え、分類器を特定するための情報は、所定の身体的インタラクションと対応付けられて格納されており、演算装置は、所定の身体的インタラクションについての分類器により、同定対象の特定を実行する。
この発明の他の局面に従うと、慣性センサと慣性センサでの測定結果を履歴情報として記憶するための記憶装置と演算装置とを備える同定装置による同定方法であって、演算装置が、所定の期間にわたる履歴情報を用いて、同定対象となる複数の候補のうちから分類の対象となり得る候補の組合せのそれぞれに対して、複数の分類器を生成して記憶装置に格納するステップを備え分類器を生成するための同定対象の特徴量は、慣性センサのサンプリングが所定のサンプリング時間の間隔で実行されるとき、サンプリング時間よりも長い第1の長さの期間中の慣性センサの複数の出力から算出され、演算装置が、複数の分類器のうち、同定対象となる複数の候補のすべてに対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、複数の候補のすべてのうちから、候補の絞り込みを実行するステップをさらに備え分類器は、第2の長さの投票期間について、1サンプリング時間ごとにシフトした第1の長さの期間ごとの特徴量に対して、それぞれ分類処理を実行した複数の分類結果により、分類の割合を算出し、演算装置が、複数の分類器のうち、絞り込まれた候補に対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、絞り込まれた候補のうちから、候補の絞り込みをさらに実行する処理を、分類後の候補が1つとなるまで繰り返すことにより、同定対象の特定を確定するステップをさらに備える。
この発明のさらに他の局面に従うと、慣性センサと慣性センサでの測定結果を履歴情報として記憶するための記憶装置と演算装置とを備える同定装置に、同定対象の同定処理を実行させるための同定プログラムであって、記憶装置は、所定の期間にわたる慣性センサの履歴情報を用いて、同定対象となる複数の候補のうちから分類の対象となり得る候補の組合せのそれぞれに対して生成された複数の分類器を特定するための情報を予め格納しており、分類器を生成するための同定対象の特徴量は、慣性センサのサンプリングが所定のサンプリング時間の間隔で実行されるとき、サンプリング時間よりも長い第1の長さの期間中の慣性センサの複数の出力から算出され、演算装置が、複数の分類器のうち、同定対象となる複数の候補のすべてに対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、複数の候補のすべてのうちから、候補の絞り込みを実行するステップであって、分類器は、第2の長さの投票期間について、1サンプリング時間ごとにシフトした第1の長さの期間ごとの特徴量に対して、それぞれ分類処理を実行した複数の分類結果により、分類の割合を算出するステップと、演算装置が、複数の分類器のうち、絞り込まれた候補に対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、絞り込まれた候補のうちから、候補の絞り込みをさらに実行する処理を、分類後の候補が1つとなるまで繰り返すことにより、同定対象の特定を確定するステップとを、同定装置に実行させる。

この発明によれば、小型の装置での搭載に好適な慣性センサを利用して、この慣性センサの搭載された装置を保持ないし携帯する個人についての同定処理を実行することが可能である。
または、この発明によれば、小型の装置での搭載に好適な慣性センサを利用して、この慣性センサの搭載された装置を保持してインタラクションする個人を同定することが可能である。
本実施の形態の小型コミュニケーションロボット10の外観を示す図である。 図1に示すロボット10の電気的構成の一例を示す図である。 外部コンピュータ装置2000のコンピュータシステムのブロック図である。 本実施の形態の分類器を生成する過程を示す概念図である。 決定木を用いた、インタラクション中の個人同定の処理を説明するための概念図である。 本実施の形態の分類器が使用する特徴量(属性)を説明するための図である。 時間シフトにより特徴量を算出するサンプルの組を説明するための概念図である。 決定木を生成して準備する処理を説明するためのフローチャートである。 図8のステップS102で示した特徴量の計算の処理のフローを示す図である。 図8のステップS104で示した分類器の生成の処理のフローを示す図である。 本実施の形態における個人同定処理を説明するためのフローチャートである。 ”投票”の具体的なプロセスを示す図である。 教示の際に利用した画像を示す図である。 データ収集を行った実験環境を示す図である。 取得したデータセットの概要を示す図である。 選択された分類器による第1回の投票結果を示す図である。 選択された分類器による第2回の投票結果を示す図である。 選択された分類器による第3回の投票結果を示す図である。 選択された分類器による第4回の投票結果を示す図である。 同定結果についての135分割交差検定の結果を示す図である。 各教示において、個人を同定するまでに必要となった平均計算時間を示す図である。
以下、本発明の実施の形態の対象の同定装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
以下に説明する通り、本実施の形態の同定装置では、人々が他者とインタラクションを行う際の身体動作に個人差が存在する点に着目する。本実施の形態の同定装置では、加速度、角速度センサなどの慣性センサを用いて身体的なインタラクションの特徴を計測することで、個人同定を行う。慣性センサ(加速度、角速度センサ)を用いることで、上述した身体的なインタラクションを行っている際のセンシングを可能にする。さらに、慣性センサからの計測データで同定を行うことで、たとえば、必要とされる制御系の演算性能を緩和することが可能となる。
本実施の形態の同定装置では、慣性センサの履歴情報から抽出された特徴を用いて作成した分類器を利用する。分類器によって段階的に対象を絞り込むことで、ロボットと身体的なインタラクションを行っている対象を同定する技術を実現する。
この明細書において、狭義の「インタラクション」とは、慣性センサが搭載された機器を人間が保持した状態を維持して、その機器の空間的な位置、または、その機器とその人間の双方の空間的な位置を移動させる動作をいい、「身体的なインタラクション」とも呼ぶ。たとえば、人間がその機器を保持したまま歩行したり、人間がその機器を持ち上げたりするような動作をいう。なお、広義の「インタラクション」には、人間から機器へ、または、機器から人間への音声、触感、温感など五感により知覚される働きかけを含んでいてもよい。
また、「小型ロボット」とは、上述した機器の1つであって、少なくとも成人が、持ち上げたり、抱き上げたりすることが可能な形状、寸法および重量を有するロボットのことをいうものとする。
また、「コミュニケーションロボット」とは、人間の日常生活の場のようなオープンな環境(特にロボットのためにつくられた環境ではない)で人間と協調して動作するロボットのことをいう。たとえば、日常生活の場で、人とコミュニケーションすることにより、情報提供、話し相手等のサービスを行うロボットのことをいう。
以下の説明では、同定装置として、慣性センサが搭載された小型ロボット、特に、小型コミュニケーションロボットを例として説明を行う。
(コミュニケーションロボット)
以下、本実施の形態の同定装置が搭載される小型コミュニケーションロボットの外観および構成の例を説明する。ただし、小型コミュニケーションロボットの構成は、以下の説明のような構成に限定されるものではない。
図1は、本実施の形態の小型コミュニケーションロボット10の外観を示す図である。図1(a)は、正面図を示し、図1(b)は、側面図を示す。
たとえば、小型コミュニケーションロボットとしては、図1に示すように、VisiON-4G(開発:株式会社国際電気通信基礎技術研究所、製造:ヴイストン株式会社)を用いることが可能である。図1に示すロボットは全高455mmであり、重量3.2kg、片脚に7自由度、片腕に3自由度、頭部に1自由度、合計21の自由度をもつ。
たとえば、被験者がロボットに対して身体的なインタラクションを行っている際の、慣性センサデータを取得するための慣性センサとしては、ロボットの胴体中央部に3軸加速度センサ(MMA7260Q、Freescale 社製)を1つ、1軸角速度センサ(ENC-03R、村田製作所製)を3つ設置する構成とすることが可能である。特に限定されないが、以下では、これらのセンサを用いて、X,Y,Z軸方向それぞれの加速度、角速度、合計6軸の慣性力を20(Hz)で記録するものとする。
また、望ましくは、標本化した慣性力の時系列データは、3サンプルの移動平均化処理を施すことにより平滑化を施し、サンプリング周波数を超える高周波数成分に起因するノイズを除去した上で、センサ履歴として利用することができる。
図2は、図1に示すロボット10の電気的構成の一例を示す図である。
図2を参照して、このロボット10は、全体の制御のためにマイクロコンピュータまたはCPU80を含み、このCPU80には、バス82を通して、メモリ84,モータ制御ボード86,センサ入力/出力ボード88およびサウンド入力/出力ボード90が接続される。
メモリ84は、図示しないが、ROMやRAM、不揮発性メモリ、たとえば、フラッシュメモリ等を含む。必要に応じて、メモリ84は、HDDを含んでいていてもよい。ROMや不揮発性メモリ等にはこのロボット10の制御プログラムが予め書き込まれている。制御プログラムはたとえばコミュニケーション行動を実行するためのプログラム、外部のコンピュータと通信するためのプログラム等を含む。メモリ84にはまた、コミュニケーション行動を実行するためのデータが記憶され、そのデータは、たとえば、個々の行動を実行する際に、スピーカ64から発生すべき音声または声の音声データ(音声合成データ)、および所定の身振りを提示するための各関節軸の角度制御データ等を含む。RAMは、一時記憶メモリおよびワーキングメモリとして利用される。
また、メモリ84には、後に説明するような分類器の機能を実現するためのプログラムおよびデータ(以下、「分類器データベース」と呼ぶ)が格納されている。
モータ制御ボード86は、たとえばDSP(Digital Signal Processor)で構成され、各腕や頭部などの各軸モータを制御する。すなわち、モータ制御ボード86は、CPU80からの制御データを受け、右脚の各関節の角度を制御するモータ(図2ではまとめて、「右脚モータ」として示す。)92の回転角度および左脚の各関節の角度を制御するモータ(図2ではまとめて、「左脚モータ」として示す。)94の回転角度を調節する。
また、モータ制御ボード86は、左腕の各関節の角度を制御するモータ(図2ではまとめて、「左腕モータ」として示す。)96の回転角度および右腕の各関節の角度を制御するモータ(図2ではまとめて、「右腕モータ」として示す。)96の回転角度を調節する。モータ制御ボード86は、また、頭部を変位させる首関節44の3モータ(図2ではまとめて、「頭部モータ」として示す。)100の回転角度を調節する。
センサ入力/出力ボード88も、同様に、DSPで構成され、各センサからの信号を取り込んでCPU80に与える。すなわち、特に限定されないが、たとえば、慣性センサ46および触覚センサ48が、このセンサ入力/出力ボード88に接続されている。ロボット10の構成としては、他の種類のセンサが設けられていてもよい。
サウンド入力/出力ボード90には、スピーカ64およびマイク66が接続される。スピーカ64にはサウンド入力/出力ボード90を介して、CPU80から、合成音声データが与えられ、それに応じて、スピーカ64からはそのデータに従った音声または声が出力される。また、マイク66からの音声入力が、サウンド入力/出力ボード90を介して、CPU80に取り込まれる。
なお、後に説明するように、スピーカ64からは、同定処理の途中において、所定のインタラクションをユーザに促すための音声が出力されてもよい。
また、CPU80には、バス82を介して無線通信インタフェース(以下、「無線通信I/F」)102が接続される。この無線通信I/F102によって、ロボット10は外部のコンピュータ等と無線通信を行うことができる。なお、無線通信I/F102以外にも、通信LANボードが設けられており、これを介して外部のコンピュータと通信する構成としてもよい。
(外部コンピュータ装置のハードウェアの構成)
図3は、外部コンピュータ装置2000のコンピュータシステムのブロック図である。
後に説明するように、外部コンピュータ装置2000は、分類器の生成処理を実行するものとする。
図3において、外部コンピュータ装置2000のコンピュータ本体2010は、メモリドライブ2020、ディスクドライブ2030に加えて、CPU2040と、ディスクドライブ2030及びメモリドライブ2020に接続されたバス2050と、ブートアッププログラム等のプログラムを記憶するためのROM2060とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM2070と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク(HDD)2080と、ネットワーク等を介して外部機器、たとえば、ロボット10等と無線または有線で通信するための通信インタフェース2090とを含む。
CPU2040が、プログラムに基づいて実行する演算処理により、機械学習による分類器の生成処理の機能が実現される。
外部コンピュータ装置2000に、上述した実施の形態の情報処理装置等の機能を実行させるプログラムは、CD−ROM2200、またはメモリ媒体2210に記憶されて、ディスクドライブ2030またはメモリドライブ2020に挿入され、さらにハードディスク2080に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ本体2010に送信され、ハードディスク2080に記憶されても良い。プログラムは実行の際にRAM2070にロードされる。
外部コンピュータ装置2000は、さらに、入力装置としてのキーボード2100およびマウス2110と、出力装置としてのディスプレイ2120とを備える。
上述したようなサーバーとして機能するためのプログラムは、コンピュータ本体2010に、情報処理装置等の機能を実行させるオペレーティングシステム(OS)は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。外部コンピュータ装置2000がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
(分類器の構成)
本実施の形態の同定装置では、人々が小型ロボットに対して行う、身体的なインタラクションの際の個人間の差異に着目する。同定装置は、慣性センサの時系列情報に基づいて段階的に候補を絞り込むことで、インタラクションを行っている間に「その相手が誰であるか」を同定する。例えば、人間がロボットを持ち上げたり抱き上げたりしている状況において、ある瞬間の振る舞いの個人間の差異は小さいかもしれない。しかし、長時間の振る舞いの変化に着目すれば、振る舞いの個人間の差異は大きくなることが期待される。そのような振る舞いの差異から得られる特徴を慣性センサの時系列データから観測することで、段階的に候補を絞込み、最終的に個人を同定する。
再帰的に同定候補の絞り込みを行うためには、識別の対象となるクラスの組み合わせを動的に変化させる必要がある。そこで本実施の形態では、あらかじめ全クラスの組み合わせを考慮した分類器を作成し、状況に応じて切り替えることとした。分類器には、特に限定されないが、決定木を採用し、その作成には、Quinlan が提案した自動決定木生成手法C4.5を用いることができる。分類器としては、他に、サポートベクトルマシンや単純ベイズ分類器などを用いることも可能である。なお、C4.5については、以下の文献に開示がある。
文献:J.R.Quinlan:”C4.5 Programs for Machine Learning”, Morgan Kaufman, 1993.
図4は、本実施の形態の分類器を生成する過程を示す概念図である。
図4に示すように、あらかじめ人々が小型ロボット10と身体的なインタラクションを行った際の慣性センサ46のデータセットから、外部コンピュータ装置2000が分類器を生成する演算処理を行う。分類器の作成を行う際には、外部コンピュータ装置2000は、慣性センサ46から抽出される特徴量(図4(A))を通信により取得し、全ての同定対象の可能な組み合わせを考慮した決定木の生成を行う(図4(B))。このようにして生成された決定木の構造を特定するデータは、分類器データベース((図4(C))の形にまとめられる。この決定木を用いて、インタラクション中の個人同定を行う。
ここで、「全ての同定対象の可能な組み合わせ」とは、複数の同定対象について、同定対象となる候補の要素を2つ以上含むすべての組合せのことを意味する。たとえば、同定対象となる個人が、A,B,Cの3人である場合には、(A,B,C)(A,B)(A,C)(B,C)という4つの組合せを意味する。
図5は、決定木を用いた、インタラクション中の個人同定の処理を説明するための概念図である。
個人同定は、人々がロボットと身体的なインタラクションを行っている際に取得される慣性センサデータから逐次的に特徴量を抽出し、決定木にかけることで行われる。この時、一定時間ごとに候補の絞り込みを行い、段階的に利用する決定木の動的な変更を行うことにより個人同定を実現する。
すなわち、まず、分類器は一定の時間間隔で分類結果を出力する処理を繰り返すものとする。そして、初期的には、同定対象がA,B,C,D(候補数が4)である場合、時刻t=Tにおいては、クラスA,B,C,Dに対する分類器による分類が開始される。そして、時刻t=Tからt=T+Nの期間に選択された割合が所定のしきい値を超える同定対象を特定し、時刻t=T+N以降は、この特定された同定対象、たとえば、A,B,C(候補数が3)についての分類器により時刻t=T+Nからt=T+2Nの期間分類を実行する。そして、時刻t=T+Nからt=T+2Nの期間に選択された割合が所定のしきい値を超える同定対象を特定し、時刻t=T+2N以降は、この特定された同定対象、たとえば、A,B(候補数が2)についての分類器により時刻t=T+2Nからt=T+3Nの期間分類を実行する。時刻t=T+2Nからt=T+3Nの期間の分類において、A,Bいずれかの候補のうちの一方についての選択割合が、最終的にクラス分けを決定するためのしきい値を超えたときに、同定対象が確定し、処理が終了する。
以上のように本実施の形態の同定装置では、候補数は、それ以前の期間と同数か減少するように、分類器が動的に更新される。
[分類器の生成および動作の詳細]
以下、分類器の生成および動作についてより詳しく説明する。
(慣性センサデータから抽出する特徴量)
図6は、本実施の形態の分類器が使用する特徴量(属性)を説明するための図である。
図6を参照して、取得されたセンサ情報s(t)から、一定時間分(サンプル時間Tsampのn倍:nは所定の自然数)の平均値、標準偏差値、および零点交差数の3つの特徴量が抽出される。以下では、便宜上、サンプル時間Tsamp=1とおいて説明する。
これは、人々がロボットの身体的なインタラクションを行う際の個人差を抽出するためには、時系列変化に基づく特徴量が有効であるためである。
時間平均値μ および標準偏差値σ は、以下の式(1)、(2)を用いて求める。ここで、n はセンサ履歴の長さである。s(t)は時刻t(t=t−n,t−(n−1),t−(n−2),…,t)におけるセンサ履歴の出力である。
零点交差数zは「ある期間のセンサ出力が時間平均値μを基準として負もしくは正側から他方に変化する数」として定義している。図6の場合、零点交差数はz=5である。この零点交差数は、一定時間内におけるセンサ出力の振動的な変動の程度を反映する。
図7は、時間シフトにより特徴量を算出するサンプルの組を説明するための概念図である。
本実施の形態では、段階的な個人同定を行うために、一定時間分のセンサ履歴ごとに計算された特徴量を用いて分類器の作成を行う。その際、人々が行う身体的なインタラクションは時間的に連続であることから、センサデータを時系列方向にシフトさせて特徴量の計算を行うこととする。
すなわち、計測したセンサ履歴全体の長さをN、特徴量を計算する範囲の長さをn(n<N)とする時、得られる特徴量のデータセットの総数はN−(n−1)となる。
図7中のf(T),f(T+1),f(T+2)はそれぞれ時刻t=T,t=T+1,t=T+2において計算された特徴量(μ、σ、z)のベクトルである。nは、先に述べた特徴量を計算するセンサ履歴の範囲の長さである。
同様にして、特徴量ベクトルを、センサ履歴全体の長さに到達するまで、それぞれ算出する。
(分類器の生成のための演算処理)
本実施の形態では、上述したとおり、個人を同定するための分類器として決定木を用いる。決定木の学習による生成にはデータとして説明変数と目的変数が対になったデータセットが必要となる。説明変数には、上述した特徴量のf={μ,σ,z}を、目的変数には特徴量を計測した個人を代表するクラス名(例えば、被験者A、B…等)をそれぞれ与える。
これらをデータごとに2分割し、一方を決定木の生成用、他方を訓練用のデータセットとして与えることで、たとえば、C4.5 のアルゴリズムにより決定木を得る。
なお、本実施の形態では段階的な同定候補の絞り込みを行い、そのつど利用する決定木を切り替える。そのため、全てのクラスの可能な組み合わせを考慮した決定木を、外部コンピュータ装置2000において、事前に生成しておく。
これは、本実施の形態の同定装置が、処理能力が限られる小型ロボット10において動作するための手法としては合理的といえる。
ただし、小型ロボット10の演算能力によっては、決定木の生成も含めて、小型ロボット10において処理しても構わない。
対象となる個人がX人の場合、生成する決定木の数kは次の式(3)で定義できる。
図8は、このようにして、決定木を生成して準備する処理を説明するためのフローチャートである。
図8では、このような処理を外部コンピュータ装置2000が実行するものとして説明する。
図8を参照して、決定木の準備の処理が開始されると、CPU2040は、慣性センサ46を内蔵した小型ロボット10とユーザとのインタラクションを慣性計測器を用いて時系列に記録し、その際のインタラクションと関連付けて、HDD2080内のデータベースに蓄える(S100)。
続いて、CPU2040は、データベースを解析し、ユーザ毎、身体的なインタラクションの種類毎に特徴量を計算する(S102)。
さらに、CPU2040は、計算した特徴量を用いて、身体的なインタラクションの種類毎、識別対象となるユーザの可能な組合せ毎に分類器を生成しデータベースに登録する(S104)。
図9は、図8のステップS102で示した特徴量の計算の処理のフローを示す図である。
図9を参照して、特徴量の計算の処理が開始されると、CPU2040は、各ユーザ(識別対象)ごとに、以下のS202〜S214の処理を繰り返すための処理ループを開始する(S200とS216)。
次に、CPU2040は、同一の種類のインタラクション(interaction)ごとに、各ユーザについて所定のインタラクション期間について、以下のステップS204〜S212の処理を繰り返すための処理ループを開始する(S202とS214)。
ここで、「インタラクション期間」とは、後に説明するように、分類器の準備時に、ユーザに教示される同一の種類のインタラクションについて、1区切りとして慣性センサのデータを取得した期間をいい、図7で説明した、長さNの期間に相当する。同一のユーザについて、複数のインタラクションの種類について、慣性センサのデータの取得をする場合は、この複数の種類のインタラクションについて、ステップS204〜S212の処理を繰り返す。
続いて、CPU2040は、t=0からインタラクション期間における最後のデータまで、ステップS206〜S210の処理を繰り返すための処理ループを開始する(S204とS212)。
この処理ループにおいて、CPU2040は、まず、時刻tからnステップ前までの3軸の加速度、角速度センサデータの履歴をデータベースから取得する(S206)。
続いて、CPU2040は、各軸のセンサ履歴の特徴量を計算する(S208)。なお、特徴量としては、上述した特徴ベクトル(μ、σ、z)の3つの要素の組でもよいし、この特徴量の要素うちのいずれか2つの組合せ、または、いずれか1つの要素でもよい。
さらに、CPU2040は、計算した特徴量を取得したユーザ名、取得時のインタラクションの種類とともにタグ付し、データセットとしてデータベースに保存する(S210)。
図10は、図8のステップS104で示した分類器の生成の処理のフローを示す図である。
図10を参照して、分類器の生成の処理が開始されると、CPU2040は、各ユーザグループ(識別対象の組合せ)ごとに、以下のS302〜S310の処理を繰り返すための処理ループを開始する(S300とS312)。ここで、「ユーザグループ」とは、上述したように、クラスの可能な組み合わせのすべてを意味する。
次に、CPU2040は、各ユーザのインタラクションの種類ごとに以下のステップS304〜S308の処理を繰り返すための処理ループを開始する(S302とS310)。
この処理ループにおいて、CPU2040は、まず、データベースから、対象とするユーザ候補、対象とするインタラクションに対応する特徴量のデータセットを取得する(S304)。
続いて、CPU2040は、取得したデータセットから分類器を生成する(S306)。なお、上述したとおり、分類器の生成アルゴリズムとしては、決定木に基づくC4.5の他、サポートベクトルマシンや単純ベイズ分類器などを用いることも可能である
さらに、CPU2040は、生成した分類器を対象としたユーザ候補、インタラクションの種類に対応づけてデータベースに保存する(S308)。
(分類器による個人同定)
以下では、図7〜図10で説明した手順により作成された決定木を用いて、慣性センサデータから個人同定を行う処理について記述する。
図11は、本実施の形態における個人同定処理を説明するためのフローチャートである。
図11を参照して、まず、小型ロボット10とユーザが身体的インタラクションを開始する。
ここで、特に限定されないが、たとえば、小型ロボット10が音声による教示で、ユーザに対して、所定の複数種類のインタラクションのうち、特定の種類のインタラクションを促すような処理をしてもよい。あるいは、他の方法で、たとえば、図示しない小型ロボット10のディスプレイなどによる視覚情報で、ユーザに対して、特定の種類のインタラクションを促してもよい。
あるいは、別途にインタラクションの種類を識別するための分類器を生成しておき、特に、小型ロボット10からユーザに対して、何らかのアクションを促すことがない場合でも、小型ロボット10の側で、現在のインタラクションの種類が、所定の複数種類のインタラクションのうち、いずれの種類のインタラクションであるかを判別する構成としてもよい。
身体的インタラクションの開始と同時に、CPU80は、小型ロボット10に内蔵された慣性センサ46により、ユーザとのインタラクションを3軸の加速度、角速度の時系列データとして測定しメモリ84に記録する(S400)。ここで、センサデータを記録する長さは、分類器の生成に用いた特徴量のセンサ履歴の長さnと一致させる。このn個のセンサ出力の履歴から1セット分の特徴量 f={μ、σ、z}を求める。続いて、CPU80は、この特徴量fを用いてすべての候補者に対する個人同定の処理を開始する(S402)。つまり、初期的に、個人同定の対象としてすべての候補者を対象として処理を開始する。
そして、CPU80は、現在のインタラクションおよび現在の候補者を対象とした分類器を選択し、個人同定処理を開始する(S410)。
続いて、CPU80は、時刻t=0から、投票時間(vote_time)までの期間について、以下のS414〜S420までの手順にしたがって、センサ履歴から得られた特徴量ベクトルを分類器に入力し、出力として識別した候補者のクラス番号を得て集計する処理を繰り返す(S412とS422)。
ここで、“投票時間(vote_time)”とは、識別結果の集計を行う期間の長さを表す。
そして、この処理ループでは“投票(vote)”という方策をとる。 “投票(vote)”とは特徴量fを時系列に決定木へ逐次入力し、ある一定の期間(vote_time)、その識別結果を集計することをさす。
図12は、このような”投票”の具体的なプロセスを示す図である。
以下、適宜、図11に加えて、図12も参照して説明する。
図11のステップS414では、CPU80は、現在処理時刻から n ステップ前までのセンサデータの履歴を取得する。
たとえば、図12中のグラフ(a)が慣性センサから得られたデータ長Nのデータセットを示す。そして、第1投票時間についてみてみると、図12中のグラフ(b)が上記データセットのt=0〜{(n×Tsamp)+vote_time}を拡大したものである。ここでnは特徴量を計算するセンサ履歴長、Tsamp はサンプリング時間を示す。
図12(a)に示すデータセットを用い個人同定を行う場合、まずロボット10のCPU80はt=0 から(n×Tsamp)秒間、nサンプル分のセンサ履歴を蓄積する(図12中(c)の斜線部)。
続いて、ステップS416では、CPU80は、t=(n×Tsamp)となった時点で取得されたセンサ履歴から特徴量f(1) を計算し、1回目の”投票”を行う。すなわち、CPU80は、現在の候補者に対する分類器に取得した特徴量を与え、現在時刻における分類結果を得る(S418)。この処理を1サンプルずつずらしながらt={(n×Tsamp)+vote_time}までの(vote_time/Tsamp)回繰返し、識別結果を集計し、識別の確からしさを評価する(S420)。
たとえば、CPU80は、半数の”投票” を終えた(vote_time/(2×Tsamp)) 回目のセンサ処理(t=(n×Tsamp)+vote_time/2)の時点では、グラフ(d)に示すように[(n×Tsamp)+vote_time/2]秒間、[n+(vote_time/(2×Tsamp))]サンプル分のセンサ履歴が蓄積されており、投票に用いる特徴量f(vote_time/2)はt=[(vote_time/(2×Tsamp))−n]×Tsampから(n×Tsamp)秒間、nサンプル分のセンサ履歴(グラフ(d)) の斜線部から計算される。
なお、N/(vote_time/Tsamp)の商がデータ長Nのデータセットでの最大の“投票回数”となる。
このような”投票”の終了後、CPU80は、集計により評価された識別結果から、その識別率がしきい値よりも高いユーザを新たな候補として選別することで、候補者の絞り込みを行う(S424)。絞り込みは、投票中に選択された割合が所定のしきい値α を超える候補が残るように行う。なお、候補者全員がしきい値を超えていた場合には、候補者数は維持されたまま次の投票処理を行う。投票により絞りこまれた候補を新たな候補とし、図7〜図10で説明した手順で生成した分類器から、現在のインタラクションに対応し、かつ対応する候補の組についての分類器を改めて選定する。その後、同様の処理を候補が一人になるまで繰り返し、最終的に候補者が残り1名になった時点で処理を終了する(S430)。
なお、図11で説明した処理では、候補者の絞り込みの処理の途中で、一旦絞り込まれた候補者数について、識別の確からしさに基づいて、再び候補者数を増やし、これに対応する分類器を選択することはしていない。
もちろん、処理の途中で、識別の確からしさに基づいて、再び候補者数を増やすこと自体は可能である。
ただし、図11のような処理とした場合、絞り込む段階で一定時間の投票処理を通じて、あらかじめ各候補者の確からしさを検証しており、あらかじめ対象である可能性が十分に少ない候補者を除外して個人同定を行うので、多くの場合は、図11に示した処理で、十分な同定の精度を得ることが可能である。さらに、途中で候補者数を増やすことを考慮した場合、個人同定の結果の収束が、かえって劣化する可能性も存在するため、むしろ、図11に示すように、候補者数を段階的に単調に減らす方向での処理を行うことが望ましい。
[データ収集の結果]
以下、本実施の形態の同定装置の性能を検証するために、人々がロボットと身体的なインタラクションを行う際の、慣性センサデータの収集を行った結果について説明する。
(被験者)
被験者は、ウェブ募集によって集められた、本実験で用いたロボットとインタラクションを行った経験を持たない15名の一般の人々(男性7名、女性8名。平均年齢:20.8、標準偏差1.7)であった。
(身体的なインタラクションの設計)
データ収集では、実際に人々が小型ロボットに対して行う身体的なインタラクションを複数種類想定して、データ収集を行った。
ここで、人々は小型ロボット10と身体的なインタラクションを行う際に、子どもやペットと遊ぶような状況を想定していることが予想できる。
そこで、データ収集では、ロボットを抱いて子供やペットをあやすような行動、ロボットを高く持ち上げる行動、およびそれらの行動と同時に歩行する行動を、データ収集の対象とした。
(被験者への身体的なインタラクションの教示)
データ収集時には、被験者に行ってもらうロボットとの身体的なインタラクションを、モニタ上に画像を表示することで教示を行った。
教示される図の内容は、51.2秒ごとに変化するように設計し。教示が変化する際には、ロボットからビープ音を出力することで音声による被験者への通知も行った。
被験者が行う身体的なインタラクションは、以下に説明するような、5種類とした。
図13は、教示の際に利用した画像を示す図である。
データ収集前に、あらかじめこれらの画像を被験者に提示し、これらの画像が提示された場合には以下のように身体的なインタラクションを行うように説明した。
(a):机(A)の付近で、ロボットを横に抱いて、子供をあやすように振る舞う
(b):環境内の中央付近を、ロボットを横に抱きながら、歩きまわる
(c):机(B)の付近で、ロボットを高い位置に持ち上げたり、低い位置に降ろしたりする
(d):机(B)の付近で、ロボットを縦に抱いて、子供をあやすように振る舞う
(e):環境内の中央付近を、ロボットを縦に抱きながら、歩きまわる
各教示内容をモニタに表示する回数はそれぞれ9回であり、被験者は合計で5種類×9 回、45回分の身体的なインタラクションをロボット10と行った。
教示内容は、各インタラクションが連続して提示されないようにする順番で行った。被験者は教示されたインタラクションを、次の教示が行われるまで繰り返しロボットに対して行う。この時、被験者の立ち位置に関しては大まかな教示(机の付近、部屋の中央など)がなされるのみで、厳密なホームポジションや立ち位置に関する指定は行っていない。したがって、次の教示が行われるまで、被験者は教示されたインタラクションを自由なタイミングで、何度でも、ロボットに対して行うことが可能であった。例えば、インタラクション(c)の場合では、どの位置でその行動を行うのか、ロボットをどの高さまで持ち上げるのか、どの低さまで降ろすのか、何回繰返すのか、といった判断は全て被験者によって決定された。
(データ収集手順)
図14は、データ収集を行った実験環境を示す図である。
図14(a)に示すように、環境内には、二つの机と、被験者に実験内容を教示するためのモニタが設置された。 図14(b)に、インタラクション(d)の教示を行った際の、被験者の様子を示す。図中右手の机が(A)、左手の机が(B)、そして中央のモニタに教示内容が表示されている。
図15は、取得したデータセットの概要を示す図である。
データ収集において取得した各インタラクションに対するデータ長は51.2 秒であるが、直前に行われていた別の身体的なインタラクションの影響を排除するために、最初の6.4 秒分のデータは取り除いて利用した。したがって、決定木をあらかじめ生成するために用いる「訓練用データセット」や、後述する性能の検証において用いた「テスト用データセット」のデータ長(インタラクション期間)は、最終的に44.8 秒となる。
(同定装置の性能の検証)
データ収集において蓄積された15人の被験者の、各教示に対するデータセットを用いて、提案手法による個人同定の性能検証を行う。5種類の身体的なインタラクションを行っている際の性能検証を行うために、各インタラクションにおいて収集された135のデータセット(1人当たり9回の試行×15人)に対する135分割交差検定を行う。
分割交差検定を行う際には、あらかじめ134の訓練用データセットから、以上説明したような手続きに基づいて決定木を作成する。
そして、実際にロボットが身体的なインタラクションを行っている状況を再現し、識別性能を検証するために、時系列情報に従って再生された「テスト用データセット」の値を用いる。つまり、リアルタイムに慣性センサデータが決定木に与えられる状況を疑似的に再現し、性能評価を行う。
テスト用データセットは、教示された1つのインタラクションを行っている際の44.8 秒間のデータとなっており、途中でインタラクションの種類が変化することはない。
同定処理におけるパラメータは、次のように設定した。まず、特徴量を抽出する際のセンサ履歴長は、n=64ステップ=3.2 秒、投票期間の長さはvote_time =128ステップ=6.4秒とした。センサ履歴長は各インタラクションにおいて典型的に見られた動作(ロボットを持ち上げたり降ろしたりする行動、あやす際にロボットを揺らす行動、歩行など)よりも十分に長い値となるように設定した。また、投票期間の長さに関してはそれらの動作がその期間中に十分な回数発生するような値となるように設定した。
次に、候補選定の際のしきい値はα=1/(投票前に残っていた候補者数×4)とした。これは、残った候補者数に反比例して、しきい値を変化させることで、動的なしきい値変化処理を実現するためである。もちろん、しきい値の設定は、これに限定されるものではなく、たとえば、上述した式の係数4は、他の値でもよい。あるいは、動的にしきい値を変化させることはできないが、定数とすることも可能である。
(同定装置による個人同定)
本実施の形態の同定装置を用いて個人同定を行った際の、処理の流れの一例を以下に示す。
なお、ここでは被験者B がインタラクション(a)を行った場合に、28.8 秒間(4回の6.4 秒間の投票)の処理を経て識別が終了した例を用いた。
まずロボットは、全ての候補者を対象とした決定木による分類器を選択する。
次に6.4秒間、0.05 秒周期で計128回、3.2 秒間のセンサ履歴から得た特徴量f を、選択した分類器に逐次入力し、候補者に対し投票を行う。そして、投票数に応じて候補者の絞込みを行う。
図16は、選択された分類器による第1回の投票結果を示す図である。
なお、図16においては、投票数が0の被験者に関してはスペースの都合上、記載を省略している。
この時点でのしきい値α は1.67%(α = 1 / (15×4) )であり、しきい値αを超える割合で投票を得た被験者B,G,Kの3人が新たな候補として選択される(図16の灰色部を参照)。
図17は、選択された分類器による第2回の投票結果を示す図である。
2度目の絞り込みは、候補として残った被験者B,G,K、3 人を対象とした分類器を選択し、初回と同様に6.4 秒間、3.2 秒間分のセンサ履歴から得た特徴量f と選択した分類器を用いて128回の投票を行う。
図17において、しきい値α は8。33%(α = 1/(3×4))となり、これを超える候補B,Kの2人が新たに候補となる(図17の灰色部参照)。
図18は、選択された分類器による第3回の投票結果を示す図である。
3度目の絞込みも、候補として残った被験者B,Kの2人を対象として同様の処理を繰返す。図18において、しきい値α は12.50%(α=1/(2×4))となるが、B,K 両候補ともにαを上回る票を得ており、引き続き候補として選択される。
図19は、選択された分類器による第4回の投票結果を示す図である。
4度目の絞込みを、再度被験者B,Kを候補として行う。投票の結果、候補者Bのみがαを超える票数を獲得していたため(図19の灰色部、参照)、ロボットは候補者が被験者Bであると識別し、処理を終了する。
以上のようにして、ロボット10は、インタラクションの相手が、被験者Bであると特定された時点で、被験者Bについて記憶されている情報に基づいて、たとえば、話欠ける内容を変更するなどのコミュニケーションを実行する。
(個人同定の成功率)
図20は、同定結果についての135分割交差検定の結果を示す図である。図20においては、各教示において取得されたデータセットに対して行った、135分割交差検定の結果を示す。本実施の形態の同定装置を用いることで、5種類の教示に対する平均正答率は86.8%となった。個別の教示に対する平均正答率も、全てが78.5%以上の割合となった。これらの結果から、本実施の形態で提案した手法を用いることで、慣性センサを用いることで、8割程度の精度での個人同定技術が実現できたことが示される。
(個人同定に必要な計算時間)
図21は、各教示において、個人を同定するまでに必要となった平均計算時間を示す図である。本実施の形態の同定装置を用いることで、5種類の教示に対する平均計算時間は30.5 秒となった。個別の教示に対する平均計算時間は、最も遅い場合では約40 秒、最も早い場合では約25 秒を必要とした。これらの結果から、本実施の形態で提案した手法を用いることで、平均30秒程度で個人を同定できることが示された。
本実施の形態の同定装置によれば、利用が容易な慣性センサを用いた個人同定が実現される。特に、このような慣性センサを用いる個人の同定装置は、家庭内での利用が期待される小型ロボットに搭載するのに好適である。
なお、以上の説明では、本実施の形態の同定装置を、個人を同定するために使用した例について説明したが、たとえば、特定の個人について、その個人がある時間にいずれの行動を行っているか、というような行動判定に、使用することも可能である。
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
10 ロボット、46 慣性センサ、48 触覚センサ、64 スピーカ、66 マイク、80 CPU、82 バス、84 メモリ,86 モータ制御ボード、88 センサ入力/出力ボード、90 サウンド入力/出力ボード、92 右脚モータ、94 左脚モータ、96 右腕モータ、98 左腕モータ、100 頭部モータ、102 無線通信I/F、2000 外部コンピュータ装置、2010 コンピュータ本体、 2020 メモリドライブ、2030 ディスクドライブ2030、2040 CPU、2050 バス、2060 ROM、2070 RAM、2080 ハードディスク、2090 通信インタフェース。

Claims (6)

  1. 慣性センサと、
    前記慣性センサでの測定結果を履歴情報として記憶し、所定の期間にわたる前記履歴情報を用いて、同定対象となる複数の候補のうちから分類の対象となり得る前記候補の組合せのそれぞれに対して生成された複数の分類器を特定するための情報を格納する記憶装置と、
    演算装置とを備え、
    前記演算装置は、
    前記複数の分類器のうち、前記同定対象となる複数の候補のすべてに対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、前記複数の候補のすべてのうちから、候補の絞り込みを実行し、
    前記複数の分類器のうち、前記絞り込まれた候補に対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、前記絞り込まれた候補のうちから、候補の絞り込みをさらに実行する処理を、分類後の候補が1つとなるまで繰り返すことにより、同定対象の特定を確定し、
    前記分類器を生成するための前記同定対象の特徴量は、前記慣性センサのサンプリングが所定のサンプリング時間の間隔で実行されるとき、前記サンプリング時間よりも長い第1の長さの期間中の前記慣性センサの複数の出力から算出され、
    前記分類器は、第2の長さの投票期間について、1サンプリング時間ごとにシフトした前記第1の長さの期間ごとの前記特徴量に対して、それぞれ前記分類処理を実行した複数の分類結果により、前記分類の割合を算出する、同定装置。
  2. 前記同定装置は、前記記憶装置に格納された前記測定結果を外部機器に出力し、前記複数の分類器を特定するための情報を前記外部機器から受信して前記記憶装置に予め記憶させる通信手段を有する、請求項1記載の同定装置。
  3. 前記特徴量は、前記第1の長さの期間中の前記慣性センサの出力の組の平均、分散および零点交差数の少なくとも1つを含む、請求項1または2に記載の同定装置。
  4. 前記同定対象は人間であって、
    前記人間に前記同定装置を搭載する機器に対して、所定の身体的インタラクションをとることを促す情報を出力する手段を備え、
    前記分類器を特定するための情報は、前記所定の身体的インタラクションと対応付けられて格納されており、
    前記演算装置は、前記所定の身体的インタラクションについての分類器により、前記同定対象の特定を実行する、請求項1〜のいずれか1項に記載の同定装置。
  5. 慣性センサと前記慣性センサでの測定結果を履歴情報として記憶するための記憶装置と演算装置とを備える同定装置による同定方法であって、
    前記演算装置が、所定の期間にわたる前記履歴情報を用いて、同定対象となる複数の候補のうちから分類の対象となり得る前記候補の組合せのそれぞれに対して、複数の分類器を生成して前記記憶装置に格納するステップを備え前記分類器を生成するための前記同定対象の特徴量は、前記慣性センサのサンプリングが所定のサンプリング時間の間隔で実行されるとき、前記サンプリング時間よりも長い第1の長さの期間中の前記慣性センサの複数の出力から算出され、
    前記演算装置が、前記複数の分類器のうち、前記同定対象となる複数の候補のすべてに対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、前記複数の候補のすべてのうちから、候補の絞り込みを実行するステップをさらに備え前記分類器は、第2の長さの投票期間について、1サンプリング時間ごとにシフトした前記第1の長さの期間ごとの前記特徴量に対して、それぞれ前記分類処理を実行した複数の分類結果により、前記分類の割合を算出し、
    前記演算装置が、前記複数の分類器のうち、前記絞り込まれた候補に対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、前記絞り込まれた候補のうちから、候補の絞り込みをさらに実行する処理を、分類後の候補が1つとなるまで繰り返すことにより、同定対象の特定を確定するステップをさらに備える、同定方法。
  6. 慣性センサと前記慣性センサでの測定結果を履歴情報として記憶するための記憶装置と演算装置とを備える同定装置に、同定対象の同定処理を実行させるための同定プログラムであって、
    前記記憶装置は、所定の期間にわたる前記慣性センサの履歴情報を用いて、同定対象となる複数の候補のうちから分類の対象となり得る前記候補の組合せのそれぞれに対して生成された複数の分類器を特定するための情報を予め格納しており、前記分類器を生成するための前記同定対象の特徴量は、前記慣性センサのサンプリングが所定のサンプリング時間の間隔で実行されるとき、前記サンプリング時間よりも長い第1の長さの期間中の前記慣性センサの複数の出力から算出され、
    前記演算装置が、前記複数の分類器のうち、前記同定対象となる複数の候補のすべてに対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、前記複数の候補のすべてのうちから、候補の絞り込みを実行するステップであって、前記分類器は、第2の長さの投票期間について、1サンプリング時間ごとにシフトした前記第1の長さの期間ごとの前記特徴量に対して、それぞれ前記分類処理を実行した複数の分類結果により、前記分類の割合を算出するステップと、
    前記演算装置が、前記複数の分類器のうち、前記絞り込まれた候補に対応する分類器により、所定の時間において、複数回、分類処理をした結果の分類の割合に基づき、前記絞り込まれた候補のうちから、候補の絞り込みをさらに実行する処理を、分類後の候補が1つとなるまで繰り返すことにより、同定対象の特定を確定するステップとを、前記同定装置に実行させる、同定プログラム。
JP2011284716A 2011-12-27 2011-12-27 同定装置、同定方法および同定プログラム Active JP5858228B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011284716A JP5858228B2 (ja) 2011-12-27 2011-12-27 同定装置、同定方法および同定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011284716A JP5858228B2 (ja) 2011-12-27 2011-12-27 同定装置、同定方法および同定プログラム

Publications (2)

Publication Number Publication Date
JP2013132719A JP2013132719A (ja) 2013-07-08
JP5858228B2 true JP5858228B2 (ja) 2016-02-10

Family

ID=48909787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011284716A Active JP5858228B2 (ja) 2011-12-27 2011-12-27 同定装置、同定方法および同定プログラム

Country Status (1)

Country Link
JP (1) JP5858228B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3694442A1 (en) * 2017-10-13 2020-08-19 Koninklijke Philips N.V. Methods and systems to characterize the user of a personal care device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677585B2 (ja) * 2005-03-31 2011-04-27 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
JP2007116318A (ja) * 2005-10-19 2007-05-10 Nec Corp 携帯端末、認証装置、個人認証方法、プログラム
US8031175B2 (en) * 2008-04-21 2011-10-04 Panasonic Corporation Touch sensitive remote control system that detects hand size characteristics of user and adapts mapping to screen display
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
JP2011035855A (ja) * 2009-08-06 2011-02-17 Panasonic Corp 端末認証方法および装置
JP2011198170A (ja) * 2010-03-23 2011-10-06 Oki Software Co Ltd ユーザ同定システム、ユーザ同定サーバ、携帯機器、ユーザ同定プログラム及び携帯機器のプログラム

Also Published As

Publication number Publication date
JP2013132719A (ja) 2013-07-08

Similar Documents

Publication Publication Date Title
Zhang et al. Artificial intelligence‐enabled sensing technologies in the 5G/internet of things era: from virtual reality/augmented reality to the digital twin
Serpush et al. Wearable sensor-based human activity recognition in the smart healthcare system
JP6328954B2 (ja) 自動ハプティック効果調整システム
Minnen et al. Recognizing and discovering human actions from on-body sensor data
Ortiz Smartphone-based human activity recognition
Wheatland et al. State of the art in hand and finger modeling and animation
Ding et al. Service robot system with integration of wearable Myo armband for specialized hand gesture human–computer interfaces for people with disabilities with mobility problems
Azmi et al. Accelerator-based human activity recognition using voting technique with NBTree and MLP classifiers
CN113317763A (zh) 基于多模态的帕金森病检测装置及计算机可读存储介质
Cai et al. GBDT‐Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction
Calado et al. A geometric model-based approach to hand gesture recognition
Martínez-Villaseñor et al. A concise review on sensor signal acquisition and transformation applied to human activity recognition and human–robot interaction
Pogorelc et al. Detecting gait-related health problems of the elderly using multidimensional dynamic time warping approach with semantic attributes
Xu et al. Intelligent wearable interfaces
JP6886651B2 (ja) 行動コマンド生成システム、応答システムおよび行動コマンド生成方法
Sivakumar et al. Virtual vision architecture for VIP in ubiquitous computing
Liu et al. A fully connected deep learning approach to upper limb gesture recognition in a secure FES rehabilitation environment
Mezari et al. An easily customized gesture recognizer for assisted living using commodity mobile devices
JP5910249B2 (ja) インタラクション装置およびインタラクション制御プログラム
Lau Towards a user-centric context aware system: empowering users through activity recognition using a smartphone as an unobtrusive device
JP5858228B2 (ja) 同定装置、同定方法および同定プログラム
Swee et al. Malay sign language gesture recognition system
Gao et al. A physical and verbal bullying detecting algorithm based on K-NN for school bullying prevention
Ktistakis et al. A multimodal human-machine interaction scheme for an intelligent robotic nurse
Avadut et al. A Deep Learning based IoT Framework for Assistive Healthcare using Gesture Based Interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151201

R150 Certificate of patent or registration of utility model

Ref document number: 5858228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250