JP4766101B2 - 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム - Google Patents

触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム Download PDF

Info

Publication number
JP4766101B2
JP4766101B2 JP2008287793A JP2008287793A JP4766101B2 JP 4766101 B2 JP4766101 B2 JP 4766101B2 JP 2008287793 A JP2008287793 A JP 2008287793A JP 2008287793 A JP2008287793 A JP 2008287793A JP 4766101 B2 JP4766101 B2 JP 4766101B2
Authority
JP
Japan
Prior art keywords
tactile
contact point
behavior
contact
point group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008287793A
Other languages
English (en)
Other versions
JP2010112927A (ja
Inventor
寛和 白土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008287793A priority Critical patent/JP4766101B2/ja
Priority to US12/614,756 priority patent/US20100117978A1/en
Priority to CN2009102117061A priority patent/CN101739172B/zh
Publication of JP2010112927A publication Critical patent/JP2010112927A/ja
Application granted granted Critical
Publication of JP4766101B2 publication Critical patent/JP4766101B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04144—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position using an array of force sensing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Description

本発明は、センサーを用いて検出した複数の接触点から人間の触行動を実時間で且つ高精度に認識する触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムに係り、例えば、人間がロボットなどの機械に対して行なった触行動の意図を認識して、機械の簡易操作を実現するインターフェース若しくは非言語的なコミュニケーション手段として有効となる触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムに関する。
さらに詳しくは、本発明は、機器が外環境と１以上の箇所で接触した際に特定の触行動を認識する触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムに係り、特に、外環境と常に接触する可能性がある機器において注目すべき接触の塊りを選別して特定の触行動を認識する触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムに関する。
近年、多くの機械に対して、その機能の複雑化に伴い、直感的な指示による簡易な操作が求められている。なかでも接触を伴う機器の操作において、人間が行なう接触パターンから直接的に機能を選択するといった、触行動の認識を利用した方法は、機械の簡易操作を実現できるインターフェースとして有効であると本発明者らは思料する。
このような触行動に基づく機器操作は、例えば日常生活で活躍するロボットとの接触を介したコミュニケーション、言い換えれば非言語的にコミュニケーションにも利用することができ、ロボットとの柔軟且つ親密な関係を築く上で欠くことができない。
しかしながら、触行動認識に基づいて機器を直接的且つ簡易に操作するには、機器がセンサーを用いて検出した複数の接触点から人間の触行動を実時間で且つ高精度に認識する必要がある。
また、触行動認識に基づく機器操作をロボットとの非言語的なコミュニケーション手段に用いる場合には、ロボットは外環境と常に接触する可能性がある（言い換えれば、すべての接触点が同じ触行動に基づくものとは限らない）。このため、本発明者は、複数の接触点の中から注目すべき接触点の塊り（クラスター）を選別し、それを識別することが重要となってくると思料する。
例えば、ロボットが椅子に座った状態でトントンと軽く肩を叩かれた場合について考察してみる。椅子との接触を無視し、肩を叩かれている接触にのみの接触情報を抽出し、その接触情報から「軽く叩かれている」と識別しなければ、ロボットは人間と円滑なインタラクションを行なう上で正常な行動を取ることができない。
従来、複雑な人間の触覚パターンを実時間で認識できる触行動認識システムは少ない。例えば、導電性ファブリックを用いて，ロボット全身を覆うことができる触覚センサーについて提案がなされている（例えば、非特許文献１を参照のこと）。しかしながら、この触覚センサーの各素子は、｛触れている，触れていない｝の２値しか出力しないため、接触面のパターンでしか人間の触り方を判断できず、詳細な触行動認識は不可能である。また、全身で１つの触覚データを処理しているため、複数の外的要因による多種の接触を同時に区別することはできない。
また、半導体圧力センサーを感圧素子として用いた面状触覚センサーからの９つの特徴量を、線形判別分析により、「叩く」、「抓る」、「撫でる」、「押す」の４つの触行動を高い識別率で識別する触行動識別方法について提案がなされている（例えば、非特許文献２を参照のこと）。しかしながら、同方法は、触行動が終了した後でないと認識できないため実時間性がない点や全身への適用を考慮した複数箇所での触行動を考慮されていない点や、線形の分析方法を用いていることから単純な触行動パターンしか識別対象にできない点など、機器全体での操作やインタラクションを行なうことを考えると実用性に欠ける。
また、高精度且つ実時間で処理するための触行動識別装置について提案がなされている（例えば、特許文献１を参照のこと）。この触行動識別装置は、あらかじめ５つの特徴量から学習させておいたデータから、ｋ−ＮＮ法及びＦｉｓｈｅｒの線形識別手法を用いて５つの触行動を識別するように構成されている。ここで言う５つの触行動とは、「軽く叩く」、「引っ掻く」、「撫でる」、「擽る」である。同方法によれば、学習により高い精度の識別を行なうことができるものの、特徴量から各カテゴリへの分類を行なっている「押しながらなでる」など、連続的且つ重層的になる一般的な人間の触行動を識別することはできない。また、特徴量としてピーク値を検出する必要があり、触行動が一通り終わらないと特徴量を抽出できない点や接触面全体の総和を用いているため複数個所での触行動を個別に判別することができない点も、機器全体に対して行なわれる実際の複雑な触行動パターンを識別することを難しくしている。
また、全身の触覚イメージを認識する入力システムを備えたコミュニケーション・ロボットについて提案がなされている（例えば、特許文献２を参照のこと）。この入力システムは、得られたセンサ・データより非階層式のクラスタリングを行ない、各クラスターの重心位置での圧力遷移変化から階層的クラスタリングを行なうことにより、どこでどのように触られたかを識別することができる。最近近傍法による対応付けによって触行動の認識が一意に決まることから、上記の触行動識別装置と同様に、連続的且つ重層的な複雑な触行動パターンに対応することができない。また、触行動の位置と質を混同して学習データを作成するため、どこで何をしているかという指標が限定される点や、複数の触行動が同時に行なわれる際にどの触行動を選別するかということが考慮されていない点などの問題も残されている。
また、触行動認識を効率よく処理する入力システムを備えたコミュニケーション・ロボットについて提案がなされている（例えば、特許文献３を参照のこと）。この入力システムは、得られた触覚情報をセンサー部毎にウェーブレット変換を用いた認識処理及び圧縮処理を行なうことにより、ロボットの全身に分布された触覚センサーの処理負荷を分散せることを可能にしている。しかしながら、触行動認識にウェーブレット変換を用いるためには、一定時間間隔（実施例では１秒から３秒ほど）にデータを蓄積して処理する必要があり、実時間性を考慮できているとは言えない。また、各センサー部位をまたがった触行動や複数の触行動が同時に行なわれた際にどの程度触行動を選別するかという点も考慮されていない。
特開２００１−５９７７９号公報 特開２００６−１２３１４０号公報 特開２００６−２８１３４７号公報 稲葉雅幸、星野由紀子、井上博允共著「導電性ファブリックを用いた全身被覆触覚センサスーツ」（日本ロボット学会誌、Ｖｏｌ．１６、Ｎｏ．１、ｐｐ．８０−８６、１９９８） 平湯秀和、向井利春共著「触覚センサを用いた触行動の識別に関する研究」（岐阜県生産情報研究所研究報告、第８号、２００７）
本発明の目的は、センサーを用いて検出した複数の接触点から人間の触行動を実時間で且つ高精度に認識することができる、優れた触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムを提供することにある。
本発明のさらなる目的は、人間がロボットなどの機械に対して行なった触行動の意図を認識して、機械の簡易操作を実現するインターフェース若しくは非言語的なコミュニケーション手段として有効な、優れた触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムを提供することにある。
本発明のさらなる目的は、機器が外環境と１以上の箇所で接触した際に特定の触行動を認識することができる、優れた触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムを提供することにある。
本発明のさらなる目的は、外環境と常に接触する可能性がある機器において注目すべき接触の塊りを選別して特定の触行動を認識することができる、優れた触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムを提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
複数の接触点における圧力情報及び位置情報を取得する接触点取得部と、
前記接触点取得部で取得された各接触点の圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング部と、
接触点群毎の触行動を識別する触行動識別部と、
を具備することを特徴とする触行動認識装置である。
ここで、前記触行動識別部は、本願の請求項２に記載されているように、各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出部と（但し、Ｎは３以上の整数）、各接触点群から算出されたＮ次元の特徴量を、触行動クラス毎のｎ次元空間にそれぞれマッピングし、マップ位置に基づいて当該触行動認識の有無を判定するマッピング部と（但し、ｎはＮより小さい正の整数）、前記ｎ次元空間へのマップ位置に基づいて、各接触点についての触行動認識結果を決定する触行動決定部で構成することができる。
また、本願の請求項３に記載の触行動認識装置では、前記マッピング部は、各接触点群から算出されたＮ次元の特徴量を学習済みの階層型ニューラル・ネットワークにより２次元データに変換するようになっている。より具体的には、本願の請求項４に記載されているように、前記マッピング部は、各接触点群から算出されたＮ次元の特徴量を学習済みの自己組織化マップにより２次元データに変換するように構成することができる。
また、本願の請求項５に記載の触行動認識装置では、前記マッピング部は、識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群から算出されたＮ次元の特徴量を、触行動クラス毎のｎ次元空間にそれぞれマッピングし、マップ位置に基づいて当該触行動認識の有無を判定し、前記触行動決定部は、各接触点について、触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、唯一の触行動認識結果を決定するように構成されている。
また、本願の請求項６に記載の発明は、
複数の接触点における圧力情報及び位置情報を取得する接触点取得ステップと、
前記接触点取得ステップで取得された各接触点の圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング・ステップと、
各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出ステップと（但し、Ｎは３以上の整数）、
識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群から算出されたＮ次元の特徴量を、触行動クラス毎のｎ次元空間にそれぞれマッピングし、マップ位置に基づいて当該触行動認識の有無を判定するマッピング・ステップと（但し、ｎはＮより小さい正の整数）、
各接触点について、触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、唯一の触行動認識結果を決定する触行動決定ステップと、
を具備することを特徴とする触行動認識方法である。
また、本願の請求項７に記載の発明は、ユーザーからの操作に応じた情報処理を実行する情報処理装置であって、
前記情報処理装置本体に取り付けられた触覚センサー群からなり、複数の接触点における圧力情報及び位置情報を検出する接触点検出部と、
前記接触点検出部で検出された各接触点の圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング部と、
各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出部と（但し、Ｎは３以上の整数）、
識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群から算出されたＮ次元の特徴量を、触行動クラス毎のｎ次元空間にそれぞれマッピングし、マップ位置に基づいて当該触行動認識の有無を判定するマッピング部と（但し、ｎはＮより小さい正の整数）、
各接触点について、触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、唯一の触行動認識結果を決定する触行動決定部と、
前記触行動決定部が決定した触行動認識結果に基づいて情報処理を制御する制御部と、
を具備することを特徴とする情報処理装置である。
また、本願の請求項８に記載の発明は、人間の触行動を認識するための処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
複数の接触点において検出される圧力情報及び位置情報を取得する接触点取得部、
前記接触点検出部で検出された各接触点の圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング部、
各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出部（但し、Ｎは３以上の整数）、
識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群から算出されたＮ次元の特徴量を、触行動クラス毎のｎ次元空間にそれぞれマッピングし、マップ位置に基づいて当該触行動認識の有無を判定するマッピング部（但し、ｎはＮより小さい正の整数）、
各接触点について、触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、唯一の触行動認識結果を決定する触行動決定部、
として機能させるためのコンピューター・プログラムである。
本願の請求項８に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項８に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る触行動認識装置と同様の作用効果を得ることができる。
本発明によれば、センサーを用いて検出した複数の接触点から人間の触行動を実時間で且つ高精度に認識することができる、優れた触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムを提供することができる。
また、本発明によれば、外環境と常に接触する可能性がある機器において注目すべき接触の塊りを選別して特定の触行動を認識することができる、優れた触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラムを提供することができる。本発明に係る触行動認識装置は、人間がロボットなどの機械に対して行なった触行動の意図を実時間で且つ高精度に認識することができ、機械の簡易操作を実現するインターフェース若しくは非言語的なコミュニケーション手段として有効である。
本願の請求項１、６乃至８に記載の発明によれば、接触点群毎に分離して触行動認識を行なうので、同じ時刻に別の箇所で異なる種類の触行動が並行して行なわれた場合であっても、各々の触行動に分離して認識することができる。
また、本願の請求項２、３、６乃至８に記載の発明によれば、マッピング部において、接触点群から算出されたＮ次元の特徴量を低次元空間にそれぞれマッピングするという次元圧縮を行なうので、高速で且つ精度の高い触行動認識を行なうことができる。
また、本願の請求項４、６乃至８に記載の発明によれば、自己組織化マップを用いて触行動を識別しているため、閾値判定のようにルール化されない柔軟な判定をすることができる。
また、本願の請求項５乃至８に記載の発明によれば、識別したい触行動毎の複数の自己組織化マップを用いた識別を行なうので、触行動の包含関係を考慮することができ、例えば「押しながら撫でる」といった重層的な（すなわち、複数の触行動クラスが重なった）認識や、文脈に依存した認識を獲得することも可能である。
また、本願の請求項５乃至８に記載の発明によれば、ある時刻の識別結果は、過去の識別結果と比較して決定して最小的な触行動認識結果を出力するので、文脈に依存した結果を得ることができる。また、その一方で、識別の基となる特徴量はその瞬間に得られる物理量を用いているので、識別結果は実時間で得ることができる。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本発明の実施形態について詳解する。
本発明に係る触行動認識装置の適用例は、ロボットの非言語的なコミュニケーション手段であり、外界との接触が想定されている各部位には触覚センサー群が取り付けられている。
図１には、本発明を適用することができる人間型ロボットの外観構成を示している。図示のロボットは、骨盤部には、移動手段としての２肢の脚体と、腰関節を介して上体が接続されている。上体には、２肢の腕部と、首関節を介して頭部が接続されている。
左右の脚体は、それぞれ股関節３自由度と、膝関節１自由度と、足首関節２自由度の、計６自由度を備えている。また、左右の腕部は、それぞれ肩関節３自由度と、肘関節１自由度と、手首関節２自由度の、計６自由度を備えている。首関節及び腰関節は、ともにＸ、Ｙ、Ｚ軸回りに３自由度を有している。
各関節軸を駆動するアクチュエーターは、例えばＤＣブラシレス・モーターと減速機、並びに減速機の出力軸の回転位置を検出する位置センサーで構成される。これら関節駆動アクチュエーターは、人間型ロボット全体の動作を統括的にコントロールするホスト・コンピューターと接続され、その位置制御目標値がホスト・コンピューターから与えられるとともに、現在の関節角度や関節角速度をホスト・コンピューターに送信することができるものとする。
図１に示すロボットの表面のうち、外界との接触が想定されている各部位には、触覚センサー群ｔ１、ｔ２、…、ｔ１６が取り付けられている。図２には、１つの触覚センサー群の構成を示している。同図に示すように、１つの触覚センサー群ｔは、接触状態をそれぞれ独立して検出することができる複数の触覚センサーＣＳをアレイ状に配置して構成され、触覚センサー群ｔとしてはいずれの触覚センサーＣＳが接触状態にあるかによって、詳細な接触位置を特定することができる。
図３には、触覚センサーＣＳの構成を模式的に示している。触覚センサーＣＳは、２枚の極板Ｐ１及びＰ２で空隙Ｓを挟んだ構造をしており、一方の極板Ｐ１には電位Ｖccが印加され、他方の極板Ｐ２は接地されている。そして、一方の極板Ｐ１をパラレル・インターフェース（ＰＩＯ）経由でマイクロ・コンピューターに入力し、極板間の接触状態すなわち触覚センサーＣＳに外力が作用しているか否かを判定することができる。但し、本発明の要旨は、特定の接触センサーの構成に限定されるものではない。
触覚センサー群ｔ毎に、その近隣に１つのマイクロ・コンピューターを配置して、触覚センサー群を構成するすべての触覚センサーＣＳの検出信号を入力し、これらのオン／オフ状態を収集して、当該部位における外界との接触の有無並びに接触位置をホスト・コンピューターに送信するものとする。
また、図１に示すように、ロボットの骨盤部には、３軸の加速度センサーａ１と３軸の角速度センサー（ジャイロ）ｇ１が搭載されている。その近隣には、これらのセンサー値を計測するマイクロ・コンピューターが配備され、その計測結果をホスト・コンピューターに送信するものとする。
図４には、図１に示したロボットにおける結線トポロジの構成例を示している。
ロボットは、胴体部に、３軸の腰関節アクチュエーターａ１、ａ２、ａ３、及び３軸の首関節アクチュエーターａ１６、ａ１７、ａ１８を持ち、これらはホスト・コンピューターに対しシリアル接続されている。各関節アクチュエーターは、シリアル・ケーブルを通じて、その位置制御目標値を受け取るとともに、現在の出力トルクや関節角度、関節角速度をホスト・コンピューターに送信する。
また、ロボットは、左腕部に、３軸の肩関節アクチュエーターａ４、ａ５、ａ６、１軸の肘関節アクチュエーターａ７、及び２軸の手首関節アクチュエーターａ８、ａ９を持ち、これらはホスト・コンピューターにシリアル接続されている。同様に、ロボットの右腕部には、３軸の肩関節アクチュエーターａ１０、ａ１１、ａ１２、１軸の肘関節アクチュエーターａ１３、及び２軸の手首関節アクチュエーターａ１４、ａ１５を持ち、これらはホスト・コンピューターにシリアル接続されている。
また、ロボットは、左脚部に、３軸の股関節アクチュエーターａ１９、ａ２０、ａ２１、１軸の膝関節アクチュエーターａ２２、及び２軸の足首関節アクチュエーターａ２３、ａ２４を持ち、これらはホスト・コンピューターにシリアル接続されている。同様に、右脚部には、３軸の股関節アクチュエーターａ２５、ａ２６、ａ２７、１軸の膝関節アクチュエーターａ２８、及び２軸の足首関節アクチュエーターａ２９、ａ３０を持ち、これらはホスト・コンピューターにシリアル接続されている。
各関節で使用されるアクチュエーターａ１〜ａ３０は、例えばＤＣブラシレス・モーターと減速機、並びに減速機の出力軸の回転位置を検出する位置センサー、トルク・センサーで構成され、外部から与えられた位置制御目標値に従って回転駆動するとともに、現在の出力トルクや、関節角度、関節角速度を出力する。この種の関節アクチュエーターについては、例えば本出願人に既に譲渡されている特開２００４−１８１６１３号公報に記載されている。
また、ロボットの右脚部には、右足部触覚センサー群ｔ１、右脛部触覚センサ群ｔ２、右大腿部触覚センサー群ｔ３が配設され、これらはホスト・コンピューターにシリアル接続されている。各々の触覚センサー群ｔ１〜ｔ３にはマイクロ・コンピューターが装備されており（前述）、それぞれ触覚センサー群における触覚センサーＣＳのオン／オフ状態を収集して、シリアル・ケーブルを通じてホスト・コンピューターに送信する。同様に、左脚部には、左足部触覚センサー群ｔ９、左脛部触覚センサー群ｔ１０、左大腿部触覚センサー群ｔ１１が配設され、それぞれ触覚センサー群における触覚センサーＣＳのオン／オフ状態を内部のマイクロ・コンピューターで収集して、シリアル・ケーブルを通じてホスト・コンピューターに送信する。
また、ロボットの右腕部には、右手首触覚センサー群ｔ４、右前腕部触覚センサー群ｔ５、右上腕部触覚センサー群ｔ６が配設され、それぞれ触覚センサー群における触覚センサーＣＳのオン／オフ状態を内部のマイクロ・コンピューターで収集して、シリアル・ケーブルを通じてホスト・コンピューターに送信する。同様に、左腕部には、左手首触覚センサー群ｔ１２、左前腕部触覚センサー群ｔ１３、左上腕部触覚センサー群ｔ１４が配設され、それぞれ触覚センサー群における触覚センサーＣＳのオン／オフ状態を内部のマイクロ・コンピューターで収集して、シリアル・ケーブルを通じてホスト・コンピューターに送信する。
また、ロボットの胴体部の左右にはそれぞれ胴部触覚センサー群ｔ７及びｔ１５が取り付けられており、それぞれ触覚センサー群における触覚センサーＣＳのオン／オフ状態を内部のマイクロ・コンピューターで収集して、シリアル・ケーブルを通じてホスト・コンピューターに送信する。
また、ロボットの頭部の左右にはそれぞれ頭部触覚センサー群ｔ８及びｔ１６が取り付けられており、それぞれ触覚センサー群における触覚センサーＣＳのオン／オフ状態を内部のマイクロ・コンピューターで収集して、シリアル・ケーブルを通じてホスト・コンピューターに送信する。
図５には、図１に示したロボットの制御システム構成を示している。図示の制御システムは、全体の動作の統括的制御やその他のデータ処理を行なう制御ユニット２０と、入出力部４０と、駆動部５０と、電源部６０とで構成される。以下、各部について説明する。
入出力部４０は、ロボットの入力部として目に相当するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ１５や、耳に相当するマイクロフォン１６、外界との接触が想定されている各部位に配設されて触覚センサー１８（図１の触覚センサー群ｔ１、ｔ２、…、ｔ１７に相当）、あるいは五感に相当するその他の各種のセンサーを含む。また、ロボットの出力部として、口に相当するスピーカ１７、あるいは点滅の組み合わせや点灯のタイミングにより顔の表情を形成するＬＥＤインジケータ（目ランプ）１９などを装備している。ここで、カメラ１５や、マイクロフォン１６、触覚センサー１８などの入力機器は、検出信号をディジタル変換並びにディジタル信号処理を行なうものとする。
駆動部５０は、ロボットの各関節のロール、ピッチ、ヨーの各軸回りの自由度を実現するための機能モジュールであり、各駆動ユニットはモーター５１（図４中のアクチュエーターａ１、ａ２、…に相当）と、モーター５１の回転位置を検出するエンコーダー５２と、エンコーダー５２の出力に基づいてモーター５１ーの回転位置や回転速度を適応的に制御するドライバー５３の組み合わせで構成される。なお、駆動ユニットの組み合わせ方によって、ロボットを例えば２足歩行又は４足歩行などの脚式移動ロボットとして構成することができる。
電源部６０は、その字義通り、ロボット内の各電気回路などに対して給電を行なう機能モジュールである。図示の例では、バッテリを用いた自律駆動式であり、電源部６０は、充電バッテリ６１と、充電バッテリ６１の充放電状態を管理する充放電制御部６２とで構成される。
制御部２０は、「頭脳」に相当し、例えばロボットの頭部ユニットあるいは胴体部ユニットに搭載される。制御部２０では、例えば、外部刺激の認識結果や内部状態の変化に応じて行動制御を行なう動作制御プログラムが実行される。外部刺激の認識結果や内部状態の変化に応じたロボットの行動制御方法については、例えば本出願人に譲渡されている特許第３５５８２２２号公報に開示されている。
ここで言う外部刺激の一例は、ユーザーからロボットの表面に対して印加される触行動であり、触覚センサー群ｔ１、ｔ２、…、ｔ１７を通じて検出することができる。
図１に示したようなロボットは、外環境と常に接触する可能性があるが、すべての接触点が同じ触行動に基づくものとは限らない。このため、本実施形態では複数の接触点の中から注目すべき接触点の塊り（クラスター）を選別し、クラスター毎に人間の触行動を実時間で且つ高精度に認識する触行動認識装置を適用している。
本実施形態に係る触行動認識装置は、まず、複数箇所での触行動を認識するために、各接触点の圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめる。次に、各接触点群から、接触のパターンを特徴付けると考えられる複数の物理量をそれぞれ算出する。接触のパターンを特徴付ける物理量のことを、本明細書では「特徴量」と呼ぶ。この特徴量は、識別の実時間性を損なわないために、触行動が終了した時点で決定されるピーク値などを用いないこととする。
そして、触行動認識装置は、算出した多次元の特徴量を学習済みの自己組織化マップにより２次元データに変換（すなわち次元圧縮）して、各接触点群の特徴量をマッピングした自己組織化マップ位置とその触行動とを対応付ける。
本明細書では、「叩く」、「抓る」、「撫でる」、「押す」…など触行動ひとつひとつのクラスを「触行動クラス」と呼ぶこととする。人間がある時間に行なう触行動は１つとは限らず、例えば「押しながら撫でる」というように触行動の連続性と重層性（若しくは、触行動の包含関係）がある。
本実施形態に係る触行動認識装置は、触行動の連続性と重層性を考慮するため、識別したい触行動クラスの個数分だけの自己組織化マップを用意して、１ステップ毎に各マップ位置からその触行動クラスの有無を識別して２値化された識別結果を得る。すなわち、各々の接触点群について、触行動クラス毎にその触行動認識の有無が判定される。各触行動が持つ多次元特徴量は互いに直交しているとは限らず、完全に分離することはできない。したがって、ある接触点群を各触行動クラスの自己組織化マップにマッピングした結果、２以上の触行動クラスにおいて「有」と判定されることもある。自己組織化マップを用いて触行動を識別することにより、閾値判定のようにルール化されない柔軟な判定が可能となる。
このようにして各多次元特徴量（すなわち各接触点群）についての触行動認識の有無判定結果が得られると、触行動認識装置は、最後に、その判定結果の遷移データ及び触行動クラス間の優位性に基づいて、各多次元特徴量（すなわち各接触点群）につき唯一の触行動認識結果を１ステップ毎に得ることができる。ある接触点群について複数の触行動認識がある場合、注意モジュールなど他の機能からの情報により、その中の１つの触行動認識を選別させることも可能である。
図６には、本発明の一実施形態に係る触行動認識装置１００の機能的構成を模式的に示している。図示の触行動制御装置１００は、専用のハードウェア装置として構成される他、コンピューター上で実行されるプログラムという形態で実現することもできる。また、触行動認識装置１００による認識結果は、例えば外部刺激の認識結果として動作制御プログラムに供給される。
接触点検出部１１０は、触覚センサー群（図１の触覚センサー群ｔ１、ｔ２、…、ｔ１７に相当）からなり、複数の接触点における圧力情報及び位置情報を取得する。具体的には、入出力部４０からは、外界との接触が想定されている各部位に配設されて触覚センサー１８で検出された接触点の位置情報と圧力がディジタル値として入力される。
クラスタリング部１２０は、検出された各接触点の圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめる。
触行動識別部１３０は、特徴量算出部１３１と、マッピング部１３２と、触行動決定部１３３からなる。
特徴量算出部１３１は、各接触点群から、接触のパターンを特徴付けると考えられる多次元の物理量をそれぞれ算出する。
マッピング部１３２は、識別したい触行動クラス毎に２次元の自己組織化マップを用意し、各接触点群から算出されたＮ次元の特徴量を、触行動クラス毎の自己組織化マップにそれぞれマッピングする。そして、各自己組織化マップ上でのマップ位置に基づいて、該当する触行動クラスにおける認識の有無を判定する。
触行動決定部１３３は、各接触点について、触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、唯一の触行動認識結果を決定する。触行動認識結果は、例えばロボットの動作制御プログラムに対し、外部刺激として供給される。
以下では、触行動認識装置１００内の各機能モジュールで行なわれる処理について詳解する。
接触点検出部１１０より入力された複数の接触点から触行動認識を行なうためには、クラスタリング部１２０は複数接触点を触行動として関係のあるクラスターすなわち「接触点群」としてクラスタリングする必要がある。何故なら、触行動認識は、その接触点群毎に行なわれるためである。従来の触行動認識技術の多くは、単接触点での認識又は単接触点群での認識かのいずれかである。これに対し、本発明では、複数の接触点群を同時に扱い、接触点群毎の触行動認識を並行して行なうという点を十分理解されたい。
ある制御周期において検出された接触点を触行動として関係のある接触点群としてクラスタリングするためには、過去の接触点と同定する必要がある。何故なら、ある制御周期で入力された接触点自体の情報だけでは、当該接触点が、１つ前の制御周期からの一連の触行動のとしての接触点、又は、新たな触行動として入力された接触点のいずれであるのか不明であり、クラスタリングできないからである。特に、クラスタリング時の特徴量として過去のデータとの偏差（位置偏差情報並びに圧力偏差情報）を用いる場合には、現在の接触点と過去の接触点の関係を同定することは必要不可欠である。
本実施形態では、一連の触行動における接触点の過程にマルコフ性を認めることとする。マルコフ性とは、その過程の将来の状態が現在の状態にのみ依存する関係のことを表す（周知）。そこで、クラスタリング部１２０は、ある制御周期で計測された接触点と前回計測された複数の接触点との幾何学的なユークリッド距離Ｄを算出し、その最小値Ｄminがある閾値Ｄthを超えていない場合は同じ接触点と推定して同じＩＤを割り振り、閾値Ｄthを超えている場合は新規の接触点と推定して新規のＩＤを割り振るようにしている（図７を参照のこと）。
クラスタリング部１２０は、続いて、各接触点に対して、触行動として関係のある接触点群を形成させるため、クラスター分析を行なう。本実施形態では、触行動パターンは接触点の位置の変化及び圧力の変化により大まかに特徴付けることができるという仮定の下で、触行動として関係性を表す特徴量として、接触点の位置の偏差及び圧力の偏差を用いることとする。
また、クラスタリング方法としては、例えば、階層的クラスター分析を行ない、非類似度に閾値を設けてクラスターを作成する方法がある。ある制御周期においてＭ個の接触点が入力されたとすると、まず、このうちの１個の接触点だけを含むクラスターがある初期状態を作る。次に、接触点の特徴量ベクトルｘ1とｘ2間の距離Ｄ（ｘ1，ｘ2）から、クラスター間の距離Ｄ（Ｃ1，Ｃ2）を計算する。そして、最も距離の近い２つのクラスターを逐次的に併合する。Ｄ（Ｃ1，Ｃ2）は、クラスターＣ1とＣ2間の非類似度を表す距離関数であり、例えば下式（１）に示すようなウォード（Ｗａｒｄ）法を用いて算出することができる。
上式（１）において、ｘは接触点における位置偏差及び圧力偏差を要素に持つ特徴量ベクトルである。Ｅ（Ｃi）は、ｉ番目のクラスターＣiに含まれる各接触点ｘからクラスターＣiのセントロイド（重心）までの距離の２乗の総和である。ウォード法により計算される距離Ｄ（Ｃ1，Ｃ2）は、両クラスターＣ1及びＣ2を併合したときのセントロイドまでの距離の２乗の総和から、個々のクラスターＣ1並びにＣ2についてそれぞれ個別に求めたセントロイドまでの距離の２乗の総和を引き算した結果であり、両クラスターＣ1及びＣ2が類似しているほどその距離Ｄ（Ｃ1，Ｃ2）は短くなる。ウォード法は、クラスター内の各接触点からそのセントロイドまでの距離を最小化するため、他の距離関数に比べて分類感度が高い。
距離の近い２つのクラスターを逐次併合する処理を、すべての接触点が１つのクラスターに併合されるまで繰り返すことで、クラスターの階層構造を形成することができる。この階層構造は２分木構造，すなわちデンドログラムによって表される。図８には、クラスターＡ〜Ｅが２分木構造に階層化された様子を示している。同図の縦軸はウォード法による距離すなわち非類似度に相当し、各接触点の関係が非類似度として表されることを理解できよう。そこで、距離すなわち非類似度の閾値を設けることにより、接触点の特徴量ベクトルから類似性の高い複数の接触点をクラスターすなわち「接触点群」としてまとめることができる。また、閾値を上下させることで、得られる接触点群の個数を調整することができる（図８では、閾値Ｄth1を用いると接触点群の個数は、｛Ａ｝、｛Ｂ，Ｃ｝、｛Ｄ｝、｛Ｅ｝の４個となる。また、閾値Ｄth2を用いると接触点群の個数は、｛Ａ，Ｂ，Ｃ｝、｛Ｄ，Ｅ｝の２個となる）。
なお、接触点が多い場合は、木構造が複雑化してしまうことから、非階層的クラスター分析であるｋ−ｍｅａｎｓ法やＩＳＯＤＡＴＡ法も有効である
特徴量算出部１３１は、クラスタリング部１２０が上述した階層化クラスター分析により形成した各接触点群について、接触のパターンを特徴付けるような（言い換えれば、触行動認識を行なうための）複数（Ｎ次元）の特徴量を算出する。
触行動認識を行なうための特徴量として、例えば以下の物理量を例示することができる。いずれの物理量も、触覚センサー群から出力される位置情報及び圧力情報などから求めることができる。
・接触点群に含まれる接触点
・接触点群に含まれる接触点における平均法線力
・接触点群に含まれる各接触点に印加される力を直交座標軸で分解した分力における対向成分の合計
・接触点群に含まれる接触点における合計接線力
・接触点群に含まれる接触点の平均移動速度
・接触点群に含まれる接触点における法線力が閾値を超え続けている時間
・接触点群に含まれる接触点における接線力が一定の方向に作用し続けている時間
・同一の触行動の中で同じ箇所を再度触れたかの判定
触行動認識を行なうための特徴量として用いる物理量には、認識の実時間性を考慮して、接触点が検出された段階で算出することが可能なものを用いる。
本実施形態では、識別したい触行動として、「叩く」、「押す」、「撫でる」、「握る」「引っ張る」の５クラスを考えている。ここで、「叩く」とは、短時間で大きな圧力が発生するインパルスパターンを形成するものとする。「押す」は、長時間接触し，ある程度大きな圧力を一定方向にかける行動とする。「撫でる」は、接触点をある速度範囲内で接触面に平行移動させながら繰り返し同じ箇所を接触する行動とする。「握る」は、対向する法線力がある程度の大きさで長時間維持される行動とする。「引っ張る」は、「握る」動作に加えてその接線力が一定の方向に働く行動とする。
本実施形態では、以上の定義した触行動を特徴付け、他の触行動との識別を行なうことができる物理量として、上記の８つを用いている。各触行動クラスとそのクラスを特徴付けると考えられる物理量の関係を以下の表1に示しておく。
但し、本発明の要旨は、上記の特徴量に限定されるものではない。触行動のクラスと対応する物理量は単純な相対関係にないため、その物理量だけで触行動パターンを表すことはできない。そのため、高速で精度の高い認識を行なうためには、以下で述べるような次元圧縮などのデータ・マイニング手法が必要となる。
マッピング部１３２は、各接触点群にて算出された８次元の特徴量ベクトルを、学習済みの階層型ニューラル・ネットワークにより、２次元情報に圧縮する。より具体的には、各接触点群にて算出された８次元の特徴量ベクトルを、自己組織化マップにより、２次元情報に圧縮する。
ここで、自己組織化マップ（Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐｓ：ＳＯＭ）とは、２層からなるフィードフォワード型のニューラル・ネットワークの一種である。自己組織化マップによれば、多次元のデータを２次元にマッピング（写像）して、高次元空間を可視化することが可能であり、多次元データの分類や、特徴の抽出、パターン認識などに利用することができる。
図９には、自己組織化マップの構成を模式的に示している。図示のように、自己組織化マップは、第１層としてのｎ次元の入力層Ｘ1、Ｘ2、…、Ｘnと、第２層としての競合層からなる。一般的に、第２層は入力層よりも少ない次元で表現され、視覚的な認識のし易さから２次元配列であることが多い。また、第２層の競合層は、重みベクトルｍ1、ｍ2、…、ｍnで表現され、入力層のｎ次元と同様にｎ個の要素を持つ。
自己組織化マップの学習は、出力ニューロンの発火を１つだけ得る教師なし競合学習の一種であり、学習にユークリッド距離を用いる。まず、重みベクトルのすべての要素ｍiをランダムに決定する。そして、学習データとなる入力ベクトルを与えると、自己組織化マップの出力層である第２層のノード（ニューロン）において、重みベクトルと入力ベクトルとのユークリッド距離を最小にするようなノードを探索し、その入力ベクトルを持つノードを最も適合する勝者ノードに決定する。
次に、勝者ノードの重みベクトルを、学習データとしての入力ベクトルに近づくように更新し、さらに、勝者ノードの近傍の範囲内のノードの重みベクトルも、学習データに少しだけ近づくように更新するようにして、入力ベクトルの学習を行なう。ここで言う近傍の範囲と更新量は、近傍関数により定義され，近傍の範囲は学習時間が進むにつれてその範囲が小さくなる。その結果、学習が進むにつれて、出力層上において、重みベクトルが類似したノード同士は近くに、類似しないノードは遠くに、それぞれ配置されていく。したがって、出力層上では、各入力ベクトルに類似したノードが集まるようになり、あたかも学習データに含まれるパターンに応じた地図が形成されることになる。
上述したような、学習が進むにつれて類似するノード同士が幾何学的に近い位置に集まり、学習データに含まれる地図が構成されていく学習は、自己組織的な学習又は自己組織化学習と呼ばれる。本実施形態では、マッピング部１３２で用いる自己組織化マップを、バッチ型学習を用いて学習するものとする。バッチ型学習とは、全学習データを最初に読み込みすべてを同時に学習させる方法であり学習データを一つ一つ読み込みマップのノード値を更新していく逐次型学習とは異なる。このようなバッチ型学習方法を用いることにより、学習データの順番に依存しないマップを作成することができる。
なお、自己組織化マップは、コホネン（Ｔｅｕｖｏ Ｋｏｈｏｎｅｎ）によって提案された、大脳皮質の神経機能をモデル化したニューラル・ネットワークである。自己組織化マップの詳細については、例えば、Ｔ．コホネン著「自己組織化マップ」（徳高平蔵、岸田悟、藤村喜久郎訳、シュプリンガー・フェアラーク東京株式会社、初版１９９６年６月１５日）を参照されたい。
識別したい触行動として、「叩く」、「押す」、「撫でる」、「握る」「引っ張る」の５クラスを考えている（前述並びに表１を参照のこと）。ここで、これらの各触行動クラスについて学習データの計測を数回ずつ行なって、計測した結果からすべての識別クラスを一度に識別する自己組織化マップを作成することができる。しかしながら、人間が行なう触行動は例えば「押しながら撫でる」といった具合に、複数の触行動クラスが重なった重層的なものであることも稀ではなく、また、各々の触行動クラスが持つ特徴量は完全に直交するものではなく、単一の自己組織化マップ上で分離することができない。このため、すべての識別クラスを一度に識別する単一の自己組織化マップでは、重層的な認識をできない、文脈に依存した認識をできない、といった問題がある。
これに対し、本実施形態では、識別したい触行動クラス毎に自己組織化マップを作成し、マッピング部１３２には触行動クラス毎の複数の自己組織化マップを用意するようにしている。そして、マッピング部１３２は、ある接触点群から算出された８次元の特徴量が与えられると、各々の自己組織化マップにマッピングし、各自己組織化マップ上でのマップ位置に基づいて対応する触行動の有無をする。したがって、「押しながら撫でる」といった複数の触行動クラスが重なった重層的な触行動についても、触行動決定部１３３では、該当する自己組織化マップを通じて「押す」及び「撫でる」という重層的な認識を獲得することができる。
図１０には、触行動決定部１３３が触行動クラス毎に用意された複数の自己組織化マップの後段でデータ処理を行なう仕組みを図解している。
各触行動クラスは完全に独立とは言えない。ある制御周期において検出された物理特徴量だけでは、唯一の触行動を特定することが難しい場合があり、その多くの識別は文脈に依存する。すなわち、触行動は履歴を基に認識される面もあるため、触行動の遷移データを考慮しなければならない。そこで、各触行動クラスの自己組織化マップ毎に得られる触行動の有無の判定結果が０又は１に２値化して出力されると、触行動決定部１３３の識別器は、各クラス間の優先度及び遷移データにより、１つの触行動を決定することとする。但し、優先度を使わず、複数の触行動クラスを合わせた認識も可能である。
図１１には、触行動決定部１３３が各触行動の有無の判定結果から触行動を決定するための処理手順をフローチャートの形式で示している。
まず、各触行動プリミティブの項目内で、過去数ミリ秒で判定結果の平均をとる（ステップＳ１）。
ここで、各触行動プリミティブの判定結果がすべて０であれば、更新しない（ステップＳ２）。
一方、判定結果の平均が０以外となる項目があるときには、最大値のある項目を選択する（ステップＳ３）。このとき、同じ値となる項目が２以上存在するときには、最も優先度の高い項目を選択する（ステップＳ４）。
続いて、前回選択した項目と今回選択した項目の間で優先度を比較する（ステップＳ５）。そして、今回選択した項目の方の優先度が高いときには、更新して出力する（ステップＳ６）。
また、今回選択した項目の方の優先度が低いときには、前回選択した項目の今回の値を参照し（ステップＳ７）、０であれば更新して出力するが（ステップＳ８）、０以外であれば更新しない（ステップＳ９）。
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で説明した触行動認識の枠組みは、全身に触覚を分布させたロボット（図１を参照のこと）に対する接触インタラクションに適用することができる。その際、この触行動認識の系が、より大きな系の１つである場合には、他の系からの出力を基に、どの接触群に注意を向け、どの触行動認識の出力結果を得るかという応用も可能である。上述した実施形態では各接触点群の触行動を識別する方法として自己組織化マップを用いているが、隠れマルコフ・モデルにより連続的かつ重層的な触行動を獲得することが可能であると本発明者らは思料する。
また、本明細書では、本発明を２足歩行の脚式移動ロボットに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、タッチパネル式のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）において、単一のペン先による座標入力操作に限らず、ユーザーが複数の指先を接触させる触行動を通じて操作を行なう場合など（図１２を参照のこと）、接触検出デバイスを介して複数の指の特徴的な動きによる機器操作に対しても、同様に本発明を適用することができる。
要する、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
図１は、本発明を適用することができる人間型ロボットの外観構成を示した図である。 図２は、触覚センサー群の構成を示した図である。 図３は、触覚センサーＣＳの構成を模式的に示した図である。 図４は、図１に示したロボット装置における結線トポロジの構成例を示した図である。 図５は、図１に示したロボットの制御システム構成を示した図である。 図６は、本発明の一実施形態に係る触行動認識装置１００の機能的構成を模式的に示した図である。 図７は、クラスタリング部１２０が行なう処理動作を説明するための図である。 図８は、クラスターの階層構造を示した図である。 図９は、自己組織化マップの構成例を示した図である。 図１０は、触行動決定部１３３が触行動クラス毎に用意された複数の自己組織化マップの後段でデータ処理を行なう仕組みを説明するための図である。 図１１は、触行動決定部１３３が各触行動の有無の判定結果から触行動を決定するための処理手順を示したフローチャートである。 図１２は、タッチパネル式のＰＤＡに対してユーザーが複数の指先を接触させる触行動を通じて操作を行なう様子を示した図である。
符号の説明
１…ロボット装置
１５…ＣＣＤカメラ
１６…マイクロフォン
１７…スピーカ
１８…触覚センサー
１９…ＬＥＤインジケータ
２０…制御部ユニット
１００…触行動認識装置
１１０…接触点検出部
１２０…クラスタリング部
１３０…触行動識別部
１３１…特徴量算出部
１３２…マッピング部
１３３…触行動決定部

Claims (6)

  1. 所定の制御周期毎に複数の接触点における圧力情報及び位置情報を取得する接触点取得部と、
    前記接触点取得部で取得された各接触点を過去の接触点と同定し、各接触点の過去に取得した圧力情報及び位置情報との圧力偏差及び位置偏差情報を基に前記複数の接触点をクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング部と、
    接触点群毎の触行動を識別する触行動識別部と、
    を具備し、
    前記触行動識別部は、
    各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出部と（但し、Ｎは３以上の整数）、
    識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群の前記Ｎ次元の特徴量を、各触行動クラスのｎ次元空間上にそれぞれマッピングするマッピング部と（但し、ｎはＮより小さい正の整数）、
    接触点群の前記Ｎ次元の特徴量の各触行動クラスのｎ次元空間上でのマップ位置に基づいて、各接触点群についての触行動クラス毎の触行動認識の有無を判定し、各接触点群についての触行動クラス毎の触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、接触点群毎に１つの触行動認識結果を決定する触行動決定部と、
    を備えることを特徴とする触行動認識装置。
  2. 前記マッピング部は、各接触点群から算出されたＮ次元の特徴量を学習済みの階層型ニューラル・ネットワークにより２次元データに変換する、
    ことを特徴とする請求項１に記載の触行動認識装置。
  3. 前記マッピング部は、各接触点群から算出されたＮ次元の特徴量を学習済みの自己組織化マップ（ＳＯＭ）により２次元データに変換する、
    ことを特徴とする請求項１に記載の触行動認識装置。
  4. 所定の制御周期毎に複数の接触点における圧力情報及び位置情報を取得する接触点取得ステップと、
    前記接触点取得ステップで取得された各接触点を過去の接触点と同定し、各接触点の過去に取得した圧力情報及び位置情報との圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング・ステップと、
    各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出ステップと（但し、Ｎは３以上の整数）、
    識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群の前記Ｎ次元の特徴量を、各触行動クラスのｎ次元空間にそれぞれマッピングするマッピング・ステップと（但し、ｎはＮより小さい正の整数）、
    接触点群の前記Ｎ次元の特徴量の各触行動クラスのｎ次元空間上でのマップ位置に基づいて、各接触点群についての触行動クラス毎の触行動認識の有無を判定し、各接触点群についての触行動クラス毎の触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、接触点群毎に１つの触行動認識結果を決定する触行動決定ステップと、
    を有することを特徴とする触行動認識方法。
  5. ユーザーからの操作に応じた情報処理を実行する情報処理装置であって、
    前記情報処理装置本体に取り付けられた触覚センサー群からなり、所定の制御周期毎に複数の接触点における圧力情報及び位置情報を検出する接触点検出部と、
    前記接触点検出部で検出された各接触点を過去の接触点と同定し、各接触点の過去に取得した圧力情報及び位置情報との圧力偏差及び位置偏差情報を基にクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング部と、
    各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出部と（但し、Ｎは３以上の整数）、
    識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群の前記Ｎ次元の特徴量を、各触行動クラスのｎ次元空間にそれぞれマッピングするマッピング部と（但し、ｎはＮより小さい正の整数）、
    接触点群の前記Ｎ次元の特徴量の各触行動クラスのｎ次元空間上でのマップ位置に基づいて、各接触点群についての触行動クラス毎の触行動認識の有無を判定し、各接触点群についての触行動クラス毎の触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、接触点群毎に１つの触行動認識結果を決定する触行動決定部と、
    前記触行動決定部が決定した触行動認識結果に基づいて情報処理を制御する制御部と、
    を具備することを特徴とする情報処理装置。
  6. 人間の触行動を認識するための処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
    所定の制御周期毎に複数の接触点における圧力情報及び位置情報を取得する接触点取得部、
    前記接触点取得部で取得された各接触点を過去の接触点と同定し、各接触点の過去に取得した圧力情報及び位置情報との圧力偏差及び位置偏差情報を基に前記複数の接触点をクラスタリングして、触行動として関係のある接触点群毎にまとめるクラスタリング部、
    各接触点群から、接触のパターンを特徴付けるＮ個の特徴量をそれぞれ算出する特徴量算出部（但し、Ｎは３以上の整数）、
    識別したい触行動クラス毎にｎ次元空間を用意し、各接触点群の前記Ｎ次元の特徴量を、各触行動クラスのｎ次元空間上にそれぞれマッピングするマッピング部（但し、ｎはＮより小さい正の整数）、
    接触点群の前記Ｎ次元の特徴量の各触行動クラスのｎ次元空間上でのマップ位置に基づいて、各接触点群についての触行動クラス毎の触行動認識の有無を判定し、各接触点群についての触行動クラス毎の触行動認識の有無判定結果の遷移データ及び触行動クラス間の優位性に基づいて、接触点群毎に１つの触行動認識結果を決定する触行動決定部、
    として機能させるためのコンピューター・プログラム。
JP2008287793A 2008-11-10 2008-11-10 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム Expired - Fee Related JP4766101B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008287793A JP4766101B2 (ja) 2008-11-10 2008-11-10 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
US12/614,756 US20100117978A1 (en) 2008-11-10 2009-11-09 Apparatus and method for touching behavior recognition, information processing apparatus, and computer program
CN2009102117061A CN101739172B (zh) 2008-11-10 2009-11-10 触摸行为辨认装置和方法、信息处理装置及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008287793A JP4766101B2 (ja) 2008-11-10 2008-11-10 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム

Publications (2)

Publication Number Publication Date
JP2010112927A JP2010112927A (ja) 2010-05-20
JP4766101B2 true JP4766101B2 (ja) 2011-09-07

Family

ID=42164768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008287793A Expired - Fee Related JP4766101B2 (ja) 2008-11-10 2008-11-10 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム

Country Status (3)

Country Link
US (1) US20100117978A1 (ja)
JP (1) JP4766101B2 (ja)
CN (1) CN101739172B (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US9019237B2 (en) 2008-04-06 2015-04-28 Lester F. Ludwig Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display
US8169414B2 (en) 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8604364B2 (en) 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
US8170346B2 (en) 2009-03-14 2012-05-01 Ludwig Lester F High-performance closed-form single-scan calculation of oblong-shape rotation angles from binary images of arbitrary size using running sums
US20110066933A1 (en) 2009-09-02 2011-03-17 Ludwig Lester F Value-driven visualization primitives for spreadsheets, tabular data, and advanced spreadsheet visualization
US20110202934A1 (en) 2010-02-12 2011-08-18 Ludwig Lester F Window manger input focus control for high dimensional touchpad (htpd), advanced mice, and other multidimensional user interfaces
US10146427B2 (en) 2010-03-01 2018-12-04 Nri R&D Patent Licensing, Llc Curve-fitting approach to high definition touch pad (HDTP) parameter extraction
US20120056846A1 (en) * 2010-03-01 2012-03-08 Lester F. Ludwig Touch-based user interfaces employing artificial neural networks for hdtp parameter and symbol derivation
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
US9007190B2 (en) 2010-03-31 2015-04-14 Tk Holdings Inc. Steering wheel sensors
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス，インコーポレーテッド 手センサを有するステアリング・ホイール
US9632344B2 (en) 2010-07-09 2017-04-25 Lester F. Ludwig Use of LED or OLED array to implement integrated combinations of touch screen tactile, touch gesture sensor, color image display, hand-image gesture sensor, document scanner, secure optical data exchange, and fingerprint processing capabilities
US9626023B2 (en) 2010-07-09 2017-04-18 Lester F. Ludwig LED/OLED array approach to integrated display, lensless-camera, and touch-screen user interface devices and associated processors
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
US9950256B2 (en) 2010-08-05 2018-04-24 Nri R&D Patent Licensing, Llc High-dimensional touchpad game controller with multiple usage and networking modalities
JP5403522B2 (ja) * 2010-10-08 2014-01-29 独立行政法人理化学研究所 制御装置、ロボット、制御方法、ならびに、プログラム
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN102085145B (zh) * 2010-11-29 2014-06-25 燕山大学 一种用于四足/两足并联腿步行机器人的可重构装置
US20120204577A1 (en) 2011-02-16 2012-08-16 Ludwig Lester F Flexible modular hierarchical adaptively controlled electronic-system cooling and energy harvesting for IC chip packaging, printed circuit boards, subsystems, cages, racks, IT rooms, and data centers using quantum and classical thermoelectric materials
US9442652B2 (en) 2011-03-07 2016-09-13 Lester F. Ludwig General user interface gesture lexicon and grammar frameworks for multi-touch, high dimensional touch pad (HDTP), free-space camera, and other user interfaces
US9052772B2 (en) 2011-08-10 2015-06-09 Lester F. Ludwig Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
US9823781B2 (en) 2011-12-06 2017-11-21 Nri R&D Patent Licensing, Llc Heterogeneous tactile sensing via multiple sensor types
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US9311600B1 (en) * 2012-06-03 2016-04-12 Mark Bishop Ring Method and system for mapping states and actions of an intelligent agent
US9493342B2 (en) 2012-06-21 2016-11-15 Nextinput, Inc. Wafer level MEMS force dies
WO2014008377A1 (en) 2012-07-05 2014-01-09 Ian Campbell Microelectromechanical load sensor and methods of manufacturing the same
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
US9902611B2 (en) 2014-01-13 2018-02-27 Nextinput, Inc. Miniaturized and ruggedized wafer level MEMs force sensors
CN104199572B (zh) * 2014-08-18 2017-02-15 京东方科技集团股份有限公司 一种触摸显示装置的触摸定位方法及触摸显示装置
US10466119B2 (en) 2015-06-10 2019-11-05 Nextinput, Inc. Ruggedized wafer level MEMS force sensor with a tolerance trench
KR20170027607A (ko) * 2015-09-02 2017-03-10 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
EP3561732A4 (en) * 2016-12-23 2020-04-01 Cambricon Technologies Corporation Limited OPERATING DEVICE AND METHOD FOR AN ARTIFICIAL NEURONAL NETWORK
WO2018148510A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
WO2018148503A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated digital force sensors and related methods of manufacture
CN107030704A (zh) * 2017-06-14 2017-08-11 郝允志 基于神经元网络的教育机器人控制设计
CN111448446B (zh) 2017-07-19 2022-08-30 触控解决方案股份有限公司 在mems力传感器中的应变传递堆叠
WO2019023309A1 (en) 2017-07-25 2019-01-31 Nextinput, Inc. FORCE SENSOR AND INTEGRATED FINGERPRINTS
WO2019023552A1 (en) 2017-07-27 2019-01-31 Nextinput, Inc. PIEZORESISTIVE AND PIEZOELECTRIC FORCE SENSOR ON WAFER AND METHODS OF MANUFACTURING THE SAME
US11579028B2 (en) 2017-10-17 2023-02-14 Nextinput, Inc. Temperature coefficient of offset compensation for force sensor and strain gauge
US11385108B2 (en) 2017-11-02 2022-07-12 Nextinput, Inc. Sealed force sensor with etch stop layer
US11874185B2 (en) 2017-11-16 2024-01-16 Nextinput, Inc. Force attenuator for force sensor
US11195000B2 (en) * 2018-02-13 2021-12-07 FLIR Belgium BVBA Swipe gesture detection systems and methods
CN110340934A (zh) * 2018-04-04 2019-10-18 西南科技大学 一种具有拟人特性的仿生机械手臂
US11580002B2 (en) * 2018-08-17 2023-02-14 Intensity Analytics Corporation User effort detection
US10562190B1 (en) * 2018-11-12 2020-02-18 National Central University Tactile sensor applied to a humanoid robots
CN109470394B (zh) * 2018-11-30 2020-03-17 浙江大学 多点触觉力传感器及在规则沟槽表面提取特征信息的方法
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor
US11433555B2 (en) * 2019-03-29 2022-09-06 Rios Intelligent Machines, Inc. Robotic gripper with integrated tactile sensor arrays
CN111216126B (zh) * 2019-12-27 2021-08-31 广东省智能制造研究所 基于多模态感知的足式机器人运动行为识别方法及系统
WO2022065154A1 (ja) * 2020-09-24 2022-03-31 株式会社Ｊｖｃケンウッド 情報処理装置、情報処理方法、およびプログラム
JP7501275B2 (ja) 2020-09-24 2024-06-18 株式会社Ｊｖｃケンウッド 情報処理装置、情報処理方法、およびプログラム
JP7501276B2 (ja) 2020-09-24 2024-06-18 株式会社Ｊｖｃケンウッド 情報処理装置、情報処理方法、およびプログラム
US20230081827A1 (en) * 2021-09-08 2023-03-16 Samsung Electronics Co., Ltd. Method and apparatus for estimating touch locations and touch pressures

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982302A (en) * 1994-03-07 1999-11-09 Ure; Michael J. Touch-sensitive keyboard/mouse
JP2001141580A (ja) * 1999-11-17 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 個別適応可能な触行動識別装置および記録媒体
JP3712582B2 (ja) * 2000-02-17 2005-11-02 日本電信電話株式会社 情報クラスタリング装置および情報クラスタリングプログラムを記録した記録媒体
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP2002329188A (ja) * 2001-04-27 2002-11-15 Fuji Xerox Co Ltd データ分析装置
US20040088341A1 (en) * 2001-12-12 2004-05-06 Lee Susan C Method for converting a multi-dimensional vector to a two-dimensional vector
JP4258836B2 (ja) * 2002-06-03 2009-04-30 富士ゼロックス株式会社 機能制御装置およびその方法
JP4677585B2 (ja) * 2005-03-31 2011-04-27 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
JP2007241895A (ja) * 2006-03-10 2007-09-20 Oki Electric Ind Co Ltd データ分析装置およびデータ分析方法
JP4378660B2 (ja) * 2007-02-26 2009-12-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2008217684A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 情報入出力装置
CN100485713C (zh) * 2007-03-29 2009-05-06 浙江大学 基于集成隐马尔可夫模型学习方法的人体运动数据的识别方法
JP5519539B2 (ja) * 2008-02-28 2014-06-11 ニューヨーク・ユニバーシティ 処理装置に入力を与える方法及び装置、並びにセンサパッド

Also Published As

Publication number Publication date
JP2010112927A (ja) 2010-05-20
US20100117978A1 (en) 2010-05-13
CN101739172A (zh) 2010-06-16
CN101739172B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP4766101B2 (ja) 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
Wang et al. Controlling object hand-over in human–robot collaboration via natural wearable sensing
Xue et al. Multimodal human hand motion sensing and analysis—A review
CN111055279B (zh) 基于触觉与视觉结合的多模态物体抓取方法与系统
Kappassov et al. Tactile sensing in dexterous robot hands
Gorges et al. Haptic object recognition using passive joints and haptic key features
JP4878842B2 (ja) ロボットの駆動方法
Liu Exploring human hand capabilities into embedded multifingered object manipulation
Xue et al. Progress and prospects of multimodal fusion methods in physical human–robot interaction: A review
EP3659016A1 (en) Armband for tracking hand motion using electrical impedance measurement
Roggen et al. Wearable computing
Kim et al. System design and implementation of UCF-MANUS—An intelligent assistive robotic manipulator
Mahmud et al. A multi-modal human machine interface for controlling a smart wheelchair
Yanik et al. Use of kinect depth data and growing neural gas for gesture based robot control
JP2023542055A (ja) オブジェクトインスタンスの分類および認識のための対話型触覚認知方法
Pan et al. State-of-the-art in data gloves: A review of hardware, algorithms, and applications
Luo et al. Surface recognition via force-sensory walking-pattern classification for biped robot
Pohtongkam et al. Object recognition for humanoid robots using full hand tactile sensor
Funabashi et al. Tactile transfer learning and object recognition with a multifingered hand using morphology specific convolutional neural networks
Avadut et al. A deep learning based iot framework for assistive healthcare using gesture based interface
CN111230872B (zh) 一种基于多传感器的物体递交意图识别系统及方法
Srinivas et al. Study of hand gesture recognition and classification
Mousavi et al. Wearable smart rings for multi-finger gesture recognition using supervised learning
Faria et al. Identifying objects from hand configurations during in-hand exploration
Pan et al. Review of the State-of-the-Art of Data Gloves

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110530

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees