JP4075670B2 - 変化情報認識装置および変化情報認識方法 - Google Patents
変化情報認識装置および変化情報認識方法 Download PDFInfo
- Publication number
- JP4075670B2 JP4075670B2 JP2003105649A JP2003105649A JP4075670B2 JP 4075670 B2 JP4075670 B2 JP 4075670B2 JP 2003105649 A JP2003105649 A JP 2003105649A JP 2003105649 A JP2003105649 A JP 2003105649A JP 4075670 B2 JP4075670 B2 JP 4075670B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- information
- change information
- recognition
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008859 change Effects 0.000 title claims description 520
- 238000000034 method Methods 0.000 title claims description 95
- 230000008569 process Effects 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 49
- 239000013598 vector Substances 0.000 description 27
- 238000012545 processing Methods 0.000 description 19
- 230000008921 facial expression Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 230000002940 repellent Effects 0.000 description 4
- 239000005871 repellent Substances 0.000 description 4
- 102100036312 5-hydroxytryptamine receptor 1E Human genes 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 102220598635 5-hydroxytryptamine receptor 1E_P42A_mutation Human genes 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001293250 Lagascea decipiens Species 0.000 description 1
- 102220567056 Ornithine decarboxylase antizyme 1_P53A_mutation Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 102220114368 rs397517248 Human genes 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、口の動きや口から発せられる音声、または人の動作など、認識対象物の変化状態を認識する変化情報認識装置および変化情報認識方法に関する。
【0002】
【従来の技術】
画像処理などの分野においては、撮像した画像から、人が話す声や人の動作など、状態が変化するものの変化を認識することが行われる。このような状態の変化を認識するものとして、たとえば特開平10−274516号公報に開示された顔の方向検出装置がある。この顔の方向検出装置は、カメラで得られる画像から顔領域と、目、口などの特徴領域を抽出し、顔領域の中心位置などから顔の方向を検出するものである。
【0003】
【特許文献1】
特開平10−274516号公報
【0004】
【発明が解決しようとする課題】
しかし、上記特許文献1に開示された顔の方向検出装置では、口の位置などを抽出してから顔の方向を検出するものの、口の動きなどまでは検出することができないものであった。そのため、人の言葉などを認識することはできないという問題があった。
【0005】
そこで、本発明の課題は、認識対象物の変化状態を正確に認識して、たとえば人の話す言葉などを認識することができるようにした変化情報認識装置および変化情報認識方法を提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決した本発明に係る変化情報認識装置は、認識対象物の変化情報を取得する変化情報取得手段と、認識対象物に対応付けられ、特徴空間上の情報の系列として設定された複数の基本変化系列情報としての複数の基本変化情報から生成されたハイパーチューブをあらかじめ記憶する基本変化情報記憶手段と、変化情報取得手段で取得された認識対象物の変化系列情報を特徴空間へ射影して射影変化情報を作成する変化情報射影装置と、変化情報射影装置で作成された認識対象物の射影変化情報と、あらかじめ記憶されたハイパーチューブとを比較して、認識対象物の変化状態を検出する変化状態比較手段と、を備え、複数の基本変化情報である複数の軌跡に基づいて代表軌跡を求め、代表軌跡と複数の軌跡との関係に基づいてハイパーチューブが生成されているものである。
さらに、代表軌跡と複数の軌跡との関係は、代表軌跡と複数の軌跡のそれぞれに対する距離との分散である態様とすることができる。
【0007】
本発明に係る変化情報認識装置においては、変化情報取得手段で取得された変化情報と、あらかじめ記憶された基本変化情報とを比較することにより、認識対象物を認識する。たとえば、認識対象物が人の口など、一定の相関関係を持つ動きをすることが多いものである場合には、この動きを基本変化情報としてあらかじめ記憶しておき、取得した変化情報と比較することにより、確実に認識対象物を認識することができる。また、本発明においては、変化情報を特徴空間の情報系列として認識している。このため、取得された変化情報と、あらかじめ設定された基本変化系列情報とを比較している。このため、取得された変化系列情報と基本変化系列情報との類似度(適合度)を定量的に判断することができる。
【0008】
ここで、基本変化情報は、認識対象物の変化に応じて対応付けされた変化情報単位に分割した情報として、基本変化情報記憶手段に記憶されているのが好適である。
【0009】
このように、基本変化情報を変化情報単位に分割した情報として記憶しておくことにより、さらに高精度で認識対象物を認識することができる。
【0010】
また、変化情報取得手段は、認識対象物を撮像する撮像手段であり、変化情報は、発話に伴う口の画像の変化である態様とすることができる。
【0011】
このように、変化情報が発話に伴う口の画像の変化であることにより、人の発話の内容を精度よく認識することができる。
【0012】
さらに、変化情報取得手段は、認識対象物が発生する音を取得する集音手段であり、変化情報が、認識対象物が発生する音の周波数の変化である態様とすることもできる。
【0013】
このように、集音手段、たとえばマイクから取得した音の周波数の変化を変化情報とすることにより、認識対象物が発声する音、たとえば人の発話の内容を高精度で認識することができる。
【0014】
また、変化情報取得手段は、認識対象物を撮像する撮像手段であり、変化情報が、認識対象物の動きによる画像の変化である態様とすることもできる。
【0015】
さらに、変化情報取得手段は、認識対象物を撮像する撮像手段であり、変化情報が、認識対象物の回転による画像の変化である態様とすることもできる。
【0016】
このように、変化情報が認識対象物の動きや回転による画像の変化であっても、それらの変化を高精度で認識することができる。
【0019】
ここで、変化状態比較手段は、ハイパーチューブの連続性と、射影変化情報の連続性とを比較することにより、認識対象物の変化状態を検出する態様とするのが好適である。
【0020】
このように、射影変化情報として射影された変化系列情報の連続性をハイパーチューブと比較することにより、変化しながら移動する認識対象物を精度良く認識することができる。
【0021】
また、変化情報取得手段で取得された認識対象物の変化情報に基づいて、基本変化系列情報を作成する学習手段を備える態様とするのが好適である。
【0022】
このように、変化情報取得手段で取得された認識対象物の変化に基づいて、基本変化情報を作成または更新する学習手段を備えることにより、認識対象物に応じた基本変化系列情報を精度良く作成することができる。
【0023】
他方、上記課題を解決した本発明に係る変化情報認識方法は、変化情報取得手段が、認識対象物の変化情報を取得する変化情報取得工程と、基本変化情報記憶手段が、認識対象物に対応付けられ、特徴空間上の情報の系列として設定された複数の基本変化系列情報としての複数の基本変化情報から生成されたハイパーチューブをあらかじめ記憶する基本変化情報予備記憶工程と、変化情報射影装置が、変化情報取得手段で取得された認識対象物の変化系列情報を特徴空間へ射影して射影変化情報を作成する変化情報射影工程と、変化状態比較手段が、変化情報射影装置で作成された認識対象物の射影変化情報と、あらかじめ記憶されたハイパーチューブとを比較して、認識対象物の変化状態を検出する変化状態比較工程と、を備え、複数の基本変化情報である複数の軌跡に基づいて代表軌跡を求め、代表軌跡と複数の軌跡との関係に基づいて、基本変化情報記憶手段が記憶するハイパーチューブが生成されていることを特徴とする。
【0024】
また、変化情報記憶手段は、基本変化予備記憶工程で、基本変化情報を、認識対象物の変化に応じて対応付けされた変化情報単位に分割した情報として、あらかじめ記憶しておく態様とすることもできる。
【0025】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、重複する説明は省略することがある。
【0026】
まず、本発明の第1の実施形態について説明する。図1は、本実施形態に係る変化情報認識装置のブロック構成図である。図1に示すように、本実施形態に係る変化情報認識装置1は、系列情報記憶装置11と、基本変化情報記憶装置12と、変化状態比較装置13とを備えている。
【0027】
系列情報記憶装置11は、図示しない本発明の変化情報取得手段である撮像装置となるカメラに接続されている。カメラでは、認識対象物となる口を含む顔を撮像している。撮像した人の口の画像は、一定時間の間隔をおいて、系列情報記憶装置11に出力される。系列情報記憶装置11では、これらの一定時間をおいて出力される複数の画像を系列情報J11として記憶する。
【0028】
基本変化情報記憶装置12には、あらかじめ人の口の形状がとり得るパターンが複数記憶されている。この口の形状がとり得るパターンについては、後に詳細に説明する。
【0029】
変化状態比較装置13には、系列情報記憶装置11から系列情報が出力され、基本変化情報記憶装置12から基本変化情報が出力される。変化状態比較装置13では、これらの系列情報および基本変化情報を比較することにより、口の形状の変化を検出して、口に相当する部分を検出する。さらに、変化状態比較装置13は、図示しない出力装置に接続されており、検出した口に相当する部分の位置を、変化情報の位置情報J12として出力装置に出力する。また、変化状態比較装置13では、口に相当する部分を検出するとともに、口の動きをも検出する。この検出した口の動きも、変化情報に対応する記号情報J13として図示しない出力装置に出力する。
【0030】
それでは、本実施形態に係る変化情報認識装置1による変化情報認識方法について説明する。本実施形態に係る変化情報認識装置1の系列情報記憶装置11には、図示しないカメラで撮影された、たとえば図2に示す口Mを含む顔Fの画像G1などの画像が順次出力される。系列情報記憶装置11では、これらの画像を記憶しておく。この画像が複数枚、たとえば8枚揃ったときに、これらの画像を系列情報としてまとめて、変化状態比較装置13に出力する。
【0031】
また、基本変化情報記憶装置12には、口の変化のパターンを表す画像情報が複数記憶されている。たとえば、図3(a)に示すt=1〜4の第1変化パターンが第1テンプレートP1として、図3(b)に示すt=1〜4の第2変化パターンが第2テンプレートP2として、基本変化情報記憶装置12にそれぞれ記憶されている。両変化パターンでは、ある時刻での画像がt=1の画像であり、一定時間経過した後の次の画像がt=2の画像であり、さらに一定時間経過した後の画像がt=3の画像であり、それからさらに一定時間経過した後の画像がt=4とされている。第1テンプレートP1で表される第1変化パターンでは、大きく開いた口Mの形状(「あ」の母音を発するときの口の形状)から、横に細長く開いた口Mの形状(「い」の母音を発するときの口の形状)に変化する状態を示している。また、第2テンプレートP2で表される第2変化パターンでは、大きく開いた口Mの形状(「あ」の母音を発するときの口の形状)から、縦長に開いた口Mの形状(「お」の母音を発するときの口の形状)に変化する状態を示している。
【0032】
変化状態比較装置13には、8枚の画像からなる系列情報の動画が系列情報記憶装置11から出力され、第1,第2変化パターンを示すテンプレートP1,P2が、基本変化情報記憶装置12から出力される。ここで、系列情報記憶装置11から出力された系列情報には図4に示す変化を示す領域が含まれていたとする。図4において、(a)〜(h)は、それぞれ時刻t=1〜8に相当する画像を示している。図4に示す画像に表示された形状の動きと、図3に示すテンプレートP1,P2の形状の動きとを比較すると、テンプレートP1の動きが、図5に示すように、図4(d)〜(g)に示す動きと一致していることがわかる。このことから、図5(d)〜(g)において破線Bで示した部分が口に相当する部分であるということを認識することができる。また、このときに、口は第1テンプレートP1に相当する動きをしていたことも同時に認識することができる。
【0033】
ここで、従来においては、たとえば図6(a)〜(f)に示すように、複数の口のテンプレートT1〜T6を用意しておき、撮像装置で撮像された画像をラスタスキャンして、テンプレートT1〜T6に相当する部分を口として検出するようにしていた。しかし、この方法では、画像の中に存在する壁のシミや背景の一部であって、口と類似する形状のものをも口として検出してしまう誤検出や、検出漏れなどの不都合が考えられた。
【0034】
これに対して、本実施形態に係る変化情報認識装置では、静止画のような瞬間的に切り取られた画像のみを対象とするのではなく、変化する形状の変形パターンを見つけるようにしているので、誤検出や検出漏れなどを少なくすることができる。しかも、口の位置とその変形の様子とを同時に同定することができる。なお、図3から図5は、説明を簡単にするために、口の動きに適用した形で説明を行った。しかし、特に口の動きに限定したものではなく、一般的な図形の変形であればどのような技術にも適用することができるものである。
【0035】
続いて、本実施形態の具体的な変化情報認識方法について説明する。図7は、本実施形態に係る変化情報認識方法の手順を示すフローチャートである。図7に示すように、本実施形態に係る変化情報認識方法では、まず、8枚ある画像のフレーム番号を表す定数f(f定義域=1〜8)およびそれらの画像を撮像した時刻を表す変数t(t定義域=1〜8)を初期化し(S1)、次に、2枚あるテンプレートP1,P2で表される変化パターンを表す変数d(d=1,2)を初期化する(S2)。続いて、第1変化パターンd=1における時刻t(以下「t(d)」と示す)=1のパターンの類似パターンを、最初のフレームf=1の画像から探し出し(S3)、時刻t(d)のパターンの類似パターンが見つかったか否かを判断する(S4)。
【0036】
その結果、類似パターンが見つかった場合には、変化パターンd=1用の記憶領域に時刻t(d)のパターンが見つかったこと、およびフレームf=1における類似パターンが見つかった位置を記憶する(S5)。そして、時刻t(d)=1に1を加算して、t(d)=2とする(S6)。それから、すべての変化パターンd(=1,2)において、類似パターンを探し出す処理が終了したか否かを判断する(S7)。
【0037】
一方、ステップS4において、類似パターンが見つからなかった場合には、ステップS7に進み、すべての変化パターンd(=1,2)を探し出す処理が終了したか否かを判断する。そして、ステップS7において、すべての変化パターンd(=1,2)を探し出す処理が終了していないと判断したら、変化パターンを進めて変化パターン(d+1)とし(S8)、ステップS3に戻って、フレームfの画像から類似のパターンを探す。また、すべての変化パターンが探し終わったと判断したら、次のフレームf+1に進む(S9)。
【0038】
こうして次のフレームに進んだら、すべてのフレームf(=1〜8)を処理し終わったか否かを判断する(S10)。その結果、すべてのフレームの処理が終わっておらず、処理が終わっていないフレームがあると判断したときには、ステップS2に戻って、処理を継続する。一方、すべてのフレームの処理が終わったと判断したときには、変化ごとの記憶領域の記憶されている情報から、検出された変化パターン(変化情報に対応する記号)とその位置を図示しない出力装置を介して出力する(S11)。このようにして、口の位置および口の動きを検出することができる。
【0039】
このように、本実施形態に係る変化情報認識装置1においては、静止画像でなく、動画によって表される画像の動きから認識対象物である口の位置を検出するようにしている。このため、図8(a)に示すように、静止画によるテンプレートを用いた従来の認識方法では、多数の口の候補C1,C2…を認識してしまう。これに対して、本実施形態に係る認識方法では、一定時間をおいて撮影した複数の画像から口Mの変化を検出しているので、図8(b)に示すように、候補C内に口Mを確実に認識することができる。しかも、口Mの動きを複数枚の画像に見られる変化で追従していることから、口Mの動きまでをも検出することができる。
【0040】
なお、本実施形態では、テンプレートP1,P2において、それぞれ時刻t=4として4つの時刻での画像を設定しているが、フレームの数は複数、すなわち2以上であればよい。たとえば、時刻t=2として、2つの時刻での画像からテンプレートを設定することもできる。
【0041】
次に、本発明の第2の実施形態について説明する。図9は、本実施形態に係る変化情報認識装置のブロック構成図である。図9に示すように、本実施形態に係る変化情報認識装置2は、上記第1の実施形態と同様の系列情報記憶装置21、基本変化情報記憶装置22、および変化状態比較装置23を備えている。このうち、系列情報記憶装置21および変化状態比較装置23は、上記実施形態における系列情報記憶装置11および変化状態比較装置13とそれぞれ同一の構成を有しており、基本変化情報記憶装置22は、上記第1の実施形態における基本変化情報記憶装置12とは、異なる構成を有している。
【0042】
本実施形態に係る基本変化情報記憶装置22は、複数の基本変化情報単位記憶装置24A,24B…を有している。各基本変化情報単位記憶装置24A,24B…には、認識対象物の変化に応じて対応付けされた変化情報単位に分割した情報である変化パターンが記憶されている。この変化パターンは、認識対象物の一連の変化パターンにおける最小の単位となる変化パターンである。たとえば、図10(a)に示すような時刻t=1〜7の間における変化パターンPがあるとする。この時刻t=1〜7に対応した一連の変化パターンにおいて、図10(b)に示すt=1〜4の変化が、図10(c)に示すt=1〜4(図10(a)のt=4〜7の変化に相当する)とは異なる意味を持った最小単位であることがある。たとえば、図10(a)におけるt=1〜4で「お」から「あ」に変化する口の形状を表し、t=4〜7で「あ」から「い」に変化する口の形状を表すような場合である。図10(b),(c)に示すt=1〜4のような変化が、それぞれ最小単位のテンプレートP3,P4として、各基本変化情報単位記憶装置24A,24B…に記憶されている。
【0043】
次に、本実施形態に係る変化情報認識方法について説明する。図11は、本実施形態に係る変化情報認識方法の手順の要部を示すフローチャートである。図11に示すように、本実施形態に係る変化情報認識方法では、上記第1の実施形態に係る認識方法と同様にして、系列情報記憶装置21において系列情報J21を取得して、たとえば8枚の画像からなる変化状態比較装置23に出力する。変化状態比較装置23では、出力された系列情報から各変化情報単位を検出する(21)。また、基本変化情報記憶装置22からは、変化状態比較装置23に対して、基本変化情報単位記憶装置24に記憶された基本変化情報単位を示すテンプレートP3,P4が出力される。
【0044】
変化状態比較装置23では、検出した変化情報単位と、基本変化情報記憶装置22から出力された基本変化情報単位のテンプレートP3,P4とを比較し、変化情報単位の連続性から一連の変化を検出する(S22)。たとえば、系列情報記憶装置21から出力された系列情報J21が、図12(a)〜(h)にそれぞれ示す8枚の画像であったとする。変化状態比較装置23では、これらの系列情報J21による画像と、基本変化情報記憶装置22から出力されたテンプレートP3,P4とを比較して、系列情報における一連の変化を検出する。
【0045】
いま、図12(a)〜(h)に示す系列情報を表す8枚の画像では、図12(a)〜(d)に示す画像における実線Rで囲む口Mの形状が、図10(b)に示すテンプレートP3の変化と同一の変化を示している。また、図12(d)〜(g)に示す画像における破線Bで囲む口Mの形状が、図10(c)に示すテンプレートP4の変化と同一の変化を示している。このことから、系列情報J21には、図10(a)に示す形状変化を行う認識対象物としての口があることが認識される。
【0046】
こうして認識された認識対象物である変化情報としての口は、その変化情報単位の位置情報J22として変化状態比較装置23から図示しない出力装置に出力される。それと同時に、変化情報単位に対応する記号情報J23が、変化状態比較装置23から図示しない出力装置に出力される。出力装置では、変化情報単位の位置情報から変化情報J24を取得し、変化情報単位に対応する記号情報J23から、変化情報に対応する記号情報J25を取得する。
【0047】
ここで、たとえば系列情報を表す画像に、図10(b)に示すテンプレートP3の形状変化と同一の形状変化が見られたとしても、その後に、図10(c)に示すテンプレートP4で表される形状変化と同一の形状変化が見られないことがある。この場合には、図10(a)に示す一連の変化は起こってはいないと判断することができ、その結果として誤検出を防止することができる。また、連続した変化情報単位の特定組み合わせをあらかじめ記憶していることから、任意の変化を少ない記憶容量で表現することができる。さらに、一連の変化を、その変化よりも小さい変化の単位に分割することにより、ロバストに変化の様子を検出ことが可能となり、さらには複雑な変化をより単純な変化の組み合わせで表現することができるので、実装が容易になるとともに、少ない記憶容量で複雑な変化を扱うことができる。
【0048】
次に、本発明の第3の実施形態について説明する。図13は、本実施形態に係る変化情報認識装置のブロック構成図である。本実施形態に係る変化情報認識装置は、口変形認識装置として用いることができる。図13に示すように、本実施形態に係る変化情報認識装置3は、動画記憶装置31、口基本変形情報記憶装置32、および口変形状態比較装置33とを備えている。
【0049】
動画記憶装置31は、図示しない動画撮像装置に接続されている。この動画撮像装置は、認識対象物となる口を含む顔の動画を撮像しており、動画撮像装置は、撮像した動画の動画情報J31を動画記憶装置31に対して出力している。
【0050】
口基本変形情報記憶装置32は、人の口の動きがとり得るパターンがあらかじめ記憶された複数の口基本変形単位記憶装置34A,34B…を有している。各口基本変形単位記憶装置34A,34B…には、口基本変形単位があらかじめ記憶されている。この口基本変形単位については、後に説明する。
【0051】
口変形状態比較装置33には、動画記憶装置31から口変形単位情報が出力され、口基本変形情報記憶装置32から口基本変形単位情報が出力される。口変形状態比較装置33では、これらの口変形単位情報と口基本変形単位情報とを比較することにより、口の動きを認識する。さらに、口変形状態比較装置33は、図示しない出力装置に接続されており、動画記憶装置31から出力された口変形単位の位置を口変形単位位置情報J32として出力装置に出力する。また、それと同時に、口変形単位に対応する記号情報J33を出力装置に出力する。
【0052】
また、口基本変形情報記憶装置32における口基本変形単位記憶装置34A,34B…には、口の変形パターンを示す動画に対応した口変形単位の形状およびその形状に対応する記号情報がそれぞれ記憶されている。人が発話を行う際の口の形状は、主に母音および撥音によって決定される。母音とは、「あ」「い」「う」「え」「お」の5音を指すものであるが、これに撥音である「ん」を加えて考えると、すべての発話はこれらの6音とそれ以外の5音への組み合わせとして表現することができる。図14は、上記の6音から他の5音へのすべての組み合わせについて、記号を割り当てたものを示す表である。
【0053】
図14に示すように、「あ」を1、「い」を2、「う」を3、「え」を4、「お」を5、「ん」を0とすると、たとえば「あ」から「い」への変形は「12」という記号で表される。図15には、「あ」の母音を発する口の形状から、「い」の母音を発する口の形状に至るまでの口の変形過程を模式的に示している。時刻t=1では、「あ」の音を発しており、口Mは大きく開いた状態にある。この状態から、時刻が進むにつれて、口が徐々に狭まるように変形していき、時刻t=8のときには、口Mが「い」の音を発する形状をなしている。このように、「あ」から「い」に変形するまでの口の変形をt=1〜8までの間で連続画像で示している。このような「あ」から「い」に変形するまでの口の変形を示す動画を、「あ」を表す記号「1」と「い」を表す記号「2」とを用いて、記号「12」で表す。
【0054】
この考え方を用いると、たとえば図16(a)に示すように、「おはようございます」という発話は、その母音だけをみると図16(b)に示すように、「おあおうおあいあう」となる。この発話に伴う口の変形は、上記の記号を用いると、図16(c)に示すように、51→15→53→35→51→12→21→13と表すことができる。口基本変形情報記憶装置32には、これらの記号に対応する口基本変形単位が各口基本変形単位記憶装置34A,34B…のそれぞれに記憶されている。
【0055】
従来、発話を認識する手段としては「あ」や「い」を表す口の形状を見つけるようなアプローチがなされていた。これに対して、本実施形態では、「あ」から「い」に至るまでに口の形状が変形する過程を、あらかじめ記憶される口基本変形記憶単位に対応させて捉えようとするものである。
【0056】
それでは、本実施形態に係る変化情報認識装置3による変形情報認識方法について説明する。図17は、本実施形態に係る変形情報認識方法の手順の要部を示すフローチャートである。本実施形態に係る変形情報認識方法では、まず、動画撮像装置で撮像した口を含む顔の動画が、動画撮像装置から動画記憶装置31に出力され、動画記憶装置31に記憶される。一方、口基本変形情報記憶装置32には、各口基本変形単位記憶装置34A,34B…において、口基本変形単位に対応する変化情報およびおよび口基本変形単位に対応する記号があらかじめ記憶されている。動画記憶装置31からは、口変形状態比較装置33に対して、動画が出力され、口基本変形情報記憶装置32からは、口変形状態比較装置33に対して口基本変形単位の変形情報および口基本単位に対応する記号が出力される。
【0057】
口変形状態比較装置33においては、動画記憶装置31から出力された動画および口基本変形情報記憶装置32から出力された口基本変形単位との比較を行い、動画における口変形単位が存在する位置および口変形に対応する記号を検出する(S31)。次に、一定時間経過した後の動画上において、口変形位置が存在する位置および口変形に対応する記号を検出する。続いて、検出された各口変形単位について、先に検出された口変形単位である第1の変形と、後に検出された口変形単位である第2の変形が同じ位置で行われていたか否かを判断する(S32)。
【0058】
その結果、同じ位置で検出されたものではないと判断したときには、ステップS31に戻って同様の処理を繰り返す。一方、同じ位置で検出されたものであると判断したときには、それらの第1の変形に対応する記号の終了を表す記号と、第2の変形に対応する記号の開始を表す記号とを比較し、両者が同じであるか否かを判断する(S33)。その結果、両者が同じではないと判断したときには、ステップS31に戻って、同様の処理を繰り返す。
【0059】
それに対して、たとえば、図18(a)に示すように、第1の変形では口Mがt=1〜8に示すように動き、対応する記号が12であり、第2の変形では口Mがt=8〜t15に示すように動き、対応する記号が23であったとする。これは、第1の変形では、発話を母音レベルで理解すると、口の形状が「あ」から「い」に変化したこと、および第2の変形では、口の形状が「い」から「う」に変化したことを意味している。このように、それらの第1の変形に対応する記号の終了を表す記号と、第2に変形に対応する記号の開始を表す記号とが同じである場合には、第1の変形と第2の変形との繋ぎにおける時間位置で、その記号に対応する音が発せられていたと考えられる。先の例でいえば、第1の変形に対応する記号の終了を表す記号と、第2の変形に対応する記号の開始を表す記号がいずれも「2」であり、同じである。このような場合には、第1の変形と第2の変形とは連続して行われたものであると判断することができる。
【0060】
そして、第1の変形に対応する記号の終了を表す記号と、第2に変形に対応する記号の開始を表す記号が同じである場合には、第1の変形と第2の変形との繋ぎにおける時間位置およびその記号をそれぞれ口変形単位位置情報J32および口変形単位に対応する記号情報J33として、図示しない出力装置に出力する(S34)。出力装置においては、口変形単位位置情報J32から口の位置情報J34を求め、口変形単位に対応する記号情報J33から、発話単語情報J35を求める。こうして、変化情報認識方法が終了する。
【0061】
このように、本実施形態に係る変化情報認識装置3においては、発話に伴う口の変形を、5種類の母音および1種類の撥音という6種類の音に対応する口の形から、その音以外の5種類の口の形への変形という単位に分割している。このため、入力した動画像から口の位置を検出するとともに、どの時点でどの音が発音されたかを確実に認識することができるので、発話認識装置として用いることができる。また、発音された音を連続して認識することで、発話された単語を認識することもできる。
【0062】
なお、本実施形態では、母音および撥音の6つの音から口基本変形単位を作成しているが、50音のすべてについて、口基本変形単位を作成する態様とすることもできる。この場合、日本語には濁音半濁音を含めて、68の音があるので、67×68の口基本変形単位を用いることになる。
【0063】
次に、本発明の第4の実施形態について説明する。図19は、本実施形態に係る変化情報認識装置のブロック構成図である。本実施形態に係る変化情報認識装置は、音声変化認識装置として用いることができる。図19に示すように、本実施形態に係る変化情報認識装置4は、波形解析装置41と、音声波形記憶装置42と、音声情報記憶装置43と、音声変化比較装置44と、を備えている。
【0064】
波形解析装置41は、図示しない音声取得手段となるたとえばマイクに接続されており、マイクでは、人が発話する際の音声を取得している。マイクは、取得した音声情報J41を波形解析装置41に出力する。波形解析装置41は、出力された音声情報J41を、たとえばウェーブレット変換することによって解析する。ウェーブレット解析によって得られた波形は、音声波形記憶装置42に出力される。音声波形記憶装置42は、出力された波形を記憶する。
【0065】
音声情報記憶装置43は、音声変化単位記憶装置45A,45B…を備えている。音声変化単位記憶装置45A,45B…には、音声変化単位としてあらかじめ記憶された基本音声変化単位およびそれに対応する記号がそれぞれ記憶されている。基本音声変化単位は、発話での任意の音素を発声したときの周波数の波形から別の任意の音素を発声したときの周波数への変化を表している。この基本音声変化単位は、たとえば図20に示す波形を有している。図20(a)は、ある音声を発したときの時刻t=1〜3に変化したときの波形をそれぞれの時刻で表すグラフ、(b)は他の音声を発したときの時刻t=1〜3に変化したときの波形をそれぞれの時刻で示すグラフである。各グラフは、横軸に周波数、縦軸に周波数ごとの強度を対応させている。図20(a),(b)に示すグラフは、音素から音素への変化を表す例であり、時刻t=1〜3ごとに示されるグラフのそれぞれに対応する音があり、t=1の時刻にある音素に対応する音が発せられ、t=2の波形を経てt=3の別の音素に対応する音が発せられたことを示している。
【0066】
音声変化比較装置44には、音声波形記憶装置42から音声波形情報が出力され、音声情報記憶装置43から基本音声変化単位およびそれに対応する記号が出力される。音声変化比較装置44では、これらの音声波形情報と基本音声変化単位とを比較することにより、音声を認識する。さらに、音声変化比較装置44は、図示しない出力装置に接続されており、検出した音声変化単位に対応する記号(以下「音声変化単位対応記号」という)情報J42を出力装置に出力している。
【0067】
それでは、本実施形態に係る変化情報認識装置4による変形情報認識方法について説明する。本実施形態に係る変化情報認識装置4では、マイク等で取得した音声情報J41をウェーブレット解析し、音声変化単位を作成する。この音声変化単位を、あらかじめ記憶している基本音声変化単位と比較することにより、音声の変化を認識するものである。たとえば、音声変化情報がマイクから取得され、波形解析装置41に出力されたとする。波形解析装置41では、図21に示すように、音声変化情報を、ある一定のフレーム間隔、たとえば10msecの間隔をおいて、一定のフレーム長、たとえば30msecの長さのフレーム長に切り取り、複数の音声変化単位を作成する。図22(a)〜(h)には、t1〜t8の時間の8つに切り取られた音声変化情報から作成された音声変化単位の波形がそれぞれ示されている。
【0068】
このような音声変化単位の波形を作成したら、これらの音声変化単位と、音声情報記憶装置43に記憶されている図20に示す基本音声変化単位とを比較する。その結果、図22(a)〜(h)に示す音声変化単位のうちに、図20に示す基本音声変化単位と同一の波形を有する部分があったときに、基本音声変化単位を表す音声が発声されていると判断することができる。図22に示す例では、図23に示すように、図23(e)〜(g)の波形(t=5〜7の波形)が、図20(a)に示す波形(t=1〜3の波形)と一致している。したがって、この部分で図20(a)に示す基本音声変化単位に対応する音声と同一の音声を発声していることがわかる。このように、音声変化単位と基本音声変化単位とを比較して、一致または類似する部分がある場合に、基本音声変化単位に対応する音声を発声していることがわかる。
【0069】
続いて、本発明の具体的な変化情報認識方法について説明する。図24は、本実施形態に係る変形情報認識方法の手順を示すフローチャートである。変化情報認識装置4の波形解析装置41には、図示しないマイク等から取得された音声情報が出力される。波形解析装置41では、これらの音声をウェーブレット解析し、たとえば図22に示す8つの波形に分割して、8つのフレームからなる音声変化単位を作成する。波形解析装置41は、作成した音声変化単位を音声波形記憶装置42に出力する。音声波形記憶装置42では、これらの音声変化単位を記憶しておく。
【0070】
また、音声情報記憶装置43には、複数の基本音声変化単位が記憶されている。そして、音声波形記憶装置42は、記憶している音声変化単位を音声変化比較装置44に出力し、音声情報記憶装置43は、記憶している基本音声変化単位およびそれに対応する記号を音声変化比較装置44に出力する。音声変化比較装置44では、音声波形記憶装置42から出力された音声変化単位および音声情報記憶装置43から出力された基本音声変化単位を比較する。
【0071】
両者の比較を行うにあたり、まず、音声変化単位のフレーム番号を表す変数およびその時刻を表す変数を初期化しフレームf=1、時刻t=1とする(S41)。次に、基本音声変化情報を表す変数を初期化して、変化パターンd=1とする(S42)。
この変化パターンとしては、図20(a),(b)に示す2つの変化パターンを含む複数の変化パターンが記憶されている。その数は音素の数に基づいて定められ、たとえば音素数がnである場合には、変化パターン数をn×(n−1)とすることができる。
【0072】
次に、変化パターンd=1における時刻t(d)=1の波形と、音声変化単位におけるフレームf=1の波形の類似度を算出する(S43)。その結果、類似度が一定値以上であるか否かを判断し(S44)、類似度が一定値以上であると判断したときには、変化パターンd用の記憶領域に、時刻t(d)の波形が見つかったこと、見つかった時刻(またはフレーム番号)を記憶する(S45)。そして、次の時刻t=2には、t(d)=2のパターンを対象とする旨を記憶しておく。それから、変化パターンd=1における時刻t(d)=1に1を加算して、t(d)+1(=2)とする(S46)。それから、すべての変化パターンにおいて、類似パターンが探し終わったか否かを判断する(S47)。ここでは、図20(b)に示す変化パターンd=2についての処理が終わってないので、類似パターンを探し終わっていないと判断し、次の変化パターンを加算してd+1とする(S48)。
【0073】
こうして、すべての変化パターンについて、類似パターンが探し終わり、ステップS47ですべての変化パターンを探し終わったと判断したときには、フレームf=1に1を加算して、次のフレームf+1(=2)とする(S49)。それから、すべてのフレームf(=1〜8)についての処理が終了したか否かを判断を行う(S50)。その結果、処理が終了していないと判断したときには、ステップS42に戻って、再度変化パターンの初期化を行い、類似度の計算を行う(S43)。一方、すべてのフレームf(=1〜8)での処理が終了したと判断したら、変化パターンごとに記憶領域に記憶されている情報から、検出された変化パターンを出力する(S51)。このようにして、変化パターンを処理することにより、たとえば図22に示す音声変化単位から、図20(a)に示す基本音声変化単位を検出することができる。
【0074】
こうして、音声変化単位が検出されたら、図25に示す処理を行うことにより、発話の内容を認識することができる。図25は、本実施形態に係る音声認識の手順を示すフローチャートである。
【0075】
図24に示すフローチャートにしたがって、音声変化単位を検出したら、図25に示すように、入力された音声変化単位から、この音声変化単位対応記号情報J42(図19)を図示しない出力装置に出力する(S52)。出力装置では、音声変化比較装置44から出力された音声変化単位対応記号情報J42を参照し、複数出力される音声変化単位に対応する記号のうち、第1音声変化単位対応記号と、第2音声変化単位対応記号が時間的に連続しているか否かを判断する(S53)。
【0076】
その結果、時間的に連続していないと判断したときには、ステップS52に戻って同様の処理を繰り返す。一方、時間的に連続していると判断したときには、第1音声変化単位対応記号の終了を表す記号と、第2音声変化単位対応記号の開始を表す記号が同じであるか否かを判断する(S54)。たとえば、第1音声変化単位対応記号が音素Aから音素Bに変化するものであり、第2音声変化単位対応記号が音素Bから音素Cに変化するものである場合には、第1音声変化単位対応記号の終了を表す記号と第2音声変化単位対応記号の開始を表す記号とが一致すると判断する。また、たとえば第1音声変化単位対応記号が音素Aから音素Bに変化するものであり、第2音声変化単位対応記号が音素Aから音素Cに変化するものである場合には、第1音声変化単位対応記号の終了を表す記号と第2音声変化単位対応記号の開始を表す記号とが一致しないと判断する。
【0077】
その結果、第1音声変化単位対応記号の終了を表す記号と第2音声変化単位対応記号の開始を表す記号とが一致しないと判断した場合には、ステップS52に戻って同様の処理を繰り返す。一方、第1音声変化単位対応記号の終了を表す記号と第2音声変化単位対応記号の開始を表す記号とが一致していると判断したときには、第1音声変化単位対応記号と第2音声変化単位対応記号との間繋ぎ目の時間位置と対応する記号を出力する(S55)。上記の例でいえば、第1音声変化単位対応記号と第2音声変化単位対応記号の間には音素Bがあると判断する。
【0078】
このような処理を繰り返すことにより、発話単語をT43(図19)を認識することができる。
【0079】
このように、本実施形態に係る変化情報認識装置4においては、取得した音声を音声変化単位に分割し、基本音声変化単位との比較を行って音声を検出している。このため、発話された単語等を確実に認識することができる。
【0080】
次に、本発明の第5の実施形態について説明する。本実施形態では、変化情報として、ジェスチャ認識、歩行者認識、表情認識のような体の各部位の移動および変形に伴う体変化の認識を対象とする。
【0081】
図26は、本実施形態に係る変化情報認識装置のブロック構成図である。図26に示すように、本実施形態に係る変化情報認識装置5は、動画記憶装置51と、体変化情報記憶装置52と、体変化比較装置53と、を備えている。この変化情報認識装置5は、体変化認識装置、歩行者認識装置、表情認識装置などとして用いることができる。
【0082】
動画記憶装置51は、図示しない動画撮像装置に接続されている。この動画撮像装置は、認識対象物となる人の体の動画を撮像しており、動画撮像装置は、撮像した動画情報J51を動画記憶装置51に出力している。
【0083】
体変化情報記憶装置52は、人の体の動きがとり得るパターンがあらかじめ記憶された複数の体変化単位記憶装置54A,54B…を有している。体変化単位記憶装置54A,54B…には、人の体の動きを表す基本体変化単位があらかじめ記憶されている。
【0084】
体変化比較装置53には、動画記憶装置51から体変化単位情報が出力され、体変化情報記憶装置52から基本体変化単位情報が出力される。体変化比較装置53では、これらの体変化単位情報と基本体変化単位情報とを比較することにより、人の体の動きを認識する。さらに、体変化比較装置53は、図示しない出力装置に接続されており、動画記憶装置51から出力された画像上における人の体の位置を体変化単位の位置情報J52として出力装置に出力する。また、それと同時に、体変化単位に対応する記号情報J53を出力装置に出力する。出力装置においては、体変化単位の位置情報J52から口の位置情報J54を求め、体変化単位に対応する記号情報J53から、体動作の識別情報J55を求める。
【0085】
体変化単位記憶装置54A,54B…には、人の動きを示す動画に対応した手、足、腕などの変化を示す基本体変化単位の形状およびその形状に対応する記号情報がそれぞれ記憶されている。たとえば、図27には、ジェスチャ認識に用いる基本体変化単位の時刻t=1〜8における画像の例を示している。図27(a)〜(h)に示す基本体変化単位の例では、t=1の時点で右手を開いた様子を示しており、その手を開いた状態から開始してt=8の時点でその手を閉じるまでの様子を連続的に示している。
【0086】
本実施形態に係る変化情報認識装置5においては、上記第3の実施形態に係る変化情報認識装置3による変化情報認識方法と同様の方法により、人の体の位置およびその体の動作(体動作)を認識することができる。具体的には、上記第3の実施形態における口基本変形情報記憶装置32を本実施形態の体変化情報記憶装置52、口変形状態比較装置33を体変化比較装置53に置き換え、図17に示すフローチャートと同様の手順による処理を行うことにより、体変化単位の位置および体動作を認識することができる。
【0087】
こうして、動画撮像装置から出力された動画像に基づいて、手や腕の位置と、ジェスチャに対応する記号を得ることができ、その記号からどのようなジェスチャ指示がなされているかを識別することができる。
【0088】
また、変化情報認識装置5により、動画像上における歩行者の位置およびその動作を認識することもできる。図28には、歩行者認識に用いる基本体変化単位の時刻t=1〜10における画像の例を示している。図28(a)〜(j)に示す基本体変化単位の例では、t=1の時点における歩行者の姿勢を示しており、その姿勢から開始してt=10の時点における歩行者の姿勢に至るまでの動作を連続的に示している。これら図28(a)〜(j)に示される歩行者の画像は、体変化情報記憶装置52における体変化単位記憶装置54A,54B…にそれぞれあらかじめ記憶されている。
【0089】
図28に示す例では、上記第3の実施形態に係る変化情報認識装置3と同様の方法により、人の歩行動作(体動作)を認識することができる。この場合も、図17に示すフローチャートと同様の手順による処理を行うことにより、体変化単位の位置および体動作を認識することができる。こうして、動画撮像装置から出力された動画像に基づいて、歩行者の位置と、歩行者の動作状況を識別することができる。
【0090】
また、図示はしないが、本実施形態に係る変化情報認識装置5により、人の表情の変化を認識することもできる。人の感情には喜怒哀楽があり、人は、それらの感情に応じた表情または無感情な表情をとる。このように、喜怒哀楽および無表情に対応する顔の5つの画像から、無表情から喜び、怒りから悲しみといった5×4の変化情報単位を用意することにより、動画像における顔の位置およびその顔の表情をも認識することができる。
【0091】
次に、本発明の第6の実施形態について説明する。本実施形態では、認識対象物となる物体が回転したとき、回転する物体の位置とその回転に伴う変化を認識の対象とする。
【0092】
図29は、本実施形態に係る変化情報認識装置のブロック構成図である。図29に示すように、本実施形態に係る変化情報認識装置6は、動画記憶装置61と、回転情報記憶装置62と、回転物体比較装置63と、を備えている。この本実施形態に係る変化情報認識装置6は、回転物体認識装置として用いることができる。
【0093】
動画記憶装置61は、図示しない動画撮像装置に接続されている。この動画撮像装置は、認識対象物となる回転する認識対象物、たとえば人の頭の動画を撮像している。この動画撮像装置は、撮像した動画情報J61を動画記憶装置61に出力している。
【0094】
回転情報記憶装置62は、回転する認識対象物の回転パターンがあらかじめ記憶された複数の回転単位記憶装置64A,64B…を有している。回転単位記憶装置64A,64B…には、認識対象物の回転を表す基本回転単位があらかじめ記憶されている。
【0095】
回転物体比較装置63には、動画記憶装置61から回転単位情報が出力され、回転情報記憶装置62から基本回転単位情報が出力される。回転物体比較装置63では、これらの回転単位情報と基本回転単位情報とを比較することにより、たとえば人の頭の回転に伴う変化を認識する。さらに、回転物体比較装置63は、図示しない出力装置に接続されており、動画記憶装置61から出力された画像上における人の頭の位置を回転単位の位置情報J62として出力装置に出力する。また、それと同時に、回転単位に対応する記号情報J63を出力装置に出力する。出力装置においては、回転単位の位置情報J62から回転物体である人の頭の位置情報J64を求め、回転単位に対応する記号情報J63から、回転の識別情報J65を求める。
【0096】
回転単位記憶装置64A,64B…には、人の頭の回転を示す動画に対応した頭の向きの変化を示す回転変化単位の形状およびその形状に対応する記号情報がそれぞれ記憶されている。図30(a)〜(l)は、人形の頭部が回転する際の画像を模式的に示している。このうち、図30(a)〜(e)に示す0度から始まって120度に到達するまでの回転を第1回転、図30(e)〜(i)に示す120度から始まって240度に到達するまでの回転を第2回転、図30(i)〜(l)を経て(a)に戻るまでに示す240度から始まって360度(0度)に到達するまでの回転を第3回転とする。逆に、図30(a)から始まり、図30(l)〜(i)に至るまでに示す360度(0度)から始まって240度に到達するまでの回転を第4回転、図30(i)〜(e)に示す240度から始まって120度に到達するまでの回転を第5回転、図30(e)〜(a)に示す120度から始まって0度に到達するまでの回転を第6回転とする。これらの第1回転から第6回転までの画像およびそれに対応する記号が、回転単位記憶装置64A,64B…にそれぞれ記憶されている。
【0097】
本実施形態に係る変化情報認識装置6においては、上記第3の実施形態に係る変化情報認識装置3による変化情報認識方法と同様の方法により、回転する認識対象物からなる回転単位の位置およびその回転動作を認識することができる。具体的には、上記第3の実施形態における口基本変形情報記憶装置32を本実施形態の回転情報記憶装置62、口変形状態比較装置33を回転物体比較装置63に置き換え、図17に示すフローチャートと同様の手順による処理を行うことにより、回転単位の位置および回転動作を認識することができる。
【0098】
こうして、動画撮像装置から出力された動画像に基づいて、回転する認識対象物の位置と、回転単位に対応する記号を得ることができ、その記号からどのような回転状態となっているかを識別することができる。
【0099】
次に、本発明に第7の実施形態について説明する。図31は、本実施形態に係る変化情報認識装置のブロック構成図である。図31に示すように、本実施形態に係る変化情報認識装置7は、学習装置71と認識装置72とを備えている。学習装置71には、特徴空間生成装置73が設けられており、学習装置71と認識装置72とのそれぞれに用いる射影装置74が設けられている。
【0100】
学習装置71における特徴空間生成装置73には、あらかじめ用意された学習用系列情報J71が入力されている。特徴空間生成装置73には、学習用系列情報J71をサンプル用としてたとえば30程度用意されており、特徴空間生成装置73は、これらの学習用系列情報J71から特徴空間を生成する。
【0101】
射影装置74は、特徴空間生成装置73および図示しない動画撮像装置に接続されている。特徴空間生成装置73は、特徴空間を生成するための特徴空間生成情報を射影装置74に出力する。また、図示しない動画撮像装置は、認識対象物となる口を含む顔の動画を撮像しており、撮像された顔の動画像が認識用系列情報J72として動画撮像装置から出力される。射影装置74は、動画撮像装置から出力された顔の動画像(認識用系列情報J72)から、この動画像を特徴空間に射影して得られる射影軌跡を生成している。
【0102】
また、学習装置71には、特徴空間に、後に説明するチューブ状のモデル(以下「ハイパーチューブ」という)を生成するハイパーチューブ生成装置75が設けられており、学習装置71および認識装置72のそれぞれに用いるハイパーチューブ記憶装置76が設けられている。さらに、認識装置72には、特徴空間におけるハイパーチューブの変化を認識する系列比較装置77が設けられている。射影装置74は、ハイパーチューブ生成装置75および系列比較装置77に動画像の射影軌跡を射影軌跡情報として出力する。
【0103】
ハイパーチューブ生成装置75は、射影装置74から出力された動画像の射影軌跡情報から、特徴空間におけるハイパーチューブを生成し、ハイパーチューブ情報としてハイパーチューブ記憶装置76に出力する。ハイパーチューブ記憶装置76では、ハイパーチューブ生成装置75から出力されたハイパーチューブ情報およびそれぞれのハイパーチューブに対応する記号を記憶している。また、ハイパーチューブ記憶装置76は、記憶しているハイパーチューブ情報およびそれに対応する記号を系列比較装置77に出力する。系列比較装置77では、射影装置74から出力された射影軌跡およびハイパーチューブ記憶装置76から出力されたハイパーチューブ情報を比較することにより、変化情報単位の位置およびそれに対応する記号を求める。それから、それぞれ変化情報単位位置情報J73および変化情報対応記号情報J74として、それぞれ図示しない出力装置に出力する。
【0104】
本実施形態に係る特徴空間生成装置73では、画像から所定の特徴量を取り出して特徴空間で表現している。たとえば、1枚の画像の特徴量が3次元ベクトルで表現される場合、1枚の画像は三次元空間上の1点として表現される。この前提のもと、たとえば図32(a)〜(i)に示す「ん」から「あ」を発話する口の動きを示す9枚の画像を連続させた動画像を入力し、それらの9枚の画像をそれぞれ三次元空間上にプロットする。すると、図33に示すように、この動画像を表す9枚の各画像は、それらの各画像の点をその時間順に結んだ特徴空間上の軌跡として表現される。
【0105】
この特徴量は特に限定されるものではないが、たとえば主成分分析によって得られた上位固有値に対応する固有ベクトルを基底とする空間(固有空間)への射影成分とすることができる。たとえば、いま、画像をベクトルとみなすと、縦16×横16画素の濃淡画像は、各要素に濃淡値を持つ16×16=256次元のベクトルとして表現することができる。そこで、ベクトルとして表現された多数の画像を学習用系列情報J71とし、これらの学習用系列情報J71におけるベクトルの分散共分散行列を求め、その固有ベクトルと対応する固有値を求める。そして、固有値の値の大きい方から3つの固有ベクトルを取り出し、これらの3つのベクトルが張る空間を特徴空間(固有空間)とする。そして、学習用系列情報J71における256次元のベクトルデータを、この特徴空間に射影したときの成分を各軸の値として持つ点を考えると、ある256次元空間の1点として表現できる1枚の画像は、三次元空間の1点として表現することができる。
【0106】
この点について、さらに具体的に説明すると、たとえば学習用系列情報J71として、図14に示す30パターンの変形単位の動画像を表す複数の画像を複数の人数分用意する。そのうちの1つのパターンである変形単位、たとえば記号12で表される変形単位の場合では、「あ」を発音したときの口の形から、「い」を発音したときの口の形まで変形する口の形の変形を連続的に数枚の画像で表現する。このような図14に示す30パターンの変形単位について、複数人数分の学習用系列情報J71を用意し、これらの学習用系列情報J71から特徴空間(固有空間)を求める。
【0107】
ここで求められた特徴空間は、学習用系列情報J71を用いた口画像をより少ない情報量として表現することができる空間となっている。この特徴空間では、見かけ上わずかな違いしかない変形をしている画像は、特徴空間の中では互いに近い位置の点に射影される。
【0108】
次に、ハイパーチューブの生成について説明する。
【0109】
特徴空間生成装置73で特徴空間が生成された後、射影装置74には学習用系列情報J71が出力される。射影装置74では、生成された特徴空間に学習用系列情報J71を射影して射影軌跡を生成する。図34は、三次元の特徴空間を示しており、この特徴空間に、たとえば「ん」→「あ」の変形を示す折れ線C1、「ん」→「い」の変形を示す折れ線C2、「ん」→「う」の変形を示す折れ線C3、「ん」→「え」の変形を示す折れ線C4、「ん」→「お」の変形を示す折れ線C5それぞれが描く軌跡が示されている。そして、これらの軌跡を滑らかな曲線として表現する。
【0110】
ところで、当然のことながら、同じ音を発している場合でも、人によって口の形は微妙に異なっているし、口の開き方や口の形も微妙に違う。したがって、同じ発話であっても特徴空間に描かれる軌跡はまったく同じものにはならず、適当なばらつきを持っていることになる。たとえば図35に示す曲線では、複数の人(6人)がある発話を行った際の口の動きを特徴空間に射影した際の曲線C1〜C6を示している。これらの複数の曲線C1〜C6に見られるように、特徴空間に描かれる軌跡はまったく同じものにはならず、適当なばらつきを持っている。
【0111】
そこで、図36に示すように、同じ変形を表す複数の軌跡を代表する曲線CCを1つ設定し、その代表軌跡のまわりのばらつきを円E1,E2…の半径で表現すると、ちょうどチューブ状のモデルを構成することができる。このチューブ状のモデルをハイパーチューブHTとすることができる。
【0112】
このハイパーチューブHTは、同一の変形を表すものであるが、個人差などによって生じるばらつきを確率的に表現したモデルとであると考えることができる。このハイパーチューブHTを生成する際の代表の軌跡CCを求めるには、図35に示すような同一の変形を表す複数の軌跡C1〜C6などを平均したものとすることもできるし、別の適当な計算方法を採用することもできる。また、ばらつきを表す円の半径は、代表軌跡上の各点の進行方向とは垂直の方向にある各軌跡上の点までの距離の分散σ2を求めた上でそのばらつきを正規分布とみなして95%点である1.96σを半径とすることもできるし、他の方法を用いて求めてもよい。
【0113】
こうして生成したハイパーチューブHTを特徴空間上に1つまたは複数配置しておく。複数のハイパーチューブHTを配置した場合、1つのハイパーチューブは1つの変形に対応することになる。図37に複数のハイパーチューブを配置した特徴空間を示すが、たとえばハイパーチューブHT1はある変形A、たとえば発話時の「あ」から「い」への変形を表し、ハイパーチューブHT2は、別の変形B、たとえば発話時の「う」から「え」への変形を表している。図37中では、ハイパーチューブはHT1,HT2の2つが存在している。図中のa,b,cは、射影装置74から出力された動画像の射影軌跡情報に相当する。
【0114】
続いて、本実施形態に係る変化情報認識装置7による変化情報認識方法について説明する。ここでは、まず、ハイパーチューブを生成する手順について説明する。図38は、本実施形態に係る変化情報認識方法のうち、ハイパーチューブを生成する手順を示すフローチャートである。学習装置71には、あらかじめ多くの変化情報を学習させてハイパーチューブを生成させる。認識装置72では、そのハイパーチューブを利用して、変化情報の認識を行う。ハイパーチューブを生成するための学習用系列情報J71となる動画像はある音を発音したときの口の形から、別の音を発音したときの口の形への変形を連続して時間順に並べたものである。これを一つの変形単位とすると、認識したいすべての変形分の学習用系列情報J71を複数人数、たとえば300人分それぞれの変化分について用意する(S71)。変化単位のパターン数は、図14に示したとおり30パターンが必要である。このパターン数は、認識する対象と認識の詳細さによって適宜規定することができる。たとえば、変化情報認識装置7を音声認識装置として用いて音声認識を行う場合、音素の数が29であれば、とり得る変形のパターンは29×28の812パターンとなる。
【0115】
次に、300人分用意した学習用系列情報J71から、特徴空間生成装置73を用いて特徴空間を生成する(S72)。特徴空間の生成は次のように行われる。一般に、画像の画素ごとの色や濃淡値をそのまま扱おうとすると、情報量が多すぎて計算時間が掛かり過ぎたり、認識には不必要な余計な情報が含まれていたりするために、これらのことが問題となることが多い。そこで、画像から何らかの特徴量を取り出して処理をすることが一般的である。本実施形態では、画素ごとの濃淡値を特徴量として利用する。いま、1枚の画像の画素数をnとすると、上記のとおり、濃淡画像の場合には画素ごとの濃淡値(特徴量)を要素として持つn次元のベクトルとして表現することができ、それはn次元空間上の1点として表される。ここで、画像から取り出された特徴量がm次元ベクトルで表されるとし、m<nであるならば、n次元の情報量を持つ1枚の画像は、特徴量抽出によりm次元に圧縮され、m次元空間上の1点として表すことができる。特徴空間生成装置73では、このm次元の空間を張るm本の軸を求める。本実施形態では、3本の軸を求めて3次元空間を生成した場合について説明する。
【0116】
特徴空間を求めるにはさまざまな方法があるが、本実施形態では、固有空間を特徴空間としている。固有空間とは、主成分分析により求められた固有ベクトルと固有値のペアのうち、固有値大きい方からm個の固有ベクトルが張る空間をいう。1枚の画像をn次元のベクトルとみなし、ここではその画像のベクトルをxと示す。固有空間を求めるには、最低2枚の画像のベクトルが必要であるが、画像が多量にあることが望ましい。これらの複数の画像におけるそれぞれのベクトルxを入力して分散共分散行列を、下記(1)式によって算出する。
【0117】
S=E[(x−mx)(x−mx)T] ・・・(1)
ここで、mxは、複数のベクトルxの平均ベクトルで、mx=E[x]と定義される。
【0118】
次に、(2)式に示す固有値問題を解く。
【0119】
Suj=λjuj ・・・(2)
上記(2)式において、求めるべき固有空間の次元をm次元とすると、固有値の大きさを比較し、大きい方からm個の固有値に対応する固有ベクトル[u1,u2,・・・,um]によって張られる空間が特徴空間となる。本実施形態では、3次元の固有空間を生成する(m=3)ので、固有ベクトル[u1,u2,u3]から3次元の固有空間を生成する。
【0120】
こうして特徴空間を生成したら、射影装置74には、学習用系列情報J71が出力されるとともに、特徴空間生成装置73から特徴空間生成情報である固有ベクトルu(=[u1,u2,・・・,um])が出力される。射影装置74では、動画像を特徴空間に射影して得られる射影軌跡を生成する。この射影軌跡としては、上記固有ベクトルuを利用し、学習用系列情報J71の画像におけるn次元ベクトルxを下記(3)式によって変換されてなるm次元特徴ベクトルyを用いることができる。
【0121】
y=[u1,u2,・・・,um]Tx ・・・(3)
上記のように、本実施形態では、m=3としているので、3次元特徴ベクトルyとする。
【0122】
こうして特徴空間および3次元特徴ベクトルを生成したら、特徴空間生成装置73は特徴空間をハイパーチューブ生成装置75に出力し、射影装置74は、3次元特徴ベクトルをハイパーチューブ生成装置75に出力する。ハイパーチューブ生成装置75では、出力された特徴空間および3次元特徴ベクトルに基づいて、ハイパーチューブを生成する。ハイパーチューブを生成する前提として、1枚の画像は3次元特徴空間上の1点に射影されることになるので、一連の変形を表す画像列はその3次元特徴空間上の点の軌跡として表すことができる。ここで、学習用系列情報J71が、複数の変形単位ごとに用意されているので、射影装置74からは、学習用系列情報J71の数に対応する複数の3次元特徴ベクトル列が出力される。ハイパーチューブ生成装置75では、これらの複数の3次元特徴ベクトル列を、射影前の学習用系列情報J71における変形単位ごとに分類する(S73)。続いて、射影前の学習用系列情報J71における変形単位ごとに分類された3次元特徴ベクトル列を、それらの変形単位ごとに特徴空間にプロットする、変形単位の数に対応した複数の軌跡を求める(S74)。これらの軌跡は、たとえば図35に示す曲線C1〜C6で表される。
【0123】
こうして、特徴空間における複数の軌跡を求めたら、これらの複数の軌跡を代表する代表軌跡を求める(S75)。代表軌跡は、様々の方法により求めることができるが、ここでは得られる複数の軌跡の平均を採用する方法について説明する。いま、各軌跡は同一の種類の変形を表す軌跡であるので、特徴空間上ではおおむね似た軌跡を描く。しかし、同一の種類の変形を表す場合でも、その系列を構成する3次元特徴ベクトルの数と配置は同じとは限らない。いま、特徴空間に3次元特徴ベクトルをプロットした点をつないで形成した3つの軌跡の例を図39(a)に示す。図39に示す例では、同一の変形を示す3つの軌跡C11〜C13を示しており、軌跡C11は、特徴空間にプロットされた6つの点P11〜P16をつないで形成されている。これに対して、軌跡C12は、特徴空間にプロットされた5つの点P21〜P25を、軌跡C13は、特徴空間にプロットされた5つの点P31〜P35をそれぞれつないで形成されている。
【0124】
そこで、各軌跡が同数の点から構成されるように、各軌跡C11〜C13上の点をプロットし直す再設定を行う。各軌跡C11〜C13上の点をプロットし直す方法としては、スプライン曲線法などのさまざまな方法があるが、ここでは、単純に軌跡C11〜C13を、それぞれが同じ距離比率となるように設定する。そのため、図40に示すように、各軌跡C11〜C13をそれぞれ7つの点から構成されるように、点を配置しなおしている。こうして、軌跡C11上には点P41〜P47、軌跡C12上には点P51〜P57、軌跡C13上には点P61〜P67がそれぞれ配置された形になる。
【0125】
そして、これらの各軌跡C11〜C13について、それぞれ順番が対応する点の座標値の平均を算出し、この座標値の平均にあたる点をそれぞれプロットして、これらの点をつなぎ合わせる。具体的には、軌跡C11における点P41、軌跡C12における点P51、軌跡C13における点P61の座標の平均値を計算して、点P71の座標を算出する。同様に、点P42,P52,P62の座標から点P72の座標、点P43,P53,P63の座標から点P73の座標、点P44,P54,P64の座標から点P74の座標を算出する。また、点P45,P55,P65の座標から点P75の座標、点P46,P56,P66の座標から点P76の座標、点P47,P57,P67の座標から点P77の座標をそれぞれ算出する。こうして求められた各点P71〜P77をつなぎ合わせることにより、代表軌跡CCを生成することができる。
【0126】
こうして、代表軌跡を求めたら、代表軌跡の各点について、その周囲の軌跡までの距離の分散を求める(S76)。この分散は、代表軌跡CC上の各点P71〜P77における代表軌跡CMの進行方向と直交する方向に超平面を仮定し、この超平面と各軌跡C11〜C13とが交差したとの距離の分散によって求めることができる。なお、本実施形態では3次元空間の例を示しているので、超平面ではなく二次元の平面であるが、説明の容易のため、以降も超平面と記述する。この点について、図41を用いて説明すると、代表軌跡CM上の点P72における代表軌跡CMの進行方向と直交する超平面SP2を仮定する。この超平面SP2と、各軌跡C11〜C13とが交差する各点P42A,P52A,P53Aを求める。そして、点P72と点P42Aとの距離、点P72と点52Aとの距離、および点P72と点62Aとの距離の分散を求める。そして、この分散を、たとえば下記(4)式に示す関数における引数xに代入する。
【0127】
f(x)=1.96(x)1/2 ・・・(4)
なお、ここで用いた係数の1.96は、係数の一例である。
【0128】
そして、図42に示すように、この(4)式における引数xとして求めたf(x)を入力した値を半径とする円E2を超平面SP2上に設定する。また、代表軌跡CC上におけるその他の各点P71、P73〜P77についても、同様の処理によって超平面SP1,SP3〜SP7を求め、その上に図36に示すような円E1,E3〜E7を求める。こうして、分散を引数とした関数の値を半径とする円E1〜E7を各点P71〜P77に設定して(S77)、これらの円E1〜E7をつなげることにより、図36に示すようなハイパーチューブHTを生成することができる。
【0129】
このようにしてハイパーチューブを生成した後に、認識処理を行うことができるようになる。続いて、ハイパーチューブを用いた変化認識の処理について説明する。図43は、本実施形態に係る変化情報認識方法の手順を示すフローチャートである。
【0130】
まず、図示しない動画像撮像において、認識対象物となる人の口を含む顔の動画像を撮像し、認識用系列情報として射影装置74に出力する。射影装置74においては、入力された動画像に対して、適当な大きさのウィンドウを設定する(S81)。ウィンドウを設定したら、このウィンドウに合わせて、出力された動画像の一部を切り取る(S82)。このようにして動画像の一部を切り取ることにより、ウィンドウの大きさに切り取られた動画を得ることができる。続いて、切り取ったウィンドウの大きさを適宜拡大縮小し、最終的に動画の大きさを学習用画像(学習用系列情報J71作成する際に用いる画像)の大きさに合わせる(S83)。こうして、大きさを調整されたウィンドウにおける動画を、特徴空間生成装置73で生成した特徴空間上に、ハイパーチューブを作成したのと同様の手順によって、その軌跡として写像し、入力系列軌跡を生成する(S84)。こして生成した入力系列軌跡は、系列比較装置77に出力される。また、系列比較装置77には、ハイパーチューブ記憶装置76に記憶されている複数のハイパーチューブおよびそのハイパーチューブに対応する記号が出力される。
【0131】
系列比較装置77では、射影装置74から出力された入力系列軌跡およびハイパーチューブ記憶装置76から出力されたハイパーチューブを比較し、両者の適合度を求める(S85)。両者の適合度は次のようにして求めることができる。上述のように、ハイパーチューブHTは、同一の変形に対して生じる個体差を確率的に表現したモデルである。このモデルは、代表軌跡CC上の各位置についてそのばらつきを円の半径で表現した確率密度関数とみなすことができるので、入力系列軌跡とハイパーチューブとの適合度は、確率として計算することができる。図44(a)は、ある変形を表すハイパーチューブHTおよび入力系列軌跡ILの軌跡を合わせて示したものである。ここで、ハイパーチューブHTは、代表軌跡CCを有している。ハイパーチューブHTが示す変形単位は、ハイパーチューブHT内の進行方向により2種類、正反対の変形を考えることができる。ここでは矢印Yの方向に沿った変形単位であるとすると、図44(b)に示すように、ハイパーチューブの開始点を0、終了点を1とする横軸上に、代表軌跡CCからの距離を横軸とするグラフに対応付けすることができる。このグラフは、ちょうどハイパーチューブを水平に引き伸ばしたものとみなすことができる。
【0132】
ここで、代表軌跡CC上の位置xにおけるハイパーチューブの半径を定義域0≦x≦1に対する関数p(x)とし、代表軌跡CC上の位置xからの入力系列軌跡ILに対する距離をf(x)とすると、ハイパーチューブiと入力系列の適合度siは下記(5)式で表すことができる。
【0133】
【数1】
(5)式において、N(0,1)(x)は、平均0、分散1の正規確率密度関数とする。上記(5)式により、入力系列軌跡ILと、ハイパーチューブHTとの適合度を求めることができる。
【0134】
このような適合度を複数のハイパーチューブHTに対して求め、全てのハイパーチューブHTと入力系列軌跡ILとの適合度との計算が終了したか否かを判断し(S86)、終了していない場合には、ステップS85に戻って他のハイパーチューブHTと入力系列軌跡ILとの適合度を計算する。一方、すべてのハイパーチューブHTに対して適合度を計算したら、その入力系列軌跡ILとの適合度が所定のしきい値より大きいハイパーチューブHTを選択し(S87)、そのハイパーチューブHTおよびそれに対応する記号を記憶しておく。
【0135】
入力系列は、入力動画をウィンドウに合わせて切り取ったものであるので、ウィンドウを移動あるいは拡大縮小し、入力動画における他の部分についても同様の一連の処理を繰り返す。そのため、入力動画の全ての領域について、上記の処理を行ったか否かを判断する(S88)。その結果、いまだ処理されていない領域がある場合には、切り取り用のウィンドウを移動または拡大縮小し(S89)、ステップS82に戻って、同様の処理を繰り返す。一方、すべての領域での処理が終了したと判断したときには、選択されたハイパーチューブHTに対応する変化情報対応記号情報J74(図31)およびそのときのウィンドウの変化情報単位位置情報J73を図示しない出力装置に出力する(S90)。このようにして、学習用系列情報からハイパーチューブを生成し、それを特徴空間に配置して入力系列との適合度を計算することにより、入力動画像中における認識対象物の位置と変形の種別を検出することができる。
【0136】
なお、本実施形態において、ある動画像を入力すると、その動画像は特徴空間上の軌跡としてあらわされることになるが、その軌跡と各ハイパーチューブとの評価値を計算する手段を備えることにより、入力された軌跡の全部または一部がある一定値以上(または一定値以下)の評価値を持つ場合、その中で最も評価値が高い(または低い)ハイパーチューブに対応する変形を認識する態様とすることができる。
【0137】
また、本実施形態においては、学習用系列情報から求めたハイパーチューブにより、口の動きから発話を認識する態様について説明したが、他の変形情報に対しても同様のハイパーチューブを生成した変形認識を行うことができる。たとえば、変化情報が音声取得手段から取得された音声変化である場合、「あ」→「い」、「あ」→「う」への周波数の変化をハイパーチューブで表すことができる。変化情報が動画像撮像手段で撮像された動画中におけるジェスチャの変化である場合、手を閉じた状態から開いた状態への変化をハイパーチューブで表すことができる。変化情報が動画像撮像手段で撮像された歩行者の歩行状態の変化である場合には、1回の歩行動作における変形をハイパーチューブで表すことができる。さらに、変化情報が動画像撮像手段で撮像された表情の変化である場合、無表情から喜びの表情への変化をハイパーチューブで表すこともできる。変化情報が動画像撮像手段で撮像された回転物体の変化である場合には、顔の向きが0度の状態から90度の状態に変化する際の変化をハイパーチューブで表すことができる。
【0138】
次に、本発明に第8の実施形態について説明する。
【0139】
図45は、本実施形態に係る変化情報認識装置のブロック構成図である。図45に示すように、本実施形態に係る変化情報認識装置8は、上記第7の実施形態と比べて、軌跡の連続性保存装置88および部分系列切り取り装置89が設けられている点において主に異なる。
【0140】
連続性保存装置88には、ハイパーチューブにおける代表軌跡に相当する軌跡の連続性が保存されている。軌跡の連続性は、軌跡の変化量が、所定のしきい値以下となっているか否かによって判断され、所定のしきい値以下のときに連続性があると判断する。連続性保存装置88には、部分系列切り取り装置89が接続されており、部分系列切り取り装置89には、連続性保存装置88に保存された軌跡の連続性が連続性保存装置88から出力される。
【0141】
次に、本実施形態に係る変化情報認識方法について説明する。本実施形態に係る変化情報認識方法においては、上記第7の実施形態と同様、学習用系列情報が学習装置81に出力される。学習装置81では、出力された学習用系列情報J71から特徴空間生成装置83において特徴空間を生成し、ハイパーチューブ生成装置85においてハイパーチューブを生成し、生成されたハイパーチューブをハイパーチューブ記憶装置86が記憶する。
【0142】
一方、認識装置82においては、図示しない動画像撮像手段によって撮像された動画に基づく情報が出力される。この情報として、上記第7の実施形態では、認識用系列情報が出力されたが、本実施形態では、この点については異なる。本実施形態では、図示しない動画像撮像手段によって撮像された動画像からなる入力系列情報J82を、部分切り取り装置89によって部分系列情報J83に切り取る。ここで、部分系列切り取り装置89には、軌跡の連続性が出力されており、部分系列切り取り装置89では、この軌跡の連続性に基づいて入力系列情報J82を切り取り、部分系列情報J83を生成する。
【0143】
ここで、たとえば上記第7の実施形態では、入力動画の一部をウィンドウに合わせて切り取るにあたり、図46に示すように動画を構成する一定時間の間、切り取るウィンドウを動かすことについては想定されていないものである。このことは、変形している物体が画像中で静止していることを前提としているものであるので、認識対象物が画像内で移動してしまうと、認識対象物を検出できなくなってしまうおそれがある。実際のシーンでは、認識対象物は移動していることも少なくなく、このような場合には対応できないことになってしまう。
【0144】
これに対して、本実施形態に係る変化認識方法では、軌跡の変化の連続性に対応させて、動画像の部分系列情報を形成するように、入力系列情報を切り取っている。認識対象物が移動していたとして、図47(a)に示すように、ウィンドウWが正しく認識対象物となる口Mを追跡できていたとすると、図47(b)に示すように、特徴空間に射影される射影軌跡Cは特定のハイパーチューブHTと適合度が高く、かつ特徴空間内において滑らかな曲線を描く。また、通常のテレビ信号程度のフレームレート(たとえば30Hz)があれば、シーンに写る物体の移動は隣接したフレーム間ではわずかであり、変化もあまり急激でない。このため、通常、追跡されるウィンドウWの位置の変化も滑らかな軌跡を描くことになる。
【0145】
したがって、特徴空間内におけるハイパーチューブの軌跡の連続性と、入力系列情報におけるウィンドウWの移動軌跡の連続性が同時に満たされるようにウィンドウWを移動させることにより、変形しながら移動する口Mを検出・追跡し、その変形の様子も同時に検出することができる。こうして、部分系列情報J83を生成し、部分系列情報を射影装置84に出力する、射影装置84では、部分系列情報J83を特徴空間に射影して部分系列の軌跡情報J84を生成し、系列比較装置87に出力する。系列比較装置87では、射影装置74から出力された部分系列の軌跡およびハイパーチューブ記憶装置76から出力されたハイパーチューブを比較し、両者の適合度を上記第7の実施形態と同様の方法によって求める。そして、上記第7の実施形態と同様にして選択されたハイパーチューブHTに対応する記号情報J86およびそのときのウィンドウの位置情報J85を図示しない出力装置に出力する。このようにして、動画像中の認識対象物の位置と変形の種別を検出することができる。
【0146】
このように、本実施形態に係る変化認識方法においては、軌跡の連続性を保存する連続性保存手段を設けたので、動画像中で移動する認識対象物の変形およびその位置を確実に認識することができる。
【0147】
なお、上記実施形態における図1および図12では、実施形態の説明を容易にするために、人の口を例にして説明したが、物体の変形を伴うものであれば容易に他のものにも容易に適用することができる。
【0148】
【発明の効果】
以上のとおり、本発明によれば、認識対象物の変化状態を正確に認識して、たとえば人の話す言葉などを認識することができるようにした変化情報認識装置および変化情報認識方法を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る変化情報認識装置のブロック構成図である。
【図2】口を含む顔の画像を模式的に示す図である。
【図3】(a)、(b)ともに、口の形状の連続的な変化の状態を示すテンプレートを模式的に示す図である。
【図4】画像中における口の形状の連続的な変化の状態を模式的に示す図である。
【図5】画像中における口の形状と、テンプレートにある口の形状の一致する位置を模式的に示す図である。
【図6】(a)〜(f)のいずれも、従来の口の形状のテンプレートを模式的に示す図である。
【図7】第1の実施形態に係る変化情報認識方法の手順を示すフローチャートである。
【図8】(a)は、静止画における口と認識しうる位置を模式的に示す図、(b)は、動画における口と認識しうる位置を模式的に示す図である。
【図9】第2の実施形態に係る変化情報認識装置のブロック構成図である。
【図10】(a)は口の変化パターンを時間ごとに模式的に示した図、(b)は(a)の前半部分の変化を模式的に示した図、(c)は(a)の後半部分の変化を模式的に示した図である。
【図11】第2の実施形態に係る変化情報認識方法の手順の要部を示すフローチャートである。
【図12】口を含む画像における連続的な変化の状態を模式的に示す図である。
【図13】第3の実施形態に係る変化情報認識装置のブロック構成図である。
【図14】発音の変化とそれに割り当てた記号の対応関係を示す表である。
【図15】「あ」の母音を発する口に形状から、「い」の母音を発する口の形状に至るまでの口の変形過程を模式的に示す図である。
【図16】(a)は「おはようございます」の音を示す図、(b)は(a)に音にそれぞれ対応する口の形状を模式的に示す図、(c)は音の変化に対応する記号をそれぞれ示す図である。
【図17】第3の実施形態に係る変形情報認識方法の手順の要部を示すフローチャートである。
【図18】(a)は「あ」から「い」に変化する口の形状の変化を模式的に示す図、(b)は「い」から「う」に変化する口の形状の変化を模式的に示す図である。
【図19】第4の実施形態に係る変化情報認識装置のブロック構成図である。
【図20】(a)はある音声を発したときの時刻t=1〜3に変化したときの波形をそれぞれの時刻で表すグラフ、(b)は他の音声を発したときの時刻t=1〜3に変化したときの波形をそれぞれの時刻で示すグラフである。
【図21】ある一定のフレーム間隔をおいて、一定のフレーム長の長さのフレーム長に切り取られる音声変化情報を概概略的に示す図である。
【図22】(a)〜(h)とも、T1〜T8の時間の8つに切り取られた音声変化情報から作成された音声変化単位の波形を示すグラフである。
【図23】音声変化単位を示すグラフと、音声を発したときの時刻t=1〜3に変化したときの波形をそれぞれの時刻で表すグラフの一致する部分を説明する図である。
【図24】第4の実施形態に係る変形情報認識方法の手順を示すフローチャートである。
【図25】第4の実施形態に係る音声認識の手順を示すフローチャートである。
【図26】第5の実施形態に係る変化情報認識装置のブロック構成図である。
【図27】ジェスチャ認識に用いる基本体変化単位の時刻における画像の例を模式的に示す図である。
【図28】歩行者認識に用いる基本体変化単位の時刻における画像の例を示す図である。
【図29】第6の実施形態に係る変化情報認識装置のブロック構成図である。
【図30】(a)〜(l)とも、人形の頭部が回転する際の画像を模式的に示す図である。
【図31】第7の実施形態に係る変化情報認識装置のブロック構成図である。
【図32】「ん」から「あ」を発話する口の動きを示す9枚の画像を連続させた動画像を模式的に示す図である。
【図33】図32に示す動画像に基づいて作成した特徴空間上のグラフを示す図である。
【図34】他の変形パターンを含めて、動画像に基づいて作成した特徴空間上のグラフを示す図である。
【図35】複数の人のある発話での口の動きを特徴空間に射影した際の曲線を示す図である。
【図36】特徴空間に生成されたハイパーチューブを示す図である。
【図37】複数のハイパーチューブを配置した特徴空間を示す図である。
【図38】ハイパーチューブを生成する手順を示すフローチャートである。
【図39】特徴空間に3次元特徴ベクトルをプロットした点をつないで形成した3つの軌跡を示す図である。
【図40】3つの軌跡とそれらの軌跡に基づいて形成された代表軌跡を示す図である。
【図41】代表軌跡を求める際に生成する超平面を求める手順を説明するための図である。
【図42】代表軌跡を求める際の手順を説明するための超平面を示す図である。
【図43】第7の実施形態に係る変化情報認識方法の手順を示すフローチャートである。
【図44】(a)は、ある変形を表すハイパーチューブHTおよび入力系列軌跡ILの軌跡を合わせて示した図、(b)はハイパーチューブの開始点を0、終了点を1とする横軸上に、代表軌跡からの距離を縦軸とするグラフに対応付けした状態を示す図である。
【図45】第8の実施形態に係る変化情報認識装置のブロック構成図である。
【図46】一定時間切り取るウィンドウを動かすことなく動画を撮像した状態を説明するための図である。
【図47】(a)は切り取るウィンドウを動かして口を追跡した動画を説明する図、(b)は(a)に対応する特徴空間上の軌跡とハイパーチューブとを示す図である。
【符号の説明】
1〜8…変化情報認識装置、11…系列情報記憶装置、12…基本変化情報記憶装置、13…変化状態比較装置、21…系列情報記憶装置、22…基本変化情報記憶装置、23…変化状態比較装置、24(24A,24B)…基本変化情報単位記憶装置、31…動画記憶装置、32…口基本変形情報記憶装置、33…口変形状態比較装置、34A,34B…口基本変形単位記憶装置、41…波形解析装置、42…音声波形記憶装置、43…音声情報記憶装置、44…音声変化比較装置、45A,45B…音声変化単位記憶装置、51…動画記憶装置、52…体変化情報記憶装置、53…体変化比較装置、54A,54B…体変化単位記憶装置、61…動画記憶装置、62…回転情報記憶装置、63…回転物体比較装置、64A,64B…回転単位記憶装置、71…学習装置、72…認識装置、73…特徴空間生成装置、74…射影装置、75…ハイパーチューブ生成装置、76…ハイパーチューブ記憶装置、77…系列比較装置、81…学習装置、82…認識装置、83…特徴空間生成装置、84…射影装置、85…ハイパーチューブ生成装置、86…ハイパーチューブ記憶装置、87…系列比較装置、88…連続性保存装置、89…部分系列切り取り装置、C…射影軌跡、C1〜C5…軌跡(折れ線、曲線)、C11〜C13…軌跡、CC…代表軌跡、G1…画像、HT(HT1〜HT3)…ハイパーチューブ、IL…入力系列軌跡、M…口、P…変化パターン、P1〜P4,T1〜T6…テンプレート、SP1〜SP3…超平面、W…ウィンドウ。
Claims (11)
- 認識対象物の変化情報を取得する変化情報取得手段と、
前記認識対象物に対応付けられ、特徴空間上の情報の系列として設定された複数の基本変化系列情報としての複数の基本変化情報から生成されたハイパーチューブをあらかじめ記憶する基本変化情報記憶手段と、
前記変化情報取得手段で取得された前記認識対象物の変化系列情報を前記特徴空間へ射影して射影変化情報を作成する変化情報射影装置と、
前記変化情報射影装置で作成された前記認識対象物の射影変化情報と、あらかじめ記憶された前記ハイパーチューブとを比較して、前記認識対象物の変化状態を検出する変化状態比較手段と、を備え、
前記複数の基本変化情報である複数の軌跡に基づいて代表軌跡を求め、前記代表軌跡と前記複数の軌跡との関係に基づいて前記ハイパーチューブが生成されていることを特徴とする変化情報認識装置。 - 前記代表軌跡と前記複数の軌跡との関係は、前記代表軌跡と前記複数の軌跡のそれぞれに対する距離との分散である請求項1に記載の変化情報認識装置。
- 前記基本変化情報は、前記認識対象物の変化に応じて対応付けされた変化情報単位に分割した情報として、前記基本変化情報記憶手段に記憶されている請求項1または請求項2に記載の変化情報認識装置。
- 前記変化情報取得手段は、前記認識対象物を撮像する撮像手段であり、
前記変化情報は、発話に伴う口の画像の変化である請求項1〜請求項3のうちのいずれか1項に記載の変化情報認識装置。 - 前記変化情報取得手段は、前記認識対象物が発生する音を取得する集音手段であり、
前記変化情報が、前記認識対象物が発生する音の周波数の変化である請求項1〜請求項3のうちのいずれか1項に記載の変化情報認識装置。 - 前記変化情報取得手段は、前記認識対象物を撮像する撮像手段であり、
前記変化情報が、前記認識対象物の動きによる画像の変化である請求項1〜請求項3のうちのいずれか1項に記載の変化情報認識装置。 - 前記変化情報取得手段は、前記認識対象物を撮像する撮像手段であり、
前記変化情報が、前記認識対象物の回転による画像の変化である請求項1〜請求項3のうちのいずれか1項に記載の変化情報認識装置。 - 前記変化状態比較手段は、前記ハイパーチューブの連続性と、前記射影変化情報の連続性とを比較することにより、前記認識対象物の変化状態を検出する請求項1〜請求項7のうちのいずれか1項に記載の変化情報認識装置。
- 前記変化情報取得手段で取得された前記認識対象物の変化系列情報に基づいて、前記基本変化系列情報を作成する学習手段を備える請求項1〜請求項8のうちのいずれか1項に記載の変化情報認識装置。
- 変化情報取得手段が、認識対象物の変化情報を取得する変化情報取得工程と、
基本変化情報記憶手段が、前記認識対象物に対応付けられ、特徴空間上の情報の系列として設定された複数の基本変化系列情報としての複数の基本変化情報から生成されたハイパーチューブをあらかじめ記憶する基本変化情報予備記憶工程と、
変化情報射影装置が、前記変化情報取得手段で取得された前記認識対象物の変化系列情報を前記特徴空間へ射影して射影変化情報を作成する変化情報射影工程と、
変化状態比較手段が、前記変化情報射影装置で作成された前記認識対象物の射影変化情報と、あらかじめ記憶された前記ハイパーチューブとを比較して、前記認識対象物の変化状態を検出する変化状態比較工程と、を備え、
前記複数の基本変化情報である複数の軌跡に基づいて代表軌跡を求め、前記代表軌跡と前記複数の軌跡との関係に基づいて、前記基本変化情報記憶手段が記憶する前記ハイパーチューブが生成されていることを特徴とする変化情報認識方法。 - 前記変化情報記憶手段は、前記基本変化予備記憶工程で、前記基本変化情報を、前記認識対象物の変化に応じて対応付けされた変化情報単位に分割した情報として、あらかじめ記憶しておく請求項10に記載の変化情報認識方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003105649A JP4075670B2 (ja) | 2003-04-09 | 2003-04-09 | 変化情報認識装置および変化情報認識方法 |
EP07021669A EP1881484B1 (en) | 2003-04-09 | 2004-04-09 | Change information recognition apparatus |
DE602004022472T DE602004022472D1 (de) | 2003-04-09 | 2004-04-09 | Vorrichtung für Erkennung von Änderungsinformation |
PCT/JP2004/005155 WO2004090867A1 (ja) | 2003-04-09 | 2004-04-09 | 変化情報認識装置および変化情報認識方法 |
EP04726766.1A EP1619660B1 (en) | 2003-04-09 | 2004-04-09 | Change information recognition device and change information recognition method |
US11/240,598 US7302086B2 (en) | 2003-04-09 | 2005-10-03 | Change information recognition apparatus and change information recognition method |
US11/976,691 US7508959B2 (en) | 2003-04-09 | 2007-10-26 | Change information recognition apparatus and change information recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003105649A JP4075670B2 (ja) | 2003-04-09 | 2003-04-09 | 変化情報認識装置および変化情報認識方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007085204A Division JP4518094B2 (ja) | 2007-03-28 | 2007-03-28 | 変化情報認識装置および変化情報認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004310606A JP2004310606A (ja) | 2004-11-04 |
JP4075670B2 true JP4075670B2 (ja) | 2008-04-16 |
Family
ID=33156887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003105649A Expired - Fee Related JP4075670B2 (ja) | 2003-04-09 | 2003-04-09 | 変化情報認識装置および変化情報認識方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7302086B2 (ja) |
EP (2) | EP1881484B1 (ja) |
JP (1) | JP4075670B2 (ja) |
DE (1) | DE602004022472D1 (ja) |
WO (1) | WO2004090867A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293455A (ja) * | 2005-04-06 | 2006-10-26 | Dainippon Printing Co Ltd | 不適正データ確認システム |
US7551801B2 (en) * | 2006-04-17 | 2009-06-23 | Honda Motor Co., Ltd. | Classification of composite actions involving interaction with objects |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
JP4922095B2 (ja) * | 2007-08-01 | 2012-04-25 | 日本放送協会 | 感情表現抽出処理装置及びプログラム |
KR100978929B1 (ko) * | 2008-06-24 | 2010-08-30 | 한국전자통신연구원 | 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말 |
US8903130B1 (en) * | 2011-05-09 | 2014-12-02 | Google Inc. | Virtual camera operator |
JP5837860B2 (ja) * | 2012-06-11 | 2015-12-24 | Kddi株式会社 | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム |
US10518480B2 (en) | 2018-04-02 | 2019-12-31 | Nanotronics Imaging, Inc. | Systems, methods, and media for artificial intelligence feedback control in additive manufacturing |
US11084225B2 (en) | 2018-04-02 | 2021-08-10 | Nanotronics Imaging, Inc. | Systems, methods, and media for artificial intelligence process control in additive manufacturing |
WO2022160085A1 (zh) * | 2021-01-26 | 2022-08-04 | 京东方科技集团股份有限公司 | 控制方法、电子设备及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05249990A (ja) * | 1992-03-04 | 1993-09-28 | Sony Corp | パターンマッチング方法およびパターン認識装置 |
JP3500616B2 (ja) * | 1993-11-25 | 2004-02-23 | オムロン株式会社 | 信号波形データ比較装置およびその方法 |
JP3533696B2 (ja) * | 1994-03-22 | 2004-05-31 | 三菱電機株式会社 | 音声認識の境界推定方法及び音声認識装置 |
JPH08187368A (ja) * | 1994-05-13 | 1996-07-23 | Matsushita Electric Ind Co Ltd | ゲーム装置、入力装置、音声選択装置、音声認識装置及び音声反応装置 |
JPH07306692A (ja) * | 1994-05-13 | 1995-11-21 | Matsushita Electric Ind Co Ltd | 音声認識装置及び音声入力装置 |
JPH09305195A (ja) | 1996-05-13 | 1997-11-28 | Omron Corp | 音声認識装置および音声認識方法 |
JP3112254B2 (ja) * | 1997-03-04 | 2000-11-27 | 富士ゼロックス株式会社 | 音声検出装置 |
JPH10274516A (ja) | 1997-03-31 | 1998-10-13 | Victor Co Of Japan Ltd | 顔の方向検出装置 |
US6219539B1 (en) * | 1997-04-08 | 2001-04-17 | Nortel Networks Corporation | Systems and methods for implementing private wireless communications |
US6219639B1 (en) * | 1998-04-28 | 2001-04-17 | International Business Machines Corporation | Method and apparatus for recognizing identity of individuals employing synchronized biometrics |
JP4017748B2 (ja) * | 1998-06-11 | 2007-12-05 | 日本放送協会 | 発話速度計測システム、方法および記録媒体 |
JP3893763B2 (ja) * | 1998-08-17 | 2007-03-14 | 富士ゼロックス株式会社 | 音声検出装置 |
JP3583930B2 (ja) * | 1998-09-18 | 2004-11-04 | 日本電信電話株式会社 | 音声認識装置及びその方法 |
JP3403363B2 (ja) | 1999-11-01 | 2003-05-06 | 株式会社国際電気通信基礎技術研究所 | 3次元連続動作の検定装置 |
JP3757719B2 (ja) * | 1999-11-19 | 2006-03-22 | 松下電器産業株式会社 | 音響データ分析方法及びその装置 |
JP2001209814A (ja) * | 2000-01-24 | 2001-08-03 | Sharp Corp | 画像処理装置 |
JP2002197465A (ja) | 2000-03-31 | 2002-07-12 | Fujitsu Ltd | 自動口形状検出装置とそれを用いた自動単語認識装置 |
US7076429B2 (en) * | 2001-04-27 | 2006-07-11 | International Business Machines Corporation | Method and apparatus for presenting images representative of an utterance with corresponding decoded speech |
-
2003
- 2003-04-09 JP JP2003105649A patent/JP4075670B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-09 EP EP07021669A patent/EP1881484B1/en not_active Expired - Lifetime
- 2004-04-09 EP EP04726766.1A patent/EP1619660B1/en not_active Expired - Lifetime
- 2004-04-09 DE DE602004022472T patent/DE602004022472D1/de not_active Expired - Lifetime
- 2004-04-09 WO PCT/JP2004/005155 patent/WO2004090867A1/ja active Application Filing
-
2005
- 2005-10-03 US US11/240,598 patent/US7302086B2/en not_active Expired - Fee Related
-
2007
- 2007-10-26 US US11/976,691 patent/US7508959B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004310606A (ja) | 2004-11-04 |
EP1881484B1 (en) | 2009-08-05 |
EP1619660A4 (en) | 2007-02-28 |
EP1619660A1 (en) | 2006-01-25 |
EP1619660B1 (en) | 2014-05-07 |
US7508959B2 (en) | 2009-03-24 |
US7302086B2 (en) | 2007-11-27 |
WO2004090867A1 (ja) | 2004-10-21 |
EP1881484A1 (en) | 2008-01-23 |
US20060029277A1 (en) | 2006-02-09 |
DE602004022472D1 (de) | 2009-09-17 |
US20080056582A1 (en) | 2008-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Matthews et al. | Extraction of visual features for lipreading | |
EP1482480B1 (en) | Learning apparatus, learning method, and robot apparatus | |
US7508959B2 (en) | Change information recognition apparatus and change information recognition method | |
CN107609572A (zh) | 基于神经网络和迁移学习的多模态情感识别方法、系统 | |
CN115169507B (zh) | 类脑多模态情感识别网络、识别方法及情感机器人 | |
Hassanat | Visual speech recognition | |
JP2005044330A (ja) | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 | |
TW201201115A (en) | Facial expression recognition systems and methods and computer program products thereof | |
Chan et al. | Visual Speech Recognition of Lips Images Using Convolutional Neural Network in VGG-M Model. | |
CN117672202A (zh) | 一种基于深度卷积生成对抗网络的环境声音分类方法 | |
JP4518094B2 (ja) | 変化情報認識装置および変化情報認識方法 | |
Kumar et al. | Facial emotion recognition and detection using cnn | |
Devanne | 3d human behavior understanding by shape analysis of human motion and pose | |
KR100795947B1 (ko) | 치열영상을 이용한 생체인식 시스템과 그 인식 방법 및이를 기록한 기록매체 | |
Goutsu et al. | Multi-modal gesture recognition using integrated model of motion, audio and video | |
CN113239902B (zh) | 一种基于双判别器生成对抗网络的唇语识别方法及装置 | |
Subha Rajam et al. | Design and development of tamil sign alphabets using image processing with right hand palm to aid deaf-dumb people | |
Rathee et al. | Analysis of human lip features: a review | |
Ivanko et al. | Lip-Reading Using Pixel-Based and Geometry-Based Features | |
Demidenko et al. | Developing Automatic Markerless Sign Language Gesture Tracking and Recognition System | |
Tippanu et al. | Real time sign language translator | |
Adhiyaksa et al. | The Impact of Keypoints Normalization on SIBI Recognition using Modified Shift-GCN | |
JP2022126962A (ja) | 発話内容認識装置、学習データ収集システム、方法及びプログラム | |
CN118800274A (zh) | 一种基于语音驱动的ai数字人自动表情生成系统 | |
Sotelo | Portuguese Sign Language Recognition from Depth Sensing Human Gesture and Motion Capture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |