JPH09185716A - 動作判定方法および動作判定装置 - Google Patents
動作判定方法および動作判定装置Info
- Publication number
- JPH09185716A JPH09185716A JP8286466A JP28646696A JPH09185716A JP H09185716 A JPH09185716 A JP H09185716A JP 8286466 A JP8286466 A JP 8286466A JP 28646696 A JP28646696 A JP 28646696A JP H09185716 A JPH09185716 A JP H09185716A
- Authority
- JP
- Japan
- Prior art keywords
- label
- beat
- motion
- hmm
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Electrophonic Musical Instruments (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【課題】指揮動作等の動作検出の精度信頼性を向上す
る。 【解決手段】状態判定部２は、センサ出力を一定時間毎
にラベル化する。レジスタ３は、状態判定部２から入力
されたラベルを最新のものから動作ラベルとして記憶す
る。レジスタ３は、例えば拍ラベル＋動作ラベルのラベ
ル系列を確率計算部４に入力する。ＨＭＭ（隠れマルコ
フモデル）記憶部５には各拍の動作を学習したＨＭＭが
記憶されており、入力されたラベル系列の出力確率（ゆ
う度）を全てのＨＭＭについて計算する。拍判定部６は
全てのＨＭＭのゆう度を比較し、最大のゆう度のものを
選択して動作を判定する。
る。 【解決手段】状態判定部２は、センサ出力を一定時間毎
にラベル化する。レジスタ３は、状態判定部２から入力
されたラベルを最新のものから動作ラベルとして記憶す
る。レジスタ３は、例えば拍ラベル＋動作ラベルのラベ
ル系列を確率計算部４に入力する。ＨＭＭ（隠れマルコ
フモデル）記憶部５には各拍の動作を学習したＨＭＭが
記憶されており、入力されたラベル系列の出力確率（ゆ
う度）を全てのＨＭＭについて計算する。拍判定部６は
全てのＨＭＭのゆう度を比較し、最大のゆう度のものを
選択して動作を判定する。
Description
【０００１】
【発明の属する技術分野】この発明は、動作に応じたセ
ンサ出力をベクトル量子化し、これによって生成された
ラベル系列を隠れマルコフモデル（ＨＭＭ）が出力する
確率を計算することにより、その動作の内容を判定する
動作判定方法および動作判定装置に関する。
ンサ出力をベクトル量子化し、これによって生成された
ラベル系列を隠れマルコフモデル（ＨＭＭ）が出力する
確率を計算することにより、その動作の内容を判定する
動作判定方法および動作判定装置に関する。
【０００２】
【従来の技術】人の動作を判定する装置や方法は従来よ
り種々提案されている。その手法は、一般に、単純なフ
ィルタや大小比較等の信号処理、二次元動作信号の角度
や角度差などであった。
り種々提案されている。その手法は、一般に、単純なフ
ィルタや大小比較等の信号処理、二次元動作信号の角度
や角度差などであった。
【０００３】
【発明が解決しようとする課題】しかし、人間の動作は
極めて曖昧、且つ不安定なため、従来の単純な信号処理
だけでは、検出や判別の精度、信頼性が低く、検出ミス
や判別誤りが頻繁に発生した。
極めて曖昧、且つ不安定なため、従来の単純な信号処理
だけでは、検出や判別の精度、信頼性が低く、検出ミス
や判別誤りが頻繁に発生した。
【０００４】このため、例えばこの動作判定を用いて音
楽のテンポやダイナミクスを制御しようとした場合、 指揮動作の認識率が極めて低いため、機械が認識し易
い動作を操作者が習熟することが必要となり、ユーザが
システムに慣れるのに時間を要する。 動作意図と異なる反応、すなわち誤認識が頻発し、安
定した音楽演奏が困難である。 等の不都合が生じていた。
楽のテンポやダイナミクスを制御しようとした場合、 指揮動作の認識率が極めて低いため、機械が認識し易
い動作を操作者が習熟することが必要となり、ユーザが
システムに慣れるのに時間を要する。 動作意図と異なる反応、すなわち誤認識が頻発し、安
定した音楽演奏が困難である。 等の不都合が生じていた。
【０００５】この発明は、ＨＭＭを用いることにより指
揮動作などの動作検出の精度や信頼性を向上した動作判
定方法および動作判定装置を提供することを目的とす
る。
揮動作などの動作検出の精度や信頼性を向上した動作判
定方法および動作判定装置を提供することを目的とす
る。
【０００６】
【課題を解決するための手段】この出願の請求項１の発
明は、動作を検出するセンサから出力された検出値を一
定時間毎にラベル化してラベル系列に編集し、特定の動
作に対応するラベル系列を学習させた隠れマルコフモデ
ルが該ラベル系列を出力する確率を計算し、この計算結
果に基づいて前記センサが検出した動作の内容を判定す
ることを特徴とする。
明は、動作を検出するセンサから出力された検出値を一
定時間毎にラベル化してラベル系列に編集し、特定の動
作に対応するラベル系列を学習させた隠れマルコフモデ
ルが該ラベル系列を出力する確率を計算し、この計算結
果に基づいて前記センサが検出した動作の内容を判定す
ることを特徴とする。
【０００７】この出願の請求項２の発明は、請求項３の
発明において、判定された動作の内容に基づいてラベル
を生成し、これを前記ラベル系列に挿入することを特徴
とする。
発明において、判定された動作の内容に基づいてラベル
を生成し、これを前記ラベル系列に挿入することを特徴
とする。
【０００８】この出願の請求項３の発明は、動作を検出
して検出値を出力するセンサと、該センサから入力され
る検出値を一定時間毎にラベル化する状態判定部と、前
記状態判定部から一定時間毎に出力されるラベルをラベ
ル系列に編集するラベル系列生成部と、特定の動作に対
応するラベル系列を学習させた隠れマルコフモデルを記
憶するＨＭＭ記憶部と、前記ラベル系列生成部からラベ
ル系列を入力し前記ＨＭＭ記憶部に記憶されている隠れ
マルコフモデルが該ラベル系列を出力する確率を計算す
る確率計算部と、該確率計算部の計算結果に基づいて前
記センサが検出した動作の内容を判定する動作判定部と
からなることを特徴とする。
して検出値を出力するセンサと、該センサから入力され
る検出値を一定時間毎にラベル化する状態判定部と、前
記状態判定部から一定時間毎に出力されるラベルをラベ
ル系列に編集するラベル系列生成部と、特定の動作に対
応するラベル系列を学習させた隠れマルコフモデルを記
憶するＨＭＭ記憶部と、前記ラベル系列生成部からラベ
ル系列を入力し前記ＨＭＭ記憶部に記憶されている隠れ
マルコフモデルが該ラベル系列を出力する確率を計算す
る確率計算部と、該確率計算部の計算結果に基づいて前
記センサが検出した動作の内容を判定する動作判定部と
からなることを特徴とする。
【０００９】この出願の請求項４の発明は、前記ラベル
系列生成部は、前記動作判定部が判定した動作の内容に
基づくラベルを前記ラベル系列に挿入する手段を含むこ
とを特徴とする。
系列生成部は、前記動作判定部が判定した動作の内容に
基づくラベルを前記ラベル系列に挿入する手段を含むこ
とを特徴とする。
【００１０】
【発明の実施の形態】図１を参照してこの発明に用いら
れる隠れマルコフモデル（ＨＭＭ）について説明する。
ＨＭＭは、種々のラベル系列をそれぞれ所定の確率で出
力するものであり、Ｎ個の状態（Ｓ1 ，Ｓ2 ，…，
ＳN ）をもち、一定周期ごとに状態を次々に遷移すると
ともに、その遷移の際にラベルを１つずつ出力するもの
である。つぎにどの状態に遷移するか、またその際にど
のラベルを出力するか否かはそれぞれ「遷移確率」，
「出力確率」によって確率的に決められている。また、
ＨＭＭの出力側からみた特定のラベル系列が出力される
確率を「ゆう度」といい、本願特許請求の範囲の「確
率」はこの「ゆう度」を意味している。
れる隠れマルコフモデル（ＨＭＭ）について説明する。
ＨＭＭは、種々のラベル系列をそれぞれ所定の確率で出
力するものであり、Ｎ個の状態（Ｓ1 ，Ｓ2 ，…，
ＳN ）をもち、一定周期ごとに状態を次々に遷移すると
ともに、その遷移の際にラベルを１つずつ出力するもの
である。つぎにどの状態に遷移するか、またその際にど
のラベルを出力するか否かはそれぞれ「遷移確率」，
「出力確率」によって確率的に決められている。また、
ＨＭＭの出力側からみた特定のラベル系列が出力される
確率を「ゆう度」といい、本願特許請求の範囲の「確
率」はこの「ゆう度」を意味している。
【００１１】図１に示すＨＭＭは、３つの状態Ｓ1 ，Ｓ
2 ，Ｓ3 で構成され、２種類のラベルａとｂのみからな
るラベル系列を出力する。初期状態Ｓ1 からは０．３の
確率でＳ1 自体に遷移する（その際に、ラベルａかｂを
それぞれ０．８，０．２の確率で出力する）か、０．５
の確率でＳ2 に遷移する（その際に常にａを出力する）
か、０．２の確率で最終状態Ｓ3 に遷移する（その際に
常にｂを出力する）。状態Ｓ2 からは、０．４の確率で
Ｓ2 自体に遷移する（その際に、ａかｂをそれぞれ０．
３，０．７の確率で出力する）か、０．６の確率で最終
状態Ｓ3 に遷移する（その際にａかｂを等確率で出力す
る）。
2 ，Ｓ3 で構成され、２種類のラベルａとｂのみからな
るラベル系列を出力する。初期状態Ｓ1 からは０．３の
確率でＳ1 自体に遷移する（その際に、ラベルａかｂを
それぞれ０．８，０．２の確率で出力する）か、０．５
の確率でＳ2 に遷移する（その際に常にａを出力する）
か、０．２の確率で最終状態Ｓ3 に遷移する（その際に
常にｂを出力する）。状態Ｓ2 からは、０．４の確率で
Ｓ2 自体に遷移する（その際に、ａかｂをそれぞれ０．
３，０．７の確率で出力する）か、０．６の確率で最終
状態Ｓ3 に遷移する（その際にａかｂを等確率で出力す
る）。
【００１２】ここで、このＨＭＭがラベル系列ａａｂを
出力する確率を考えてみる。このＨＭＭが出力すること
のできる状態遷移の系列は、自己遷移を繰り返すことが
できるため、状態遷移数に制限を加えなければ無数にあ
るが、ａａｂを出力する可能性のあるものはＳ1 Ｓ1 Ｓ
2 Ｓ3 とＳ1 Ｓ2 Ｓ2 Ｓ3 とＳ1 Ｓ1 Ｓ1 Ｓ3 の３つだ
けであり、それぞれの状態遷移の系列をとる確率は、 0.3 ×0.8 ×0.5 ×1.0 ×0.6 ×0.5 ＝0.036 0.5 ×1.0 ×0.4 ×0.3 ×0.6 ×0.5 ＝0.018 0.3 ×0.8 ×0.3 ×0.8 ×0.2 ×1.0 ＝0.01152 であり、このＨＭＭからラベル系列ａａｂが出力される
確率の合計、すなわち、ラベル系列ａａｂのゆう度は、 0.036 ＋0.018 ＋0.01152 ＝0.06552 である。なお、ＨＭＭからａａｂが出力されても上記３
種類の状態遷移の系列のいずれによるのもかは出力側か
ら観測されないことから、この形態のマルコフモデルを
隠れ(Hidden)マルコフモデルという。ＨＭＭは、従来よ
り単語音声認識など音声認識の分野で用いられている。
出力する確率を考えてみる。このＨＭＭが出力すること
のできる状態遷移の系列は、自己遷移を繰り返すことが
できるため、状態遷移数に制限を加えなければ無数にあ
るが、ａａｂを出力する可能性のあるものはＳ1 Ｓ1 Ｓ
2 Ｓ3 とＳ1 Ｓ2 Ｓ2 Ｓ3 とＳ1 Ｓ1 Ｓ1 Ｓ3 の３つだ
けであり、それぞれの状態遷移の系列をとる確率は、 0.3 ×0.8 ×0.5 ×1.0 ×0.6 ×0.5 ＝0.036 0.5 ×1.0 ×0.4 ×0.3 ×0.6 ×0.5 ＝0.018 0.3 ×0.8 ×0.3 ×0.8 ×0.2 ×1.0 ＝0.01152 であり、このＨＭＭからラベル系列ａａｂが出力される
確率の合計、すなわち、ラベル系列ａａｂのゆう度は、 0.036 ＋0.018 ＋0.01152 ＝0.06552 である。なお、ＨＭＭからａａｂが出力されても上記３
種類の状態遷移の系列のいずれによるのもかは出力側か
ら観測されないことから、この形態のマルコフモデルを
隠れ(Hidden)マルコフモデルという。ＨＭＭは、従来よ
り単語音声認識など音声認識の分野で用いられている。
【００１３】音声認識は、入力音声を１０ｍｓ程度のフ
レーム時間毎にラベル化し、このラベル系列の出力確率
をそれぞれ異なる単語の発音を出力するように学習され
た複数のＨＭＭについて計算し、最もそのゆう度の高い
ＨＭＭの単語をその入力音声の単語であると認識すると
いうものである。この技術に関しては、電子情報通信学
会誌１９８７年４月号３５２頁〜３５８頁「マルコフモ
デルによる音声認識（大河内正明）」に詳しい。
レーム時間毎にラベル化し、このラベル系列の出力確率
をそれぞれ異なる単語の発音を出力するように学習され
た複数のＨＭＭについて計算し、最もそのゆう度の高い
ＨＭＭの単語をその入力音声の単語であると認識すると
いうものである。この技術に関しては、電子情報通信学
会誌１９８７年４月号３５２頁〜３５８頁「マルコフモ
デルによる音声認識（大河内正明）」に詳しい。
【００１４】次に、この実施形態においてＨＭＭを用い
て検出・判定する指揮法、すなわち、指揮棒の揺動動作
について説明する。図２は３拍子を指揮するときの指揮
棒の軌跡を示す図である。図３は４拍子を指揮する場合
の指揮棒の軌跡を示す図である。図４は２拍子を指揮す
る場合の指揮棒の軌跡を示す図である。
て検出・判定する指揮法、すなわち、指揮棒の揺動動作
について説明する。図２は３拍子を指揮するときの指揮
棒の軌跡を示す図である。図３は４拍子を指揮する場合
の指揮棒の軌跡を示す図である。図４は２拍子を指揮す
る場合の指揮棒の軌跡を示す図である。
【００１５】図２において同図（Ａ）は通常（ノンレガ
ート）、同図（Ｂ）はレガート、同図（Ｃ）は軽いスタ
ッカート、同図（Ｄ）は強いスタッカートの場合の指揮
棒の軌跡を示している。これらの図から明らかなように
第１拍の指示動作は、上から下への振り下ろし動作であ
り、その動作の下端が第１拍の拍打点である。そして軽
いスタッカート（同図（Ｃ））以外は振り下ろしの反動
の短い振り上げ動作を伴う。また、第２拍の指示動作
は、右方向への揺動動作であり、奏法によりその動作中
に拍打点がある場合（ノンレガート（同図（Ａ）），レ
ガート（同図（Ｂ）））と、右向きの動作の右端に拍打
点がある場合（スタッカート（同図（Ｃ），（Ｄ）））
とがある。また、第３拍の指示動作は、右下から左上へ
の振り上げ動作であり、軽いスタッカート（同図
（Ｃ））がその終点（第１拍の振り下ろしの開始点）に
拍打点があるのを除いては、その動作途中に拍打点があ
る。なお、図中拍打点をその拍番号の数字で示している
が□で囲んでいるものは指揮棒がその点で停止する拍打
点であり、○で囲んでいるものは指揮棒がある速度でそ
の点を通過または折り返しする拍打点である。
ート）、同図（Ｂ）はレガート、同図（Ｃ）は軽いスタ
ッカート、同図（Ｄ）は強いスタッカートの場合の指揮
棒の軌跡を示している。これらの図から明らかなように
第１拍の指示動作は、上から下への振り下ろし動作であ
り、その動作の下端が第１拍の拍打点である。そして軽
いスタッカート（同図（Ｃ））以外は振り下ろしの反動
の短い振り上げ動作を伴う。また、第２拍の指示動作
は、右方向への揺動動作であり、奏法によりその動作中
に拍打点がある場合（ノンレガート（同図（Ａ）），レ
ガート（同図（Ｂ）））と、右向きの動作の右端に拍打
点がある場合（スタッカート（同図（Ｃ），（Ｄ）））
とがある。また、第３拍の指示動作は、右下から左上へ
の振り上げ動作であり、軽いスタッカート（同図
（Ｃ））がその終点（第１拍の振り下ろしの開始点）に
拍打点があるのを除いては、その動作途中に拍打点があ
る。なお、図中拍打点をその拍番号の数字で示している
が□で囲んでいるものは指揮棒がその点で停止する拍打
点であり、○で囲んでいるものは指揮棒がある速度でそ
の点を通過または折り返しする拍打点である。
【００１６】図３において同図（Ａ）は通常（ノンレガ
ート）、同図（Ｂ）はレガート、同図（Ｃ）は軽いスタ
ッカート、同図（Ｄ）は強いスタッカートの場合の指揮
棒の軌跡を示している。４拍子の指揮法は３拍子の指揮
法と類似しており、４拍子の第１拍指示動作と３拍子の
第１拍指示動作、４拍子の第３拍指示動作と３拍子の第
２拍指示動作、４拍子の第４拍指示動作と３拍子の第３
拍指示動作がほぼ対応する。そして４拍子の第２拍指示
動作は、第１拍指示動作の終了点から左方向への揺動動
作であり、奏法によりその動作中に拍打点がある場合
（ノンレガート（同図（Ａ）），レガート（同図
（Ｂ）））と、左向きの動作の左端に拍打点がある場合
（スタッカート（同図（Ｃ），（Ｄ）））とがある。
ート）、同図（Ｂ）はレガート、同図（Ｃ）は軽いスタ
ッカート、同図（Ｄ）は強いスタッカートの場合の指揮
棒の軌跡を示している。４拍子の指揮法は３拍子の指揮
法と類似しており、４拍子の第１拍指示動作と３拍子の
第１拍指示動作、４拍子の第３拍指示動作と３拍子の第
２拍指示動作、４拍子の第４拍指示動作と３拍子の第３
拍指示動作がほぼ対応する。そして４拍子の第２拍指示
動作は、第１拍指示動作の終了点から左方向への揺動動
作であり、奏法によりその動作中に拍打点がある場合
（ノンレガート（同図（Ａ）），レガート（同図
（Ｂ）））と、左向きの動作の左端に拍打点がある場合
（スタッカート（同図（Ｃ），（Ｄ）））とがある。
【００１７】また、図４において、２拍子の拍指示はほ
ぼ上下動で行われる。ノンレガート（同図（Ａ）），レ
ガート（同図（Ｂ））および強いスタッカート（同図
（Ｄ））において、第１拍の指示動作は、上から下への
振り下ろし動作と、その反動の短い振り上げ動作からな
り，振り下ろし動作の下端が第１拍の拍打点である。ま
た、第２拍の指示動作は、短い予備動作である振り下ろ
し動作と、下から上（第１拍指示動作の開始点）への振
り上げ動作からなり，振り下ろし動作の下端が第２拍の
拍打点である。
ぼ上下動で行われる。ノンレガート（同図（Ａ）），レ
ガート（同図（Ｂ））および強いスタッカート（同図
（Ｄ））において、第１拍の指示動作は、上から下への
振り下ろし動作と、その反動の短い振り上げ動作からな
り，振り下ろし動作の下端が第１拍の拍打点である。ま
た、第２拍の指示動作は、短い予備動作である振り下ろ
し動作と、下から上（第１拍指示動作の開始点）への振
り上げ動作からなり，振り下ろし動作の下端が第２拍の
拍打点である。
【００１８】ＨＭＭを用いて、指揮棒の揺動から上記指
揮法を分析する指揮動作分析装置を図５に示す。また、
図６は同指揮動作分析装置の状態判定部の状態判定動作
を説明する図、図７は同指揮動作分析装置のＨＭＭ記憶
部５に記憶されるＨＭＭを例示する図である。
揮法を分析する指揮動作分析装置を図５に示す。また、
図６は同指揮動作分析装置の状態判定部の状態判定動作
を説明する図、図７は同指揮動作分析装置のＨＭＭ記憶
部５に記憶されるＨＭＭを例示する図である。
【００１９】この指揮動作分析装置は、センサ１，状態
判定部２，レジスタ３，確率計算部４，ＨＭＭ記憶部
５，拍判定部６からなっており、拍判定部６が判定した
内容は自動演奏装置７に入力される。センサ１は、操作
者が手に持って上記指揮法にしたがって揺動させるコン
トローラに内蔵された角速度や加速度を検出するセンサ
である。指揮法に従って揺動させるコントローラとして
は指揮棒状のものが一般的であるが、この他にハンドグ
リップ状のものや手に直接貼りつけるものなどが考えら
れる。このセンサ１は、図６（Ａ）に示すような揺動角
度の領域を検出するために用いられるため、たとえば、
揺動の垂直方向成分を検出する垂直方向センサおよび揺
動の水平方向成分を検出する水平方向センサからなって
いる。このような垂直・水平方向センサを有する指揮棒
については、未公開であるが、先願の特願平７−１１０
５４９号に詳細に説明されている。このセンサ１の検出
値は状態判定部２に入力される。
判定部２，レジスタ３，確率計算部４，ＨＭＭ記憶部
５，拍判定部６からなっており、拍判定部６が判定した
内容は自動演奏装置７に入力される。センサ１は、操作
者が手に持って上記指揮法にしたがって揺動させるコン
トローラに内蔵された角速度や加速度を検出するセンサ
である。指揮法に従って揺動させるコントローラとして
は指揮棒状のものが一般的であるが、この他にハンドグ
リップ状のものや手に直接貼りつけるものなどが考えら
れる。このセンサ１は、図６（Ａ）に示すような揺動角
度の領域を検出するために用いられるため、たとえば、
揺動の垂直方向成分を検出する垂直方向センサおよび揺
動の水平方向成分を検出する水平方向センサからなって
いる。このような垂直・水平方向センサを有する指揮棒
については、未公開であるが、先願の特願平７−１１０
５４９号に詳細に説明されている。このセンサ１の検出
値は状態判定部２に入力される。
【００２０】状態判定部２は、以下の動作を行う。セ
ンサ１の出力を１０ｍｓずつのフレームに分割する。
揺動速度（角速度）の領域を判断し、図６（Ａ）の区分
で各フレームをラベル付け（動作ラベル：l1〜l5）す
る。ラベルをレジスタ３に入力する。この動作は１０
ｍｓのフレームクロック毎に繰り返し実行する。なお、
図６（Ｂ）のラベルリストのうちl6〜l14 は拍判定部６
が出力する拍ラベルである。
ンサ１の出力を１０ｍｓずつのフレームに分割する。
揺動速度（角速度）の領域を判断し、図６（Ａ）の区分
で各フレームをラベル付け（動作ラベル：l1〜l5）す
る。ラベルをレジスタ３に入力する。この動作は１０
ｍｓのフレームクロック毎に繰り返し実行する。なお、
図６（Ｂ）のラベルリストのうちl6〜l14 は拍判定部６
が出力する拍ラベルである。
【００２１】なお、図６（Ａ）の揺動動作のラベル付け
は、一例であって本発明がこれに限定されるものではな
い。使用するセンシングシステム（コントローラやセン
サの種類）、操作者、センサ部の把持方法等によって、
入力動作に対応するセンサ出力が異なるため、これらに
対応しラベル付けの精度を向上するためには、複数の操
作者、複数のセンサ把持方法など様々な態様の拍指示動
作のデータを大量に採取し、類似する動作のデータの代
表点を求めてラベル付けをするようにすればよい。
は、一例であって本発明がこれに限定されるものではな
い。使用するセンシングシステム（コントローラやセン
サの種類）、操作者、センサ部の把持方法等によって、
入力動作に対応するセンサ出力が異なるため、これらに
対応しラベル付けの精度を向上するためには、複数の操
作者、複数のセンサ把持方法など様々な態様の拍指示動
作のデータを大量に採取し、類似する動作のデータの代
表点を求めてラベル付けをするようにすればよい。
【００２２】レジスタ３は図５（Ｂ）のような構成にな
っている。後述の拍判定部６が判定した拍判定情報（拍
ラベル）を記憶する拍ラベルレジスタ３０、前記状態判
定部２から入力されるラベル（動作ラベル）を５０個記
憶する５０段のシフトレジスタ３１、および、前記拍ラ
ベルと動作ラベルを連結して確率演算部４に入力する合
成部３２からなっている。シフトレジスタ３１は、１０
ｍｓのフレームクロックで記憶内容をシフトしてゆき、
状態判定部２から入力される動作ラベルを最新のものか
ら５０個（５００ｍｓ分）記憶する。
っている。後述の拍判定部６が判定した拍判定情報（拍
ラベル）を記憶する拍ラベルレジスタ３０、前記状態判
定部２から入力されるラベル（動作ラベル）を５０個記
憶する５０段のシフトレジスタ３１、および、前記拍ラ
ベルと動作ラベルを連結して確率演算部４に入力する合
成部３２からなっている。シフトレジスタ３１は、１０
ｍｓのフレームクロックで記憶内容をシフトしてゆき、
状態判定部２から入力される動作ラベルを最新のものか
ら５０個（５００ｍｓ分）記憶する。
【００２３】上記レジスタは、拍ラベルと動作ラベルを
別に記憶し、拍ラベルが必ずラベル系列の先頭になるよ
うに拍ラベルと動作ラベルを連結するようにしている
が、これは以下の理由による。シフトレジスタ３１の長
さが１拍以上になると今回の拍打ち動作のみならず、前
拍の拍打ち動作のラベルも含まれることになり分析が複
雑になる。そこで、シフトレジスタ３１の長さを５００
ｍｓ分に制限したが、そうすると、拍ラベルを動作ラベ
ルと同様にシフトレジスタ３１に時系列に入力したので
は、次の拍タイミングにはシフトレジスタ３１から出て
しまっていることになる。そこで、拍ラベルのみ別に記
憶するようにした。
別に記憶し、拍ラベルが必ずラベル系列の先頭になるよ
うに拍ラベルと動作ラベルを連結するようにしている
が、これは以下の理由による。シフトレジスタ３１の長
さが１拍以上になると今回の拍打ち動作のみならず、前
拍の拍打ち動作のラベルも含まれることになり分析が複
雑になる。そこで、シフトレジスタ３１の長さを５００
ｍｓ分に制限したが、そうすると、拍ラベルを動作ラベ
ルと同様にシフトレジスタ３１に時系列に入力したので
は、次の拍タイミングにはシフトレジスタ３１から出て
しまっていることになる。そこで、拍ラベルのみ別に記
憶するようにした。
【００２４】ただし、同図（Ｃ）のようにシフトレジス
タを十分１拍以上の長さに構成して拍ラベルを動作ラベ
ルと同様に時系列に入力し、必ず前拍の拍ラベルと前拍
打ちの動作ラベルがラベル系列中に時系列的に含まれる
ようにすることもできる。この場合には、前拍の拍打ち
動作の動作も含めて分析することにより、分析は複雑に
なるがより正確に拍種類を判定することができる。
タを十分１拍以上の長さに構成して拍ラベルを動作ラベ
ルと同様に時系列に入力し、必ず前拍の拍ラベルと前拍
打ちの動作ラベルがラベル系列中に時系列的に含まれる
ようにすることもできる。この場合には、前拍の拍打ち
動作の動作も含めて分析することにより、分析は複雑に
なるがより正確に拍種類を判定することができる。
【００２５】ただし、シフトレジスタの段数やフレーム
クロックの周波数は上記実施形態に限定されるものでは
ない。
クロックの周波数は上記実施形態に限定されるものでは
ない。
【００２６】確率計算部４は、１個の拍ラベルと５０個
の動作ラベルからなる５１個のラベルで構成されたラベ
ル系列を出力する確率、すなわち、該ラベル系列のゆう
度をＨＭＭ記憶部５に記憶されている全てのＨＭＭにつ
いて計算する。ＨＭＭ記憶部５には図７（Ａ）に示すよ
うに各種拍打動作のラベル系列を出力する複数のＨＭＭ
が記憶されている。これらのＨＭＭは、認識対象である
指揮動作が時間に変動する状態を、有限個の状態遷移確
率でモデル化したものであり、自己遷移経路を持つ３〜
４の状態数で構成され、学習によって状態遷移確率およ
び各ラベルの出力確率を決定すればよい。確率計算部４
が計算したゆう度は拍判定部６に出力される。
の動作ラベルからなる５１個のラベルで構成されたラベ
ル系列を出力する確率、すなわち、該ラベル系列のゆう
度をＨＭＭ記憶部５に記憶されている全てのＨＭＭにつ
いて計算する。ＨＭＭ記憶部５には図７（Ａ）に示すよ
うに各種拍打動作のラベル系列を出力する複数のＨＭＭ
が記憶されている。これらのＨＭＭは、認識対象である
指揮動作が時間に変動する状態を、有限個の状態遷移確
率でモデル化したものであり、自己遷移経路を持つ３〜
４の状態数で構成され、学習によって状態遷移確率およ
び各ラベルの出力確率を決定すればよい。確率計算部４
が計算したゆう度は拍判定部６に出力される。
【００２７】ここで、図７（Ｂ），（Ｃ）は、４拍子の
１拍目のラベル系列を学習したＨＭＭ、すなわち、Ｍ41
の例を示す図である。同図（Ｂ）は、図５（Ｂ）の構成
のレジスタから、必ず拍ラベルが先頭にあるラベル系列
が入力される場合のＨＭＭの構成を示し、同図（Ｃ）は
図５（Ｃ）の構成のレジスタから、前拍の拍打ちの動作
ラベル−前拍の拍ラベル−今回の拍打ちの動作ラベルか
らなるラベル系列が入力される場合のＨＭＭの構成を示
している。図７（Ｂ）では拍ラベルは必ず先頭で１個の
みであるため、ＨＭＭは、状態Ｓ1 から必ず（遷移確率
＝１で）状態Ｓ2 に遷移し、そのときいずれかの拍ラベ
ルl6〜l14 を出力する。状態Ｓ2 および状態Ｓ3 では動
作ラベルl1〜l5のみ出力する。一方、同図（Ｃ）では前
拍の拍打ちの動作ラベル，前拍の拍ラベルおよび今回の
拍打ちの動作ラベルを分析するため状態数が４となり、
全ての遷移（自己遷移を含む）時に、全てのラベルl1〜
l14 を出力する可能性がある。なお、ＨＭＭの構成は上
記例に限定されるものではない。
１拍目のラベル系列を学習したＨＭＭ、すなわち、Ｍ41
の例を示す図である。同図（Ｂ）は、図５（Ｂ）の構成
のレジスタから、必ず拍ラベルが先頭にあるラベル系列
が入力される場合のＨＭＭの構成を示し、同図（Ｃ）は
図５（Ｃ）の構成のレジスタから、前拍の拍打ちの動作
ラベル−前拍の拍ラベル−今回の拍打ちの動作ラベルか
らなるラベル系列が入力される場合のＨＭＭの構成を示
している。図７（Ｂ）では拍ラベルは必ず先頭で１個の
みであるため、ＨＭＭは、状態Ｓ1 から必ず（遷移確率
＝１で）状態Ｓ2 に遷移し、そのときいずれかの拍ラベ
ルl6〜l14 を出力する。状態Ｓ2 および状態Ｓ3 では動
作ラベルl1〜l5のみ出力する。一方、同図（Ｃ）では前
拍の拍打ちの動作ラベル，前拍の拍ラベルおよび今回の
拍打ちの動作ラベルを分析するため状態数が４となり、
全ての遷移（自己遷移を含む）時に、全てのラベルl1〜
l14 を出力する可能性がある。なお、ＨＭＭの構成は上
記例に限定されるものではない。
【００２８】拍判定部６は、確率計算部４から入力され
た各ＨＭＭのゆう度を比較して最も高いものを選出し、
その最も高いものが一定の閾値を越えている場合に、拍
タイミングであり、そのときの拍種類（拍子および拍番
号）は最高のゆう度を出力したＨＭＭの拍種類であると
判定する。入力されたゆう度のうち最も値の大きいもの
でも前記一定の閾値を越えていない場合には、拍タイミ
ングでないとして何も出力しない。
た各ＨＭＭのゆう度を比較して最も高いものを選出し、
その最も高いものが一定の閾値を越えている場合に、拍
タイミングであり、そのときの拍種類（拍子および拍番
号）は最高のゆう度を出力したＨＭＭの拍種類であると
判定する。入力されたゆう度のうち最も値の大きいもの
でも前記一定の閾値を越えていない場合には、拍タイミ
ングでないとして何も出力しない。
【００２９】すなわち、レジスタ３は拍タイミングであ
るか否かに拘らず各フレームタイミング毎に５１個のラ
ベル系列を確率計算部４に出力し、確率計算部４はこの
入力されたラベル系列に基づいて各ＨＭＭのゆう度をフ
レームタイミング毎に出力する。このように拍判定部６
には拍タイミングであるか否かに拘らず全ＨＭＭのゆう
度が入力されることになるが、拍タイミングに入力され
たラベル系列に対するゆう度とそれ以外のタイミングに
入力されたラベル系列に対するゆう度とでは絶対的な値
が異なる。したがって、適当な閾値を定め、ゆう度がそ
れ以下の場合には、拍タイミングでないと判定すること
によって、拍判定部６は、最大ゆう度を出力したＨＭＭ
に基づいて拍種類を判定するのに同期して、拍タイミン
グを検出することができる。
るか否かに拘らず各フレームタイミング毎に５１個のラ
ベル系列を確率計算部４に出力し、確率計算部４はこの
入力されたラベル系列に基づいて各ＨＭＭのゆう度をフ
レームタイミング毎に出力する。このように拍判定部６
には拍タイミングであるか否かに拘らず全ＨＭＭのゆう
度が入力されることになるが、拍タイミングに入力され
たラベル系列に対するゆう度とそれ以外のタイミングに
入力されたラベル系列に対するゆう度とでは絶対的な値
が異なる。したがって、適当な閾値を定め、ゆう度がそ
れ以下の場合には、拍タイミングでないと判定すること
によって、拍判定部６は、最大ゆう度を出力したＨＭＭ
に基づいて拍種類を判定するのに同期して、拍タイミン
グを検出することができる。
【００３０】拍判定部６が拍タイミングとその拍の拍種
類を判定すると、その拍種類を自動演奏装置７に出力す
る。自動演奏装置７は、入力された拍タイミングとその
拍種類情報に基づいて演奏の拍タイミング，拍種類が入
力された拍タイミング，拍種類に一致するように演奏の
テンポを制御する。さらに、拍判定部６はこの拍種類に
応じた拍ラベル (l6〜l14)を生成してレジスタ３に入力
する。レジスタ３は入力された拍ラベルを拍ラベルレジ
スタ３０に記憶する。
類を判定すると、その拍種類を自動演奏装置７に出力す
る。自動演奏装置７は、入力された拍タイミングとその
拍種類情報に基づいて演奏の拍タイミング，拍種類が入
力された拍タイミング，拍種類に一致するように演奏の
テンポを制御する。さらに、拍判定部６はこの拍種類に
応じた拍ラベル (l6〜l14)を生成してレジスタ３に入力
する。レジスタ３は入力された拍ラベルを拍ラベルレジ
スタ３０に記憶する。
【００３１】以上の構成により、指揮動作検出装置は、
操作者の指揮による拍指示動作を検出して自動演奏装置
７を制御することができる。この装置においては、拍判
定部６の拍判定結果を拍ラベルに変換してレジスタ３に
入力し、動作ラベルとは別のレジスタに記憶するように
しているが、動作ラベルと同様にシフトレジスタにその
発生タイミングに応じた順位で記憶するようにしてもよ
い。
操作者の指揮による拍指示動作を検出して自動演奏装置
７を制御することができる。この装置においては、拍判
定部６の拍判定結果を拍ラベルに変換してレジスタ３に
入力し、動作ラベルとは別のレジスタに記憶するように
しているが、動作ラベルと同様にシフトレジスタにその
発生タイミングに応じた順位で記憶するようにしてもよ
い。
【００３２】なお、ＨＭＭ記憶部５に記憶されるＨＭＭ
に対してより高度な学習を施して認識に反映させること
ができる。なお、ここで学習とは「ある動作に対して付
与されたラベル系列Ｌに対して当該動作を表現するＨＭ
ＭのモデルＭのゆう度Ｐｒ（Ｌ：Ｍ）を最大にするよう
に、モデルＭのパラメータ（遷移確率と出力確率）を調
整すること」である。この学習としては、 特定個人向けのカスタマイズ：その個人のデータだ
けで代表点を計算しなおす方式 一般化：より多くの人のデータを採取し、代表点を
計算しなおす方式 演奏中の微小チューニング：演奏者のデータが、相
当するラベルに予め設定してある代表値から常にズレて
いる場合は、代表値を定期的に微調整する。
に対してより高度な学習を施して認識に反映させること
ができる。なお、ここで学習とは「ある動作に対して付
与されたラベル系列Ｌに対して当該動作を表現するＨＭ
ＭのモデルＭのゆう度Ｐｒ（Ｌ：Ｍ）を最大にするよう
に、モデルＭのパラメータ（遷移確率と出力確率）を調
整すること」である。この学習としては、 特定個人向けのカスタマイズ：その個人のデータだ
けで代表点を計算しなおす方式 一般化：より多くの人のデータを採取し、代表点を
計算しなおす方式 演奏中の微小チューニング：演奏者のデータが、相
当するラベルに予め設定してある代表値から常にズレて
いる場合は、代表値を定期的に微調整する。
【００３３】などがある。学習は、パラメータに適当な
初期値を与えておき、データに基づく反復計算で収束さ
せる方法で行われる。
初期値を与えておき、データに基づく反復計算で収束さ
せる方法で行われる。
【００３４】なお、ＨＭＭを用いた指揮法のモデル化
は、ラベル，扱うパラメータの種類，ＨＭＭの構造，そ
の他種々の要素を如何に決定するかにより種々の手法が
考えられ、上記実施形態は、これら種々のモデル化手法
の一例に過ぎない。
は、ラベル，扱うパラメータの種類，ＨＭＭの構造，そ
の他種々の要素を如何に決定するかにより種々の手法が
考えられ、上記実施形態は、これら種々のモデル化手法
の一例に過ぎない。
【００３５】また、扱うパラメータや状態ラベルを増や
して、認識する動作の種類や音楽情報の種類や増やした
り、認識率を向上することも可能である。例えば、動作
の大きさや速度からダイナミクスを認識したり、二次元
平面内での動作軌跡曲率などを参照してレガート，スタ
ッカート等を認識することもできる。すなわち、拍打時
点での軌跡の曲率が小さい（滑らかな）動作であればレ
ガート（スラー／エスプレッシーヴォ）であると判断す
ることができ、曲率が大きい（クッキリした）動作であ
ればスタッカートであると判断することができる。
して、認識する動作の種類や音楽情報の種類や増やした
り、認識率を向上することも可能である。例えば、動作
の大きさや速度からダイナミクスを認識したり、二次元
平面内での動作軌跡曲率などを参照してレガート，スタ
ッカート等を認識することもできる。すなわち、拍打時
点での軌跡の曲率が小さい（滑らかな）動作であればレ
ガート（スラー／エスプレッシーヴォ）であると判断す
ることができ、曲率が大きい（クッキリした）動作であ
ればスタッカートであると判断することができる。
【００３６】また、ラベル化に用いるパラメータとして
は、揺動の方向と速度（角速度）を用いたが、指揮（拍
指示）の軌跡の形状から主な動作方向の成分を求め、第
１成分の軸を縦方向，第２成分の軸を横方向という変換
を施して演奏者の把持方法の違いや、クセの成分を減ら
したりしてもよい。
は、揺動の方向と速度（角速度）を用いたが、指揮（拍
指示）の軌跡の形状から主な動作方向の成分を求め、第
１成分の軸を縦方向，第２成分の軸を横方向という変換
を施して演奏者の把持方法の違いや、クセの成分を減ら
したりしてもよい。
【００３７】また、揺動の方向，速度（角速度）以外に
以下のようなパラメータを用いることもできる。
以下のようなパラメータを用いることもできる。
【００３８】二次元面内または三次元空間内の基準点か
らの角度，位置，速度，加速度等 時間域波形のピーク，谷，絶対値など、 前の拍の種類 前の拍打点（拍タイミング）からの差（角度，速度，位
置など） 前の拍タイミングからの時間 前サンプルとの差 動作の中心から見た象限 これらのうちのいずれかを使ってもよいし、複数組み合
わせて使ってもよい。また、これら複数パラメータの空
間的偏りをクラスタ分析し、代表ベクトルを求めてラベ
ルにしてもよい。
らの角度，位置，速度，加速度等 時間域波形のピーク，谷，絶対値など、 前の拍の種類 前の拍打点（拍タイミング）からの差（角度，速度，位
置など） 前の拍タイミングからの時間 前サンプルとの差 動作の中心から見た象限 これらのうちのいずれかを使ってもよいし、複数組み合
わせて使ってもよい。また、これら複数パラメータの空
間的偏りをクラスタ分析し、代表ベクトルを求めてラベ
ルにしてもよい。
【００３９】また、上記指揮動作分析装置は、拍タイミ
ングと拍種類を認識するための装置であるが、これの一
段上位の階層の認識、すなわち、拍種類の連鎖による拍
子の分析にＨＭＭを適用することができる。例えば「２
拍目→３拍目→１拍目と遷移したら今は３拍子を演奏
中」などの認識を行わせる。この場合において、ラベル
を出力せずに状態遷移するナル遷移を導入することで、
全ての拍を打たなくても拍子を認識させることができ
る。例えば、３拍子の認識用のＨＭＭにおいて、１拍目
から３拍目へのナル遷移を許すと、必ずしも２拍目を打
たなくても３拍子として認識可能となる。
ングと拍種類を認識するための装置であるが、これの一
段上位の階層の認識、すなわち、拍種類の連鎖による拍
子の分析にＨＭＭを適用することができる。例えば「２
拍目→３拍目→１拍目と遷移したら今は３拍子を演奏
中」などの認識を行わせる。この場合において、ラベル
を出力せずに状態遷移するナル遷移を導入することで、
全ての拍を打たなくても拍子を認識させることができ
る。例えば、３拍子の認識用のＨＭＭにおいて、１拍目
から３拍目へのナル遷移を許すと、必ずしも２拍目を打
たなくても３拍子として認識可能となる。
【００４０】このように、この実施形態では、自動演奏
のテンポなどを制御する指揮動作判定装置に本発明を適
用しているが、指揮動作は時系列に一定のルールに基づ
いて繰り返される連続動作であるため、ＨＭＭの構造決
定や学習が容易であり、高い判定精度を期待することが
できる。
のテンポなどを制御する指揮動作判定装置に本発明を適
用しているが、指揮動作は時系列に一定のルールに基づ
いて繰り返される連続動作であるため、ＨＭＭの構造決
定や学習が容易であり、高い判定精度を期待することが
できる。
【００４１】また、図５の装置は指揮動作の判定に用い
るのみでなく、人や物の動作全般の判定に用いることが
可能である。例えば、マルチメディアインタフェースへ
の応用として、バーチャルリアリティ（ＶＲ）における
動作のインタフェースに適用することができる。ＶＲで
用いられるセンサとしては、三次元内での位置，角度な
とを検出する三次元位置・角度センサ、指間接の曲げ角
度を検出するグローブ型間接曲げ角度検出センサ（デー
タグラブ）、スーツ型間接曲げ角度検出センサなどがあ
る。また、カメラで撮影した動作画像を認識することも
できる。図８は上記センサが検出した動作の状態をラベ
ル化し（同図（Ａ））、ゲーム内での動作を上記ラベル
の時間遷移を学習させたＨＭＭ（同図（Ｂ））で判定す
る。例えば、パンチに対応するＨＭＭは、手を握り
(l8)，肘を伸ばしつつあり(l2)，肘を伸ばしきった(l4)
という動作状態のラベル系列に対して高い確率を出力す
るように学習されている。
るのみでなく、人や物の動作全般の判定に用いることが
可能である。例えば、マルチメディアインタフェースへ
の応用として、バーチャルリアリティ（ＶＲ）における
動作のインタフェースに適用することができる。ＶＲで
用いられるセンサとしては、三次元内での位置，角度な
とを検出する三次元位置・角度センサ、指間接の曲げ角
度を検出するグローブ型間接曲げ角度検出センサ（デー
タグラブ）、スーツ型間接曲げ角度検出センサなどがあ
る。また、カメラで撮影した動作画像を認識することも
できる。図８は上記センサが検出した動作の状態をラベ
ル化し（同図（Ａ））、ゲーム内での動作を上記ラベル
の時間遷移を学習させたＨＭＭ（同図（Ｂ））で判定す
る。例えば、パンチに対応するＨＭＭは、手を握り
(l8)，肘を伸ばしつつあり(l2)，肘を伸ばしきった(l4)
という動作状態のラベル系列に対して高い確率を出力す
るように学習されている。
【００４２】また、図５の装置を手話認識に用いること
も可能である。この場合においてもカメラやデータグラ
ブなどで指の形状や手の位置を検出し、これを図９
（Ａ）のようにラベル化する。このラベル系列に基づい
て同図（Ｂ）に示すようなＨＭＭにより表現される単語
を認識する。また、指の形状や手の位置に限定されず、
体全体の動作に基づいて動作を検出するようにしてもよ
い。
も可能である。この場合においてもカメラやデータグラ
ブなどで指の形状や手の位置を検出し、これを図９
（Ａ）のようにラベル化する。このラベル系列に基づい
て同図（Ｂ）に示すようなＨＭＭにより表現される単語
を認識する。また、指の形状や手の位置に限定されず、
体全体の動作に基づいて動作を検出するようにしてもよ
い。
【００４３】なお、動作認識の手法としてはＨＭＭ以外
に、ファジィ制御やニューラルネットワークが知られて
いるが、ファジィ制御は、検出／判別ルールを全て記述
する必要があるのに対してＨＭＭはルールの記述が不要
で、学習によってルールを内蔵することができるためシ
ステム構築が容易である。また、ニューラルネットワー
クでは、ネットワークに学習させるために非常に複雑な
演算が必要であるが、ＨＭＭは単純な演算で学習を行わ
せることができ、学習が容易である。したがって、これ
らファジィ制御やニューラルネットワークよりも動作認
識に有効である。
に、ファジィ制御やニューラルネットワークが知られて
いるが、ファジィ制御は、検出／判別ルールを全て記述
する必要があるのに対してＨＭＭはルールの記述が不要
で、学習によってルールを内蔵することができるためシ
ステム構築が容易である。また、ニューラルネットワー
クでは、ネットワークに学習させるために非常に複雑な
演算が必要であるが、ＨＭＭは単純な演算で学習を行わ
せることができ、学習が容易である。したがって、これ
らファジィ制御やニューラルネットワークよりも動作認
識に有効である。
【００４４】また、ＨＭＭは、実際の動作の揺らぎをフ
ァジィ制御やニューラルネットワークよりも正確に反映
することができる。これは、出力確率がその状態が発生
する確率的な揺らぎに対応し、遷移確率が時間軸方向の
揺らぎに対応しているからである。また構造が簡略であ
るため、統計理論や情報理論等による理論的展開がし易
く、確率の概念を用いて上位階層レベルの認識に統合す
ることが容易である。
ァジィ制御やニューラルネットワークよりも正確に反映
することができる。これは、出力確率がその状態が発生
する確率的な揺らぎに対応し、遷移確率が時間軸方向の
揺らぎに対応しているからである。また構造が簡略であ
るため、統計理論や情報理論等による理論的展開がし易
く、確率の概念を用いて上位階層レベルの認識に統合す
ることが容易である。
【００４５】
【発明の効果】以上のようにこの発明によれば、ＨＭＭ
に特定の動作を学習させ、動作に基づくセンサ出力をラ
ベル化して該ＨＭＭのゆう度を算出するようにしたこと
により、動作の速度や動きのスペクトルまたはそれらの
揺らぎを吸収して正確な動作判定が可能になる。
に特定の動作を学習させ、動作に基づくセンサ出力をラ
ベル化して該ＨＭＭのゆう度を算出するようにしたこと
により、動作の速度や動きのスペクトルまたはそれらの
揺らぎを吸収して正確な動作判定が可能になる。
【００４６】また、動作判定結果に基づいてラベルを生
成し、これをＨＭＭに与えるラベル系列に含めることに
より、過去の動作内容が次の動作内容の判定に影響を与
えることになり、連続した動作を判定する場合に高い精
度の動作判定が可能になる。
成し、これをＨＭＭに与えるラベル系列に含めることに
より、過去の動作内容が次の動作内容の判定に影響を与
えることになり、連続した動作を判定する場合に高い精
度の動作判定が可能になる。
【図１】ＨＭＭの簡単な例を示す図
【図２】３拍子を指揮するときの指揮棒の軌跡を示す図
【図３】４拍子を指揮する場合の指揮棒の軌跡を示す図
【図４】２拍子を指揮する場合の指揮棒の軌跡を示す図
【図５】この発明の実施形態である指揮動作分析装置の
構成を示す図
構成を示す図
【図６】同指揮動作分析装置の状態判定部の状態判定動
作を説明する図
作を説明する図
【図７】同指揮動作分析装置のＨＭＭ記憶部に記憶され
るＨＭＭを例示する図
るＨＭＭを例示する図
【図８】本発明の動作分析装置をゲームに適用した場合
のラベルとＨＭＭを示す図
のラベルとＨＭＭを示す図
【図９】本発明の動作分析装置を手話認識に適用した場
合のラベルとＨＭＭを示す図
合のラベルとＨＭＭを示す図
１…センサ、２…状態判定部、３…レジスタ、４…確率
計算部、５…ＨＭＭ記憶部、６…拍判定部、７…自動演
奏装置
計算部、５…ＨＭＭ記憶部、６…拍判定部、７…自動演
奏装置
Claims (4)
- 【請求項１】 動作を検出するセンサから出力された検
出値を一定時間毎にラベル化してラベル系列に編集し、
特定の動作に対応するラベル系列を学習させた隠れマル
コフモデルが該ラベル系列を出力する確率を計算し、こ
の計算結果に基づいて前記センサが検出した動作の内容
を判定することを特徴とする動作判定方法。 - 【請求項２】 判定された動作の内容に基づいてラベル
を生成し、これを前記ラベル系列に挿入することを特徴
とする請求項１に記載の動作判定方法。 - 【請求項３】 動作を検出して検出値を出力するセンサ
と、 該センサから入力される検出値を一定時間毎にラベル化
する状態判定部と、 前記状態判定部から一定時間毎に出力されるラベルをラ
ベル系列に編集するラベル系列生成部と、 特定の動作に対応するラベル系列を学習させた隠れマル
コフモデルを記憶するＨＭＭ記憶部と、 前記ラベル系列生成部からラベル系列を入力し、前記Ｈ
ＭＭ記憶部に記憶されている隠れマルコフモデルが該ラ
ベル系列を出力する確率を計算する確率計算部と、 該確率計算部の計算結果に基づいて前記センサが検出し
た動作の内容を判定する動作判定部と、 からなる動作判定装置。 - 【請求項４】 前記ラベル系列生成部は、前記動作判定
部が判定した動作の内容に基づくラベルを前記ラベル系
列に挿入する手段を含む請求項３に記載の動作判定装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28646696A JP3735969B2 (ja) | 1995-11-02 | 1996-10-29 | 指揮動作判定方法および指揮動作判定装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28577495 | 1995-11-02 | ||
| JP7-285774 | 1995-11-02 | ||
| JP28646696A JP3735969B2 (ja) | 1995-11-02 | 1996-10-29 | 指揮動作判定方法および指揮動作判定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09185716A true JPH09185716A (ja) | 1997-07-15 |
| JP3735969B2 JP3735969B2 (ja) | 2006-01-18 |
Family
ID=26556024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28646696A Expired - Fee Related JP3735969B2 (ja) | 1995-11-02 | 1996-10-29 | 指揮動作判定方法および指揮動作判定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3735969B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7587065B2 (en) | 2002-09-26 | 2009-09-08 | Kabushiki Kaisha Toshiba | Image analysis method, analyzing movement of an object in image data |
| JP2009262702A (ja) * | 2008-04-23 | 2009-11-12 | Fuji Heavy Ind Ltd | 安全運転支援システム |
| JP2013003930A (ja) * | 2011-06-19 | 2013-01-07 | Masafumi Hagiwara | 不審人物検知方法および装置、異常事象検知方法および装置 |
| JP2015130070A (ja) * | 2014-01-07 | 2015-07-16 | 富士通株式会社 | 検出プログラム、検出方法および検出装置 |
| JP2016020215A (ja) * | 2011-07-04 | 2016-02-04 | ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ | 車両制御システムおよび車両制御方法 |
| JP6258442B1 (ja) * | 2016-10-28 | 2018-01-10 | 三菱電機インフォメーションシステムズ株式会社 | 動作特定装置、動作特定方法及び動作特定プログラム |
| JP2021043258A (ja) * | 2019-09-06 | 2021-03-18 | ヤマハ株式会社 | 制御システム、及び制御方法 |
-
1996
- 1996-10-29 JP JP28646696A patent/JP3735969B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7587065B2 (en) | 2002-09-26 | 2009-09-08 | Kabushiki Kaisha Toshiba | Image analysis method, analyzing movement of an object in image data |
| JP2009262702A (ja) * | 2008-04-23 | 2009-11-12 | Fuji Heavy Ind Ltd | 安全運転支援システム |
| JP2013003930A (ja) * | 2011-06-19 | 2013-01-07 | Masafumi Hagiwara | 不審人物検知方法および装置、異常事象検知方法および装置 |
| JP2016020215A (ja) * | 2011-07-04 | 2016-02-04 | ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ | 車両制御システムおよび車両制御方法 |
| US9873436B2 (en) | 2011-07-04 | 2018-01-23 | Jaguar Land Rover Limited | Vehicle control system and method for controlling a vehicle |
| US10414404B2 (en) | 2011-07-04 | 2019-09-17 | Jaguar Land Rover Limited | Vehicle control system and method for controlling a vehicle |
| JP2015130070A (ja) * | 2014-01-07 | 2015-07-16 | 富士通株式会社 | 検出プログラム、検出方法および検出装置 |
| JP6258442B1 (ja) * | 2016-10-28 | 2018-01-10 | 三菱電機インフォメーションシステムズ株式会社 | 動作特定装置、動作特定方法及び動作特定プログラム |
| JP2018073081A (ja) * | 2016-10-28 | 2018-05-10 | 三菱電機インフォメーションシステムズ株式会社 | 動作特定装置、動作特定方法及び動作特定プログラム |
| JP2021043258A (ja) * | 2019-09-06 | 2021-03-18 | ヤマハ株式会社 | 制御システム、及び制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3735969B2 (ja) | 2006-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5808219A (en) | Motion discrimination method and device using a hidden markov model | |
| EP3791387B1 (en) | Systems and methods for improved speech recognition using neuromuscular information | |
| JP4430368B2 (ja) | 自由空間に作られるジェスチャを解析する方法及び装置 | |
| US11216069B2 (en) | Systems and methods for improved speech recognition using neuromuscular information | |
| US11036302B1 (en) | Wearable devices and methods for improved speech recognition | |
| US10937414B2 (en) | Systems and methods for text input using neuromuscular information | |
| Davis et al. | Recognizing hand gestures | |
| US10580393B2 (en) | Apparatus for analyzing musical performance, performance analysis method, automatic playback method, and automatic player system | |
| Deng et al. | A statistical approach to automatic speech recognition using the atomic speech units constructed from overlapping articulatory features | |
| US20090066641A1 (en) | Methods and Systems for Interpretation and Processing of Data Streams | |
| JP2001188555A (ja) | 情報処理装置および方法、並びに記録媒体 | |
| JP2011170856A (ja) | 複数の検出ストリームを用いたモーション認識用システム及び方法 | |
| CN110216677B (zh) | 一种机械灵巧手弹琴动作序列的生成及其优化方法 | |
| US20200134297A1 (en) | Control System and Control Method | |
| JP7383943B2 (ja) | 制御システム、制御方法、及びプログラム | |
| Fang et al. | Signer-independent continuous sign language recognition based on SRN/HMM | |
| JPH09185716A (ja) | 動作判定方法および動作判定装置 | |
| JP4617467B2 (ja) | 学習支援装置、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体 | |
| JP2011170857A (ja) | 最小のディレイでモーション認識を行うシステム及び方法 | |
| Kamo et al. | Interactive Diagnosis System for Electric Guitar Strumming Using Wrist-worn Real-time Wireless Motion Tracking Device | |
| JP2004283927A (ja) | ロボット制御装置および方法、記録媒体、並びにプログラム | |
| JP2006038894A (ja) | ロボット制御装置および方法、記録媒体、並びにプログラム | |
| JP4254400B2 (ja) | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 | |
| JP3627321B2 (ja) | 演奏制御装置 | |
| JP3627319B2 (ja) | 演奏制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081104 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |