WO2015141260A1

WO2015141260A1 - 手書き音楽記号認識装置およびプログラム

Info

Publication number: WO2015141260A1
Application number: PCT/JP2015/050875
Authority: WO
Inventors: 明裕藤田
Original assignee: 株式会社河合楽器製作所
Priority date: 2014-03-17
Filing date: 2015-01-15
Publication date: 2015-09-24
Also published as: US20160202899A1; US10725650B2

Abstract

　手書き音楽記号認識装置（１０）は、入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとに前記入力手段の前記画面における位置を位置情報として取得するタッチ情報取得部（２１）と、前記位置情報に基づいて、前記入力手段の移動の軌跡を示すベクトルの属性をベクトル情報として作成するベクトル情報作成部（２２）と、前記ストローク情報に含まれる前記ベクトル情報に基づいてストロークの特徴量を導出するストローク特徴量導出部（２３）と、を有する。

Description

手書き音楽記号認識装置およびプログラム

　本発明は、手書き音楽記号認識装置およびプログラムに関し、特に、指やペンなどの入力手段を用いてユーザーにより手書きで入力された記号を認識するために用いて好適な技術に関する。

　手書き入力に対応するタブレット端末は、指やペンなどの入力手段がタッチパネルを走査した軌跡情報を検出し、検出した情報に基づいて記号あるいは図形などを認識する。

　特許文献１には、次のような方法が開示されている。文字を変換するための特定の記号または図形をあらかじめ登録しておく。文字認識を行うために手書き文字を入力する文字枠に文字が入力されると、その文字を、登録しておいた情報に基づいて、目的の文字に変換する。

　また、特許文献２には、入力された座標データから直線成分を抽出する方法が開示されている。

　また、特許文献３には、次のような方法が開示されている。筆記ストロークの始点と終点とを仮想線分で連結し、その場合に発生する屈曲箇所の特徴量を検出する。そして、前記検出した特徴量と辞書情報とを比較して、文字認識を行う。

特開２０００－１９４７９６号公報特開平１－９６７７０号公報特開２００４－１３３９５１号公報

　しかしながら、特許文献１、３に記載の技術では、文字を変換するための特定の記号または図形をあらかじめ登録しておく必要がある。このため、認識可能な文字、記号、および図形の個数分だけデータを保持しておく必要がある。したがって、大きな記憶容量の記憶媒体が必要である。

　また、入力された文字と、記憶媒体に大量に記憶されている文字候補とを１対１に対応付ける必要がある。したがって、複雑で大掛かりなプログラムを必要とする。
　また、記憶媒体に登録されていない文字や記号を認識することができない。さらに、綺麗に入力しないと正確な記号認識が行われない。

　また、特許文献２に記載の技術では、入力された複数の座標データが所定の範囲内にあれば、それら複数の座標データを、始点の座標と終点の座標とを結ぶ直線データとする。入力された座標データが所定の範囲外であると判断された場合に、当該座標データの前の座標データの終点の座標と、所定の範囲内にある座標データの最初の始点の座標とを直線成分として抽出して記憶する。このような直線成分の確認を順次行いながら、直線データを生成する。このため、入力された記号の全体を認識するために必要な演算量が多くなる。

　本発明は、以上の問題点に鑑みてなされたものであり、手やペンなどの入力手段でユーザーにより手書き入力された記号を容易にかつ正確に認識できるようにすることを目的とする。

　本発明の手書き音楽記号認識装置は、入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとに前記入力手段の前記画面における位置を位置情報として取得するタッチ情報取得手段と、前記タッチ情報取得手段により取得された前記位置情報に基づいて、前記入力手段の移動の軌跡を示すベクトルの属性をベクトル情報として作成するベクトル情報作成手段と、前記入力手段が前記画面に触れてから離れるまでの間の前記位置情報に基づいて前記ベクトル情報作成手段により作成された一連の１個または複数個の前記ベクトルについての前記ベクトル情報を含むストローク情報であって、認識対象となるオブジェクトごとに１個または複数個の前記ストローク情報を記憶するストローク情報記憶手段と、前記入力手段が前記画面に触れてから離れるまでの間の前記入力手段の移動の軌跡であるストロークの特徴量を、前記ストローク情報に含まれる前記ベクトル情報に基づいて導出するストローク特徴量導出手段と、を有することを特徴とする。

　本発明のプログラムは、入力工程が画面に触れてから離れるまで、前記入力工程が移動するごとに前記入力工程の前記画面における位置を位置情報として取得するタッチ情報取得工程と、前記タッチ情報取得工程により取得された前記位置情報に基づいて、前記入力工程の移動の軌跡を示すベクトルの属性をベクトル情報として作成するベクトル情報作成工程と、前記入力工程が前記画面に触れてから離れるまでの間の前記位置情報に基づいて前記ベクトル情報作成工程により作成された一連の１個または複数個の前記ベクトルについての前記ベクトル情報を含むストローク情報であって、認識対象となるオブジェクトごとに１個または複数個の前記ストローク情報を記憶するストローク情報記憶工程と、前記入力工程が前記画面に触れてから離れるまでの間の前記入力工程の移動の軌跡であるストロークの特徴量を、前記ストローク情報に含まれる前記ベクトル情報に基づいて導出するストローク特徴量導出工程と、をコンピュータに実行させることを特徴とする。

　本発明によれば、手やペンなどの入力手段でユーザーにより手書き入力された記号を容易にかつ正確に認識することができる。

図１は、手書き音楽記号認識装置のハードウェアの概略構成の一例を示すブロック図である。図２は、手書き音楽記号認識装置の機能的な概略構成の一例を示すブロック図である。図３は、ベクトル、ストローク、オブジェクトの関係の一例を説明する図である。図４は、ベクトルを分類する方法の一例を説明する図である。図５は、セーニョマークの各ベクトルの始点座標・終点座標・ベクトルＩＤ、およびストロークの特徴量の一例を示す図である。図６は、Ｓ字ストロークの内接矩形と、当該内接矩形の中心座標の一例を示す図である。図７は、ベクトルＩＤと接続タイプとの関係の一例を示す図である。図８は、ベクトルＩＤと回転方向との関係の一例を示す図である。図９は、回転角度の一例を示す図である。図１０は、書き音楽記号認識装置の動作の一例を説明するフローチャートである。図１１は、ベクトル情報の一例を示す図である。図１２は、セーニョマークオブジェクトの位置ＩＤ配列の一例を示す図である。図１３は、図１０のステップＳ１０７の処理の一例を説明するフローチャートである。図１４は、図１３のステップＳ１３１の処理の一例を説明するフローチャートである。図１５は、２個のベクトルで構成された４つの記号を示す図である。図１６は、２個のベクトルＩＤと、記号との関係の一例を示す図である。図１７は、認識対象の記号の一例を示す図である。図１８は、回転方向の変化によって記号を認識する処理の一例を説明するフローチャートである。図１９は、認識対象のストロークが円および楕円の何れの記号であるのかを認識する方法の一例を説明する図である。図２０は、「Ｓ」の回転方向が変化するポイントの一例を示す図である。図２１は、認識対象のストロークの記号が「ト音記号」であるか否かを判定する方法の一例を説明する図である。図２２は、タッチディスプレイの画面の一例を示す図である。図２３Ａは、シャープ記号のストロークの一例を示す図である。図２３Ｂは、シャープ記号用のデータベースの一例を示す図である。図２４Ａは、シャープ記号を構成する各ストロークの重心の一例を示す図である。図２４Ｂは、シャープ記号を構成する各ストロークの重心の位置関係の一例を示す図である。図２５は、複数の微小なベクトルをまとめる方法の第１の例を説明する図である。図２６は、複数の微小なベクトルをまとめるまとめ処理の第１の例を説明するフローチャートである。図２７は、複数の微小なベクトルをまとめる方法の第２の例を説明する図である。図２８は、複数の微小なベクトルをまとめるまとめ処理の第２の例を説明するフローチャートである。図２９Ａは、ベクトルを方向別にグルーピングする方法の一例を説明する図である。図２９Ｂは、複数の微小なベクトルをまとめる方法の第３の例を説明する図である。図３０は、複数の微小なベクトルをまとめるまとめ処理の第３の例を説明するフローチャートである。図３１Ａは、複数の微小なベクトルをまとめる方法の第４の例の第１の形態を説明する図である。図３１Ｂは、複数の微小なベクトルをまとめる方法の第４の例の第２の形態を説明する図である。図３２は、複数の微小なベクトルをまとめるまとめ処理の第４の例を説明するフローチャートである。図３３は、図３２のステップＳ３２１の処理の一例を説明するフローチャートである。図３４は、隣り合う２個のベクトルのベクトルＩＤと、一時記憶ベクトルＩＤと、Ｘ軸フラグとの関係の一例を示す図である。図３５は、Ｘ軸フラグと、一時記憶ベクトルＩＤと、閾値上限と、閾値下限との関係の一例を示す図である。図３６は、１つのストロークを複数のストロークに分割して認識する方法の一例を説明する図である。図３７は、１つのストロークを複数のストロークに分割して認識する方法の一例を説明するフローチャートである。

　以下、図面を参照しながら本発明の手書き音楽記号認識装置の実施形態を説明する。
［第１の実施形態］
　まず、第１の実施形態を説明する。
　図１は、手書き音楽記号認識装置１０のハードウェアの概略構成の一例を示すブロック図である。図２は、手書き音楽記号認識装置１０の機能的な概略構成の一例を示すブロック図である。

　手書き音楽記号認識装置１０は、例えば、タブレット端末により構成される。なお、手書き音楽記号認識装置１０は、タッチパネルを備える端末装置であれば、タブレット端末に限定されない。手書き音楽記号認識装置１０は、例えば、タッチパネルをユーザインターフェースとして用いることができるＰＣ（Personal Computer）により構成されてもよい。

　図１において、１１はバス、１２はＲＯＭ、１３はＲＡＭ、１４はＣＰＵ、１５はフラッシュメモリ、１６はネットワークインターフェイス、１７はタッチディスプレイ、１８はオーディオ出力装置、１９はＭＩＤＩ出力装置である。

　手書き音楽記号認識装置１０の全体動作を制御するプログラムはフラッシュメモリ１５またはＲＯＭ１２に記憶される。ＣＰＵ１４は、このプログラムを読み出してＲＡＭ１３に展開し、実行する。これにより手書き音楽記号認識装置１０の動作が実現する。

　タッチディスプレイ１７は、タッチパネルを備えるコンピュータディスプレイである。ユーザーは、タッチディスプレイ１７に対し、指やペンなどの入力手段を用いて手書き入力を行う。手書き音楽記号認識装置１０は、手書き入力されたオブジェクト（記号）を認識する。

　ネットワークインターフェイス１６は、認識したオブジェクト（記号）の情報をファイルとして他のハードウェアに保存したり、保存済みの記号の情報のファイルを読み込んだりするためのものである。
　オーディオ出力装置１８は、認識したオブジェクト（記号）から音楽演奏情報を作成し、音響出力できるようにするためのものである。
　ＭＩＤＩ出力装置１９は、認識したオブジェクト（記号）からＭＩＤＩ情報を作成し、ＭＩＤＩ出力できるようにするためのものである。

　図２に示すように、手書き音楽記号認識装置１０は、タッチ情報取得部２１、ベクトル情報作成部２２、ストローク特徴量導出部２３、オブジェクト生成部２４、ストローク認識部２５、およびオブジェクト認識部２６を有する。

　タッチ情報取得部２１は、例えば、タッチディスプレイ１７、ＲＡＭ１３、ＣＰＵ１４、およびフラッシュメモリ１５などを用いることにより実現される。また、タッチ情報取得部２１は、指やペン等の入力手段の移動がある度にその位置情報を取得するＡＰＩ（Application Programming Interface）を有する。

　ベクトル情報作成部２２、ストローク特徴量導出部２３、オブジェクト生成部２４、ストローク認識部２５、およびオブジェクト認識部２６は、例えば、ＲＡＭ１３、ＣＰＵ１４、およびフラッシュメモリ１５などを用いることにより実現される。

＜ベクトル、ストローク、オブジェクトの説明＞
　図３を参照しながら、ベクトル、ストローク、オブジェクトの関係を、セーニョマークを例にして説明する。
　セーニョマークのオブジェクト３０は、Ｓ字ストローク３１（ストローク０）と、直線ストローク３２（ストローク１）と、２つの点ストローク３３、３４（ストローク２、３）とで構成される。直線ストローク３２、点ストローク３３、および点ストローク３４は、それぞれ、１つのベクトルで構成される。

（ベクトルＩＤのつけ方）
　本実施形態においては、ベクトル情報作成部２２は、処理を簡略化するために、ベクトルを以下の９種類（「下→上」、「上→下」、「左下→右上」、「右上→左下」、「左→右」、「右→左」、「左上→右下」、「右下→左上」、「点」）の何れかに分類する。

　図４に示すように、ベクトル情報作成部２２は、ベクトルの始点（ｘ１,ｙ１）と、終点（ｘ２，ｙ２）とから、当該始点と当該終点とを結ぶ直線の傾きａを、以下の式（１）より求める。
　そして、ベクトル情報作成部２２は、座標ｘ１、ｙ１、ｘ２、ｙ２の位置関係を考慮してベクトルＩＤを決める。なお、図４において、Ｙ軸は下側が「＋」である。Ｘ軸は右側が「＋」である。

　ベクトル情報作成部２２は、以下の（Ａ）～（Ｋ）に従って、ベクトルを分類する。
　（Ａ）ベクトルが、|ａ|＞２である場合であって、ベクトルの終点のＹ座標ｙ２と始点のＹ座標ｙ１との関係が、ｙ２＜ｙ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「下→上」とする。
　（Ｂ）ベクトルの傾きａが、|ａ|＞２である場合であって、ベクトルの終点のＹ座標ｙ２と始点のＹ座標ｙ１との関係が、ｙ２＞ｙ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「上→下」とする。

　（Ｃ）ベクトルの傾きａが、－２≦ａ＜－０．５である場合であって、ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ２＜ｘ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「右上→左下」とする。
　（Ｄ）ベクトルの傾きａが、－２≦ａ＜－０．５である場合であって、ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ２＞ｘ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「左下→右上」とする。

　（Ｅ）ベクトルの傾きａが、|ａ|≦０．５である場合であって、ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ２＞ｘ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「左→右」とする。
　（Ｆ）ベクトルの傾きａが、|ａ|≦０．５である場合であって、ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ２＜ｘ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「右→左」とする。

　（Ｇ）ベクトルの傾きａが、０．５＜ａ≦２である場合であって、ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ２＞ｘ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「左上→右下」とする。
　（Ｈ）ベクトルの傾きａが、０．５＜ａ≦２である場合であって、ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ２＜ｘ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「右下→左上」とする。

　（Ｉ）ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ１＝ｘ２である場合であって、ベクトルの終点のＹ座標ｙ２と始点のＹ座標ｙ１との関係が、ｙ２＜ｙ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「下→上」とする。
　（Ｊ）ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ１＝ｘ２である場合であって、ベクトルの終点のＹ座標ｙ２と始点のＹ座標ｙ１との関係が、ｙ２＞ｙ１である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「上→下」とする。

　（Ｋ）ベクトルの終点のＸ座標ｘ２と始点のＸ座標ｘ１との関係が、ｘ１＝ｘ２である場合であって、ベクトルの終点のＹ座標ｙ２と始点のＹ座標ｙ１との関係が、ｙ１＝ｙ２である場合、ベクトル情報作成部２２は、当該ベクトルのベクトルＩＤを「点」とする。

　図３に示す例において、例えば、Ｓ字ストローク３１（ストローク０）のベクトルＩｎｄｅｘ（インデックス）が０のベクトルのベクトルＩＤは、以下のように、「下→上」なる。
　図５は、図３のセーニョマークの各ベクトルの始点座標・終点座標・ベクトルＩＤ、およびストロークの特徴量の一例を示す図である。

　まず、図５における始点座標と終点座標とから、傾きａは、１６（＝（３５２－４００）／（４２１－４２４））になる（|ａ|＞２）。また、終点のＹ座標ｙ２は、始点のＹ座標ｙ１よりも小さい（ｙ２＜ｙ１）。

　したがって、Ｓ字ストローク３１（ストローク０）のベクトルＩｎｄｅｘ（インデックス）が０のベクトルは、前記（Ａ）に該当する。よって、当該ベクトルのベクトルＩＤは「下→上」となる。
　なお、図５では、表記の都合上、「下→上」のベクトルＩＤを「１」とする。また、図５において、ベクトルＩｎｄｅｘは、初期値を「０」とするインデックスであって、ベクトルが得られるたびにインクリメントされるインデックスである。

＜ストロークの各特徴量の説明＞
　前述したように、図５に、ストロークの特徴量の一例として、図３のセーニョマークにおける各ストローク３１～３４の特徴量を示す。
（始点終点距離）
　ストロークにおける始点終点距離が規定値よりも小さい場合、当該ストロークは、円のように閉じた図形と考えられる。一方、ストロークにおける始点終点距離が規定値よりも大きい場合、当該ストロークは、弧線のように閉じていない図形と考えられる。
　ストロークの先頭のベクトルの始点の座標を（ｘ１，ｙ１）とし、当該ストロークの最終のベクトルの終点の座標を（ｘ２，ｙ２）とする。ストローク特徴量導出部２３は、始点終点距離Ｄ_ｓｅを、以下の式（２）で求める。始点終点距離Ｄ_ｓｅは、ストロークの先頭のベクトルの始点と、当該ストロークの最終のベクトルの終点とを結ぶ直線の距離である。

（ストロークの内接矩形の４点の座標と中心座標）
　ストロークの内接矩形の４点の座標と中心座標は、複数のストロークにおける互いのストロークの位置関係を得るために使用される。ストロークの内接矩形とは、ストロークが内接する矩形である。ストロークの内接矩形の４点の座標は、ストロークの内接矩形の４つの角の座標である。

　図６に、Ｓ字ストローク３１の内接矩形と、当該内接矩形の中心座標の一例を示す。
　矩形座標左は、Ｓ字ストローク３１を構成する全ベクトルの始点または終点の中で最も左のＸ座標である（図５の内接矩形座標の左の欄を参照）。

　矩形座標右は、Ｓ字ストローク３１を構成する全ベクトルの始点または終点の中で最も右のＸ座標である（図５の内接矩形座標の右の欄を参照）。
　矩形座標上は、Ｓ字ストローク３１を構成する全ベクトルの始点または終点の中で最も上のＹ座標である（図５の内接矩形座標の上の欄を参照）。

　矩形座標下は、Ｓ字ストローク３１を構成する全ベクトルの始点または終点の中で最も下のＹ座標である（図５の内接矩形座標の下の欄を参照）。
　中心座標は、矩形座標左と矩形座標右の中間のＸ座標と、矩形座標上と矩形座標下の中間のＹ座標とで表される（図５の内接矩形座標の中心Ｘおよび中心Ｙの欄を参照）。

（接続タイプ）
　接続タイプは、記号が滑らかであるかどうか、記号に角があるかどうか、などを判断するために使用される。
　図７は、ベクトルＩＤと接続タイプとの関係の一例を示す図である。
　ストローク特徴量導出部２３は、接続タイプの判断対象となるベクトルのベクトルＩＤ（当該ベクトルＩＤ）と、当該ベクトルの次のベクトルのベクトルＩＤ（次のベクトルＩＤ）と、図７に示す関係７００とに基づいて、接続タイプの判断対象となるベクトルの接続タイプを決める。図７に示す関係７００は、例えばテーブルとして手書き音楽記号認識装置１０に予め登録される。

　本実施形態においては、接続タイプが、鈍角（＝１）、直角（＝２）、鋭角（＝３）、および、それらのいずれでもない（＝０）の何れか１つが、各ベクトルの接続タイプとして決められる。
　図３のセーニョマークのＳ字ストローク３１（ストローク０）では、図５に示すように、最初のベクトルのベクトルＩＤが１（下→上）であり、その次のベクトルのベクトルＩＤが８（右下→左上）である。したがって、図７より、Ｓ字ストローク３１（ストローク０）の最初のベクトルの接続タイプは１（鈍角）となる。なお、最初のベクトルは、ベクトルＩｎｄｅｘが０のベクトルであり、その次のベクトルは、ベクトルＩｎｄｅｘが１のベクトルである。

（回転方向）
　ストロークの回転方向が変化する点は、記号を特定する手がかりとなる。
　例えば、「ｆ」の１画目は、「Ｓ」のように滑らかにベクトルが連続しており、始点と終点とが離れている。「Ｓ」には、回転方向が変化する点が１か所ある。これに対し、「ｆ」には、回転方向が変化する点がない。したがって、ストローク認識部２５は、ストロークの回転方向が変化する点の有無により、「Ｓ」と「ｆ」とを区別することができる。

　図８は、ベクトルＩＤと回転方向との関係の一例を示す図である。
　ストローク特徴量導出部２３は、回転方向の判断対象となるベクトルのベクトルＩＤ（当該ベクトルＩＤ）と、当該ベクトルの次のベクトルのベクトルＩＤ（次のベクトルＩＤ）と、図８に示す関係８００とに基づいて、回転方向の判断対象となるベクトルの回転方向を決める。図８に示す関係８００は、例えばテーブルとして手書き音楽記号認識装置１０に予め登録される。

　図３に示すセーニョマークのＳ字ストローク３１（ストローク０）では、図５に示すように、最初のベクトルのベクトルＩＤが１（下→上）であり、その次のベクトルのベクトルＩＤが８（右下→左上）である。したがって、図８より、Ｓ字ストローク３１（ストローク０）の最初のベクトルの回転方向は反時計回り＝２）となる。図５では、表記の都合上、回転方向が時計回りであることを「１」とし、回転方向が反時計回りであることを「２」とし、回転がないことを「０」とする。

（回転角度）
　図９に、回転角度の判断対象となるベクトルから、その次のベクトルまでの回転角度Ｄｅｇの一例を示す。手書き音楽記号認識装置１０は、この回転角度の累計から、記号が円であるか多重円であるかを判別できる。
　回転角度の判断対象となるベクトルの始点の座標を（ｘ１１，ｙ１１）とし、終点の座標を（ｘ１２，ｙ１２）とする。また、回転角度の判断対象となるベクトルの次のベクトルの始点の座標を（ｘ２１，ｙ２１）とし、終点の座標を（ｘ２２，ｙ２２）とする。この場合、ストローク特徴量導出部２３は、２つのベクトルのなす角度を、回転角度の判断対象となるベクトルの、当該ベクトルの次のベクトルに対する回転角度Ｄｅｇ（°）として、以下の式（３）～式（７）で求める。

（左右移動方向および上下移動方向）
　ストローク認識部２５は、左右移動方向および上下移動方向により、ストロークが、単純に上から下、左から右にかかれた線分のような記号かどうかを判定する。
　そこで、ストローク特徴量導出部２３は、左右移動方向および上下移動方向を、ベクトルＩＤより求める。
　ベクトルＩＤが下→上（＝１）であれば、左右移動方向はなし（＝０）であり、上下移動方向は上（＝１）である。また、ベクトルＩＤが右下→左上（＝８）であれば、左右移動方向は左（＝１）であり、上下移動方向は上（＝１）となる。なお、図５では表記の都合上、左右移動方向が左であることを１とし、左右移動方向が右であることを２とし、左右移動方向がないことを０とする。また、上下移動方向が上であることを１とし、上下移動方向が下であることを２とし、上下移動方向がないことを０とする。

（最左点、最右点、最上点、最下点のインデックス）
　例えば、最左点Ｉｎｄｅｘが０（ストロークを構成する最初のベクトルの始点）、最右点ＩｎｄｅｘがＮ（ストロークを構成する最終のベクトルの始点）とする。この場合、手書き音楽記号認識装置１０は、最上点ＩｎｄｅｘがＮ／２付近であれば、下が開いた山形の記号と判断できる。
　図６に示す例では、図５に示すように、最左点Ｉｎｄｅｘが５、最右点Ｉｎｄｅｘが８、最上点Ｉｎｄｅｘが２、最下点Ｉｎｄｅｘが１１となる。

＜動作フローチャート＞
　次に、図１０のフローチャートを参照しながら、手書き音楽記号認識装置１０の動作の一例を説明する。図１０は、音楽記号認識処理の手順の一例を説明するフローチャートである。このフローチャートの処理は、例えば、ＣＰＵ１４が、フラッシュメモリ１５に記憶されたプログラムをＲＡＭ１３に展開して実行することにより実現される。
　ステップＳ１０１において、タッチ情報取得部２１は、タッチディスプレイ１７の画面がタッチされたか否かを判断する。この判断の結果、画面がタッチされていない場合は待機状態となる。画面がタッチされるとステップＳ１０２に進む。

　ステップＳ１０２に進むと、タッチ情報取得部２１は、座標配列を空にした後、タッチされた座標を座標配列に記憶する。画面に入力手段がタッチされてから、当該入力手段が画面から完全に離れるまで、当該入力手段が動くたびに入力手段の移動処理が行われる。この入力手段の移動処理は、移動した入力手段の座標を、座標配列に記憶することにより行われる。なお、前述したように、入力手段は、例えば、指やペンである。

　次に、ステップＳ１０３において、タッチ情報取得部２１は、タッチされたが画面から離れたか否かを判断する。この判断の結果、画面から入力手段が離れていない場合には、ステップＳ１０２に戻る。そして、入力手段が画面から完全に離れるまで、入力手段が動くたびにステップＳ１０２の入力手段の移動処理が行われる。ステップＳ１０３の判断の結果、入力手段が画面から完全に離れると、ステップＳ１０４に進む。

　ステップＳ１０４に進むと、ベクトル情報作成部２２とストローク特徴量導出部２３は、ストローク生成処理を実行する。
　まず、ベクトル情報作成部２２は、新規にストローク情報を生成する。
　次に、ベクトル情報作成部２２は、最初の座標を始点、２番目の座標を終点とするベクトルの座標を作成する。このとき、ベクトル情報作成部２２は、前記作成したベクトルのベクトルＩＤを設定する。また、ベクトル情報作成部２２は、前記作成したベクトルの大きさを導出する。ベクトル情報作成部２２は、前記作成したベクトルの属性を示すベクトル情報（座標・ベクトルＩＤ・大きさ）を、ストローク情報のベクトル配列に記憶する。

　次に、ベクトル情報作成部２２は、２番目の座標を始点、３番目の座標を終点とするベクトルのベクトル情報を作成し、ストローク情報のベクトル配列に記憶する。
　図１１は、ベクトル情報の一例を示す図である。図１１では、図３のＳ字ストローク３１（ストローク０）を構成する各ベクトルのベクトル情報を示す。
　図３のＳ字ストローク３１（ストローク０）では、ベクトルの始点・終点が１３個あるので、１２個のベクトル情報が作られる。ベクトル情報作成部２２は、これら全ての座標からベクトル情報を作成し、ストローク情報に記憶する。そして、ストローク特徴量導出部２３は、ベクトル情報に基づいて、ストロークの特徴量を導出し、ストローク情報に記憶する。

　次に、ステップＳ１０５において、ベクトル情報作成部２２は、一定時間内に、タッチディスプレイ１７の画面がタッチされたか否かを判断する。この判断の結果、一定時間内に次のストロークの入力が開始されれば、ステップＳ１０２に戻る。そして、ステップＳ１０２～Ｓ１０４の処理を行い、新たなストロークのストローク情報（ベクトル情報、特徴量）を作成する。

　図３に示す例では、まず、Ｓ字ストローク３１（ストローク０）の入力の後、一定時間内に直線ストローク３２（ストローク１）が入力される。さらに一定時間内に点ストローク３３（ストローク２）が入力され、さらに一定時間内に点ストローク３４（ストローク３）が入力される。このような入力が行われた場合、ベクトル情報作成部２２およびストローク特徴量導出部２３は、それぞれのストロークが入力されるたびに、当該ストロークのストローク情報を生成する。一定時間内に次のストロークの入力がない場合には、ステップＳ１０６に進む。

　ステップＳ１０６に進むと、オブジェクト生成部２４は、新たに１つのオブジェクトを生成するオブジェクト生成処理を行う。オブジェクト生成部２４は、オブジェクトのストローク配列に、これまでに生成されたストロークのストローク情報（ベクトル情報、特徴量）を記憶する。

　このとき、図５に示すような情報が、例えばテーブルとしてストローク情報記憶部に記憶される。なお、図５に示すような情報は、オブジェクトごとに作成される。また、図５では、表記の都合上、ベクトルの大きさの情報の図示を省略する。ベクトルの大きさは、ベクトルの始点の座標と終点の座標とから導出される。よって、ベクトルの大きさは、ベクトル情報に含まれなくてもよい。
　さらに、オブジェクト生成部２４は、各ストロークの相対的な位置関係（位置ＩＤ）を求める。位置ＩＤは、基準となるストロークに対する各ストロークの位置を示すＩＤである。

　本実施形態においては、オブジェクト生成部２４は、以下の９種類の位置ＩＤを用いる。
　（Ｌ）基準となるストロークと位置ＩＤを求める対象のストロークとの位置が同じ場合、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「同じ（＝０）」とする。
　（Ｍ）基準となるストロークが下であり、位置ＩＤを求める対象のストロークが上である場合（下→上）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「上（＝１）」とする。

　（Ｎ）基準となるストロークが左下であり、位置ＩＤを求める対象のストロークが右上である場合（左下→右上）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「右上（＝２）」とする。
　（Ｏ）基準となるストロークが左であり、位置ＩＤを求める対象のストロークが右である場合（左→右）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「右（＝３）」とする。

　（Ｐ）基準となるストロークが左上であり、位置ＩＤを求める対象のストロークが右下である場合（左上→右下）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「右下（＝４）」とする。
　（Ｑ）基準となるストロークが上であり、位置ＩＤを求める対象のストロークが下である場合（上→下）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「下（＝５）」とする。

　（Ｒ）基準となるストロークが右上であり、位置ＩＤを求める対象のストロークが左下である場合（右上→左下）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「左下（＝６）」とする。
　（Ｓ）基準となるストロークが右であり、位置ＩＤを求める対象のストロークが左である場合（右→左）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「左（＝７）」とする。

　（Ｔ）基準となるストロークが右下であり、位置ＩＤを求める対象のストロークが左上である場合（左下→左上）、オブジェクト生成部２４は、当該ストロークの位置ＩＤを「右上（＝８）」とする。

　ここで、位置ＩＤの求め方の一例を説明する。
　オブジェクト生成部２４は、基準となるストロークの内接矩形の中心座標を始点とし、位置ＩＤを求める対象のストロークの内接矩形の中心座標を終点とするベクトルを求める。そして、オブジェクト生成部２４は、このベクトルのベクトルＩＤを求める。例えば、ベクトルＩＤが「下→上」であれば、位置ＩＤは「上（＝１）」となり、ベクトルＩＤが「左→右」であれば、位置ＩＤは「右（＝３）」となる。なお、ベクトルＩＤは、前述した（Ａ）～（Ｋ）の基準に従って求められる。

　図３に示す例では、オブジェクト生成部２４は、最初にＳ字ストローク３１（ストローク０）の位置ＩＤを求める。Ｓ字ストローク３１は、最初のストロークである。そこで、オブジェクト生成部２４は、基準となるストロークとして、最後の点ストローク３４（ストローク３）を採用する。この場合、オブジェクト生成部２４は、基準となる点ストローク３４の内接矩形の中心座標を始点とし、位置ＩＤを求める対象のＳ字ストローク３１の内接矩形の中心座標を終点とするベクトルを求める。このベクトルの傾きａは、０．４３（＝（４２６－４４９）／（３７５－４２８））である（図５を参照）。また、前記始点のＸ座標（＝４２８）は、前記終点のＸ座標（＝３７５）よりも大きい。したがって、前述した（Ｆ）に該当するので、ベクトルＩＤは「右→左」となる。よって、前述した（Ｓ）に該当するので、位置ＩＤは「左（＝７）」となる。

　次に、オブジェクト生成部２４は、直線ストローク３２（ストローク１）の位置ＩＤを求める。この場合、オブジェクト認識部２６は、基準となるストロークとして、Ｓ字ストローク３１（ストローク０）を採用する。オブジェクト生成部２４は、基準となるＳ字ストローク３１の内接矩形の中心座標を始点とし、位置ＩＤを求める対象の直線ストローク３２の内接矩形の中心座標を終点とするベクトルを求める。そして、オブジェクト生成部２４は、このベクトルのベクトルＩＤを求める。

　この場合、始点と終点のＸ座標は、同じである（図５を参照）。またｈ、始点のＹ座標は終点のＹ座標より小さい（図５を参照）。したがって、前述した（Ｉ）に該当するので、ベクトルＩＤは「下→上」となる。よって、前述した（Ｍ）に該当するので、位置ＩＤは「上（＝１）」となる。
　以下、同様に、点ストローク３３、３４（ストローク２、３）の位置ＩＤを求めると、「左（＝７）」、「上（＝１）」、「左（＝７）」、「右（＝３）」の４つの位置ＩＤが求まる。なお、点ストローク３３、３４（ストローク２、３）の位置ＩＤは、それぞれ「左（＝７）」、「右（＝３）」である。

　オブジェクト生成部２４は、これらの位置ＩＤを、図１２に示すように、セーニョマークオブジェクトの位置ＩＤ配列に記憶する。なお、図１２では、基準となるストロークを基準ストロークと表記すると共に、位置ＩＤを求める対象となるストロークを当該ストロークと表記する。

　以上のように、オブジェクト生成部２４は、オブジェクトの各ストロークのストローク配列に、当該ストロークのストローク情報を記憶する。さらに、オブジェクト生成部２４は、オブジェクトの各ストロークの位置ＩＤ配列に、当該ストロークの位置ＩＤを記憶する。

　図１０の説明に戻り、ステップＳ１０７において、ストローク認識部２５およびオブジェクト認識部２６は、ストローク・オブジェクト認識処理を行う。ストローク・オブジェクト認識処理では、オブジェクトを構成するストロークが何の記号であるのかが認識された後に、オブジェクトが何の記号であるのかが認識される。
　図１３のフローチャートを参照しながら、図１０のステップＳ１０７で行われるストローク・オブジェクト認識処理の一例を説明する。

　ステップＳ１３１において、ストローク認識部２５は、ストロークを認識するストローク認識処理を行う。ストローク認識処理の詳細については後述する。

　次に、ステップＳ１３２において、ストローク認識部２５は、他に未認識のストロークがあるか否かを判断する。この判断の結果、未認識のストロークがある場合にはステップＳ１３１に戻る。そして、ストローク認識部２５は、未認識のストロークについてストローク認識処理を行う。一方、未認識のストロークがない場合にはステップＳ１３３に進む。

　次に、ステップＳ１３３において、オブジェクト認識部２６は、オブジェクトを認識するオブジェクト認識処理を行う。オブジェクト認識処理の詳細については後述する。
　図１３に示すように、ストローク認識部２５が、オブジェクトに記憶した各ストロークの認識を行った後に、オブジェクト認識部２６が、オブジェクトの認識を行う。

　図１４のフローチャートを参照しながら、図１３のステップＳ１３１で行われるストローク認識処理の一例を説明する。
　ステップＳ１４１において、ストローク認識部２５は、認識対象のストロークに含まれるベクトルの数に応じた処理の分岐を行う。認識対象のストロークが、１個のベクトルで構成されたストロークであれば、ステップＳ１４２に進む。認識対象のストロークが、２個のベクトルで構成されたストロークであれば、ステップＳ１４３に進む。認識対象のストロークが、その他のストロークであればステップＳ１４４に進む。

　ステップＳ１４２に進むと、ストローク認識部２５は、１個のベクトルで構成されたストロークの認識処理を行う。ストローク認識部２５は、例えば、１個のベクトルで構成されたストロークのストローク情報に含まれるベクトルＩＤによって、当該ストロークが、縦線、横線、斜め右上がり線、斜め左上がり線、および点のうち、いずれの図形であるのかを認識する。例えば、当該ストロークのストローク情報に含まれるベクトルＩＤが「右下→左上」または「左上→右下」であれば、当該ストロークは、斜め左上がり線となる。

　ステップＳ１４３に進むと、ストローク認識部２５は、２個のベクトルで構成されたストロークの認識処理を行う。本実施形態においては、図１５に示す４つの記号を認識する場合を例に挙げて説明する。

　図１６に、２個のベクトルで構成されたストロークのストローク情報に含まれる２個のベクトルＩＤと、記号との関係の一例を示す。図１６において、ベクトル１のＩＤの欄と、ベクトル２のＩＤの欄に示されているのが、１個のストロークを構成する２個のベクトルのベクトルＩＤである。ベクトル１のＩＤの欄と、ベクトル２のＩＤの欄に対応する記号の欄に示されているのが、前記２個のベクトルのベクトルＩＤに対応するストロークの記号である。

　図１６に示す関係１６００は、例えばテーブルとして手書き音楽記号認識装置１０に予め登録される。２つのベクトルＩＤの組み合わせが図１６に示す組み合わせ以外の組み合わせである場合、ストローク認識部２５は、当該ストロークに該当する記号はないと判断する。

　図１６に示す例では、ベクトル１のＩＤが「左下→右上」であり、且つ、ベクトル２のＩＤが「右上→左下」である場合のように、ストロークの記号として２つの記号が候補に挙がる場合がある。この場合、ストローク認識部２５は、ストロークの内接矩形が縦長であるか、それとも横長であるかを判断する。この判断の結果、ストロークの内接矩形が縦長であれば、ストローク認識部２５は、当該ストロークをブレスまたはアクセントであると認識する（図１５を参照）。一方、ストロークの内接矩形が横長であれば、ストローク認識部２５は、当該ストロークをクレシェンドまたはデクレシェンドであると認識する（図１５を参照）。なお、図１５には、各ストローク（記号）の内接矩形の中心座標Ｃを、各ストローク（記号）と共に示す。

　図１４の説明に戻り、ステップＳ１４４に進むと、ストローク認識部２５は、それ以外（ストロークが３個以上のベクトルで構成されている場合）のストロークの認識処理を行う。
　ここで、図１７に示す記号を認識する処理を、図１８のフローチャートを参照しながら説明する。図１８のフローチャートは、ステップＳ１４４で行われる処理の一例を説明するフローチャートである。

　ステップＳ１８１において、ストローク認識部２５は、認識対象のストロークの特徴量うち、回転方向を参照し、当該回転方向が変化する回数を数え、その数に応じた処理の分岐を行う。認識対象のストロークの回転方向が変化する回数が０回であれば、ステップＳ１８２に進む。認識対象のストロークの回転方向が変化する回数が１回であれば、ステップＳ１８３に進む。認識対象のストロークの回転方向が変化する回数が２回であれば、ステップＳ１８４に進む。本実施形態においては、認識対象のストロークの回転方向が変化する回数が０回、１回、および２回以外であれば、ストローク認識部２５は、当該ストロークに該当する記号はないと判断する。

＜回転方向が変化する回数が０回の場合＞
　ステップＳ１８２において、ストローク認識部２５は、「Ｓ」および「ト音記号」以外の判定を以下の手順で行う。
（１）ストローク認識部２５は、認識対象のストロークに鋭角点があるか否かを、当該ストロークの接続タイプに基づいて判断する（図５、図７を参照）。この判断の結果、認識対象のストロークに鋭角点があれば、ストローク認識部２５は、当該ストロークに該当する記号はないと判断する。
（２）ストローク認識部２５は、認識対象のストロークの回転角度の合計を求め、その結果に基づいて、記号を認識する（図５を参照）。

（２－１）回転角度の合計が１８０°以下である場合
　ストローク認識部２５は、認識対象のストロークの回転角度の合計が１８０°以下である場合、当該ストロークの記号を、以下の（２－１－１）、（２－１－２）、（２－１－３）、（２－１－４）、（２－１－５）に示す条件に従って認識する。

（２－１－１）
　ストローク認識部２５は、認識対象のストロークの左右移動方向に「右（＝２）」があり、「左（＝１）」がない場合、認識対象のストロークの記号を、以下の（２－１－１－１）、（２－１－１－２）のようにして認識する（図５を参照）。

（２－１－１－１）
　ストローク認識部２５は、認識対象のストロークの最上点Ｉｎｄｅｘに基づいて、当該ストロークの最上点が、当該ストロークの始点および終点以外である場合、当該ストロークの記号は、上弧線であると認識する（図１７を参照）。
（２－１－１－２）
　ストローク認識部２５は、認識対象のストロークの最上点Ｉｎｄｅｘに基づいて、当該ストロークの最上点が、当該ストロークの始点または終点である場合、当該ストロークの記号は、下弧線であると認識する（図１７を参照）。

（２－１－２）
　ストローク認識部２５は、認識対象のストロークの左右移動方向に「右（＝２）」がなく、「左（＝１）」がある場合、認識対象のストロークの記号を、以下の（２－１－２－１）、（２－１－２－２）のようにして認識する（図５を参照）。

（２－１－２－１）
　ストローク認識部２５は、認識対象のストロークの最上点Ｉｎｄｅｘに基づいて、当該ストロークの最上点が、当該ストロークの始点および終点以外である場合、当該ストロークの記号は、上弧線であると認識する（図１７を参照）。

　ストローク認識部２５は、認識対象のストロークの最上点Ｉｎｄｅｘに基づいて、当該ストロークの最上点が、当該ストロークの始点または終点である場合、当該ストロークの記号は、下弧線であると認識する（図１７を参照）。

（２－１－３）
　ストローク認識部２５は、認識対象のストロークの上下移動方向に「下（＝２）」があり、「上（＝１）」がない場合、認識対象のストロークの記号を、以下の（２－１－３－１）、（２－１－３－２）のようにして認識する（図５を参照）。

（２－１－３－１）
　ストローク認識部２５は、認識対象のストロークの最左点Ｉｎｄｅｘに基づいて、当該ストロークの最左点が、当該ストロークの始点および終点以外である場合、当該ストロークの記号は、左弧線であると認識する（図１７を参照）。

（２－１－３－２）
　ストローク認識部２５は、認識対象のストロークの最左点Ｉｎｄｅｘに基づいて、当該ストロークの最左点が、当該ストロークの始点または終点である場合、当該ストロークの記号は、右弧線であると認識する（図１７を参照）。

（２－１－４）
　ストローク認識部２５は、認識対象のストロークの上下移動方向に「下（＝２）」がなく、「上（＝１）」がある場合、認識対象のストロークの記号を、以下の（２－１－４－１）、（２－１－４－２）のようにして認識する（図５を参照）。

（２－１－４－１）
　ストローク認識部２５は、認識対象のストロークの最左点Ｉｎｄｅｘに基づいて、当該ストロークの最左点が、当該ストロークの始点および終点以外である場合、当該ストロークの記号は、左弧線であると認識する（図１７を参照）。

（２－１－４－２）
　ストローク認識部２５は、認識対象のストロークの最左点Ｉｎｄｅｘに基づいて、当該ストロークの最左点が、当該ストロークの始点または終点である場合、当該ストロークの記号は、右弧線であると認識する（図１７を参照）。

（２－１－５）
　ストローク認識部２５は、前記（２－１－１）、（２－１－２）、（２－１－３）、および（２－１－４）の何れにも該当しない場合、認識対象のストロークに該当する記号はないと判断する。

（２－２）回転角度の合計が３６０°を上回る場合
　ストローク認識部２５は、認識対象のストロークの回転角度の合計が３６０°を上回る場合、認識対象のストロークの記号は多重円であると認識する。

（２－３）回転角度の合計が１８０°以下でも３６０°超でもない場合
　ストローク認識部２５は、認識対象のストロークの回転角度の合計が、前記（２－１）および前記（２－２）で示す範囲以外である場合、当該ストロークの記号は、円または楕円であると認識する。具体的に、ストローク認識部２５は、以下のようにして、認識対象のストロークが円および楕円の何れの記号であるのかを認識する。

　図１９は、認識対象のストロークが円および楕円の何れの記号であるのかを認識する方法の一例を説明する図である。
　まず、ストローク認識部２５は、認識対象のストロークの最左点と最右点とを結ぶ直線１９１の方程式を求める。ここで、直線１９１の長さを長径と称する。

　次に、ストローク認識部２５は、認識対象のストロークの各点（ベクトルの始点および終点）から直線１９１に下した垂線の足を求める。
　次に、ストローク認識部２５は、認識対象のストロークの各点とその垂線の足との長さのうち、最も長いものを楕円の半短径とする。図１９では、直線１９２が、楕円の半短径である場合を例に挙げて示す。

　次に、ストローク認識部２５は、半短径×２（＝短径）と、前記長径との比を求める。
　次に、ストローク認識部２５は、前記求めた比が、ほぼ１：１である場合、認識対象のストロークの記号は、円であると認識する。一方、ストローク認識部２５は、前記求めた比が、ほぼ１：１でない場合、認識対象のストロークの記号は、楕円であると認識する。

＜回転方向が変化する回数が１の場合＞
　ステップＳ１８３において、ストローク認識部２５は、認識対象のストロークの記号が「Ｓ」であるか否かを判定する。
　図２０は、「Ｓ」の回転方向が変化するポイント２０１の一例を示す図である。

　まず、ストローク認識部２５は、認識対象のストロークの回転方向が変化するポイント２０１の前後のベクトルの数を導出する。ストローク認識部２５は、前記導出したベクトルの数が、弧を描ける数（３個）に満たなければ、認識対象のストロークに該当する記号はないと判断する。

　図２０に示す例では、「Ｓ」の回転方向が変化するポイント２０１よりも前のベクトルの数は７つである。一方、「Ｓ」の回転方向が変化するポイント２０１よりも後のベクトルの数は５つである。
　したがって、ストローク認識部２５は、「Ｓ」の回転方向が変化するポイント２０１の前後のベクトルの数は、弧を描ける数であると判断する。

　なお、図２０に示す例では、ベクトルの数は１２個であり、３個以上ある。
　また、ストローク認識部２５は、「Ｓ」の回転方向が変化するポイント２０１の前のベクトルであるか、それとも後のベクトルであるかを、例えば、ベクトルＩｎｄｅｘに基づいて判断することができる。

　次に、ストローク認識部２５は、認識対象のストロークの回転方向が変化するポイントまでのベクトルの回転角度の合計の絶対値と、当該ポイント以降のベクトルの回転角度の合計の絶対値とが、共に１００°以上である場合、認識対象のストロークの記号は「Ｓ」であると認識する。一方、そうでない場合、ストローク認識部２５は、認識対象のストロークの記号は「Ｓ」でないと判断する。

　図２０に示す例では、ポイント２０１までのベクトルの回転角度の合計の絶対値は２５７°であり、ポイント２０１以降のベクトルの回転角度の合計の絶対値は２２０°である。したがって、ストローク認識部２５は、認識対象のストロークの記号は「Ｓ」であると認識できる。

＜回転方向が変化する回数が２回の場合＞
　ステップＳ１８４において、ストローク認識部２５は、認識対象のストロークの記号が「ト音記号」であるか否かを判定する。
　図２１は、認識対象のストロークの記号が「ト音記号」であるか否かを判定する方法の一例を説明する図である。
　ストローク認識部２５は、以下の（Ｕ）、（Ｖ）、（Ｗ）の３つの条件の全てを満たす場合に、認識対象のストロークの記号は「ト音記号」であると判定し、そうでない場合に、認識対象のストロークの記号は「ト音記号」でないと判定する。

　（Ｕ）認識対象のストロークの回転方向が、時計回りから反時計回りに変化する第１のポイントと、反時計回りから時計回りに変化する第２のポイントとがそれぞれ１つずつ存在する。
　（Ｖ）認識対象のストロークの回転方向が、時計回りから反時計回りに変化する第１のポイントが、当該ストロークの内接矩形の中心よりも上にある。

　（Ｗ）認識対象のストロークの回転方向が、反時計回りから時計回りに変化する第２のポイントが、当該ストロークの内接矩形の中心よりも下にある。
　図２１に示す例では、第１のポイント２１１と第２のポイント２１２とがそれぞれ１つずつ存在する。第１のポイント２１１は、ストロークの内接矩形の中心２１３よりも上にある。第２のポイント２１２は、ストロークの内接矩形の中心２１３よりも下にある。したがって、ストローク認識部２５は、図２１に示すストロークは、「ト音記号」であると判定する。

　次に、図１３のフローチャートのＳ１３３で行われるオブジェクト認識処理について説明する。
　以下においては、認識対象のオブジェクトが、セーニョマークである場合を例に挙げて説明する。タッチディスプレイ１７の画面に描かれた記号がセーニョマークとして判定されるためには、以下の条件１、条件２、および条件３を満たす必要がある。

　条件１：「Ｓ」、「斜め線右上がり」、「点」、および「点」の４つのストロークでオブジェクトが構成されている。
　条件２：「Ｓ」の内接矩形の中心と「斜め線右上がり」の内接矩形の中心との距離が閾値以下である（これらの中心が近い位置にある）。
　条件３：「Ｓ」の内接矩形の中心または「斜め線右上がり」の内接矩形の中心の左右に「点」がある。

　図３に示す例では、Ｓ字ストローク３１（ストローク０）に対する直線ストローク３２（ストローク１）の位置ＩＤは「上（＝１）」である（図１２を参照）。したがって、Ｘ軸方向に関しては、Ｓ字ストローク３１（ストローク０）と直線ストローク３２（ストローク１）は近い位置にある。

　また、Ｓ字ストローク３１（ストローク０）の内接矩形の中心のＹ座標と、直線ストローク３２（ストローク１）の内接矩形の中心のＹ座標とは、２０しか離れていない（図５を参照）。したがって、これらの中心は、近いとみなせる（条件２を満たす）。

　直線ストローク３２（ストローク１）に対する点ストローク３３（ストローク２）の位置ＩＤは「左（＝７）」である（図１２を参照）。また、直線ストローク３２（ストローク１）の内接矩形の中心のＹ座標と、点ストローク３４（ストローク３）の内接矩形の中心のＹ座標との差は３である（図５を参照）。また、直線ストローク３２（ストローク１）の内接矩形の中心のＸ座標は、点ストローク３４（ストローク３）の内接矩形の中心のＸ座標よりも５３小さい（図５を参照）。したがって、点ストローク３４（ストローク３）は、直線ストローク３２（ストローク１）の右に位置する。

　よって、図３に示す例では、条件１～３を満たすため、オブジェクト認識部２６は、認識対象のオブジェクトは、セーニョマークであると認識することができる。

　ストローク・オブジェクト認識処理においては、１つのストロークの入力が終了してから、一定時間内に別のストロークの入力があれば、ストローク認識部２５およびオブジェクト認識部２６は、その入力が完了するまで待機する。一方、１つのストロークの入力が終了してから、一定時間内に別のストロークの入力がなければ、ストローク認識部２５は、未認識のストロークを認識してオブジェクトに登録する処理を行い、オブジェクト認識部２６は、そのオブジェクトを認識する処理を行う。

　また、このようにせずに、図２２に示すように、手書き音楽記号認識装置１０は、認識開始指示を行わせるために、タッチディスプレイ１７の画面（タッチパネル２２０）に、ユーザーが操作可能な認識実行ボタン２２１を表示してもよい。この場合、ユーザーは、入力手段を用いて、タッチディスプレイ１７の画面に全てのストローク（楕円、縦線）を描いた後、認識実行ボタン２２１を操作する。認識実行ボタン２２１が操作されると、ストローク認識部２５およびオブジェクト認識部２６は、ストローク・オブジェクト認識処理を開始する。ストローク認識部２５は、未認識のストロークを認識してオブジェクトに登録する処理を行い、オブジェクト認識部２６は、そのオブジェクトを認識する処理を行う。

　本実施形態の手書き音楽記号認識装置１０は、タッチディスプレイ１７の画面に予め五線２２２を表示する。オブジェクト認識部２６は、オブジェクトが音符に対応する図形（例えば円や楕円）であると認識した場合、当該オブジェクトを音符として認識する。そして、オブジェクト認識部２６は、前記認識した音符の五線２２２における位置に基づいて当該音符の音高を認識する。

　図２２に示す例では、オブジェクトの楕円部分が第１線と第２線との間にある。したがって、オブジェクト認識部２６は、タッチディスプレイ１７の画面に描からえたオブジェクトが、音程が「ファ」である２分音符２２３であると認識する。

　次に、複数のストロークからなるオブジェクトの一例として、シャープ記号「♯」を認識する方法の一例を説明する。
　図２３Ａは、シャープ記号のストロークの一例を示す図である。
　図２３Ａに示すように、シャープ記号「♯」は、４つのストロークＳｔｒｏｋｅ１、Ｓｔｒｏｋｅ２、Ｓｔｒｏｋｅ３、Ｓｔｒｏｋｅ４により構成される。

　図２３Ｂは、シャープ記号用のデータベース２３０（辞書データ）の一例を示す図である。シャープ記号用のデータベース２３０（辞書データ）は、手書き音楽記号認識装置１０に予め登録される。
　図２３Ａに示すような複数のストロークで構成される記号は、図２３Ｂに示すようなデータベース（辞書データ）を有する。なお、辞書データは、１つのストロークが何の記号であるのかを記憶したものである。辞書データは、実際の座標データや、それに基づいて作成されたベクトル情報を記憶するものではない。

　シャープ記号用のデータベース２３０（辞書データ）は、Ｓｔｒｏｋｅ１として、「右上斜め」、「横」、「右上斜め」、「横」を記憶する。
　シャープ記号用のデータベース２３０（辞書データ）は、Ｓｔｒｏｋｅ２として、「横」、「右上斜め」、「右上斜め」、「横」を記憶する。
　シャープ記号用のデータベース２３０（辞書データ）は、Ｓｔｒｏｋｅ３およびＳｔｒｏｋｅ４として、「縦」、「縦」、「縦」、「縦」を記憶する。

　図２４Ａは、図２３Ａに示す各ストロークＳｔｒｏｋｅ１、Ｓｔｒｏｋｅ２、Ｓｔｒｏｋｅ３、Ｓｔｒｏｋｅ４の重心２４１、２４２、２４３、２４４の一例を示す図である。

　図２４Ｂは、図２３Ａに示す各ストロークＳｔｒｏｋｅ１、Ｓｔｒｏｋｅ２、Ｓｔｒｏｋｅ３、Ｓｔｒｏｋｅ４の重心２４１、２４２、２４３、２４４の位置関係２４０の一例を示す図である。図２４Ｂに示す位置関係２４０は、例えばテーブルとして手書き音楽記号認識装置１０に予め登録される。

　図２４Ｂにおいて、ストロークＳｔｒｏｋｅ１の重心２４１を始点とし、ストロークＳｔｒｏｋｅ２の重心２４２を終点とするベクトルの方向として、「下」、「下」、「右下」、「右下」が登録される（図２４Ｂの「１→２」の欄を参照）。

　ストロークＳｔｒｏｋｅ２の重心２４２を始点とし、ストロークＳｔｒｏｋｅ３の重心２４３を終点とするベクトルの方向として、「左上」、「上」、「上」、「左上」が登録される（図２４Ｂの「２→３」の欄を参照）。

　ストロークＳｔｒｏｋｅ３の重心２４３を始点とし、ストロークＳｔｒｏｋｅ４の重心２４４を終点とするベクトルの方向として、「右」、「右」、「右」、「右」が登録される（図２４Ｂの「３→４」の欄を参照）。

　図２３Ｂにおいて横に一列に並べられた４つの組み合わせが、シャープ記号としてとり得る４つのストロークＳｔｒｏｋｅ１、Ｓｔｒｏｋｅ２、Ｓｔｒｏｋｅ３、Ｓｔｒｏｋｅ４の記号の組み合わせである。また、図２４Ｂにおいては、縦に一列に並べられた３つの組み合わせが、シャープ記号としてとり得る４つのストロークＳｔｒｏｋｅ１、Ｓｔｒｏｋｅ２、Ｓｔｒｏｋｅ３、Ｓｔｒｏｋｅ４の重心の組み合わせである。

　オブジェクト認識部２６は、４つのストロークＳｔｒｏｋｅ１、Ｓｔｒｏｋｅ２、Ｓｔｒｏｋｅ３、Ｓｔｒｏｋｅ４が、図２３Ｂおよび図２４Ｂの関係を満たす場合、当該４つのストロークで構成される記号は、シャープ記号であると認識する。

　シャープ記号以外の音楽記号であって、複数のストロークからなる音楽記号についても、図２３Ｂに示すような各ストロークの記号と、図２４Ｂに示すような各ストロークの重心の位置関係を予め登録することにより、認識することができる。

　以上のように本実施形態では、音楽記号を構成するベクトルの特徴点を評価して音楽記号を認識する。したがって、手書き入力された音楽記号を、膨大なデータを保持することなく正確に認識することができる。

　本実施形態においては、音楽記号を認識する例を示したが、本発明の手書き音楽記号認識装置は、「Ｃｏｄａ」などの文字や、数字なども認識することが可能である。

［第２の実施形態］
　次に、第２の実施形態を説明する。第１の実施形態では、タッチ情報取得部２１で、入力手段の移動がある度に得られるベクトルをそのまま用いる場合を例に挙げて説明した。これに対し、本実施形態では、複数のベクトルを所定の条件に従って１つのベクトルにまとめるまとめ処理を行う。これにより、ベクトルの数を圧縮することができる。このように本実施形態と第１の実施形態とは、まとめ処理を行うことによる構成および処理が主として異なる。具体的には、ベクトル情報作成部２２における処理の一部が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１～図２４Ｂに付した符号と同一の符号を付すなどして詳細な説明を省略する。
　本実施形態では、まとめ処理として４つの例を説明する。

＜第１の例＞
　本例においては、複数の微小なベクトルをまとめてある程度の大きさのベクトルに変換するベクトル変換処理について説明する。
　図２５は、複数の微小なベクトルをまとめる方法の第１の例を説明する図である。図２５では、１０個の微小なベクトルａ１～ａ１０をまとめて、ある程度の大きさの２つのベクトルｂ１、ｂ２に変換する場合を例に挙げて示す。

　本例では、ストローク情報のベクトル配列として、第１～第３のベクトル配列がある。
　第１のベクトル配列には、微小なベクトルのベクトル情報（座標・ベクトルＩＤ・大きさ）が記憶される。第１のベクトル配列は、第１の実施形態で説明したベクトル配列である。

　第２のベクトル配列には、変換対象となる微小なベクトルのベクトル情報が記憶される。
　第３のベクトル配列には、変換後のベクトルのベクトル情報が記憶される。

　図２６のフローチャートを参照しながら、複数の微小なベクトルをまとめるまとめ処理の第１の例を説明する。図２６のフローチャートは、例えば、図１０のステップＳ１０４において第１のベクトル配列に微小なベクトルのベクトル情報が記憶されると実行される。

　ステップＳ２６１において、ベクトル情報作成部２２は、第１のベクトル配列の先頭の微小なベクトルから順に、未選択の微小なベクトルを１つ選択する。そして、ベクトル情報作成部２２は、前記選択した微小なベクトルのベクトル情報を第２のベクトル配列にコピー（追加）する。このとき、ベクトル情報作成部２２は、第２のベクトル配列の空きの部分の先頭に、前記選択した微小なベクトルのベクトル情報をコピー（追加）する。

　次に、ステップＳ２６２において、ベクトル情報作成部２２は、第２のベクトル配列の最初の微小なベクトルの始点を始点とし、第２のベクトル配列の最後の微小なベクトルの終点を終点とするベクトルであるテストベクトルを生成する。そして、ベクトル情報作成部２２は、前記作成したテストベクトルの大きさを求める。

　次に、ステップＳ２６３において、ベクトル情報作成部２２は、テストベクトルの大きさが規定値を上回るか否かを判断する。この判断の結果、テストベクトルの大きさが規定値を上回れば、ステップＳ２６４に進む。一方、テストベクトルの大きさが規定値以内であれば、ステップＳ２６１に戻る。そして、ステップＳ２６１において、ベクトル情報作成部２２は、次の微小なベクトルのベクトル情報を、第１のベクトル配列から第２のベクトル配列へコピー（追加）する。

　そして、ステップＳ２６２において、ベクトル情報作成部２２は、第２のベクトル配列の最初の微小なベクトルの始点を始点とし、今回追加された微小なベクトルの終点を終点とするテストベクトルを生成し、その大きさを求める。
　ベクトル情報作成部２２は、以上のような処理を、テストベクトルの大きさが規定値を上回るまで繰り返し行う。そして、前述したように、テストベクトルの大きさが規定値以上になるとステップＳ２６４に進む。

　ステップＳ２６４に進むと、ベクトル情報作成部２２は、ステップＳ２６３で大きさが規定値を上回ると判断したテストベクトルのベクトル情報（座標・ベクトルＩＤ・大きさ）を、第３のベクトル配列に登録すると共に、第２のベクトル配列を空にする。

　次に、ステップＳ２６５において、ベクトル情報作成部２２は、第１のベクトル配列に未処理の微小なベクトルがあるか否かを判断する。この判断の結果、未処理のベクトルがなければ、図２６のフローチャートによる処理を終了する。一方、未処理のベクトルがあれば、ステップＳ２６１に戻る。

　ストローク特徴量導出部２３は、図１０のステップＳ１０４において、第３のベクトル配列に登録されたベクトル情報に基づいて、ストロークの特徴量を導出し、ストローク情報に記憶する。

　図２６のフローチャートを実行することにより、複数の微小なベクトルをまとめて、ある程度の大きさのベクトルに変換することができる。これにより、データの圧縮を行うことができると共に、記号の特徴を掴みやすくすることができる。

＜第２の例＞
　本例においては、直線ベクトルのゆらぎを補正する処理を説明する。
　人間が指やペンなどの入力手段で、タッチディスプレイ１７の画面に直線を描くとき、直線が揺らぐ場合がある。この揺らぎを吸収し、１つの直線にする処理をしないと、ストローク認識部２５が、正しくは直線と判定すべきストロークを、例えば、弧線であると誤判定する場合がある。

　図２７は、複数の微小なベクトルをまとめる方法の第２の例を説明する図である。
　本例においては、図２７に示すように、ベクトル情報作成部２２は、最初のベクトルの始点と最後のベクトルの終点とを結ぶ直線からの距離が規定値以内であれば、最初のベクトルから最後のベクトルまでを、１つのベクトルにまとめる。そして、ベクトル情報作成部２２は、１つにまとめる前の元のベクトルのベクトル情報（座標・ベクトルＩＤ・大きさ）を、１つにまとめたベクトルのベクトル情報（座標・ベクトルＩＤ・大きさ）に置き換える。

　図２８のフローチャートを参照しながら、複数の微小なベクトルをまとめるまとめ処理の第２の例を説明する。図２８のフローチャートは、例えば、図１０のステップＳ１０４においてベクトル配列にベクトルのベクトル情報が記憶されると実行される。

　ステップＳ２８１において、ベクトル情報作成部２２は、最初のベクトル２７１ａの始点と最後のベクトル２７１ｅの終点を結ぶ直線２７２の方程式を求める。

　次に、ステップＳ２８２において、ベクトル情報作成部２２は、最初のベクトル２７１ａから最後のベクトル２７１ｅまでのベクトル２７１ａ～２７１ｅのうち、未選択のベクトルを１つ選択する。そして、ベクトル情報作成部２２は、前記選択したベクトルの終点から、ステップＳ２８１で求めた直線２７２に垂線を下ろし、その垂線の足（垂線と直線２７２との交点）と、前記選択したベクトルの終点との距離を求める。

　次に、ステップＳ２８３において、ベクトル情報作成部２２は、ステップＳ２８２で求めた距離が、規定値以内であるか否かを判断する。この判断の結果、ステップＳ２８２で求めた距離が、規定値以内でなければ、図２８のフローチャートによる処理を終了する。
　一方、ステップＳ２８２で求めた距離が、規定値以内であれば、ステップＳ２８４に進む。

　ステップＳ２８４に進むと、ベクトル情報作成部２２は、未処理のベクトルがあるか否かを判断する。この判断の結果、未処理のベクトルがあれば、ステップＳ２８２に戻る。そして、ベクトル情報作成部２２は、次のベクトルの処理を行う。一方、未処理のベクトルがなければ、ステップＳ２８５に進む。

　ステップＳ２８５に進むと、ベクトル情報作成部２２は、ベクトルの置き換えを行う。すなわち、ベクトル情報作成部２２は、ストローク情報のベクトル配列の最初のベクトルの始点を始点とし、最後のベクトルの終点を終点とするベクトルのベクトル情報を生成する。そして、ベクトル情報作成部２２は、ストローク情報のベクトル配列に記憶されていた元のベクトルのベクトル情報を全て削除し、生成したベクトルのベクトル情報をベクトル配列に記憶する。そして、図２８のフローチャートによる処理を終了する。

　ストローク特徴量導出部２３は、図１０のステップＳ１０４において、ベクトル配列に登録されたベクトル情報に基づいて、ストロークの特徴量を導出し、ストローク情報に記憶する。このとき、図２８のフローチャートに従って、ベクトル情報が書き換えられた場合、ストローク特徴量導出部２３は、当該書き換えられたベクトル情報に基づいて、ストロークの特徴量を導出する。一方、図２８のフローチャートに従って、ベクトル情報が書き換えられなかった場合、ストローク特徴量導出部２３は、個々のベクトル情報に基づいて、ストロークの特徴量を導出する。

　図２８のフローチャートを実行することにより、最初のベクトルの始点と最後のベクトルの終点とを結ぶ直線からの距離が規定値以内であれば、最初のベクトルから最後のベクトルまでの複数の微小なベクトルを１つのベクトルにまとめることができる。これにより、データの圧縮を行うことができると共に、記号の特徴を掴みやすくすることができる。

＜第３の例＞
　本例においては、ベクトルを方向別にグルーピングし、同じグループのベクトルが連続した場合は、それらを１つにまとめる処理を説明する。
　図２９Ａは、ベクトルを方向別にグルーピングする方法の一例を説明する図である。図２９Ａに示す例では、ベクトル情報作成部２２は、ベクトルの傾きに基づいて、ベクトルを９つにグルーピングする。

　本例においては、ベクトル情報作成部２２は、ベクトルＩＤを用いてベクトルをグルーピングする。
　図４を参照しながら説明した例では、ベクトルＩＤは、「点」、「下→上」、「左下→右上」、「左→右」、「左上→右下」、「上→下」、「右上→左下」、「右→左」、「右下→左上」の９つのＩＤである。ベクトルＩＤの与え方は、図４を参照しながら前述した通りである（前述した（Ａ）～（Ｋ）を参照）。尚、ベクトル情報作成部２２は、ベクトルＩＤとは別に、グルーピング用のＩＤを、各ベクトルに与えてもよい。

　図２９Ｂは、複数の微小なベクトルをまとめる方法の第３の例を説明する図である。
　図２９Ｂでは、６つのベクトルｂ１～ｂ６で構成されたストロークを例に挙げて示す。

　最初の３つのベクトルｂ１、ｂ２、ｂ３のベクトルＩＤは「左→右」である。この場合、図２９Ｂの下図に示すように、ベクトル情報作成部２２は、最初のベクトルｂ１の始点を始点とし、３つ目のベクトルｂ３の終点を終点とするベクトルｃ１を生成すると共に、ベクトルｃ１のベクトル情報（座標・ベクトルＩＤ・大きさ）を導出する。

　そして、ベクトル情報作成部２２は、元の３つのベクトルｂ１、ｂ２、ｂ３のベクトル情報を、ベクトルｃ１のベクトル情報に置き換える。さらに４つ目から６つ目のベクトルｂ４、ｂ５、ｂ６のベクトルＩＤは「上→下」である。この場合もベクトル情報作成部２２は、４つ目のベクトルｂ４の始点を始点とし、６つ目のベクトルｂ６の終点を終点とするベクトルｃ２を生成し、この３つのベクトルと置き換える。

　図３０のフローチャートを参照しながら、複数の微小なベクトルをまとめるまとめ処理の第３の例を説明する。図３０のフローチャートは、例えば、図１０のステップＳ１０４においてベクトル配列にベクトルのベクトル情報が記憶されると実行される。

　ステップＳ３０１において、ベクトル情報作成部２２は、ベクトル配列における先頭からｎ個目のベクトルを基準ベクトルとしてコピーする。ｎの初期値は１である。

　次に、ステップＳ３０２において、ベクトル情報作成部２２は、基準ベクトルのベクトルＩＤと、ベクトル配列における先頭からｎ＋ｍ個目のベクトルのベクトルＩＤとが同じであるか否かを判断する。ｍの初期値は１である。

　この判断の結果、基準ベクトルのベクトルＩＤと、ベクトル配列における先頭からｎ＋ｍ個目のベクトルのベクトルＩＤとが同じである場合には、ステップＳ３０３に進む。一方、基準ベクトルのベクトルＩＤと、ベクトル配列における先頭からｎ＋ｍ個目のベクトルのベクトルＩＤとが、異なる場合には、ステップＳ３０４に進む。

　ステップＳ３０３に進むと、ベクトル情報作成部２２は、基準ベクトルの終点を、ｎ＋ｍ個目のベクトルの終点に変更する。そして、ベクトル情報作成部２２は、前記変更した終点の位置に基づいて、基準ベクトルのベクトルＩＤを計算し直す。さらに、ベクトル情報作成部２２は、ｍをインクリメント（ｍに１を加算）する。そして、後述するステップＳ３０５に進む。

　一方、ステップＳ３０４に進むと、ベクトル情報作成部２２は、現在の基準ベクトルのベクトル情報を、ベクトル配列に記憶する。このとき、ベクトル情報作成部２２は、現在の基準ベクトルのベクトル情報を、当該基準ベクトルの元になったベクトルのベクトル情報に置き換える。さらに、ベクトル情報作成部２２は、ｎ＝ｎ＋ｍとする。そして、後述するステップＳ３０６に進む。

　ステップＳ３０５に進むと、ベクトル情報作成部２２は、ベクトル配列における全てのベクトルの処理が終了しているか否かを判断する。この判断の結果、ベクトル配列における全てのベクトルの処理が終了している場合には、図３０のフローチャートによる処理を終了する。
　一方、ベクトル配列における全てのベクトルの処理が終了していない場合には、ステップＳ３０２に戻って前述した処理を行う。

　また、ステップＳ３０６に進むと、ベクトル情報作成部２２は、ベクトル配列における全てのベクトルの処理が終了しているか否かを判断する。この判断の結果、ベクトル配列における全てのベクトルの処理が終了している場合には、図３０のフローチャートによる処理を終了する。
　一方、ベクトル配列における全てのベクトルの処理が終了していない場合には、ステップＳ３０１に戻って前述した処理を行う。

　ストローク特徴量導出部２３は、図１０のステップＳ１０４において、ベクトル配列に登録されたベクトル情報に基づいて、ストロークの特徴量を導出し、ストローク情報に記憶する。このとき、ストローク特徴量導出部２３は、図３０のフローチャートに従って基準ベクトルとされたベクトルについては、当該基準ベクトルのベクトル情報に基づいて、ストロークの特徴量を導出する。

　図３０のフローチャートを実行することにより、複数の微小なベクトルを、当該ベクトルの傾きをもとにグルーピングし、同じグループのベクトルが連続した場合には、それらのベクトルを１つのベクトルにまとめることができる。これにより、データの圧縮を行うことができると共に、記号の特徴を掴みやすくすることができる。

＜第４の例＞
　本例においては、傾きの閾値付近の複数のベクトルを１つのベクトルにまとめる処理を説明する。
　本例においては、複数のベクトルを方向別に分類するときに、ベクトルの傾きによってベクトルの分類を行う。人間が指やペンなどの入力手段で、タッチディスプレイ１７の画面に、傾きの閾値に近い直線を描く場合がある。この場合、手のブレなどで、或るベクトルのベクトルＩＤは、傾きが閾値を超えた場合に付与されるベクトルＩＤとなり、別のベクトルのベクトルＩＤは、傾きが閾値以下の場合に付与されるベクトルＩＤとなることがある。そうすると、実際には同じベクトルＩＤとしたいベクトルのベクトルＩＤが異なるＩＤになり、前述した第３の例の方法でベクトルをまとめることができない場合がある。

　そこで、本例では、傾きの閾値付近の複数のベクトルを１つのベクトルをまとめる。
　ここでは、ベクトルの傾きａが、－２．０未満である場合、そのベクトルのベクトルＩＤは、「下→上」となるものとする（図４を参照）。また、ベクトルの傾きａが、－２．０～－０．５である場合、そのベクトルのベクトルＩＤは、「左下→右上」となるものとする（図４を参照）。また、ベクトルの傾きａが、－０．５以上である場合、そのベクトルのベクトルＩＤは、「左→右」となるものとする（図４を参照）。

　このようにベクトルＩＤを定める場合のまとめ処理を、図３１Ａおよび図３１Ｂを参照しながら説明する。
　図３１Ａは、複数の微小なベクトルをまとめる方法の第４の例の第１の形態を説明する図である。また、図３１Ｂは、複数の微小なベクトルをまとめる方法の第４の例の第２の形態を説明する図である。

　図３１Ａに示すように、ベクトル情報作成部２２は、傾きａが－２．０に近いベクトルａ１およびベクトルａ２を、１つのベクトルａ３にまとめる。
　図３１Ｂに示すように、ベクトル情報作成部２２は、傾きの閾値付近のベクトルｂ１、ベクトルｂ２、およびベクトルｂ３を、１つのベクトルｂ７にまとめる。また、ベクトル情報作成部２２は、傾きの閾値付近のベクトルｂ４、ベクトルｂ５、およびベクトルｂ６を、１つのベクトルｂ８にまとめる。

　図３２のフローチャートを参照しながら、複数の微小なベクトルをまとめるまとめ処理の第４の例を説明する。図３２のフローチャートは、例えば、図１０のステップＳ１０４においてベクトル配列にベクトルのベクトル情報が記憶されると実行される。

　ステップＳ３２１において、ベクトル情報作成部２２は、ベクトル配列から、まとめるべきベクトルのIndex配列のリストを生成する。この処理の詳細は、図３３のフローチャートを参照しながら後述する。

　次に、ステップＳ３２２において、ベクトル情報作成部２２は、ステップＳ３２１で作成したリストにIndexがあるか否かを判断する。この判断の結果、リストのIndexが空の場合には、図３２のフローチャートによる処理を終了する。
　一方、リストにIndexがある場合には、ステップＳ３２３に進む。

　ステップＳ３２３に進むと、ベクトル情報作成部２２は、まとめベクトルを生成する。まとめベクトルは、Index配列において、最初のIndexのベクトルの始点を始点とし、Index配列の最後のベクトルの終点を終点とするベクトルである。そして、ベクトル情報作成部２２は、まとめベクトルのベクトル情報（座標・ベクトルＩＤ・大きさ）を生成する。

　次に、ステップＳ３２４において、ベクトル情報作成部２２は、ベクトル配列から、Index配列のIndexのベクトルのベクトル情報を削除する。
　次に、ステップＳ３２５において、ベクトル情報作成部２２は、ベクトル配列の最初のIndexの位置に、まとめベクトルのベクトル情報を挿入する。その後、ステップＳ３２１へ戻り、まとめるベクトルのIndex配列を生成する。

　ストローク特徴量導出部２３は、図１０のステップＳ１０４において、ベクトル配列に登録されたベクトル情報に基づいて、ストロークの特徴量を導出し、ストローク情報に記憶する。このとき、図３０のフローチャートに従って、まとめベクトルのベクトル情報が挿入された部分については、ストローク特徴量導出部２３は、当該まとめベクトルのベクトル情報に基づいて、ストロークの特徴量を導出する。

　次に、図３３のフローチャートを参照しながら、図３２のステップＳ３２１の処理の一例を説明する。前述したように、ステップＳ３２１では、ベクトル配列から、まとめるべきベクトルのIndex配列のリストが生成される。

　ステップＳ３３１において、ベクトル情報作成部２２は、ベクトルｎのベクトルＩＤとベクトルｎ＋１のベクトルＩＤ（方向）を調べ、ベクトルｎ、ｎ＋１が互いに隣り合うか否かを判断する。ｎの初期値は１である。また、ｎは、ベクトル配列におけるベクトルの先頭からの順番を示す。

　この判断の結果、ベクトルｎ、ｎ＋１が互いに隣り合うベクトルである場合、ベクトル情報作成部２２は、ベクトルｎ、ｎ＋１の組み合わせに応じて、ベクトルｎまたはベクトルｎ＋１のベクトルＩＤを、一時記憶ベクトルＩＤとして記憶する。

　さらに、ベクトル情報作成部２２は、互いに隣り合うベクトルｎ、ｎ＋１のベクトルＩＤの閾値が、Ｘ軸に近い傾きかどうかを示すＸ軸フラグを設定する。
　図３４は、隣り合う２個のベクトルｎ、ｎ＋１のベクトルＩＤと、一時記憶ベクトルＩＤと、Ｘ軸フラグとの関係の一例を示す図である。図３４に示す関係３４０は、ベクトル情報作成部２２により作成される。

　次に、ステップＳ３３２において、ベクトル情報作成部２２は、今回の一時記憶ベクトルＩＤと、前回の一時記憶ベクトルＩＤとに応じて処理の分岐を行う。
　具体的に、今回の一時記憶ベクトルＩＤが方向無でない場合には、ステップＳ３３３に進む（ケース１）。

　また、今回の一時記憶ベクトルＩＤが方向無であり、且つ、前回の一時記憶ベクトルＩＤも方向無である場合には、ステップＳ３３１に戻る（ケース２）。この際、ベクトル情報作成部２２は、ｎをインクリメントする（ｎに１を加算する）。

　また、今回の一時記憶ベクトルＩＤが方向無であり、且つ、前回の一時記憶ベクトルＩＤが方向無以外である場合には、図３３のフローチャートによる処理を終了する（ケース３）。

　ステップＳ３３３に進むと、ベクトル情報作成部２２は、前回の一時記憶ベクトルＩＤと今回の一時記憶ベクトルＩＤとが同じであるか否かを判断する。この判断の結果、前回の一時記憶ベクトルＩＤと今回の一時記憶ベクトルＩＤとが同じである場合には、図３３のフローチャートによる処理を終了する。

　一方、前回の一時記憶ベクトルＩＤと今回の一時記憶ベクトルＩＤとが異なる場合には、ステップＳ３３４に進む。
　ステップＳ３３４に進むと、ベクトル情報作成部２２は、Ｘ軸フラグと一時記憶ベクトルＩＤとに応じて、ベクトルの閾値角度を決定する。
　図３５は、Ｘ軸フラグと、一時記憶ベクトルＩＤと、閾値上限と、閾値下限との関係の一例を示す図である。なお、閾値上限および閾値下限は、Ｘ軸を０°としたときの角度である。図３５に示す関係３５０は、例えばテーブルとして手書き音楽記号認識装置１０に予め登録される。

　ベクトル情報作成部２２は、図３５に示す関係に基づいて、ベクトルの閾値角度（閾値上限および閾値下限）を決定する。さらに、ベクトル情報作成部２２は、ベクトルｎの角度と、ベクトルｎ＋１の角度とを求める。なお、これらの角度は、Ｘ軸を０°とし、所定の方向（例えば反時計回りの方向を正とする）ときの角度である。図３５に示す角度も、これらの角度と同じ基準で定められる角度である。

　次に、ステップＳ３３５において、ベクトル情報作成部２２は、ベクトルｎの角度およびｎ＋１の角度がともに、ステップＳ３３４で決定した閾値角度の範囲内（閾値下限から閾値上限までの範囲内）であれば、まとめるべきベクトルのIndex配列に、ベクトルｎ＋１のIndexを登録する。
　このとき、ベクトル情報作成部２２は、ｎ＝１であれば、まとめるべきベクトルのIndex配列に、ベクトルｎのIndexを登録してから、ベクトルｎ＋１のIndexを登録する。そして、ステップＳ３３６に進む。

　一方、ベクトルｎの角度またはベクトルｎ＋１の角度が、ステップＳ３３４で決定した閾値角度の範囲内（閾値下限から閾値上限までの範囲内）でなければ、ベクトル情報作成部２２は、一時記憶ベクトルＩＤを方向無に変更する。そして、ステップＳ３３６に進む。

　ステップＳ３３６に進むと、ベクトル情報作成部２２は、今回と前回の一時記憶ベクトルＩＤを調べる。前回の一時記憶ベクトルＩＤが方向無ではなく、且つ、今回の一時記憶ベクトルＩＤと異なる場合には、図３３のフローチャートによる処理を終了する（ケース１）。一方、それ以外の場合には、ステップＳ３３７に進む（ケース２）。
　ステップＳ３３７に進むと、ベクトル情報作成部２２は、前回の一時記憶ベクトルＩＤに今回の一時記憶ベクトルＩＤを代入する。また、ベクトル情報作成部２２は、ｎをインクリメントする（ｎに１を加算する）。そして、ステップＳ３３１へ戻る。

　図３２、図３３のフローチャートを実行することにより、傾きの閾値付近の複数のベクトルを１つのベクトルにまとめることができる。したがって、傾きの閾値に近い直線が描かれる際に、手のブレなどで、或るベクトルのベクトルＩＤが、傾きが閾値を超えた場合に付与されるベクトルＩＤとなり、別のベクトルのベクトルＩＤが、傾きが閾値以下の場合に付与されるベクトルＩＤになることを抑制することができる。これにより、データの圧縮を行うことができると共に、記号の特徴を掴みやすくすることができる。

　以上のように本実施形態では、手書き入力されることにより多くのベクトルが生成された記号を認識する際に必要な演算量を削減することができる。
　なお、前述した第１～第４の例の少なくとも２つを組み合わせてもよい。

［第３の実施形態］
　次に、第３の実施形態を説明する。第１の実施形態では、ストローク認識部２５は、認識対象のストロークに鋭角点があるか否かを判断するために、ストロークの特徴量の１つである接続タイプを用いる場合を例に挙げて説明した。

　第１の実施形態で説明したように、人間の指やペンなどの入力手段の動きの特徴の１つとして、或るベクトルと、当該ベクトルの次に入力されるベクトルとの接続タイプがある。第１の実施形態で説明した例では、ベクトルは、鈍角（＝１）、直角（＝２）、鋭角（＝３）、および、それらのいずれでもない（＝０）の何れかの接続タイプに分類される。

　本実施形態では、ストローク認識部２５は、ストロークの鋭角のところで、１つのストロークを複数のストロークに分割する。そして、ストローク認識部２５は、分割したストロークのそれぞれを認識する。このようにすることで、ストローク認識部２５は、分割した個々のストロークの形状を、より単純に認識することができると共に、当該分割した個々のストロークの位置関係によって、分割前のストロークの記号を簡単に、且つ、正確に認識することができる。

　このように本実施形態は、第１の実施形態に対し、ストローク認識部２５がストロークを認識する際の処理として、前記処理を追加したものである。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１～図２４Ｂに付した符号と同一の符号を付すなどして詳細な説明を省略する。

　図３６は、１つのストロークを複数のストロークに分割して認識する方法の一例を説明する図である。
　図３６の左図に示す文字「２」においては、１番目のベクトルａ１から５番目のベクトルａ５までの接続タイプは鈍角であり、５番目のベクトルａ５と６番目のベクトルａ６の接続タイプは鋭角である。

　そこで、ストローク認識部２５は、１～５番目のベクトルａ１～ａ５と６番目のベクトルａ６とを別のストロークとして認識する。そうすると、図３６の右図に示すように、ストローク認識部２５は、１～５番目のベクトルａ１～ａ５と、６番目のベクトルａ６とを分割する。そして、ストローク認識部２５は、１～５番目のベクトルａ１～ａ５からなるストロークの記号は、弧線ｂ１であると認識する。また、ストローク認識部２５は、６番目のベクトルａ６からなるストロークの記号は、直線ｂ２であると認識する。これらの認識の手法は、第１の実施形態で説明した通りである。このようにすれば、ストローク認識部２５は、図３６の左図のストロークの形状を認識する場合よりも、単純な形の認識を行うことができる。

　次に、図３７のフローチャートを参照しながら、１つのストロークを複数のストロークに分割して認識する方法の一例を説明する。図３７のフローチャートは、例えば、図１４のステップＳ１４３およびステップＳ１４４で行われる。

　ステップＳ３７１において、ストローク認識部２５は、入力順で隣り合う２つのベクトルの接続タイプを求め、当該接続タイプを接続タイプ配列に記憶する。図３６に示すように文字「２」が入力された場合、ストローク認識部２５は、鈍角（＝１）、鈍角（＝１）、鈍角（＝１）、鈍角（＝１）、鋭角（＝３）を、この順で接続タイプ配列に記憶する。

　次に、ステップＳ３７２において、ストローク認識部２５は、接続タイプ配列を基に、元のベクトル配列を、鋭角点の前にあるベクトルのベクトル配列と、鋭角点の後にあるベクトルのベクトル配列とに分ける。ベクトル配列は、鋭角点の数に１を加算した数（＝鋭角点の数＋１）だけ作成される。そして、ストローク認識部２５は、元のベクトル配列を削除する。

　図３６に示すように文字「２」が入力された場合、ストローク認識部２５は、ベクトル配列を２個作成する。
　この場合、ストローク認識部２５は、２個のベクトル配列のうちの第１のベクトル配列に、ベクトルａ１～ａ５のベクトル情報（座標・ベクトルＩＤ・大きさ）を記憶する。また、ストローク認識部２５は、前記２個のベクトル配列のうちの第２のベクトル配列に、ベクトルａ６のベクトル情報（座標・ベクトルＩＤ・大きさを記憶する。

　次に、ステップＳ３７３において、ストローク認識部２５は、ステップＳ３７２で作成したベクトル配列ごとに、当該ベクトル配列に含まれるベクトルにより構成されるストロークの形状を認識する。
　図３６に示す例では、ストローク認識部２５は、以下のようにして前記第１のベクトル配列に含まれるベクトルにより構成されるストロークの形状と前記第２のベクトル配列に含まれるベクトルにより構成されるストロークの形状とを認識する。

＜第１のベクトル配列について＞
　ストローク認識部２５は、回転方向の変化が、時計回りおよび反時計回りのどちらでもないかを判断する。ストローク認識部２５は、回転方向の変化を、例えば、ストローク特徴量導出部２３により導出された回転方向を参照することにより判断することができる。図３６に示す例では、前記第１のベクトル配列に含まれるベクトルの回転方向は、時計回りで一定である。

　また、ストローク認識部２５は、回転角度の合計を導出する。図３６に示す例では、前記第１のベクトル配列に含まれるベクトルの回転角度の合計は１８０°未満であり、回転方向が一定である。ストローク認識部２５は、回転角度の合計を、例えば、ストローク特徴量導出部２３により導出された回転角度を参照することにより判断することができる。
　以上のことから、ストローク認識部２５は、前記第１のベクトル配列に含まれるベクトルで構成されるストロークは、弧線であると判断できる。

　さらに、ストローク認識部２５は、前記第１のベクトル配列に含まれるベクトルについて、以下の（ａ）～（ｈ）を導出する。そして、ストローク認識部２５は、前記導出した結果に基づいて、前記第１のベクトル配列に含まれるベクトルで構成されるストロークがどのような弧線であるのかを判断する。
　（ａ）右へ向かうベクトルの数
　（ｂ）左へ向かうベクトルの数
　（ｃ）下へ向かうベクトルの数
　（ｄ）上へ向かうベクトルの数
　（ｅ）最も上のポイントのインデックス
　（ｆ）最も下のポイントのインデックス
　（ｇ）最も左のポイントのインデックス
　（ｈ）最も右のポイントのインデックス

　ストローク認識部２５は、前記（ａ）および前記（ｂ）を、例えば、ストローク特徴量導出部２３により導出された左右移動方向を参照することにより導出することができる。
　ストローク認識部２５は、前記（ｃ）および前記（ｄ）を、例えば、ストローク特徴量導出部２３により導出された上下移動方向を参照することにより導出することができる。
　ストローク認識部２５は、前記（ｅ）、（ｆ）、（ｇ）、（ｈ）を、それぞれ、例えば、ストローク特徴量導出部２３により導出された最上点Ｉｎｄｅｘ、最下点Ｉｎｄｅｘ、最左点Ｉｎｄｅｘ、最右点Ｉｎｄｅｘを参照することにより導出することができる。

　図３６に示す例では、上から下へ向かうベクトルの数は１個以上であり、且つ、下から上へ向かうベクトルの数は０個である。また、最も右のポイントのインデックスの値は０ではなく、且つ、最も右のポイントのインデックスは最後のポイントではない。
　以上の条件より、ストローク認識部２５は、前記第１のベクトル配列に含まれるベクトルで構成されるストロークは、左に開いた弧線であると認識する。

＜第２のベクトル配列について＞
　前記第２のベクトル配列に含まれるベクトルの数は１である。前記第２のベクトル配列に含まれるベクトルのベクトルＩＤは、「左→右」である。ベクトルＩＤは、ベクトル情報作成部２２により作成されるものである。前述したように、ベクトルＩＤは、ベクトルの傾きと、ベクトルの始点・終点の関係とに基づいて導出される。
　したがって、ストローク認識部２５は、前記第２のベクトル配列に含まれるベクトルで構成されるストロークは、横向きの直線であると認識する。

　次に、ステップＳ３７４において、ストローク認識部２５は、各ストロークの形状と、当該各ストロークの位置関係とに基づいて、１つのストロークを生成して認識する。図３６に示す例では、左に開いた弧線ｂ１の下に、横向きの直線ｂ２がある。したがって、ストローク認識部２５は、これらを結合して１つのストロークを生成する。そして、ストローク認識部２５は、前記生成したストロークは、文字「２」であると認識する。

　以上のように本実施形態では、手書き入力された記号のベクトルの角度が鋭角に変化する点でストロークを分割し、分割したストロークのそれぞれを個別に認識する。したがって、手書き入力された記号が複雑であっても、膨大なデータを保持することなく、当該記号を正確に認識することができる。

　本実施形態においては、文字「２」を認識する例を示したが、１つのストロークを鋭角的な変化点で分割し、それぞれを認識することが可能な種々の文字や記号を認識することが可能である。
　また、本実施形態を第２の実施形態と組み合わせて実現してもよい。

［その他の実施形態］
　以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体、またはかかるプログラムを伝送する伝送媒体も本発明の実施形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

　また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

　本発明は、例えば、指やペンなどの入力手段を用いて手書きで入力された記号を自動的に認識する装置に利用することができる。

Claims

　入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとに前記入力手段の前記画面における位置を位置情報として取得するタッチ情報取得手段と、
　前記タッチ情報取得手段により取得された前記位置情報に基づいて、前記入力手段の移動の軌跡を示すベクトルの属性をベクトル情報として作成するベクトル情報作成手段と、
　前記入力手段が前記画面に触れてから離れるまでの間の前記位置情報に基づいて前記ベクトル情報作成手段により作成された一連の１個または複数個の前記ベクトルについての前記ベクトル情報を含むストローク情報であって、認識対象となるオブジェクトごとに１個または複数個の前記ストローク情報を記憶するストローク情報記憶手段と、
　前記入力手段が前記画面に触れてから離れるまでの間の前記入力手段の移動の軌跡であるストロークの特徴量を、前記ストローク情報に含まれる前記ベクトル情報に基づいて導出するストローク特徴量導出手段と、を有することを特徴とする手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、前記ベクトルの傾きに基づいて、前記ベクトルのベクトルＩＤを前記属性の１つとして作成し、
　前記ベクトルＩＤは、前記ベクトルが点であることと、前記ベクトルの向きが、下から上、左下から右上、左から右、左上から右下、上から下、右上から左下、右から左、および右下から左上であることとの９種類のうち、何れかを示す情報であることを特徴とする請求項１に記載の手書き音楽記号認識装置。
　前記ストローク特徴量導出手段は、
　前記ストロークの始点と終点とを結ぶ直線の距離である始点終点距離と、
　前記ストロークが内接する矩形の４個の角の座標および中心の座標と、
　前記ストロークに含まれるベクトルと当該ベクトルの次に入力されたベクトルとのなす角度に応じた値を示す接続タイプと、
　前記ストロークに含まれるベクトルから当該ベクトルの次に入力されたベクトルへの回転方向と、
　前記ストロークに含まれるベクトルから当該ベクトルの次に入力されたベクトルへの回転角度と、
　前記ストロークに含まれるベクトルの向く方向として、左右の方向を示す左右移動方向と、
　前記ストロークに含まれるベクトルの向く方向として上下の方向を示す上下移動方向と、
　前記ストロークに含まれるベクトルのうち最も左にあるベクトルを示す最左点インデックスと、
　前記ストロークに含まれるベクトルのうち最も右にあるベクトルを示す最右点インデックスと、
　前記ストロークに含まれるベクトルのうち最も上にあるベクトルを示す最上点インデックスと、
　前記ストロークに含まれるベクトルのうち最も下にあるベクトルを示す最下点インデックスと、
の少なくとも１つを前記ストロークの特徴量として導出し、導出した前記ストロークの特徴量を、前記ストローク情報に記憶することを特徴とする請求項１に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段により作成された前記ベクトル情報と、前記ストローク特徴量導出手段により導出された前記ストロークの特徴量と、の少なくとも何れか１つに基づいて、前記ストロークが示す記号を認識するストローク認識手段をさらに有することを特徴とする請求項１に記載の手書き音楽記号認識装置。
　前記ストローク認識手段により認識された１個または複数個の前記ストロークに基づいて、前記１個または複数個のストロークにより構成される前記オブジェクトが示す記号を認識するオブジェクト認識手段をさらに有することを特徴とする請求項４に記載の手書き音楽記号認識装置。
　前記オブジェクト認識手段は、前記ストローク認識手段により認識された複数個の前記ストロークの位置に基づいて、前記複数個のストロークにより構成される前記オブジェクトが示す記号を認識することを特徴とする請求項５に記載の手書き音楽記号認識装置。
　１つの前記ストロークの入力が終了してから、一定時間内に別の前記ストロークの入力があれば、前記ストローク認識手段および前記オブジェクト認識手段は、その入力が完了するまで待機し、１つの前記ストロークの入力が終了してから、一定時間内に別の前記ストロークの入力がなければ、前記ストローク認識手段は、その時点で未認識のストロークを認識することを開始し、前記オブジェクト認識手段は、前記ストローク認識手段により認識された１個または複数個の前記ストロークの位置に基づいて、前記１個または複数個のストロークにより構成される前記オブジェクトが示す記号を認識することを開始することを特徴とする請求項５に記載の手書き音楽記号認識装置。
　前記画面に対するユーザーによる所定の操作があった場合に、前記ストローク認識手段は、前記操作があった時点で未認識のストロークを認識することを開始し、前記オブジェクト認識手段は、前記ストローク認識手段により認識された１個または複数個の前記ストロークの位置に基づいて、前記１個または複数個のストロークにより構成される前記オブジェクトが示す記号を認識することを開始することを特徴とする請求項５に記載の手書き音楽記号認識装置。
　前記画面には、五線が表示され、
　前記オブジェクト認識手段は、前記オブジェクトが音符に対応する図形であることにより、前記オブジェクトを示す記号が音符であると認識すると、前記オブジェクトの前記五線における位置に基づいて、前記音符の音高を認識することを特徴とする請求項５に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、複数の前記ベクトルを１つのベクトルにまとめ、まとめたベクトルの属性を前記ベクトル情報として作成することを特徴とする請求項１に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、前記ベクトルの始点と、当該ベクトルに直接または他の前記ベクトルを介して繋がる前記ベクトルの終点とを結ぶ直線の距離が規定値以内であれば、それらの複数のベクトルを１つのベクトルにまとめることを特徴とする請求項１０に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、前記ベクトルの始点と、当該ベクトルに直接または他の前記ベクトルを介して繋がる前記ベクトルの終点とを結ぶ直線と、それらの複数のベクトルの終点との距離が規定値以内であれば、それらの複数のベクトルを１つのベクトルにまとめることを特徴とする請求項１０に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、前記ベクトルを、当該ベクトルの方向に応じて複数の分類先に分類し、相互に繋がる複数の前記ベクトルの前記分類先が同じであれば、それらの複数のベクトルを１つのベクトルにまとめることを特徴とする請求項１０に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、相互に隣り合う位置で繋がる２つのベクトルの方向に応じて、それらの２つのベクトルのそれぞれについて、傾きの範囲を導出し、それらの２つのベクトルの傾きのそれぞれが、当該ベクトルに対して導出した前記範囲内にあれば、それらの２つのベクトルを１つのベクトルにまとめることを特徴とする請求項１０に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段により作成された前記ベクトル情報と、前記ストローク特徴量導出手段により導出された前記ストロークの特徴量と、の少なくとも何れか１つに基づいて、前記ストロークが示す記号を認識するストローク認識手段をさらに有し、
　前記ストローク特徴量導出手段は、前記ストロークに含まれるベクトルと当該ベクトルの次に入力されたベクトルとのなす角度に応じた値を示す接続タイプを前記ストロークの特徴量として導出し、
　前記ストローク認識手段は、前記接続タイプの値が、２つの前記ベクトルの角度が鋭角であることを示す値である場合、当該鋭角を示す点で、前記ストロークを分割し、分割したストロークのそれぞれについて、前記ストロークが示す記号を個別に認識することを特徴とする請求項１に記載の手書き音楽記号認識装置。
　前記ストローク認識手段により認識された１個または複数個の前記ストロークに基づいて、前記１個または複数個のストロークにより構成される前記オブジェクトが示す記号を認識するオブジェクト認識手段をさらに有することを特徴とする請求項１５に記載の手書き音楽記号認識装置。
　前記オブジェクト認識手段は、前記ストローク認識手段により認識された複数個の前記ストロークの位置に基づいて、前記複数個のストロークにより構成される前記オブジェクトが示す記号を認識することを特徴とする請求項１６に記載の手書き音楽記号認識装置。
　前記ベクトル情報作成手段は、前記ベクトルの傾きに基づいて、前記ベクトルのベクトルＩＤを前記属性の１つとして作成し、
　前記ベクトルＩＤは、前記ベクトルが点であることと、前記ベクトルの向きが、下から上、左下から右上、左から右、左上から右下、上から下、右上から左下、右から左、および右下から左上であることとの９種類のうち、何れかを示す情報であることを特徴とする請求項１５に記載の手書き音楽記号認識装置。
　前記ストローク特徴量導出手段は、
　前記ストロークの始点と終点とを結ぶ直線の距離である始点終点距離と、
　前記ストロークが内接する矩形の４個の角の座標および中心の座標と、
　前記ストロークに含まれるベクトルから当該ベクトルの次に入力されたベクトルへの回転方向と、
　前記ストロークに含まれるベクトルから当該ベクトルの次に入力されたベクトルへの回転角度と、
　前記ストロークに含まれるベクトルの向く方向として、左右の方向を示す左右移動方向と、
　前記ストロークに含まれるベクトルの向く方向として上下の方向を示す上下移動方向と、
　前記ストロークに含まれるベクトルのうち最も左にあるベクトルを示す最左点インデックスと、
　前記ストロークに含まれるベクトルのうち最も右にあるベクトルを示す最右点インデックスと、
　前記ストロークに含まれるベクトルのうち最も上にあるベクトルを示す最上点インデックスと、
　前記ストロークに含まれるベクトルのうち最も下にあるベクトルを示す最下点インデックスと、
の少なくとも１つを前記ストロークの特徴量としてさらに導出し、導出した前記ストロークの特徴量を、前記ストローク情報に記憶することを特徴とする請求項１５に記載の手書き音楽記号認識装置。
　入力工程が画面に触れてから離れるまで、前記入力工程が移動するごとに前記入力工程の前記画面における位置を位置情報として取得するタッチ情報取得工程と、
　前記タッチ情報取得工程により取得された前記位置情報に基づいて、前記入力工程の移動の軌跡を示すベクトルの属性をベクトル情報として作成するベクトル情報作成工程と、
　前記入力工程が前記画面に触れてから離れるまでの間の前記位置情報に基づいて前記ベクトル情報作成工程により作成された一連の１個または複数個の前記ベクトルについての前記ベクトル情報を含むストローク情報であって、認識対象となるオブジェクトごとに１個または複数個の前記ストローク情報を記憶するストローク情報記憶工程と、
　前記入力工程が前記画面に触れてから離れるまでの間の前記入力工程の移動の軌跡であるストロークの特徴量を、前記ストローク情報に含まれる前記ベクトル情報に基づいて導出するストローク特徴量導出工程と、をコンピュータに実行させることを特徴とするプログラム。