JP4308141B2 - デジタルインクのセグメントの方向を推定する方法 - Google Patents

Description

本発明は、一般的には、ペンベースのコンピューティングシステムと手書き文字（デジタルインク）認識システムとに関し、詳細には、ペンベースのコンピューティングシステムを使用して生成されるデジタルインクのセグメントの方向を推定する方法と、デジタルインクのセグメントの方向を推定するペンベースのコンピューティングシステムとに関する。デジタルインクのセグメントの推定された方向は、その後にデジタルインクライン方向正規化手法において使用することができる。

本発明に関連する様々な方法、システム、及び装置は、本発明の出願人又は譲渡人によって出願されている以下の係属中の出願に開示されている。これらの係属中の出願すべての開示は、本文書に参考とすることにより組み込まれる。
２００２年１０月５日： オーストラリア仮特許出願第２００２９５２２５９号「方法及び装置（ＮＰＴ０１９）」
２００２年１０月１５日： ＰＣＴ／ＡＵ０２／０１３９１，ＰＣＴ／ＡＵ０２／０１３９２，ＰＣＴ／ＡＵ０２／０１３９３，ＰＣＴ／ＡＵ０２／０１３９４，ＰＣＴ／ＡＵ０２／０１３９５
２００１年１１月２６日： ＰＣＴ／ＡＵ０１／０１５２７，ＰＣＴ／ＡＵ０１／０１５２８，ＰＣＴ／ＡＵ０１／０１５２９，ＰＣＴ／ＡＵ０１／０１５３０，ＰＣＴ／ＡＵ０１／０１５３１
２００１年１０月１１日： ＰＣＴ／ＡＵ０１／０１２７４
２００１年８月１４日： ＰＣＴ／ＡＵ０１／００９９６
２０００年１１月２７日： ＰＣＴ／ＡＵ００／０１４４２，ＰＣＴ／ＡＵ００／０１４４４，ＰＣＴ／ＡＵ００／０１４４６，ＰＣＴ／ＡＵ００／０１４４５，ＰＣＴ／ＡＵ００／０１４５０，ＰＣＴ／ＡＵ００／０１４５３，ＰＣＴ／ＡＵ００／０１４４８，ＰＣＴ／ＡＵ００／０１４４７，ＰＣＴ／ＡＵ００／０１４５９，ＰＣＴ／ＡＵ００／０１４５１，ＰＣＴ／ＡＵ００／０１４５４，ＰＣＴ／ＡＵ００／０１４５２，ＰＣＴ／ＡＵ００／０１４４３，ＰＣＴ／ＡＵ００／０１４５５，ＰＣＴ／ＡＵ００／０１４５６，ＰＣＴ／ＡＵ００／０１４５７，ＰＣＴ／ＡＵ００／０１４５８，ＰＣＴ／ＡＵ００／０１４４９
２０００年１０月２０日： ＰＣＴ／ＡＵ００／０１２７３，ＰＣＴ／ＡＵ００／０１２７９，ＰＣＴ／ＡＵ００／０１２８８，ＰＣＴ／ＡＵ００／０１２８２，ＰＣＴ／ＡＵ００／０１２７６，ＰＣＴ／ＡＵ００／０１２８０，ＰＣＴ／ＡＵ００／０１２７４，ＰＣＴ／ＡＵ００／０１２８９，ＰＣＴ／ＡＵ００／０１２７５，ＰＣＴ／ＡＵ００／０１２７７，ＰＣＴ／ＡＵ００／０１２８６，ＰＣＴ／ＡＵ００／０１２８１，ＰＣＴ／ＡＵ００／０１２７８，ＰＣＴ／ＡＵ００／０１２８７，ＰＣＴ／ＡＵ００／０１２８５，ＰＣＴ／ＡＵ００／０１２８４，ＰＣＴ／ＡＵ００／０１２８３
２０００年９月１５日： ＰＣＴ／ＡＵ００／０１１０８，ＰＣＴ／ＡＵ００／０１１１０，ＰＣＴ／ＡＵ００／０１１１１
２０００年６月３０日： ＰＣＴ／ＡＵ００／００７６２，ＰＣＴ／ＡＵ００／００７６３，ＰＣＴ／ＡＵ００／００７６１，ＰＡＣＴ／ＡＵ００／００７６０，ＰＣＴ／ＡＵ００／００７５９，ＰＣＴ／ＡＵ００／００７５８，ＰＣＴ／ＡＵ００／００７６４，ＰＣＴ／ＡＵ００／００７６５，ＰＣＴ／ＡＵ００／００７６６，ＰＣＴ／ＡＵ００／００７６７，ＰＣＴ／ＡＵ００／００７６８，ＰＣＴ／ＡＵ００／００７７３，ＰＣＴ／ＡＵ００／００７７４，ＰＣＴ／ＡＵ００／００７７５，ＰＣＴ／ＡＵＯＯ／００７７６，ＰＣＴ／ＡＵ００／００７７７，ＰＣＴ／ＡＵ００／００７７０，ＰＣＴ／ＡＵ００／００７６９，ＰＣＴ／ＡＵ００／００７７１，ＰＣＴ／ＡＵ００／００７７２，ＰＣＴ／ＡＵ００／００７５４，ＰＣＴ／ＡＵ００／００７５５，ＰＣＴ／ＡＵ００／００７５６，ＰＣＴ／ＡＵ００／００７５７
２０００年５月２４日： ＰＣＴ／ＡＵ００／００５１８，ＰＣＴ／ＡＵ００／００５１９，ＰＣＴ／ＡＵ００／００５２０，ＰＣＴ／ＡＵ００／００５２１，ＰＣＴ／ＡＵ００／００５２２，ＰＣＴ／ＡＵ００／００５２３，ＰＣＴ／ＡＵ００／００５２４，ＰＣＴ／ＡＵ００／００５２５，ＰＣＴ／ＡＵ００／００５２６，ＰＣＴ／ＡＵ００／００５２７，ＰＣＴ／ＡＵ００／００５２８，ＰＣＴ／ＡＵ００／００５２９，ＰＣＴ／ＡＵ００／００５３０，ＰＣＴ／ＡＵ００／００５３１，ＰＣＴ／ＡＵ００／００５３２，ＰＣＴ／ＡＵ００／００５３３，ＰＣＴ／ＡＵ００／００５３４，ＰＣＴ／ＡＵ００／００５３５，ＰＣＴ／ＡＵ００／００５３６，ＰＣＴ／ＡＵ００／００５３７，ＰＣＴ／ＡＵ００／００５３８，ＰＣＴ／ＡＵ００／００５３９，ＰＣＴ／ＡＵ００／００５４０，ＰＣＴ／ＡＵ００／００５４１，ＰＣＴ／ＡＵ００／００５４２，ＰＣＴ／ＡＵ００／００５４３，ＰＣＴ／ＡＵ００／００５４４，ＰＣＴ／ＡＵ００／００５４５，ＰＣＴ／ＡＵ００／００５４７，ＰＣＴ／ＡＵ００／００５４６，ＰＣＴ／ＡＵ００／００５５４，ＰＣＴ／ＡＵ００／００５５６，ＰＣＴ／ＡＵ００／００５５７，ＰＣＴ／ＡＵ００／００５５８，ＰＣＴ／ＡＵ００／００５５９，ＰＣＴ／ＡＵ００／００５６０，ＰＣＴ／ＡＵ００／００５６１，ＰＣＴ／ＡＵ００／００５６２，ＰＣＴ／ＡＵ００／００５６３，ＰＣＴ／ＡＵ００／００５６４，ＰＣＴ／ＡＵ００／００５６５，ＰＣＴ／ＡＵ００／００５６６，ＰＣＴ／ＡＵ００／００５６７，ＰＣＴ／ＡＵ００／００５７８，ＰＣＴ／ＡＵ００／００５６９，ＰＣＴ／ＡＵ００／００５７０，ＰＣＴ／ＡＵ００／００５７１，ＰＣＴ／ＡＵ００／００５７２，ＰＣＴ／ＡＵ００／００５７３，ＰＣＴ／ＡＵ００／００５７４，ＰＣＴ／ＡＵ００／００５７５，ＰＣＴ／ＡＵ００／００５７６，ＰＣＴ／ＡＵ００／００５７７，ＰＣＴ／ＡＵ００／００５７８，ＰＣＴ／ＡＵ００／００５７９，ＰＣＴ／ＡＵ００／００５８１，ＰＣＴ／ＡＵ００／００５８０，ＰＣＴ／ＡＵ００／００５８２，ＰＣＴ／ＡＵ００／００５８７，ＰＣＴ／ＡＵ００／００５８８，ＰＣＴ／ＡＵ００／００５８９，ＰＣＴ／ＡＵ００／００５８３，ＰＣＴ／ＡＵ００／００５９３，ＰＣＴ／ＡＵ００／００５９０，ＰＣＴ／ＡＵ００／００５９１，ＰＣＴ／ＡＵＯＯ／００５９２，ＰＣＴ／ＡＵ００／００５９４，ＰＣＴ／ＡＵ００／００５９５，ＰＣＴ／ＡＵ００／００５９６，ＰＣＴ／ＡＵ００／００５９７，ＰＣＴ／ＡＵ００／００５９８，ＰＣＴ／ＡＵ００／００５１６，ＰＣＴ／ＡＵ００／００５１７，ＰＣＴ／ＡＵ００／００５１１

デジタルインク処理システムは、書き手ごとに筆記スタイルが異なることに起因して生じる、手書き文字及び描画の大幅な変動に対処しなければならない。その結果、ほとんどのシステムは、この変動を制限する目的で複数の前処理ステップを実行する。このようなシステムの例として、手書き認識システム、デジタル署名確認システム、ドキュメント分析システム、デジタルインク探索システムが挙げられる。

このような手順の例は、入力の変動を低減する目的で使用される方向正規化であり、これは、あたかもページ上の標準的な方向を使用して書かれているかのように（例えば、ラテン文字に基づくスクリプトの場合、水平線上を左から右に書かれているかのように）デジタルインクを整列させることによる。このようにデジタルインクを整列させることによって、インク処理システムは、方向の変動の影響を無視することができ、インク処理システムをよりシンプルに、より強固に、且つ、より正確にすることができる。

方向正規化は、通常は、デジタルインク処理システムの最初のステップ群の１つとして実行され、後の段階（例えば、線、ワード、及び文字のセグメント化、特徴抽出など）における誤差を最小にする目的で使用される。一般的には、標準の基準角度（例えば、水平方向）に対するデジタルインクのセグメントの角度を推定し、この推定値を使用して、デジタルインクの角度が基準角度に一致するようにデジタルインクの方向を調整する。

ラテン文字スクリプトの方向正規化は、しばしばベースライン補正を使用して実行され、この場合、テキストのラインのベースラインは、ディセンダを持たない文字（例：「ａ」、「ｂ」、「ｃ」、「ｄ」、「ｅ」、「ｆ」、「ｈ」など）が上に配置される想像上の自然なラインとして定義される。これは、デジタルインクのセグメントのベースラインを推定した後、水平になるようにインクを回転させることによって行われる。ほとんどのシステムでは、ベースラインはほぼ直線であると想定されているが、システムによっては、スプラインなどの高度なモデルを使用して、ベースラインのドリフト（ｂａｓｅｌｉｎｅ ｄｒｉｆｔ）のモデル化を試みる［Ａ．Ｈｅｎｎｉｇ、Ｎ．Ｓｈｅｒｋａｔ、Ｒ．Ｗｈｉｔｒｏｗの「近似スプライン関数を使用しての手書きの複数のラインのゾーン推定（Ｚｏｎｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｌｉｎｅｓ ｏｆ Ｈａｎｄｗｒｉｔｉｎｇ ｕｓｉｎｇ Ａｐｐｒｏｘｉｍａｔｉｎｇ Ｓｐｌｉｎｅ Ｆｕｎｃｔｉｏｎｓ）」（Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ． Ｗｏｒｋｓｈｏｐ ｏｎ Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＷＦＨＲ），ｐ．３２５〜３２８，１９９６年９月）］。

デジタルインクの方向の推定及び方向の正規化に関しては、特に、光学文字認識システムに適用することのできる手法を重点として、多くの研究が行われてきた。初期の研究システムは、発見的及び経験的しきい値［Ｗ．Ｇｕｅｒｆａｌｉ、Ｒ．Ｐｌａｍｏｎｄｏｎの「オンラインでの手書き文字の正規化と復元（Ｎｏｒｍａｌｉｚａｔｉｏｎ ａｎｄ ｒｅｓｔｏｒｉｎｇ ｏｎ−ｌｉｎｅ ｈａｎｄｗｒｉｔｉｎｇ）」（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２６（３），ｐ．４１９〜４３１，１９９３年）、Ｓ．Ｍａｄｈｖａｎａｔｈ、Ｖ．Ｇｏｖｉｎｄａｒａｊｕの「手書きワードの認識における全体的特徴の使用（Ｕｓｉｎｇ ｈｏｌｉｓｔｉｃ ｆｅａｔｕｒｅｓ ｉｎ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ）」（Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｐｏｓｔａｌ Ｓｅｒｖｉｃｅｓ（ＵＳＰＳ），ｐ．１８３〜１９８，１９９２年）］に加えて、最小ストロークを通じての線形回帰［Ｒ．Ｂｏｚｉｎｏｃｉｃ、Ｓ．Ｓｒｉｈａｒｉの「オフラインでの筆記体スクリプトワードの認識（Ｏｆｆ−ｌｉｎｅ ｃｕｒｓｉｖｅ ｓｃｒｉｐｔ ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ）」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ １１，ｐ．６９〜８３，１９８９年）］などの単純な手法に頼っていた。これらの手法は特性的に安定していないため、射影プロファイルを使用する高度なシステム［Ａ．Ｖｉｎｃｉａｒｅｌｌｉ、Ｊ．Ｌｕｅｔｔｉｎの「手書き筆記体ワードの新規の正規化手法（Ａ Ｎｅｗ Ｎｏｒｍａｌｉｚａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃｕｒｓｉｖｅ Ｈａｎｄｗｒｉｔｔｅｎ Ｗｏｒｄｓ）」（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ ２２，ｐ．１０４３〜１０５０，２００１年）、Ｍ．Ｂｒｏｗｎ、Ｓ．Ｇａｎａｐａｔｈｙの「筆記体スクリプトワードの認識の前処理手法（Ｐｒｅｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｃｕｒｓｉｖｅ Ｓｃｒｉｐｔ Ｗｏｒｄ ’Ｒｅｃｏｇｎｉｔｉｏｎ）」（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ １６（５），ｐ．４４７〜４５８，１９８３年）］や、一般化射影を使用する高度なシステム［Ｇ．Ｎｉｃｃｈｉｏｔｔｉ、Ｃ．Ｓｃａｇｌｉｏｌａの「一般化射影：手書き筆記体を正規化するツール（Ｇｅｎｅｒａｌｉｓｅｄ Ｐｒｏｊｅｃｔｉｏｎｓ： ａ Ｔｏｏｌ ｆｏｒ Ｃｕｒｓｉｖｅ Ｈａｎｄｗｒｉｔｉｎｇ Ｎｏｒｍａｌｉｓａｔｉｏｎ）」（Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＤＡＲ），１９９９年９月）］が開発された。それ以降に開発された他の技術としては、最小二乗法及び重み付き最小二乗法［Ｍ．Ｍｏｒｉｔａ、Ｓ．Ｇａｍｅｓ、Ｊ．Ｆａｃｏｎ、Ｆ．Ｂｏｒｔｏｌｏｚｚｉ、Ｒ．Ｓａｂｏｕｒｉｎの「手書き文字のベースラインの歪曲を補正するための数理形態学及び重み付き最小二乗法（Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｒｐｈｏｌｏｇｙ ａｎｄ Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ ｔｏ Ｃｏｒｒｅｃｔ Ｈａｎｄｗｒｉｔｉｎｇ Ｂａｓｅｌｉｎｅ Ｓｋｅｗ）」（Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＤＡＲ），ｐ．４３０〜４３３，１９９９年９月）、Ｔ．Ｂｒｅｕｅｌの「分岐限定アルゴリズムを使用しての最小二乗法によるロバストなベースライン検出（Ｒｏｂｕｓｔ ｌｅａｓｔ ｓｑｕａｒｅ ｂａｓｅｌｉｎｅ ｆｏｒｄｉｎｇ ｕｓｉｎｇ ａ ｂｒａｎｃｈ ａｎｄ ｂｏｕｎｄ ａｌｇｏｒｉｔｈｍ）」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＰＩＥ，ｐ．２０〜２７，２００２年）］、幾何学モデリング及び疑似凸包［Ｍ．Ｍｏｒｉｔａ、Ｆ．Ｂｏｒｔｏｌｏｚｚｉ、Ｊ．Ｆａｃｏｎ、Ｒ．Ｓａｂｏｕｒｉｎの「手書きワードの歪曲補正の形態学的手法（Ｍｏｒｐｈｏｌｏｇｉｃａｌ ａｐｐｒｏａｃｈ ｏｆ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄ ｓｋｅｗ ｃｏｒｒｅｃｔｉｏｎ）」（ＳＩＢＧＲＡＰＩ ’９８，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｖｉｓｉｏｎ，Ｒｉｏ ｄｅ Ｊａｎｅｉｒｏ，Ｂｒａｚｉｌ，ｐ．４５６〜４６１，１９９８年１０月）］、ハフ変換に基づく手法［Ａ．Ｒｏｓｅｎｔｈａｌ、Ｊ．Ｈｕ、Ｍ．Ｂｒｏｗｎの「ハフ変換を用いてのオンライン手書き文字のサイズ及び方向の正規化（Ｓｉｚｅ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ ｏｎ−ｌｉｎｅ ｈａｎｄｗｒｉｔｉｎｇ ｕｓｉｎｇ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）」（ＩＣＡＳＳＰ ’９７，Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，１９９７年４月］、モデルベースの方法［Ｙ．Ｂｅｎｇｉｏ、Ｙ．ＬｅＣｕｎの「オンラインでの手書きワード認識のためのワードの正規化（Ｗｏｒｄ ｎｏｒｍａｌｉｚａｔｉｏｎ ｆｏｒ ｏｎ−ｌｉｎｅ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ）」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐ．４０９〜４１３，１９９４年１０月）］、主成分分析を使用しての歪曲検出［Ｓｔｅｉｎｈｅｒｚ、Ｎ．Ｉｎｔｒａｔｏｒ、Ｅ．Ｒｉｖｌｉｎの「主成分分析による歪曲検出（Ｓｋｅｗ ｄｅｔｅｃｔｉｏｎ ｖｉａ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ）」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＤＡＲ），ｐ．１５３〜１５６，１９９９年）］、近似スプライン関数を使用してのベースライン推定［Ａ．Ｈｅｎｎｉｇ、Ｎ．Ｓｈｅｒｋａｔ、Ｒ．Ｗｈｉｔｒｏｗの「近似スプライン関数を使用しての手書き文字の複数のラインのゾーン推定（Ｚｏｎｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｌｉｎｅｓ ｏｆ Ｈａｎｄｗｒｉｔｉｎｇ ｕｓｉｎｇ Ａｐｐｒｏｘｉｍａｔｉｎｇ Ｓｐｌｉｎｅ Ｆｕｎｃｔｉｏｎｓ）」（Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ． Ｗｏｒｋｓｈｏｐ ｏｎ Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＷＦＨＲ），ｐ．３２５〜３２８，１９９６年９月）］、が挙げられる。

先行技術の特許明細書には、いくつかの方向正規化手法が開示されており、例えば、ハフ変換と組み合わせた境界射影の使用［Ｔ．Ｓｙｅｄａ−Ｍａｈｍｏｏｄの「手書きドキュメントイメージにおける手書きワードのセグメントをグループ化する方法（Ｍｅｔｈｏｄ ｏｆ ｇｒｏｕｐｉｎｇ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄ ｓｅｇｍｅｎｔｓ ｉｎ ｈａｎｄｗｒｉｔｔｅｎ ｄｏｃｕｍｅｎｔ ｉｍａｇｅｓ）」（米国特許第６，１０８，４４４号明細書）］、文字イメージを完全に囲む平行四辺形の境界を見つけることによって機能する、スキャンしたイメージの数字を正規化するシステム［Ｒ．Ｖｏｇｔの「手書き数字の正規化の方法（Ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｎｏｒｍａｌｉｚａｔｉｏｎ ｍｅｔｈｏｄ）」（米国特許第５，３２５，４４７号明細書）；３］、線形射影及びクラスタリングアルゴリズムを使用して、アセンダ、ディセンダ、及びベースラインに対応するヒストグラムの要素を検出する方法［Ｗ．Ｂｒｕｃｅらの「手書き文字認識を目的とする、ベースライン、行間隔、及び文字高さの推定（Ｅｓｔｉｍａｔｉｏｎ ｏｆ ｂａｓｅｌｉｎｅ，ｌｉｎｅ ｓｐａｃｉｎｇ ａｎｄ ｃｈａｒａｃｔｅｒ ｈｅｉｇｈｔ： ｆｏｒ ｈａｎｄｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ）」（米国特許第５，３９６，５６６号明細書）、Ｊ．Ｋｉｍの「手書きテキストのベースラインのドリフト補正（Ｂａｓｅｌｉｎｅ Ｄｒｉｆｔ Ｃｏｒｒｅｃｔｉｏｎ ｏｆ Ｈａｎｄｗｒｉｔｔｅｎ Ｔｅｘｔ）」（ＩＢＭ Ｔｅｃｈｎｉｃａｌ Ｄｉｓｃｌｏｓｕｒｅ Ｂｕｌｌｅｔｉｎ ２５（１０），１９８３年３月）］、オンライン署名確認システムにおいて署名を正規化するための、重心の周りの回転と組み合わせての最小二乗計算［Ｆ．Ｓｉｎｄｅｎ、Ｇ．Ｗｉｌｆｏｎｇの「手書き記号の正規化の方法（Ｍｅｔｈｏｄ ｏｆ ｎｏｒｍａｌｉｚｉｎｇ ｈａｎｄｗｒｉｔｔｅｎ ｓｙｍｂｏｌｓ）」（米国特許第５，５３７，４８９号明細書）］、が挙げられる。

上述した手法は場合によっては効果的であるが、いくつもの重大な制限がある。例えば、多くの手法では、書かれたテキストのすべてのラインがページ上で同じ角度だけ傾いていると想定しており、従って、テキストのラインが任意に傾いているページを処理することができない。それ以外の制限としては、アルゴリズムに大きな処理リソースが必要であること（例：ハフ変換）、量子化されること（例：ハフ変換）、テキストの短いセグメントに対して良好に機能しないこと（例：射影法）、しきい値が経験的に推定されるために不安定であること（例：発見的及びルールベースの手法）、アセンダ、ディセンダ及び輪郭の影響を受けること（例：最小二乗回帰手法、射影手法）、が挙げられる。

筆記具の方位角は、［Ｒ．Ｐｏｙｎｅｒの「Ｗｉｎｔａｂインタフェース仕様１．１：１６／３２ビットＡＰＩリファレンス（Ｗｉｎｔａｂ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ １．１：１６−ａｎｄ ３２−ｂｉｔ ＡＰＩ Ｒｅｆｅｒｅｎｃｅ）」（ＬＣＳ／Ｔｅｌｅｇｒａｐｈｉｃｓ）］に、「一回転の範囲内でのｚ軸の周りのカーソルの右回転」として定義されている。言い換えれば、ｘとｙが一枚の紙の水平軸と垂直軸を定義し、且つｚが紙に垂直な軸を定義するならば、方位角はｚ軸の周りのペンの回転である。ＷａｃｏｍのグラフィックスタブレットとＮｅｔｐａｇｅペンなど、いくつかのペンベースのコンピューティングシステムは、デジタルインクの生成時に筆記具の方位角を測定することができる［Ｋ．Ｓｉｌｖｅｒｂｒｏｏｋらの「感知装置（Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅ）」（国際公開第０２／４２９８９号パンフレット）］。

好ましい実施形態においては、本発明は、Ｎｅｔｐａｇｅネットワーク化コンピュータシステムと一緒に動作するように構成されており、このシステムについては、当社の係属中の出願、特に、ＰＣＴ出願である国際公開第０２４２９８９号「感知装置（Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅ）」（出願日：２００２年５月３０日）、ＰＣＴ出願である国際公開第０２４２８９４号「対話型プリンタ（Ｉｎｔｅｒａｃｔｉｖｅ Ｐｒｉｎｔｅｒ）」（出願日：２００２年５月３０日）、ＰＣＴ出願である国際公開第０２１４０７５号「インビジブルインクを使用するインタフェース表面プリンタ（Ｉｎｔｅｒｆａｃｅ Ｓｕｒｆａｃｅ Ｐｒｉｎｔｅｒ Ｕｓｉｎｇ Ｉｎｖｉｓｉｂｌｅ Ｉｎｋ）」（出願日：２００２年２月２１日）、ＰＣＴ出願である国際公開第０２４２９５０号「ネットワークコンピュータシステムと対話する装置（Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｉｎｔｅｒａｃｔｉｏｎ Ｗｉｔｈ Ａ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ）」（出願日：２００２年５月３０日）、ＰＣＴ出願である国際公開第０３０３４２７６号「手書き特徴形状合成を使用するデジタルインクデータベースの検索（Ｄｉｇｉｔａｌ Ｉｎｋ Ｄａｔａｂａｓｅ Ｓｅａｒｃｈｉｎｇ Ｕｓｉｎｇ Ｈａｎｄｗｒｉｔｉｎｇ Ｆｅａｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ）」（出願日：２００３年４月２４日）、に詳細に説明してある。ただし、すべての実施形態が、基本システムに関連する、これらの出願に説明されている固有の細部及び拡張部分のすべて、若しくは大部分を具体化しているとは限らない。しかしながら、本発明の好ましい実施形態及び側面が機能するコンテキストを理解することを助ける目的で、システムは最も完全な形態において説明してある。

簡潔にまとめると、Ｎｅｔｐａｇｅシステムの好ましい形態では、見えないように符号化されているペーパーのページと光学的イメージングペンとを利用することによって、オンライン情報へのペーパーベースの対話型インタフェースが提供される。Ｎｅｔｐａｇｅシステムによって生成される各ページは、一意に識別され、ネットワークサーバーに格納され、ユーザがＮｅｔｐａｇｅペンを使用して行うペーパーとの対話すべてが取り込まれ、解釈され、格納される。デジタル印刷技術によって、Ｎｅｔｐａｇｅドキュメントのオンデマンド印刷が容易になり、これにより対話型アプリケーションを開発することが可能である。Ｎｅｔｐａｇｅプリンタと、Ｎｅｔｐａｇｅペンと、ネットワークインフラストラクチャとにより、従来のスクリーンベースのアプリケーション及びオンラインパブリッシングサービスとに代わるペーパーベースの代替のアプリケーション及びサービスが提供され、ハイパーテキストナビゲーションやフォーム入力などのユーザインタフェース機能がサポートされる。

一般には、発行者又はアプリケーションプロバイダからのドキュメントがブロードバンド接続を介してプリンタによって受信され、このドキュメントは、赤外線タグの見えないパターンによって印刷されており、各タグはページ上の自身の位置と一意のページ識別子とを符号化する。ユーザがページに書き込むと、イメージングペンがこれらのタグを解読し、ペンの動きをデジタルインクに変換する。デジタルインクは無線チャネルを通じて中継基地局に伝送された後、ネットワークに送られて処理及び格納される。システムは、格納されているページの記述を使用してデジタルインクを解釈し、アプリケーションと対話することによって要求されたアクションを実行する。

アプリケーションは、ドキュメントを発行することによってユーザにコンテンツを提供し、ユーザによって送信されたデジタルインク対話を処理する。一般には、アプリケーションは、ユーザ入力に応えて１つ以上の対話型ページを生成し、これらのページがネットワークに伝送されて格納及びレンダリングされ、最終的にユーザへの出力として印刷される。Ｎｅｔｐａｇｅシステムでは、ドキュメントの発行、レンダリング、及び配信や、認証型トランザクション及び安全な支払、手書き文字認識及びデジタルインク検索のほか、バイオメトリクス技術を使用したユーザ確認（例：署名照合）のサービスを提供することによって、高度なアプリケーションを開発することができる。

一般的には、本発明は、ペンの方向の情報を使用してデジタルインクのセグメントの方向を推定する方法を提供することを目的としている。１つの形態においては、この手法は、トレーニングデータを使用してペン方向モデルを構築するステップを含んでおり、当該モデルは、個々の書き手ごとに構築することができ、以降に書かれるデジタルインクの方向を推定する目的に使用される。

本文書に説明するデジタルインクの方向推定手法は、先行技術に説明されている制限を克服するか又は改善することと、これまで他のシステムにおいては利用できないか又は無視されてきたペンの方向の情報を利用することによって現在の手法を改良すること、を目的としている。更に、本発明の１つの形態では、方向の推定時に使用される、書き手に依存するペン方向モデルを、トレーニングデータを使用して生成することができる。

一般的な形態においては、本発明は、デジタルインクのセグメントの方向を推定する方法であって、書き手がデジタルインクのセグメントを生成している間に、あるサンプリングレートにてペンの方位角を測定するステップと、デジタルインクのセグメントの方向を、サンプリングポイントにおけるペンの測定された方位角を使用して推定するステップと、を含んでいる方法、を提供する。

デジタルインクのセグメントの推定された方向は、デジタルインクライン方向正規化手法においてその後に使用されることが好ましい。特定の実施形態によると、デジタルインクの１ラインに対して１つの決められた方向推定が用いられるか、又は、デジタルインクの１ライン内で変化する方向推定が用いられる。

本発明の更なる可能な形態によると、サンプリングポイントにおけるペンの方向は、サンプリングポイントにおける測定された方位角からデジタルインクのトレーニングサンプルの平均方位角を減じ、推定方向を０゜〜３６０゜の範囲内となるように正規化することによって、推定される。

別の特定の実施形態によると、デジタルインクのセグメントは、デジタルインクの複数の文字である。また、デジタルインクのセグメントは、ラインセグメントとすることができる。この形態においては、ラインのセグメント化は、方位角の値の変化を測定することによって実行することができる。

本発明の更なる特定の実施形態においては、方向の推定において、書き手に依存しない手書きモデルが用いられる。又は、方向の推定において、書き手によって入力されたサンプルデジタルインクを使用してトレーニングされた、書き手に依存する手書きモデルが用いられる。又は、書き手に依存する手書きモデルは、一貫性のあるベースラインを使用して書き手によって入力されたサンプルデジタルインクを使用して、トレーニングされる。

更なる一般的な形態においては、本発明は、デジタルインクのセグメントの方向を推定する、ペンベースのコンピューティングシステムであって、デジタルインクを入力するためのペンベースのコンピューティングペンと、書き手がデジタルインクのセグメントを生成している間に、あるサンプリングレートにおいてペンの方位角を測定し、サンプリングポイントにおけるペンの測定された方位角を使用してデジタルインクのセグメントの方向を推定することによって、デジタルインクのセグメントの方向を推定するようにされているプロセッサと、を含んでいる、ペンベースのコンピューティングシステム、を提供する。

更なる一般的な形態においては、本発明は、デジタルインクのセグメントの方向を推定する、ペンベースのコンピューティングシステムであって、
（１）デジタルインクを入力するためのペンベースのコンピューティングペンと、
（２）手書きモデルを格納するためのストレージユニットと、
（３）（ａ）手書きモデルを取り出すことと、（ｂ）書き手がデジタルインクのセグメントを生成している間に、あるサンプリングレートにてペンの方位角の測定値を受信することと、（ｃ）手書きモデルを使用してサンプリングポイントにおけるペンの測定された方位角を修正することによって、デジタルインクのセグメントの方向を推定することと、を行うようにされているプロセッサと、
を含んでいる、ペンベースのコンピューティングシステム、を提供する。

本発明は、添付の図面に関連させながら一例として記載した、本発明の好ましい実施形態の以下の説明から明らかになるであろう。なお、好ましい実施形態は本発明を制限するものではない。

以下の形態は、本発明の内容をより正確に理解できるようにする目的で、説明及び請求項に当てはまる形態として説明してある。

方位角の測定
５人の書き手が手書きを生成している間に、デジタル化タブレットを使用してペンの方位角を測定した。Ｗａｃｏｍ Ｉｎｔｕｏｓグラフィックタブレットを使用し、１００Ｈｚのサンプリングレートにてデジタルインクを収集した。データ収集アプリケーションは、Ｗｉｎｔａｂ Ｐｒｏｇｒａｍｍｅｒ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ Ｖｅｒｓｉｏｎ１．２６を使用して開発した［Ｒ．Ｐｏｙｎｅｒの「Ｗｉｎｔａｂインタフェース仕様１．１：１６／３２ビットＡＰＩリファレンス（Ｗｉｎｔａｂ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ １．１：１６−ａｎｄ ３２−ｂｉｔ ＡＰＩ Ｒｅｆｅｒｅｎｃｅ）」（ＬＣＳ／Ｔｅｌｅｇｒａｐｈｉｃｓ，１９９６年５月９日）］。

表１は、収集したサンプルデータの方位角の測定値を詳しく示しており、この場合、角度は右回りに測定し、０゜はページの上を指す垂直線を表している。方位角の測定値から、書き手２は左利きであることが明らかである。表２は、左利きの書き手と右利きの書き手の両方について、サンプルデータの方位角の測定値の平均値、最小値、最大値、及び標準偏差を示しており、このデータは図１に示してある。

結果からわかるように、手書き時のペンの方位角は、特定の書き手の場合には比較的安定している（標準偏差と、最小値及び最大値の差とが小さいことからわかる）。

方向の推定
方位角の測定値を使用してデジタルインクの方向を推定するためには、手書きモデルを利用できる必要がある。本発明の手法は、トレーニングを必要としない、書き手に依存しない少数のモデル（例：左利きの書き手用の１つのモデルと、右利きの書き手用のもう１つのモデル）を用いて機能するが、書き手から入力されるサンプルを使用してトレーニングされる、書き手に依存するモデルを使用すると、より正確な結果が達成される。これを目的として、一貫性のある適切に定義されているベースラインを使用して書かれたデジタルインクデータを使用して、システムをトレーニングする。このデータは、通常の入力（例えば、水平に書くように制約されているフォーム入力データ）から、又は、個別のトレーニング手順から導くことができる。次いで、図２に示すように、トレーニングデータを使用して書き手用のモデルを生成する。

これに代えて、代替の方向推定手法を使用してデータをトレースし、その結果から、書き手に依存するモデルを生成することによって、任意の手書き入力を使用して（すなわち明示的なトレーニングデータなしで）トレーニングを行うことができる。トレーニングデータは大規模なものである必要はないため（数個の文字で十分であるため）、データをトレースする手法を用いることは、データに比べ相対的に非常に高価なものとなる（多くのプロセッサ処理を必要とする）ことがある。なぜなら、この手法は、インクの小さなセグメントに対し、たった一度実行されるのみであるためである。更には、トレーニング手順に必要なことは、たった一回の正しい方向推定のみであるため、ある状況によっては機能しないようなアルゴリズムであっても使用してもよい。

モデルが生成されると、そのモデルを使用してラインのセグメント化と方向の推定及び正規化を行うことができる。ラインのセグメント化を実行するときには、方位角値の大きな変化（例えば、書き手に固有なモデルによって与えられる予測される変動よりも大きな値）は、方向が前のラインとは異なる、テキストの新しいラインの始まりを示す。方向を正規化する目的で、モデルを使用してラインセグメントのテキスト方向の推定を生成することができ、次いで、この推定を使用してベースラインの正規化を実行する。

例として、図３は、デジタルインクの「ｈｅｌｌｏ ｗｏｒｌｄ」という手書き文字群の測定された方位角ベクトルを示している。ベクトルは、インクの生成時のペンの方向を表しており、書いているときのページに対するペンの角度がなめらかに変化していることが図からわかる。この例では、デジタルインクの方向を推定する目的で、単純な平均方位角モデルを使用し、このモデルには、一連のトレーニングデータ（同じ書き手が書いた１本の水平なテキストライン）における方位角値の平均が計算、格納されている。

この式において、ａ_ｉは、サンプルｉにおける方位角の測定値（単位：度）であり、ｎはデジタルインクにおけるサンプルの数である。

平均値は、書き手が筆記時にページに対してペンを保持する通常の方位角を表している。各サンプルポイントにおける方向を推定する目的で、図３に示したデジタルインクの例の方位角値から平均値を減じ、結果が０゜〜３６０゜の範囲内となるように結果を正規化した。

この式において、ａ_ｉは、サンプルｉにおける方位角の測定値（単位：度）であり、

は、（以前に計算した）書き手の平均方位角値である。

トレーニングデータから導いた平均方位角値は、約１３０゜であった。この値を、図３に示した方位角の測定値のそれぞれから減じることにより、図４に示した正規化された方向推定値が得られる。図４からわかるように、推定された方向ベクトルは、デジタルインクの経路上の各ポイントにおける、テキスト「ｈｅｌｌｏ ｗｏｒｌｄ」の曲線状ベースラインの方向を良好に示している。次いで、これらの方向ベクトルを使用して、デジタルインクのラインの方向を正規化することができる。

インクのベースラインの方向が推定されると、デジタルインクのラインの方向を正規化するいくつかの手法を使用することができる。直線のベースラインのもとで書かれたテキストの場合、１つの単純な方法は、デジタルインクのセグメントにおけるサンプルの平均推定方向を見つけ、その方向に対抗する（ｃｏｕｎｔｅｒ）ようにインクを回転させることである。より高度な手法としては、方向の平滑化連続推定（ｓｍｏｏｔｈｅｄ ｒｕｎｎｉｎｇ ｅｓｔｉｍａｔｅ ｏｆ ｔｈｅ ｏｒｉｅｎｔａｔｉｏｎ）を使用する方法や、推定方向ベクトルに曲線（例：スプライン）を当てはめて、推定ベースラインが水平且つ直線であるようにデジタルインクのセグメントを曲げる手法がある。

上記では、筆記デバイスの方位角を使用してデジタルインクの方向を推定し、その測定値を使用して方向の正規化及びラインのセグメント化を実行する、一例としての具体的な方法（ただしこれに限定されない）の実例を示した。

本発明の更なる具体的な実施形態は、ペンベースの処理システムを使用して実現することができ、その一例を図５に示してある。処理システム１０は、一般的には、バス１５によって一緒に結合されている、少なくとも１つのプロセッサ１１と、メモリ１２と、ペンベースの入力デバイス１３と、出力デバイス１４とを含んでいる。データベース１８を格納しているストレージデバイス１７を処理システム１０に結合する目的で、外部インタフェース１６を設けることもできる。メモリ１２は、任意の形式のメモリデバイスとすることができ、例えば、揮発性メモリ又は不揮発性メモリ、ソリッドステートストレージデバイス、磁気デバイスなどである。出力デバイス１４は、例えば、ディスプレイデバイス、モニター、プリンタなどを含んでいることができる。ストレージデバイス１７は、任意の形式のストレージ手段とすることができ、例えば、揮発性メモリ又は不揮発性メモリ、ソリッドステートストレージデバイス、磁気デバイスなどである。

使用時、処理システム１０は、メモリ１２若しくはデータベース１７、又はその両方にデータ又は情報を格納することができるように、若しくは、メモリ１２若しくはデータベース１７、又はその両方からデータ又は情報を取り出すことができるように、又は格納及び取り出しの両方が可能であるように、されている。プロセッサ１１は、入力デバイス１３を通じて命令を受信し、結果を出力デバイス１４を通じてユーザ（又はペン入力デバイス１３を使用している書き手）に表示することができる。なお、処理システム１０は、任意の形式の処理システム、コンピュータ端末、サーバー、専用ハードウェア、などとすることができることを理解すべきである。

従って、本発明によると、ペンベースのコンピューティングシステムを使用して生成されるデジタルインクのセグメントの方向を推定する方法及びシステムが提供される。

本発明は、広義には、本文書において２つ以上の部品、要素、又は特徴の一部又はすべての組み合わせとして個別に又は一括して言及若しくは示してあり、且つ本文書において特定の整数を示した、部品、要素、及び特徴に存する、と言うこともできる。これらは、本発明が関連する分野における公知の同等物を持ち、そのような公知の同等物は、あたかも個々に記載してあるかのように本文書に組み込まれているものとみなされる。

好ましい実施形態を詳細に説明したが、本発明には、この分野における通常の技術を有する者が本発明の範囲から逸脱することなく様々な変更、置き換え、及び改変を行うことができることを理解されたい。

左利きの書き手と右利きの書き手の場合について、方位角の測定値の平均（太字）、最小、最大、及び標準偏差（点線）を示す図である。 トレーニング及び正規化の手順を示す図である。 書き手がデジタルインクのセグメントを生成している間に、あるサンプリングレートにて測定されたペンの方位角ベクトルを示す図である。 手書きモデルを適用した後の、図３に示したデジタルインクのセグメントの推定方向を示す図である。 ペンベースのコンピューティングシステムを示す図である。

Claims (13)

1. デジタルインクのセグメントの方向を推定する方法であって、
   （１）表面上に印刷された複数のタグであって、各タグは前記表面上における当該タグの位置に関するデータと前記表面上のデジタル記述に関連付けられた表面識別子に関するデータとを符号化する当該複数のタグ、
   に関連する、前記光学的イメージングペンの方位角、を測定するステップであって、
   前記光学的イメージングペンが前記タグにより符号化されたデータと前記デジタル記述とを関連付けることによって前記デジタルインクの前記セグメントを生成している間に、あるサンプリングレートにて、前記タグにより符号化されたデータを用いて前記光学的イメージングペンの前記方位角を測定するステップと、
   （２）サンプリングポイントにおける前記光学的イメージングペンの前記測定された方位角を使用して、前記デジタルインクの前記セグメントの前記方向を推定するステップと、
   を含んでいる、方法。
2. デジタルインクの前記セグメントの前記推定された方向は、その後に、デジタルインクライン方向正規化手法において使用される、請求項１に記載の方法。
3. デジタルインクの１ラインに対して１つの決められた方向推定が用いられる、請求項１に記載の方法。
4. デジタルインクのライン内で変化する方向推定が利用される、請求項１に記載の方法。
5. ステップ（２）において、サンプリングポイントにおける前記光学的イメージングペンの前記方向が、
   前記サンプリングポイントにおける前記測定された方位角からデジタルインクのトレーニングサンプルの平均方位角を減じ、前記推定方向を０゜〜３６０゜の範囲内となるように正規化することによって、推定される、請求項１に記載の方法。
6. デジタルインクの前記セグメントが、デジタルインクの複数の文字である、請求項１に記載の方法。
7. デジタルインクの前記セグメントが、ラインセグメントである、請求項１に記載の方法。
8. ラインのセグメント化が、方位角の値の変化を測定することによって実行される、請求項６に記載の方法。
9. 前記方向推定において、書き手に依存しない手書きモデルが用いられる、請求項１に記載の方法。
10. 前記方向推定において、書き手によって入力されるサンプルデジタルインクを使用してトレーニングされた、書き手に依存する手書きモデルが用いられる、請求項１に記載の方法。
11. 前記書き手に依存する手書きモデルが、一貫性のあるベースラインを使用して前記書き手によって入力されたサンプルデジタルインクを使用して、トレーニングされる、請求項１０に記載の方法。
12. 前記書き手に依存する手書きモデルが、前記書き手によって入力された任意のサンプルデジタルインクを使用して、トレーニングされる、請求項１０に記載の方法。
13. 前記デジタルインクライン方向正規化手法が、
    方向補正の平滑化連続推定と、
    曲線当てはめによる推定方向の補正と、
    から選択される、請求項２に記載の方法。

Images