JPWO2014147712A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2014147712A1
JPWO2014147712A1 JP2013544613A JP2013544613A JPWO2014147712A1 JP WO2014147712 A1 JPWO2014147712 A1 JP WO2014147712A1 JP 2013544613 A JP2013544613 A JP 2013544613A JP 2013544613 A JP2013544613 A JP 2013544613A JP WO2014147712 A1 JPWO2014147712 A1 JP WO2014147712A1
Authority
JP
Japan
Prior art keywords
stroke
handwritten
stroke data
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013544613A
Other languages
English (en)
Inventor
千加志 杉浦
千加志 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JPWO2014147712A1 publication Critical patent/JPWO2014147712A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

実施形態によれば、情報処理装置は入力手段と、訂正手段とを具備する。入力手段は、ストロークデータを入力する。訂正手段は、第1ストロークデータと、第1ストロークデータの入力後に入力された第2ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第2ストロークデータに基づいて前記第1ストロークデータを訂正する。

Description

本発明の実施形態は手書き文書の処理に関する。
近年、タブレット、PDA、スマートフォンといった種々の情報処理装置が開発されている。この種の情報処理装置の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を情報処理装置に指示することができる。ユーザは、例えば、ペンまたは指によってタッチスクリーンディスプレイ上に文書を手書き入力可能である。
しかし、タッチスクリーンディスプレイを備える既存の情報処理装置の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などの文書情報を処理する必要があるビジネスシーンにおける利用については必ずしも適していない場合がある。文字入力に関しては、ハードウェアキーボードを用いる操作の方が手書き入力に優る。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
特開2004-46325号公報 特開平9-34998号公報
手書き入力可能な従来の情報処理装置は文書の手書き入力の操作性が優れているとは言えなかったという課題があった。
本発明の一形態の目的は、文字、数字、記号等を容易に修正することができる文書手書き入力機能を備えた情報処理装置、情報処理方法及びプログラムを提供することである。
実施形態によれば、情報処理装置は、入力手段と、訂正手段とを具備する。入力手段は、ストロークデータを入力する。訂正手段は、第1ストロークデータと、第1ストロークデータの入力後に入力された第2ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第2ストロークデータに基づいて前記第1ストロークデータを訂正する。
図1は実施形態に係る情報処理装置の外観の一例を示す斜視図。 図2は実施形態の情報処理装置のタッチスクリーンディスプレイ上の手書き文書の例を示す図。 図3は図2の手書き文書に対応するストロークデータ(手書きページデータ)を説明するための図。 図4は実施形態の情報処理装置のシステム構成の一例を示すブロック図。 図5は実施形態の情報処理装置によって実行される手書きノートアプリケーションプログラムの機能構成の一例を示すブロック図。 図6は実施形態の情報処理装置によって実行される手書き入力処理の一例の流れを示す図。 図7は図6の文書き入力処理の中の前処理と文字認識処理の詳細の一例を示す図。 図8Aは上書き訂正の一例の包含状態のストロークの一例を示す図。 図8Bは上書き訂正の一例の包含状態のストロークの他の一例を示す図。 図8Cは上書き訂正の一例の包含状態のストロークの別の一例を示す図。 図8Dは上書き訂正の一例の包含状態のストロークのさらに他の一例を示す図。 図9Aはストロークの包含状態の判定の原理を示す図。 図9Bはストロークの包含状態の判定の原理を示す図。 図9Cはストロークの包含状態の判定の原理を示す図。 図9Dはストロークの包含状態の判定の原理を示す図。 図10Aは上書き訂正の一例の繰り返しストロークの一例を示す図。 図10Bは上書き訂正の一例の繰り返しストロークの他の一例を示す図。 図10Cは上書き訂正の一例の繰り返しストロークの別の一例を示す図。 図11Aは上書き訂正の一例の連結状態のストロークの一例を示す図。 図11Bは上書き訂正の一例の連結状態のストロークの他の一例を示す図。 図11Cは上書き訂正の一例の連結状態のストロークの別の一例を示す図。 図11Dは上書き訂正の一例の連結状態のストロークのさらに他の一例を示す図。 図11Eは上書き訂正の一例の連結状態のストロークのさらに別の一例を示す図。
発明形態
図1は、一実施形態に係る情報処理装置の外観の一例を示す斜視図である。この情報処理装置は、例えば、ペンまたは指によって文書を手書き入力可能な入力部を有するペン・ベースの携帯型情報処理装置である。この情報処理装置は、入力部に手書きされた文書をビットマップ画像データとしてではなく、文書を構成する文字、数字、記号、図形等の記号や、図形の手書き軌跡のサンプリング点の座標の時系列を示す1以上のストロークデータとして記憶し、ストロークデータに基づいて手書き文書を検索することができる(検索処理はサーバシステム2側で行ない、検索結果を情報処理装置で表示するだけでもよい)。さらに、この情報処理装置は、入力されたストロークデータグループ(1つの文字、数字、記号領域に対応するストロークデータ)に対して文字認識処理を行ない(認識処理もサーバシステム2側で行ってもよい)、手書き文書を文字コードからなるテキストとしても記憶し、テキストに基づいて手書き文書を検索することもできる。また、ストロークデータに基づく文字認識の代わりに、入力ストロークデータグループをビットマップ画像化して文字認識を行うOCR処理をしても良い。
この情報処理装置は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、説明の便宜上、この情報処理装置がタブレットコンピュータ10として実現されている場合を説明する。タブレットコンピュータ10は、タブレットまたはスレートコンピュータとも称される携帯型情報処理装置であり、本体11と、文書の手書き入力を可能とするタッチスクリーンディスプレイ17とを備える。
本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を説明する。
デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。タッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作のみならず、専用のペン100を使用した画面に対するタッチ操作も検出することができる。ペン100は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト(ペン100又は指)を使用してタッチスクリーンディスプレイ17上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト(ペン100又は指)の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が1ストロークに相当する。手書きされたストロークの集合である文字、数字、記号等の記号、または図形等の集合が手書き文書を構成する。
手書き文書は、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に記憶される。この時系列情報の詳細は、図2、図3を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
タブレットコンピュータ10は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ10は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。さらに、この編集機能は、表示中の手書き文書に、任意の手書き文字または手書き記号などを追加することができる。
本実施形態では、時系列情報(手書き文書)は、1つまたは複数のページとして管理されうる。この場合、時系列情報を1つの画面に収まる面積単位で区切ることによって、1つの画面に収まる時系列情報のまとまりを1つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは1つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。1つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。
このように、時系列情報はページデータとして管理することができるので、以下では、時系列情報を手書きページデータあるいは単に手書きデータとも称する。
タブレットコンピュータ10は、ネットワーク通信機能を有しており、他のパーソナルコンピュータやインターネット上のサーバシステム2などと連携することができる。すなわち、タブレットコンピュータ10は、無線LANなどの無線通信デバイスを備えており、他のパーソナルコンピュータとの無線通信を実行することができる。さらに、タブレットコンピュータ10は、インターネット上のサーバシステム2との通信を実行することもできる。サーバシステム2は様々な情報を共有するためのシステムであり、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行する。サーバシステム2は1以上のサーバコンピュータから実現し得る。
サーバシステム2はハードディスクドライブ(HDD)のような大容量の記憶媒体を備えている。タブレットコンピュータ10は、時系列情報(手書きページデータ)をネットワーク越しにサーバシステム2に送信して、サーバシステム2の記憶媒体に格納することができる(アップロード)。タブレットコンピュータ10とサーバシステム2との間のセキュアな通信を確保するために、通信開始時には、サーバシステム2がタブレットコンピュータ10を認証するようにしてもよい。この場合、タブレットコンピュータ10の画面上にユーザに対してIDまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ10のIDなどを自動的にタブレットコンピュータ10からサーバシステム2に送信してもよい。
これにより、タブレットコンピュータ10内のストレージの容量が少ない場合でも、タブレットコンピュータ10が多数の時系列情報(手書きページデータ)あるいは大容量の時系列情報(手書きページデータ)を扱うことが可能となる。
さらに、タブレットコンピュータ10は、サーバシステム2の記憶媒体に格納されている任意の1以上の時系列情報(手書きページデータ)を読み出し(ダウンロード)、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ10のディスプレイ17の画面に表示することができる。この場合、複数の時系列情報(手書きページデータ)それぞれのページを縮小することによって得られるサムネイル(サムネイル画像)の一覧をディスプレイ17の画面上に表示してもよいし、これらサムネイルから選ばれた1ページをディスプレイ17の画面上に通常サイズで表示してもよい。
このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ10内のストレージ、サーバシステム2内のストレージのいずれであってもよい。タブレットコンピュータ10のユーザは、任意の時系列情報を、タブレットコンピュータ10内のストレージおよびサーバシステム2内のストレージから選択される任意のストレージに格納することができる。
次に、図2および図3を参照して、ユーザによって手書きされたストローク(文字、数字、記号等の記号や、図形、表など)と時系列情報との関係について説明する。図2は、ペン100などを使用してタッチスクリーンディスプレイ17上に手書きされる手書き文書(手書き文字列)の例を示している。
手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図2においては、「ABC」の手書き文字列が「A」、「B」、「C」の順番で手書きされ、この後に、手書き記号「↓」が、手書き文字「A」のすぐ近くに手書きされている。
手書き文字「A」は、ペン100などを使用して手書きされる2つのストローク(「∧」形状の軌跡、「−」形状の軌跡)によって、つまり2つの軌跡によって表現される。最初に手書きされる「∧」形状のペン100の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標SD11、SD12、…SD1nが得られる。同様に、次に手書きされる「−」形状のペン100の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標を示すSD21、SD21、…SD2nが得られる。
手書き文字「B」は、ペン100などを使用して手書きされた2つのストローク、つまり2つの軌跡によって表現される。手書き文字「C」は、ペン100などを使用して手書きされた手書きされた1つのストローク、つまり1つの軌跡によって表現される。手書きの「矢印」は、ペン100などを使用して手書きされた手書きされた2つのストローク、つまり2つの軌跡によって表現される。
図3は、図2の手書き文書に対応する時系列情報(手書きページデータ)200を示している。時系列情報は、複数のストロークデータSD1、SD2、…、SD7を含む。時系列情報200内においては、これらストロークデータSD1、SD2、…、SD7は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。
時系列情報200において、先頭の2つのストロークデータSD1、SD2は、手書き文字「A」を構成する2つのストロークをそれぞれ示している。3番目と4番目のストロークデータSD3、SD4は、手書き文字「B」を構成する2つのストロークをそれぞれ示している。5番目のストロークデータSD5は、手書き文字「C」を構成する1つのストロークを示している。6番目と7番目のストロークデータSD6、SD7は、手書き記号「矢印」を構成する2つのストロークをそれぞれ示している。
各ストロークデータは、一つのストロークに対応する座標データ系列(時系列座標)、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「A」に関しては、ストロークデータSD1は、手書き文字「A」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)、つまりn個の座標データSD11、SD12、…SD1nを含む。ストロークデータSD2は、手書き文字「A」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりn個の座標データSD21、SD22、…SD2nを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。外部オブジェクトが画面に接触されている期間中、一定の周期で座標データをサンプリングするので、座標データの数はストロークの長さに依存する。
各座標データは、対応する軌跡内のある1点に対応するX座標およびY座標を示す。例えば、座標データSD11は、「∧」形状のストロークの始点のX座標(X11)およびY座標(Y11)を示す。SD1nは、「∧」形状のストロークの終点のX座標(X1n)およびY座標(Y1n)を示す。
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Tを含んでいてもよい。手書きされた時点は、絶対時間(例えば、年月日時分秒)またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間(例えば、年月日時分秒)をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Tとして付加してもよい。
このように、各座標データにタイムスタンプ情報Tが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。このため、1文字を構成する1つまたは複数のストロークデータからなるグループを文字認識する際の精度も向上しうる。
さらに、各座標データには、筆圧を示す情報(Z)を追加してもよい。グループを文字認識する精度は筆圧も考慮すると、さらに向上しうる。
図3で説明したような構造を有する時系列情報200は、個々のストロークの軌跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、時系列情報200を使用することにより、図2に示すようにたとえ手書き記号「↓」の先端部が手書き文字「A」上に重ねてまたは手書き文字「A」に近接して書かれたとしても、手書き文字「A」と手書き記号「↓」の先端部とを異なる文字または図形として扱うことが可能となる。
なお、ストロークデータSD1のタイムスタンプ情報としては、ストロークデータSD1の内の複数の座標それぞれに対応する複数のタイムスタンプ情報T11からT1nから選択される任意の一つを、あるいはタイムスタンプ情報T11からT1nの平均値などを使用してもよい。同様に、ストロークデータSD2のタイムスタンプ情報としては、ストロークデータSD2の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報T21からT2nから選択される任意の一つを、あるいはタイムスタンプ情報T21からT2nの平均値などを使用してもよい。同様に、ストロークデータSD7のタイムスタンプ情報としては、ストロークデータSD7の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報T71からT7nから選択される任意の一つを、あるいはタイムスタンプ情報T71からT7nの平均値などを使用してもよい。
本実施形態の時系列情報200においては、上述したように、ストロークデータSD1、SD2、…、SD7の並びは手書き文字の筆順を示す。例えば、ストロークデータSD1およびSD2の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ2つの手書き文字の筆跡同士が互いに類似していても、それら2つの手書き文字の筆順が互いに異なる場合には、それら2つの手書き文字を異なる文字として区別することができる。
さらに、本実施形態では、上述したように、手書き文書は複数のストロークに対応する複数のストロークデータの集合から構成される時系列情報200として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報200の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
図4は、タブレットコンピュータ10のシステム構成を示す図である。
タブレットコンピュータ10は、図4に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ105、BIOS−ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
CPU101は、タブレットコンピュータ10内の各種モジュールの動作を制御するプロセッサである。CPU101は、ストレージデバイスである不揮発性メモリ106から主メモリ103にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム(OS)201、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム202が含まれている。手書きノートアプリケーションプログラム202は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、筆跡(ストローク)検索機能、文字認識機能等を有している。
CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ102は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。グラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。LCD17A上にはタッチパネル17Bおよびデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン100が接触される画面上の接触位置および接触位置の動き等はデジタイザ17Cによって検出される。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
次に、図5を参照して、手書きノートアプリケーションプログラム202の機能構成について説明する。
手書きノートアプリケーションプログラム202は、ペン軌跡表示処理部301、時系列情報生成部302、編集処理部303、ページ保存処理部304、ページ取得処理部305、手書き文書表示処理部306、処理対象ブロック選択部307、及び処理部308等を備える。
手書きノートアプリケーションプログラム202は、タッチスクリーンディスプレイ17を用いて入力されるストロークデータを使用することによって、手書きページデータの作成、表示、編集、文字認識等を行う。タッチスクリーンディスプレイ17は、「タッチ」、「移動(スライド)」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動(スライド)」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
ペン軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17によって発生される「タッチ」または「移動(スライド)」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動(スライド)」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17から、接触位置の動きの軌跡に対応する座標列を受信することができる。
ペン軌跡表示処理部301は、タッチスクリーンディスプレイ17から座標列を受信し、この座標列に基づいて、ペン100等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ17内のLCD17Aの画面上に表示する。ペン軌跡表示処理部301により、画面にペン100が接触している間のペン100の軌跡、つまり各ストロークの軌跡がLCD17Aの画面上に描かれる。
時系列情報生成部302は、タッチスクリーンディスプレイ17から出力される上述の座標列を受信し、この座標列に基づいて、図3で詳述したような構造を有する上述の時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ401に一時保存してもよい。
ページ保存処理部304は、生成された時系列情報を手書きページデータとして記憶媒体402に保存する。記憶媒体402は手書きページデータを格納するためのローカルなデータベースである。なお、記憶媒体402はサーバシステム2内に設けても良い。
ページ取得処理部305は、記憶媒体402から既に格納されている任意の時系列情報(手書きページデータ)を読み出す。読み出された時系列情報は手書き文書表示処理部306及び認識処理部310に送られる。手書き文書表示処理部306は、時系列情報を解析し、この解析結果に基づいて、時系列情報内の各ストロークデータによって示される各ストロークの軌跡である筆跡を画面上に手書きページとして表示する。
編集処理部303は現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部303は、タッチスクリーンディスプレイ17上でユーザによって行われる編集操作および手書き入力操作に応じて、現在表示中の手書きページに新たなストローク(新たな手書き文字、新たな手書き記号等)を追加する処理、表示されている複数のストローク内の1以上のストロークを削除または移動する処理等を含む編集処理を実行する。さらに、編集処理部303は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。
ユーザは、「消しゴム」ツール等を使用して、表示されている複数のストローク内の任意のストロークを削除することができる。ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示中の時系列情報(手書きページ)内の任意の部分を範囲していることができる。この範囲指定操作によって指定される画面上の指定範囲に応じて、処理対象の時系列情報部分、つまり処理対象のストロークデータ群が処理対象ブロック選択部307によって選択される。すなわち、処理対象ブロック選択部307は、表示中の時系列情報を使用して、指定範囲内に属するストロークそれぞれに対応する第1のストロークデータ群の中から、処理対象の時系列情報部分を選択する。
例えば、処理対象ブロック選択部307は、表示中の時系列情報から、指定範囲内に属するストロークそれぞれに対応する第1のストロークデータ群を抽出し、この第1のストロークデータ群内の他のストロークデータと不連続である第2のストロークデータを除く、第1のストロークデータ群内の個々のストロークデータを処理対象の時系列情報部分に決定する。
編集処理部303は、ユーザによって編集メニューから「削除」または「移動」等のメニューが選択された場合、処理対象ブロック選択部307によって選択されているストロークデータ群に対する削除、移動等の処理を実行する。この場合、複数のストロークデータが処理対象のストロークデータ群として選択されている場合には、編集処理部303は、これら複数のストロークデータをまとめて画面上から削除または画面上に別の位置に移動することができる。時系列情報においては、移動された各ストロークデータの時系列座標は、移動先位置に応じて自動的に変更してもよい。移動された各ストロークデータの時系列座標を変更したことを表す操作履歴を時系列情報に追加してもよい。削除された各ストロークデータも、時系列座標から必ずしも削除しなくてもよく、これら各ストロークデータを削除したことを表す操作履歴を時系列情報に追加してもよい。
なお、一度入力した手書き文字を訂正する場合、上述したように文字を一旦削除してから正しい文字を再入力することが考えられるが、紙にメモする場合は、一々消しゴムで文字を消さずに訂正前の文字に訂正後の文字を上書きするだけの場合もある。本実施形態は、このような上書きによる手書き文字の訂正(文字を削除することなく)の場合であっても、文字認識処理が適切に行われるように構成されている。2つのストロークがオーバーラップしている場合、人間が見れば、どちらのストロークが訂正前・訂正後であるのか容易に判別できる。しかし、文字認識処理部は、2つのストロークがオーバーラップしている場合、どちらのストロークが訂正後であるのか判別できない。そのため、本実施形態は、2つのストロークのオーバーラップ状態の状況を識別してユーザの意図を類推し、いずれかのストロークを有効とし、他のストロークを無効としてから文字認識処理を行うものである。
処理部308は、処理対象の時系列情報に対して様々な処理、例えば、筆跡検索処理、文字認識処理等を実行することができる。処理部308は、検索処理部309、認識処理部310を備える。
検索処理部309は、記憶媒体402内に既に格納されている複数の時系列情報(複数の手書きページ)を検索してこれら複数の時系列情報内の特定の時系列情報部分(特定の手書き文字列等)を見つけ出す。検索処理部309は、特定の時系列情報部分を検索キーつまり検索クエリとして指定するように構成された指定モジュールを含んでいる。検索処理部309は、複数の時系列情報の各々から、特定の時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークの軌跡を有する時系列情報部分を見つけ出し、見つけ出された時系列情報部分を含む手書きページデータを記憶媒体402から読み出し、見つけ出された時系列情報部分に対応する軌跡が視認可能なように手書きページデータをLCD17Aの画面上に表示する。
検索クエリとして指定される特定の時系列情報部分は、特定の手書き文字、特定の手書き文字列、特定の手書き記号、特定の手書き図形等が使用しうる。例えば、タッチスクリーンディスプレイ17上に手書きされる手書きオブジェクト(手書き文字、手書き記号、手書き図形)を構成する1以上のストロークそのものを検索キーとして使用することができる。
検索処理部309によって実行される検索処理は筆跡検索であり、すでに記録されている複数の手書きページの中から、検索クエリである特定の手書き文字列と類似する筆跡を有する手書き文字列を検索する。なお、現在表示中のある一つの手書きページのみを対象に筆跡検索を行ってもよい。
検索処理部309は、検索キーである1以上のストロークの特徴と類似する特徴を有するストロークを含む手書きページを記憶媒体402から検索する。各ストロークの特徴としては、筆画方向、形状、傾斜、等を使用し得る。この場合、検索キーである手書き文字のストロークとの類似度が基準値以上である手書き文字を含む手書きページデータ(ヒット手書きページ)が記憶媒体402から検索される。手書き文字間の類似度の計算方法としては、様々な方法を使用することができる。例えば各ストロークの座標列をベクトルとして扱ってもよい。この場合、比較対象のベクトル同士の類似度を計算するために、それら比較対象のベクトル間の内積を比較対象のベクトル間の類似度として算出してもよい。他の例としては、各ストロークの軌跡を画像として扱い、比較対象の軌跡間の画像の重なりがもっとも多くなる部分の面積の大きさを上述の類似度として計算してもよい。さらに計算処理量を減らすための任意の工夫をしてもよい。手書き文字間の類似度の計算方法として、DP(Dynamic Programming)マッチングを使用してもよい。
このように、文字列を示すコード群ではなく、ストロークデータが検索キーとして使用されるので、言語に依存しない検索を行うことができる。
なお、検索処理は、記憶媒体402内の手書きページデータ群に対してのみならず、サーバシステム2の記憶媒体に格納されている手書きページデータ群に対しても行うことができる。この場合、検索処理部309は、検索キーとして使用すべき1以上のストロークに対応する1以上のストロークデータを含む検索要求をサーバシステム2に送信する。サーバシステム2は、1以上のストロークデータの特徴と類似する特徴を有する手書きページデータ(ヒット手書きページ)を記憶媒体402から検索し、このヒット手書きページをタブレットコンピュータ10に送信する。
検索処理部309内の上述の指定モジュールは、検索対象とすべき文字列または図形を手書きするための検索キー入力領域を画面上に表示してもよい。ユーザによって検索キー入力領域に手書きされた文字列等が検索クエリとして使用される。
あるいは、指定モジュールとして、上述の処理対象ブロック選択部307を使用してもよい。この場合、処理対象ブロック選択部307は、ユーザによって行われる範囲指定操作に応じて、表示中の時系列情報内の特定の時系列情報部分を、検索対象とすべき文字列または図形として選択することができる。ユーザは、表示中のページ内の一部の文字列を囲むように範囲指定してもよいし、表示中のページの余白などに検索クエリ用の文字列を新たに手書きし、この検索クエリ用の文字列を囲むように範囲指定してもよい。
例えば、ユーザは、表示中のページ内の一部を手書きの丸で囲むことによって範囲指定することができる。あるいは、ユーザは、あらかじめ用意されているメニューを用いて手書きノートアプリケーションプログラム202を「選択」モードに設定し、この後、表示中のページ内の一部をペン100でなぞってもよい。
このように、本実施形態では、既に記録されている複数の手書きページから、検索クエリとして選択されたある手書き文字の特徴に類似する手書き文字を検索することができる。よって、過去に作成および保存した多数の手書きページから、ユーザの意図に合った手書きページを簡単に検索することができる。
本実施形態の筆跡検索においては、テキスト検索の場合とは異なり、文字認識を行う必要が無い。したがって、言語に依存しないため、あらゆる言語で手書きされた手書きページを検索対象とすることができる。さらに、図形等を筆跡検索のための検索クエリとして使用することもでき、また言語以外の記号、記号等を筆跡検索のための検索クエリとして使用することもできる。
認識処理部310は、表示中の時系列情報(手書きページ)に対して文字認識を実行する。認識処理部310は、認識処理対象の文字、数字、記号等に対応する1つまたは複数のストロークデータ(ストロークデータグループ)と、各文字、数字、記号等の辞書ストロークデータ(ストロークデータグループ)とのマッチングを行い、手書き文字、数字、記号等それぞれを文字コードに変換する。辞書ストロークデータとは、各文字、数字、記号等と1以上のストロークデータとの対応関係を示す情報であればどのようなものであっても良く、例えば、各文字、数字、記号等の識別情報と、それらに対応付けられた1以上のストロークデータである。グループ化では、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の時系列情報によって示される1以上複数のストロークデータがグループ化される。なお、時系列情報には筆跡(ビットマップ画像)以外にも筆順、タイムスタンプ情報、場合によっては筆圧情報も含まれているので、これらを利用することにより、認識の精度を高めることができる。
このように、時系列情報から各文字に対応するグループ毎の文字コードが得られる。グループの配置に基づいて文字コードを配列すると、1ページの手書きページデータのテキストデータが得られ、両者は関連付けられて、記憶媒体402に保存される。
以下、実施形態の具体的な作用例を説明する。先ず、図6のフローチャートを参照して、手書きノートアプリケーションプログラム202によって実行される手書きページ作成処理の手順の一例について説明する。
ユーザがペン100を使用して手書き入力操作を行うと(ブロック102)、「タッチ」や「移動」のイベントが発生される。これらイベントに基づいて、手書きノートアプリケーションプログラム202は、ペン100の動きの軌跡を検出する(ブロック104)。ペン100の動きの軌跡を検出したならば(ブロック104のYES)、手書きノートアプリケーションプログラム202は、検出されたペン100の動きの軌跡をディスプレイに表示する(ブロック106)。さらに、手書きノートアプリケーションプログラム202は、検出されたペン100の動きの軌跡に対応する座標列に基づいて図3に示すような上述の時系列情報を生成し、その時系列情報を手書きページ情報として作業メモリ401に一時保存する(ブロック108)。
ユーザはこの表示されている軌跡を見て、手書きした文字の訂正の必要を感じた場合は、上書きにより訂正する(ブロック110)。勿論、文字を消しゴムで一旦削除してから、正しい文字を再入力することも可能であるが、この訂正方法は周知であるので、説明は省略する。本実施形態は、ストロークデータを上書きにより訂正する場合の文字認識を説明する。ブロック110で上書きされている場合は、複数のストロークがオーバーラップした状態の時系列情報となり、このままでは文字認識できない。
ブロック112で文字認識の開始が指示されたか否か判定する。例えば、LCD17Aの画面端部に表示されるメニューボタンの中の認識ボタンがタッチされると、文字認識の開始が指示される。文字認識の開始が検出されると、ブロック114で前処理が行われ、ブロック116で文字認識処理が行なわれる。前処理は、オーバーラップした状態の複数のストロークのいずれかを有効とし、他を無効とし、オーバーラップ状態を解消して文字認識処理に供するためのものである。
図7は、図6の前処理(ブロック114)と文字認識(ブロック116)の詳細の一例を示す。
ブロック132で、ストロークのオーバーラップ(一部でも)があるか否か判定される。なお、この判定は、文字認識の開始が指示されてから実行されるのではなく、図6の手書き入力操作中にバックグラウンドで実行されていてもよい。ストロークのオーバーラップは、2つのストロークデータに同じ座標データが含まれるか否か、すなわち2つのストロークの軌跡に同じ点が含まれるか否かによる判定することができる。なお、厳密に同じ位置ではなく、2つのストロークデータの座標データがある程度の許容範囲内に位置するか否かでオーバーラップを判定する。
一部でもオーバーラップしている2つのストロークが検出されると、オーバーラップの種々の状態の識別が行われる。ここでは、包含状態、連結状態、繰り返しオーバーラップのいずれかが識別される。
先ず、ブロック134で、2つのストロークのオーバーラップ状態が包含状態(一方の少なくとも一部が他方の一部を完全に含んでいる状態)であるか否か判定される。
包含状態の一例を図8A〜図8Dに示す。図8A、図8Bは“5”が手書きされた後“6”が上書きされる例を示す。“6”のストロークの一部は“5”のストロークの一部に重なっているため、“6”のストローク(包含ストローク)が“5”のストローク(被包含ストローク)を包含する。図8C、図8Dは“i”が手書きされた後“l(エル)”が上書きされる例を示す。“l”のストロークの一部は“i”のストロークの一部に重なっているため、“l”のストローク(包含ストローク)が“i”のストローク(被包含ストローク)を包含する。
包含状態か否かは、先ず、一方のストロークを構成する座標データにより表わされる点を中心とする円を描き、隣り合う2つの円の接線と円弧で囲まれる領域を各点について順次定義し、この領域が他方のストロークを完全に含むか否かに基づいて判定することができる。例えば、図9A、図9Bに示すように、y座標がほぼ同じ位置に長短の2つのストロークがあるとする。図9Cに示すように、図9Aの短いストロークの3つの座標データに関する円の接線と円弧で囲まれる領域は図9Bの長いストロークを完全には含まないので、図9Aのストロークは図9Bのストロークを包含しないと判定される。一方、図9Dに示すように、図9Bの長いストロークの5つの座標データに関する円の接線と円弧で囲まれる領域は図9Aの短いストロークを完全に含むので、図9Bのストロークは図9Aのストロークを包含すると判定される。包含状態か否かを判断する方法は、上記の一例に限られず、一方のストロークが、他方のストロークを概ね包含すると推定可能な任意の手法とすることができる。
ブロック136で、包含ストロークが被包含ストロークより時間的に後に書かれたか否か判定する。図8A〜図8Dの例では、包含ストロークが時間的に後に書かれたので、ユーザは被包含ストロークを取り消して包含ストロークを書き直したかった意図があったと判定できる。しかし、図9Bの包含ストロークを書いた後に図9Aの被包含ストロークを上書きして、包含ストロークを被包含ストロークにより訂正する場合もあるので、これに対応する必要がある。
そのため、包含ストロークが被包含ストロークより時間的に後に書かれた場合(図8A〜図8Dの例)は、ブロック138で、被包含ストロークを無効とし、包含ストロークを有効とする。反対に、包含ストロークが被包含ストロークより時間的に前に書かれた場合(図9A〜図9Dの例)は、ブロック140で、包含ストロークを無効とし、被包含ストロークを有効とする。これにより、2つのストロークが包含状態にある場合、ユーザの意図に沿った一方のストロークを有効とし、他方を無効とすることにより、手書き文字を上書きにより訂正することができる。有効なストロークのみ文字認識処理に供し、無効なストロークは文字認識処理しないことにより、ユーザの意図に合った認識結果が得られる。
ブロック134で包含状態が検出されない場合、及びブロック138、140の後に、ブロック142で、オーバーラップしたストローク(後から書かれたストローク)が繰り返しストロークであるか否かを判定するために、オーバーラップしたストロークが始点領域に戻るストロークであるか否か判定される。
始点に戻るストロークの一例を図10A〜図10Cに示す。図10Aに示す“2009”を“2010”に訂正する場合、図10Bに示すように“0”の上に“1”を1ストロークで何度も往復して手書きする、あるいは図10Bに示すように“9”の上に“0”を1ストロークで何度も繰り返して手書きすることがある。“1”を1ストロークで何度も往復して手書きする場合も、“0”を1ストロークで何度も繰り返して手書きする場合も、ストローク中に始点の近傍領域に戻る。そのため、ストロークデータSDiの時系列座標SDijの中でストロークの始点の時系列情報DSi1の近傍領域に位置するものがあるか否かを判定する。
始点に戻るストロークである場合、ブロック144で往復(図10Bの“1”)か否か(図10Bの“0”)が判定される。往復か否かは軌跡の向きが途中で反転したか否かに基づいて判定できる。ストロークデータに含まれる時系列座標(点)間のベクトルの向きが反転する場合、往復であると判定できる。往復軌跡の場合、ブロック146で、元のストロークを無効とし、複数の往ストロークの平均あるいは最長のストロークを有効とする。往復軌跡ではない(繰り返し軌跡の)場合、ブロック148で、元のストロークを無効とし、複数の繰り返しストロークの平均あるいは最大の面積のストロークを有効とする。これにより、図10Cに示すように、“2009”が“2010”に訂正される。
なお、“l(エル)”と書いた後に“S”を上書きすると、“$”となるが、“S”が一度しか書かれていない場合は、上書きとしては扱われずに“$”として見なされる。しかし、“S”が繰り返し上書きされた場合は、“l”を“S”に訂正する意図があったと判断し、ブロック148に示すように、“l”を無効とし“S”が有効なストロークであると判断する。
ブロック142で繰り返しストロークであることが検出されない場合、及びブロック146、148の後に、ブロック150で、2つのストロークのオーバーラップ状態が連結状態であるか否か判定される。
連結状態の一例を図11Aに示す。図11A、図11Bに示すように“2”が手書きされた後“2”の最も下の線分に“3”の下半分を連結して、図11Eに示すように“3”とする場合がある。連結状態の判定は、一方のストロークを構成する座標データにより表される点を中心とする円を描き、隣り合う2つの円の接線と円弧で囲まれる領域を各点について順次定義し、この領域が他方のストロークを部分的に含むこと(図11C参照)、及び他方のストロークを構成する座標データにより表わされる点を中心とする円を描き、隣り合う2つの円の接線と円弧で囲まれる領域を各点について順次定義し、この領域が一方のストロークを部分的に含むこと(図11D参照)に基づいて行う。一方のストロークに基づいて定義される上記領域が他のストロークを部分的に互いに含む場合、連結状態であると判定する。すなわち、図11C、図11Dに示すように、“2”の最も下の線分と、“3”の下半分の最も上の線分が互いに他を含むので、図11Bに示す“3”の中央部は図11Aと図11Bとの連結状態であると判定される。あるいは、第1ストロークのある点と第2ストロークの全ての点との距離を計算して、第1ストロークのある点と一番近い点との距離を第1ストロークの全ての点について計算し、その平均が閾値以内である場合、第1ストロークと第2ストロークは連結状態であると判定する。連結状態か否かを判断する方法は、上記の一例に限られず、一方のストロークが、他方のストロークを概ね連結すると推定可能な任意の手法とすることができる。
連結状態であると判定されると、ブロック152で、2つのストロークを連結し、元のストロークを無効とし、連結により得られた新ストロークを有効とする。
以上により、ユーザが一度入力したストロークに他のストロークを上書きした場合、元のストロークと上書きストロークの両方を鑑みて、文字認識に渡す有効なストロークを推定することができる。従来、デジタルノートなどの機器に手書きで記述する場合、間違って書いた部分は消しゴム機能を使って一度削除して正しい文字を再度入力しないと、正しく文字認識されなかったが、本実施形態では、元のストロークを残したままで、その上に新たなストロークを上書きした場合でも正しく文字認識できる。
ブロック156で、上書きにより無効とされたストロークの表示を止め、代わりに、有効とされたストロークの表示に替える。
ブロック156で表示されたストロークが、ブロック158で文字認識処理される。ブロック158では、時系列情報のストロークデータを、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一グループに分類されるように分割する。グループは1つの記号に相当し、1つまたは複数のストロークデータからなる。図3の例では、ストロークデータSD1、SD2を1つのグループ、ストロークデータSD3、SD4を1つのグループ、ストロークデータSD5を1つのグループとする。認識処理対象の文字、数字、記号等に対応する1つまたは複数のストロークデータ(ストロークデータグループ)と、各文字、数字、記号等の辞書ストロークデータ(ストロークデータグループ)とのマッチングを行い、手書き文字、数字、記号等それぞれを文字コードに変換する。次に、言語処理を行い、言語的に確からしい文字列の判定を行なう。例えば、“ナキスト”が候補とされた場合、“ナ”を“テ”と変更して、“テキスト”を認識結果とする。これにより、手書き入力された文書の時系列情報と文字コード列(テキスト)が求められる。ブロック159では、認識結果のテキストも表示される。
ブロック160で、ユーザは認識結果を見て、所望の認識結果が得られた場合は、処理を終了する。所望の認識結果が得られない場合は、ブロック162で再度上書き操作を行い、ブロック134に戻る。
実施形態によれば、2つのストロークがオーバーラップしている場合、オーバーラップ状態の状況を識別してユーザの意図を類推し、いずれかのストロークを有効とし、他のストロークを無効としてから文字認識処理を行うことにより、手書き文書を訂正するのに、文字を一旦削除してから正しい文字を再入力する必要がなく、訂正前の文字に訂正後の文字を上書きするだけでよい。このような上書き訂正であっても、文字認識処理が適切に行われる。
なお、実施形態は文字認識する場合を説明したが、文字認識は必須ではなく、手書き入力文字を上書き訂正するだけでもよい。すなわち、図7の上書きストローク156の表示まで行い、文字認識処理は省略する実施形態でもよい。さらに、文字認識する場合でも、認識前に前処理する例に限らず、認識後の後処理として上書き訂正処理を行ってもよい。すなわち、文字認識後の後処理で、所望の認識結果が得られない部分、あるいは手書き文字を訂正したい箇所を、手書き文字表示画面上で上書き訂正してもよい。
実施形態は、全ての処理をタブレットコンピュータ10で行なったが、タッチスクリーンディスプレイ17への手書き以外の処理はサーバシステム2側で行なってもよい。例えば、手書きノートアプリケーションの処理部308の機能をサーバシステム2側に移してもよい。また、記憶媒体402に保存する代わりに、サーバシステム2のデータベースに保存してもよい。
なお、本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
実施形態によれば、情報処理装置は、入力手段と、訂正手段とを具備する。入力手段は、第1ストロークに対応する第1ストロークデータを入力し、前記第1ストロークデータの後に、第2ストロークに対応する第2ストロークデータを入力する。訂正手段は、(1)前記第1ストロークの表示領域が前記第2ストロークの表示領域を実質的に包含する場合、あるいは、(2)前記第1ストロークの表示領域と前記第2ストロークの表示領域とが少なくとも一部重複し前記第2ストロークが同じ領域に繰り返し記載されたストロークを含む場合、あるいは、(3)前記第1ストロークの表示領域と前記第2ストロークの表示領域とが連結する場合の少なくともいずれかにおいて、前記第2ストロークデータに基づいて前記第1ストロークデータを訂正する。

Claims (7)

  1. ストロークデータを入力する入力手段と、
    第1ストロークデータと、前記第1ストロークデータの入力後に入力された第2ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第2ストロークデータに基づいて前記第1ストロークデータを訂正する訂正手段と、
    を具備する情報処理装置。
  2. 前記訂正手段により前記第1ストロークデータが訂正される場合、訂正後のストロークデータに基づいた文字認識結果を表示する認識結果表示手段をさらに具備する請求項1記載の情報処理装置。
  3. 前記認識結果表示手段は、前記第1ストロークデータではなく前記第2ストロークデータに基づいた文字認識結果を表示する請求項2記載の情報処理装置。
  4. 前記認識結果表示手段は、前記第1ストロークデータに前記第2ストロークデータが連結されて得られる第3ストロークデータに基づいた文字認識結果を表示する請求項3記載の情報処理装置。
  5. 前記入力手段により入力されたストロークデータに対応する軌跡を表示するストローク表示手段をさらに具備し、
    前記ストローク表示手段は、前記訂正手段により前記第1ストロークデータが訂正される場合、訂正後のストロークデータに対応する軌跡を表示する請求項1記載の情報処理装置。
  6. ストロークデータを入力することと、
    第1ストロークデータと、前記第1ストロークデータの入力後に入力された第2ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第2ストロークデータに基づいて前記第1ストロークデータを訂正することと、
    を具備する情報処理方法。
  7. コンピュータにより実行されるプログラムであって、前記プログラムは
    ストロークデータを入力することと、
    第1ストロークデータと、前記第1ストロークデータの入力後に入力された第2ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第2ストロークデータに基づいて前記第1ストロークデータを訂正することと、
    を具備するプログラム。
JP2013544613A 2013-03-18 2013-03-18 情報処理装置、情報処理方法及びプログラム Pending JPWO2014147712A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/057699 WO2014147712A1 (ja) 2013-03-18 2013-03-18 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2014147712A1 true JPWO2014147712A1 (ja) 2017-02-16

Family

ID=51527329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013544613A Pending JPWO2014147712A1 (ja) 2013-03-18 2013-03-18 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20140270529A1 (ja)
JP (1) JPWO2014147712A1 (ja)
WO (1) WO2014147712A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
JP6125333B2 (ja) * 2013-05-31 2017-05-10 株式会社東芝 検索装置、方法及びプログラム
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US10489051B2 (en) * 2014-11-28 2019-11-26 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
WO2016119146A1 (en) * 2015-01-28 2016-08-04 Motorola Solutions, Inc. Method and device for inputting handwriting character
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
JP2019153132A (ja) 2018-03-05 2019-09-12 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
JP7172219B2 (ja) * 2018-07-17 2022-11-16 大日本印刷株式会社 情報処理装置及びプログラム
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
KR20220101850A (ko) * 2021-01-12 2022-07-19 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757053A (ja) * 1993-08-13 1995-03-03 Sony Corp 手書き入力表示方法
JPH07296103A (ja) * 1994-04-28 1995-11-10 Matsushita Electric Ind Co Ltd オンライン文字認識装置
JP2005092257A (ja) * 2003-09-11 2005-04-07 Ricoh Co Ltd 文字認識装置、文字認識方法、および文字認識プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160827A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
KR101337872B1 (ko) * 2013-04-04 2013-12-06 주식회사 디오텍 잉크 텍스트 데이터 편집장치 및 잉크 텍스트 데이터 편집방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757053A (ja) * 1993-08-13 1995-03-03 Sony Corp 手書き入力表示方法
JPH07296103A (ja) * 1994-04-28 1995-11-10 Matsushita Electric Ind Co Ltd オンライン文字認識装置
JP2005092257A (ja) * 2003-09-11 2005-04-07 Ricoh Co Ltd 文字認識装置、文字認識方法、および文字認識プログラム

Also Published As

Publication number Publication date
WO2014147712A1 (ja) 2014-09-25
US20140270529A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
JP5349645B1 (ja) 電子機器および手書き文書処理方法
WO2014147712A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6180888B2 (ja) 電子機器、方法およびプログラム
JP5355769B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5270027B1 (ja) 情報処理装置および手書き文書検索方法
JP6464504B6 (ja) 電子機器、処理方法およびプログラム
JP5395927B2 (ja) 電子機器および手書き文書検索方法
JP5694234B2 (ja) 電子機器、手書き文書表示方法、及び表示プログラム
JP2015162088A (ja) 電子機器、方法及びプログラム
US20150146986A1 (en) Electronic apparatus, method and storage medium
JP6426417B2 (ja) 電子機器、方法及びプログラム
JP2014032632A (ja) 電子機器、方法、およびプログラム
WO2015136618A1 (ja) 電子機器、方法およびプログラム
US9183276B2 (en) Electronic device and method for searching handwritten document
JP5735126B2 (ja) システムおよび筆跡検索方法
JP6223687B2 (ja) 電子機器および手書き文書検索方法
JP5330576B1 (ja) 情報処理装置および筆跡検索方法
US9697422B2 (en) Electronic device, handwritten document search method and storage medium
JP2013239203A (ja) 電子機器、方法、及びプログラム
WO2016031016A1 (ja) 電子機器、方法及びプログラム
JP6465414B2 (ja) 電子機器、方法及びプログラム
JP6202997B2 (ja) 電子機器、方法及びプログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150317