JPH05189618A

JPH05189618A - オンライン手書き編集方法

Info

Publication number: JPH05189618A
Application number: JP4138377A
Authority: JP
Inventors: 壮四郎 ▲葛▼貫; Soshiro Kuzunuki; Hiroshi Shojima; 正嶋　　博; Takanori Yokoyama; 孝典横山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-05-29
Filing date: 1992-05-29
Publication date: 1993-07-30

Abstract

(57)【要約】【目的】本発明は、手書きストローク情報を用いて、編
集対象を選択し、実行する、使い勝手のよいオンライン
手書き編集方法を提供するにある。【構成】手書きストロークで文書を編集し、その結果を
表示する手書き編集方法において、前記手書きストロー
ク情報が、前記文書の編集対象物の位置座標内にある全
ての編集対象物を編集対象として選択するように構成す
る。【効果】本発明は、手書きストローク情報が、文書の編
集対象物の位置座標内にある全ての編集対象物を編集対
象として選択できるため、編集操作を一度にできるため
操作性を著しく向上できる効果がある。また、校正記号
を図形と認識しているため、手書きストローク入力のサ
イズの柔軟性が生じ、サイズが変わっても校正記号の認
識率が上がる効果がある。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、オンライン手書き編集
方法に係り、特に手書きストロークで文書を編集するに
好適なオンライン手書き編集方法に関する。

【０００２】

【従来の技術】従来のオンライン手書き編集方法とし
て、情報処理学会論文誌Vol.１５Ｎo.６ｐ４１９−
４２７に開示されているように、文字の訂正，挿入，削
除に手書き校正記号を用いて原稿を赤字のペンで校正す
るが如くしたものがある。

【０００３】

【発明が解決しようとする課題】上記引例は手書きスト
ロークを文字認識し、訂正は「レ」，挿入は「フ」，削
除は「ノ」の文字コードと対応させ、かつ、手書きスト
ロークを訂正位置，挿入位置，削除位置に入力すること
で編集を行うものである。即ち、編集したい文字の上に
手書き校正記号を入力するのみで編集が可能である。

【０００４】ところが、この編集方法は校正記号と編集
文字枠の位置指定は可能であるが、複数の文字列の編集
操作ができない。従って、特に、複数文字の訂正と削除
は一文字の編集操作を複数回繰り返さなければならな
く、使い勝手が悪いという問題があった。

【０００５】そこで、本発明は上記問題点に鑑みてなさ
れたもので、その目的は手書きストローク情報を用い
て、編集対象を選択し、実行する、使い勝手のよいオン
ライン手書き編集方法を提供するにある。

【０００６】

【課題を解決するための手段】本発明では、上記目的を
達成するため、手書きストロークの情報が編集対象物の
位置座標内にあるとき、その編集対象物全てを文書の編
集対象として選択することを特徴とする。

【０００７】また、手書きストロークを図形として認識
することにより、複数の編集対象物を選択し、編集処理
を実行できる特徴がある。

【０００８】

【作用】手書きストロークが入力されると、その情報と
編集対象物の位置座標情報を比較し、同一座標情報内に
あればその編集対象物全てを編集対象物として選択する
ように動作する。また、手書きストロークのストローク
長を計算し、所定閾値と比較し、所定閾値よりストロー
ク長が長いと図形として認識し、この図形が校正記号と
対応づけられて編集処理が実行される。

【０００９】

【実施例】以下、本発明の一実施例を図１から図１２を
用いて説明する。

【００１０】図１は本発明の一実施例である実時間手書
き軌跡認識装置の全体ブロック構成である。

【００１１】座標入力装置１（いわゆるタブレット）
と、スタイラスペン２で検出された座標入力列（ストロ
ーク情報）は、まず手書認識処理装置９へ入力される。

【００１２】次に前記ストローク情報は、入力を学習し
て閾値を算出する閾値学習手段と、文字ストロークか図
形ストロークかを分離するためのストローク分離手段と
により、手書き文字を認識する文字認識手段５と、手書
き図形を認識する図形認識手段６とに分離して送信され
る。

【００１３】次に認識手段５及び６からの信号は、文字
図形表示手段７を介してＣＲＴディスプレイ８に送ら
れ、認識された文字，図形が表示される。

【００１４】以下、本発明のストローク分離手段３と閾
値学習手段４について詳細に説明する。図２から図７に
本発明の一実施例の処理概要を、図８から図１０に具体
的な処理流れ図を示す。

【００１５】図２は、文字と図形が混在した手書き入力
の例を示したもので、図形の中に文字がある場合であ
る。ここに、ιはストロークを示し、添字はストローク
の順序を表わす。すなわち、ｌ₁〜ｌ₃は手書き図形のス
トローク、ｌ₄〜ｌ₁₃は手書き文字のストローク、ｌ₁₄
〜ｌ₁₆は手書き図形のストロークを示す。

【００１６】以上のような手書き情報を入力した場合、
処理装置９のストローク分離手段３、閾値学習手段４で
は、どのように判定するかについてが、本発明の課題で
ある。

【００１７】図２の手書き入力をストローク順に並べた
ものを図３に示す。今、予め設定された所定の閾値ｌ_TH
と、ストロークｌ_i(ｉはストローク順序）とを比較し、ｌ_i＞ｌ_THのとき１、ｌ_i≧ｌ_THのとき０、とする。

【００１８】一般的には閾値の設定が適当で、かつ、手
書き文字，図形の入力が適当なサイズでは、このストロ
ーク長の比較結果が、ストロークの図形（“１”），文
字（“０”）の分離を意味する。

【００１９】しかし、次の様な場合、分離誤りが生ずる
ことが予想される。つまり、手書き入力のアンバランス
があって、ｌ₇が文字ストロークであるにもかかわら
ず、“１"と判定されてしまう（図２，図３）。

【００２０】そこで本発明の一実施例では、前後のスト
ローク長の比較結果（差分）から、再度判定をやり直す
手段を有している（図４）。

【００２１】図３で述べた比較結果は後述のストローク
フラグテーブルＳＦ(ｉ)に順次格納されるが、このＳＦ
(ｉ)の前後を比較し、変化したストローク番号を探索す
る。この探索は、ストローク番号ｉとｉ＋１との排他的
論理和をとれば求めることができる。

【００２２】すなわち、ＳＦ(ｉ) EOR ＳＦ(ｉ＋１)を
考えると、図４ではＳＦ(１) EOR ＳＦ(２)→０ＳＦ(２) EOR ＳＦ(３)→０ＳＦ(３) EOR ＳＦ(４)→１ＳＦ(４) EOR ＳＦ(５)→０ＳＦ(５) EOR ＳＦ(６)→０ …(１）ＳＦ(６) EOR ＳＦ(７)→０ＳＦ(７) EOR ＳＦ(８)→１ＳＦ(８) EOR ＳＦ(９)→１ＳＦ(９) EOR ＳＦ(10)→０：：となり、ストローク番号３から４のとき、６から７のと
き、７から８のとき、さらに１３から１４のとき、それ
ぞれストロークが変化していると探索できる。

【００２３】ここで問題となるのは、ストローク番号
６，７，８のストロークで、上記のように２回続けて変
化しているところである。すなわち、前後の状況から判
断して、ストローク番号７は再度判定し直す必要がある
と考えられる。他のストロークについては、所定の閾値
との比較結果により、“１”のとき図形ストロークＧ
“０”のとき文字ストロークＣと分離できる。

【００２４】従ってストローク番号７のストロークｌ₇
については、下記により再度判定を行う。

【００２５】 (１) ｌ_i＞ｌ_THの比較結果列が０→１→０のとき (例えば、ストローク番号６，７，８のとき)、ＩＦｋ₂・ｌ_i＞ｌ_THＴＨＥＮＧＥＬＳＥＣ（ｋ₁：第２の係数） …(２） (２) ｌ_i＞ｌ_THの比較結果列が１→０→１のとき、ＩＦｌ_i／ｋ₂＞ｌ_THＴＨＥＮＧＥＬＳＥＣ …(３）ここで係数ｋ₂は、たとえば０.７を選ぶと、（２）式に
ついてはストローク長の３割減、（３）式についてはス
トローク長の３割増、として再度、所定の閾値と比較し
て図形のストロークか、文字のストロークかを判断する
こととなる。

【００２６】このような処理を施すことにより、閾値付
近のストローク長の判定が正確に行い得る。図４の例の
ストロークｌ₇は以上の処理で文字ストロークと判定さ
れる。図５は、図４の例のストロークフラグテーブルの
内容である。

【００２７】図６，図７は、（３）式を適用するような
手書き入力がされた場合の例で、この図ではｌ₄′ が
“０"と判定され、再度ストロークの比較判断が行われ
る。

【００２８】なお、所定の閾値ι_THの設定方法である
が、あらかじめ、手書き入力対象や、現象がわかってい
る場合、例えば、サイズの固定された原稿用紙を用いる
とき、文字入力ストローク長は、原稿用紙のマス目サイ
ズで決まってしまうため、固定値でよい。しかし、入力
環境が種々変化すると、この方法は採用できない。従っ
て、本発明の一実施例の図１で述べたように、この閾値
を学習して決定することになる。

【００２９】以上、本発明の一実施例の処理概要を述べ
たが、以下、図８〜図１０のフローチャートを用いて説
明する。

【００３０】図８は、後述の図９，図１０のフローで用
いるテーブル構成図で、(ａ)，(ｂ)はタブレット１より
入力されたストロークテーブルであり、タイミングの異
なった２つのテーブル、STROKENEW，STROKEOLDがある。
(ｃ)および(ｄ)は図形認識手段（図１，６）と文字認識
手段（図１，５）へ渡すためのストロークテーブルで、
図形ストロークテーブルSTROKEG，文字ストロークテー
ブルSTROKECである。すなわち、本発明の方式により、
分離されたストロークを格納するテーブルである。(ｅ)
は図５，図７で述べたように、ストローク長と所定の閾
値とを比較した結果を格納するストロークフラグテーブ
ルＳＦである。(ｆ)は入力されたストロークの長さを格
納するストローク長テーブルｌである。(ｇ)は学習した
所定の閾値ｌ_TH，第１の所定の係数ｋ₁，第２の所定の
係数ｋ₂，処理用の内部カウンタＣＯＵＮＴ，ストロー
ク番号ｉを格納するテーブルである。

【００３１】図９は入力ストロークの文字，図形分離の
ための処理フローである。

【００３２】まずステップ３ａにより図８のテーブルク
リア，ストローク番号のセット（ｉ＝１）等のイニシャ
ル処理が行われ、次にタブレットからの座標入力処理が
行われ、この座標はSTROKNEWテーブルに格納される（ス
テップ３ｂ）。次に入力されたSTROKNEWテーブルの始点
から終点までのストローク長ｌ(ｉ)を演算する（ステッ
プ３ｃ）。ストローク長は入力された点列の座標より幾
何学的に容易に計算できる。

【００３３】ストローク長ｌ(ｉ)が演算されたら、所定
の閾値ｌ_THと比較して（ステップ３ｄ）、もし、ｌ(ｉ)＞ｌ_TH が成立するならＳＦ(ｉ)に“１”をセットし、成立しな
いとき“０”をセットする（ステップ３ｅ，３ｆ）。次
にストローク番号ｉが１かどうか判定し、もし１であれ
ば、つまり最初のストロークであれば、ステップ３ｔに
ジャンプし、ストロークテーブルのSTROKENEWを、タイ
ミングの異なる別のストロークテーブルSTROKEOLDに格
納しておく（ステップ３ｇ，３ｔ）。ストローク番号が
１以外であれば、前後のストロークフラグテーブルの排
他的論理和（ＥＯＲ）を取り、ストローク長の比較結果
の変化点を探索する（ステップ３ｈ）。

【００３４】ステップ３ｈでＥＯＲの結果が“０”のと
き、カウンタＣＯＵＮＴをクリア（ステップ３ｈ）し、
ｉ−１番目のストロークフラグＳＦ(ｉ−１)をチェック
する（ステップ３ｑ）。もしＳＦ(ｉ−１)＝１のときｉ
−１番目のストロークテーブル、すなわち、１つ前のST
ROKEOLDをSTROKEGへ転送、ＳＦ(ｉ−１)＝０のとき、ST
ROKEGへ転送する（ステップ３ｒ，３ｓ）。

【００３５】一方ステップ３ｈのＥＯＲの結果が“１”
のとき、ストローク長比較結果に変化があるため、カウ
ンタＣＯＵＮＴを加算する。このカウンタＣＯＵＮＴは
ストローク長の比較結果の変化が２度続けて発生したこ
とを示すためのもので、１は１回、２は２回続けて発生
した場合である（ステップ３ｉ）。したがって、ステッ
プ３ｊでカウンタＣＯＵＮＴが２かどうかチェックし、
もし、そうでないなら、ステップ３ｑに行き、上記と同
様の処理を行う。カウンタＣＯＵＮＴが２のとき、すな
わち、２回続けて前後のストローク長の再計算を行い、
かつ再度閾値と比較することとなる（ステップ３ｌ，３
ｍ，３ｎ，３ｏ，３ｐ）。ストローク長の再計算と比較
は前述の(２)，(３)式に示す通りである。

【００３６】次に、ストロークテーブルの入れ替えを行
い（ステップ３ｔ）、全ストロークについて処理したか
どうかチェック（ステップ３ｕ）し、処理が終了してい
ないとき、ストローク番号ｉを増加させて以下同様の処
理を繰返す。全ストロークについて処理が終了して処理
中止となる。

【００３７】なお、図９のストローク分離処理と、図１
の文字認識，図形認識はマルチ処理が行われているもの
とする。したがって、文字ストロークテーブル，図形ス
トロークテーブルにデータが格納されるたびに文字およ
び図形は認識され、その結果がＣＲＴに表示される。

【００３８】図１０は、所定の閾値ｌ_THの学習のための
処理フローで、本処理は、タブレット上のファンクショ
ン指定用のスイッチ等の指示により起動される。まず、
イニシャル処理でテーブルクリアや、ストローク番号が
セットされる(ステップ４ａ)。次にタブレットより座標
を入力し、ストロークテーブルSTROKENEW へデータを格
納すると同時に文字ストロークテーブルSTROKECへも転
送する（ステップ４ｂ,４ｃ）。座標データを文字スト
ロークテーブルSTROKEC へ転送するのは、学習中におい
ても、文字認識を実行するためである。

【００３９】次にストローク長ｌ(ｉ)の計算を、ストロ
ーク長の累算ｌ_Sを計算する（ステップ４ｄ，４ｅ）。
全てのストロークについて学習が終了したかどうかチェ
ックし（ステップ４ｆ，４ｈ）、もし終了のとき所定の
閾値ｌ_THを平均ストローク長ｌ_S／ｉに係数ｋ₁を乗じ
て計算する（ステップ４ｇ）。

【００４０】以上のように学習によって文字ストローク
の平均ストローク長を演算できるため、適当な閾値を設
定可能である。

【００４１】図１１，図１２は本発明の特徴を説明する
図で、文字列の編集を手書き校正記号で行う図である。
この図で示すように、既に清書されたテキスト（文書）
をＪＩＳの校正記号である図形シンボルを入力すること
により非常に簡単にテキスト編集を行うことができる。

【００４２】図１１は削除の図形シンボルで、これを手
書き図形として認識し、かつ削除のコマンドと対応させ
た場合の例で、この場合、Ｂ，Ｃ，Ｄのテキストが削除
されることになる。即ち、手書きストロークが入力され
ると、その手書きストローク座標が編集対象文字列の座
標列（この例ではＢ，Ｃ，Ｄの座標）内にあるかどうか
判定し、あれば、その全てを編集対象物として、選択す
ることになる。この図１１では文字列Ａ，Ｅ，Ｆは手書
きストロークの座標にないため、編集対象となっていな
い。このように、手書きストロークの座標情報により、
複数の文字列を選択することができる。

【００４３】図１２は、テキストＡとＥの間に、Ｂ，
Ｃ，Ｄの手書き文字を挿入する場合の例で、Ｂ，Ｃ，Ｄ
は手書き文字、それ以外は手書き図形として分離され、
それぞれ認識される。手書きストロークは挿入ポイント
と引き出し図形を示すもの、Ｂ，Ｃ，Ｄの手書き文字を
示すもの、この手書き文字ストロークが認識されて文字
となり、この文字を選択指定する囲み図形で構成してい
る。この図１２では編集対象は挿入位置を示す文字列
Ａ，Ｅならびに挿入文字列Ｂ，Ｃ，Ｄとなる。

【００４４】以上のように、文字と図形の入力をモード
指定なしに行うことができる。勿論、図２のように手書
き図形を編集用コマンドと対応させず、通常の図形入力
としても文字と図形のモード指定は不要となる。

【００４５】次に本発明の一実施例の効果を述べる。

【００４６】まず第１の効果として、手書きストローク
の座標情報より、複数の編集対象物を選択できるため、
編集操作を一度に実行でき、操作性を著しく向上するこ
とができる。また、校正記号を図形と認識しているた
め、手書きストローク入力のサイズの柔軟性が生じる効
果がある。

【００４７】第２の効果として、手書き文字認識，手書
き図形認識のモードを指定する操作が自動化され、マン
マシン性が著しく向上することが挙げられる。

【００４８】次に第３の効果として、ストローク長を判
定する所定の閾値を予め文字ストロークを入力し学習し
て設定するため、ストローク分離が良好に行うことがで
きる。

【００４９】第４の効果として、前後のストローク長と
所定の閾値の比較演算結果が２回連続して、判定が異な
った場合、再度ストローク長の見直し判定を行うため、
閾値附近のストロークに対し誤り判定を少なくすること
ができる。

【００５０】次に、本発明の他の実施例を述べる。本発
明の一実施例の所定の閾値として学習により設定してい
るが、これを学習をせず、固定値としても良い。この場
合、手書き文字サイズは限定される。また、本発明の一
実施例では、ストローク分離をストローク入力毎に判定
して処理していたが、これを全ストローク入力後、判定
しても良い。この場合、図９の座標入力を全てのストロ
ークについて終了してからストローク長計算や、閾値比
較を行いストローク分離を行えば良い。当然、ストロー
クテーブル等のテーブルは全ストロークについて格納す
るため(１)メモリサイズが大きくなる、(２)オフライン
処理となりマンマシン性が悪くなる、という欠点が生じ
る。

【００５１】さらに、所定の閾値を学習により演算する
場合、文字ストロークの平均ストローク長に係数を乗じ
て求めていたが、これを平均ストローク長と分散値で求
めても良い。

【００５２】

【発明の効果】以上、本発明によれば、手書きストロー
ク情報が、文書の編集対象物の位置座標内にある全ての
編集対象物を編集対象として選択できるため、編集操作
を一度にでき、操作性を著しく向上することが出来る。
また、校正記号を図形と認識しているため、手書きスト
ローク入力のサイズの柔軟性が生じ、サイズが変わって
も校正記号の認識率が上がる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例の全体ブロック構成図であ
る。

【図２】本発明の一実施例の処理概要を説明するための
図である。

【図３】本発明の一実施例の処理概要を説明するための
図である。

【図４】本発明の一実施例の処理概要を説明するための
図である。

【図５】本発明の一実施例の処理概要を説明するための
図である。

【図６】本発明の一実施例の処理概要を説明するための
図である。

【図７】本発明の一実施例の処理概要を説明するための
図である。

【図８】本発明の一実施例の詳細説明のためのテーブル
構成図である。

【図９】本発明の一実施例の詳細説明のためのフローチ
ャート図である。

【図１０】本発明の一実施例の詳細説明のためのフロー
チャート図である。

【図１１】本発明の一実施例の動作説明と処理動作を説
明する図である。

【図１２】本発明の一実施例の動作説明と処理動作を説
明する図である。

【符号の説明】

１…タブレット、２…スタイラスペン、３…ストローク
分離手段、４…閾値学習手段、５…文字認識手段、６…
図形認識手段、７…文字図形表示手段、８…ＣＲＴディ
スプレイ装置、９…実時間手書き認識装置。

Claims

【特許請求の範囲】

【請求項１】手書きストロークで文書を編集し、その結
果を表示する手書き編集方法において、前記手書きスト
ローク情報が、前記文書の編集対象物の位置座標内にあ
る全ての編集対象物を編集対象として選択することを特
徴とするオンライン手書き編集方法。
【請求項２】請求項１において、前記文書の編集対象は
文字列であることを特徴とするオンライン手書き編集方
法。
【請求項３】請求項１において、前記手書きストローク
を校正記号として認識し、前記手書きストロークの座標
情報で選択された編集対象を前記校正記号で編集実行す
ることを特徴とするオンライン手書き編集方法。