JP2685450B2 - オンライン手書き文字図形入力編集方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、データタブレットなどの入力装置を用い
て文字図形を手書き入力したものを実時間認識し、さら
に種々の編集操作をシンボル化した編集記号を用いて会
話的に編集することにより所望の文書や図面を作成する
オンライン手書き文字図形入力編集方式に関し、入力ス
トロークが文字か図形か、文字に対する編集記号か、図
形に対する編集記号かを自動識別するオンライン手書き
文字図形入力編集方法に関するものである。 〔従来の技術〕 従来、データタブレットなどの入力装置を用いて文字
図形を手書きする入力オンライン手書き文字図形入力方
法に関し、文字や図形とともに編集記号を手書き入力
し、これを実時間認識して編集処理を行う方法の例をあ
げて説明する。なお、入力および編集した結果を出力す
る表示装置としては、通常のCRTディスプレイのほか、
液晶などの平面ディスプレイをデータタブレットに重ね
合せた入力表示一体化装置を用いたものがある。これは
手書き入力した位置に認識もしくは編集した結果を表示
することにより、マンマシンインタフェースの改善を図
ったものである。 手書き編集による編集方法の第１の例として、昭和58
年度電子通信学会総合全国大会2291、戸井田、児島（日
本電子電話公社横須賀電気通信研究所）：「オンライン
手書き入力における文字修正法」がある。本方法では文
字は文字枠内に記入することに着目し、編集記号は文字
枠と交差するように設定し、筆記したストロークが文字
枠と交差するか否かにより文字と編集記号との自動識別
を行っている。編集記号の例を第８図に示す。しかしな
がら、これは文字のみを編集対象としており、図形に対
する編集機能については示されていない。 文字図形が混在で、かつ編集記号を有するものとして
は、情報処理学会第30回全国大会5F−４、横山ほか（日
立製作所日立研究所）：「高度マンマシンシステム
（４）−手書きによるオンライン文字・図形編集方式
−」がある。このうち、文字と図形を自動識別する方式
としては、特開昭60−204089号公報で述べられている。
本方式でも、文字は文字枠内に記入することに着目し、
文字枠内に記入したストロークは文字、文字枠よりも大
きく記入されたものは図形もしくは編集記号として自動
識別を行っている。編集記号の例を第９図に示す。ここ
では、編集記号は図形の一部と見做し、文字枠よりも大
きめに記入されたストロークが図形であるか編集記号で
あるかは、モードの指定、すなち図形入力モードではス
トロークを図形ストロークと見做し、編集モードデでは
ストロークを編集記号と見做す構成になっている。した
がって、図形入力中に編集操作を行う場合、ファンクシ
ョンボタンを押下する、あるいは、ファンクションエリ
アをペンタッチするなどの操作が必要となり、操作性を
劣化させる原因となっていた。 第３の例として、情報処理学会日本語文書処理研究会
報告、86−JDP−６−２、児島（日本電信電話株式会社
電気通信研究所）：「隣接線分構造解析法によるオンラ
イン手書き図形入力方式」がある。本方式における図形
用編集記号の例を第10図に示す。図形用編集記号と文字
の大きさがほぼ同じという構成をとっている。文字は文
字枠内に記入し、図形は一般に文字よりも大きく記入す
るので、ストロークの大きさについての情報により文字
と図形、もしくは図形と編集記号の識別は可能だが、こ
の情報では文字と編集記号の識別ができない。ところ
で、一般に図形編集では図形の重畳を考慮して、対象と
なる図形を指示するためのピック操作が必要である。 例えば第11図のように、三角形と円が重なっている場
合、どちらを編集対象とするかを指示するためにピック
操作を行い、対象を明確化する。ピック操作とは対象と
な図形が存在する位置にペンタッチすることである。本
方法では、ピック操作が行われた後に記入されたストロ
ークを図形用編集記号と見做すことにより、大きさが類
似した文字と図形に対する編集記号との識別を行う。こ
れにより、文字、図形、図形用編集記号を自動識別する
ことが可能である。しかしながら、本方法では、文字に
対する編集記号については識別できない構成となってい
た。 以上述べたように、従来の技術では、文字、図形、文
字に対する編集記号、および図形に対する編集記号を自
動識別する機能を有していないため、オンライン手書き
文字図形入力方式を用いて文字と図形が混在した文書や
図面を作成する上で、操作性を劣化させる原因となって
いた。 この発明は、これらの欠点を除去するために文字、図
形、文字に対する編集記号、図形に対する編集記号を自
動識別することにより、操作性に優れたオンライン手書
き文字図形入力編集方法を提供することを目的としたも
のである。 〔問題点を解決するための手段〕 この発明にかかるオンライン手書き文字図形入力編集
方法は、入力ストロークが文字、図形、文字に対する編
集記号、図形に対する編集記号のうち、どのストローク
であるかを入力ストロークの文字枠に対する大きさにつ
いての情報と、直前に入力したストロークがどのストロ
ークであったかという情報とに基づいて自動的に識別す
るようにしたものである。 〔作用〕 この発明においては、入力したストロークの文字枠に
対する大きさについての情報と直前に入力したストロー
クが何であったかという情報をもとに、文字、図形、文
字に対する編集記号、図形に対する編集記号を自動識別
する。 〔実施例〕 第１図はこの発明を実施するための装置の一実施例を
示すブロック構成である。１は入力手段で、手書きスト
ロークの座標を検出するためのものである。２はストロ
ーク識別手段で、ストロークが文字か図形か、文字に対
する編集記号か、あるいは図形に対する編集記号（ピッ
ク動作を含む）のいずれであるかを識別し、かつモード
の管理を行う。なお、以下の説明では、文字に対する編
集記号を文字用編集記号、図形に対する編集記号を図形
用編集記号という。３は文字認識手段で、ストローク識
別手段２で文字であると識別されたストロークをもとに
文字を切出し認識を行い、認識結果と文字の筆記された
位置とを出力する。４は図形認識手段で、ストローク識
別手段２で図形であると識別されたストロークをもとに
図形を切出し認識を行い、認識結果と図形の位置，大き
さを出力する。５は図形用編集記号認識手段であり、ス
トローク識別手段２で図形用編集記号と識別されたスト
ロークの認識を行い、認識結果と位置を出力する。６は
文字図形編集手段で、文字図形の編集を一括して行うた
めのものである。文字認識手段３、図形認識手段４から
出力された文字図形の認識結果、位置、大きさを蓄積
し、ストローク識別手段２、図形用編集記号認識手段５
から出力された編集記号の認識結果、位置をもとに編集
を行う。また、ストローク識別手段２でピック動作と識
別された場合、ピック位置にある図形の検索を行う。ス
トローク識別手段２と文字図形編集手段６の間でモード
が更新されるたびに、最新のモード情報を相手に送信す
る。７は出力手段で、認識結果などの表示を行うための
ものである。入力手段１としてはデータタブレット、出
力手段７としては液晶等の平面ディスプレイを使用し、
入力手段１と出力手段７は一体化構成をなす。101はス
トロークの座標点列、102は文字ストロークの座標点
列、103は図形ストロークの座標点列、104は図形用編集
記号ストロークの座標点列、105は文字認識結果と位
置、106は図形認識結果と位置と大きさ、107は図形用編
集記号認識結果と位置、108は文字用編集記号認識結果
と位置およびストロークの座標点列、109はモード情
報、110は出力データを送る信号線である。これらのう
ち、ストローク識別手段２について詳述する。 ストローク識別手段２では、ストロークの大きさと、
直前に入力したストロークが何のストロークであったか
という情報をもとに、入力ストロークが文字、図形、文
字用編集記号、図形用編集記号等のうち、いずれである
かを識別する。以下では、ストロークの大きさに関する
情報と、直前に入力したストロークが何であったかとい
う情報により、ストロークが識別可能であることを説明
する。 現在のオンライン手書き文字認識技術では、文字はあ
らかじめ設定された文字枠内に記入するという入力規則
がある。 第２図は入力装置としてタブレットを用いた場合のタ
ブレットレイアウトの一例である。この図で、50はタブ
レットの入力面である。51は入力エリアであって、この
なかに文字や図形を入力する。53は文字枠であって、文
字はこの文字枠の中に記入する。文字や図形の認識結果
は入力位置と同じ位置に出力される。52はファンクショ
ンエリアであって、エリアを数個の小エリアに分け、小
エリアがペンタッチされたとき「取消し」，「実行」な
どあらかじめ割り当てられたファンクションを実行す
る。文字と図形を混在して文字や図面を作成する場合、
文字は図形内に記入される場合が多く、一部の例外を除
いて文字は図形に比べ小さいというのは一般的である。
したがって、ストロークの大きさに基づいて文字と図形
を識別することが可能である。 図形に対する編集動作は入力中に起こるのが普通なの
で、図形入力中に図形用編集記号を筆記することが多
く、図形と図形用編集記号との違いは明確にするのが望
ましい。 図形に対する編集の方法は、従来技術第３の例で述べ
た方法と同じである。すなわち、図形に対して編集を行
うには、まず対象となる図形をピックし、次に、例えば
第10図に示されるような編集記号の中から目的に合致し
た編集記号を手書き入力する。編集記号の大きさは、文
字とほぼ同じ大きさであるが、ピック後に入力されたス
トロークなので、図形用編集信号であると確実に識別す
ることができる。図形用編集記号を文字程度の大きさで
記入することにより、図形と図形用編集記号とを自動識
別することができる。本方法で問題があるとすれば、ピ
ック操作の誤識別である。ストロークの筆点数がきわめ
て少ないものをピック操作と見做す。具体的には、ペン
タッチしたときにペンから発生する筆点数の最大値をｎ
としたとき、筆点数がｎ点以下のストロークをピック操
作と見做す。ところが、文字には句読点のようにピック
操作とほとんど筆点数が変らないストロークが存在する
ものがある。しかしながら、これら句読点は通常文字筆
記中に入力されるものであり、図形入力中に突然筆記す
る例は稀である。そこで、図形を入力中のときのみピッ
ク操作を有効にすることにより、句読点とピック操作の
識別が確実になる。 以上を整理すると、図形入力中に筆記されたストロー
クのうち、筆点数がきわめて少ないストロークをピック
操作と見做し、文字枠内に書かれたストロークを文字ス
トロークと見做し、それ以外を図形ストロークと見做
す。文字入力中に筆記されたストロークについては、筆
点数がきわめて少ないストロークであっても、ピック操
作ではあくまでも文字ストロークと見做す。 従来技術第３の例では、文字に対する編集機能につい
ては触れられていなかった。文字に対する編集記号とし
て従来技術第１の例で述べた方法をそのまま適用するこ
とはできない。なぜならば、従来技術第１の例で述べた
文字用編集記号は、文字枠を横切る大きさをもったスト
ロークであり、図形との識別がストロークの大きさに関
する情報だけでは不可能だからである。 文字に対する編集動作は文字を入力中に起こるのが普
通であり、図形入力中に文字編集動作を行うのは稀であ
る。したがって、文字用編集記号は文字入力中に記入さ
れるのが一般的である。文字編集記号か否かの識別は文
字入力時のみ行う。従来技術第１の例では、文字に対す
る削除を行う場合、削除したい文字列の上に横線を記入
する方法をとっていた。長いストロークの記入は図形と
の識別を困難にする。そこで、文字の削除を行う場合、
たとえ２文字以上の文字列を削除する場合であっても、
１文字分だけ横線を記入する。次に削除する文字列の範
囲を指定する。横線が記入された文字から横線を記入し
た後に、次に入力したストロークのペンアップした位置
にある文字までを削除する。第３図は文字用編集記号の
例であり、第４図は削除と移動の操作の一例を示したも
のである。 文字入力時、文字枠内に記入されたストロークは文字
ストロークとみなす。文字枠と交差するストロークにつ
いては、ストロークと文字枠との交差関係を調べ、文字
用編集記号か否かを判定する。このとき、文字用編集記
号と判定されなかったストロークについては、その大き
さがあるしきい値ｓよりも小さい場合、文字枠からはみ
だした文字ストロークと判定する。しきい値ｓよりも大
きい場合、図形ストロークと判定する。なお、文字枠の
大きさをｔとしたとき、ｓはｔ＜ｓ＜2tを満足するしき
い値である。 第５図は文字用編集記号判定処理のフロー、第６図は
文字用編集記号識別テーブルである。ストローク上のあ
る点Ｐがｍ行ｎ列の位置にある文字枠に属することを、
Ｙ（Ｅ）＝m,X（Ｅ）＝ｎと表記する。ただし、第１行
とは最上行を、第１列とは最左列を意味する。ストロー
クの始点をＳ、終点をＥとする。はじめに、ストローク
の垂直方向の最小点Ｍを求める。次に点S,E,Mがどの文
字枠に属するかを求める。次にＸ（Ｅ）−Ｘ（Ｓ）,Y
（Ｅ）−Ｙ（Ｓ）,Y（Ｍ）−Ｙ（Ｓ）を求め、これらの
値をキーとして第６図のテーブルを検索し、文字用編集
記号の認識を行う。 以上述べたように、通常の入力編集作業を行う限りフ
ァンクションボタンを押下する、あるいはタブレットな
どの入力装置のあるファンクションエリアをペンタッチ
するなどの動作無しに文字図形の入力編集を行うことが
できる。しかしながら文字入力中に図形を編集する、あ
るいは図形入力中に文字を編集する場合も考えられるの
で、この場合はファンクションエリアのペンタッチによ
り可能になるようにする。 以上の説明を図示したものが第７図である。第７図に
はストローク識別手段２の動作を示している。 本方法には、文字入力モード、図形入力モード、図形
ピックモード、図形編集モード、文字編集モード等のモ
ードが存在する。文字入力モードは文字を入力するとき
のモード、図形モードは図形を入力するときのモード、
図形ピックモードは図形がピックされたときに起動され
るモードで、図形用編集記号を入力するためのモードで
ある。図形編集モードは図形用編集記号が入力されたと
きに起動されるモードで、移動先、複写先、拡大縮小に
おける大きさ等を指定するのに使用されるモードであ
る。文字編集モードは削除、移動、複写などの文字に対
する編集記号が入力されたときに起動されモードで、編
集区間等の指定を行うためのモードである。これらのモ
ードは各処理手段が有効、かつ円滑に動作するためのも
のである。 ストローク識別手段２では、ストロークの位置や大き
さ、および直前に入力したストロークが何であったかと
いう情報をもとに、そのストロークが文字か、図形か、
文字用編集記号か、図形用編集記号のいずれであるかを
判定するものである。より具体的には、モードを管理
し、現在のモード情報と入力したストロークの位置や大
きさから、そのストロークが文字、図形、文字用編集記
号、図形用編集記号、図形編集のためのピック操作、文
字編集時または図形編集時の編集区間指定のいずれであ
るかを識別し、識別結果にしたがってストローク情報の
出力先を決定し、決定した出力先にストローク情報を出
力し、あわせて識別結果にしたがってモード情報を更新
するものである。 次に第７図のみかたについて説明する。例えば入力時
のモードが図形入力モードでストロークの筆点数がｎ点
をこえ、かつ大きさが文字枠内であれば、第７図の２行
Ｂ列を参照する。ここでｎとはペンタッチしたときにペ
ンから発生する筆点数の最大値に相当する。図から識別
結果は文字であること、ストローク情報の出力先が文字
認識手段であること、モードが図形入力モードから文字
入力モードで更新されることが分かる。なお、文字入力
モードおよび図形ピックモードにおいてはストロークの
位置、大きさに関する識別条件を詳細化してある。 ストローク筆記時のモードが文字入力モードであった
とき、文字枠内に記入されたストロークを文字と判定す
る。文字枠と交差するストロークについては、そのスト
ロークと文字枠との交差関係を調べ、文字用編集記号か
否かを判定する。文字用編集記号と判定されなかったス
トロークについては、そのストロークの大きさがしきい
値ｓよりも小さい場合文字ストロークと判定し、大きい
場合、図形ストロークと判定する。文字と判定されたと
き、ストロークの情報を第１図の文字認識手段３に出力
する。図形と判定されたとき、ストロークの情報を図形
認識手段に出力し、図形入力モードに変わる。文字用編
集記号と判定されたとき、編集記号識別結果と位置を文
字図形編集手段６に出力し、文字編集モードに変わる。 ストローク筆記時のモードが図形入力モードであった
とき、筆点数がｎ点以下であればそのストロークを図形
ピックと見做し、そのストロークの情報を第１図の文字
図形編集手段６に出力し、図形ピックモードに変わる。
ｎ点をこえ、かつ文字枠内に記入されたストロークを文
字ストロークと見做し、そのストロークの情報を文字認
識手段３に出力し、文字入力モードに変わる。上記以外
は図形と見做し、そのストロークの情報を図形認識手段
４に出力する。文字程度の大きさであっても、文字枠と
交差すれば図形と見做すことにより、細かい部分への図
形の書足しが可能になる。 ストローク筆記時のモードが図形ピックモードであっ
たとき、筆点数がｎ点以下であればそのストロークを図
形ピックと見做し、そのストロークの情報を第１図の文
字図形編集手段６に出力する。これは、次候補図形をピ
ックするためのオペレーションと見做すことができる。
筆点数がｎをこえ、かつ大きさが文字程度のストローク
を図形用編集記号と見做し、そのストロークの情報を図
形用編集記号認識手段５に出力する。上記以外の場合
は、そのストロークを図形と見做し、そのストロークの
情報を図形認識手段４に出力する。これは、編集動作を
中止したものと判断する。 ストローク筆記時のモードが図形編集モードであった
とき、そのストロークは位置大きさに関係なく、編集区
間指定、移動先、大きさ指定などのストロークであると
判定し、ストロークの情報を文字図形編集手段６に出力
する。指定の内容、モード情報109によっては、図形入
力モードに変わる。 ストローク筆記時のモードが文字編集モードであった
とき、「移動」を例として動作を説明する。移動用編集
記号と認識された後に入力されたストロークは大きさに
関係なく移動する文字列の範囲指定と判断し、そのスト
ロークの情報を文字図形編集手段６に出力する。次に入
力されたストロークは大きさに関係なく移動先の指定と
判定し、ストロークの情報を文字図形編集手段６に出力
し、文字入力モードに変わる。 なお、どのモードであっても文字入力ファンクション
エリアをペンタッチすれば強制的に文字入力モードに、
図形入力ファンクションエリアをペンタッチすれば強制
的に図形入力モードに変わる。 〔発明の効果〕 以上説明したように、この発明は、入力ストロークが
文字、図形、文字用編集記号、図形用編集記号のうち、
どのストロークであるかを入力ストロークの文字枠に対
する大きさについての情報と、直前に入力したストロー
クがどのストロークであったかという情報をもとに自動
的に識別するようにしたので、文字、図形、文字用編集
記号、図形用編集記号を自動的に識別することができ、
操作者は煩雑なモード指定操作などを行うことなく、文
字図形混在の入力・編集を一括して行うことができる。

【図面の簡単な説明】 第１図はこの発明を実施するための装置の一実施例を示
すブロック構成を示す図、第２図は入力装置としてタブ
レットを用いた場合のタブレットレイアウトの一例を示
す図、第３図はこの発明における文字用編集記号の例を
示す図、第４図は文字列削除と移動の操作例を示す図、
第５図は文字用編集記号の識別フローを示す図、第６図
は文字用編集記号の識別テーブル例を示す図、第７図は
ストローク識別法の動作説明図、第８図は従来技術の一
例として文字を対象として編集記号の例を示す図、第９
図は同じく従来技術における編集記号の例を示す図、第
10図は同じく従来技術の一例として図形を対象として編
集記号の例を示す図、第11図は図形編集ではピック操作
が不可欠であることを説明する図である。 図中、１は入力手段、２はストローク識別手段、３は文
字認識手段、４は図形認識手段、５は図形用編集記号認
識手段、６は文字図形編集手段、７は出力手段である。

Claims (1)

1. (57)【特許請求の範囲】 １．文字枠を有する入力装置から手書き入力した文字ス
   トロークや図形ストロークを実時間で認識することによ
   り文字や図形の入力を行い、さらに編集機能に応じて設
   定された手書き編集記号を実時間で認識することにより
   文字や図形の編集を行うオンライン手書き文字図形入力
   編集方法において、入力ストロークが文字、図形、文字
   に対する編集記号、図形に対する編集記号のうち、どの
   ストロークであるかを前記入力ストロークの前記文字枠
   に対する大きさについての情報と、直前に入力したスト
   ロークがどのストロークであったかという情報とに基づ
   いて自動的に識別することを特徴とするオンライン手書
   き文字図形入力編集方法。