JPH1020994A - 手書きデータ編集装置 - Google Patents

Abstract

(57)【要約】 【課題】 入力された手書きデータが、文字を表す筆跡
データか、図形を表す筆跡データかを、より正確に識別
することが可能な手書きデータ編集装置、及び操作者が
編集モードを切り替えなくても、編集対象に応じて適切
な編集を行うことができる手書きデータ編集装置を提供
すること。 【解決手段】 筆跡データ入力部１、筆跡データ抽出部
２、筆跡データ振り分け部３、筆跡データ管理部４、表
示部５、筆跡データ保持部６、編集対象選択部７、筆跡
データ編集部８、文字図形分離部９、入力時グループ構
成部１０、編集時グループ構成部１１を備え、操作者か
ら手書きデータの編集指示がなされたときに、編集指示
の内容等に基づいて、編集時グループ構成部１１が筆跡
データの文字グループ又は図形グループへの再グループ
化を行う。筆跡データ編集部８が、再グループ化の結果
に基づいて編集モードを切り替える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ペン、タブレット
装置等の入力デバイスを用いて入力された手書きデータ
を編集する手書きデータ編集装置に関する。

【０００２】

【従来の技術】近年、情報処理装置の小型化、携帯化に
伴い、ペン、タブレット装置等の入力デバイスを用いて
データを手書き入力する装置が広く使われるようになっ
てきている。手書き入力されたデータは、オンライン文
字図形認識技術などによりコード化されて利用されるこ
ともあれば、描画軌跡を表す点列データとして入力した
ままの形で利用されることもある。

【０００３】以下、手書きデータを入力したままの形で
利用する手書きデータ編集装置について、従来の技術を
説明する。図１６は、従来の手書きデータ編集装置の構
成を示すブロック図である。同図に示される手書きデー
タ編集装置は、筆跡データ入力部８１、筆跡データ抽出
部８２、筆跡データ振り分け部８３、筆跡データ管理部
８４、表示部８５、筆跡データ保持部８６、編集対象選
択部８７、筆跡データ編集部８８、文字図形分離部８
９、グループ構成部９０、編集モード指示部９１を備え
る。

【０００４】筆跡データ入力部８１としては、ペン、タ
ブレット等の入力デバイスが使用され、ペンダウンから
ペンアップまでの描画軌跡（以下「ストローク」と呼
ぶ）が、操作者により順次入力される。筆跡データ抽出
部８２は、筆跡データ入力部８１を通じて入力されたス
トロークから、ストロークを構成する点の座標の集合で
ある点列データを抽出する。点列データはストロークを
単位として抽出され、個々のストロークにおいて、ペン
とタブレットとの接触位置を表す座標を、一定の間隔ま
たは可変の間隔で抽出した一連の座標点列を含む。

【０００５】筆跡データ振り分け部８３は、筆跡データ
抽出部８２にて抽出された点列データを、通常の入力デ
ータを表すストロークから抽出された点列データ（以下
「筆跡データ」と呼ぶ）と、編集指示を表すストローク
から抽出された点列データ（以下「編集指示データ」と
呼ぶ）とに振り分け、筆跡データを筆跡データ管理部８
４に送り、編集指示データを編集対象選択部８７に送
る。

【０００６】ここで、筆跡データ入力部８１から、筆跡
データを入力するか、編集指示データを入力するかは、
操作者が、例えばペンに備えられているスイッチを用い
て切り替えることができる。筆跡データ管理部８４は、
筆跡データ振り分け部８３から送られた筆跡データの管
理を行う。筆跡データは、筆跡データ保持部８６に保持
されると同時に表示部８５に表示される。

【０００７】筆跡データ保持部８６は、筆跡データや、
筆跡データを文字、行、図形等にグループ分けした文字
グループ、図形グループに関する情報を保持する。編集
対象選択部８７は、編集指示データの内容から、操作者
がどの筆跡データに対して、どのような編集指示を行っ
ているかを識別し、筆跡データ編集部８８に通知する。

【０００８】筆跡データ編集部８８は、編集対象選択部
８７の通知を受けて、筆跡データ管理部８４に対し、筆
跡データ保持部８６の内容の変更を指示する。文字図形
分離部８９は、筆跡データ管理部８４から、入力された
筆跡データを受け取り、各々の筆跡データが、文字を構
成するストロークの筆跡データか、図形を構成するスト
ロークの筆跡データかを判定し、両者を分離する。

【０００９】グループ構成部９０は、文字図形分離部８
９にて分離された、文字を構成するストロークの筆跡デ
ータについて、文字の切り出しや、行の切り出し等の技
術を用いて文字、行等の文字グループにグループ化す
る。文字の切り出しについては、電子情報通信学会論文
誌'90/10 Vol.J73-D-II No.10「運筆データからの字の
切り出し」に開示されており、行の切り出しについて
は、電子情報通信学会論文誌'90/7 Vol.J73-D-II No.7
「運筆データからの行の切り出し」に開示されている。

【００１０】なお、グループ構成部９０は、図形を構成
するストロークの筆跡データについては、グループ化を
行わずストロークごとに管理を行う。編集モード指示部
９１は、操作者からの編集モードの切替えの入力を受け
付け、筆跡データ編集部８８に通知する。ここで、編集
モードには、文字編集モードと図形編集モードの二種類
が存在する。文字編集モードと図形編集モードとの内容
については後述する。

【００１１】以上のように構成された手書きデータ編集
装置を用いて、文字と図形が混在する手書きデータの編
集を行う場合の編集方法について、以下に説明する。図
１７は、文字と図形が混在した手書きデータの一例を示
す。図１７（ａ）のような手書きデータにおいて、例え
ば「３００ｍ」と記載されているところを「３０ｍ」に
訂正するため、同図中（Ａ）に示すようなジェスチャ入
力を行ったとする。この場合、操作者が編集モード指示
部９１を通じて文字編集モードの指定を行っていれば、
３００ｍの「ｍ」の文字が、恰もワードプロセッサを用
いて編集したときのように左に詰まって表示される（図
１７（ｂ））。しかし、図形編集モードを指定して編集
がされた場合には、編集すべく指定された文字以外の文
字又は図形については、何ら影響を与えないようにする
ため、前記「ｍ」の文字は、左に詰まることなくそのま
まの位置に表示されることになる（図１７（ｃ））。

【００１２】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の手書きデータ編集装置では、操作者が編集
対象に応じて、文字編集モードと、図形編集モードとの
切替えを行わなければならないという問題点を有してい
た。なぜなら、手書きデータの入力直後の時点で、正確
に文字の筆跡データと図形の筆跡データとの分類を行う
ことは事実上不可能であり、適切な編集モードを自動的
に選択することができなかったためである。

【００１３】本発明は上記の問題点に鑑み、手書きデー
タが文字を表す筆跡データか、図形を表す筆跡データで
あるかを、正確に識別することが可能な手書きデータ編
集装置を提供することを目的とする。また、本発明の第
二の目的は、操作者が編集モードを切り替えなくても、
編集対象に応じて適切な編集を行うことができる手書き
データ編集装置を提供することである。

【００１４】

【課題を解決するための手段】上記の問題点を解決する
目的で、本発明に係る手書きデータ編集装置は、手書き
入力された筆跡データを編集する手書きデータ編集装置
であって、筆跡データを手書き入力するストローク入力
手段と、筆跡データの編集を行う場合に、どの筆跡デー
タを編集の対象とするかの指示と、編集内容の指示とを
表す編集指示データを入力する編集指示入力手段と、筆
跡データが、文字を構成する筆跡データか、図形を構成
する筆跡データかを、所定の規則に従って判定する判定
手段と、文字を構成する筆跡データを文字グループにグ
ループ化し、図形を構成する筆跡データを図形グループ
にグループ化すると共に、各グループと筆跡データとの
対応関係を表す情報と、各グループを包含する領域に関
する情報とを生成するグループ情報生成手段と、筆跡デ
ータと、前記グループ情報生成手段により生成された情
報とを保持するデータ保持手段と、編集指示データと、
前記データ保持手段に保持される情報とに基づいて、編
集の対象とする一つ又は複数の筆跡データを選択する編
集対象選択手段と、編集指示データと、前記編集対象選
択手段による選択の結果と、前記データ保持手段に保持
される情報とに基づいて、筆跡データの再グループ化を
行う再グループ化手段とを有する。

【００１５】また、前記編集対象選択手段は、編集指示
データから、編集の対象とする筆跡データが包含される
べき領域として指示された選択領域を決定する選択領域
決定部と、選択領域と、文字グループを包含する領域と
の重なり具合を算出し、重なり具合が所定の割合以上で
あれば、当該文字グループを編集対象として選択する文
字グループ選択部と、選択領域と、図形グループを包含
する領域との重なり具合を算出し、重なり具合が所定の
割合以上であれば、当該図形グループを編集対象として
選択する図形グループ選択部とを有することもできる。

【００１６】また、前記図形グループ選択部は、前記文
字グループ選択部により選択された文字グループが存在
しない場合に、図形を構成する筆跡データのうち、選択
領域に含まれる部分を有する筆跡データが存在すれば、
当該筆跡データを編集対象として選択することもでき
る。また、前記グループ情報生成手段は、前記判定手段
により、図形を構成する筆跡データであると判定された
複数の筆跡データが、一つの文字グループとの間で、位
置関係に関する所定の条件を満たす場合に、当該複数の
筆跡データを図形グループにグループ化し、所定の情報
を生成することもできる。

【００１７】また、前記再グループ化手段は、前記判定
手段により図形を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む図形グループが
前記図形グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する図形筆跡保持部
と、前記文字グループ選択部により文字グループが選択
され、かつ、前記図形筆跡保持部に保持されている筆跡
データが存在する場合に、当該筆跡データと、選択され
た文字グループとの位置関係が所定の条件を満たすか否
かを判定する筆跡判定部と、前記筆跡判定部により、所
定の条件を満たすと判定された場合に、当該筆跡データ
を文字を構成する筆跡データと判定し直して、当該文字
グループに編入するグループ再構成部とを有することも
できる。

【００１８】また、前記再グループ化手段は、前記判定
手段により図形を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む図形グループが
前記図形グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する図形筆跡保持部
と、前記文字グループ選択部により文字グループが選択
されておらず、かつ、前記図形筆跡保持部に保持されて
いる筆跡データが存在する場合に、当該筆跡データとの
位置関係が、所定の条件を満たす文字グループが存在す
るか否かを判定する筆跡判定部と、前記筆跡判定部によ
り、存在すると判定された場合に、当該筆跡データを文
字を構成する筆跡データと判定し直して、当該文字グル
ープに編入するグループ再構成部とを有することもでき
る。

【００１９】また、前記再グループ化手段は、前記判定
手段により文字を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む文字グループが
前記文字グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する文字筆跡保持部
と、前記図形グループ選択部により図形グループが選択
され、かつ、前記文字筆跡保持部に保持されている筆跡
データが存在する場合に、当該筆跡データと、選択され
た図形グループとの位置関係が所定の条件を満たすか否
かを判定する筆跡判定部と、前記筆跡判定部により、所
定の条件を満たすと判定された場合に、当該筆跡データ
を図形を構成する筆跡データと判定し直して、当該図形
グループに編入するグループ再構成部とを有することも
できる。

【００２０】また、前記再グループ化手段は、前記判定
手段により文字を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む文字グループが
前記文字グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する文字筆跡保持部
と、前記図形グループ選択部により図形グループが選択
されておらず、かつ、前記文字筆跡保持部に保持されて
いる筆跡データが存在する場合に、当該筆跡データを図
形を構成する筆跡データと判定し直す筆跡再判定部とを
有することもできる。

【００２１】また、前記再グループ化手段はさらに、前
記筆跡再判定部により図形を構成する筆跡データと判定
し直された筆跡データとの位置関係が、所定の条件を満
たす図形グループが存在するか否かを判定する筆跡判定
部と、前記筆跡判定部により、存在すると判定された場
合に、当該筆跡データを、当該図形グループに編入する
グループ再構成部とを有することもできる。

【００２２】また、前記手書きデータ編集装置はさら
に、編集指示データが指示する編集内容に基づいて、デ
ータ保持手段に保持されている筆跡データを編集する筆
跡データ編集手段を有し、前記筆跡データ編集手段は、
編集の対象として文字グループが選択された場合と、図
形グループが選択された場合とで、編集方法を自動的に
切り替えることもできる。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。図１は、本発明の一実
施の形態における手書きデータ編集装置の構成を示すブ
ロック図である。同図に示される手書きデータ編集装置
は、筆跡データ入力部１、筆跡データ抽出部２、筆跡デ
ータ振り分け部３、筆跡データ管理部４、表示部５、筆
跡データ保持部６、編集対象選択部７、筆跡データ編集
部８、文字図形分離部９、入力時グループ構成部１０、
編集時グループ構成部１１を備える。

【００２４】筆跡データ入力部１としては、ペン、タブ
レット等の入力デバイスが使用できるが、ストロークを
検知することができるものであれば、他の入力デバイス
を用いてもよい。筆跡データ抽出部２は、筆跡データ入
力部１を通じて入力されたストロークから、ストローク
を構成する点列の点列データを抽出する。

【００２５】筆跡データ振り分け部３は、筆跡データ抽
出部２にて抽出された点列データを、筆跡データと編集
指示データに振り分け、筆跡データを筆跡データ管理部
４に送り、編集指示データを編集対象選択部７に送る。
ここで、筆跡データ入力部１により、筆跡データを入力
するか、編集指示データを入力するかは、操作者が、例
えばペンに備えられているスイッチを用いて切り替える
ことができる。

【００２６】筆跡データ管理部４は、筆跡データ振り分
け部３から送られた筆跡データの管理を行う。筆跡デー
タは、筆跡データ保持部６に保持されると同時に表示部
５に表示される。筆跡データ保持部６は、筆跡データ
や、筆跡データを文字、行、図形等にグループ分けした
文字グループ、図形グループに関する情報を保持する。

【００２７】図２は、筆跡データ保持部６に保持される
文字グループのデータ構造を示す図である。同図に示さ
れるように、文字グループは、筆跡データの集合である
文字データ、文字データの集合である行データというよ
うに階層的に管理がなされている。以下、保持されてい
るデータの内容について説明する。行データには、複数
の文字から構成されている行（例えば行データ２１）
と、一文字で構成されている行（例えば行データ２２）
とが存在し得る。ここでは、例として行データ２１を用
いて行データのデータ構造を説明する。

【００２８】行データ２１は、外接矩形情報２１１、文
字数２１２、文字データへのポインタ２１３、次行デー
タへのポインタ２１４、前行データへのポインタ２１５
を含む。外接矩形情報２１１は、行データ２１に外接す
る矩形の座標を表す情報である。例えば図３に示すよう
な行データにおいて、当該行データに外接する矩形の四
隅の点の絶対座標がそれぞれ(X1,Y1)、(X1,Y2)、(X2,Y
1)、(X2,Y2)であるとすると、外接矩形情報は(X1,Y1)-
(X2,Y2)というように表される。なお、同図に示される
外接矩形において座標が(X1,Y1)である点、即ち、上辺
と左辺との交点を、以下の説明において、外接矩形の
「原点」と呼ぶことにする。

【００２９】文字数２１２は、当該行を構成する文字数
を保持する。文字データへのポインタ２１３は、行を構
成する文字の一つについて、文字データの先頭のアドレ
スを保持する。文字データへのポインタ２１３に保持さ
れるアドレスを有する文字は、例えば、行を構成する文
字の中で行の原点に最も近い文字とすることが考えられ
る。

【００３０】次行データへのポインタ２１４、前行デー
タへのポインタ２１５は、行データ同士を結び付けるた
めのポインタである。なお、図中点線の矢印は、接続す
る先の表示を省略していることを表す。次に文字データ
のデータ構造について、文字データ３１を例として説明
する。文字データ３１は、外接矩形情報３１１、ストロ
ーク数３１２、筆跡データへのポインタ３１３、次文字
データへのポインタ３１４、前文字データへのポインタ
３１５を含む。

【００３１】外接矩形情報３１１は、文字データ３１に
外接する矩形の座標を表す情報である。外接矩形情報３
１１のデータ構造は、行データ２１の外接矩形情報２１
１と同一であるが、ここでの座標としては当該文字を含
む行の外接矩形の原点からの相対座標が保持される。ス
トローク数３１２は、文字を構成するストロークの数を
保持する。

【００３２】筆跡データへのポインタ３１３は、当該文
字を構成するストロークの中で最初に抽出されたストロ
ークを表す筆跡データの先頭のアドレスを保持する。次
文字データへのポインタ３１４、前文字データへのポイ
ンタ３１５は、文字データ同士を繋げるために使用され
る。即ち、一つの行が複数の文字から構成されているよ
うな場合であれば、当該行を構成する文字同士を結び付
けるために使用される。なお、図中点線の矢印は、接続
する先の表示を省略していることを表す。

【００３３】最後に筆跡データのデータ構造について説
明する。筆跡データは、図２に示されるように、文字デ
ータのそれぞれについて、当該文字を構成するストロー
クについての情報を保持する。筆跡データ４１は、次筆
跡データへのポインタ４１１、座標点数４１２、座標デ
ータ４１３を含む。なお、本実施の形態では、筆跡デー
タについては外接矩形情報を保持していないが、用途、
目的等によっては、保持させることも可能である。

【００３４】次筆跡へのポインタ４１１は、当該筆跡デ
ータの次に抽出された筆跡データの先頭のアドレスを保
持する。なお、図中点線の矢印は、接続する先の表示を
省略していることを表す。座標点数４１２は、当該スト
ロークから抽出された座標点の個数を保持する。従っ
て、座標点数４１２として保持される数は、座標データ
４１３に保持される座標の個数と一致する。

【００３５】座標データ４１３は、当該ストロークから
抽出された座標点の座標データを保持する領域である。
ここでの座標としては、当該ストロークを含む文字の外
接矩形の原点からの相対座標が保持される。以上に説明
したように、本実施の形態の手書きデータ編集装置にお
いては、ストローク、文字、行等について、情報を重複
して保持することなく、ポインタを用いて結び付けるこ
とにより階層的に管理を行っている。

【００３６】次に、図形グループのデータ構造について
説明する。図４は、図形グループのデータ構造を示す図
である。同図に示されるように、図形グループは、スト
ロークの集合である図形データ、図形データの集合であ
る図形グループというように階層的に管理されている。
図形グループは、複数の図形から構成される場合（５
１）と一つの図形から構成される場合（５２）とがあ
る。以下、図形グループ５１を例として、図形グループ
のデータ構造について説明する。

【００３７】図形グループ５１は、外接矩形情報５１
１、図形数５１２、図形データへのポインタ５１３、次
図形グループへのポインタ５１４、前図形グループへの
ポインタ５１５を含む。外接矩形情報５１１について
は、行データ２１の外接矩形情報２１１と同一であるの
で、詳細な説明は省略するが、行データ２１の場合と同
様に外接矩形の絶対座標が保持される。

【００３８】図形数５１２は、図形グループを構成する
図形数を保持する。図形データへのポインタ５１３は、
当該図形グループを構成する図形データの中の一つにつ
いて、図形データの先頭のアドレスを保持する。次図形
グループへのポインタ５１４、前図形グループへのポイ
ンタ５１５は、図形グループ同士を結び付けるために使
用される。なお、図中点線の矢印は、接続する先の表示
を省略していることを表す。

【００３９】次に図形データのデータ構造について、図
形データ６１を例として説明する。図形データ６１は、
外接矩形情報６１１、ストローク数６１２、筆跡データ
へのポインタ６１３、次図形データへのポインタ６１
４、前図形データへのポインタ６１５を含む。外接矩形
情報６１１は、図形データ６１に外接する矩形の座標を
表す情報である。外接矩形情報のデータ構造は、行デー
タ２１の外接矩形情報２１１と同一であるが、ここでの
座標としては、当該図形データを含む図形グループの外
接矩形の原点からの相対座標が用いられる。

【００４０】ストローク数６１２は、図形を構成するス
トロークの数を保持する。筆跡データへのポインタ６１
３は、当該図形を構成するストロークのうち、最初に抽
出されたストロークの筆跡データを保持する領域の先頭
のアドレスを保持する。次図形データへのポインタ６１
４、前図形データへのポインタ６１５は、図形データ同
士を繋げるために使用される。なお、図中点線の矢印
は、接続する先の表示を省略していることを表す。

【００４１】筆跡データ７１のデータ構造は、文字デー
タを構成する筆跡データ４１と同一であるので、ここで
の説明は省略する。編集対象選択部７は、編集指示デー
タの内容から、操作者がどの筆跡データに対して、どの
ような編集指示を行っているかを識別し、筆跡データ編
集部８及び編集時グループ構成部１１に通知する。

【００４２】筆跡データ編集部８は、編集対象選択部７
の通知を受けて、筆跡データ管理部４に対し、筆跡デー
タ保持部６の内容の変更を指示する。文字図形分離部９
は、筆跡データ管理部４から、入力された筆跡データを
受け取り、各々の筆跡データが、文字を構成するストロ
ークの筆跡データか、図形を構成するストロークの筆跡
データかを判定し、両者を分離する。具体的な判定方法
については後述する。

【００４３】入力時グループ構成部１０は、文字を構成
するストロークの筆跡データについて、文字の切り出し
や、行の切り出し等の技術を用いて文字、行等の文字グ
ループにグループ化すると共に、図形を構成するストロ
ークの筆跡データに対して、所定の処理を行うことによ
り図形グループにグループ化する。入力時グループ構成
部１０の詳細な処理内容については後述する。

【００４４】編集時グループ構成部１１は、編集対象選
択部７から通知された編集指示データの内容等に基づい
て、文字グループ及び図形グループの再グループ化を行
う。図５は、本実施の形態の手書きデータ筆跡装置にお
いて、手書きデータが入力されたときの、最初の処理で
ある入力時グループ構成処理の詳細な処理内容を示すフ
ロ−チャ−トである。

【００４５】この入力時グループ構成処理は、例えば筆
跡データ入力部１として備えられているペン等に備えら
れているスイッチの切替えによって、操作者が編集指示
データの入力を行う前のタイミングで行うことが可能で
あるが、処理を行うタイミングは、特に限定されるもの
ではなく、タイマを用いて定期的に行うことや、操作者
の指示入力を待って行うことも可能である。

【００４６】入力時グループ構成処理においては、ま
ず、ループＡの処理を筆跡データ保持部６に保持されて
いる全ての筆跡データについて行う（Ｓ１０１）。ルー
プＡにおいては、まず文字図形分離部９が、筆跡データ
管理部４を通じて、筆跡データ保持部６から筆跡データ
を取り出し（Ｓ１０２）、取り出された筆跡データが、
文字を表すストロークのものであるか、図形を表すスト
ロークのものであるかを判別する（Ｓ１０３）。判別の
方法としては、例えば、特開昭６０−１３６８９０号公
報に開示されている方法を使用することができる。

【００４７】取り出された筆跡データが文字のストロー
クを表すものであれば（Ｓ１０４：Ｙｅｓ）、入力時グ
ループ構成部１０が、文字の切り出し（Ｓ１０５）、行
の切り出し（Ｓ１０６）を行い、切り出し処理の結果を
筆跡データ管理部４に通知する。筆跡データ管理部４
は、当該通知に従って筆跡データ保持部６の内容を追加
又は変更する（Ｓ１０７）。前述の如く、文字の切り出
し及び行の切り出しは公知の技術であるので、ここでの
詳細な説明は省略する。

【００４８】取り出された筆跡データが図形のストロー
クを表すものであれば（Ｓ１０４：Ｎｏ）、入力時グル
ープ構成部１０が、図形ストロークの初期グループ化処
理を行う（Ｓ１０８）。図形ストロークの初期グループ
化処理においては、ストロークの交差判定や、ストロー
クの外接矩形の重なり具合などの判定により図形を表す
ストロークの筆跡データを図形グループとしてグループ
化する。ここで、グループ化されたストロークについて
は、複数の図形から構成される図形グループとして筆跡
データ保持部６に登録され、その他の図形については、
一つの図形から構成される図形グループとして筆跡デー
タ保持部６に登録されることになる。

【００４９】以上の処理を全ての筆跡データについて行
うと（Ｓ１０９）、次に、ループＢの処理を、筆跡デー
タ保持部６に登録されている全ての行データについて行
う（Ｓ１１０）。ループＢにおいては、まず入力時グル
ープ構成部１０が、筆跡データ管理部４を通じて筆跡デ
ータ保持部６から行データを一つ取り出す（Ｓ１１
１）。そして、一つの図形グループとして連結すべき図
形グループを格納するバッファ領域（以下「連結図形バ
ッファ」と呼ぶ）を初期化する（Ｓ１１２）。連結図形
バッファは、図形グループを一つだけ格納できる領域と
して定義される。

【００５０】連結図形バッファの初期化を終了すると、
入力時グループ構成部１０は、筆跡データ保持部６に登
録されている全ての図形グループについて、ループＣの
処理を行う（Ｓ１１３）。ループＣの処理においては、
入力時グループ構成部１０は、筆跡データ管理部４を通
じて筆跡データ保持部６に登録されている図形グループ
を一つ取り出す（Ｓ１１４）。そして、取り出された図
形グループの外接矩形と、先に取り出されている行デー
タの外接矩形情報を参照して、二つの外接矩形の重なり
具合を算出する（Ｓ１１５）。

【００５１】具体的には、行の外接矩形と図形グループ
の外接矩形とが重なり合っている部分の面積をＡとし、
Ａを行の外接矩形の面積Ｂで除することにより、重なり
具合を算出する。ここで、図６に示されるように、二つ
の外接矩形の重なる部分の座標値(xs3,ys3)-(xe3,ye3)
は、行の外接矩形情報を(xs1,ys1)-(xe1,ye1)、図形グ
ループの外接矩形情報を(xs2,ys2)-(xe2,ye2)とする
と、以下の式（１）〜（４）に従って算出される。

【００５２】xs3=max(xs1,xs2) （１） ys3=max(ys1,ys2) （２） xe3=min(xe1,xe2) （３） ye3=min(ye1,ye2) （４） ここで、max(a,b)は、aとbとから大きい方の値を取る関
数であり、min(a,b)は、aとbとから小さい方の値を取る
関数である。

【００５３】従って、重なり具合は以下の式に従って算
出される。 重なり具合=Ａ／Ｂ=(xe3-xs3)*(ye3-ys3)/(xe2-xs2)*(ye2-ys2) （５） （但し、xe3<xs3 または ye3<ys3 の場合はＡ／Ｂ＝
０とする） 重なり具合が所定の比率（以下「図形グループ化比」と
呼ぶ）を超えている場合（Ｓ１１６：Ｙｅｓ）には、取
り出された図形グループを連結図形バッファに格納す
る。なお、図形グループ化比としては、本実施の形態で
は０．１程度の値に設定するが、この値は可変である。
ここで、それまでに連結図形バッファに図形グループが
格納されていない場合には、新たに図形グループの格納
を行えば良いが、既に図形グループが格納されている場
合は、図形グループの連結処理を行う（Ｓ１１７）。図
形グループの連結処理とは、それまで連結図形バッファ
に格納されていた図形グループと、取り出されている図
形グループとを、一つの図形グループとして扱うように
する処理である。即ち、前記二つの図形グループを一つ
の図形グループに連結した場合の外接矩形情報を算出
し、連結図形バッファに格納されている図形グループの
外接矩形情報を変更すると共に、当該図形グループを構
成する図形数の変更を行う。

【００５４】連結後の外接矩形情報(xs6,ys6)-(xe6,ye
6)は、連結前に連結図形バッファに格納されている図形
グループの外接矩形情報が(xs4,ys4)-(xe4,ye4)であ
り、取り出されている図形グループの外接矩形情報が(x
s5,ys5)-(xe5,ye5)であるとすると、以下の式（６）〜
（９）に基づいて算出できる。 xs6=min(xs4,xs5) （６） ys6=min(ys4,ys5) （７） xe6=max(xe4,xe5) （８） ye6=max(ye4,ye5) （９） 入力時グループ構成部１０は、連結図形バッファの内容
の変更処理を終了すると、筆跡データ管理部４を通じ
て、取り出されている図形グループの情報を筆跡データ
保持部６から削除する（Ｓ１１８）。

【００５５】以上の処理を全ての図形グループについて
行うと（Ｓ１１９）、入力時グループ構成部１０は、連
結図形バッファに図形グループが格納されているか否か
を判定し（Ｓ１２０）、格納されていれば、筆跡データ
管理部４を通じて、連結図形バッファに格納されている
図形グループに基づいて筆跡データ保持部６の内容を変
更する（Ｓ１２１）。具体的には、連結図形バッファの
図形グループを書き戻し、ポインタの内容の変更等を行
うことにより、連結された図形グループを保存する。

【００５６】これまでの処理を全ての行グループについ
て行う（Ｓ１２２）ことにより、入力時グループ構成処
理を終了する。次に操作者から、手書きデータの編集指
示がなされた場合の手書きデータ編集装置の処理内容に
ついて説明する。図７は、操作者から編集指示がなされ
た場合の、手書きデータ編集装置の詳細な処理内容を示
すフロ−チャ−トである。

【００５７】まず、編集対象選択部７が、編集指示デー
タから、どのような編集指示がなされているかを認識す
る（Ｓ２０１）。次に、編集対象選択部７は、編集指示
が編集対象を必要とする編集指示か否かを判定する（Ｓ
２０２）。具体的には、筆跡データの削除、拡大、縮
小、並びかえ等、編集の対象となる文字又は図形を必要
とする指示か、編集作業の取消指示等、編集対象を必要
としない指示かを判定する。

【００５８】編集対象を必要とする編集指示であると判
定された場合のみ、編集対象選択処理（Ｓ２０３）及び
グループ再構成処理（Ｓ２０４）が実行される。図８及
び図９は、編集対象選択処理の詳細な処理内容を示すフ
ロ−チャ−トである。編集対象選択処理においては、編
集対象選択部７が、まず、編集対象選択処理及びグルー
プ再構成処理に使用されるバッファ領域の内容のクリア
処理を行う（Ｓ３０１）。ここでクリアされるバッファ
領域としては、編集対象として選択された図形グループ
を格納するバッファ（以下「選択図形バッファ」と呼
ぶ）、編集対象として選択された行グループを格納する
バッファ（以下「選択行バッファ」と呼ぶ）、編集対象
として選択された文字グループを格納するバッファ（以
下「選択文字バッファ」と呼ぶ）、編集指示データによ
り指示された範囲と重なってはいるものの、編集対象と
して選択されたとは判断されない図形グループにおい
て、当該指示された範囲と一部重なり合っているストロ
ークの筆跡データを格納するバッファ（以下「図形筆跡
バッファ」と呼ぶ）、編集指示データにより指示された
範囲と重なってはいるものの、編集対象として選択され
たとは判断されない文字グループにおいて、所定の割合
以上、当該指示された範囲と重なり合っているストロー
クの筆跡データを格納するバッファ（以下「文字筆跡バ
ッファ」と呼ぶ）の五種類がある。

【００５９】上記五種のバッファ領域のクリアを終了す
ると、編集対象選択部７は、編集指示データから、編集
対象として選択された範囲の外接矩形情報を算出する
（Ｓ３０２）。具体的には、編集指示データのＸ座標と
Ｙ座標との最大値と最小値とを抽出することにより、編
集対象選択のための領域の外接矩形情報を生成する。以
下、編集対象として選択された領域の外接矩形の範囲内
を「選択領域」と称することとする。ここで、編集指示
データとは、例えば図１７（ａ）を用いて説明した例に
おいて、筆跡データの削除を指示する「×」印の如きス
トロークをいい、「×」の部分の外接矩形の範囲内が選
択領域ということになる。

【００６０】なお、本実施の形態においては、選択領域
を、選択された領域の外接矩形の範囲内とするが、実施
に際しては、外接矩形ではなく、多角形の範囲内とした
り、閉曲線データの範囲内とすることも可能である。選
択領域が確定すると、筆跡データ保持部６に格納されて
いる全ての図形グループについてループＤの処理が行わ
れる（Ｓ３０３）。ループＤの処理において、編集対象
選択部７は、筆跡データ管理部４を通じて、筆跡データ
保持部６から図形グループを一つ取り出す。そして、取
り出された図形グループの外接矩形と選択領域との重な
り具合を算出する（Ｓ３０４）。ここでは、両者の重な
り具合は、図形グループの外接矩形と選択領域とが重な
り合っている範囲の面積を、図形グループの外接矩形の
面積で除することによって算出する。従って、矩形の重
なり具合の算出は、上記式（１）〜（５）に準じた方法
で行うことが可能である。

【００６１】算出された重なり具合（以下「図形重複領
域比」と呼ぶ）が、所定の比率（以下「図形選択比」と
呼ぶ）を上回る場合（Ｓ３０５：Ｙｅｓ）には、編集対
象選択部７は、当該図形グループは操作者による編集の
対象として選択されたと判定し、当該図形グループを選
択図形バッファに格納する（Ｓ３０６）。図形選択比と
しては、本実施の形態では、０．８程度の値を用いる。
即ち、図形の外接矩形と選択領域とが八割程度重なり合
っている場合に編集対象として選択されたと判定する
が、図形選択比は可変であり０．８に限定されるもので
はない。

【００６２】図形重複領域比が図形選択比以下である場
合には、次に、編集対象選択部７は、図形重複領域比が
０より大きいか否か大きいか否かを判定する（Ｓ３０
７）。ここで、図形重複領域比が０より大きい場合に
は、取り出された図形グループは操作者からの編集対象
として選択されたわけではないが、選択領域と一部重な
っていることを意味する。この場合、編集対象選択部７
は、当該図形グループに属する各々のストロークについ
て、選択領域との重なり具合を調べるべく、当該図形グ
ループに属する全てのストロークについて、ループＥの
処理を行う（Ｓ３０８）。

【００６３】ループＥの処理においては、編集対象選択
部７は、まず当該図形グループに属する筆跡データを一
つ取り出す。そして、取り出された筆跡データの各座標
点の間を補間した直線が選択領域を通過するか否かを判
定する（Ｓ３０９）。ここで、通過とは、必ずしも貫通
することを意味せず、筆跡データの各座標点の間を補間
した直線が、選択領域内に入っていれば通過しているも
のと判定する。なお、本実施の形態では、選択領域とし
て外接矩形を用いているため、通過の判定は容易である
が、例えば閉曲線データとした場合の前記通過の判定方
法については、「佐藤、村瀬、中川：”表示一体型タブ
レット上でのペンの囲みに対する筆跡パタンの包含判定
アルゴリズム”、情報処理学会第４４回全国大会 2N-2,
2,pp339-340(1992)」に開示されている方法が使用でき
る。

【００６４】選択領域を通過すると判定されたストロー
クの筆跡データは、図形筆跡バッファに格納される。図
形筆跡バッファに格納された筆跡データとは、当該筆跡
データが属する図形グループが操作者により編集対象と
して選択されたわけではないにもかかわらず、選択領域
に入っているストロークの筆跡データであることを意味
する。編集時グループ構成部１１は、このようなストロ
ークの存在から、図形グループの再グループ化の必要性
を判断するのである。

【００６５】上記のような処理を、取り出された図形グ
ループに属する全ての筆跡データについて行い（Ｓ３１
１）、さらにステップＳ３０４からステップＳ３１１ま
での処理を全ての図形グループについて行った後（Ｓ３
１２）、図９のフロ−チャ−トへと移行する。図９のフ
ロ−チャ−トにおいて、編集対象選択部７は、ループＦ
の処理を筆跡データ保持部６に格納されている全ての行
データについて行う（Ｓ３１３）。まず、編集対象選択
部７は、筆跡データ管理部４を通じて筆跡データ保持部
６から行を一つ取り出す。そして取り出された行の外接
矩形と、選択領域との重なり具合を算出する（Ｓ３１
４）。ここでの重なり具合の算出は、行の外接矩形と選
択領域とが重なり合っている範囲の面積を、行の外接矩
形の面積で除することによって行う。従って、具体的な
算出は、式（１）〜（５）に準ずる方法によって行うこ
とが可能である。なお、算出された重なり具合を、以下
「行重複領域比」と称する。

【００６６】次に編集対象選択部７は、行重複領域比が
所定の比率（以下「行選択比」と呼ぶ）を上回っている
か否かを判定する（Ｓ３１５）。行重複領域比が行選択
比を上回っていれば、取り出された行は、操作者の編集
指示の対象として選択されているものと判断され、当該
行の行データが選択行バッファに格納される（Ｓ３１
６）。なお、行選択比としては、本実施の形態では、
０．８程度の値を設定するが、この値は可変である。

【００６７】行重複領域比が行選択比以下である場合に
は、編集対象選択部７は、行重複領域比が０より大きい
か否かを判定する（Ｓ３１７）。ここで、行重複領域比
が０より大きいということは、取り出された行が編集対
象として選択されていないにもかかわらず、行の一部が
選択領域と重なり合っている事を意味する。編集対象選
択部７は、このような場合には、当該行に含まれている
各々の文字について、文字の外接矩形と選択領域との重
なり具合を調べる。即ち、ループＧの処理を、当該行を
構成する全ての文字について行う（Ｓ３１８）。

【００６８】編集対象選択部７は、まず、当該行を構成
する文字の文字データを筆跡データ保持部６から一つ取
り出す。そして、取り出された文字データの外接矩形と
選択領域との重なり具合（以下「文字重複領域比」と呼
ぶ）を算出する（Ｓ３１９）。ここでの重なり具合の算
出は、文字データの外接矩形と選択領域とが重なり合う
部分の面積を、文字データの外接矩形の面積で除するこ
とによって行う。従って、具体的な重なり具合の算出
は、上記式（１）〜（５）に準ずる方法により行うこと
が可能である。

【００６９】次に、編集対象選択部７は、文字重複領域
比が所定の比率（以下「文字選択比」と呼ぶ）を上回っ
ているか否かを判定し（Ｓ３２０）、文字重複領域比が
文字選択比を上回っていれば、当該文字が操作者からの
編集の対象として選択されたものとみなして、当該文字
データを選択文字バッファに格納する（Ｓ３２１）。こ
こで、文字選択比としては、本実施の形態では０．８程
度の値を設定するが、この値は可変である。

【００７０】一方、文字重複領域比が、文字選択比以下
であった場合には、文字重複領域比が０より大きいか否
かを判定する（Ｓ３２２）。ここで、文字重複領域比
が、０より大きいということは、取り出された文字が編
集対象として選択されているわけではないにもかかわら
ず、文字の外接矩形の一部が選択領域と重なり合ってい
ることを意味する。このような場合、編集対象選択部７
は、当該文字を構成する全ての筆跡データについてルー
プＨの処理を行う（Ｓ３２３）。即ち、当該筆跡データ
の各座標点の間を補間した直線が選択領域を通過してい
るか否かを判定し（Ｓ３２４）、選択領域を通過してい
る筆跡データを文字筆跡バッファに格納する（Ｓ３２
５）。

【００７１】文字筆跡バッファに格納された筆跡データ
とは、当該筆跡データが属する文字グループが、操作者
から編集対象として選択されたわけではないにもかかわ
らず、選択領域と一部重なり合っているストロークの筆
跡データであることを意味する。編集時グループ構成部
１１は、このようなストロークの存在から、文字グルー
プの再グループ化の必要性を判断するのである。

【００７２】以上のような処理を、取り出された文字を
構成する全てのストロークについて行い（Ｓ３２６）、
さらに、取り出された行を構成する全ての文字について
行い（Ｓ３２７）、さらに全ての行について行う（Ｓ３
２８）。全ての処理が終了すると、編集対象選択処理を
終了し、図７のフロ−チャ−トに戻って、グループ再構
成処理へと移行する（Ｓ２０４）。

【００７３】図１０〜図１２は、グループ再構成処理の
詳細な処理内容を示すフロ−チャ−トである。グループ
再構成処理においては、編集時グループ構成部１１は、
まず図形筆跡バッファが空であるか否かを判定する（Ｓ
４０１）。図形筆跡バッファが空である場合には、図１
２のフロ−チャ−トに移ってステップＳ４２０に進む
が、図形筆跡バッファに筆跡データが存在する場合に
は、図形筆跡バッファから、先頭の筆跡データを取り出
す（Ｓ４０２）。

【００７４】編集時グループ構成部１１は、次に、選択
文字バッファが空であるか否かを判定する（Ｓ４０
３）。ここで、選択文字バッファの内容を参照するの
は、編集対象として選択されている文字が存在するとい
うことは、当該選択されている文字と、図形筆跡バッフ
ァに格納されている筆跡データとを連結できる可能性を
示唆するものであるからである。別の言い方をすれば、
本来、当該選択されている文字を構成するストロークと
判定されるべきものが、図形のストロークであると誤判
断されている可能性を示唆するものであるからである。

【００７５】まず、選択文字バッファに文字が存在する
場合（Ｓ４０３：Ｙｅｓ）の処理について説明する。編
集時グループ構成部１１は、まず選択文字バッファか
ら、先頭の文字データを取り出す（Ｓ４０４）。そして
図形筆跡バッファから取り出された筆跡データの外接矩
形と、選択文字バッファから取り出された文字データの
外接矩形とを連結して一つの外接矩形（以下「文字連結
矩形」と呼ぶ）とし、文字連結矩形と、当該文字データ
の外接矩形との面積の比（以下「文字連結矩形比」と呼
ぶ）を算出する（Ｓ４０５）。外接矩形の連結は、前記
式（６）〜（９）を用いて行うことができる。文字連結
矩形の面積を、当該文字データの外接矩形の面積で除す
ることにより文字連結矩形比を算出する。

【００７６】次に文字連結矩形比が所定の比率（以下
「文字連結比」と呼ぶ）を下回るか否かを判定する（Ｓ
４０６）。ここで、文字連結矩形比が文字連結比を下回
るということは、筆跡データと文字データとを連結して
も、外接矩形の面積がそれほど大きく変化しないことを
意味する。このような場合、編集時グループ構成部１１
は、当該筆跡データは、実は選択された文字を構成する
ストロークであったものであるという判定に基づき、当
該筆跡データを選択された文字データと連結する（Ｓ４
０７）。具体的には筆跡データ保持部６に格納されてい
るデータのポインタの値を変更し、当該筆跡データを、
当該文字を構成する筆跡データとする。

【００７７】その後、図１１のフロ−チャ−トに移行し
て、編集時グループ構成部１１は、図形筆跡バッファか
ら、連結された当該筆跡データを削除し（Ｓ４０８）、
ステップＳ４０１へと戻る。ステップＳ４０６におい
て、文字連結矩形比が文字連結比以上であった場合に
は、選択文字バッファに格納されている他の文字につい
て同様の判定を行うべく、ステップＳ４０９へと進む。
ステップＳ４０９においては、選択文字バッファに次の
文字グループが存在するか否かを判定し、次の文字グル
ープが存在すれば、次の文字データを取り出して（Ｓ４
１０）、ステップＳ４０５へと戻る。

【００７８】選択文字バッファに格納されている全ての
文字について、上記の判定を行い、何れの文字とも連結
できなかった場合（Ｓ４０９：Ｎｏ）、及びステップＳ
４０３において選択文字バッファに文字が存在しないと
判定された場合には、図１１のフロ−チャ−トに移行し
て、ステップＳ４１１へと進み、図形筆跡バッファに存
在する筆跡データと、行との連結可能性について調査す
る。

【００７９】編集時グループ構成部１１は、まず、筆跡
データ管理部４を通じて、筆跡データ保持部６から行を
一つ取り出す（Ｓ４１１）。次に当該行を構成する文字
群について、その文字の外接矩形の高さの平均（以下
「文字矩形平均高さ」と呼ぶ）及び幅の平均（以下「文
字矩形平均幅」と呼ぶ）を算出する（Ｓ４１２）。さら
に、図形筆跡バッファから取り出された筆跡データの外
接矩形の高さと文字矩形平均高さとの比の値（以下「平
均高さ比」と呼ぶ）及び当該筆跡データの幅と文字矩形
平均幅との比の値（以下「平均幅比」と呼ぶ）を算出
し、平均高さ比が所定の比率（以下「連結高さ比」と呼
ぶ）より小さく、かつ、平均幅比が所定の比率（以下
「連結幅比」と呼ぶ）より小さいか否かを判定する（Ｓ
４１３）。これは、行に連結すべき文字を構成するスト
ロークであれば、当該ストロークの高さは、行の高さと
比較して一定の範囲内にあり、また、当該ストロークの
幅も、行を構成する文字の平均幅と比較して一定の範囲
内に納まるであろうという仮定に基づく。なお、連結高
さ比及び連結幅比としては、本実施の形態では、１．２
程度の値を設定するが、この値は可変である。

【００８０】上記高さ及び幅に関する条件を満たした場
合（Ｓ４１３：Ｙｅｓ）には、当該ストロークの外接矩
形と、行の外接矩形とを連結して一つの外接矩形（以下
「行連結矩形」と呼ぶ）とし、行連結矩形の面積を、当
該行データの外接矩形の面積で除した値（以下「行連結
矩形比」と呼ぶ）を算出するとともに、行連結矩形の幅
を当該行の外接矩形の幅で除した値（以下「行連結矩形
幅比」と呼ぶ）及び行連結矩形の高さを当該行の外接矩
形の高さで除した値（以下「行連結矩形高さ比」と呼
ぶ）を算出する（Ｓ４１４）。

【００８１】そして、行連結矩形比が所定の比率（以下
「行連結比」と呼ぶ）を下回り、行連結矩形幅比が所定
の比率（以下「行連結幅比」と呼ぶ）を下回り、かつ、
行連結矩形高さ比が所定の比率（以下「行連結高さ比」
と呼ぶ）を下回るか否かを判定する（Ｓ４１５）。な
お、行連結比としては、本実施の形態では１．６程度の
値を設定し、行連結幅比及び行連結高さ比としては、
１．５程度の値を設定するが、この値は可変である。

【００８２】ここで、行連結矩形比が行連結比を下回る
ということは、筆跡データと行データとを連結しても、
外接矩形の面積がそれほど大きく変化しないことを意味
する。また、行連結矩形幅比が行連結幅比を下回るとい
うことは、筆跡データと行データとを連結しても、外接
矩形の幅がそれほど大きく変化しないことを意味し、さ
らに、行連結矩形高さ比が行連結高さ比を下回るという
ことは、筆跡データと行データとを連結しても、外接矩
形の高さがそれほど大きく変化しないことを意味する。
このような場合、編集時グループ構成部１１は、当該筆
跡データは、実は行を構成する文字のストロークであっ
たものであるという判定を行い、当該筆跡データを新た
な文字データとするとともに、当該行データに編入する
（Ｓ４１６）。具体的には筆跡データ保持部６に格納さ
れているデータのポインタの値を変更し、当該筆跡デー
タを、文字データとし、当該行データに編入する。この
処理は、例えば、行の先頭又は末尾の文字が、数字等、
比較的形状の単純な文字であり、それが図形のストロー
クであると誤判断されたような場合に、文字のグループ
を正確なものにできるという実益がある。

【００８３】一方、ステップＳ４１３の条件を満たさな
かった場合、及びステップＳ４１５の条件を満たさなか
った場合には、別の行について同様の判定処理を行うべ
く、ステップＳ４１７へと進む。ステップＳ４１７で
は、筆跡データ保持部６に次の行データが格納されてい
るか否かを判定し、次の行データが存在する場合には、
次の行データを取り出して（Ｓ４１８）、ステップＳ４
１２へと戻る。

【００８４】筆跡データ保持部６に格納されている全て
の行について判定を行い、連結可能な行が存在しなかっ
た場合（Ｓ４１７：Ｎｏ）には、図形筆跡バッファから
取り出された当該筆跡データを新たな図形グループと
し、筆跡データ保持部６に格納する（Ｓ４１９）。ここ
で、当該筆跡データを新たな図形グループとするのは、
当該筆跡データの選択のされ方から、操作者が、当該筆
跡データを図形の筆跡データと認識しているという判断
が可能なこと、及び当該筆跡データのみが操作者から編
集対象として選択されていることから、他の図形ストロ
ークとグループ化するのは適当でないということに基づ
く。

【００８５】その後、当該筆跡データを図形筆跡バッフ
ァから削除して（Ｓ４０８）、ステップＳ４０１に戻
る。次にステップＳ４０１において図形筆跡バッファが
空である場合の処理内容について説明する。この場合に
は図１２のフロ−チャ−トへと移行する。編集時グルー
プ構成部１１は、文字筆跡バッファが空であるか否かを
判定する（Ｓ４２０）。文字筆跡バッファが空である場
合（Ｓ４２０：Ｎｏ）には、グループ再構成処理は終了
して図７のフロ−チャ−トに戻る。

【００８６】文字筆跡バッファに筆跡データが格納され
ている場合には、編集時グループ構成部１１は、文字筆
跡バッファから筆跡データを一つ取り出し（Ｓ４２
１）、選択図形バッファが空であるか否かを判定する
（Ｓ４２２）。選択図形バッファに図形データが存在す
る場合（Ｓ４２２：Ｙｅｓ）は、編集時グループ構成部
１１は、文字筆跡バッファから取り出された筆跡データ
と、選択されている図形との連結を試みるべく、選択図
形バッファから図形グループを一つ取り出す（Ｓ４２
３）。そして、取り出された図形グループの外接矩形
と、文字筆跡バッファから取り出されている筆跡データ
の外接矩形とを連結して一つの外接矩形（以下「図形連
結矩形」と呼ぶ）とし、図形連結矩形の面積を、取り出
された図形グループの外接矩形の面積で除することによ
り、図形連結矩形比を算出する（Ｓ４２４）。外接矩形
の連結は、前記式（６）〜（９）を用いて行うことがで
きる。

【００８７】図形連結矩形比が所定の比率（以下「図形
連結比」と呼ぶ）を下回る場合（Ｓ４２５：Ｙｅｓ）に
は、当該筆跡データを、選択図形バッファから取り出さ
れた図形グループと連結する（Ｓ４２６）。具体的に
は、筆跡データ保持部６のポインタの内容を変更するこ
とにより、当該筆跡データを、選択図形バッファから取
り出された図形グループを構成するものに変更する。な
お、図形連結比として、本実施の形態では１．５程度の
値を用いるがこの値は可変である。

【００８８】さらに、文字筆跡バッファから、当該筆跡
データを削除して（Ｓ４２７）、ステップＳ４２０に戻
る。一方、ステップＳ４２５において、図形連結矩形比
が図形連結比以上である場合には、選択図形バッファに
次の図形グループが存在するか否かを判定し（Ｓ４２
８）、次の図形グループが存在すれば、当該次の図形グ
ループとの連結を試みるべく、当該次の図形グループを
取り出し（Ｓ４２９）、ステップＳ４２４へと戻る。ス
テップＳ４２８にて、選択図形バッファに他の図形グル
ープが存在しない場合には、当該筆跡データを新たな文
字グループとして筆跡データ保持部６に登録し、さら
に、当該登録した文字グループを選択文字バッファに格
納する（Ｓ４３０）。ここで、当該筆跡データを新たな
文字グループとするのは、当該筆跡データの選択のされ
方から、操作者は、当該ストロークを文字のストローク
と認識していると判断できるからである。

【００８９】その後、当該筆跡データを文字筆跡バッフ
ァから削除し（Ｓ４２７）、ステップＳ４２０に戻る。
一方、ステップＳ４２２において選択図形バッファが空
であった場合には（Ｓ４２２：Ｎｏ）、文字筆跡バッフ
ァから取り出された筆跡データの外接矩形と、選択領域
とが重なり合う部分の面積を、当該筆跡データの外接矩
形の面積で除することにより文字筆跡選択比を算出し
（Ｓ４３１）、算出された文字筆跡選択比と、前述の文
字選択比とを比較する（Ｓ４３２）。ここで、文字筆跡
選択比は、当該筆跡データの選択のされ方を表すものと
考えることができる。即ち、文字筆跡選択比が所定の値
以上であれば、操作者は、当該筆跡データの全体を選択
領域としているのであり、このような選択を行うのは、
操作者が当該筆跡データを文字のストロークと認識して
いる結果であると判断できる。逆に文字筆跡選択比が所
定の値より小さければ、ストロークの一部を選択してい
るような場合、即ち、例えばストロークの一部にマーク
付けをしているような選択を行っているのであり、その
ような選択を行うということは、操作者が当該筆跡デー
タを図形のストロークと識別している結果であるという
判断が可能なわけである。

【００９０】以上のような判断に基づき、文字筆跡選択
比が文字選択比以上である場合（Ｓ４３２：Ｎｏ）に
は、ステップＳ４３０へと進み、当該筆跡データを新た
な文字グループとして筆跡データ保持部６に登録し、さ
らに、当該登録した文字グループを選択文字バッファに
格納する。これは、選択された図形が存在しない状態に
おいて、文字グループを構成するものとして認識されて
いる複数のストローク群のうち、一のストロークが意図
的に選択された状態であることから、当該ストロークを
それまでの文字グループから別の文字グループとして再
グループ化するのが適当であるという判断に基づくもの
である。

【００９１】また、ステップＳ４３２において、文字筆
跡選択比が文字選択比を下回っていた場合には、編集時
グループ構成部１１は、筆跡データ管理部４を通じて筆
跡データ保持部６に登録されている図形グループを一つ
取り出し（Ｓ４３３）、ステップＳ４２４へと進む。こ
れは、前述の如く、操作者が当該ストロークを図形のス
トロークとして編集指示したものと判断するため、ステ
ップＳ４２４において、他の図形グループとの連結可能
性について検討を行うからである。

【００９２】なお、この場合には、ステップＳ４２５に
おいて、図形連結矩形比が図形連結比を下回る場合（Ｓ
４２５：Ｙｅｓ）には、当該筆跡データを、選択図形バ
ッファから取り出された図形グループと連結する（Ｓ４
２６）が、図形連結矩形比が図形連結比以上である場合
（Ｓ４２５：Ｎｏ）には、ステップＳ４２８において、
筆跡データ保持部６に次の図形が存在するか否かを判定
し、筆跡データ保持部６に次の図形が存在する場合にス
テップＳ４２９へと進む。ステップＳ４２９では、筆跡
データ保持部６から次の図形が取り出されることにな
る。

【００９３】ステップ４２１からステップＳ４２７に至
る処理を文字筆跡バッファが空になるまで行い、文字筆
跡バッファが空になると（Ｓ４２０：Ｎｏ）、グループ
再構成処理を終了する。グループ再構成処理を終了する
と、図７のフロ−チャ−トに戻って、選択図形バッファ
が空であるか否かを判定し（Ｓ２０５）、選択図形バッ
ファが空でなければ、選択された図形グループに対して
図形編集処理を行う（Ｓ２０６）。

【００９４】また、図形編集処理を終了すると、選択行
バッファが空であるか否かを判定し（Ｓ２０７）、選択
行バッファが空でなければ選択された行グループに対し
て行編集処理を行う（Ｓ２０８）。さらに、行編集処理
を終了すると、選択文字バッファが空であるか否かを判
定し（Ｓ２０９）、選択文字バッファが空でなければ、
選択された文字に対して文字編集処理を行って（Ｓ２１
０）、編集処理を終了する。なお、図形編集処理、行編
集処理、文字編集処理については、既に公知の技術であ
るので、ここでの詳細な説明は省略する。

【００９５】以上のように構成された手書きデータ編集
装置について、以下、その動作を具体例を用いて説明す
る。図１３は、本発明に係る手書きデータ編集装置にお
いて、文字を構成するストロークが、初期グループ化の
時点で誤って図形のストロークであると分類された場合
の処理内容を示す図である。

【００９６】同図（ａ）は、手書きデータ６０１が、初
期グループ化処理において、内部的に文字６０２、文字
６０３、行６０４及び図形グループ６０５にグループ化
されたことを示している。即ち初期グループ化処理の段
階では、「情」の字の立心偏の縦棒が図形グループの一
部であると誤判断されているわけである。このような状
態において、操作者が同図（ｂ）に示されるように「情
報」の「情」の字を、ジェスチャ認識装置にて編集対象
として選択した場合の本実施の形態の手書きデータ編集
装置の処理内容を、先に説明したフロ−チャ−トに沿っ
て説明する。

【００９７】まず、編集対象選択処理において編集指示
データ６０６の外接矩形を作成し、選択領域を決定する
（Ｓ３０２）。そしてループＤの処理を筆跡データ保持
部６に登録されている全ての図形グループについて行う
が、この例では、図形グループ６０５のみが筆跡データ
保持部６に登録されているため、図形グループ６０５に
ついてのみループＤの処理を行う。

【００９８】ループＤの処理において、編集対象選択部
７は、まず図形グループ６０５の外接矩形と選択領域と
の重なり具合を算出する（Ｓ３０４）。この例では、図
形グループ６０５の約半分が選択領域と重なっているの
で、重なり具合は約０．５と算出される。図形選択比は
０．８であるので、ステップＳ３０５での判定結果はＮ
ｏ、ステップＳ３０７での判定結果はＹｅｓとなり、ス
テップＳ３０８へと進む。

【００９９】ステップＳ３０８からのループＥの処理
は、図形グループ６０５を構成する全ての筆跡データに
ついて行われる。この例では、図形グループ６０５を構
成する筆跡データとして筆跡データ６０７及び筆跡デー
タ６０８が存在する。まず、筆跡データ６０７について
ステップＳ３０９の判定を行う。図１３（ｃ）に示され
るように筆跡データ６０７は、選択領域を通過している
ため、筆跡データ６０７は図形筆跡バッファに格納され
ることになる（Ｓ３１０）。一方筆跡データ６０８は、
選択領域を通過していないため、筆跡データ６０８につ
いては図形筆跡バッファに格納されることなくループＥ
の処理が終了する。

【０１００】図９のフロ−チャ−トに移って、筆跡デー
タ保持部６に登録されている全ての行データについてル
ープＦの処理が行われる（Ｓ３１３）。この例では、行
データ６０４のみが登録されているため、行データ６０
４のみについてループＦの処理が行われる。ループＦで
は、まず、行データ６０４の外接矩形と選択領域の重な
り具合が算出される（Ｓ３１４）。この例では、行デー
タ６０４の約半分が選択領域と重なっているので、重な
り具合は約０．５と算出される。行選択比は約０．８で
あるので、ステップＳ３１５での判定結果はＮｏ、ステ
ップＳ３１７での判定結果はＹｅｓとなり、ステップＳ
３１８へと進む。

【０１０１】その後、行データ６０４を構成する全ての
文字についてループＧの処理が行われる。この例では、
行データ６０４を構成する文字６０２及び文字６０３に
ついてループＧの処理が行われる。まず、文字６０２の
外接矩形と選択領域との重なり具合が算出される（Ｓ３
１９）。この例では、文字６０２の外接矩形と選択領域
とは、ほぼ一致しているため、文字６０２についてのス
テップＳ３２０の判定結果がＹｅｓとなり、文字６０２
の文字データが選択文字バッファに格納される（Ｓ３２
１）。一方、文字６０３については、文字６０３の外接
矩形と選択領域とが全く重なっていないため、ステップ
Ｓ３２０及びステップＳ３２２の判定結果が何れもＮｏ
となり、何ら処理が行われることなく、編集対象選択処
理が終了する。

【０１０２】以上の処理結果より、編集対象選択処理の
終了時点において、筆跡データ６０７が図形筆跡バッフ
ァに格納され、文字６０２の文字データが選択文字バッ
ファに格納されている。その後、編集時グループ構成部
１１はグループ再構成処理を行う。グループ再構成処理
において、編集時グループ構成部１１はまず図形筆跡バ
ッファが空でないか否かを判定する（Ｓ４０１）。この
例では、筆跡データ６０７が図形筆跡バッファに格納さ
れているため、ステップＳ４０２へと進み、編集時グル
ープ構成部１１は、図形筆跡バッファから筆跡データ６
０７を取り出す。

【０１０３】ついで、編集時グループ構成部１１は、選
択文字バッファが空でないか否かを判定する（Ｓ４０
３）。この例では、文字６０２が選択文字バッファに格
納されているため、ステップＳ４０４に進み、編集時グ
ループ構成部１１は、選択文字バッファから文字６０２
の文字データを取り出す。編集時グループ構成部１１
は、文字連結矩形の情報を算出し、文字連結矩形比を算
出する（Ｓ４０５）。この例において、文字６０２と、
筆跡データ６０７とを連結して、文字連結矩形を作成し
た場合、文字連結矩形の面積と、文字の外接矩形の面積
とはほとんど変化がない。即ち、文字連結矩形比は文字
連結比を下回ることになるため、筆跡データ６０７が文
字６０２と連結されることになる（Ｓ４０７）。

【０１０４】その後、編集時グループ構成部１１は、筆
跡データ６０７を図形筆跡バッファから削除し（Ｓ４０
８）、ステップＳ４０１へと戻るが、筆跡データ６０７
が削除された図形筆跡バッファは空になっており、さら
に、文字筆跡バッファも空であるため（Ｓ４２０：Ｎ
ｏ）、グループ再構成処理は終了する。以上のような処
理により、情報の「情」の文字の一部のストロークが図
形グループを構成するストロークであると誤判断された
場合でも、操作者からの編集指示の内容に基づいて、文
字と図形との再グループ化処理を行うことにより、より
正確な文字と図形のグループ化を行うことが可能にな
る。

【０１０５】次に、文字のストロークが図形グループを
構成するストロークであると誤判断された場合の処理内
容の例について具体例を用いて説明する。図１４におい
て、同図（ａ）に示す如く入力された手書きデータ７０
１が、初期グループ化処理において、同図（ｂ）に示さ
れるように、内部的に行グループ７０２と図形グループ
７０３とにグループ化されている。即ち、「１個か」の
「１」の文字が図形グループを構成するストロークであ
ると誤判断されている状態において、編集指示データ７
０４により、文字「１」が選択された場合の処理内容に
ついて説明する。

【０１０６】図１３の例と同様に、まず、編集対象選択
部７は編集対象選択処理を行う（Ｓ２０３）。編集対象
選択処理において編集対象選択部７は、バッファ領域の
クリア（Ｓ３０１）の後、編集指示データ７０４の外接
矩形を作成し、選択領域を決定する（Ｓ３０２）。その
後、編集対象選択部７は、筆跡データ保持部６に格納さ
れている全ての図形グループについてループＤの処理を
行う（Ｓ３０３）。筆跡データ保持部６には図形グルー
プとして図形グループ７０３のみが登録されているの
で、図形グループ７０３のみについてループＤの処理が
行われることになる。

【０１０７】ループＤの処理において、編集対象選択部
７は、まず図形グループ７０３の外接矩形と選択領域と
の重なり具合を算出する（Ｓ３０４）。前述のとおり、
図形重複領域比とは、図形グループ７０３の外接矩形と
選択領域の重複範囲（この例においては選択領域と一致
する）の面積を図形グループ７０３の面積で除したもの
であるので、この例では図形重複領域比は０．５以下と
なる。しかし図形重複領域比は０よりは大きいので、ス
テップＳ３０５の判定結果はＹｅｓ、ステップＳ３０７
の判定結果はＮｏとなり、ステップＳ３０８へと進む。

【０１０８】ステップＳ３０８からは、図形グループ７
０３を構成する全ての筆跡データについてループＥの処
理が行われることになるが、図形グループ７０３を構成
するストロークの中で、選択領域を通過するのは、文字
「１」を表すストロークのみであるので、文字「１」を
表すストロークの筆跡データが図形筆跡バッファに格納
されてループＥの処理を終了する。

【０１０９】さらにループＤの処理もそのまま終了し、
図９のフロ−チャ−トに移行して、筆跡データ保持部６
に格納されている全ての行データについてループＦの処
理が行われる。この例では、筆跡データ保持部６には、
行７０２のみが格納されているので、行７０２について
ループＦの処理が行われる。ループＦにおいては、編集
時グループ構成部１１は、まず行７０２の外接矩形と選
択領域との重なり具合を算出する（Ｓ３１４）。同図に
示されるように、行７０２の外接矩形は、選択領域とは
全く重なり合っていないため、ステップＳ３１５の判定
結果はＮｏ、ステップＳ３１７の判定結果もＮｏとな
り、そのまま編集対象選択処理が終了する。

【０１１０】以上の処理内容から、編集対象選択処理の
終了時点で、文字「１」を表すストロークの筆跡データ
が図形筆跡バッファに格納されている。編集対象選択処
理を終了すると、編集時グループ構成部１１は、グルー
プ再構成処理を行う。グループ再構成処理において、編
集時グループ構成部１１は、まず図形筆跡バッファが空
でないか否かを判定する（Ｓ４０１）が、この例では筆
跡データ７０６が図形筆跡バッファに格納されているの
で、図形筆跡バッファから、筆跡データ７０６を取り出
してステップＳ４０３に進む。

【０１１１】この例では選択文字バッファは空であるの
で、図１１のフロ−チャ−トに移行し、ステップＳ４１
１へと進む。ステップＳ４１１では、編集時グループ構
成部１１は、筆跡データ保持部６から先頭の行の行デー
タを取り出す。この例では、行データとしては行７０２
のみが登録されているので、行７０２について以下の処
理が行われる。ステップＳ４１２において、行７０２を
構成する文字について文字矩形平均高さと文字矩形平均
幅が算出される。

【０１１２】さらにステップＳ４１３において、平均高
さ比及び平均幅比を算出し、平均高さ比が連結高さ比よ
り小さく、かつ、平均幅比が連結幅比より小さいか否か
を判定する（Ｓ４１３）。前述の如く、平均高さ比と
は、筆跡データ７０６の外接矩形の高さと文字矩形平均
高さとの比の値であり、平均幅比とは、筆跡データ７０
６の外接矩形の幅と文字矩形平均幅との比の値であるの
で、この例では、平均高さ比は約１．１〜１．２、平均
幅比は１より小さくなる。本実施の形態では連結高さ比
及び領域幅比はともに１．５程度の値に設定されている
ので、ステップＳ４１３の判定結果はＹｅｓとなる。

【０１１３】この例では、ステップＳ４１４で、行７０
２と筆跡データ７０６とを連結した場合の行連結矩形比
は１．２〜１．３、行連結結果幅比は１．２〜１．３、
行連結結果高さ比は１．１程度となる。本実施の形態で
は、行連結比としては１．６程度の値を設定し、行連結
幅比及び行連結高さ比としては、１．５程度の値を設定
するので、ステップＳ４１５の判定結果もＹｅｓとな
り、ステップＳ４１６へと進む。従って、筆跡データ７
０６は、新たな文字データとして登録され、さらに行７
０２と連結されることになる。

【０１１４】その後、ステップＳ４０８で筆跡データ７
０６が図形筆跡バッファから削除され、その結果図形筆
跡バッファが空となるため、図１２のフロ−チャ−トに
移行して、ステップＳ４２０へと進むが、文字筆跡バッ
ファが空であるため、グループ再構成処理を終了する。
以上のような処理を行うことにより、図１４に示される
ように、行を構成する文字のストロークが初期グループ
化処理において図形を構成するストロークであると誤判
断された場合でも、編集指示データの内容に基づいて、
より正確なグループ化を行うことが可能となる。

【０１１５】最後に、図形を構成するストロークが、文
字を構成するストロークであると誤判断された場合の処
理内容について、具体例を用いて説明する。図１５にお
いて、同図（ａ）に示す如く入力された手書きデータ８
０１が、初期グループ化処理において、内部的に行デー
タ８１０と図形グループ８０６とにグループ化されてい
る。同図において、図形の一部を構成しているストロー
クが文字の一部であると誤判断されている状態で、編集
指示データ８０７により、図形の左隅が選択された場合
の処理内容について説明する。

【０１１６】図１３及び図１４の例と同様に編集対象選
択部７は編集対象選択処理を行う（Ｓ２０３）。編集対
象選択処理において編集対象選択部７は、バッファ領域
のクリアの後、編集指示データ８０７の外接矩形を作成
し、選択領域を決定する（Ｓ３０２）。その後、編集対
象選択部７は、筆跡データ保持部６に格納されている全
ての図形グループについてループＤの処理を行う（Ｓ３
０３）。筆跡データ保持部６には図形グループとして図
形グループ８０６のみが登録されているので、図形グル
ープ８０６についてループＤの処理が行われることにな
る。

【０１１７】ループＤの処理において、編集対象選択部
７は、まず図形グループ８０６の外接矩形と選択領域と
の重なり具合を算出する（Ｓ３０４）。前述のとおり、
図形重複領域比とは、図形グループ８０６の外接矩形と
選択領域の重複範囲の面積を図形グループ８０６の外接
矩形の面積で除したものであるので、この例では図形重
複領域比は０．５以下となる。しかし、選択領域が少し
図形グループ８０６の外接矩形に重なっており、図形重
複領域比は０よりは大きいので、ステップＳ３０５の判
定結果はＹｅｓ、ステップＳ３０７の判定結果はＮｏと
なり、ステップＳ３０８へと進む。

【０１１８】ステップＳ３０８からは、図形グループ８
０６を構成する全ての筆跡データについてループＥの処
理が行われることになるが、図形グループ８０６を構成
する筆跡データは筆跡データ８１１のみであるので、筆
跡データ８１１が図形筆跡バッファに格納されてループ
Ｅの処理を終了する。さらにループＤの処理もそのまま
終了し、図９のフロ−チャ−トに移行して、筆跡データ
保持部６に格納されている全ての行データについてルー
プＦの処理が行われる。この例では、筆跡データ保持部
６には、行８１０のみが格納されているので、行８１０
についてループＦの処理が行われる。

【０１１９】ループＦにおいては、編集対象選択部７
は、まず行８１０の外接矩形と選択領域との重なり具合
を算出する（Ｓ３１４）。同図に示されるように、行８
１０の外接矩形は、選択領域と少しだけ重なり合ってい
るので、ステップＳ３１５の判定結果はＮｏ、ステップ
Ｓ３１７の判定結果はＹｅｓとなり、ループＧの処理が
行われる。

【０１２０】ループＧの処理は、行８１０を構成する全
ての文字について行われる。ループＧの処理において、
編集対象選択部７は、まず行８１０を構成する文字を一
つ取り出し文字の外接矩形と選択領域との重なり具合を
算出する（Ｓ３１９）。行８１０を構成する文字のなか
で、文字８０３、文字８０４、文字８０５については文
字の外接矩形と選択領域とが全く重なり合っていないた
め、ステップＳ３２２の判定結果がＮｏとなる。しか
し、文字８０２については、筆跡データ８０２１が文字
を構成するストロークであると誤判断された結果、その
外接矩形が選択領域と一部重なり合っているので、ステ
ップＳ３２０の判定結果はＮｏとなるが、ステップＳ３
２２の判定結果がＹｅｓとなりループＨの処理に入る。

【０１２１】ループＨの処理は、文字８０２を構成する
全ての筆跡データについて行われる（Ｓ３２３）。編集
対象選択部７は、文字８０２を構成する筆跡データを筆
跡データ保持部６から一つ取り出し、取り出された筆跡
データの各座標点の間を補間した直線が選択領域を通過
するか否かを判定する（Ｓ３２４）。文字８０２を構成
する筆跡データとしては、筆跡データ８０２１、筆跡デ
ータ８０２２、筆跡データ８０２３、筆跡データ８０２
４が存在するが、その中で、筆跡データ８０２１のみが
選択領域を通過するため、筆跡データ８０２１のみが文
字筆跡バッファに格納され、ループＨの処理を終了し、
編集対象選択処理を終了する。

【０１２２】以上の処理内容から、編集対象選択処理の
終了時点で、筆跡データ８１１が図形筆跡バッファに格
納され、筆跡データ８０２１が文字筆跡バッファに格納
されている。編集対象選択処理を終了すると、編集時グ
ループ構成部１１は、グループ再構成処理を行う。グル
ープ再構成処理において、編集時グループ構成部１１
は、まず図形筆跡バッファが空でないか否かを判定する
（Ｓ４０１）が、この例では筆跡データ８１１が図形筆
跡バッファに格納されているので、図形筆跡バッファか
ら、筆跡データ８１１を取り出してステップＳ４０３に
進む。

【０１２３】この例では選択文字バッファは空であるの
で、図１１のフロ−チャ−トに移行し、ステップＳ４１
１へと進む。ステップＳ４１１では、編集時グループ構
成部１１は、筆跡データ保持部６から先頭の行の行デー
タを取り出す。この例では、行データとしては行８１０
のみが登録されているので、行８１０についてのみ以下
の処理が行われる。ステップＳ４１２において、行８１
０を構成する文字について文字矩形平均高さと文字矩形
平均幅が算出される。

【０１２４】さらにステップＳ４１３において、平均高
さ比及び平均幅比を算出し、平均高さ比が連結高さ比よ
り小さく、かつ、平均幅比が連結幅比より小さいか否か
を判定する（Ｓ４１３）。前述の如く平均高さ比とは、
筆跡データ８１１の外接矩形の高さと文字矩形平均高さ
との比の値であり、平均幅比とは、筆跡データ８１１の
外接矩形の幅と文字矩形平均幅との比の値であるので、
この例では、平均高さ比は約１．１〜１．２であるが、
平均幅比はおよそ４程度と連結幅比を大きく上回ってし
まう。従って、ステップＳ４１３の判定結果はＮｏとな
る。即ち、筆跡データ８１１と行８１０の連結可能性は
否定される。

【０１２５】ステップＳ４１７において、筆跡データ保
持部６には次の行データが存在しないため、ステップＳ
４１９において筆跡データ８１１が選択図形バッファに
格納され、筆跡データ８１１が図形筆跡バッファから削
除されて（Ｓ４０８）、ステップＳ４０１に戻る。な
お、この場合、筆跡データ８１１は、もとから図形を構
成する筆跡データとして登録されているものであるた
め、ステップＳ４１９において、新たな図形データとす
る処理は行われない。

【０１２６】ステップＳ４０１では、図形筆跡バッファ
が空となっているため、図１２のフロ−チャ−トに移行
して、ステップＳ４２０へと進む。この例では、筆跡デ
ータ８０２１が文字筆跡バッファに格納されているた
め、文字筆跡バッファから筆跡データ８０２１が取り出
される（Ｓ４２１）。前述の如く、ステップＳ４１９に
おいて、筆跡データ８１１が選択図形バッファに格納さ
れているため、ステップＳ４２２の判定結果はＹｅｓと
なり、選択図形バッファから筆跡データ８１１が取り出
される（Ｓ４２３）。ついで、筆跡データ８１１と、筆
跡データ８０２１とから図形連結矩形を作成し、図形連
結矩形比を算出する（Ｓ４２４）。この例では、図形グ
ループ８０６の外接矩形の面積と、図形連結矩形の面積
とがほぼ一致する。従ってステップＳ４２５の判定結果
はＹｅｓとなり、筆跡データ８０２１が図形グループ８
０６と連結され（Ｓ４２６）、筆跡データ８０２１が文
字筆跡バッファから削除されて（Ｓ４２７）、ステップ
Ｓ４２０へと戻る。

【０１２７】このとき文字筆跡バッファは既に空となっ
ているので、グループ再構成処理は終了する。以上のよ
うな処理を行うことにより、図１５に示されるように、
図形を構成するストロークが、初期グループ化処理にお
いて文字を構成するストロークであると誤判断された場
合でも、編集指示データの内容に基づいて、より正確な
グループ化を行うことが可能となる。

【０１２８】以上のように本発明の手書きデータ編集装
置により、文字データと図形データとの認識をより正確
に行うことが可能となるため、文字と図形が混在するよ
うなデータの編集作業において、文字編集モードと図形
編集モードを切り替える必要がなくなり、編集操作が簡
単に行えるようになる。具体的には、筆跡データ編集部
８に、編集対象が文字であるか、図形であるかを通知
し、当該通知に従って編集方法を切り替えることによ
り、編集モードの切り替えを行うことなく適切な編集方
法をとることが可能となる。

【０１２９】なお、本実施の形態においては、文字グル
ープを行と文字との２階層としたが、さらに複数の行の
集合として段落グループ等を追加して定義することも可
能である。また、複数の図形グループから構成される図
形ブロック等を追加して定義することも可能である。ま
た、本実施の形態では、筆跡データ振り分け部３を用い
て筆跡データと編集指示データとを振り分けることによ
り、筆跡データと編集指示データとを同一のペンから入
力するようにしたが、別途キーボード、マウス等による
入力手段を設け、編集指示データを、筆跡データと別の
手段により入力するようにすることも可能である。

【０１３０】また、本実施の形態の手書きデータ編集装
置は、携帯型端末装置等のＣＰＵにおいて所定のプログ
ラムが実行されることにより実現されるものであり、必
要な情報の保持にはディスク装置、メモリ等の記憶装置
が用いられる。このプログラムを含むソフトウェアは、
フロッピーディスク、光ディスク等の記録媒体や、ネッ
トワーク等の伝送媒体を介してソフトウェア市場を流通
し、パッケージソフトウェアや、ダウンロード用プログ
ラムとして取り引きの客体となり得る。

【０１３１】

【発明の効果】以上の説明から明らかなように、本発明
に係る手書きデータ編集装置は、手書き入力された筆跡
データを編集する手書きデータ編集装置であって、筆跡
データを手書き入力するストローク入力手段と、筆跡デ
ータの編集を行う場合に、どの筆跡データを編集の対象
とするかの指示と、編集内容の指示とを表す編集指示デ
ータを入力する編集指示入力手段と、筆跡データが、文
字を構成する筆跡データか、図形を構成する筆跡データ
かを、所定の規則に従って判定する判定手段と、文字を
構成する筆跡データを文字グループにグループ化し、図
形を構成する筆跡データを図形グループにグループ化す
ると共に、各グループと筆跡データとの対応関係を表す
情報と、各グループを包含する領域に関する情報とを生
成するグループ情報生成手段と、筆跡データと、前記グ
ループ情報生成手段により生成された情報とを保持する
データ保持手段と、編集指示データと、前記データ保持
手段に保持される情報とに基づいて、編集の対象とする
一つ又は複数の筆跡データを選択する編集対象選択手段
と、編集指示データと、前記編集対象選択手段による選
択の結果と、前記データ保持手段に保持される情報とに
基づいて、筆跡データの再グループ化を行う再グループ
化手段とを有する。

【０１３２】ストローク入力手段から手書き入力された
筆跡データは、入力直後に判定手段により文字を構成す
る筆跡データか、図形を構成する筆跡データかを判定さ
れ、さらにグループ情報生成手段によりグループ化され
ると共に、各グループに関する情報が生成される。生成
された情報は、筆跡データと共にデータ保持手段に保持
される。

【０１３３】編集指示入力手段から入力された編集指示
データと、データ保持手段に保持されている情報とに基
づいて、編集対象選択手段は、操作者から編集の対象と
して選択された筆跡データを選択し、再グループ化手段
が、編集指示データと、データ保持手段に保持されてい
る情報と、編集対象選択手段による選択の結果とに基づ
いて、筆跡データの再グループ化を行うため、操作者の
認識を取り入れて、手書きデータが文字を表すものであ
るか、図形を表すものであるかという判定を、より正確
に行うことが可能になるという効果がある。

【０１３４】また、前記編集対象選択手段は、編集指示
データから、編集の対象とする筆跡データが包含される
べき領域として指示された選択領域を決定する選択領域
決定部と、選択領域と、文字グループを包含する領域と
の重なり具合を算出し、重なり具合が所定の割合以上で
あれば、当該文字グループを編集対象として選択する文
字グループ選択部と、選択領域と、図形グループを包含
する領域との重なり具合を算出し、重なり具合が所定の
割合以上であれば、当該図形グループを編集対象として
選択する図形グループ選択部とを有することもできる。

【０１３５】選択領域決定部は、編集指示データから選
択領域を決定し、文字グループ選択部は、選択領域と、
文字グループを包含する領域との重なり具合を算出し、
重なり具合が所定の割合以上であれば、当該文字グルー
プを編集対象として選択し、図形グループ選択部は、選
択領域と、図形グループを包含する領域との重なり具合
を算出し、重なり具合が所定の割合以上であれば、当該
図形グループを編集対象として選択することにより、編
集指示データが、例えばジェスチャ認識装置により、編
集の対象とする筆跡データの範囲を指定するような形式
で入力された場合に、適切に編集対象を選択することが
できるという効果がある。

【０１３６】また、前記図形グループ選択部は、前記文
字グループ選択部により選択された文字グループが存在
しない場合に、図形を構成する筆跡データのうち、選択
領域に含まれる部分を有する筆跡データが存在すれば、
当該筆跡データを編集対象として選択することもでき
る。一般に、文字グループを編集対象として指定する場
合は、当該文字グループ全体を包含するような編集指示
データを入力するのが通常であるが、図形グループを指
定する場合であって、例えば図形の内部に存在する文字
を編集したくない場合など、図形グループ全体を包含す
るような編集指示データを入力することができない場合
がある。図形グループ選択部が上記の処理を行うことに
より、図形の一部をチェックするような入力が行われた
場合に、当該図形グループが編集対象として選択された
という判定を行うことが可能になる。

【０１３７】また、前記グループ情報生成手段は、前記
判定手段により、図形を構成する筆跡データであると判
定された複数の筆跡データが、一つの文字グループとの
間で、位置関係に関する所定の条件を満たす場合に、当
該複数の筆跡データを図形グループにグループ化し、所
定の情報を生成することもできる。以上のような処理を
行うことにより、図形を構成する筆跡データのグループ
化が、より適切に行えるという効果がある。

【０１３８】また、前記再グループ化手段は、前記判定
手段により図形を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む図形グループが
前記図形グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する図形筆跡保持部
と、前記文字グループ選択部により文字グループが選択
され、かつ、前記図形筆跡保持部に保持されている筆跡
データが存在する場合に、当該筆跡データと、選択され
た文字グループとの位置関係が所定の条件を満たすか否
かを判定する筆跡判定部と、前記筆跡判定部により、所
定の条件を満たすと判定された場合に、当該筆跡データ
を文字を構成する筆跡データと判定し直して、当該文字
グループに編入するグループ再構成部とを有することも
できる。

【０１３９】以上のような構成をとることにより、例え
ば筆跡データ入力直後の時点で、文字を構成する筆跡デ
ータの一部が、誤って図形を構成する筆跡データである
と誤判断されたような場合に、操作者の編集操作に基づ
いて、当該筆跡データを文字グループに組み入れること
が可能となるため、文字を構成する筆跡データと、図形
を構成する筆跡データとの識別を、より正確に行うこと
ができるという効果がある。

【０１４０】また、前記再グループ化手段は、前記判定
手段により図形を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む図形グループが
前記図形グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する図形筆跡保持部
と、前記文字グループ選択部により文字グループが選択
されておらず、かつ、前記図形筆跡保持部に保持されて
いる筆跡データが存在する場合に、当該筆跡データとの
位置関係が、所定の条件を満たす文字グループが存在す
るか否かを判定する筆跡判定部と、前記筆跡判定部によ
り、存在すると判定された場合に、当該筆跡データを文
字を構成する筆跡データと判定し直して、当該文字グル
ープに編入するグループ再構成部とを有することもでき
る。

【０１４１】以上のような構成をとることにより、例え
ば筆跡データ入力直後の時点で、行を構成する文字を表
す筆跡データが、誤って、図形を構成する筆跡データで
あると誤判断されたような場合に、操作者の編集操作に
基づいて、当該筆跡データを行グループに組み入れるこ
とが可能となるため、文字を構成する筆跡データと、図
形を構成する筆跡データとの識別を、より正確に行うこ
とができるという効果がある。

【０１４２】また、前記再グループ化手段は、前記判定
手段により文字を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む文字グループが
前記文字グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する文字筆跡保持部
と、前記図形グループ選択部により図形グループが選択
され、かつ、前記文字筆跡保持部に保持されている筆跡
データが存在する場合に、当該筆跡データと、選択され
た図形グループとの位置関係が所定の条件を満たすか否
かを判定する筆跡判定部と、前記筆跡判定部により、所
定の条件を満たすと判定された場合に、当該筆跡データ
を図形を構成する筆跡データと判定し直して、当該図形
グループに編入するグループ再構成部とを有することも
できる。

【０１４３】以上のような構成をとることにより、例え
ば筆跡データ入力直後の時点で、図形を構成する筆跡デ
ータが、誤って、文字を構成する筆跡データであると誤
判断されたような場合に、操作者の編集操作に基づい
て、当該筆跡データを図形グループに組み入れることが
可能となるため、文字を構成する筆跡データと、図形を
構成する筆跡データとの識別を、より正確に行うことが
できるという効果がある。

【０１４４】また、前記再グループ化手段は、前記判定
手段により文字を構成する筆跡データと判定された筆跡
データについて、当該筆跡データを含む文字グループが
前記文字グループ選択部により選択されていない場合で
あって、当該筆跡データが選択領域に含まれる部分を有
する場合に当該筆跡データを保持する文字筆跡保持部
と、前記図形グループ選択部により図形グループが選択
されておらず、かつ、前記文字筆跡保持部に保持されて
いる筆跡データが存在する場合に、当該筆跡データを図
形を構成する筆跡データと判定し直す筆跡再判定部とを
有することもできる。

【０１４５】以上のような構成をとることにより、操作
者の編集操作に基づいて、文字を構成する筆跡データ
と、図形を構成する筆跡データとの識別を、より正確に
行うことができるという効果がある。また、前記再グル
ープ化手段はさらに、前記筆跡再判定部により図形を構
成する筆跡データと判定し直された筆跡データとの位置
関係が、所定の条件を満たす図形グループが存在するか
否かを判定する筆跡判定部と、前記筆跡判定部により、
存在すると判定された場合に、当該筆跡データを、当該
図形グループに編入するグループ再構成部とを有するこ
ともできる。

【０１４６】以上のような構成をとることにより、文字
を構成する筆跡データと、図形を構成する筆跡データと
の識別を、より正確に行うことができるだけでなく、再
判断の結果に基づいて図形グループを再グループ化する
ことにより、その後の図形グループの編集を、より容易
に行うことができるという効果がある。また、前記手書
きデータ編集装置はさらに、編集指示データが指示する
編集内容に基づいて、データ保持手段に保持されている
筆跡データを編集する筆跡データ編集手段を有し、前記
筆跡データ編集手段は、編集の対象として文字グループ
が選択された場合と、図形グループが選択された場合と
で、編集方法を自動的に切り替えることもできる。

【０１４７】文字グループと図形グループとの再グルー
プ化の結果による、より正確な文字と図形との識別結果
に基づいて筆跡データの編集を行うため、操作者が個別
に編集モードを切り替えなくても適切な方法で筆跡デー
タの編集を行うことができるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施の形態における手書きデータ編
集装置の構成を示すブロック図である。

【図２】本実施の形態の手書きデータ編集装置における
文字グループのデータ構造を示す図である。

【図３】本実施の形態の手書きデータ編集装置における
外接矩形情報について説明するための図である。

【図４】本実施の形態の手書きデータ編集装置における
図形グループのデータ構造を示す図である。

【図５】本実施の形態の手書きデータ編集装置における
初期グループ化処理の処理内容を示すフロ−チャ−トで
ある。

【図６】本実施の形態の手書きデータ編集装置において
矩形の重なり具合の算出方法を説明するための図であ
る。

【図７】本実施の形態の手書きデータ編集装置におい
て、編集指示がなされた場合の処理内容を示すフロ−チ
ャ−トである。

【図８】編集対象選択処理の詳細な処理内容を示すフロ
−チャ−トである。

【図９】編集対象選択処理の詳細な処理内容を示すフロ
−チャ−トである。

【図１０】グループ再構成処理の詳細な処理内容を示す
フロ−チャ−トである。

【図１１】グループ再構成処理の詳細な処理内容を示す
フロ−チャ−トである。

【図１２】グループ再構成処理の詳細な処理内容を示す
フロ−チャ−トである。

【図１３】本実施の形態の手書きデータ編集装置の動作
の具体例を説明するための図である。

【図１４】本実施の形態の手書きデータ編集装置の動作
の具体例を説明するための図である。

【図１５】本実施の形態の手書きデータ編集装置の動作
の具体例を説明するための図である。

【図１６】従来の手書きデータ編集装置の構成を示すブ
ロック図である。

【図１７】従来の手書きデータ編集装置による編集につ
いて説明するための図である。

【符号の説明】

１ 筆跡データ入力部 ２ 筆跡データ抽出部 ３ 筆跡データ振り分け部 ４ 筆跡データ管理部 ５ 表示部 ６ 筆跡データ保持部 ７ 編集対象選択部 ８ 筆跡データ編集部 ９ 文字図形分離部 １０ 入力時グループ構成部 １１ 編集時グループ構成部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 手書き入力された筆跡データを編集する
   手書きデータ編集装置であって、 筆跡データを手書き入力するストローク入力手段と、 筆跡データの編集を行う場合に、どの筆跡データを編集
   の対象とするかの指示と、編集内容の指示とを表す編集
   指示データを入力する編集指示入力手段と、 筆跡データが、文字を構成する筆跡データか、図形を構
   成する筆跡データかを、所定の規則に従って判定する判
   定手段と、 文字を構成する筆跡データを文字グループにグループ化
   し、図形を構成する筆跡データを図形グループにグルー
   プ化すると共に、各グループと筆跡データとの対応関係
   を表す情報と、各グループを包含する領域に関する情報
   とを生成するグループ情報生成手段と、 筆跡データと、前記グループ情報生成手段により生成さ
   れた情報とを保持するデータ保持手段と、 編集指示データと、前記データ保持手段に保持される情
   報とに基づいて、編集の対象とする一つ又は複数の筆跡
   データを選択する編集対象選択手段と、 編集指示データと、前記編集対象選択手段による選択の
   結果と、前記データ保持手段に保持される情報とに基づ
   いて、筆跡データの再グループ化を行う再グループ化手
   段とを有することを特徴とする手書きデータ編集装置。
2. 【請求項２】 前記編集対象選択手段は、 編集指示データから、編集の対象とする筆跡データが包
   含されるべき領域として指示された選択領域を決定する
   選択領域決定部と、 選択領域と、文字グループを包含する領域との重なり具
   合を算出し、重なり具合が所定の割合以上であれば、当
   該文字グループを編集対象として選択する文字グループ
   選択部と、 選択領域と、図形グループを包含する領域との重なり具
   合を算出し、重なり具合が所定の割合以上であれば、当
   該図形グループを編集対象として選択する図形グループ
   選択部とを有することを特徴とする請求項１記載の手書
   きデータ編集装置。
3. 【請求項３】 前記図形グループ選択部は、 前記文字グループ選択部により選択された文字グループ
   が存在しない場合に、図形を構成する筆跡データのう
   ち、選択領域に含まれる部分を有する筆跡データが存在
   すれば、当該筆跡データを編集対象として選択すること
   を特徴とする請求項２記載の手書きデータ編集装置。
4. 【請求項４】 前記グループ情報生成手段は、 前記判定手段により、図形を構成する筆跡データである
   と判定された複数の筆跡データが、一つの文字グループ
   との間で、位置関係に関する所定の条件を満たす場合
   に、当該複数の筆跡データを図形グループにグループ化
   し、所定の情報を生成することを特徴とする請求項１、
   ２又は３記載の手書きデータ編集装置。
5. 【請求項５】 前記再グループ化手段は、 前記判定手段により図形を構成する筆跡データと判定さ
   れた筆跡データについて、当該筆跡データを含む図形グ
   ループが前記図形グループ選択部により選択されていな
   い場合であって、当該筆跡データが選択領域に含まれる
   部分を有する場合に当該筆跡データを保持する図形筆跡
   保持部と、 前記文字グループ選択部により文字グループが選択さ
   れ、かつ、前記図形筆跡保持部に保持されている筆跡デ
   ータが存在する場合に、当該筆跡データと、選択された
   文字グループとの位置関係が所定の条件を満たすか否か
   を判定する筆跡判定部と、 前記筆跡判定部により、所定の条件を満たすと判定され
   た場合に、当該筆跡データを文字を構成する筆跡データ
   と判定し直して、当該文字グループに編入するグループ
   再構成部とを有することを特徴とする請求項２記載の手
   書きデータ編集装置。
6. 【請求項６】 前記再グループ化手段は、 前記判定手段により図形を構成する筆跡データと判定さ
   れた筆跡データについて、当該筆跡データを含む図形グ
   ループが前記図形グループ選択部により選択されていな
   い場合であって、当該筆跡データが選択領域に含まれる
   部分を有する場合に当該筆跡データを保持する図形筆跡
   保持部と、 前記文字グループ選択部により文字グループが選択され
   ておらず、かつ、前記図形筆跡保持部に保持されている
   筆跡データが存在する場合に、当該筆跡データとの位置
   関係が、所定の条件を満たす文字グループが存在するか
   否かを判定する筆跡判定部と、 前記筆跡判定部により、存在すると判定された場合に、
   当該筆跡データを文字を構成する筆跡データと判定し直
   して、当該文字グループに編入するグループ再構成部と
   を有することを特徴とする請求項２記載の手書きデータ
   編集装置。
7. 【請求項７】 前記再グループ化手段は、 前記判定手段により文字を構成する筆跡データと判定さ
   れた筆跡データについて、当該筆跡データを含む文字グ
   ループが前記文字グループ選択部により選択されていな
   い場合であって、当該筆跡データが選択領域に含まれる
   部分を有する場合に当該筆跡データを保持する文字筆跡
   保持部と、 前記図形グループ選択部により図形グループが選択さ
   れ、かつ、前記文字筆跡保持部に保持されている筆跡デ
   ータが存在する場合に、当該筆跡データと、選択された
   図形グループとの位置関係が所定の条件を満たすか否か
   を判定する筆跡判定部と、 前記筆跡判定部により、所定の条件を満たすと判定され
   た場合に、当該筆跡データを図形を構成する筆跡データ
   と判定し直して、当該図形グループに編入するグループ
   再構成部とを有することを特徴とする請求項２記載の手
   書きデータ編集装置。
8. 【請求項８】 前記再グループ化手段は、 前記判定手段により文字を構成する筆跡データと判定さ
   れた筆跡データについて、当該筆跡データを含む文字グ
   ループが前記文字グループ選択部により選択されていな
   い場合であって、当該筆跡データが選択領域に含まれる
   部分を有する場合に当該筆跡データを保持する文字筆跡
   保持部と、 前記図形グループ選択部により図形グループが選択され
   ておらず、かつ、前記文字筆跡保持部に保持されている
   筆跡データが存在する場合に、当該筆跡データを図形を
   構成する筆跡データと判定し直す筆跡再判定部とを有す
   ることを特徴とする請求項２記載の手書きデータ編集装
   置。
9. 【請求項９】 前記再グループ化手段はさらに、 前記筆跡再判定部により図形を構成する筆跡データと判
   定し直された筆跡データとの位置関係が、所定の条件を
   満たす図形グループが存在するか否かを判定する筆跡判
   定部と、 前記筆跡判定部により、存在すると判定された場合に、
   当該筆跡データを、当該図形グループに編入するグルー
   プ再構成部とを有することを特徴とする請求項８記載の
   手書きデータ編集装置。
10. 【請求項１０】 前記手書きデータ編集装置はさらに、 編集指示データが指示する編集内容に基づいて、データ
    保持手段に保持されている筆跡データを編集する筆跡デ
    ータ編集手段を有し、 前記筆跡データ編集手段は、 編集の対象として文字グループが選択された場合と、図
    形グループが選択された場合とで、編集方法を自動的に
    切り替えることを特徴とする請求項１乃至９の何れかに
    記載の手書きデータ編集装置。