JPH07160827A - 手書きストローク編集装置及び方法 - Google Patents

手書きストローク編集装置及び方法

Info

Publication number
JPH07160827A
JPH07160827A JP30933393A JP30933393A JPH07160827A JP H07160827 A JPH07160827 A JP H07160827A JP 30933393 A JP30933393 A JP 30933393A JP 30933393 A JP30933393 A JP 30933393A JP H07160827 A JPH07160827 A JP H07160827A
Authority
JP
Japan
Prior art keywords
group
editing
box
groups
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30933393A
Other languages
English (en)
Inventor
Yasuhiro Sakurai
康浩 櫻井
Osamu Kamo
理 加茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP30933393A priority Critical patent/JPH07160827A/ja
Priority to US08/351,785 priority patent/US5796866A/en
Publication of JPH07160827A publication Critical patent/JPH07160827A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction

Abstract

(57)【要約】 【目的】 タブレット装置から手書き入力されたストロ
ークデータの編集を容易に行なえる手書きストローク編
集装置を提供することを目的とする。 【構成】 ストロークグループ管理装置4は、手書き入
力されたストロークを文字、行、図形、ブロック単位で
管理し、グループ内の全ストロークが内包される矩形情
報を併せて持つ。グループ選択判定装置8は、指示され
た編集範囲の矩形情報と、ストロークグループ管理装置
4の管理する情報を元にどのグループが編集対象として
選択されたかを判定する。ブロック編集装置9は、複数
グループが集まったブロックグループ内での編集動作を
規定し、文字の削除や挿入による空白の詰めや移動を管
理する。グループ回転装置10は、ブロック内の文字や
図形単位では可読な方向に保ったまま、横書きを縦書き
に変更したり、文字や図形の並び方向を任意に変更す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、タブレット装置によっ
て入力された筆跡データをストローク情報として管理し
編集する手書きストローク編集装置及び方法に関する。
【0002】
【従来の技術】近年、タブレット装置等から入力された
筆跡情報を処理する手書きストローク編集装置が登場し
てきている。この装置は2つに大別され、筆跡情報をイ
メージデータとして扱うものと、点列データの集合であ
るストロークデータとして筆跡情報を処理するものがあ
る。
【0003】ストロークデータの処理に関しては、電子
情報通信学会論文誌 '90/10 Vol.J73-D-II No.10「運筆
データからの字の切り出し」や、ブロックグループへの
分割に関しては、電子情報通信学会論文誌 '90/7 Vol.J
73-D-II No.7「運筆データからの行の切り出し」におい
て、手書き入力されたストロークデータから文字や行を
切り出す方法について記されている。
【0004】また、ストロークデータの編集に関して
は、情報処理学会論文誌1991年Vol.32 N
o.8「ストロークエディタと直接指示・操作方式」に
おいて、守屋らにより報告されたものがある。このシス
テムでは、罫線のひかれた画面上にペン型入力装置で文
章を書き込み、ワープロのように文字単位、行単位で編
集処理を行なう。
【0005】
【発明が解決しようとする課題】しかしながら上記従来
技術によれば、手書き入力された各ストロークを削除し
たり移動する場合の対象選択時に選択モードを指示した
後、個々のストロークや文字を明確に選択する必要があ
るので操作が繁雑であるという問題があった。具体的に
は、罫線のひかれた画面上に整然と並べられた手書き文
字に対する編集しかできず、手書き入力の特徴を生かせ
るメモ書きのような使い方をすることができず、また、
手書き入力した文字や図形を回転させる場合、通常の図
形エディターによる回転では文字や図形の可読方向も同
時に回転してしまい、横書きのものを一動作で縦書きに
変更するような操作ができないという問題があった。
【0006】本発明は上記問題点に鑑み、単純な操作で
手書きストロークの編集範囲を選択でき、またメモ書き
の利便性を備えた手書きストローク編集装置を提供する
ことを目的とする。
【0007】
【課題を解決するための手段】上記課題を解決するため
本発明の手書きストローク編集装置は、手書き入力され
たストローク情報を編集する装置であって、手書き入力
された文字及び図形ストローク情報について、文字に外
接する矩形である文字ボックス、複数の文字からなる行
に外接する矩形である行ボックス、及び、図形に外接す
る矩形である図形ボックスのそれぞれに対応する座標を
表すボックス情報を記憶するボックス記憶手段と、文字
グループ、図形グループ、行グループにグループ分けさ
れたストローク情報を各ボックス情報と関連づけて管理
するグループ管理手段と、編集範囲を指定するペンのジ
ェスチャーによるストローク情報が入力され、そのスト
ローク情報を含む所定の領域の座標を求め、その領域を
編集範囲と認識するジェスチャー認識手段と、編集範囲
の座標及びボックス情報に基づいて編集範囲と各ボック
スとの重なる面積を算出し、重なる面積が当該ボックス
の面積に対して所定の割合を越えているボックスと関連
づけられたグループを編集対象のグループとして選択す
る編集対象選択手段とを備えている。
【0008】また、本発明は手書き入力されたストロー
ク情報を編集する装置であって、手書き入力された文字
及び図形のストローク情報について、文字に外接する矩
形である文字ボックス、複数の文字からなる行に外接す
る矩形である行ボックス、及び、図形に外接する矩形で
ある図形ボックスのそれぞれに対応する座標を表すボッ
クス情報を記憶するボックス記憶手段と、文字グルー
プ、図形グループ、行グループにグループ分けされたス
トローク情報を各ボックス情報と関連づけて管理するグ
ループ管理手段と、編集範囲を指定するペンのジェスチ
ャーによるストローク情報が入力され、そのストローク
情報を含む所定の領域の座標を求め、その領域を編集範
囲と認識するとともに、指定された編集範囲に対する編
集操作を認識するジェスチャー認識手段と、編集範囲の
座標及びボックス情報に基づいて編集範囲と各ボックス
との重なる面積を算出し、重なる面積が当該ボックスの
面積に対して所定の割合を越えているボックスと関連づ
けられたグループを編集対象のグループとして選択する
編集対象選択手段と編集対象選択手段により選択された
グループに対して、ジェスチャー認識手段により認識さ
れた編集操作を実現するストロークの編集指示を出力す
るとともに、編集操作がグループ削除である場合には、
削除により生じ得る所定のグループ間のすきまを詰める
編集指示を作成し、編集操作が挿入である場合には、挿
入により生じ得る所定のグループ間の重なりを解消する
編集指示を作成するブロック編集手段と、ブロック編集
手段からの編集指示に従って、グループ管理手段に記憶
された編集対象のグループ及び他のグループに対してス
トロークの編集を行う編集手段とを備えている。
【0009】また、本発明は手書き入力されたストロー
ク情報を編集する装置であって、手書き入力された文字
及び図形ストローク情報について、文字に外接する矩形
である文字ボックス、複数の文字からなる行に外接する
矩形である行ボックス、及び、図形に外接する矩形であ
る図形ボックスのそれぞれに対応する座標を表すボック
ス情報を記憶するボックス記憶手段と、文字グループ、
図形グループ、行グループにグループ分けされたストロ
ーク情報を各ボックス情報と関連づけて管理するグルー
プ管理手段と、編集範囲を指定するペンのジェスチャー
によるストローク情報が入力され、そのストローク情報
を含む所定の領域の座標を求め、その領域を編集範囲と
認識するとともに、指定された編集範囲に対する編集操
作を認識するジェスチャー認識手段と、編集範囲の座標
及びボックス情報に基づいて編集範囲と各ボックスとの
重なる面積を算出し、重なる面積が当該ボックスの面積
に対して所定の割合を越えているボックスと関連づけら
れたグループを編集対象のグループとして選択する編集
対象選択手段と選択された編集対象のグループに対し
て、ジェスチャー認識手段により認識された編集操作が
グループの回転である場合に、グループ内の文字、図形
グループの可読性を保ったままグループを回転するよう
各文字、図形グループを移動する編集指示を作成するグ
ループ回転手段と、グループ回転手段からの編集指示に
従って、グループ管理手段に記憶された編集対象のグル
ープ及びその内部のグループに対してストロークの編集
を行う編集手段とを備えている。
【0010】また、本発明の手書きストローク編集方法
は、手書き入力された文字及び図形のストローク情報に
ついて、文字に外接する矩形である文字ボックス、複数
の文字からなる行に外接する矩形である行ボックス、並
びに図形に外接する矩形である図形ボックスのそれぞれ
に対応する座標を表すボックス情報を記憶するボックス
記憶部、及び、文字グループ、行グループ、並びに図形
グループに分けられたストローク情報をボックス情報と
関連づけて管理するグループ管理部を参照して、手書き
入力されたストローク情報を編集する方法であって、編
集範囲を指定するペンのジェスチャーによるストローク
情報が入力され、そのストローク情報を含む所定の領域
の座標を求め、その領域を編集範囲と認識するジェスチ
ャー認識ステップと、編集範囲の座標及びボックス情報
に基づいて編集範囲と各ボックスとの重なる面積を算出
し、重なる面積が当該ボックスの面積に対して所定の割
合を越えているボックスを関連づけられたグループを編
集対象のグループとして選択する編集対象選択ステップ
とからなっている。
【0011】また、本発明は、手書き入力された文字及
び図形のストローク情報について、文字に外接する矩形
である文字ボックス、複数の文字からなる行に外接する
矩形である行ボックス、並びに図形に外接する矩形であ
る図形ボックスのそれぞれに対応する座標を表すボック
ス情報を記憶するボックス記憶部、及び、文字グルー
プ、行グループ、並びに図形グループに分けられたスト
ローク情報をボックス情報と関連づけて管理するグルー
プ管理部を参照して、手書き入力されたストローク情報
を編集する方法であって、編集範囲を指定するペンのジ
ェスチャーによるストローク情報が入力され、そのスト
ローク情報を含む所定の領域の座標を求め、その領域を
編集範囲と認識するとともに、指定された編集範囲に対
する編集操作を認識するジェスチャー認識ステップと、
編集範囲の座標及びボックス情報に基づいて編集範囲と
各ボックスとの重なる面積を算出し、重なる面積が当該
ボックスの面積に対して所定の割合を越えているボック
スと関連づけられたグループを編集対象のグループとし
て選択する編集対象選択ステップと編集対象選択ステッ
プにより選択されたグループに対して、ジェスチャー認
識ステップにより認識された編集操作を実現するストロ
ークの編集指示を出力するとともに、編集操作がグルー
プ削除である場合には、削除により生じ得る所定のグル
ープ間のすきまを詰める編集指示を作成し、編集操作が
挿入である場合には、挿入により生じ得る所定のグルー
プ間の重なりを解消する編集指示を作成するブロック編
集ステップと、ブロック編集ステップからの編集指示に
従って、グループ管理部に管理された編集対象のグルー
プ及び他のグループに対してストロークの編集を行う編
集ステップとからなっている。
【0012】また、本発明は、手書き入力された文字及
び図形のストローク情報について、文字に外接する矩形
である文字ボックス、複数の文字からなる行に外接する
矩形である行ボックス、並びに図形に外接する矩形であ
る図形ボックスのそれぞれに対応する座標を表すブロッ
ク情報を記憶するボックス記憶部、及び、文字グルー
プ、行グループ、並びに図形グループに分けられたスト
ローク情報をボックス情報と関連づけて管理するグルー
プ管理部を参照して、手書き入力されたストローク情報
を編集する方法であって、編集範囲を指定するペンのジ
ェスチャーによるストローク情報が入力され、そのスト
ローク情報を含む所定の領域の座標を求め、その領域を
編集範囲と認識するとともに、指定された編集範囲に対
する編集操作を認識するジェスチャー認識ステップと、
編集範囲の座標及びボックス情報に基づいて編集範囲と
各ボックスとの重なる面積を算出し、重なる面積が当該
ボックスの面積に対して所定の割合を越えているボック
スと関連づけられたグループを編集対象のグループとし
て選択する編集対象選択ステップと選択された編集対象
のグループに対して、ジェスチャー認識ステップにより
認識された編集操作がグループの回転である場合に、グ
ループ内の文字、図形グループの可読性を保ったままグ
ループを回転するよう各文字、図形グループを移動する
編集指示を作成するグループ回転ステップと、グループ
回転ステップからの編集指示に従って、グループ管理部
に記憶された編集対象のグループ及びその内部のグルー
プに対してストロークの編集を行う編集ステップとから
なることを特徴とする手書きストローク編集方法。
【0013】
【作用】上記手段を備えることにより、本発明の手書き
ストローク編集装置(方法)においては、ジェスチャー
認識手段(ステップ)は、編集範囲を指定するペンのジ
ェスチャーによるストローク情報が入力されると、その
ストローク情報を含む所定の領域の座標を求めてその領
域を編集範囲と認識する。編集対象選択手段(ステッ
プ)は、編集範囲の座標及びボックス情報に基づいて編
集範囲と各ボックスとの重なる面積を算出し、重なる面
積が当該ボックスの面積に対して所定の割合を越えてい
るボックスと関連づけられたグループを編集対象のブロ
ックとして選択する。これにより、使用者が厳密にスト
ロークを指定しなくても編集対象を簡単に指定すること
ができる。
【0014】また、ブロック編集手段(ステップ)は、
編集対象選択手段(ステップ)により選択されたグルー
プに対して、ジェスチャー認識手段(ステップ)により
認識された編集操作を実現するストロークの編集指示を
出力するとともに、編集操作がグループ削除である場合
には、削除により生じ得る所定のグループ間のすきまを
詰める編集指示を作成し、編集操作が挿入である場合に
は、挿入による生じ得る所定のグループ間の重なりを解
消する編集指示を作成する。編集手段(ステップ)は、
ブロック編集手段(ステップ)からの編集指示に従っ
て、グループ管理手段(グループ管理部)に記憶された
編集対象のグループ及び他のグループに対してストロー
クの編集を行う。これにより、メモ書きのような使い方
をすることができる。
【0015】また、ブロック回転手段(ステップ)は、
選択された編集対象のグループに対して、ジェスチャー
認識手段(ステップ)により認識された編集操作がグル
ープの回転である場合に、ブロック内の文字、図形ブロ
ックの可読性を保ったままブロックを回転するよう各文
字、図形ブロックを移動する編集指示を作成する。編集
手段(ステップ)は、ブロック回転手段(ステップ)か
らの編集指示に従って、グループ管理手段(グループ管
理部)に記憶された編集対象のグループ及びその内部の
ブロックに対してストロークの編集を行う。これによ
り、横書きのものを一動作で、縦書きに変更することが
できる。
【0016】
【実施例】図1は本実施例における手書きストローク編
集装置の構成を示すブロック図である。同図に示すよう
に、手書きストローク編集装置は、タブレット装置1、
ストローク管理装置2、グループ分割装置3、グループ
管理装置4、ジェスチャー認識装置5、編集装置6、編
集範囲決定装置7、グループ選択判定装置8、ブロック
編集装置9、及びグループ回転装置10を備えて構成さ
れている。
【0017】タブレット装置1は、専用のペンにより手
書きデータ及び操作指示を入力する。専用のペンにはサ
イドスイッチが備えられていて、手書きデータを入力す
るデータ入力モードと、操作指示を入力する操作指示モ
ードが切り換えられる。データ入力モードの場合には、
タブレット装置1はペン入力装置等から手書き文字が入
力され手書き文字の筆跡を構成する各ストロークの座標
点を出力する。この座標点は、座標を示す情報と入力順
を示す時間情報とを含む点列データで表される。一方、
操作指示モードの場合には、サイドスイッチから操作内
容の指示が入力され、タブレット装置上のペンのジェス
チャーにより操作範囲の指定が入力される。
【0018】ストローク管理装置2は、データ入力モー
ドにおいてタブレット装置1から出力される座標点につ
いて、一筆動作に対応するストローク単位毎の座標点を
ストローク情報として、入力順にすべてのストロークに
ついて記憶及び管理する。グループ分割装置3は、スト
ローク管理装置2により記憶された複数のストロークの
座標点に基づいて、個々のストロークを取りまとめて文
字単位や行単位や図形単位にグループ化するとともに、
グループを構成するストロークを内包する最小の矩形を
示す矩形情報を求める。ここでいうグループには、例え
ば、文字を構成するひとまとまりのストロークグループ
を示す文字グループと、図形や一行分の文字グループを
統合した行グループ等がある。つまり、グループ分割装
置3はストローク管理装置2に記憶されたストローク情
報からなる手書きデータを文字グループや行グループに
分割する。文字グループへの分割に関しては「運筆デー
タからの字の切り出し」(電子情報通信学会論文誌 '90
/10 Vol.J73-D-II No.10)に、ブロックグループへの分
割に関しては「運筆データからの行の切り出し」(電子
情報通信学会論文誌 '90/7 Vol.J73-D-II No.7)に詳し
いので、詳細は省略する。
【0019】グループ管理装置4は、グループ分割装置
3によって求められた各グループのストローク情報と、
各グループに外接する矩形を表すボックス情報を記憶し
て管理する。ジェスチャー認識装置5は、操作指示モー
ドにおいて、タブレット装置1から入力される操作指
示、及び、編集範囲を指定するためのペンのジェスチャ
ーを認識する。例えば、タブレット装置1に付属のペン
のサイドスイッチから操作指示が指定され、その操作指
示の対象となる編集範囲が×印を描くペンのジェスチャ
ーによって入力される場合、ジェスチャー認識装置5
は、操作指示と、編集範囲を指定するペンのジェスチャ
ーとを認識する。
【0020】編集装置6はジェスチャー認識装置、ブロ
ック編集装置9、及び、グループ回転装置10からの編
集指示を受け、個々のストロークの削除や移動等を行な
う。編集範囲決定装置7は、ジェスチャー認識装置5か
らの指示により、タブレット装置1上のペンのジェスチ
ャーに基づいて編集すべき範囲を決定する。具体的に
は、編集範囲決定装置7は、編集範囲を指定するストロ
ークデータがジェスチャー認識装置5を介して入力さ
れ、×印を描くストロークに外接する矩形を求めて、こ
の矩形を指示された編集範囲であると決定し、この編集
範囲をグループ選択判定装置8に通知する。
【0021】グループ選択判定装置8は、編集範囲決定
装置7によって決定された編集範囲と、グループ管理装
置4によって管理されている各グループのボックス情報
とを比較して、どのグループが編集対象となるのかを判
定し、編集対象となっているグループを選択する。ブロ
ック編集装置9は、グループ選択判定装置8によって選
択されたグループが属するブロック内でどのように編集
するかの編集動作を指示する。このブロック編集装置9
は、図示しないレイアウト管理情報保持部を有し、ブロ
ックおよびブロック内の各グループ毎の編集に際して、
ブロック内での行や文字の動き及び他のブロックとの関
係をどう維持すべきかを規定するレイアウト管理情報を
保持している。ブロック編集装置9は、グループ選択判
定装置8で選択されたグループに対するユーザーレベル
の編集指示を編集装置6に指示し、レイアウト管理情報
に基づいてブロック内でのストロークデータ削除や挿入
によるレイアウト変更を管理する。
【0022】グループ回転装置10は、グループ内の文
字や図形単位では可読な方向を保ったまま行もしくはブ
ロックの方向を回転させる。図5は、図1に示したグル
ープ選択判定装置8の詳細な動作フローを示すフローチ
ャートである。図5(a)はブロックグループに対して
判定する動作フロー(ステップ501〜506)であ
り、図5(b)はさらにブロック内の文字グループに対
して判定する(ステップ507〜513)動作フローで
ある。ただし、本実施例では、ブロックグループと行グ
ループとを同一としている。
【0023】同図においてステップ501は、ストロー
クグループ管理装置4によって管理されているブロック
グループから探査ブロックとしてブロックグループを1
つ取り出す。探査ブロックの取り出しは、1つずつ取り
出され全てブロックグループが取り出されるまで続けら
れる。ステップ502は、編集範囲決定装置7から通知
された編集範囲と、ステップ501で取り出された探査
ブロックの矩形情報とが少しでも重なりがあるか否かを
調べ、重なりがない場合にはステップ503に進み、重
なりがある場合にはステップ504に進む。
【0024】ステップ503は、ステップ502で重な
りがないと判断されたので、現探査ブロックを編集対象
として選択しないで、ステップ501に戻る。ステップ
504は、ステップ502で重なりがあると判断された
ので、さらに重なる面積が探査ブロックの矩形面積に対
して所定の割合以上であるか否かを判定し、所定の割合
以上の場合にはステップ505に進み、所定の割合より
小さい場合にはステップ506に進む。この所定の割合
は、任意に設定できる。例えば、0.1に設定したとき
は、1割以上重なっていれば編集対象として選択される
ことになり、0.9に設定したときは、9割以上重なっ
ていれば編集対象として選択されことになる。
【0025】ステップ505は、所定の割合以上である
と判断されたので、現探査ブロックを編集対象として選
択してステップ501に戻る。ステップ506は、所定
の割合より小さいと判断されたので、現探査ブロック内
に含まれる文字グループをさらに探査するように指示す
る(step2に進む)。
【0026】ステップ507は、ステップ501で取り
出された探査ブロックに含まれる文字グループから探査
グループとして文字グループを1つ取り出す。探査グル
ープの取り出しは、1つずつ取り出され探査ブロック内
の全て文字グループが取り出されるまで続けられる。ス
テップ508は、編集範囲決定装置7から通知された編
集範囲と、ステップ507で取り出された探査グループ
の矩形情報とが少しでも重なりがあるか否かを調べ、重
なりがない場合にはステップ509に進み、重なりがあ
る場合にはステップ510に進む。
【0027】ステップ509は、ステップ508で重な
りがないと判断されたので、現探査グループを編集対象
として選択しないで、ステップ507に戻る。ステップ
510は、ステップ508で重なりがあると判断された
ので、さらに重なる面積が探査グループの矩形面積に対
して所定の割合以上であるか否かを判定し、所定の割合
以上の場合にはステップ512に進み、所定の割合より
小さい場合にはステップ513に進む。この所定の割合
は、ステップ504と同様に任意に設定できる。また、
ステップ504の所定の割合とは異なる値としてよい。
【0028】ステップ512は、所定の割合以上である
と判断されたので、現探査グループを編集対象として選
択してステップ507に戻る。ステップ513は、所定
の割合より小さいと判断されたので、現探査グループを
選択しないでステップ507に戻る。図7は、図1のブ
ロック編集装置9の詳細な動作フローを示すフローチャ
ートである。
【0029】同図においてステップ611〜612は、
グループ選択判定装置8によって選択された編集対象の
グループがブロックグループであるか、行グループであ
るか、文字グループであるかを判別する。ステップ61
3は、グループ選択判定装置8によって編集対象として
文字グループが選択されている場合に、選択された文字
グループの編集結果が行内の他の文字グループに影響を
与えるか否かを判定し、影響を与える場合にはステップ
616に、影響を与えない場合にはステップ619に進
む。
【0030】ステップ614は、グループ選択判定装置
8によって編集対象として行グループが選択されている
場合に、選択された行グループの編集結果が他の行に影
響を与えるか否かを判定し、影響を与える場合にはステ
ップ617に、影響を与えない場合にはステップ620
に進む。ステップ615は、グループ選択判定装置8に
よって編集対象としてブロックグループが選択されてい
る場合に、選択されたブロックグループの編集結果が他
のブロックグループに影響を与えるか否かを判定し、影
響を与える場合にはステップ618に、影響を与えない
場合にはステップ621に進む。
【0031】ステップ616は、ステップ613で他の
文字グループに影響を与えると判定されたので、行グル
ープ内で移動すべき全ての文字グループに対して移動の
編集指示を決定する。ステップ617は、ステップ61
4で他の行グループに影響を与えると判定されたので、
ブロックグループ内において移動すべき全ての行グルー
プに対して移動の編集指示を決定する。
【0032】ステップ618は、ステップ615で他の
ブロックグループに影響を与えると判定されたので、移
動すべき全てのブロックグループに対して移動の編集指
示を決定する。ステップ619は、グループ選択判定装
置8によって選択された文字グループのみに対する編集
指示を決定する。
【0033】ステップ620は、グループ選択判定装置
8によって選択された行グループのみに対する編集指示
を決定する。ステップ621は、グループ選択判定装置
8によって選択されたブロックグループのみに対する編
集指示を決定する。ステップ622は、ステップ616
ないし621で決定された編集指示を編集装置6に出力
し、編集指示に応じて削除対象のストロークデータの削
除や移動対象のストロークデータの移動等の編集を実行
させる。
【0034】ステップ623は、行グループの削除や移
動等の編集によって生じるグループ情報の変化をグルー
プ管理装置4へ通知し、グループ情報を更新させる。ス
テップ624は、グループ選択判定装置8によって選択
されたグループで編集すべきものが残っているか否かを
判定し、残っている場合にはステップ611に戻り、残
っていない場合にはステップ625に進む。
【0035】ステップ625は、編集の結果、ブロック
間に重なりが生じていないかなどブロック間の関係を再
調整する必要があるか否かを判定し、必要がある場合に
はステップ611に戻り、必要がない場合には終了す
る。図8は、図1に示したグループ回転装置10の詳細
な動作フローを示すフローチャートである。
【0036】ステップ701は、回転の対象となってい
るブロックグループ内の回転の中心とすべき文字グルー
プの中心点を計算して回転の支点(X0,Y0)とする。ステ
ップ702は、回転対象のブロックグループ内に他の文
字グループが残っているかどうかを判定し、残っている
場合にはステップ703に進み、残っていない場合には
終了する。
【0037】ステップ703は、残っている文字グルー
プの中から次に回転対象とすべき文字グループを決定す
る。ステップ704は、回転対象の文字グループの回転
後の中心座標を計算する。具体的には、回転後の中心点
(X',Y')は、回転前の文字グループの矩形の中心点を(X
1,Y1)とすると、 X'=X0+(xcosθ−ysinθ) Y'=Y0+(xcosθ+ysinθ) ここで、(x,y)
=(X1−X0,Y1−Y0) を計算することにより得られる。
【0038】ステップ705は、回転前の中心点と回転
後の中心点との移動距離を求め、移動用のオフセット情
報とする。ステップ706は、ステップ705で求めら
れたオフセット情報を基に編集装置6に移動を指示し、
ストローク管理装置2内のストロークデータの座標を変
更することにより移動を実行させる。
【0039】ステップ707は、ステップ706の移動
により生じた文字グループ情報の変化をグループ管理装
置4に伝え更新させる。以上のように構成された本発明
の実施例における手書きストローク編集装置について、
以下図面を用いてその動作を説明する。具体的な動作例
として(1)削除指示を受けた場合のグループ選択判定
装置8の動作、(2)ブロック内の削除指示を受けた場
合のブロック編集装置9の動作、(3)回転指示をうけ
た場合のグループ回転装置10の動作の3つに分けて説
明する。 (1)削除指示を受けた場合のグループ選択判定装置8
の動作 タブレット装置1において手書き入力されたストローク
は、ストローク管理装置2によって、ストローク毎に座
標点が求められストローク情報として記憶・管理され
る。さらに、グループ分割装置3によって文字グループ
およびブロックグループに分けられ、これらの情報がグ
ループ管理装置4によって記憶・管理される。グループ
管理装置4によって管理される文字グループ及びブロッ
クグループの一例を図2(a)に示す。図2(a)にお
いて201〜205はそれぞれグループ分割装置3によ
って分割された文字グループである。206はグループ
分割装置3によって分割された、文字グループ201〜
205を含む行グループである。
【0040】図2(a)のような手書き入力データに対
して、一部分を削除する場合、本実施例では、使用者は
タブレット装置1に付属のペンのサイドスイッチを押し
ながら、もしくは入力モードから編集ノードに変更して
から削除すべき部分に×印を描いて指示する。サイドス
イッチが押されながら入力されたデータ、もしくは編集
モード中に入力されたデータは、ジェスチャーデータと
みなされ、ストローク管理装置2を介してジェスチャー
認識装置5に入力される。ジェスチャー認識装置5は、
このデータの形状から削除指示であることを認識し、か
つストロークデータを編集範囲決定装置7に通知すると
ともに編集範囲決定装置7を起動する。
【0041】削除範囲を指定する×印のストロークデー
タの一例を図2(b)に示す。同図におけるストローク
207が削除範囲を指定するための×印である。編集範
囲決定装置7は、ジェスチャー認識装置5から通知され
たストロークデータに外接する矩形を求めて、この矩形
を指示された編集範囲と決定し、この編集範囲208を
グループ選択判定装置8に通知する。図2(b)の編集
範囲208は、ストローク207について編集範囲決定
装置7によって決定された編集範囲を示す。
【0042】編集範囲決定装置7から編集範囲208が
通知されると、グループ選択判定装置8は、図5の動作
フローに従って以下のようにして編集対象となるグルー
プを選択していく。ただし、本動作例では、ストローク
管理装置2で記憶・管理されているストロークデータ
は、図2(a)に示した手書き入力データのみが存在す
るものとし、グループの管理は、文字単位の文字グルー
プと、複数の文字グループからなるブロックグループの
2種類で管理されているものとする。
【0043】まずストロークグループ管理装置4によっ
て管理されているブロックグループからブロックグルー
プ206を取り出す(ステップ501)。取り出したブ
ロックグループ206の矩形情報と編集範囲208とで
少しでも重なりがあるか否かを調べる(ステップ50
2)。本動作例では、重なりがあるのでさらに、重なる
面積がブロックグループ206の面積の所定の割合以上
かを調べ(ステップ503)る。本動作例では、所定の
割合を0.9と設定しているものとする。重なる面積が
所定の割合より小さいので、ブロックグループ206は
編集対象として選択されないで、ブロックグループ20
6内の文字グループをさらに探査するように指示する
(ステップ506)。
【0044】次に、ブロックグループ206内の文字グ
ループ201が取り出される(ステップ506)。文字
グループ201は編集範囲208と重なりがあり(ステ
ップ508)、文字グループ201の全部が完全に重な
っているので、重なりが所定の割合以上である(ステッ
プ510)ことから、編集対象として選択される(ステ
ップ512)。
【0045】続いて、ブロックグループ206内の文字
グループ202が取り出される(ステップ506)。文
字グループ202は、編集範囲208と重なりがあり
(ステップ508)、その重なりが所定の割合(0.5
とする)以上であるので(ステップ510)、編集対象
として選択される(ステップ512)。さらに、ブロッ
クグループ206内の文字グループ203が取り出され
る(ステップ506)。文字グループ203は、編集範
囲208と重なりがないので(ステップ508)、編集
対象として選択されない(ステップ509)。
【0046】同様に、文字グループ204、205につ
いての編集対象として選択するかどうかが判定され、本
動作例では選択されない(ステップ507〜509)。
以上の判定の結果、文字グループ201と202のみが
編集対象として選択すされていることになる。文字グル
ープ201及び202は、編集装置6からグループの削
除指示が出されているので、ストローク管理装置2内の
ストロークデータが削除される。
【0047】このとき、ブロックグループ206に対し
て、そのブロックグループの構成要素が削除された場合
には、削除後の空間を詰めるようにブロック編集装置9
から指示されていれば、図2(c)のようにグループ2
03、204、205の位置やブロックグループ206
の矩形情報が更新され、ストロークグループ管理装置4
によって管理される。
【0048】また、図2(d)のように編集範囲208
がブロックグループ206と大きく重なる場合は、編集
範囲決定装置7はステップ504、ステップ505にお
いてブロックグループ206全体を選択するので、ブロ
ックグループ206全体が削除されることになる。この
ようにタブレット装置1によって手書き入力されたスト
ロークデータを、文字、行、図形、ブロック単位で管理
するストロークグループ管理装置4と、各グループが選
択されたかどうかを判定するグループ選択判定装置8を
備えることにより、ペンのジェスチャー動作によって選
択範囲を指示するような場合に、指示者が厳密に範囲を
指示しなくても対象を選択することができ、指示者にス
トレスを与えることなく自然に編集を行なうことができ
る。
【0049】なお、図5(a)のステップ504におけ
る判定基準と図5(b)のステップ510における判定
基準の値は入力者によって変更してもよいし、入力者の
癖を学習することによって自動的に決定してもよい。 (2)ブロック内の削除指示を受けた場合のブロック編
集装置9の動作 図3(a)においてブロックグループ302内の編集対
象306が削除される場合の動作を図6、図7を用いて
説明する。図3(a)に示すように301の画面上にブ
ロックグループ302、303、304、305が設定
されており、各ブロックグループは手書き入力された文
字グループ、図形グループおよび行グループによって構
成されている。
【0050】編集対象306は、第1の動作例と同様に
して、グループ選択判定装置8によって選択される。ま
た、削除という編集指示は、ジェスチャー認識装置5に
よって認識され、ブロック編集装置9に与えられる。ブ
ロック編集装置9は、ブロックおよびブロック内の各グ
ループ毎に編集に際して、ブロック内での行や文字の動
き及び他のブロックとの関係をどう維持すべきかを規定
するレイアウト管理情報を予め保持しており、グループ
選択判定装置8で選択されたブロックに対するユーザー
レベルの編集指示を実現するため、このレイアウト管理
情報に基づいて個々の編集指示を編集装置6に出し、ス
トローク管理装置2内のストロークデータを削除させ
る。
【0051】ブロック編集装置9に保持されているレイ
アウト管理情報の具体例を図6に示す。同図は、図3
(a)に示した各ブロック302〜305に関して、編
集に際して他のブロックとの関係及びブロック内での動
きをどのようにすべきかを規定している。例えばブロッ
ク302は、他のブロックとの関係において編集の結果
「重ならない」ようにし、かつ他のブロックとの間に新
たにできる空間(すきま)を「詰めない」ように編集を
行うべきであることを、また、ブロック内において行内
において新たにできる行単位の空間(すきま)に対して
行を「上に詰める」ようにし、新たにできる文字単位の
空間(すきま)に対して文字を「左に詰める」ように編
集すべきであることが規定されている。
【0052】ブロック編集装置9は、グループ選択判定
装置8によって選択された編集範囲306を削除する編
集指示を実現するための、個々の具体的な編集指示を上
記図6の規定に基づいて、図7のフローに従って次のよ
うにして編集装置6出力して削除させる。まず、削除範
囲がブロックグループ全体であるかどうか判断される
(ステップ611:No)。図3(a)の場合、編集範囲
306は、1つの行グループ(「あいうえおかきく」)
と3つの文字グループ(「けこさ」)を含んでいる。行
グループが選択されているので(ステップ612:Ye
s)、さらに他の行グループに影響を与えるかどうかを
判断する(ステップ614:Yes)。ここで、図6の60
3の規定より、行グループが削除された場合はその行グ
ループの下に位置する行グループを「上へ詰める」とな
っているので、ブロック302内のすべての行を1行分
「上へ詰める」移動指示を作成し(ステップ617)、
選択されている行グループ(「あいうえおかきく」)を
削除する指示を作成すると共に622においてストロー
ク管理装置2に移動対象の個々のストロークデータの移
動と削除対象の個々のストロークデータの削除との具体
的な編集指示を出す(ステップ622)。行グループの
削除や移動によって生じるグループ情報の変化はグルー
プ管理装置へ伝えられ、グループ情報の更新が行われる
(ステップ623)。
【0053】上記の編集は選択されたグループがなくな
るまで繰り返される。この場合、さらに、3つの文字グ
ループ(「けこさ」)が選択されているので(ステップ
624:Yes)、行グループ内の他の文字グループに影響
を与えるかどうか判断する(ステップ611:No、61
2:No、613:Yes)。ここで、604の規定により、
文字グループが削除された場合は行グループ内で右側に
ある文字グループを「左に詰める」となっているので、
行グループ内で移動の生じる全ての文字グループに対し
て移動の編集指示を作成する(ステップ616)。さら
に選択された文字グループ(「けこさ」)は削除指示が
作成され(ステップ619)、ストローク管理装置2に
対して個々のストロークデータの削除と個々のストロー
クデータの移動の具体的な編集指示を行う(ステップ6
22)。以降の動作は行グループ削除の場合と同じであ
る(ステップ623、624)。ブロックグループ内で
の編集が全て終了すると、ブロックグループ間の関係を
見直す(ステップ625)。602の規定では、ブロッ
クグループの空間を「詰めない」ことになっているの
で、図3(b)のように他のブロックグループには影響
を与えない。
【0054】図3(a)の例では、ブロックグループの
編集を行っていないが、ブロックグループを編集する場
合も615において602の規定が適用される。上述し
た図6のような編集対象の動きの規定は、使用者が明示
的に指示してもよく、またたとえば文字の書かれた方向
によって自動的に判断してもよい。また、本実施例で
は、1つのブロックグループ内での行グループ及び文字
グループの動きを規定しているが、これを階層的に規定
する、すなわち、ブロックグループ内での行グループの
動き、行グループ内での文字グループの動きをそれぞれ
独自規定することも可能である。
【0055】このようにして、302のブロックグルー
プ内では文字グループ削除後の空間の詰めや削除されな
かった文字グループの位置調整がブロック編集装置9に
よって行なわれるが、右方向や下方向にある他のブロッ
クグループ内の文字グループの位置等についてはなんら
影響を与えず、図3(b)の状態になる。また、縦書き
の304ブロックグループ内においては縦方向に文字グ
ループの位置調整が行なわれるが、ブロックグループ下
方にある305のブロックグループには影響を与えな
い。
【0056】このように、ストロークグループ管理装置
4と、ブロック内でのストロークデータ削除や挿入によ
るレイアウト変更を管理するブロック編集装置9を備え
ることにより、使用者に自由なメモ書きのような使用感
を与えつつ、編集後の手書き入力データを整頓して見や
すくすることができる。 (3)回転指示をうけた場合のグループ回転装置10の
動作 グループ回転装置10の動作について図4(a)、
(b)、(c)を用いて説明する。同図(a)に示すよ
うな5個の文字グループ402〜406と、1個の図形
グループ407からなるブロックグループ401に対し
て、ブロックグループ中最初の文字グループ402の中
心点を支点に時計周り方向に約45度の回転指示を与え
た場合(図4(b)参照)、及び、90度の回転指示を
与えて縦書きにした場合(図4(c)参照)について図
8に示したフローにしたがって以下説明する。
【0057】文字グループ402を支点に回転する場
合、まず回転のための支点を文字グループ402の中心
点を計算することによって得る(ステップ701)。ブ
ロックグループ401には文字グループ402〜40
6、図形グループ407が存在するので(ステップ70
2:Yes)、回転対象を403の文字グループに設定する
(ステップ703)。
【0058】次に回転対象の文字グループ403の回転
後の中心点を求め(ステップ704)、現在位置からの
移動距離を求める(ステップ705)。この移動距離を
基にストローク管理装置2に対して文字グループ403
の移動を指示し(ステップ706)、最後に、移動によ
って生じた文字グループ情報の変化をグループ管理装置
4に伝え更新を指示する(ステップ707)。
【0059】上記の操作は反復処理によって回転対象を
文字グループ404、405と順次替えていきながら回
転編集を行い、407のグループを処理した後は、ステ
ップ702によってブロックグループ401には文字
(図形)グループが残っていないと判断され、回転編集
を終了する。以上のように通常の図形エディターによる
回転では文字や図形の可読方向も同時に回転してしまう
が、グループ回転装置10を設けることにより、文字や
図形の可読方向を保持しながら任意方向に回転すること
ができる。
【0060】また、ストロークグループ管理装置4と、
ブロック内の文字や図形単位では可読な方向を保ったま
ま行もしくはブロックの方向を回転させるグループ回転
装置10を備えることにより、手書き入力されたデータ
の可読方向を保ちつつ、データの並び方向を任意の方向
に変更することができ、横書きと縦書きを変更すること
ができる。
【0061】
【発明の効果】以上説明してきたように本発明の手書き
ストローク編集装置(方法)によれば、手書き入力され
たストロークデータを、文字、行、図形、ブロック単位
で管理するストロークグループ管理装置と、各グループ
が選択されたかどうかを判定するグループ選択判定装置
を備えることにより、ペンのジェスチャー動作によって
選択範囲を指示するような場合に、指示者が厳密に範囲
を指示しなくても対象を選択することができ、指示者に
ストレスを与えることなく自然に編集を行なうことがで
きるという効果がある。
【0062】また、ストロークグループ管理装置と、ブ
ロック内でのストロークデータ削除や挿入によるレイア
ウト変更を管理するブロック編集装置を備えることによ
り、使用者に自由なメモ書きのような使用感を与えるこ
とができるという効果がある。その結果編集後の手書き
入力データを整頓して見やすくすることができる。ま
た、ストロークグループ管理装置と、ブロック内の文字
や図形単位では可読な方向を保ったまま行もしくはブロ
ックの方向を回転させるグループ回転装置を備えること
により、手書き入力されたデータの可読方向を保ちつ
つ、データの並び方向を任意の方向に変更することがで
き、横書きと縦書きを変更することができるという効果
がある。
【図面の簡単な説明】
【図1】本発明の一実施例における手書きストローク編
集装置の構成図である。
【図2】同実施例におけるグループ選択判定装置8の動
作説明図である。
【図3】同実施例におけるブロック編集装置9の動作説
明図である。
【図4】同実施例におけるグループ回転装置10の動作
説明図である。
【図5】同実施例におけるグループ選択判定装置8の詳
細な動作を示すフローチャートである。
【図6】同実施例におけるブロック編集装置9に保持さ
れるレイアウト管理情報の一例である。
【図7】同実施例におけるブロック編集装置9の詳細な
動作を示すフローチャートである。
【図8】同実施例におけるグループ回転装置10の詳細
な動作を示すフローチャートである。

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 手書き入力されたストローク情報を編集
    する装置であって、 手書き入力された文字及び図形ストローク情報につい
    て、文字に外接する矩形である文字ボックス、複数の文
    字からなる行に外接する矩形である行ボックス、及び、
    図形に外接する矩形である図形ボックスのそれぞれに対
    応する座標を表すボックス情報を記憶するボックス記憶
    手段と、 文字グループ、図形グループ、行グループにグループ分
    けされたストローク情報を各ボックス情報と関連づけて
    管理するグループ管理手段と、 編集範囲を指定するペンのジェスチャーによるストロー
    ク情報が入力され、そのストローク情報を含む所定の領
    域の座標を求め、その領域を編集範囲と認識するジェス
    チャー認識手段と、 編集範囲の座標及びボックス情報に基づいて編集範囲と
    各ボックスとの重なる面積を算出し、重なる面積が当該
    ボックスの面積に対して所定の割合を越えているボック
    スと関連づけられたグループを編集対象のグループとし
    て選択する編集対象選択手段とを備えたことを特徴とす
    る手書きストローク編集装置。
  2. 【請求項2】 編集対象選択手段は、 編集範囲の座標及びボックス情報に基づいて、編集範囲
    と一部でも重なりがあるボックスを検出する検出手段
    と、 検出されたボックスについて、編集範囲と重なる面積を
    求める面積算出手段と、 算出された面積が当該ボックスの面積に対して所定の割
    合を越えているか否かを判定する判定手段と、 所定の割合を越えていると判定されたボックスと関連づ
    けられたグループを選択する選択手段とからなることを
    特徴とする請求項1記載の手書きストローク編集装置。
  3. 【請求項3】 前記編集対象選択手段は、前記所定の割
    合として行ボックス、文字ボックス、図形ボックスに異
    なる値を用いて判定することを特徴とする請求項1又は
    2記載の手書きストローク編集装置。
  4. 【請求項4】 編集対象選択手段は、行グループを選択
    したとき行グループに含まれる文字グループを全て選択
    することを特徴とする請求項1、2又は3記載の手書き
    ストローク編集装置。
  5. 【請求項5】 手書き入力されたストローク情報を編集
    する装置であって、 手書き入力された文字及び図形のストローク情報につい
    て、文字に外接する矩形である文字ボックス、複数の文
    字からなる行に外接する矩形である行ボックス、及び、
    図形に外接する矩形である図形ボックスのそれぞれに対
    応する座標を表すボックス情報を記憶するボックス記憶
    手段と、 文字グループ、図形グループ、行グループにグループ分
    けされたストローク情報を各ボックス情報と関連づけて
    管理するグループ管理手段と、 編集範囲を指定するペンのジェスチャーによるストロー
    ク情報が入力され、そのストローク情報を含む所定の領
    域の座標を求め、その領域を編集範囲と認識するととも
    に、指定された編集範囲に対する編集操作を認識するジ
    ェスチャー認識手段と、 編集範囲の座標及びボックス情報に基づいて編集範囲と
    各ボックスとの重なる面積を算出し、重なる面積が当該
    ボックスの面積に対して所定の割合を越えているボック
    スと関連づけられたグループを編集対象のグループとし
    て選択する編集対象選択手段と編集対象選択手段により
    選択されたグループに対して、ジェスチャー認識手段に
    より認識された編集操作を実現するストロークの編集指
    示を出力するとともに、編集操作がグループ削除である
    場合には、削除により生じ得る所定のグループ間のすき
    まを詰める編集指示を作成し、編集操作が挿入である場
    合には、挿入により生じ得る所定のグループ間の重なり
    を解消する編集指示を作成するブロック編集手段と、 ブロック編集手段からの編集指示に従って、グループ管
    理手段に記憶された編集対象のグループ及び他のグルー
    プに対してストロークの編集を行う編集手段とを備える
    ことを特徴とする手書きストローク編集装置。
  6. 【請求項6】 ブロック編集手段は、 グループ管理手段で管理される複数グループを1つのブ
    ロックとして管理し、ブロック内の行の並び又は文字の
    並びの方向、グループ間のすきまを許容するか否か、及
    び、編集に際してのグループ間の重なりを許容するか否
    かを表すレイアウト情報を保持するレイアウト情報保持
    手段と、 レイアウト情報保持手段を参照して、編集対象のグルー
    プの削除によって生じ得るグループ間のすきまを許容で
    きない場合には、行グループ又は文字グループの並びと
    逆方向にすきまを詰めるよう他のグループを順に移動す
    る編集指示を作成し、編集対象のグループ間の重なりを
    許容できない場合には、グループ間の重なりを解消する
    よう他のグループを順に移動する編集指示を作成する編
    集指示作成手段とからなることを特徴とする請求項5記
    載の手書きストローク編集装置。
  7. 【請求項7】 手書き入力されたストローク情報を編集
    する装置であって、 手書き入力された文字及び図形ストローク情報につい
    て、文字に外接する矩形である文字ボックス、複数の文
    字からなる行に外接する矩形である行ボックス、及び、
    図形に外接する矩形である図形ボックスのそれぞれに対
    応する座標を表すボックス情報を記憶するボックス記憶
    手段と、 文字グループ、図形グループ、行グループにグループ分
    けされたストローク情報を各ボックス情報と関連づけて
    管理するグループ管理手段と、 編集範囲を指定するペンのジェスチャーによるストロー
    ク情報が入力され、そのストローク情報を含む所定の領
    域の座標を求め、その領域を編集範囲と認識するととも
    に、指定された編集範囲に対する編集操作を認識するジ
    ェスチャー認識手段と、 編集範囲の座標及びボックス情報に基づいて編集範囲と
    各ボックスとの重なる面積を算出し、重なる面積が当該
    ボックスの面積に対して所定の割合を越えているボック
    スと関連づけられたグループを編集対象のグループとし
    て選択する編集対象選択手段と選択された編集対象のグ
    ループに対して、ジェスチャー認識手段により認識され
    た編集操作がグループの回転である場合に、グループ内
    の文字、図形グループの可読性を保ったままグループを
    回転するよう各文字、図形グループを移動する編集指示
    を作成するグループ回転手段と、 グループ回転手段からの編集指示に従って、グループ管
    理手段に記憶された編集対象のグループ及びその内部の
    グループに対してストロークの編集を行う編集手段とを
    備えることを特徴とする手書きストローク編集装置。
  8. 【請求項8】 グループ回転手段は、 編集対象のグループの内部に含まれる文字、図形グルー
    プのうち回転中心となる文字又は図形グループの中心座
    標を計算する中心座標計算手段と、 編集対象のグループ内の他の文字、図形グループの基準
    座標を計算する基準座標計算手段と、 編集対象のグループ内の他の文字、図形グループの基準
    座標を、中心座標を中心に所定の角度回転したときの回
    転後の座標を計算する回転後座標計算手段と、 回転後の座標と基準座標との距離を計算する距離計算手
    段と、 基準座標に距離を加算すべき編集指示を作成する編集指
    示作成手段とからなることを特徴とする請求項7記載の
    手書きストローク編集装置。
  9. 【請求項9】 手書き入力された文字及び図形のストロ
    ーク情報について、文字に外接する矩形である文字ボッ
    クス、複数の文字からなる行に外接する矩形である行ボ
    ックス、並びに図形に外接する矩形である図形ボックス
    のそれぞれに対応する座標を表すボックス情報を記憶す
    るボックス記憶部、及び、文字グループ、行グループ、
    並びに図形グループに分けられたストローク情報をボッ
    クス情報と関連づけて管理するグループ管理部を参照し
    て、手書き入力されたストローク情報を編集する方法で
    あって、 編集範囲を指定するペンのジェスチャーによるストロー
    ク情報が入力され、そのストローク情報を含む所定の領
    域の座標を求め、その領域を編集範囲と認識するジェス
    チャー認識ステップと、 編集範囲の座標及びボックス情報に基づいて編集範囲と
    各ボックスとの重なる面積を算出し、重なる面積が当該
    ボックスの面積に対して所定の割合を越えているボック
    スを関連づけられたグループを編集対象のグループとし
    て選択する編集対象選択ステップとからなることを特徴
    とする手書きストローク編集方法。
  10. 【請求項10】 編集対象選択ステップは、 編集範囲の座標及びブロック情報に基づいて、編集範囲
    と一部でも重なりがあるボックスを検出する検出ステッ
    プと、 検出されたボックスについて、編集範囲と重なる面積を
    求める面積算出ステップと、 算出された面積が当該ボックスの面積に対して所定の割
    合を越えているか否かを判定する判定ステップと、 越えていると判定されたボックスと関連づけられたグル
    ープを選択する選択ステップとからなることを特徴とす
    る請求項9記載の手書きストローク編集方法。
  11. 【請求項11】 前記編集対象選択ステップは、前記所
    定の割合として行ボックス、文字ボックス、図形ボック
    ス毎に異なる値を用いて判定することを特徴とする請求
    項9又は10記載の手書きストローク編集方法。
  12. 【請求項12】 編集対象選択ステップは、行グループ
    を選択したとき行グループに含まれる文字グループを全
    て選択することを特徴とする請求項9、10又は11記
    載の手書きストローク編集方法。
  13. 【請求項13】 手書き入力された文字及び図形のスト
    ローク情報について、文字に外接する矩形である文字ボ
    ックス、複数の文字からなる行に外接する矩形である行
    ボックス、並びに図形に外接する矩形である図形ボック
    スのそれぞれに対応する座標を表すボックス情報を記憶
    するボックス記憶部、及び、文字グループ、行グルー
    プ、並びに図形グループに分けられたストローク情報を
    ボックス情報と関連づけて管理するグループ管理部を参
    照して、手書き入力されたストローク情報を編集する方
    法であって、 編集範囲を指定するペンのジェスチャーによるストロー
    ク情報が入力され、そのストローク情報を含む所定の領
    域の座標を求め、その領域を編集範囲と認識するととも
    に、指定された編集範囲に対する編集操作を認識するジ
    ェスチャー認識ステップと、 編集範囲の座標及びボックス情報に基づいて編集範囲と
    各ボックスとの重なる面積を算出し、重なる面積が当該
    ボックスの面積に対して所定の割合を越えているボック
    スと関連づけられたグループを編集対象のグループとし
    て選択する編集対象選択ステップと編集対象選択ステッ
    プにより選択されたグループに対して、ジェスチャー認
    識ステップにより認識された編集操作を実現するストロ
    ークの編集指示を出力するとともに、編集操作がグルー
    プ削除である場合には、削除により生じ得る所定のグル
    ープ間のすきまを詰める編集指示を作成し、編集操作が
    挿入である場合には、挿入により生じ得る所定のグルー
    プ間の重なりを解消する編集指示を作成するブロック編
    集ステップと、 ブロック編集ステップからの編集指示に従って、グルー
    プ管理部に管理された編集対象のグループ及び他のグル
    ープに対してストロークの編集を行う編集ステップとか
    らなることを特徴とする手書きストローク編集方法。
  14. 【請求項14】 ブロック編集ステップは、 グループ管理部で管理される複数のグループを1つのブ
    ロックとして管理し、ブロック内の行の並び又は文字の
    並びの方向、グループ間のすきまを許容するか否か、及
    び、編集に際してのグループ間の重なりを許容するか否
    かを表すレイアウト情報をレイアウト保持部に設定する
    レイアウト情報設定ステップと、 レイアウト情報保持部を参照して、編集対象のグループ
    の削除によって生じ得るグループ間のすきまを許容でき
    ない場合には、行グループ又は文字グループの並びと逆
    方向にすきまを詰めるよう他のグループを順に移動する
    編集指示を作成し、編集対象のグループ間の重なりを許
    容できない場合には、グループ間の重なりを解消するよ
    う他のグループを順に移動する編集指示を作成する編集
    指示作成ステップからなることを特徴とする請求項13
    記載の手書きストローク編集方法。
  15. 【請求項15】 手書き入力された文字及び図形のスト
    ローク情報について、文字に外接する矩形である文字ボ
    ックス、複数の文字からなる行に外接する矩形である行
    ボックス、並びに図形に外接する矩形である図形ボック
    スのそれぞれに対応する座標を表すブロック情報を記憶
    するボックス記憶部、及び、文字グループ、行グルー
    プ、並びに図形グループに分けられたストローク情報を
    ボックス情報と関連づけて管理するグループ管理部を参
    照して、手書き入力されたストローク情報を編集する方
    法であって、 編集範囲を指定するペンのジェスチャーによるストロー
    ク情報が入力され、そのストローク情報を含む所定の領
    域の座標を求め、その領域を編集範囲と認識するととも
    に、指定された編集範囲に対する編集操作を認識するジ
    ェスチャー認識ステップと、 編集範囲の座標及びボックス情報に基づいて編集範囲と
    各ボックスとの重なる面積を算出し、重なる面積が当該
    ボックスの面積に対して所定の割合を越えているボック
    スと関連づけられたグループを編集対象のグループとし
    て選択する編集対象選択ステップと選択された編集対象
    のグループに対して、ジェスチャー認識ステップにより
    認識された編集操作がグループの回転である場合に、グ
    ループ内の文字、図形グループの可読性を保ったままグ
    ループを回転するよう各文字、図形グループを移動する
    編集指示を作成するグループ回転ステップと、 グループ回転ステップからの編集指示に従って、グルー
    プ管理部に記憶された編集対象のグループ及びその内部
    のグループに対してストロークの編集を行う編集ステッ
    プとからなることを特徴とする手書きストローク編集方
    法。
  16. 【請求項16】 グループ回転ステップは、 編集対象のグループの内部に含まれる文字、図形グルー
    プのうち回転中心となる文字又は図形グループの中心座
    標を計算する中心座標計算ステップと、 編集対象のグループ内の他の文字、図形グループの基準
    座標を計算する基準座標計算ステップと、 編集対象のグループ内の他の文字、図形グループの基準
    座標を、中心座標を中心に所定の角度回転したときの回
    転後の座標を計算する回転後座標計算ステップと、 回転後の座標と基準座標との距離を計算する距離計算ス
    テップと、 基準座標に距離を加算すべき編集指示を作成する編集指
    示作成ステップとからなることを特徴とする請求項15
    記載の手書きストローク編集方法。
JP30933393A 1993-12-09 1993-12-09 手書きストローク編集装置及び方法 Pending JPH07160827A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP30933393A JPH07160827A (ja) 1993-12-09 1993-12-09 手書きストローク編集装置及び方法
US08/351,785 US5796866A (en) 1993-12-09 1994-12-08 Apparatus and method for editing handwritten stroke

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30933393A JPH07160827A (ja) 1993-12-09 1993-12-09 手書きストローク編集装置及び方法

Publications (1)

Publication Number Publication Date
JPH07160827A true JPH07160827A (ja) 1995-06-23

Family

ID=17991758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30933393A Pending JPH07160827A (ja) 1993-12-09 1993-12-09 手書きストローク編集装置及び方法

Country Status (2)

Country Link
US (1) US5796866A (ja)
JP (1) JPH07160827A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010073185A (ja) * 2008-09-16 2010-04-02 Sharp Corp 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2012133490A (ja) * 2010-12-20 2012-07-12 Canon Inc 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP2012181708A (ja) * 2011-03-01 2012-09-20 Ubiquitous Entertainment Inc スプレッドシート制御プログラム、スプレッドシート制御装置及びスプレッドシートの制御方法
JP2015176522A (ja) * 2014-03-18 2015-10-05 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017058849A (ja) * 2015-09-15 2017-03-23 シャープ株式会社 入力表示装置および入力表示方法
JP2017215807A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 プログラムおよび情報処理装置
US11816326B2 (en) 2013-06-09 2023-11-14 Apple Inc. Managing real-time handwriting recognition
US11941243B2 (en) 2016-06-12 2024-03-26 Apple Inc. Handwriting keyboard for screens

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US6151611A (en) * 1997-10-31 2000-11-21 Hewlett-Packard Company System for editing graphical data based upon relative time of entry
KR100454541B1 (ko) * 1998-04-27 2004-11-03 산요덴키가부시키가이샤 수기 문자 인식 방법 및 시스템
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6384815B1 (en) * 1999-02-24 2002-05-07 Hewlett-Packard Company Automatic highlighting tool for document composing and editing software
US7058065B2 (en) * 2000-02-08 2006-06-06 Mips Tech Inc Method and apparatus for preventing undesirable packet download with pending read/write operations in data packet processing
US6999622B2 (en) * 2000-03-31 2006-02-14 Brother Kogyo Kabushiki Kaisha Stroke data editing device
US6788815B2 (en) * 2000-11-10 2004-09-07 Microsoft Corporation System and method for accepting disparate types of user input
US7257773B1 (en) * 2002-02-14 2007-08-14 Mcafee, Inc. Method and system for identifying unsolicited mail utilizing checksums
US7093202B2 (en) * 2002-03-22 2006-08-15 Xerox Corporation Method and system for interpreting imprecise object selection paths
JP4244614B2 (ja) * 2002-10-31 2009-03-25 株式会社日立製作所 手書き入力装置、プログラムおよび手書き入力方法システム
RU2251736C2 (ru) * 2002-12-17 2005-05-10 "Аби Софтвер Лтд." Способ идентификации зачеркнутых символов при распознавании рукописного текста
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US20060001656A1 (en) * 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7372993B2 (en) * 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
US7551779B2 (en) * 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
CN100373313C (zh) * 2006-01-12 2008-03-05 广东威创视讯科技股份有限公司 一种用于交互式输入设备的智能识别编码方法
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US8139030B2 (en) * 2006-02-01 2012-03-20 Memsic, Inc. Magnetic sensor for use with hand-held devices
US7697002B2 (en) * 2007-01-25 2010-04-13 Ricoh Co. Ltd. Varying hand-drawn line width for display
US8407589B2 (en) * 2007-04-20 2013-03-26 Microsoft Corporation Grouping writing regions of digital ink
CN105930311B (zh) 2009-02-18 2018-10-09 谷歌有限责任公司 执行与再现文档关联的动作的方法、移动设备和可读介质
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
KR20100107615A (ko) * 2009-03-26 2010-10-06 주식회사 팬택 터치입력을 이용한 데이터 편집 방법 및 휴대용 단말기
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US20110184723A1 (en) * 2010-01-25 2011-07-28 Microsoft Corporation Phonetic suggestion engine
JP5418576B2 (ja) * 2011-11-28 2014-02-19 コニカミノルタ株式会社 情報閲覧装置及び表示制御プログラム
US9348479B2 (en) 2011-12-08 2016-05-24 Microsoft Technology Licensing, Llc Sentiment aware user interface customization
US9378290B2 (en) 2011-12-20 2016-06-28 Microsoft Technology Licensing, Llc Scenario-adaptive input method editor
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
EP2864856A4 (en) 2012-06-25 2015-10-14 Microsoft Technology Licensing Llc SEIZURE METHOD EDITOR APPLICATION PLATFORM
US8959109B2 (en) 2012-08-06 2015-02-17 Microsoft Corporation Business intelligent in-document suggestions
US9767156B2 (en) 2012-08-30 2017-09-19 Microsoft Technology Licensing, Llc Feature-based candidate selection
JP5306528B1 (ja) * 2012-09-19 2013-10-02 株式会社東芝 電子機器および手書き文書処理方法
KR102073024B1 (ko) * 2012-11-30 2020-02-04 삼성전자주식회사 사용자 단말에서 메모 편집장치 및 방법
KR101997447B1 (ko) * 2012-12-10 2019-07-08 엘지전자 주식회사 이동단말기 및 그 제어 방법
US9846536B2 (en) * 2012-12-17 2017-12-19 Microsoft Technology Licensing, Llc Composition of handwritten messages on mobile computing devices
WO2014147712A1 (ja) * 2013-03-18 2014-09-25 株式会社 東芝 情報処理装置、情報処理方法及びプログラム
JP5895901B2 (ja) * 2013-07-10 2016-03-30 コニカミノルタ株式会社 文書編集装置およびプログラム
JP6201488B2 (ja) * 2013-07-29 2017-09-27 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
EP3030982A4 (en) 2013-08-09 2016-08-03 Microsoft Technology Licensing Llc INPUT PROCESSORS EDITOR WITH LANGUAGE SUPPORT
US9881224B2 (en) 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
US20160179364A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Disambiguating ink strokes and gesture inputs
US10346510B2 (en) * 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063608B2 (ja) * 1984-06-30 1994-01-12 株式会社東芝 文書画像編集装置
US5038382A (en) * 1989-10-13 1991-08-06 International Business Machines Corporation Multi-scale recognizer for hand drawn strokes
US5463696A (en) * 1992-05-27 1995-10-31 Apple Computer, Inc. Recognition system and method for user inputs to a computer system
US5448475A (en) * 1992-11-18 1995-09-05 Sharp Kabushiki Kaisha Word processing apparatus with handwriting input function
US5502803A (en) * 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
US5517578A (en) * 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US5485565A (en) * 1993-08-04 1996-01-16 Xerox Corporation Gestural indicators for selecting graphic objects
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010073185A (ja) * 2008-09-16 2010-04-02 Sharp Corp 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2012133490A (ja) * 2010-12-20 2012-07-12 Canon Inc 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP2012181708A (ja) * 2011-03-01 2012-09-20 Ubiquitous Entertainment Inc スプレッドシート制御プログラム、スプレッドシート制御装置及びスプレッドシートの制御方法
US11816326B2 (en) 2013-06-09 2023-11-14 Apple Inc. Managing real-time handwriting recognition
JP2015176522A (ja) * 2014-03-18 2015-10-05 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017058849A (ja) * 2015-09-15 2017-03-23 シャープ株式会社 入力表示装置および入力表示方法
JP2017215807A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 プログラムおよび情報処理装置
CN107450825A (zh) * 2016-05-31 2017-12-08 富士施乐株式会社 信息处理装置和方法
US11941243B2 (en) 2016-06-12 2024-03-26 Apple Inc. Handwriting keyboard for screens

Also Published As

Publication number Publication date
US5796866A (en) 1998-08-18

Similar Documents

Publication Publication Date Title
JPH07160827A (ja) 手書きストローク編集装置及び方法
RU2430421C2 (ru) Применение эффектов к объединенной текстовой дорожке
JPH01237882A (ja) 図形入出力装置
JPH0793527A (ja) オブジェクト指向グラフィック入力及びディスプレイシステム
JP3376593B2 (ja) 地図データ表示装置
US6339439B1 (en) Device for modifying appearance of related display planes
CN112799583B (zh) 一种基于android平台的点位示意图绘制系统
US5852442A (en) Method of drawing a three-dimensional object
JP2018067298A (ja) 手書き内容編集装置および手書き内容編集方法
JPH0812668B2 (ja) 手書き校正方法
JP3357760B2 (ja) 文字図形入力編集装置
JPH08235344A (ja) シナリオ編集装置
JPH08202856A (ja) 画像処理方法
JP2723109B2 (ja) 画像処理方法
JP2718782B2 (ja) 図形作成装置
JPH0887608A (ja) 三次元形状モデル変形方法及び装置
JPS63127333A (ja) 流れ図式プログラミング装置
JP2851852B2 (ja) 情報処理装置
BREWER III Three-dimensional design by graphical man-computer communication.
JPH07295733A (ja) 手書きストローク編集装置
JP2572441B2 (ja) 帳票固有図形作成装置
JP3345142B2 (ja) 罫線表示機能付き文書処理装置
JPH0962678A (ja) 手書き文字選択装置及び手書き文字選択方法
JPH06282593A (ja) 引出線作成方法
JP2833203B2 (ja) 表作成処理装置