JPH1185739A - 情報処理方法及び装置及びその記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数の情報が重ねて表示されている文書にお
いて、一方を編集してしまうと、両者の相対的位置関係
が編集前後で変わってしまい、不適切であった。 【解決手段】 挿入される情報と、その情報を出力する
為の書式情報とから、挿入前後でのずれ量を導出し（Ｓ
２５２）、そのずれ量を他方の情報のオフセット値にセ
ットし（Ｓ２５６）、情報の挿入に対応させてずらした
情報を出力する（Ｓ２６２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報と軌跡情
報とを重ねて表示する情報処理方法及び装置及びその記
憶媒体に関するものである。

【０００２】

【従来の技術】従来、複数の異なる種類の情報を重ねて
表示するものはあった。

【０００３】

【発明が解決しようとする課題】上記従来の技術では、
重ねて表示されている一方の情報が編集された場合に、
他方の情報の出力位置は変更されず、編集前後で複数の
情報の相対的位置関係が変ってしまうという問題があっ
た。

【０００４】また、相対的位置関係を変えたくない場合
には、一方の情報の中に、他方の情報の出力位置を定め
る情報を入力しておかなければならず、情報が複雑化
し、情報の編集処理が重くなってしまうという欠点があ
った。

【０００５】

【課題を解決するための手段】上記従来技術の課題を解
決するために、本発明は、受信メール文書を記憶し、受
信メールを引用した新文書を作成する場合に挿入する文
字列と、該文字列を配置する為の文書書式とに従って、
前記受信メール文書の出力位置のずらし量を導出し、前
記導出されたずらし量に従って前記受信メール文書をず
らして出力する情報処理方法及び装置及びその記憶媒体
を提供する。

【０００６】上記従来技術の課題を解決するために、本
発明は、好ましくは前記受信メール文書は、座標値によ
り出力位置を規定する軌跡情報を含む。

【０００７】上記従来技術の課題を解決するために、本
発明は、好ましくは前記挿入する文字列は、引用記号と
する。

【０００８】上記従来技術の課題を解決するために、本
発明は、好ましくは前記挿入する文字列は、挿入コメン
ト文章とする。

【０００９】上記従来技術の課題を解決するために、本
発明は、好ましくは前記ずらし量を前記軌跡情報のオフ
セット値として設定することにより前記軌跡情報のずら
し出力を実行する。

【００１０】上記従来技術の課題を解決するために、本
発明は、好ましくは前記ずらし量は、長さ情報とする。

【００１１】上記従来技術の課題を解決するために、本
発明は、好ましくは前記ずらし量は、挿入文字列の行数
及び文字数と、文書書式の行ピッチ及び文字ピッチとに
従って導出する。

【００１２】上記従来技術の課題を解決するために、本
発明は、重ねて出力可能な軌跡情報とテキスト情報とを
含む文書情報を記憶し、前記記憶されているテキスト情
報を編集し、前記テキスト情報の編集により、前記記憶
されていたテキスト情報の位置のずれ量を導出し、前記
導出したずれ量に従って前記軌跡情報の出力位置を変更
して出力するよう制御する情報処理方法及び装置及びそ
の記憶媒体を提供する。

【００１３】上記従来技術の課題を解決するために、本
発明は、好ましくは前記編集は、文字列の挿入とする。

【００１４】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。

【００１５】図１は、本発明の一実施形態の概略構成ブ
ロック図である。

【００１６】１０は、本装置全体を制御するＣＰＵ（中
央処理装置）であり、メモリ１４、ハードディスク１
６、フロッピーディスク１８等に記憶されている制御プ
ログラムに従って、本発明に係る各種処理を実行するよ
う制御する。

【００１７】１２は、メモリ制御及びＩ／Ｏ制御を司る
周辺Ｉ／Ｏ回路である。

【００１８】１４は、ＲＯＭとＲＡＭからなるメモリ
（ＭＥＭ）であって、後述するフローチャートにより説
明する本願発明に係る処理の制御プログラムや、各処理
に用いる各種パラメータを記憶し、また、各処理中に生
じるデータを格納する作業エリアとしても利用する。

【００１９】１６は、ハードディスクであって、後述す
るフローチャートにより説明する本願発明に係る処理の
制御プログラムや、各処理に用いる各種パラメータを記
憶する。

【００２０】１８は、フロッピーディスクであって、後
述するフローチャートにより説明する本願発明に係る処
理の制御プログラムや、各処理に用いる各種パラメータ
を記憶する。これらのデータは直接利用しても、また、
ハードディスク１６やメモリ１４にダウンロードしてか
ら利用しても良い。また、フロッピーディスクに限ら
ず、本装置に着脱可能な記憶媒体、例えばCD−ROMや、
光磁気ディスクであっても良い。

【００２１】２０は、マウスであって、表示画面上の所
望の位置座標を指示し、また、ボタンのクリックによっ
て、各種選択操作も行う。

【００２２】２２は、キーボードであって、キーを押下
することにより、そのキーに対応する各種文字、記号、
ファンクション等を入力することができ、テキストの入
力、編集が可能である。また、このキーボードは、キー
入力装置に限らず、表示画面上に表示されるソフトキー
ボードであっても良い。

【００２３】２４は、デジタイザであって、ペン（図
２、４４）をこのデジタイザ上で動かすことにより、表
示画面上の所望の位置座表を入力することができる。本
実施形態では、図２に示したように、デジタイザ２４を
表示器２６に重ねて配置し、これにより表示器２４に表
示される画像に重ねる感覚で任意の点や軌跡等の情報を
入力できる例について説明するが、この座標入力手段
は、表示器に重ねて配置する例に限定されるものではな
く、表示器と別体にして、机の上に置き、画面を見なが
ら机の上の座標入力手段により点や軌跡などの座標情報
を入力する、タブレット型のものを用いても良い。ま
た、大まかなデータのみ扱うのであれば、感圧式の指で
任意の位置を指示するタッチパネルを用いても良い。

【００２４】２６は液晶表示パネルやＣＲＴ等による表
示器、２８はＣＰＵ１０の制御下で、表示器２６に所望
の画像を表示させる表示制御回路である。

【００２５】３０は、マイク及びスピーカーからなる音
声入出力装置（例えばハンドセット）、３２は、ＣＰＵ
１０の制御下で、音声入出力装置３０による音声入出力
を制御する音声制御回路である。音声入出力装置３０
は、マイクとスピーカーが一体になったものに限定され
るものではなく、マイクとスピーカーとが各々別個にな
っているものでも良い。

【００２６】３４はファクシミリ伝送のための画像入出
力装置（即ち、イメージ・スキャナとプリンタを含
む）、３６は、ＣＰＵ１０の制御下で、画像入出力装置
３４を制御するＦＡＸ制御回路である。画像入出力装置
３４は、画像入力装置であるイメージ・スキャナと、画
像出力装置であるプリンタが一体になったものに限定さ
れるものではなく、画像入力装置と画像出力装置とが各
々別個になっているものでも良い。

【００２７】３８は、送信すべき信号を通信回線に適し
た周波数帯に周波数変調し、通信回線からの変調信号を
復調する変復調装置（モデム）、４０は、ＣＰＵ１０の
制御下で、通信プロトコルの設定など、通信回線との接
続及び通信を制御する通信制御回路である。通信回線
は、公衆回線或はＬＡＮ等、情報の伝送に利用される回
線であれば良い。３９は各構成間のデータの授受を行う
為のデータバスである。

【００２８】図２は、本実施形態の装置の外観正面図を
示す。表示器２６及びデジタイザ２４が正面に配置さ
れ、ハンドセット３０が左側に置かれる。右側には電話
番号入力のためのテンキー４２が配置される。４４はデ
ジタイザ２４の入力ペンである。

【００２９】図３は、本実施形態の装置の機能構成図を
示し、図１に開示された各構成により実行される。

【００３０】画像入力又は画像作成手段５０は、画像入
出力装置３４により読み込まれた画像、又は本装置上で
動作するワードプロセッサもしくは作図ソフトウェアに
よりキーボード等を用いて作成されたテキストを含むド
キュメントの画像を入力制御／記憶手段５６に、データ
出力する。座標入力手段５２はデジタイザ２４であり、
ペン４４を用いて入力される座標を、較正及びタイミン
グ調整し、きれいな座標値にして入力制御／記憶手段５
６に出力する。音声入力手段５４は、ハンドセット３０
から入力された音声信号をアナログ・デジタル変換して
入力制御／記憶手段５６に出力する。これらの手段５
０、５２、５４の出力は、入力制御／記憶手段５６に印
加され、データとして記憶される。

【００３１】尚、詳細は後述するが、入力された画像
に、音声と軌跡によるメッセージを付加する時は、入力
制御／記憶手段５６は、入力された画像を表示手段５８
（即ち、表示器２６）に表示する。ユーザは、その表示
画面を見ながら、デジタイザ２４やマウス２０で任意の
軌跡を入力し、また、ハンドセット３０により音声を入
力する。

【００３２】入力し、ＭＥＭ１４に記憶された画像、音
声及び軌跡の各データは、通信制御手段６２の制御のも
と、公衆回線を介して送信される。

【００３３】受信側の通信制御手段６４は、公衆回線を
介して情報を受信し、記憶手段６６に受信データを書き
込む。受信側のユーザの開示要求に応じて、出力制御手
段６８はユーザにより特定された受信画像のデータを記
憶手段６６から読み出し、画像出力手段７２（画像入出
力装置３４のプリンタ部）及び／又は表示手段７４（表
示器２６及び表示制御手段６８）に印加する。音声／軌
跡データが付加されているときには、出力制御手段６８
は、受信画像を先ず、表示手段に印加して受信画像を表
示させると共に、ユーザによる音声／軌跡の再生指示に
応じて、軌跡データを表示手段７４に、音声データを音
声出力手段７６に印加する。これにより、送信側で入力
された軌跡が、表示手段７４に表示される受信画像に重
ねて、送信側で入力されたのと同じ位置に同じ速度で表
示され、これに同期して、軌跡と共に音声を入力した時
と同じタイミングで音声が出力される。受信画像を紙出
力する場合には、画像出力手段７２を用いる。

【００３４】図３においては、送信側と受信側におい
て、画像、座標、音声、テキストの入力と出力との機能
を各々分けて示したが、図１及び図２に示したように、
本実施形態における装置は、送信も受信も可能であっ
て、画像、座標、音声、テキストの入力も出力も同じ装
置で実行することが可能である。従って、送信側では、
画像、座標、音声、テキストを入力、編集した後に、表
示器やハンドセット、画像出力装置によって入力済みの
画像、軌跡、音声、テキストの再生を行って確認するこ
ともできるし、データを受信する側でも、受信したデー
タの再生のみならず、マウス、キーボード、デジタイ
ザ、ハンドセット、画像入力装置を利用して、受信した
データに更に画像、座標、音声、テキストの入力や、編
集を行うことも可能である。

【００３５】ここで、本実施の形態の処理について、フ
ローチャートと、各状態での表示画面を例示して詳細に
説明する。

【００３６】図４は、病院への道順を説明する為に作成
する文書の例であって、「病院への道順です。」とい
う、キーボード２２により入力された説明のテキスト４
０１と、電話番号及び診察時間を説明する、キーボード
２２より入力されたテキスト４０２と、画像入出力装置
３４のスキャナ部或は公衆回線を介して他端末より入力
した病院周辺の地図の画像４０３、マウス２０或はデジ
タイザ２４により入力された軌跡４０４〜４０６、動的
な軌跡情報及び音声が入力されていることを示し、ま
た、そこをマウス２０或はデジタイザ２４でクリックす
ることによって動的な軌跡或は音声の再生を指示するこ
とができるアイコン４０７〜４０９が文書ウインドウ４
１０に表示されている。クリックとは、マウス２０のボ
タンを押下する、或はデジタイザ２４上でペンダウンす
ることを指し、クリックに応じてその時マウスカーソル
が位置していた座標或はペンダウンした位置の座標に対
応する表示画面上の情報、例えばその位置に表示されて
いるオブジェクトが選択されたものと判断する。

【００３７】ここで、動的なストロークとは、後述する
が、ストロークの座標情報のみならず、各座標情報が入
力された時間情報をも保持し、その時間情報に従って入
力されたスピードで軌跡の再現を可能とするストローク
のことである。

【００３８】また、動的なストロークを入力する時にマ
イク（音声入力手段）をＯＮにしておくことにより、軌
跡により入力する座標情報に加え、音声により解説する
ことも可能である。例えば図４の軌跡４０５を入力する
時に、軌跡が五叉路に位置した時点で「この五叉路」と
発声する、また、本屋の角を曲がるように軌跡を入力し
ている時点で「本屋の角を右に曲がって」と発声するこ
とにより、より分かり易い情報を入力することが可能と
なる。

【００３９】このように作成された文書（図４）に対し
て、動的な軌跡及び音声の全再生が指示された場合、
（１）「この五叉路を鋭角に左に曲がり、右に見える本
屋の角を右に曲がって、左側の３件目が病院です。駅か
ら徒歩４分位で病院に着きます。」という音声と共に、
軌跡４０５と軌跡４０６が記入された通りに再生され、
（２）軌跡４０４が記入された通りに再生され、（３）
「予約は１１時にしてあります。遅れないでくださ
い。」という音声が再生される。

【００４０】このような文書を作成する処理について、
図５のフローチャートに従って説明する。

【００４１】文書の作成は、表示器２６の表示画面上に
表示された文書ウインドウ４１０において行なわれる。
文書ウインドウが開かれたら、ＭＥＭ１４に格納されて
いるカレントモードを表わすパラメータを初期化する
（Ｓ２）。マウス２０、キーボード２２、デジタイザ２
４、マイク３０、画像入力手段３４等の入力デバイスに
より、何らかの情報入力が行なわれようとすることによ
るイベントの発生を検知し（Ｓ４）、以下、Ｓ６〜Ｓ１
０においてその検知されたイベントの種類を判断する。
Ｓ６においてイベントがマウス２０やデジタイザ２４に
より表示画面上の終了ボタンをクリックされる等による
終了イベントであると判断された場合には、本処理を終
了する。Ｓ８においてイベントがキーボード２２からの
文字コードの入力であると判断された場合には、Ｓ２６
の文字入力ルーチンに移る。この文字入力ルーチンで
は、図７の文書作成ウインドウ４１０に表示されている
文字入力用のカーソル７０２の位置に、キーボード２２
から入力される文字がメモリ１４に記憶されている文書
書式に従った態様で順次表示される。キーボード２２に
より入力される文字群、即ちテキストデータは、MEM１
４に格納される。

【００４２】Ｓ１０において、イベントが、マウス２０
或はデジタイザ２４により文書作成ウインドウ４１０内
に表示されたペンメニュー７０１を構成するボタンをク
リックすることによるモード切り替えの指示であると判
断された場合には、その指示されたモードをMEM１４内
のカレントモードを表わすパラメータに再設定し（Ｓ１
２）、そのモードに定められているメニュー画面を表示
する（Ｓ１４）。

【００４３】編集モードの時に表示されるペンメニュー
７０１を図８に示し、各ボタンについて説明する。この
ペンメニューは、通常のダイアログと同じく、タイトル
バーをドラッグすることにより、任意の位置に移動させ
て表示することができる。ペンメニューの表示されてい
る位置、及び各ボタンの位置を表わす座標情報は常にME
M１４に保持され、Ｓ１０において指示されたモードの
種類の判断の際も、このMEM１４に格納されている座標
情報と、マウス２０或はデジタイザ２４によりクリック
された位置の座標情報との比較により、クリック位置の
ボタンに対応するモードを指示されたモードとして判断
する。

【００４４】ボタン８０１はドローモードへの切り替え
を指示する為のドローモード指示ボタン、ボタン８０２
は編集モードへの切り替えを指示する為の編集モード指
示ボタン、ボタン８０３は消しゴムモードへの切り替え
を指示する為の消しゴムモード指示ボタン、ボタン８０
４は録音ペンモードへの切り替えを指示する為の録音ペ
ンモード指示ボタン、ボタン８０５は前の処理を取り消
し、元に戻すことを指示する為のアンドゥ指示ボタン、
ボタン８０６は指示されている範囲のデータを画面上か
ら切り出すことを指示する為のカットボタン、ボタン８
０７は指示されている範囲のデータを画面上に残したま
ま、別領域に保持することを指示する為のコピーボタ
ン、ボタン８０８はカット或はコピーの操作により特定
されている範囲のデータを指示された位置に表示するこ
とを指示する為のペーストボタン、ボタン８０９は特定
されている範囲のデータを画面上から削除することを指
示する為のクリアボタン、ボタン８１０は指示されてい
る軌跡データの座標列をスムージングすることを指示す
る為のスムーズボタン、ボタン８１１は特定されている
軌跡データを、直線、円形（楕円或は真円）、三角形
（通常或は二等辺三角形或は正三角形）、四角形（長方
形或は正方形）の中から指定された形状に清書すること
を指示する為の清書ボタン、ボタン８１２は指定されて
いる範囲のデータを回転させた表示に変更することを指
示する為の回転ボタン、ボタン８１３は指示されている
範囲のデータの大きさを変更する為の変更指示ボタンを
表示させ、そのボタンの操作に応じてデータの大きさを
変更することを指示する為のリサイズボタン、ボタン８
１４は指示されている複数のストロークデータを一つの
グループとさせることを指示する為のグループボタン、
ボタン８１５は指示されている複数のストロークデータ
を各々別個の、グループ化されていない単独データとす
ることを指示する為のアングループボタン、ボタン８１
６は文書作成ウインドウ４１０に表示される、一文書を
構成する全データを選択することを指示する為の全選択
ボタン、ボタン８１７は軌跡を入力するペンの属性、即
ち軌跡の属性（線の色及び線の太さ）を変更する為の画
面を表示させることを指示する為のペン設定ボタン、ボ
タン８１８は文書作成ウインドウに表示され得る、動的
なストローク及び音声データを再生することを指示する
為の再生開始ボタン。この再生開始ボタン８１８がクリ
ックされたら、その文書に含まれる動的なストローク及
び音声データを入力順に、或は選択されている複数のオ
ブジェクトを選択順に再生する。８１９は音声データの
入力時及び再生時に、針が振れるイメージを表示させる
ことにより、音声データの入力中であること或は再生中
であることを報知する為のボリュームウインドウ、８２
０は再生する音声のボリュームを表わし、また、バーを
上下にドラッグして位置を変更することにより、音声の
再生ボリュームを調整する為のボリューム調整バーであ
る。

【００４５】カレントモードが編集モードではなく、ド
ローモード、消しゴムモード、録音ペンモードの時のペ
ンメニューは、図８に示したものと異なり、図９に示し
たペンメニュー９０１のように、ドローモードボタン８
０１、編集モードボタン８０２、消しゴムモードボタン
８０３、録音開始を指示する為の録音開始ボタン９２
０、アンドゥボタン８０５、ボリュームウインドウ８１
９、動的な軌跡を入力するペンの属性、即ち動的な軌跡
の属性（線の色及び線の太さ）、及び音声の属性（ボリ
ューム及び圧縮処理の有無）を変更する為の画面を表示
させることを指示する為の録音ペン設定ボタン９１０よ
り構成される。ただし、録音開始ボタン９２０がクリッ
クされた後は、録音開始ボタンに替って録音終了ボタン
９２１が表示される。

【００４６】Ｓ１０において、ドローモードボタン８０
１、編集モードボタン８０２、消しゴムモードボタン８
０３、録音ペンモード８０４の何れかがクリックされた
と判断した場合には、そのモードをＳ１２において設定
する。

【００４７】Ｓ１０において、発生したイベントがＳ６
〜Ｓ１０で判断される何れでもない場合、即ちクリック
された位置が現在のモードでの何らかの入力であると判
断された場合には、Ｓ１６でMEM１４内のカレントモー
ドを表わすパラメータを読取り、その読取ったモードに
従ってＳ１８〜Ｓ２４の各モードでの処理に分岐する。

【００４８】例えば、Ｓ１０において録音ペンモードボ
タン８０４がクリックされたと判断された場合には、録
音ペンモードがカレントモードとしてMEM１４に保持さ
れ（Ｓ１２）、録音ペンモードの時のペンメニュー９０
１が文書作成ウインドウに表示される。この時点で、録
音ペン設定ボタン９１０をクリックすることにより、録
音ペン設定ダイアログ９０２が文書作成ウインドウに表
示される（図９）。

【００４９】録音ペン設定ダイアログ９０２は、設定可
能なペンの色を切り替え表示するパレット、及び選択さ
れた色を表示するペンの色設定領域９１１、設定可能な
ペンの太さを列挙し、選択された太さを表示するペンの
太さ設定領域９１２、ボタンをクリックするごとに音声
データを軌跡と共に録音するか否かを切り替えるボタン
と録音ボリュームを調整するバーとを表示する録音設定
領域９１３、録音圧縮をするか否かを切り替え指示する
録音圧縮設定領域９１４から構成される。オペレータは
マウス２０或はデジタイザ２４を用いてこの録音ペン設
定ダイアログ９０２上で任意の属性に設定した後、入力
を開始する。録音ペン設定ダイアログ９０２で設定され
た属性は、MEM１４に保持され、設定される度にMEM１４
の属性データも変更する。

【００５０】図６に、Ｓ２４の録音ペンモードにおける
処理のフローチャートを示し、動的なストローク或は音
声データからなる複数のオブジェクトのデータを入力す
る処理について説明する。ここで、オブジェクトとは、
録音開始ボタン９２０が押下されてから録音終了ボタン
９２１が押下されるまでの間に入力されたデータ全てを
まとめて一オブジェクトと称することにする。図４のア
イコン４０７〜４０９は、オブジェクト毎に表示され
る。

【００５１】では、図６のフローチャートに基き、録音
ペンによる動的ストローク及び音声データの入力処理に
ついて説明する。

【００５２】図１０は、Ｓ２６の文字入力ルーチンにお
いて、キーボード２２によりテキスト４０１及び４０２
を入力し、画像入力装置３４或は通信回線を介して他端
末から入力した病院付近の地図の画像４０３を入力し、
録音ペンモードが指示されてペンメニュー９０１が表示
された画面である。ここで、画像は文字と同列で扱うも
のとし、文字入力ルーチンにおいて、画像の入力を指示
することにより、文字カーソル７０２が表示されている
位置を画像の基準位置として表示する。よって、文字列
（テキスト）の編集により、画像の表示位置も変わる。
録音ペンモードが指示された時点で図６のフローチャー
トに示す処理がスタートし、録音デバイスが本装置に装
着されているかを判断する（Ｓ３０）。ここで、録音デ
バイスが装置に装着されていないと判断された場合は、
「音声記録デバイスが見つかりません。筆跡の記録のみ
可能です。」といったダイアログを表示し、音声記録デ
バイスが装着されていないことをオペレータに報知す
る。この後の画面が図１０に示したものである。

【００５３】Ｓ３０で録音デバイスが装着されているか
否かを判断した後、録音開始ボタン９２０がクリックさ
れるのを待ち（Ｓ３２）、クリックされたら録音デバイ
スが有効であるか否か判断する（Ｓ３４）。この判断
は、Ｓ３０において装着されていると判断された録音デ
バイスが、録音開始ボタンがクリックされた時点で使用
可能な状態にあるか否かを判断するものである。録音デ
バイスが、本アプリケーションを含め、複数のアプリケ
ーション等でも使用され得る場合は、録音デバイスが使
用中であるか否かを示すフラグを設け、このフラグを判
定することにより、Ｓ３４の判断を行えば良い。

【００５４】Ｓ３４で録音デバイスが有効であると判断
された場合には、録音ペン設定ダイアログ９０２内の録
音設定９１３でマイクボタン（録音するか否かを切り替
えるボタン）がＯＮになっているか否かをMEM１４から
読み出す（Ｓ３６）。マイクボタンがＯＮになっている
場合は、録音ルーチン３８を開始し（Ｓ３８）、Ｓ４２
で録音終了ボタン９２１がクリックされて終了の指示が
なされたと判断されるか、或は予め定められ、所定の時
間としてMEM１４に保持されていた時間を超えたと判断
されてタイムアウトとなる場合までＳ３８の音声データ
をMEM１４に記憶する処理は続けられる。

【００５５】また、録音ルーチンの開始と共に、マウス
２０或はデジタイザ２４により筆跡データが入力された
場合は、入力される筆跡をMEM１４に記録するルーチン
を繰り返す（Ｓ４０）。

【００５６】Ｓ３４で録音デバイスが有効ではないと判
断された場合、及びＳ３６でマイクボタンがＯＮでない
と判断された場合にも、Ｓ３８の録音ルーチンは行わな
いものの、Ｓ４２で肯定の判断がなされるまでＳ４０の
筆跡記録ルーチンは繰り返す。

【００５７】Ｓ４２で録音終了ボタン９２１がクリック
されて終了の指示がなされたと判断されるか、或は予め
定められ、所定の時間としてMEM１４に保持されていた
時間を超えてタイムアウトとなった場合は、Ｓ３８及び
Ｓ４０で記録されたデータの種類を判別し（Ｓ４４）、
音声データとストロークデータの両方である場合、音声
データのみである場合、ストロークデータのみである場
合の各処理に分岐する。図４に示した例においては、ア
イコン４０８に対応するオブジェクトが音声データとス
トロークデータの両方であり、アイコン４０７に対応す
るオブジェクトがストロークデータのみであり、アイコ
ン４０９に対応するオブジェクトが音声データのみであ
る。アイコンの種類も、このオブジェクトのデータ種類
に応じて切り替えることにより、オブジェクトのデータ
の種類をオペレータに報知することができる。

【００５８】記録種類が音声データとストロークデータ
であった場合は、録音ペン設定ダイアログ９０２内の録
音圧縮９１４において圧縮指定がなされているか否かを
示すパラメータをMEM１４から読み出す（Ｓ４６）。圧
縮指定がなされている場合は、Ｓ３８でMEM１４に格納
した音声データの圧縮を行う（Ｓ４８）。圧縮指定がな
されていない場合は、Ｓ５０に進む。

【００５９】Ｓ３８及びＳ４０でMEM１４に記憶された
音声データ及びストロークデータ（筆跡データ）につい
て、音声データのファイル化を行い（Ｓ５０）、音声ク
ラスタを作成し（Ｓ５２）、ストローククラスタグルー
プを作成し（Ｓ５４），グループクラスタを作成し（Ｓ
５６）、編集モードに戻る（Ｓ６８）。Ｓ４２で肯定の
判断がなされる前の、ストロークデータ及び音声データ
を入力している途中の表示画面は図１１のようであり、
Ｓ４２で肯定の判断がなされた後の表示画面は図１２の
ようである。図１１において、マウスカーソル或はペン
により指示されている位置を示すカーソルは、録音開始
ボタン９２０がクリックされてから録音終了ボタン９２
１がクリックされるまでの間は４２０のような形状であ
って、ペンメニューにおける録音開始ボタン９２０に替
って録音終了ボタン９２１が表示されている。また、音
声データの録音中は、ボリュームウインドウ８１９の針
が振れている状態の表示にする。図１２において、スト
ロークデータと音声データの両方が入力されたので、両
方のデータが記録されていることを示すアイコン４０８
を表示している。アイコン４０８の表示位置は、ストロ
ークデータの外接矩形の左上とする。しかし、アイコン
の表示位置はこのような位置に限定されるものではな
く、ストロークの外接矩形の右上でも、一番最初に入力
された座標位置でも、また、ストロークや下の画像、テ
キストにかぶらないように配慮した位置にしても良い。
また、ストロークデータが入力されず、音声データのみ
の場合は、アイコンはデフォルトで定めた位置に表示す
る。

【００６０】Ｓ４４で記録種類が音声データのみである
と判断された場合は、Ｓ５８〜Ｓ６４の処理を行い、編
集モードに戻る（Ｓ６８）。Ｓ５８〜Ｓ６４の処理は、
Ｓ４６〜Ｓ５２の処理と同様である。

【００６１】Ｓ４４で記録種類がストロークデータのみ
であると判断された場合は、Ｓ５４と同様のＳ６６の処
理を行い、編集モードに戻る（Ｓ６８）。

【００６２】Ｓ４４で何のデータも記録されていないと
判断された場合も、編集モードに戻る（Ｓ６８）。

【００６３】Ｓ５０〜Ｓ６６の処理により作成されるデ
ータ及びＳ１８のドローモードで入力されるデータの構
造を図１３に示す。これらのデータは、MEM１４に格納
されるものである。

【００６４】クラスタデータは、ストロークデータや音
声データをグループ化して１つのオブジェクトとして扱
う場合のMEM１４に記憶するデータ構造である。例えば
ドローモードで記入された複数のストロークのグループ
化は、ストロークが記入される間隔（ペンアップからペ
ンダウンまでの時間間隔或はストロークの位置的間隔）
が予め定められ、パラメータとしてMEM１４に保持され
ている規定値よりも近い場合に、それらのストロークを
自動的にグループ化する場合、或はグループボタン８１
４をクリックすることにより、その時点でオペレータに
より選択されていた複数のデータを後天的にグループ化
する場合等がある。

【００６５】通常ストロークデータは、ドローモードに
おいて記入された一つのストロークを単独のデータとし
てMEM１４に記憶する場合のデータ構造である。

【００６６】再生ストロークデータは、録音ペンモード
において入力されるストロークであり、先に動的ストロ
ークと表現したストロークのデータであって、ストロー
クの座標のみならず、各座標が入力された時間情報をも
合わせてMEM１４に記憶する場合のデータ構造である。
ただし、一つのオブジェクトに含まれる全ての動的スト
ロークのデータを保持するのではなく、その中の一つの
ストロークに関するデータのみ保持する。

【００６７】音声データは、録音ペンモードにおいて入
力される音声をMEM１４に記憶する場合のデータ構造で
ある。

【００６８】クラスタデータ、通常ストロークデータ、
再生ストロークデータ、音声データは、全て、Ｌｎ（デ
ータ全体のサイズ）、Ｏｘ（データの外接矩形の左上の
ｘ座標）、Ｏｙ（データの外接矩形の左上のｙ座標）、
Ｃｘ（データの外接矩形の横幅）、Ｃｙ（データの外接
矩形の縦幅）、Ｓｔ（データの入力開始時刻）、Ｅｔ
（データの入力終了時刻）、Ｄｋ（ボディ部に格納され
るデータの種別）からなるヘッダと呼ぶ部分と、データ
そのものからなるボディと呼ぶ部分からなる。ボディ部
分には、通常ストロークにはストロークの太さや色の属
性データと、ｎ個の座標点列Ｐｉ（ｉ＝１〜ｎ）が、再
生ストロークデータにはストロークの太さや色の属性デ
ータと、ｎ個の座標点列Ｐｉ（ｉ＝１〜ｎ）の他に、各
座標点が入力された時の時間を示すｎ個の時間情報Ｐｉ
ｔ（ｉ＝１〜ｎ）が、音声データには音声データを格納
しているファイル名であるｓｚＶｏｉｃｅＦｉｌｅＮａ
ｍｅが格納される。

【００６９】階層構造に構成されているクラスタデータ
の一例をクラスタ階層構造として示す。Ｃ０Ｈはルート
クラスタのヘッダ部、Ｃ０Ｂはルートクラスタのボディ
部であって、このＣ０ＢはクラスタＣ１，クラスタＣ４
を含んでいる。Ｃ１ＨはクラスタＣ１のヘッダ部、Ｃ１
ＢはクラスタＣ１のボディ部、Ｃ４ＨはクラスタＣ４の
ヘッダ部、Ｃ４ＢはクラスタＣ４のボディ部であって、
クラスタＣ１はクラスタＣ２とクラスタＣ３を含んでい
る。Ｃ２ＨはクラスタＣ２のヘッダ部、Ｃ２Ｂはクラス
タＣ２のボディ部、Ｃ３ＨはクラスタＣ３のヘッダ部、
Ｃ３ＢはクラスタＣ３のボディ部を表わす。

【００７０】各クラスタのデータが再生ストロークデー
タであるのか音声データであるのかによって、ヘッダ部
及びボディ部に各々のデータが格納される。

【００７１】尚、上記各データの座標値は、データが入
力された文書の左上を基準とした座標軸に沿ったもので
あり、この基準座標軸は、テキストデータと一致する。

【００７２】このように、図５及び図６のフローチャー
トで説明した処理により作成された文書は、テキスト情
報と共に図１３に示されたような構造のデータが一文書
として文書名で識別可能なようにしてMEM１４に記憶さ
れ、その後の処理に利用できるようになる。例えば、画
像出力手段３４による文書の印刷、モデム３８を介して
他のファクシミリやコンピュータへの送信、ＦＤ１８等
の着脱可能な記憶媒体への記憶等を行ない、必要に応じ
て呼び出して再生させる事ができる。

【００７３】次に、以上のような記憶、送信の後に再生
する場合、或は文書作成途中で再生する場合の処理につ
いて図１４〜１６のフローチャートに基き説明する。

【００７４】動的ストローク及び音声の再生は、（１）
再生開始ボタン８１８をクリックする。（２）再生した
いオブジェクトのアイコンをダブルクリックする。の２
通りがある。更に、（１）の再生方法では、再生開始ボ
タン８１８がクリックされた時点のオブジェクトの選択
状態に従って再生の対象を以下の２ケースに切り替え
る。（１−１）選択操作が行なわれていない状態で再生
開始ボタン８１８がクリックされた場合は、その文書に
含まれているオブジェクトが再生対象となり、オブジェ
クトの入力順に再生される場合と、（１−２）オブジェ
クトの一部をクリックして選択状態にし、複数のオブジ
ェクトが選択状態になっている場合にはその選択操作が
なされた順にオブジェクトを再生する場合とがある。

【００７５】ここでは、（１−１）の選択操作が行われ
ていない状態でオブジェクトの再生が指示された時の処
理の例で図１４のフローチャートを説明する。

【００７６】まず、再生オブジェクトとして文書に含ま
れているオブジェクトの数をMEM１４のデータから計数
し、ｎｕｍＯｂｊとしてMEM１４に格納する（Ｓ７
０）。MEM１４内のカウンタｉを１に初期化し（Ｓ７
２）、ｉがｎｕｍＯｂｊより大きい値になっているか否
か判定し（Ｓ７３）、否判定の場合はＳ７４に進む。S
７３の判定は、ｉがｎｕｍＯｂｊより大きい値になった
との判定、即ちＳ７０で対象として求めた全てのオブジ
ェクトについて以下のＳ７４〜Ｓ９６の処理が行われた
と判定されるまで繰り返される。

【００７７】ここでは、オブジェクトの入力された順に
Ｓ７４〜Ｓ９６の処理を繰り返すので、オブジェクトの
入力された順に再生オブジェクトを検索をする（Ｓ７
４）。この、オブジェクトの入力された順は、MEM１４
に格納されているクラスタデータのヘッダ部のＳｔ（入
力開始時刻）を検索して、早い時刻のものから順に検索
することにより可能である。

【００７８】ｉ番目の再生オブジェクトのデータをMEM
１４内の作業エリアにコピーし（Ｓ７６）、ｉ番目の再
生オブジェクトのアイコンを表示画面上から消去する
（Ｓ７８）。ｉ番目のオブジェクトに再生ストロークが
有るか否か判定し（Ｓ８０）、再生ストロークがある場
合はそのストロークを表示画面から消去する（Ｓ８
２）。再生ストロークを消去した画素には、ストローク
の下に位置する画像データ（例えば他のストローク、テ
キスト、画像等）を描画する。

【００７９】図４に例示した文書を表示して再生開始ボ
タン８１８をクリックし、最初に記入したオブジェクト
（ストローク４０５と４０６及び音声データ）が再生対
象となっている状態でＳ８２までの処理が進んだ時の表
示画面を図１７に示す。１番目のオブジェクトのアイコ
ン４０８とストローク４０５、４０６が画面から消去さ
れている。

【００８０】次に、ｉ番目のオブジェクトのデータの再
生ルーチン（Ｓ８６）を行う。この再生ルーチンの処理
については、図１５のフローチャートにより後述する。
Ｓ８０でｉ番目のオブジェクトには再生ストロークがな
いと判断された場合には、Ｓ８２のストローク消去処理
は不要であり、Ｓ８６で音声のみの再生を行う。

【００８１】再生ストロークがあった場合（Ｓ９０）
は、表示画面に再生ストロークを描画する（Ｓ９２）。
このストロークの描画は、Ｓ８６の再生処理が、テンポ
ラリーな画像の再生で有る為、再度ストロークの画像を
描画するものである。

【００８２】ｉ番目の再生オブジェクトのアイコンを描
画し（Ｓ９４）、ｉを一つインクリメントし（Ｓ９
６）、Ｓ７３に戻り、Ｓ７０で設定された全てのオブジ
ェクトの再生が繰り返される。

【００８３】尚、先にオブジェクトの再生が行なわれる
場合として説明した上記（１−２）の場合は、Ｓ７０で
再生オブジェクトとして選択状態になっているオブジェ
クトの数をｎｕｍＯｂｊに設定し、Ｓ７４では選択操作
された順にオブジェクトを検索する。また、上記（２）
の場合は、Ｓ７０で再生オブジェクトの数として１をｎ
ｕｍＯｂｊに設定する。

【００８４】Ｓ８６の再生ルーチンを図１５のフローチ
ャートを用いて説明する。再生オブジェクトの種類が判
断され（Ｓ１００）、音声データとストロークデータの
両方であるのか、音声データのみであるのか、ストロー
クデータのみであるのかに従って処理が分岐する。こ
の、オブジェクトの種類は、Ｓ７６で作業エリアにコピ
ーされた対象データを解析し、このデータに含まれるヘ
ッダ部のＤｋ（種別）データを判別することにより可能
である。

【００８５】再生オブジェクトのデータが音声データと
ストロークデータの両方である場合には、音声開始時刻
（対象データの音声データヘッダ部のＳｔ）とストロー
ク開始時刻（対象データに含まれる再生ストロークデー
タのヘッダ部Ｓｔが最も早いもの）との差を求め、ｄｉ
ｆｆＴｉｍｅとしてMEM１４に記憶する（Ｓ１０２）。

【００８６】音声データが圧縮されていると判断される
場合には（Ｓ１０４）、圧縮を解凍し（Ｓ１０６）、中
断イベント検知ループを生成し（Ｓ１０８）、音声の再
生を開始する（Ｓ１１０）。

【００８７】中断イベントは、例えば、再生終了ボタン
のクリックや、入力モードの切り替え等である。

【００８８】ストロークの再現ルーチン（Ｓ１１２）
は、図１６のフローチャートにおいて後述する。

【００８９】音声の再生が終了したと判断されたら（Ｓ
１１４）、「ジャン♪」等の所定の音を出力する等し
て、再生処理の終了をオペレータに告知する（Ｓ１３
２）。ここで、音声の再生処理の終了の判断は、音声フ
ァイルに格納されているデータの末尾まで再生がなされ
たことの判断に基づく。

【００９０】Ｓ１００で再生オブジェクトの種類が音声
データのみであると判定された場合は、Ｓ１１６に進
み、音声データが圧縮されていると判断される場合には
（Ｓ１１６）、圧縮を解凍し（Ｓ１１８）、中断イベン
ト検知ループを生成し（Ｓ１２０）、音声の再生を開始
する（Ｓ１２２）。音声の再生が終了したと判断された
ら（Ｓ１２４）、再生処理の終了をオペレータに告知す
る（Ｓ１３２）。

【００９１】Ｓ１００で再生オブジェクトの種類がスト
ロークデータのみであると判断された場合は、Ｓ１２６
に進み、ｄｉｆｆＴｉｍｅとして０をＭＥＭ１４に記憶
し，中断イベント検知ループを生成し（Ｓ１２８）、ス
トロークを再現する（Ｓ１３０）。ストロークの再現ル
ーチンは、Ｓ１１２と同じく、図１６のフローチャート
により説明する。ストロークの再現が終了したら、再生
処理の終了をオペレータに告知する（Ｓ１３２）。

【００９２】ストロークの再現処理は、図１６のフロー
チャートのように行なう。

【００９３】まず、ｉ番目の再生オブジェクトのストロ
ーク数を、Ｓ７６でコピーされたデータのボディ部のデ
ータを解析してストロークデータの個数を計数し、この
値をｎｕｍＳｔｒｋとしてＭＥＭ１４に記憶する（Ｓ１
４０）。

【００９４】ｎｕｍＳｔｒｋが０より大きいか判定し
（Ｓ１４２）、肯定判定の場合はＳ１４４に進む。Ｓ１
４２の判定は、ｎｕｍＳｔｒｋが０より大きいと判定さ
れるまで、即ちＳ１４０で計数された全てのストローク
に対して以下のＳ１４４〜Ｓ１６６のストロークを再現
する処理が行なわれたと判断されるまで繰り返される。

【００９５】Ｓ１４４で、ｄｉｆｆＴｉｍｅに設定され
ている時間スリープ状態となる。ここで、現在処理対象
となっているストロークが１番目のストロークである場
合、Ｓ１１２ではｄｉｆｆＴｉｍｅはＳ１０２で記憶さ
れた音声開始時刻とストローク開始時刻の差であり、Ｓ
１３０ではｄｉｆｆＴｉｍｅはＳ１２６で設定された０
である。

【００９６】また、Ｓ１４４〜Ｓ１６６の処理を行う対
象のストロークは、Ｓ１４０で計数されたストロークデ
ータであるが、各々のストロークデータのヘッダ部のＳ
ｔ（入力開始時刻）を比較して、最も早いストロークか
ら順にＳ１４４〜Ｓ１６６の処理の対象として選択する
ものとする。以下、処理対象となっているストロークデ
ータを、現ストロークデータと称する。

【００９７】現ストロークデータの属性を読み込み（Ｓ
１４６），次のストロークデータの描画時刻ｎｅｘｔＤ
ｒａｗＴｉｍｅを求め、ＭＥＭ１４に記憶する（Ｓ１４
８）。このｎｅｘｔＤｒａｗＴｉｍｅは、現ストローク
データのＳｔと次ストロークデータのＳｔとの差を、現
在時刻（装置内の時計機能における現在時刻）に加算し
たものとする。

【００９８】現ストロークデータのポイント数をＭＥＭ
１４から読み出し、ｎｕｍＰｔｓとしてＭＥＭ１４に記
憶する（Ｓ１５０）。このポイント数は、ストロークデ
ータのボディ部のｎの値とする。

【００９９】始点座標（Ｐ１）をＭＥＭ１４から読み出
し、ｐｒｅＰｔｓとしてＭＥＭ１４に記憶する（Ｓ１５
２）。ＭＥＭ１４内のカウンタｉを１に初期化し（Ｓ１
５４）、ｄｉｆｆＰｔＴｉｍｅを０に初期化する（Ｓ１
５６）する。

【０１００】ｉがｎｕｍＰｔｓより小さいか否か判定し
（Ｓ１５８）、肯定判定の場合はＳ１６０に進む。Ｓ１
５８の判定は、ｉがｎｕｍＰｔｓより小さくないと判定
されるまで、即ち、現ストロークの全ての座標点につい
てＳ１６０〜Ｓ１６６の再現処理が完了したと判断され
るまで繰り返される。

【０１０１】ｄｉｆｆＰｔＴｉｍｅとして設定されてい
る時間スリープ状態とし（Ｓ１６０）、ｐｒｅＰｔｓと
して記憶されている座標からｉ番目の座標を直線で結ん
で描画し（Ｓ１６２）、ｉ番目の座標時刻（Ｐｉｔ）と
ｉ＋１番目の座標時刻（Ｐ（ｉ＋１）ｔ）との差をｄｉ
ｆｆＰｔＴｉｍｅの値として、ＭＥＭ１４のデータを更
新し（Ｓ１６４）、ｉを一つインクリメントして（Ｓ１
６６）Ｓ１５８に戻る。

【０１０２】Ｓ１５８で否定判定がなされたら、Ｓ１６
８に進んでｎｕｍＳｔｒｋを一つデクリメントし、Ｓ１
７０でｎｅｘｔＤｒａｗＴｉｍｅと現在時刻を比較す
る。Ｓ１７０でｎｅｘｔＤｒａｗＴｉｍｅが現在時刻
（ｃｕｒＴｉｍｅ）より大きいと判断された場合は、Ｍ
ＥＭ１４内のｄｉｆｆＴｉｍｅの値をｎｅｘｔＤｒａｗ
Ｔｉｍｅ−ｃｕｒＴｉｍｅで求めた値（Ｓ１４８で求め
たｎｅｘｔＤｒａｗＴｉｍｅと現在時刻との差）に更新
し（Ｓ１７２）、Ｓ１７０でｎｅｘｔＤｒａｗＴｉｍｅ
が現在時刻より大きいのではないと判断された場合は、
ＭＥＭ１４内のｄｉｆｆＴＩｍｅを０に更新する（Ｓ１
７４）。

【０１０３】Ｓ１６０〜Ｓ１６６の処理を繰り返すこと
により、一つのストロークが、記入された時と同じ速度
で同じ形状、同じ位置に再現され、Ｓ１４４〜Ｓ１７４
の処理を繰り返すことにより、一つのオブジェクトに含
まれる全てのストロークが、記入された時と同じスピー
ド、同じ時間間隔で再現されることになる。

【０１０４】また、Ｓ１６２におけるストロークの描画
の際に、Ｓ１４６で読み込んだ属性を描画することによ
りＳ８２のストロークの消去なしでもストロークの再生
をユーザに確認させることが可能となる。

【０１０５】次に、ドローモードにおいて記入された複
数のストロークが、先に述べたようにグループ化され、
一つのオブジェクトとして扱われ、ＭＥＭ１４にはクラ
スタデータとして記憶されているデータについて説明す
る。

【０１０６】図１８に、二つのオブジェクトがドローモ
ードで記入された例を示す。この文書では、木を描いた
２本のストロークからなるオブジェクト１１００と、太
陽を描いた１３本のストロークからなるオブジェクト１
０２０がある。ここで、編集モードにおいて、カーソル
でストロークの近傍をクリックすると、そのストローク
を含むオブジェクト全体が選択され、選択されたオブジ
ェクトのヘッダ部のＯｘ、Ｏｙ、Ｃｘ、Ｃｙのデータに
基づいて選択されたオブジェクトの外接矩形を表示す
る。この外接矩形の表示によって、オブジェクトが選択
されたこと、及びそのオブジェクトに含まれているスト
ロークがどれであるのかをオペレータに報知することに
なる。図１８は、カーソル４３０をオブジェクト１０２
０の１ストロークの近傍に位置させてクリックしたこと
により、そのストロークを含むオブジェクト１０２０が
選択され、オブジェクトの外接矩形１０２１が表示され
ている状態である。

【０１０７】Ｓ２０において行なわれる編集処理、移
動、カット、コピー、ペースト、クリア、スムーズ、清
書、回転、リサイズ等の処理は、この選択されたオブジ
ェクト全体に対して行なわれる。

【０１０８】ここで、選択されたオブジェクトを移動す
る処理について、図１９のフローチャートに従って、木
のオブジェクト１１００を太陽のオブジェクト１０２０
に近づける為の移動処理を行う例で説明する。

【０１０９】図２０に、カーソル４３０でオブジェクト
１１００が選択され、外接矩形１１０１が表示されてい
る時の表示画面を示す。この状態でカーソル４３０をド
ラッグさせることにより、そのカーソルのｘ軸方向及び
ｙ軸方向の移動量をｘＯｆｆｓｅｔ、ｙＯｆｆｓｅｔと
してMEM１４に記憶する（Ｓ２３０）。移動対象のクラ
スタ（図２０ではオブジェクト１１００のクラスタ）を
ｃｕｒＣｌｓｔｒとしてMEM１４に記憶する（Ｓ２３
２）。ｃｕｒＣｌｓｔｒのデータがグループ化されてい
るデータであるか否か判断し（Ｓ２３４）、グループ化
されていると判断される場合は、ｃｕｒＣｌｓｔｒ内の
全てのクラスタの矩形情報ｘＯｒｉｇｉｎ、ｙＯｒｉｇ
ｉｎにそれぞれｘＯｆｆｓｅｔ、ｙＯｆｆｓｅｔを加え
る（Ｓ２６）。即ち、オブジェクト１１００のように複
数のストロークが一つのオブジェクトとしてグループ化
されている場合は、全ストロークの矩形情報ｘＯｒｉｇ
ｉｎ、ｙＯｒｉｇｉｎにそれぞれｘＯｆｆｓｅｔ、ｙＯ
ｆｆｓｅｔを加える。

【０１１０】また、Ｓ２３４でｃｕｒＣｌｓｔｒのデー
タがグループ化されているデータではないと判断された
場合は、ｃｕｒＣｌｓｔｒの矩形情報ｘＯｒｉｇｉｎ、
ｙＯｒｉｇｉｎそれぞれにｘＯｆｆｓｅｔ、ｙＯｆｆｓ
ｅｔを加える（Ｓ２３８）。ｘＯｆｆｓｅｔ、ｙＯｆｆ
ｓｅｔを加えるＳ２３６或はＳ２３８の処理が終了した
ら、ルートクラスタの情報を更新する（Ｓ２４０）。マ
ウス２０のボタンの継続押下が開放され、ドラッグが終
了した時点で移動指示が終了したと判定し、Ｓ２３６〜
Ｓ２４０で更新されたデータを、移動後のデータとして
MEM１４内に記憶されているデータを変更することによ
り、ストロークが移動して表示される。

【０１１１】図２２は、移動の処理が終了して、オブジ
ェクト１１００がカーソルの指示した位置に表示を更新
している図である。移動途中では、図２１に示されるよ
うに、オブジェクト１１００は移動が指示される前の選
択時の位置に保持して表示され、カーソルに追随してス
トローク１１０３が移動して表示される。このストロー
ク１１０３は、移動中の仮表示であって、ｃｕｒＣｌｕ
ｓｔｒ内のデータに基づいて表示する。ただし、ストロ
ークの属性は反映させず、表示の変更が容易な、簡単な
線（例えば、線の色は黒で、線の太さは最細）とする。

【０１１２】次に、Ｓ２２での消しゴム処理について、
図２３のフローチャートに従って説明する。

【０１１３】消しゴムモードボタン８０３をクリックす
ることにより、消しゴムモードに切り替わり、マウスカ
ーソルが消しゴムの画像に切り替わる（図２４の画面例
示図における消しゴムカーソル１０００）。マウス２０
のボタン押下或は、デジタイザ２４がペンダウンの検知
に応じて、その位置に消しゴムカーソルを表示し、その
座標値をｐｔＥｒａｓｅとしてMEM１４内に記憶する
（Ｓ１８０）。文書内のオブジェクトの数をMEM１４に
記憶されているデータから計数し、ｎｕｍＯｂｊとして
MEM１４に記憶し（Ｓ１８２）、カウンタｉを１に初期
化する（Ｓ１９０）。ｉがｎｕｍＯｂｊ以下であるか否
か判定し（Ｓ１９２）、肯定判定の場合はＳ１９４に進
む。このＳ１９２のｉがｎｕｍＯｂｊ以下であるか否か
の判定は、ｉがｎｕｍＯｂｊ以下ではないと判定される
まで、即ちＳ１８２で計数されたオブジェクト全てに対
して消しゴムカーソルの位置がオブジェクトに内包され
ているか否かの判断（Ｓ１９４）が行なわれたと判定さ
れるまで繰り返される。

【０１１４】Ｓ１９４では、ｐｔＥｒａｓｅをｉ番目の
オブジェクトのヘッダ部の外接矩形を表わす情報と比較
して、ｐｔＥｒａｓｅが外接矩形に含まれているか否か
を判断することにより、消しゴムカーソルがｉ番目のオ
ブジェクト矩形に含まれるか否かを判断する。含まれる
と判断された場合は、続けてｐｔＥｒａｓｅをｉ番目の
オブジェクトの各クラスタのヘッダ部の外接矩形を表わ
す情報と比較することにより、ｐｔＥｒａｓｅを内包す
るクラスタを全て抽出し（Ｓ１９８）、抽出されたクラ
スタデータの数を計数してｎｕｍＣｌｓｔｒとしてMEM
１４に記憶し（Ｓ２００）、カウンタｊを１に初期化す
る（Ｓ２０２）。ｊがｎｕｍＣｌｓｔｒ以下であるか否
か判定し（Ｓ２０４）、肯定判定の場合はＳ２０６に進
む。否定判定の場合は、Ｓ１９８で抽出された全てのク
ラスタについて、消しゴムカーソルがそのクラスタの表
わすストロークの近傍であるか否かの判断（Ｓ２０６）
を完了したと判定したことになるので、Ｓ１９６に進ん
でｉを一つインクリメントし、次のオブジェクトとの比
較に移る。

【０１１５】Ｓ２０６では、ｐｔＥｒａｓｅがｊ番目の
クラスタ内のストロークの近傍点であるか否かを判断す
る。この判断は、ｐｔＥｒａｓｅとｊ番目のクラスタ内
の各座標点を結ぶ直線との距離を比較し、MEM１４内に
予め記憶されている所定距離値の閾値より近い場合は、
ｐｔＥｒａｓｅがｊ番目のクラスタ内のストロークの近
傍点であると判断することとする。Ｓ２０６で近傍点で
はないと判断された場合は、Ｓ２０８でｊを一つインク
リメントし、次のクラスタとの比較に進む。Ｓ２０６で
近傍点であると判断された場合は、Ｓ２１０に進み、該
当クラスタ（ｊ番目のクラスタ）をMEM１４及び表示画
面上から削除する。

【０１１６】図２５は、図１８において説明したよう
に、１３本のストロークが一つのオブジェクトとしてグ
ループ化されているものであるが、各ストロークは各々
別個のクラスタデータとして扱われている。点線は、各
クラスタの外接矩形である。ここで、消しゴムカーソル
１０００がストローク１０２６に接近すると、消しゴム
カーソル１０００の位置がストローク１０２６の近傍点
であるとＳ２０６で判断され、Ｓ２１０でストローク１
０２６が消去される。ストローク１０２６が消去された
画面が図２６である。オブジェクトを構成する１クラス
タデータが消去されたあとは、オブジェクト１０２１は
残りの１２本のストロークで構成される。図２５及び図
２６において、各クラスタを説明する点線枠を示した
が、消しゴムモードにおいては、実際は点線枠は表示し
ない。

【０１１７】尚、ここでは消しゴムモードにおいてのみ
処理対象を単独のストロークとする例について説明した
が、これは消しゴムモードに限るものではなく、他の編
集機能においても、処理対象を単独ストロークとする機
能実行時にＳ２０４〜Ｓ２２０の処理を実行し、単独ス
トロークのみの取り出しと、処理実行を行っても良い。
この場合、編集モードの種類によって、処理対象を単独
のストロークにするか、１グループに属する全てのスト
ロークにするかを予め設定し、テーブルとしてメモリ１
４に記憶しておき、指示された編集モードがどちらの設
定になっているか否かの判定によって、処理対象を切り
替える。

【０１１８】以上、文書処理におけるストロークの入
力、編集について説明したが、これらの処理は、電子メ
ール等における文書処理機能として利用することができ
る。

【０１１９】電子メールにおいて、送信者により行なわ
れる文書作成時の処理は上記処理と同じであるが、スト
ロークや音声データを含む電子メールの受信者がメール
を返信する時に、受信したメールを引用する場合の処理
について図２７のフローチャートを用いて説明する。

【０１２０】挿入コメントの情報を、MEM１４の引用書
式記憶領域から読み出して（Ｓ２５０）、挿入コメント
情報内のｘ方向のずれ量、ｙ方向のずれ量を計算し、ｘ
Ｍｏｖｅ、ｙＭｏｖｅとしてMEM１４に記憶する（Ｓ２
５２）。ｘ方向のずれ量は、引用書式において設定され
ている文書の先頭への挿入コメント文章を読み出し、そ
の行数と、挿入コメントを出力する書式（行ピッチ、文
字サイズ等）とから、挿入コメントに要するx方向の長
さを求め、その値をx方向のずれ量とする。ｙ方向のず
れ量は、引用書式において設定されている行頭の引用記
号の文字数と、引用記号を出力する書式（文字ピッチ、
文字サイズ等）とから、引用記号に要するｙ方向の長さ
を求め、その値をy方向のずれ量とする。引用記号と
は、引用する文章の各行の行頭に繰り返し挿入する文字
列のことであり、挿入コメント文章とは、引用する文章
の先頭に挿入する文字列のことである。尚、この挿入コ
メント文章と引用記号の内容、文字数、行数はユーザに
より自在に設定可能であり、設定された情報をメモリ１
４に記憶しておくことにより、引用処理時に適当なずれ
量を求めることができる。

【０１２１】引用するメールのストロークデータ、音声
データからなる元インクデータを受信したメールを記憶
しているMEM１４の記憶領域から読み出して、MEM１４内
の作業エリアにコピーして記憶し（Ｓ２５４）、MEM１
４に記憶されているｘＭｏｖｅの値をｘＯｆｆｓｅｔの
値として、ｙＭｏｖｅの値をｙＯｆｆｓｅｔの値とし
て、MEM１４に記憶する（Ｓ２５６）。

【０１２２】Ｓ２５４でコピーされたインクデータに対
し、移動ルーチンを呼び出し（Ｓ２５８）、移動ルーチ
ンを実行する（Ｓ２６０）。移動ルーチンは図１９のフ
ローチャートに示した通りである。

【０１２３】移動後のインクデータを表示用メモリに描
画し、画面に表示する（Ｓ２６２）。

【０１２４】図２７のフローチャートにおいては、イン
クデータ（ストロークデータ及び音声データ）の移動に
ついて説明したが、受信メールに含まれるテキストにつ
いては、テキスト編集の処理における、挿入コメント文
章及び引用記号の挿入と同様の処理が実行され、引用処
理前後で、受信メールに含まれているテキストデータ
と、インクデータの相対位置関係は変化しない。

【０１２５】図２８に、電子メールの受信画面を示す。
メールの内容は、テキスト「本日の会議の出欠をお願い
します。」（２０００）と、「出」及び「欠」を表わす
ストローク２１００と、テキスト「ＰＳ．会議場所はＡ
会議室です。」（２００１）と、メール発信者の署名２
００２からなっている。このメールに対して返信を指示
すると、図２７の処理が実行され、受信したメールの内
容が引用され、図２９に示すように挿入コメント２２０
０及び引用記号２２０１が各行先頭に挿入された画面が
表示される。

【０１２６】図２７のフローチャートに示した引用処理
を施すことにより、メールを受信した時のテキストデー
タとインクデータの相対位置関係（図２８）と、メール
返信時のテキストデータとインクデータの相対位置関係
（図２９）とで変化しない。

【０１２７】

【発明の効果】以上説明したように、本発明によれば、
重ねて表示されている複数の情報において、一方が編集
されたことに応じてそのずれ量を求め、他方の情報の出
力位置をそのずれ量に応じて変更することにより、複数
の情報の相対的位置関係を編集前後で保持することを可
能とした。

【図面の簡単な説明】

【図１】本発明に係る装置の概略構成図

【図２】本発明に係る装置の外観図

【図３】本発明に係る装置の機能構成図

【図４】本発明の実施の形態において作成する文書の例
示図

【図５】文書を作成する処理全体のフローチャート

【図６】録音ペンモードにおける処理のフローチャート

【図７】編集モードになっている時の文書作成ウインド
ウ例示図

【図８】編集モードでのペンメニュー例示図

【図９】録音ペンの属性設定時の画面

【図１０】録音ペンによる動的ストロークを入力する前
の画面例示図

【図１１】動的ストロークを入力している途中の画面の
例示図

【図１２】一つのオブジェクトのデータ入力を終了した
画面の例示図

【図１３】データ構造を示す図

【図１４】オブジェクトの再生処理のフローチャート

【図１５】再生ルーチンのフローチャート

【図１６】ストローク再現処理のフローチャート

【図１７】図４の文書を再生している途中の画面を説明
する図

【図１８】オブジェクト選択状態の画面を説明する図

【図１９】オブジェクトの移動処理のフローチャート

【図２０】移動するオブジェクトを指示した状態の画面
例示図

【図２１】オブジェクトの移動途中の画面例示図

【図２２】オブジェクトの移動が終了した時の画面例示
図

【図２３】消しゴム処理のフローチャート

【図２４】消しゴムモードでの画面例示図

【図２５】グループ化されている複数のストローク各々
の外接矩形を説明する図

【図２６】消しゴムにより一つのストロークが消去され
た時の画面例示図

【図２７】引用処理のフローチャート

【図２８】受信メール例示図

【図２９】返信メール例示図

Claims (20)

【特許請求の範囲】
1. 【請求項１】 受信メール文書を記憶し、 受信メールを引用した新文書を作成する場合に挿入する
   文字列と、該文字列を配置する為の文書書式とに従っ
   て、前記受信メール文書の出力位置のずらし量を導出
   し、 前記導出されたずらし量に従って前記受信メール文書を
   ずらして出力することを特徴とする情報処理方法。
2. 【請求項２】 前記受信メール文書は、座標値により出
   力位置を規定する軌跡情報を含むことを特徴とする請求
   項１に記載の情報処理方法。
3. 【請求項３】 前記挿入する文字列は、引用記号とする
   ことを特徴とする請求項１に記載の情報処理方法。
4. 【請求項４】 前記挿入する文字列は、挿入コメント文
   章とすることを特徴とする請求項１に記載の情報処理方
   法。
5. 【請求項５】 前記ずらし量を前記受信メール文書のオ
   フセット値として設定することにより前記受信メール文
   書のずらし出力を実行することを特徴とする請求項１に
   記載の情報処理方法。
6. 【請求項６】 前記ずらし量は、長さ情報とすることを
   特徴とする請求項１に記載の情報処理方法。
7. 【請求項７】 前記ずらし量は、挿入文字列の行数及び
   文字数と、文書書式の行ピッチ及び文字ピッチとに従っ
   て導出することを特徴とする請求項１に記載の情報処理
   方法。
8. 【請求項８】 重ねて出力可能な軌跡情報とテキスト情
   報とを含む文書情報を記憶し、 前記記憶されているテキスト情報を編集し、 前記テキスト情報の編集により、前記記憶されていたテ
   キスト情報の位置のずれ量を導出し、 前記導出したずれ量に従って前記軌跡情報の出力位置を
   変更して出力するよう制御することを特徴とする情報処
   理方法。
9. 【請求項９】 前記編集は、文字列の挿入とすることを
   特徴とする請求項８に記載の情報処理方法。
10. 【請求項１０】 受信メール文書を記憶するメール記憶
    手段と、 受信メールを引用した新文書を作成する場合に挿入する
    文字列と、該文字列を配置する為の文書書式を記憶する
    挿入文書記憶手段と、 前記挿入文書記憶手段に記憶されている文字列と文書書
    式とに従って、前記受信メール文書の出力位置のずらし
    量を導出するずらし量導出手段と、 前記ずらし量導出手段により導出されたずらし量に従っ
    て、前記受信メール文書をずらして出力することを特徴
    とする情報処理装置。
11. 【請求項１１】 前記受信メール文書は、座標値により
    出力位置を規定する軌跡情報を含むことを特徴とする請
    求項１０に記載の情報処理装置。
12. 【請求項１２】 前記挿入する文字列は、引用記号とす
    ることを特徴とする請求項１０に記載の情報処理装置。
13. 【請求項１３】 前記挿入する文字列は、挿入コメント
    文章とすることを特徴とする請求項１０に記載の情報処
    理装置。
14. 【請求項１４】 前記ずらし量を前記受信メール文書の
    オフセット値として設定することにより前記軌跡情報の
    ずらし出力を実行することを特徴とする請求項１０に記
    載の情報処理装置。
15. 【請求項１５】 前記ずらし量は、長さ情報とすること
    を特徴とする請求項１０に記載の情報処理装置。
16. 【請求項１６】 ずらし量導出手段は、挿入文字列の行
    数及び文字数と、文書書式の行ピッチ及び文字ピッチと
    に従って、ずらし量を導出することを特徴とする請求項
    １０に記載の情報処理装置。
17. 【請求項１７】 重ねて出力可能な軌跡情報とテキスト
    情報とを含む文書情報を記憶する記憶手段と、 前記記憶手段に記憶されているテキスト情報を編集する
    編集手段と、 前記テキスト情報の編集により、前記記憶手段に記憶さ
    れていたテキスト情報の位置のずれ量を導出するずれ量
    導出手段と、 前記ずれ量導出手段により導出したずれ量に従って前記
    軌跡情報の出力位置を変更して出力するよう制御する出
    力制御手段とを有することを特徴とする情報処理装置。
18. 【請求項１８】 前記編集は、文字列の挿入とすること
    を特徴とする請求項１７に記載の情報処理装置。
19. 【請求項１９】 受信メール文書を記憶する工程のプロ
    グラムと、 受信メールを引用した新文書を作成する場合に挿入する
    文字列と、該文字列を配置する為の文書書式とに従っ
    て、前記受信メール文書の出力位置のずらし量を導出す
    る工程のプログラムと、 前記導出されたずらし量に従って前記受信メール文書を
    ずらして出力する工程のプログラムとを記憶した、コン
    ピュータにより読取り可能な記憶媒体。
20. 【請求項２０】 重ねて出力可能な軌跡情報とテキスト
    情報とを含む文書情報を記憶する工程のプログラムと、 前記記憶されているテキスト情報を編集しする工程のプ
    ログラムと、 前記テキスト情報の編集により、前記記憶されていたテ
    キスト情報の位置のずれ量を導出する工程のプログラム
    と、 前記導出したずれ量に従って前記軌跡情報の出力位置を
    変更して出力するよう制御する工程のプログラムとを記
    憶した、コンピュータにより読取り可能な記憶媒体。