JPH0981760A

JPH0981760A - 注釈管理装置

Info

Publication number: JPH0981760A
Application number: JP7232530A
Authority: JP
Inventors: Tomoko Segawa; 智子瀬川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-09-11
Filing date: 1995-09-11
Publication date: 1997-03-28

Abstract

(57)【要約】【課題】画面上に表示されたアイコンとその注釈とを自
動的に対応付ける注釈管理装置を提供することを目的と
する。【解決手段】入力された注釈１３ａと、複数の図形（ア
イコン１２ａ，１２ｂ）との間の各代表距離（注釈１３
ａの先頭座標１７と、それぞれのアイコンにおける各頂
点との距離のうちの最短距離）に基づいて、注釈１３ａ
と対応付ける図形（図１３の場合はアイコン１１ａ）を
定める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は表示画面に表示され
た図形に付される注釈を管理する注釈管理装置に関す
る。

【０００２】

【従来の技術】近年、文字、図形、音声、静止画像、動
画等の、いわゆるマルチメディア情報を処理することの
できるコンピュータが盛んに用いられるようになってき
ている。マルチメディア情報処理用のコンピュータにお
ける人間とコンピュータとのインターフェースは、従来
のキーボードを介しての文字中心のインターフェースか
ら、ペンやマウス等のポインティング装置を介しての画
像中心のインターフェース、いわゆるＧＵＩ（グラフィ
カルユーザインターフェース）が主流となりつつある。

【０００３】このＧＵＩでは、コンピュータの複数の処
理内容それぞれを簡単な絵で表現したアイコン（絵文
字）等の図形に置き換え、それら複数の図形を画面上に
表示し、それらの複数の図形のうちの所望の図形を上述
のポインティング装置で指し示すことにより、その図形
の意味する処理内容を選択できるようにしてある。しか
し、このような図形は、表示画面上の限られた領域内に
簡潔に表示されなければならないため、図形としての表
現に制約を受けざるを得ない。また、処理内容によって
は図形では表現しにくいものもある。そこで、図形の表
現を補うため、その図形の注釈、即ちその図形の意味す
る処理内容に関連する補足的な情報をその図形のそばに
付加して表示することが広く行われている。この注釈は
文字としてまたは画像として表示されることが多く、時
にはそれら文字または画像としての注釈に更に音声が付
け加えられることもある。

【０００４】図１８は、従来の一般的なマルチメディア
情報処理用のコンピュータシステムのブロック図であ
る。このコンピュータシステム１０には、カメラ、ビデ
オ等からの静止画や動画を入力する画像入力装置１と、
マイクロフォン等からの音声を入力する音声入力装置２
と、ポインティングペン４と、ポインティングペン４に
よる圧力を感知しその圧力の加えられた位置を座標値に
変換して入力する圧力感知式のタブレットセンサ３１及
び処理結果を表示する液晶パネル式の表示画面３２が一
体化された入力表示一体型のタブレット３と、これらの
入力装置から入力された情報に基づき所定の処理を行う
中央処理装置５と、音声を出力するスピーカ６とが備え
られている。

【０００５】図１９〜図２１は、従来の図形と注釈との
関係を示す説明図である。図１９には、表示画面１１上
に、２つの図形９ａ，９ｂと１つの注釈１３ａとが表示
された様子が示されている。図形９ａは、画像入力装置
１（図１８参照）から入力された写真データが縮小され
て表示されたものであり、この図形９ａをポインティン
グペン４（図１８参照）で指し示すことにより元の写真
データに関する所定の処理、例えば、元の写真データ自
体を画面上に表示する等の処理が開始される。また、図
形９ｂは、音声入力装置２から入力された音声に関する
処理、例えば、音楽を演奏する処理であることを暗示的
に表現するため、音符を図案化してアイコンとした図形
である。このアイコン（図形９ｂ）をポインティングペ
ン４で指し示すことにより、所定の処理、例えば音楽の
演奏が開始される。

【０００６】注釈１３ａは、上記の図形９ａに対応する
写真データの補足的な情報として、２月１日という撮影
日の日付を意味する「２／１」という文字がポインティ
ングペン４（図１８参照）によって図形９ａの横に入力
されたものである。

【０００７】

【発明が解決しようとする課題】ところで、図形及び注
釈の表示位置が、入力された状態のままであれば問題は
ないが、種々の事情により、図形やその注釈の位置を移
動したり、図形やその注釈を削除したりする必要が生じ
ることがある。図２０には、図１９に示した図形９ａが
表示領域１１ａから表示領域１１ｂまで移動された後の
状態が示されている。

【０００８】図形と注釈は、別々の時点で入力された別
々の情報であるため、図２０のように、図形９ａを移動
しても、図形９ａの横に付加された注釈１３ａは元の位
置にとどまる。図２１には、図１９に示した図形９ａが
削除された後の表示画面１１の状態を示している。上記
と同じ理由により、表示領域１１ａに表示されていた図
形９ａが削除された後も、注釈１３ａは元の位置に表示
されたまま残っている。

【０００９】従って、このようなシステムでは、図形を
移動したり削除したりする際に、図形だけでなく、その
図形に、注釈が付加されている時はその注釈の移動や削
除も同時に行わなければならず、操作が面倒であると共
に、注釈の移動や削除を忘れると、その注釈がどの図形
に付加されたものか不明となる恐れもある。そこで、従
来から、図形と注釈とが一緒に移動したり削除したりで
きるように、図形と注釈とを対応付けて管理する試みが
種々なされており、例えば、特開平４−１７７５６８号
公報には、図形等を入力する手段と、その図形に付加す
べき注釈を入力する手段と、その注釈を所望の図形に対
応付ける手段とを備えた文書編集装置が提案されてい
る。

【００１０】しかし、この文書編集装置における、注釈
を所望の図形に対応付ける手段は、画面上に表示された
注釈と図形とを、操作者が手操作により、一つ一つ対応
付けるものであり、煩雑な手作業を必要とし、作業効率
が悪いという問題がある。本発明は、上記の事情に鑑
み、画面上に表示された図形と注釈とを自動的に対応付
けることのできる注釈管理装置を提供することを目的と
する。

【００１１】

【課題を解決するための手段】上記の目的を達成する本
発明の注釈管理装置は、表示位置を表す座標情報を伴う
注釈を入力する入力手段と、画像を表示する表示画面を
有し、表示位置を表す各座標情報を伴う複数の図形を、
その表示画面上の各座標情報に応じた位置に表示すると
共に、入力手段からの注釈の入力に応じて、その注釈
を、表示画面上の、その注釈の座標情報に応じた位置に
表示する表示手段と、上記入力手段から入力された注釈
を、その注釈の座標情報と上記複数の図形の各座標情報
とに基づいて、上記複数の図形のうちのいずれか一つの
図形に対応付ける対応付与手段とを備えたことを特徴と
する。

【００１２】ここで、上記対応付与手段が、上記入力手
段から入力された注釈の代表座標が、上記複数の図形の
各座標情報に基づいてそれぞれ設定された複数の判定領
域のうちのいずれの判定領域内に位置するかに応じて、
その注釈と対応付ける図形を定めるものであることが好
ましい。また、上記対応付与手段が、上記入力手段から
入力された注釈の、表示画面上の表示領域と、上記複数
の図形の、表示画面上の各表示領域との間の各代表距離
もしくは各平均的な距離に基づいて、その注釈と対応付
ける図形を定めるものであることも好ましい態様であ
る。

【００１３】あるいは、上記対応付与手段は、上記入力
手段から入力された注釈の表示領域と、上記複数の図形
それぞれの各表示領域との重畳部分の各面積に基づい
て、その注釈と対応付ける図形を定めるものであっても
よい。更に、上記表示手段が、上記入力手段から入力さ
れた注釈を、上記複数の図形それぞれに応じてそれぞれ
設定された複数の注釈表示領域のうちの、上記対応付与
手段により対応付けられた図形の注釈表示領域内に表示
するものであることも好ましい態様である。

【００１４】

【発明の実施の形態】以下、本発明の実施形態について
説明する。図１及び図２は、本発明の一実施形態におけ
る注釈管理装置の表示画面である。図１には、当初、表
示画面１１の表示領域１１ａに表示されていたアイコン
１２ａを表示領域１１ｂまで移動した際に、当初、表示
領域１１ｃに表示されていた注釈１３ａもアイコン１２
ａの移動に伴って表示領域１１ｄまで移動された状態が
示されている。

【００１５】図２には、当初、表示画面１１の表示領域
１１ａにあったアイコン１２ａ（図１参照）が削除され
た際に、表示領域１１ｃにあった注釈１３ａ（図１参
照）もアイコン１２ａの削除に伴って削除された状態が
示されている。なお、アイコン１２ｂは図１と同じ位置
に表示されたままである。このような、アイコンと注釈
とを同時に移動したり削除したりすることを実現するた
め、本実施形態では、１つの画面上に表示される複数の
アイコンと、その注釈とを、次に示す対応テーブルによ
って対応付けて管理している。

【００１６】図３及び図４は、対応テーブルによるアイ
コンと注釈との対応付けの説明図である。図３には、表
示画面１１上のアイコン１２ａ，１２ｂとそれらの注釈
１３ａ，１３ｂとの相対座標による位置関係が示されて
いる。即ち、表示画面１１上には、図３に示すように、
アイコン１２ａの先頭表示位置を座標（０，０）とし、
これを起点としてＸ軸方向に距離ｘ１、Ｙ軸方向に距離
ｙ１だけ離れた点を先頭表示位置座標（ｘ１，ｙ１）と
する注釈１３ａが表示されており、また、アイコン１２
ｂの先頭表示位置を座標（０，０）とし、これを起点と
してＸ軸方向に距離ｘ２、Ｙ軸方向に距離ｙ２だけ離れ
た点を先頭表示位置座標（ｘ２，ｙ２）とする注釈１３
ｂが表示されている。

【００１７】図４に示す対応テーブル２０には、アイコ
ン１２ａ，１２ｂ，・・・と、注釈１３ａ，１３ｂ，・
・・とを対応付ける相対座標２０ａと、各注釈のデータ
の記憶領域２０ｂとが記憶されている。従って、例え
ば、アイコン１２ａと注釈１３ａとが対応付けられ、そ
の相対座標は（ｘ１，ｙ１）であり、また、アイコン１
２ｂと注釈１３ｂとが対応付けられ、その相対座標は
（ｘ２，ｙ２）であることがわかる。

【００１８】このようにアイコンと注釈との相対座標を
対応テーブル２０に記憶させておくことにより、アイコ
ンを画面上で移動させたり削除したりした時にそのアイ
コンに付加されている注釈も同時に移動または削除する
ことができる。次に、注釈とアイコンとの対応付け方法
について説明する。図５は、本実施形態における注釈と
アイコンとの対応付けの処理フローを示す図であり、図
６は、図５に示した処理フロー中で用いられるアイコン
情報テーブルの説明図である。

【００１９】先ず、図５のステップＳ１において、操作
者により、静止画像、動画像、音等のマルチメディア情
報がシステムに入力され、それらのマルチメディア情報
が情報ファイル３０に記憶される。次に、ステップＳ２
において、操作者により、入力された上記のマルチメデ
ィア情報を表現するのに適した図形、通常はアイコン
が、画面上の所定の位置に生成される。アイコンの生成
に当たっては、操作者が画面上で新規にアイコンをデザ
インしたり、または、予めシステムに用意されたアイコ
ンライブラリの中から適当なアイコンを選び出しそれを
修正して用いたり、または、システムにアイコンを自動
作成させる等の方法がある。

【００２０】生成されたアイコンは、システムにより、
アイコン情報テーブル４０内に記録される。アイコン情
報テーブル４０は、図６（ａ）に示すように、各アイコ
ン名が書き込まれるアイコン名記憶領域４１と、各アイ
コンの先頭表示位置座標が書き込まれる先頭表示位置座
標領域４２ａ及び末尾表示位置座標が書き込まれる末尾
表示位置座標領域４２ｂから成る座標情報格納領域４２
と、各アイコンのデータ本体である各画像情報が格納さ
れる記憶領域４３とを有している。

【００２１】図６（ｂ）に示すように、先頭表示位置座
標は表示画面１１上のアイコンの表示領域１１ａの先頭
の座標（ｓｘ１，ｓｙ１）であり、末尾表示位置座標は
アイコンの表示領域の末尾の座標（ｅｘ１，ｅｙ１）で
ある。図７は、上記の情報ファイルとアイコン情報テー
ブルとを結び付けて管理するための管理テーブルを示す
図である。

【００２２】図７に示すように、管理テーブル５０は、
情報ファイル３０とアイコン情報テーブル４０との対照
表の役割をなすものであり、図５のステップＳ２におい
て新たにアイコンが生成され、それがアイコン情報テー
ブル４０に書き込まれると、それと同時に、管理テーブ
ル５０には、情報ファイル３０内のマルチメディア情報
の記憶領域と、アイコン情報テーブル４０内のアイコン
情報の記憶領域とが対応付けられて記憶される。

【００２３】図５に戻って対応付け処理フローの説明を
続ける。ステップＳ３において、情報の入力及びアイコ
ンの生成が全て完了したか否かが判定され、まだ完了し
ていない場合はステップＳ１に戻り、情報の入力及びア
イコンの生成が続行される。情報の入力及びアイコンの
生成が全て完了するとステップＳ４に進む。

【００２４】ステップＳ４において、システムは、図６
に示すアイコン情報テーブル４０中の座標情報格納領域
４２に書き込まれている座標情報に基づき、ステップＳ
２で生成された全てのアイコンを表示画面上に表示す
る。なお、操作者がアイコンを入力した位置にそのまま
そのアイコンを表示する代わりに、システムが、画面上
に表示すべきアイコンの数に応じて各アイコンの表示位
置を最適化し、最適化された座標位置に各アイコンを表
示してもよい。

【００２５】次に、ステップＳ９において、操作者から
の、注釈入力作業の続行を指示する命令が入力されたか
否かが判定され、注釈入力作業の続行を指示する命令が
入力されていなければ、一連の作業を終了する。本実施
形態の注釈管理装置には、注釈入力作業の続行を指示す
る命令を入力する入力手段が備えられており、操作者が
その入力手段を操作することにより操作者の意志がシス
テムに伝達される。

【００２６】注釈入力作業の続行を指示する命令が入力
されている場合は、注釈の入力（ステップＳ５）が開始
される。注釈の入力にはポインティングペン４（図２１
参照）が用いられ、画面上に表示された複数のアイコン
のうちの或る１つのアイコンについてそのアイコンに関
連した補足的な情報が手書きで入力される。入力された
手書き情報に関する座標情報やインク情報等は注釈情報
ファイル６０に記録される。

【００２７】ポインティングペン４を用いて注釈を手書
き入力する場合は、ポインティングペン４が画面に触れ
てからポインティングペン４が画面から離れるまでの入
力が１つの入力単位となり、普通、複数の入力単位がま
とまって１つの注釈として構成されることが多い。その
ため、システムは、１つの入力単位毎に、次の入力単位
の注釈入力を続けるのか、それとも、そのアイコンにつ
いての注釈入力が終了したのかを判定する必要がある。
本実施形態では、１つのアイコンについての注釈入力の
終了を指示する命令を入力する入力手段が備えられてお
り、操作者がその入力手段を操作することにより操作者
の意志がシステムに伝達されるようになっている。

【００２８】図５を参照しての説明に戻り、操作者から
の、１つのアイコンについての注釈入力の終了を指示す
る命令が入力されたか否かが判定され（ステップＳ
６）、入力終了を指示する命令が入力されていなければ
ステップＳ５に戻り、入力単位毎の注釈入力が続けられ
る。もし、入力終了を指示する命令が入力されていれば
ステップＳ７に進む。

【００２９】次に、ステップＳ７において、ステップＳ
５で入力された注釈が、画面に表示された複数のアイコ
ンのうちのいずれか一つのアイコンに対応付けられる。
この対応付け処理は本発明の注釈管理装置に備えられた
対応付与手段によって行われる。その対応関係は対応テ
ーブル２０に書き込まれる。対応付け処理の詳細につい
ては後述する。

【００３０】ステップＳ７の対応付け処理が終了する
と、ステップＳ９に戻り、注釈を付すべきアイコン全て
についての注釈入力が完了するまで、上記の注釈入力及
び対応付け処理が続けられる。以下に、本発明の対応付
与手段の詳細について、いくつかの実施形態を説明す
る。

【００３１】図８は、本発明の一実施形態である、入力
された注釈の代表座標が、各アイコン毎に設定された判
定領域のうちのどの判定領域内に位置するかによって対
応付けを行う場合の説明図である。図８に示すように、
表示画面１１上にはアイコン１２ａ，１２ｂが表示され
ており、アイコン１２ａには判定領域１４ａが、アイコ
ン１２ｂには判定領域１４ｂがそれぞれ設定されてい
る。これらの判定領域１４ａ，１４ｂはそれぞれのアイ
コン１２ａ，１２ｂの座標情報に基づき、システムによ
って設定される。

【００３２】この表示画面１１上に、「２／１９：０
０ＪＲ明石チケット」という内容の注釈１３ａが入
力されたとする。本実施形態では、注釈の座標情報のう
ちの先頭入力位置座標、即ち、その注釈１３ａを最初に
書き始めた点の座標が、その注釈の代表座標１５として
定められる。図８に示すように、入力された注釈１３ａ
の代表座標１５は、アイコン１２ａの判定領域１４ａ内
に位置しているので、注釈１３ａはアイコン１２ａと対
応付けられる。

【００３３】なお、代表座標は、必ずしも注釈の先頭入
力位置座標に限定されるものではなく、例えば、注釈の
表示領域の重心の座標を代表座標と定めてもよい。上記
の対応付けに当たり、一画面上に表示されるアイコンの
数が多く、各アイコンに十分な広さの判定領域を設定で
きない場合であって、しかも注釈として入力すべき情報
の量が多い場合、図８に示すように注釈１３ａの後ろの
部分が判定領域１４ａからはみ出し、画面を乱すことが
ある。

【００３４】そのような場合は、注釈を縮小表示、即ち
注釈が入力された領域のサイズを、判定領域内に表示で
きるサイズまで縮小し、縮小後の注釈を再表示する。注
釈の縮小は、判定領域をはみ出した注釈のみについて行
ってもよいし、入力された注釈全てを一律に縮小しても
よい。しかし、いずれにしても、縮小を行うには、注釈
が入力された領域のサイズが判っていなければならず、
そのためには、注釈の入力終了位置が認識されている必
要がある。

【００３５】この注釈の入力終了位置は、例えば、操作
者による注釈入力の終了を指示する命令が入力されるこ
とにより注釈の入力を終了することとし、その命令が入
力された時点における注釈の最終入力位置がその注釈の
入力終了位置であると認識される。なお、注釈の縮小表
示の具体的な方法については後述する。

【００３６】図９は、アイコンの数が多く、しかも情報
量の多い注釈が入力される可能性のある場合の注釈とア
イコンとの対応付けの処理フローを示す図である。図９
に示す処理フローにおいて、ステップＳ３までは図５に
示した処理フローと同様なので、ステップＳ４以降につ
いて説明する。ステップＳ４において、システムは、画
面上に表示すべきアイコンの数に応じて最適な判定領域
の広さを定め、それに基づき各アイコンの表示位置を定
めた上で各アイコンを表示する。

【００３７】図１０は、アイコンの判定領域が定められ
る様子を示す説明図である。図１０には、表示画面１１
上の表示領域１１ａ（クロス状のハッチングが施された
領域）に表示されたアイコン１２ａと、このアイコン１
２ａの判定領域として、アイコン１２ａの先頭表示位置
座標（ｓｘ，ｓｙ）を先頭位置とし、アイコン１２ａの
Ｘ軸方向の長さと定数ｈｌｅｎとの和を一辺とし、アイ
コン１２ａのＹ軸方向の長さと定数ｖｌｅｎとの和を他
の一辺とする矩形状の領域（斜線のハッチングが施され
た領域）がこのアイコンの判定領域１４として定められ
る。従って、この判定領域１４ａの内側には、アイコン
１２ａの表示領域１１ａが包含されている。

【００３８】この実施形態では、上記の定数ｈｌｅｎ及
び定数ｖｌｅｎは、画面上に表示すべきアイコンの数に
応じて、システムにより自動的に決定されるようになっ
ているが、この定数ｈｌｅｎ及び定数ｖｌｅｎは、操作
者によって所望の値に設定できるようにしてもよい。な
お、この実施形態では、アイコンの表示領域の右下側に
判定領域を設定する例が示されているが、アイコンの表
示領域と判定領域との相対的な位置関係はこの例に限定
されるものではなく、判定領域の位置は、アイコンの表
示領域の左側でも、上側でもよく、あるいはアイコンの
周囲を取り囲むものであってもよい。また、判定領域の
形状についても、矩形に限定されるものではなく、任意
の多角形、円形、または楕円形等のいずれであってもよ
い。

【００３９】次に、ステップＳ９において、操作者から
の、注釈入力作業の続行を指示する命令が入力されたか
否かが判定され、注釈入力作業の続行を指示する命令が
入力されていなければ、一連の作業を終了する。図５に
おけると同様、本実施形態の注釈管理装置には、注釈入
力作業の続行を指示する命令を入力する入力手段が備え
られており、操作者がその入力手段を操作することによ
り操作者の意志がシステムに伝達される。

【００４０】注釈入力作業の続行を指示する命令が入力
されている場合は、注釈の入力が開始される（ステップ
Ｓ５ａ）。図５におけると同様、注釈の入力にはポイン
ティングペン４（図２１参照）が用いられ、画面上に表
示された複数のアイコンのうちの或る１つのアイコンに
ついてそのアイコンに関連した補足的な情報、即ち、注
釈が手書きで入力される。

【００４１】操作者による注釈の手書き入力が開始され
ると（図９；ステップＳ５ａ）、入力された注釈の最初
の入力単位分の注釈の中から入力開始位置座標が検出さ
れる。この入力開始位置座標は、次のステップＳ７にお
ける対応付けに用いられる。また、この入力開始位置座
標は、注釈情報ファイル６０の一部分である入力開始位
置テーブル６０ａにも記憶される。

【００４２】図１１は、注釈の入力開始位置座標が記憶
される入力開始位置テーブルの記憶領域を示す説明図で
ある。図１１に示すように、入力開始位置テーブル６０
ａには、複数の注釈の入力開始位置座標６１ａ、６１
ｂ，６１ｃ、・・・が記憶される記憶領域が設けられて
いて、それぞれのアイコンについての注釈の入力が開始
される毎に順次各注釈毎の入力開始位置座標を表すＸ座
標及びＹ座標が記憶される。なお、図１１に示す入力開
始位置テーブル６０ａは、図９の注釈情報ファイル６０
の中の一部分であり、注釈情報ファイル６０の中には、
上記の入力開始位置座標の記憶領域の他に各注釈に関す
るインク情報その他の情報を記憶する記憶領域がある。

【００４３】次に、図９のステップＳ７において、注釈
の入力開始位置の座標が、上述のステップＳ４において
定められた各アイコンの判定領域のうちのいずれの判定
領域内に位置するかに応じて、その注釈と対応付けられ
るアイコンが決定される。即ち、図１０において、斜線
のハッチングの施された領域１４ａがアイコン１２ａの
判定領域として定められている場合において、注釈１３
ａが、座標（ｘ１，ｙ１）に入力開始されたとすると、
そのＸ座標ｘ１及びＹ座標ｙ１と、アイコン１２ａの先
頭表示位置座標（ｓｘ，ｓｙ）及び末端表示位置座標
（ｅｘ，ｅｙ）と、定数ｈｌｅｎ及びｖｌｅｎとの間
に、ｓｘ＜ｘ１＜ｅｘ＋ｈｌｅｎ且つ、ｓｙ＜ｙ１＜ｅｙ＋ｖｌｅｎなる関係が成立する時、座標（ｘ１，ｙ１）を入力開始
位置とする注釈１３ａは、判定領域１４ａ内に位置する
ものであると判定され、注釈１３ａはアイコン１２ａと
対応付けられる。その対応関係は対応テーブル２０（図
９参照）に書き込まれる。

【００４４】次いで、操作者からの、１つのアイコンに
ついての注釈入力の終了を指示する命令が入力されたか
否かが判定（図９；ステップＳ６）され、注釈入力の終
了を指示する命令が入力されていなければ、ステップＳ
５ｂにおける入力単位毎の注釈入力が続行される。ステ
ップＳ５ｂで入力された注釈の座標情報は注釈情報ファ
イル６０に記憶される。

【００４５】ステップＳ６で、操作者からの、１つのア
イコンについての注釈入力の終了を指示する命令が入力
されたことが検出されると、その１つのアイコンに関す
る注釈入力及びアイコンとの対応付け処理を終了し、ス
テップＳ９に戻り、注釈を付すべきアイコン全てについ
ての注釈入力が完了するまで、上記の注釈入力及び対応
付け処理が続けられる。

【００４６】なお、図９のステップＳ６及びステップＳ
５ｂによる１つのアイコンについての注釈入力と注釈入
力終了判定の代わりに、以下に説明するように、入力開
始時刻からの経過時間により１つのアイコンについての
注釈入力終了判定を行ってもよい。図１２は、入力開始
時刻からの経過時間による注釈入力の終了判定の処理フ
ローを示す図である。

【００４７】図１２のステップＳ５ｂにおいて、注釈の
入力が行われると、タイマｔがリセットされ、ステップ
Ｓ５ｃにおいて、経過時間ｔの測定が行われる。続い
て、経過時間ｔが所定の制限時間Ｌｔと比較され（ステ
ップＳ６）、経過時間ｔが所定の制限時間Ｌｔ以下の間
はステップＳ５ｂに戻って注釈の入力が続けられる。経
過時間ｔが所定の制限時間Ｌｔを超えると、注釈の入力
は終了したと判定される。

【００４８】次に、入力された注釈の表示画面上の表示
領域と、複数の図形の表示画面上の各表示領域との間の
各代表距離もしくは各平均的な距離に基づいて、その注
釈と対応付ける図形を定める実施形態について説明す
る。図１３は、注釈の表示領域と各図形の表示領域との
間の各代表距離に基づいて対応付けを行う実施形態の説
明図である。

【００４９】図１３には、２つのアイコン１２ａ，１２
ｂが表示された表示画面１１上に、注釈１３ａが入力さ
れた状態が示されている。いま、アイコン１２ａの表示
領域１１ａの頂点座標を（ｘ１，ｙ１），（ｘ２，ｙ
２），（ｘ３，ｙ３），（ｘ４，ｙ４）、アイコン１２
ｂの表示領域１１ｂの頂点座標を（ｏｘ１，ｏｙ１）、
（ｏｘ２，ｏｙ２），（ｏｘ３，ｏｙ３），（ｏｘ４，
ｏｙ４）、「１／１５東京にて」と入力された注釈１
３ａのうちの最初の「１」という文字の先頭座標１７を
（ｉｘ，ｉｙ）とすると、アイコン１２ａの表示領域１
１ａの各頂点座標（ｘｊ，ｙｊ）（ｊ＝１，２，３，
４）と注釈１３ａの先頭座標１７（ｉｘ，ｉｙ）との間
の距離は、次式により求めた、値Ｌ１ｊの平方根として
与えられる。

【００５０】Ｌ１ｊ＝（ｘｊ−ｉｘ）² ＋（ｙｊ−ｉ
ｙ）² （ｊ＝１，２，３，４）同様に、アイコン１２ｂの表示領域１１ｂの各頂点座標
（ｏｘｊ，ｏｙｊ）（ｊ＝１，２，３，４）と注釈１３
ａの先頭座標１７（ｉｘ，ｉｙ）との間の距離は、次式
により求めた値Ｌ２ｊの平方根として与えられる。Ｌ２ｊ＝（ｏｘｊ−ｉｘ）² ＋（ｏｙｊ−ｉｙ）²
（ｊ＝１，２，３，４）このようにして求めた値Ｌ１ｊ，Ｌ２ｊ（ｊ＝１，２，
３，４）のうち最小の値を持つ頂点が値Ｌ１ｊ，Ｌ２ｊ
の２つのグループのうちのいずれのグループに属するか
が判定され、それによって、注釈１３ａをアイコン１２
ａ，１２ｂのいずれに対応付けるかが決定される。

【００５１】即ち、値Ｌ１ｊ（ｊ＝１，２，３，４）の
うちのいずれか一つが最小であれば、アイコン１２ａの
頂点の一つが注釈１３ａの先頭座標１７に最も近いこと
を表しており、その場合、注釈１３ａはアイコン１２ａ
に対応付けられ、一方、値Ｌ２ｊ（ｊ＝１，２，３，
４）のうちのいずれか一つが最小であれば、アイコン１
２ｂの頂点の一つが注釈１３ａの先頭座標１７に最も近
いことを表しており、その場合、注釈１３ａはアイコン
１２ｂに対応付けられる。

【００５２】図１３に示した例では、値Ｌ１ｊ（ｊ＝
１，２，３，４）のうちの一つが最小であるので、注釈
１３ａは、先頭座標１７に最も近い頂点を有するアイコ
ン１２ａに関連するものであると判定され、注釈１３ａ
はアイコン１２ａと対応付けられる。なお、このように
注釈の先頭座標と各アイコンの頂点との距離を代表距離
とする代わりに、注釈の表示領域のうちの所定の点、例
えば注釈の重心と、アイコンの表示領域のうちの所定の
点、例えばアイコンの重心との距離を代表距離とし、そ
れに基づいて対応付けを行うようにしてもよい。また、
注釈の表示領域のうちの所定の点と、アイコンの各頂点
との間を結ぶ直線の長さを平均化処理するなどして求め
た平均的な距離に基づいて対応付けを行うようにしても
よい。

【００５３】次に、本発明の対応付与手段が、入力され
た注釈の表示画面上の表示領域と、複数の図形それぞれ
の各表示領域との重畳部分の各面積に基づいて、その注
釈と対応付ける図形を定める実施形態について説明す
る。図１４は、注釈の表示画面上の表示領域とアイコン
の各表示領域との重畳部分の面積に基づいて対応付けを
行う実施形態の説明図である。

【００５４】図１４には、２つのアイコン１２ａ，１２
ｂが表示された表示画面１１上に、「１／１５東京に
て」という内容を表す注釈１３ａが入力された様子が示
されている。注釈１３ａに外接する矩形状の領域を、注
釈１３ａの外接矩形領域１８とした時、この外接矩形領
域１８と２つのアイコン１２ａ，１２ｂの各表示領域１
１ａ，１１ｂは斜線で示されたように各一部が重なり合
い、矩形領域１６ａ，１６ｂの重畳部分が形成される。
本実施形態ではこの重畳部分の各面積に基づいて、対応
付けが行われる。

【００５５】ところで、図１４では、二つの重畳部分
（矩形領域１６ａ，１６ｂ）が、共に、注釈の外接矩形
領域１８の一つの頂点とアイコンの表示領域の一つの頂
点とを互いに相手側の領域内に包含し合うパターンとし
て形成されているが、ある１つのアイコンの表示領域と
注釈の外接矩形領域との重畳状態としては、このような
パターンを含め、次の３種類のパターンが考えられる。

【００５６】図１５は、アイコンと注釈の重畳状態の３
つのパターンを示す説明図である。図１５（ａ）に示す
Ａパターンは、上述の図１４と同様、注釈の外接矩形領
域の一つの頂点がアイコンの表示領域の中に包含され、
且つアイコンの表示領域の一つの頂点が注釈の表示領域
の中に包含されている状態を表している。図１５（ｂ）
に示すＢパターンは、アイコンの表示領域（実線）の二
つの頂点が注釈の外接矩形領域（破線）の中に包含さ
れ、且つ注釈の外接矩形領域（破線）の頂点はアイコン
の表示領域（実線）の中には包含されていない状態を表
している。

【００５７】図１５（ｃ）に示すＣパターンは、注釈の
外接矩形領域（破線）の２つの頂点がアイコンの表示領
域（実線）の中に包含され、且つアイコンの表示領域
（実線）の頂点は注釈の外接矩形領域（破線）の中には
包含されていない状態を表している。本実施形態におけ
る対応付け処理は、このような重畳状態の各パターンの
特性に基づき、次に示す手順Ｔ１，Ｔ２，Ｔ３，Ｔ４に
従って行われる。この対応付け処理は注釈一つ一つにつ
いて順次行われる。

【００５８】先ず、手順Ｔ１，Ｔ２，Ｔ３により一つの
注釈の外接矩形領域に対する複数のアイコンの表示領域
との重畳状態のチェックを行った後、手順Ｔ４によりそ
の注釈と対応付けられるアイコンを決定する。手順Ｔ１：注釈に外接する矩形状の領域を作る。図１４
を参照しながら、注釈１３ａに外接する矩形状の領域
（外接矩形領域１８）について説明すると、先ず、注釈
１３ａのＸ方向の座標及びＹ方向の座標のそれぞれ最大
値及び最小値を検出する。検出された、Ｘ方向の最大値
をｍａｘＸ、Ｘ方向の最小値をｍｉｎＸ、Ｙ方向の最大
値をｍａｘＹ、Ｙ方向の最小値をｍｉｎＹとすると、座
標（ｍｉｎＸ，ｍｉｎＹ）、座標（ｍａｘＸ，ｍｉｎ
Ｙ）、座標（ｍａｘＸ，ｍａｘＹ）、及び座標（ｍｉｎ
Ｘ，ｍａｘＹ）を頂点とする、注釈１３ａに外接する外
接矩形領域１８ができる。

【００５９】手順Ｔ２：外接矩形領域１８と、ｉ番目の
アイコンの表示領域１１ａとの重畳状態を調べる。重畳
状態が存在するかどうかを判定するために、下記の検索
操作Ａ及び検索操作Ｂを行う。検索操作Ａ：ｉ番目のアイコンの表示領域の４つの頂点
のうち、外接矩形領域１８内に包含されているものを検
出する。即ち、例えば、図１４の第１のアイコン１２ａ
に関しては、４つの頂点の座標（ｘ１，ｙ１），（ｘ
２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）につき、
それぞれの頂点のＸ座標をｘｊとし、Ｙ座標をｙｊとし
た時、ｍｉｎＸ＜ｘｊ＜ｍａｘＸ、且つ、ｍｉｎＹ＜ｙｊ＜ｍ
ａｘＹなる条件を満足する頂点を検出する。

【００６０】その結果、一つのアイコンに関して、（ケースＡ１）．検索操作Ａにより一つの頂点が検出さ
れた時は、外接矩形領域１８とそのアイコンの表示領域
が、図１５（ａ）に示すＡパターンの重畳状態である可
能性があるので、検索操作Ｂの操作を行う。（ケースＡ２）．検索操作Ａにより二つの頂点が検出さ
れた時は、外接矩形領域１８とそのアイコンの表示領域
が、図１５（ｂ）に示すＢパターンの重畳状態であると
判断されるので、手順Ｔ３に進み重畳部分の面積の計算
を行う。

【００６１】（ケースＡ３）．検索操作Ａの結果、頂点
が一つも検出されなかった時でも、外接矩形領域１８と
そのアイコンの表示領域が、図１５（ｃ）に示すＣパタ
ーンの重畳状態である可能性があるので、検索操作Ｂの
操作を行う。なお、図１４に示した状態では、アイコン１２ａの頂点
座標（ｘ３，ｙ３）及びアイコン１２ｂの頂点座標（ｏ
ｘ４，ｏｙ４）の２点が上記ケースＡ１に該当してい
る。

【００６２】検索操作Ｂ：外接矩形領域１８の４つの頂
点のうち、ｉ番目のアイコンの領域内に包含されている
ものを検出する。即ち、外接矩形領域１８の頂点座標
（ｍｉｎＸ，ｍｉｎＹ），（ｍａｘＸ，ｍｉｎＹ），
（ｍａｘＸ，ｍａｘＹ），（ｍｉｎＸ，ｍａｘＹ）につ
いて、図１４の第１のアイコン１２ａに関して、ｘ１＜ｘ＜ｘ３、且つ、ｙ１＜ｙ＜ｙ３なる条件を満足する頂点を検出する。

【００６３】ここで、検索操作Ａの結果がケースＡ１で
あり、検索操作Ｂの結果、該当する頂点が検出されれ
ば、図１５（ａ）のＡパターンであることが確認される
ので、手順Ｔ３に進み面積計算を行う。もし、検索操作
Ａの結果がケースＡ１であっても、検索操作Ｂの結果、
該当する頂点が検出されなければ、図１５（ａ）のＡパ
ターンでも図１５（ｃ）のＣパターンでもなく、また、
図１５（ｂ）のＢパターンの可能性も既に消えているの
で、検索操作Ａに戻り、次のアイコンの処理に移る。

【００６４】また、検索操作Ａの結果がケースＡ３であ
り、検索操作Ｂの結果、該当する頂点が検出されれば、
図１５（ｃ）のＣパターンであると確認されるので、手
順Ｔ３に進み面積計算を行う。もし、検索操作Ａの結果
がケースＡ３で、検索操作Ｂの結果、該当する頂点が検
出されなければ、図１５（ｃ）のＣパターンではなく、
且つ、Ａパターン、Ｂパターンの可能性も既に消えてい
るため、検索操作Ａに戻り、次のアイコンの処理に移
る。

【００６５】なお、図１４に示した状態では、外接矩形
領域１８の頂点座標（ｍｉｎＸ，ｍｉｎＹ）が第１のア
イコン１２ａ内に包含されている。手順Ｔ３：アイコンの表示領域と注釈の外接矩形領域と
の重畳部分の面積を算出する。各パターン別の重畳部分
の面積Ｓの計算式を以下に示す。

【００６６】Ａパターン：図１５（ａ）における、アイ
コンの頂点座標を（ｉｘ，ｉｙ）とし、外接矩形領域の
頂点座標を（Ｘ，Ｙ）とすると、Ｓ＝｜Ｘ−ｉｘ｜×｜Ｙ−ｉｙ｜となる。Ｂパターン：図１５（ｂ）における、アイコン
の頂点座標を（ｉｘ１，ｉｙ１），（ｉｘ１，ｉｙ２）
とし、外接矩形領域の頂点座標を（Ｘ１，Ｙ１），（Ｘ
１，Ｙ２）とすると、Ｓ＝｜Ｘ１−ｉｘ１｜×｜ｉｙ１−ｉｙ２｜となる。

【００６７】Ｃパターン：図１５（ｃ）における、アイ
コンの頂点座標を（ｉｘ１，ｉｙ１），（ｉｘ１，ｉｙ
２）とし、外接矩形領域の頂点座標を（Ｘ１，Ｙ１），
（Ｘ１，Ｙ２）とすると、Ｓ＝｜ｉｘ１−Ｘ１｜×｜Ｙ２−Ｙ１｜となる。

【００６８】手順Ｔ２及び手順Ｔ３による一つの注釈に
ついての全アイコンの処理が終了すると、手順Ｔ４に移
る。手順Ｔ４：上記手順Ｔ２及び手順Ｔ３で求められた重畳
部分の面積を比較し、最も面積の広い矩形領域を選び出
す。図１４に示した例では、注釈１３ａと重畳している
２つの矩形領域１６ａ，１６ｂのうちで、矩形領域１６
ａの面積の方が広いので、注釈１３ａは矩形領域１６ａ
と重畳しているアイコン１２ａに関連するものであると
判定され、注釈１３ａとアイコン１２ａとが対応付けら
れる。

【００６９】ここで、検索操作Ａまたは検索操作Ｂを満
たす頂点が存在しない時は、重畳状態は存在しないと判
断される。そのような場合は、前述のアイコンの判定領
域の決定について図１０を参照して説明した例にならっ
て、アイコンの表示領域自体を大きく設定し直し、その
上で本実施形態に従って対応付け処理を行う。ところ
で、図９のステップＳ４において、注釈１３ａとして入
力された情報の量が多い場合、そのまま注釈１３ａを表
示しようとすると、注釈１３ａが他の領域にはみ出し、
画面が乱れるので、そのような場合は、本発明の表示手
段に、以下に説明する縮小表示の機能を付加することに
よりこれを解決することができる。

【００７０】図１６は、表示手段によって各アイコン毎
に設定された注釈表示領域内に注釈が表示される様子を
示す説明図である。図１６に示すように、予め、表示画
面１１上のアイコン１２ａには、４つの頂点１９ａ，１
９ｂ，１９ｃ，１９ｄを有する矩形状の注釈表示領域１
９（斜線の施された領域）が設定されている。そのよう
な状態の画面に、アイコン１２ａの注釈として、「１／
１５東京にて」という内容の注釈１３ａが入力された
とする。その時、先ず、注釈１３ａの入力が終了した時
点で、注釈のＸ方向、Ｙ方向の最大座標、最小座標を検
出し、４つの頂点２１ａ，２１ｂ，２１ｃ，２１ｄを有
する矩形状の領域２１（破線で示された領域）の寸法を
求め、それを、予め定められている注釈表示領域１９の
寸法と比較する。次に、領域２１の寸法が注釈表示領域
１９の寸法より大きい場合は領域２１に入力された注釈
１３ａを注釈表示領域１９の寸法に合わせて縮小し、縮
小された注釈１３ａを注釈表示領域１９に移動してそこ
に表示する。

【００７１】なお、注釈表示領域を各アイコンに設定す
るに当たっては、次のような処理が行われる。図１７
は、アイコンの数に応じて注釈表示領域が設定される様
子を示す説明図である。図１７（ａ）は、アイコンの数
が２つの場合の注釈表示領域１９の設定例、以下同様
に、図１７（ｂ）は、アイコンの数が３つの場合、図１
７（ｃ）は、アイコンの数が６つの場合、図１７（ｄ）
は、アイコンの数が７つの場合の設定例である。

【００７２】このように、アイコンの数に合わせてアイ
コンを均等に整列させて配置することにより、アイコン
及びその注釈を画面上に効率的に表示することができ
る。

【００７３】

【発明の効果】以上説明したように、本発明の注釈管理
装置によれば、従来、手作業に依存していた注釈と図形
との対応付けが、本発明の注釈管理装置に備えられた対
応付与手段によって自動的に行われるため、操作者の手
作業による対応付け操作が不要となり、作業効率を向上
させることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態における注釈管理装置の表
示画面である。

【図２】本発明の一実施形態における注釈管理装置の表
示画面である。

【図３】対応テーブルによるアイコンと注釈との対応付
けの説明図である。

【図４】対応テーブルによるアイコンと注釈との対応付
けの説明図である。

【図５】本実施形態における注釈とアイコンとの対応付
けの処理フローを示す図である。

【図６】図５に示した処理フロー中で用いられるアイコ
ン情報テーブルの説明図である。

【図７】情報ファイルとアイコン情報テーブルとを結び
付けて管理するための管理テーブルを示す図である。

【図８】本発明の一実施形態である、入力された注釈の
代表座標が、各アイコン毎に設定された判定領域のうち
のどの判定領域内に位置するかによって対応付けを行う
場合の説明図である。

【図９】アイコンの数が多く、しかも注釈として入力す
べき情報の量が多い場合の注釈とアイコンの対応付けの
処理フローを示す図である。

【図１０】アイコンの判定領域が定められる様子を示す
説明図である。

【図１１】注釈の入力開始位置座標が記憶される入力開
始位置テーブルの記憶領域を示す説明図である。

【図１２】入力開始時刻からの経過時間による注釈入力
の終了判定の処理フローを示す図である。

【図１３】注釈の表示領域と、各図形の表示領域との間
の各代表距離に基づいて、対応付けを行う実施形態の説
明図である。

【図１４】注釈の表示画面上の表示領域と、アイコンの
各表示領域との重畳部分の面積に基づいて、対応付けを
行う実施形態の説明図である。

【図１５】アイコンと注釈の重畳状態の３つのパターン
を示す説明図である。

【図１６】表示手段によって各アイコン毎に設定された
注釈表示領域内に注釈が表示される様子を示す説明図で
ある。

【図１７】アイコンの数に応じて、注釈表示領域が設定
される様子を示す説明図である。

【図１８】従来の一般的なマルチメディア情報処理用の
コンピュータシステムのブロック図である。

【図１９】従来の図形と注釈との関係を示す説明図であ
る。

【図２０】従来の図形と注釈との関係を示す説明図であ
る。

【図２１】従来の図形と注釈との関係を示す説明図であ
る。

【符号の説明】

１画像入力装置２音声入力装置３入力表示一体化タブレット４ポインティングペン５中央処理装置６スピーカ９ａ，９ｂ図形１０コンピュータシステム１１表示画面１１ａ，１１ｂ，１１ｃ，１１ｄ表示領域１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ，１２ｆ，１
２ｇアイコン１３ａ，１３ｂ注釈１４ａ，１４ｂ判定領域１５代表座標１６ａ，１６ｂ矩形領域１７先頭座標１８外接矩形領域１９注釈表示領域１９ａ，１９ｂ，１９ｃ，１９ｄ頂点２０対応テーブル２０ａ相対座標２０ｂ記憶領域２１領域２１ａ，２１ｂ，２１ｃ，２１ｄ頂点３０情報ファイル３１タブレットセンサ３２表示画面４０アイコン情報テーブル４１アイコン名記憶領域４２座標情報格納領域４２ａ先頭表示位置座標領域４２ｂ末尾表示位置座標領域４３記憶領域５０管理テーブル６０注釈情報ファイル６０ａ入力開始位置テーブル６１ａ，６１ｂ，６１ｃ入力開始位置座標

Claims

【特許請求の範囲】

【請求項１】表示位置を表す座標情報を伴う注釈を入
力する入力手段と、画像を表示する表示画面を有し、表示位置を表す各座標
情報を伴う複数の図形を、該表示画面上の、該各座標情
報に応じた位置に表示すると共に、前記入力手段からの
前記注釈の入力に応じて、該注釈を、前記表示画面上
の、該注釈の座標情報に応じた位置に表示する表示手段
と、前記入力手段から入力された注釈を、該注釈の座標情報
と前記複数の図形の各座標情報とに基づいて、前記複数
の図形のうちのいずれか一つの図形に対応付ける対応付
与手段とを備えたことを特徴とする注釈管理装置。
【請求項２】前記対応付与手段が、前記入力手段から入力された注釈の代表座標が、前記複
数の図形の各座標情報に基づいてそれぞれ設定された複
数の判定領域のうちのいずれの判定領域内に位置するか
に応じて、該注釈と対応付ける図形を定めるものである
ことを特徴とする請求項１記載の注釈管理装置。
【請求項３】前記対応付与手段が、前記入力手段から入力された注釈の、前記表示画面上の
表示領域と、前記複数の図形の、前記表示画面上の各表
示領域との間の各代表距離もしくは各平均的な距離に基
づいて、該注釈と対応付ける図形を定めるものであるこ
とを特徴とする請求項１記載の注釈管理装置。
【請求項４】前記対応付与手段が、前記入力手段から入力された注釈の表示領域と、前記複
数の図形それぞれの各表示領域との重畳部分の各面積に
基づいて、該注釈と対応付ける図形を定めるものである
ことを特徴とする請求項１記載の注釈管理装置。
【請求項５】前記表示手段が、前記入力手段から入力された注釈を、前記複数の図形そ
れぞれに応じてそれぞれ設定された複数の注釈表示領域
のうちの、前記対応付与手段により対応付けられた図形
の注釈表示領域内に表示するものであることを特徴とす
る請求項１記載の注釈管理装置。