JPH09101874A

JPH09101874A - 表示制御方法

Info

Publication number: JPH09101874A
Application number: JP26047895A
Authority: JP
Inventors: Ryuichi Matsukura; 隆一松倉; Soichi Okada; 壮一岡田; Yasuhide Matsumoto; 安英松本; Kiyouko Kamikura; 鏡子神倉
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-10-06
Filing date: 1995-10-06
Publication date: 1997-04-15
Anticipated expiration: 2015-10-06
Also published as: JP3688361B2

Abstract

(57)【要約】【課題】ペンを入力デバイスとして用いるコンピュー
タの表示制御方法に関し、ユーザーが操作の過程を直感
的に認識しやすい表示制御方法を提供することを目的と
する。【解決手段】ペン２の画面上での座標とタブレット４
との接触の有無を検出し、アイコンを移動させるときに
はペン２により所望のアイコンを選択した後、ペン２を
タブレット４から離間させることにより、選択したアイ
コンに影を付けあたかもペン２によりアイコンを持ち上
げているかのように表示を行い、また、アイコンを削除
するときにはペン２でアイコンを切断する動作をするこ
とによりアイコンに切断線を表示して、直感的に操作を
把握できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は表示制御方法に係
り、特に、ペンを入力デバイスとして用いるコンピュー
タの表示制御方法に関する。近年、携帯型情報端末機器
の入力デバイスとしてペン型の入力デバイスを装備した
機器が増えている。これはペン型の入力デバイスがキー
ボードと違い入力方法が人間の感覚に合致しているため
である。

【０００２】このようなペン型入力デバイスはポインテ
ィングデバイスとしても有効に使用でき、今後、入力イ
ンタフェースとしての活用が期待されている。

【０００３】

【従来の技術】コンピュータなどにおいては直感的にわ
かりやすいインタフェースを実現するためにアイコン等
の図形を用いて使用者とのやりとりを行ういわゆるＧＵ
Ｉ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃ
ｅ）なるインタフェースが用いられている。従来のＧＵ
Ｉでは様々なメタファーを用いて操作性を向上させてい
た。

【０００４】

【発明が解決しようとする課題】しかるに、従来のＧＵ
Ｉではユーザーが行なっている操作の過程が表示に反映
されていなかったため、操作が処理のどの段階にあるか
が直感的に認識できないなどの問題点があった。

【０００５】本発明は上記の点に鑑みてなされたもの
で、ユーザーが操作の過程を直感的に認識しやすい表示
制御方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の請求項１は、画
面表示されたオブジェクトを指示手段により直接指示す
ることにより該オブジェクトを処理する情報処理装置に
おいて、前記指示手段の位置を検出する検出手段と、前
記検出手段により検出された前記指示手段の動きに応じ
て前記オブジェクトの表示を制御する表示制御手段とを
有し、前記オブジェクトの表示をオブジェクトの処理の
進行に従って順次変更することを特徴とする。

【０００７】請求項１によれば、オブジェクトの表示を
オブジェクトの処理の進行に従って順次変更することに
より、オブジェクトの処理状況を順次把握できるため、
処理状況を直感的に把握できる。請求項２は、オブジェ
クトを選択したときにオブジェクトに影を付与すること
を特徴とする。

【０００８】請求項２によれば、オブジェクトを選択し
たときに選択されたオブジェクトに影を付けることによ
り、選択されたオブジェクトが画面から浮き上がって表
示され、選択したオブジェクトを直感的に把握できる。
請求項３は、オブジェクトを削除するときにオブジェク
トに切断線を表示することを特徴とする。

【０００９】請求項３によれば、オブジェクトを削除す
るときにオブジェクトに切断線を表示することにより、
オブジェクトが画面上で切断されたかのように表示され
るため、オブジェクトを削除する処理を直感的に把握で
きる。請求項４は、オブジェクトを削除するときには指
示手段によりオブジェクトを切断する動作を行うことを
特徴とする。

【００１０】請求項４によれば、オブジェクトを削除す
るときには指示手段によりオブジェクトを切断する動作
を行うことによりオブジェクトが削除されるため、オブ
ジェクトを削除する処理を直感的な動作で実行できる。
請求項５は、オブジェクトを移動させるときに指示手段
によりオブジェクトを選択した後、指示手段を画面より
離間させることによりオブジェクトに影を付け、前記指
示手段の移動に応じて前記オブジェクトを移動させるこ
とを特徴とする。

【００１１】請求項５によれば、オブジェクトを移動さ
せるときには指示手段によりオブジェクトを選択した
後、指示手段を画面より離間させることによりオブジェ
クトに影を付け、指示手段の移動に応じて前記オブジェ
クトを移動させるため、指示手段によりオブジェクトを
持ち上げて移動させているかのような表示が行われ、従
って、オブジェクトの移動を直感的に把握できる。

【００１２】請求項６は、オブジェクトを選択する動作
は指示手段によりオブジェクトを囲む動作であることを
特徴とする。請求項６によれば、オブジェクトを選択す
る動作を指示手段によりオブジェクトを囲む動作とする
ことにより、選択するオブジェクトを丸で囲むような感
覚でオブジェクトの選択が行えるため、オブジェクトの
選択を直感的に実施できる。

【００１３】

【発明の実施の形態】図１に本発明の一実施例のブロッ
ク構成図を示す。本実施例のコンピュータ１は、ペン型
の入力デバイスを有するシステムで、ユーザーが処理の
指示を行うためのペン２、ペン２の状態を検出するため
のタブレット３、処理情報やアイコンなどの表示を行う
ためのディスプレイ４、タブレット３により認識したペ
ン２の状態に応じてディスプレイ４に表示されたオブジ
ェクトに映像効果を付与するとともに各種処理を実行す
るＣＰＵ５、処理データなどを保持するメモリ６等より
構成されている。

【００１４】タブレット３は、例えば電磁誘導型タブレ
ットよりなり、ペン２の先端のタブレット３の表面への
接触及び非接触時の位置及びペン２のタブレット３の表
面への接触・非接触を検知できる構成とされている。タ
ブレット３で検出されたペン２の状態はＣＰＵ５に供給
される。ディスプレイ４は、例えばＬＣＤ（Ｌｉｑｕｉ
ｄＣｒｙｓｔａｌＤｉｓｐｌａｙ；液晶ディスプレ
イ）よりなり、ＣＰＵ５、又は、メモリ６から供給され
る表示データに応じた画像を表示する。

【００１５】ＣＰＵ５にはタブレット３で検出されたペ
ン２の状態に関する情報が供給され、タブレット３から
供給されたペン２の状態の情報に応じて後述するように
オブジェクトの移動・削除などを処理を実行し、ディス
プレイ４に表示するオブジェクトの表示制御する。

【００１６】図２に本発明の一実施例のＣＰＵの機能ブ
ロック図を示す。ＣＰＵ５は、タブレット３から供給さ
れるペン２の状態を示す情報からペン２の状態を認識す
るペン状態認識部１１、ペン状態認識部１１で認識した
ペン２の状態に応じてユーザーが指示したジェスチャコ
マンドを認識するジェスチャ認識部１２、ジェスチャ認
識部１２で認識されたジェスチャコマンドに応じて操作
対象（オブジェクト）を選択するオブジェクト選択部１
３、オブジェクト選択部１３で選択されたオブジェクト
に対してジェスチャコマンドに応じたビジュアルエフェ
クトをかけるビジュアルエフェクト部１４より構成され
る。

【００１７】ＣＰＵ５でのオブジェクトの動作は、メモ
リ６に設定されたジェスチャ操作管理表２１により管理
されている。図３に本発明の一実施例のジェスチャ動作
を管理する管理表の構成図を示す。図３（Ａ）は、ジェ
スチャ操作管理表２１の構成図、図３（Ｂ）は、ジェス
チャ操作を管理するポインタ管理表２２の構成図を示
す。

【００１８】ジェスチャ操作管理表２１はジェスチャ操
作が格納されたジェスチャ項目ａ、ジェスチャに応じた
映像効果が格納された映像効果項目ｂ、次のジェスチャ
が認識されるまでに実行される処理が格納された経過処
理項目ｃより構成され、一連のジェスチャ毎に、処理順
に格納されている。図３（Ａ）には２種類の移動処理
（１）、（２）と削除処理との３種類の処理が登録され
ている。

【００１９】ジェスチャ項目ａは、ペン２の動きにより
認識すべき操作を示しており、ここでは、選択（１）、
（２）、切断（１）、（２）、ポイント（１）、（２）
が示されている。選択（１）は、オブジェクト（アイコ
ン）に接触しているペン２をタブレット３を介してディ
スプレイ４面から離間させる動作によりアイコンを選択
するジェスチャを示している。また、選択（２）は、タ
ブレット３を介してディスプレイ４面にペン２を接触さ
せた状態で、アイコンの周囲を囲むジェスチャを示して
いる。選択（１）、（２）のジェスチャによりアイコン
を選択することができる。

【００２０】また、切断（１）は、アイコンを右から左
に横切る動作を、切断（２）は、アイコンを左から右に
横切るジェスチャを示している。切断（１）、（２）に
よりアイコンが上下に切断することができる。ポイント
（１）は、ペン２をタブレット３を介してディスプレイ
４面に接触させる動作を示している。ポイント２は、ペ
ン２をタブレット３を介してディスプレイ４面より離す
動作を示している。ポイント（１）、（２）のジェスチ
ャによりアイコンのポインティングをできる。

【００２１】映像効果項目ｂには、ジェスチャ項目ａで
認識されたジェスチャに応じて実施する映像効果が設定
されている。映像効果としては、アイコンに影を付ける
表示、アイコンの影を消去する表示、元のアイコン位置
を破線にする表示、アイコンを実線化する表示、アイコ
ンに斜めに切断線を入れる表示、アイコンに十字に切断
線を入れ、アイコンを消去する表示が設定されている。

【００２２】経過処理ｃには、次のジェスチャが認識さ
れるまでに実行すべき処理が設定されている。経過処理
ｃに設定される処理としては、アイコンの移動を可能と
するアイコン移動処理、次のジェスチャを有効とする時
間を設定するタイマーを起動するタイマー起動処理が設
定されている。

【００２３】また、ポインタ管理表２２は、処理される
ジェスチャ操作名ｄ、次に認識すべきジェスチャを認識
するための次認識ジェスチャ項目ｅより構成され、現在
処理中のジェスチャと次に認識すべきジェスチャとが管
理されている。図４に本発明の一実施例の並列動作を管
理する管理表の構成図を示す。図４（Ａ）は、ジェスチ
ャ項目ａの各ジェスチャの動作状態を管理する認識ジェ
スチャ表２３の構成図、図４（Ｂ）は、経過処理項目ｃ
の処理の動作状態を管理するための経過処理管理表２４
の構成図を示す。

【００２４】認識ジェスチャ表２３は、ジェスチャ操作
管理表２１のジェスチャ項目ａに設定された選択
（１）、（２）、切断（１）、（２）、ポイント
（１）、（２）が次に実行可能か否かを示す有効フラグ
ｆ、認識処理を初期状態から行う必要があるか否かを示
すリセットフラグｇ、ジェスチャの認識が成功したか否
かを示す認識成功フラグｈ、認識した対象とするオブジ
ェクトを示す選択オブジェクトポインタｉより構成され
る。

【００２５】有効フラグｆは、次にジェスチャが実行可
能な項目はセット（｀１｀）され、ジェスチャが実行不
可能な項目はリセット（｀０｀）される。すなわち、次
に実行されるべきジェスチャを示している。また、リセ
ットフラグｇは、ジェスチャの認識が行われていないと
きにはセット（｀１｀）され、ジェスチャの認識が実行
されている最中にはリセット（｀０｀）される。

【００２６】また、認識成功フラグｈは、ジェスチャの
認識処理が行われ、ジェスチャが認識されたときにはセ
ット（｀１｀）され、ジェスチャが認識できなっかたと
き、及び、通常はリセット（｀０｀）されている。選択
オブジェクトポインタｉは、ジェスチャによって認識さ
れたオブジェクト（アイコン）を呼び出すためのポイン
タを登録する。

【００２７】経過処理管理表２４は、ジェスチャ操作管
理表２１の経過処理項目ｃに設定されたアイコン移動、
タイマ起動などの処理項目毎に処理の有無を示す有効フ
ラグｊ，次の処理が実行の有無を示す不成功フラグｋよ
り構成される。有効フラグｊは、ジェスチャが認識され
て経過処理が行われるときは、セット（｀１｀）され
て、処理が実行されていないときには、リセット（｀０
｀）される。

【００２８】また、不成功フラグｋは、経過処理中に処
理の実行が実行不可能になったときに、セット（｀１
｀）され、通常はリセット状態（｀０｀）に保持され
る。例えば、タイマ起動時に一定時間経過しても次のジ
ェスチャが認識されないときにセットされる。後述する
ように、この不成功フラグｋがセットされたときにはシ
ステム全体が初期化されて、システムが待ち状態に陥ら
ないように構成されている。

【００２９】まず、移動（１）処理について説明する。
図５に本発明の一実施例の移動処理（１）の動作説明図
を示す。移動処理（１）では、最初に選択（１）ジェス
チャを認識しようと試みる。ここで、選択（１）ジェス
チャは、図５（Ａ）に示すようにディスプレイ４に表示
されたアイコン３１等のオブジェクトにタブレット３を
介してタッチしているペン２を画面から離す動きであ
る。なお、ペン２が指示している位置は、画面上にペン
カーソル３２として表示される。ペンカーソル３２は、
例えば、白抜きの矢印として画面表示される。

【００３０】この選択（１）ジェスチャを認識したとき
にポインタ管理表２２のジェスチャ操作名ｄが移動処理
（１）に設定され、次認識ジェスチャ項目ｅがジェスチ
ャ操作管理表２１の移動処理（１）のジェスチャ項目ａ
の２段目を示す｀２｀が設定される。また、ジェスチャ
操作管理表２１の映像効果項目ｂが実施され、図５
（Ｂ）に示すように映像効果としてアイコン３１に影３
３が付けられる。このときの経過処理ｃとしては次のジ
ェスチャであるポイント（１）ジェスチャが認識される
まで、アイコン３１をペン２の位置に応じて移動させる
処理が実施される。ここで、ポイント（１）ジェスチャ
は、ペン２を画面に接触させる動作である。

【００３１】次に、ポイント（１）ジェスチャが認識さ
れると、アイコン３１に付けられた影３３を消去し、ア
イコン３１の移動が停止される。このとき、移動処理
（１）では、図５（Ｃ）に示すようにアイコン３１の移
動が停止したときに元のアイコン位置にアイコン３１｀
を破線で表示させる。ここで、一定時間内に図５（Ｄ）
に示すように再びペン２により元の位置の破線のアイコ
ン３１｀を接触したときには、元のアイコン位置に元の
アイコン３１｀を再び実線として表示させ、アイコンの
複写が行える構成とされている。このため、ポイント
（１）ジェスチャ認識時に経過処理ｃとしてタイマーが
起動され、次のジェスチャである選択（１）ジェスチャ
がタイマーが切れる前に実施されたときには、映像効果
項目ｂのアイコン３１の実線化が行われる。

【００３２】次に、移動処理（２）について説明する。
図６に本発明の一実施例の移動処理（２）の動作説明図
を示す。移動処理（２）では、図６（Ａ）に示すように
選択（２）によりペン２をディスプレイ面に接触させず
に移動させようとするアイコン３１の周囲を囲むように
動かすことによりアイコン３１の選択が行われ、図６
（Ｂ）に示すように選択されたアイコン３１に影３３が
付けられる。このとき、タイマーが起動され、一定時間
内に次のジェスチャであるポイント（１）が認識されれ
ば、図６（Ｃ）に示すようにアイコン３１が元の位置Ｐ
０からポイント（１）で指示された位置Ｐ１にアイコン
３１が移動される。

【００３３】また、一定時間が経過しても何のジェスチ
ャも実施されないときには、映像効果としてアイコンに
付けられた影３３が消去される。ポイント（１）のジェ
スチャによりアイコン３１が移動された場合には、次に
ポイント（２）のジェスチャの認識を待機する。ここ
で、ポイント（２）のジェスチャが実施されると図６
（Ｄ）に示されるようにアイコン３１に映像効果として
付けられた影が消去される。

【００３４】次に、削除処理について説明する。図７に
本発明の一実施例の削除処理の動作説明図を示す。削除
処理は、切断（１）、（２）の２つのジェスチャにより
実現されている。まず、図７（Ａ）に示すようにペン２
をアイコン３１上を右から左に横切らせる切断（１）ジ
ェスチャにより図７（Ｂ）に示すように映像効果として
削除しようとするアイコン３１に切断線３４が表示され
る。このとき、経過処理としてタイマーが起動され、一
定時間内にペン２をアイコン３１上を左から右に横切ら
せる切断（２）ジェスチャを認識すれば、図７（Ｃ）に
示すように切断線３４に加えて切断線３５を表示して、
アイコン３１を削除する。

【００３５】また、一定時間が経過しない内に図７
（Ｄ）に示すアイコン３１の周囲を囲むようにペン２を
移動させる選択（２）のジェスチャを行うことにより、
切断線３４が消去され、元の状態に復元される。さら
に、一定時間経過しても切断（２）又は選択（２）のジ
ェスチャが行われないときには、切断線３４が消去さ
れ、元の状態に復元される。

【００３６】以上のように、移動処理（１）、（２）、
削除処理は、メモリ６に保持されたジェスチャ操作管理
表２１、ポインタ管理表２２、認識ジェスチャ表２３、
経過処理管理表２４に従ってＣＰＵ５が動作されること
により実行される。図８に本発明の一実施例のＣＰＵの
動作フローチャートを示す。

【００３７】ＣＰＵ５は、動作開始時にはまず、メモリ
６に格納されたポインタ管理表２２、認識ジェスチャ表
２３、経過処理管理表２４を初期化する（ステップＳ１
−１）。次に、ＣＰＵ５は、ペン状態認識部１１により
タブレット３からの情報を取得し、ディスプレイ４上で
のペン２の状態情報を取得する（ステップＳ１−２）。

【００３８】次に、ＣＰＵ５は、ジェスチャ認識部１２
によりステップＳ１−２で取得したペン２の情報から後
述する認識処理によりユーザーの行ったジェスチャを認
識する（ステップＳ１−３〜Ｓ１−８）。ＣＰＵ５は、
ジェスチャを認識すると、ジェスチャ操作管理表２１を
検索し、ジェスチャ操作管理表２１に設定された経過処
理を実施すると共に認識ジェスチャ表２３の内容を更新
する（ステップＳ１−９、Ｓ１−１０）。

【００３９】また、ＣＰＵ５は、続けて認識したジェス
チャに応じてジェスチャ操作管理表２１に設定された映
像効果を表示し、ステップＳ１−２に戻る（ステップＳ
１−１３）。なお、認識されたジェスチャが存在しない
場合及びジェスチャの認識に失敗した場合には、映像効
果は実施しないでステップＳ１−２戻り、再びジェスチ
ャの認識を実施する（ステップＳ１−１１、Ｓ１−１
２）。

【００４０】ＣＰＵ５は、上記ステップＳ１−２〜Ｓ１
ー１３を繰り返し、ディスプレイ４に表示されたアイコ
ンなどのオブジェクトに対してあらかじめ設定された映
像効果を付与する。図９に本発明の一実施例の選択
（１）を認識するための処理の動作フローチャートを示
す。

【００４１】ステップＳ１−３の選択（１）ジェスチャ
を認識するための処理では、まず、認識ジェスチャ表２
３の有効フラグｆを検知する（ステップＳ２−１）。こ
こで、有効フラグｆがリセットされていれば、ジェスチ
ャを認識できない状態にあるため、認識処理は終了され
る。また、有効フラグｆがセットされていれば、ジェス
チャを認識できる状態であるため、次に認識ジェスチャ
表２３のリセットフラグｇを検知する（ステップＳ２−
２）。リセットフラグｇがセットされていれば、認識を
初期状態から行う必要があることを示しているため、ま
ず、ペン２がディスプレイ４に接触しているか否か、す
なわち、ペン２がタブレット３に接触しているか否かが
判断される（ステップＳ２−３）。ペン２がディスプレ
イ４に接触している場合には、初期状態ではないため、
そのまま処理を終了する。また、ペン２がディスプレイ
４に接触していない場合には、リセットフラグｇをリセ
ットし、ペン２の一連の動作を認識するため一連の座標
を順次格納した座標リストをクリアし、このとき取得し
た座標データを先頭座標に設定する（ステップＳ２−４
〜Ｓ２−６）。以上により初期化が終了する。

【００４２】次に取得した座標データを座標リストに追
加する（ステップＳ２−７）。ここで、ステップＳ２−
２でリセットフラグｇがリセットされている場合には、
ステップＳ２−７で続けて座標データが追加される。こ
こで、追加された座標データが座標リストの先頭座標か
否かが判断される（ステップＳ２−８）。ステップＳ２
−８でペン２の指示位置が先頭座標のときには、まだ選
択（１）が選択された状態ではないため、処理を終了す
る。また、ステップＳ２−８で座標データが先頭座標で
はないときには選択（１）処理か否かを判断するため
に、次に先頭座標近傍に位置するか否かが判断される
（ステップＳ２−９）。

【００４３】ステップＳ２−９でペン２の座標が座標リ
ストの先頭座標近傍にないときには、選択（１）が選択
されないと判断できるため、選択（１）のリセットフラ
グｇをセットして処理を終了する（ステップＳ２−１
４）。また、ステップＳ２−９でペン２の座標が座標リ
ストの先頭座標近傍に留まっているときには、選択
（１）が選択される可能性があるため、次に選択（１）
のジェスチャーであるペン２がディスプレイ４に接触し
ているか否かが判断される（ステップＳ２−１０）。

【００４４】ステップＳ２−１０でペン２がディスプレ
イ４に接触していなければ、選択（１）が選択されたと
判断できないため、処理を終了する。また、ステップＳ
２−１０でペン２がディスプレイ４に接触していれば、
選択（１）が選択されたと判断でき、次にペン２が指示
している座標に位置するアイコンを検索する（ステップ
Ｓ２−１１）。

【００４５】ステップＳ２−１１の検索の結果、ペン２
が指示している座標にアイコンがあれば、そのアイコン
を選択（１）により選択されたアイコンとして認識ジェ
スチャ表２３の認識成功フラグｈをセットし、選択オブ
ジェクトポインタｉに選択されたアイコンを識別する情
報を設定する（ステップＳ２−１２、Ｓ２−１３）。ま
た、ステップＳ２−１１の検索の結果、ペン２が指示し
ている座標にアイコンが存在しなければ、選択（１）が
実施されたとは判断できないため、選択（１）のリセッ
トフラグｇをセットして処理を終了する（ステップＳ２
−１２、Ｓ２−１４）。

【００４６】以上により選択（１）のジェスチャが認識
される。図１０に本発明の一実施例の選択（２）を認識
するための処理の動作フローチャートを示す。ステップ
Ｓ１−４の選択（２）ジェスチャを認識するための処理
では、まず、認識ジェスチャ表２３の有効フラグｆを検
知する（ステップＳ３−１）。ここで、有効フラグｆが
リセットされていれば、ジェスチャを認識できない状態
にあるため、認識処理は終了される。また、有効フラグ
ｆがセットされていれば、ジェスチャを認識できる状態
であるため、次に認識ジェスチャ表２３のリセットフラ
グｇを検知する（ステップＳ３−２）。リセットフラグ
ｇがセットされていれば、認識を初期状態から行う必要
があることを示しているため、まず、ペン２がディスプ
レイ４に接触しているか否か、すなわち、ペン２がタブ
レット３に接触しているか否かが判断される（ステップ
Ｓ３−２）。ペン２がディスプレイ４に接触している場
合には、初期状態ではないため、そのまま処理を終了す
る。また、ペン２がディスプレイ４に接触していない場
合には、リセットフラグｇをリセットし、ペン２の一連
の動作を認識するため一連の座標を順次格納した座標リ
ストをクリアし、このとき取得した座標データを先頭座
標に設定する（ステップＳ３−４〜Ｓ３−６）。以上に
より初期化が終了する。

【００４７】次に取得した座標データを座標リストに追
加する（ステップＳ３−７）。ここで、ステップＳ３−
２でリセットフラグｇがリセットされている場合には、
次にペン２がディスプレイ４に接触しているか否かが判
断される（ステップＳ３−８）。

【００４８】ステップＳ３−８でペン２がディスプレイ
４に接触している場合には、選択（２）のジェスチャで
はないので、次に初期状態となるように設定されるよう
にリセットフラグｇをセットして処理を終了する（ステ
ップＳ３−９）。また、ステップＳ３−８でペン２がデ
ィスプレイ４に接触していない場合には、選択（２）の
ジェスチャである可能性があるため、そのときペン２が
指示している座標をペン２の軌跡を保持している座標リ
ストに追加する（ステップＳ３−７）。

【００４９】ステップＳ３−７で座標リストに座標デー
タが新たに追加されると、次に、追加された座標データ
が座標リストの先頭座標か否かが判断される（ステップ
Ｓ３−１０）。ステップＳ３−１０でペン２の指示位置
が先頭座標のときには、まだ選択（２）が選択された状
態ではないため、処理を終了する。また、ステップＳ３
−１０で座標データが先頭座標ではないときには選択
（２）処理か否かを判断するために、次に先頭座標近傍
に位置するか否かが判断される（ステップＳ３−１
１）。

【００５０】ステップＳ３−１１でペン２の座標が座標
リストの先頭座標近傍にないときには、選択（２）が選
択されないかまたは選択（２）のジェスチャの途中であ
ると判断できるため、このまま処理を終了する。また、
ステップＳ３−１１でペン２の座標が座標リストの先頭
座標近傍に存在するときには、選択（２）が選択される
可能性があるため、次に選択（２）のジェスチャーであ
るペン２の軌跡により形成された閉領域に含まれるアイ
コンを検索する（ステップＳ３−１２）。

【００５１】ステップＳ３−１２の検索の結果、ペン２
が指示した座標の軌跡により形成された閉領域内にアイ
コンがあれば、そのアイコンを選択（２）により選択さ
れたアイコンとして認識ジェスチャ表２３の認識成功フ
ラグｈをセットし、選択オブジェクトポインタｉに選択
されたアイコンを識別する情報を設定する（ステップＳ
３−１３、Ｓ３−１４）。また、ステップＳ３−１３の
検索の結果、ペン２が指示した座標の軌跡により形成さ
れた閉領域内にアイコンが存在しなければ、選択（２）
が実施されたとは判断できないため、選択（２）のリセ
ットフラグｇをセットして処理を終了する（Ｓ３−１
３、Ｓ３−９）。

【００５２】以上により選択（２）のジェスチャが認識
される。図１１に本発明の一実施例の切断（１）を認識
するための処理の動作フローチャートを示す。ステップ
Ｓ１−５の切断（１）ジェスチャを認識するための処理
では、まず、認識ジェスチャ表２３の有効フラグｆを検
知する（ステップＳ４−１）。ここで、有効フラグｆが
リセットされていれば、ジェスチャを認識できない状態
にあるため、認識処理は終了される。また、有効フラグ
ｆがセットされていれば、ジェスチャを認識できる状態
であるため、次に認識ジェスチャ表２３のリセットフラ
グｇを検知する（ステップＳ４−２）。リセットフラグ
ｇがセットされていれば、認識を初期状態から行う必要
があることを示しているため、まず、ペン２がディスプ
レイ４に接触しているか否か、すなわち、ペン２がタブ
レット３に接触しているか否かが判断される（ステップ
Ｓ４−３）。ペン２がディスプレイ４に接触している場
合には、初期状態ではないため、そのまま処理を終了す
る。また、ペン２がディスプレイ４に接触していない場
合には、リセットフラグｇをリセットし、ペン２の一連
の動作を認識するため一連の座標を順次格納した座標リ
ストをクリアし、このとき取得した座標データを先頭座
標に設定する（ステップＳ４−４〜Ｓ２−６）。以上に
より初期化が終了する。

【００５３】次に取得した座標データを座標リストに追
加する（ステップＳ４−７）。ここで、ステップＳ４−
２でリセットフラグｇがリセットされている場合には、
ステップＳ４−７で続けて座標データが追加される。こ
こで、追加された座標データが座標リストの先頭座標か
否かが判断される（ステップＳ４−８）。ステップＳ４
−８でペン２の指示位置が先頭座標のときには、まだ切
断（１）が選択された状態ではないため、処理を終了す
る。また、ステップＳ４−８で座標データが先頭座標で
はないときには切断（１）処理か否かを判断するため
に、次に切断（１）のジェスチャーであるペン２がディ
スプレイ４に接触しているか否かが判断される（ステッ
プＳ４−９）。

【００５４】ステップＳ４−９でペン２がディスプレイ
４に接触していなければ、切断（１）が選択されたと判
断できないため、処理を終了する。また、ステップＳ４
−９でペン２がディスプレイ４に接触していれば、切断
（１）が選択される可能性があると判断でき、次に座標
リストよりペン２の軌跡が左から右に横切るアイコンを
検索する（ステップＳ４−１０）。

【００５５】ステップＳ４−１０の検索の結果、ペン２
の軌跡が左から右に横切るアイコンがあれば、そのアイ
コンを切断（１）により選択されたアイコンとして認識
ジェスチャ表２３の認識成功フラグｈをセットし、選択
オブジェクトポインタｉに切断しようとするアイコンを
識別する情報を設定する（ステップＳ４−１２）。ま
た、ステップＳ４−１０の検索の結果、ペン２の軌跡が
左から右に横切るアイコンが存在しなければ、切断
（１）が実施されたとは判断できないため、切断（１）
のリセットフラグｇをセットして処理を終了する（ステ
ップＳ４−１３）。

【００５６】以上により切断（１）のジェスチャが認識
される。図１２に本発明の一実施例の切断（２）を認識
するための処理の動作フローチャートを示す。ステップ
Ｓ１−６の切断（２）ジェスチャを認識するための処理
では、まず、認識ジェスチャ表２３の有効フラグｆを検
知する（ステップＳ５−１）。ここで、有効フラグｆが
リセットされていれば、ジェスチャを認識できない状態
にあるため、認識処理は終了される。また、有効フラグ
ｆがセットされていれば、ジェスチャを認識できる状態
であるため、次に認識ジェスチャ表２３のリセットフラ
グｇを検知する（ステップＳ５−２）。リセットフラグ
ｇがセットされていれば、認識を初期状態から行う必要
があることを示しているため、まず、ペン２がディスプ
レイ４に接触しているか否か、すなわち、ペン２がタブ
レット３に接触しているか否かが判断される（ステップ
Ｓ５−３）。ペン２がディスプレイ４に接触している場
合には、初期状態ではないため、そのまま処理を終了す
る。また、ペン２がディスプレイ４に接触していない場
合には、リセットフラグｇをリセットし、ペン２の一連
の動作を認識するため一連の座標を順次格納した座標リ
ストをクリアし、このとき取得した座標データを先頭座
標に設定する（ステップＳ５−４〜Ｓ５−６）。以上に
より初期化が終了する。

【００５７】次に取得した座標データを座標リストに追
加する（ステップＳ５−７）。ここで、ステップＳ５−
２でリセットフラグｇがリセットされている場合には、
ステップＳ５−７で続けて座標データが追加される。こ
こで、追加された座標データが座標リストの先頭座標か
否かが判断される（ステップＳ５−８）。ステップＳ４
−８でペン２の指示位置が先頭座標のときには、まだ切
断（２）が選択された状態ではないため、処理を終了す
る。また、ステップＳ５−８で座標データが先頭座標で
はないときには切断（２）処理か否かを判断するため
に、次に切断（２）のジェスチャーであるペン２がディ
スプレイ４に接触しているか否かが判断される（ステッ
プＳ５−９）。

【００５８】ステップＳ５−９でペン２がディスプレイ
４に接触していなければ、切断（２）が選択されたと判
断できないため、処理を終了する。また、ステップＳ５
−９でペン２がディスプレイ４に接触していれば、切断
（２）が選択される可能性があると判断でき、次に座標
リストよりペン２の軌跡が左から右に横切るアイコンを
検索する（ステップＳ５−１０）。

【００５９】ステップＳ５−１０の検索の結果、ペン２
の軌跡が右から左に横切るアイコンがあれば、そのアイ
コンを切断（２）により選択されたアイコンとして認識
ジェスチャ表２３の認識成功フラグｈをセットし、選択
オブジェクトポインタｉに切断しようとするアイコンを
識別する情報を設定する（ステップＳ５−１２）。ま
た、ステップＳ５−１０の検索の結果、ペン２の軌跡が
右から左に横切るアイコンが存在しなければ、切断
（２）が実施されたとは判断できないため、切断（１）
のリセットフラグｇをセットして処理を終了する（ステ
ップＳ５−１３）。

【００６０】以上により切断（２）のジェスチャが認識
される。図１３に本発明の一実施例のポイント（１）を
認識するための処理の動作フローチャートを示す。ステ
ップＳ１−７のポイント（１）ジェスチャを認識するた
めの処理では、まず、認識ジェスチャ表２３の有効フラ
グｆを検知する（ステップＳ６−１）。ここで、有効フ
ラグｆがリセットされていれば、ジェスチャを認識でき
ない状態にあるため、認識処理は終了される。また、有
効フラグｆがセットされていれば、ジェスチャを認識で
きる状態であるため、次に認識ジェスチャ表２３のリセ
ットフラグｇを検知する（ステップＳ６−２）。リセッ
トフラグｇがセットされていれば、認識を初期状態から
行う必要があることを示しているため、まず、ペン２が
ディスプレイ４に接触しているか否か、すなわち、ペン
２がタブレット３に接触しているか否かが判断される
（ステップＳ６−３）。ペン２がディスプレイ４に接触
している場合には、ポイント（１）は認識できないた
め、そのまま処理を終了する。また、ペン２がディスプ
レイ４に接触していない場合には、リセットフラグｇを
リセットし、認識処理が実行中であることを設定する
（ステップＳ６−４）。

【００６１】ポイント（１）処理か否かを判断するため
に、次にポイント（１）のジェスチャーであるペン２が
ディスプレイ４に接触しているか否かが判断される（ス
テップＳ６−５）。ステップＳ６−５でペン２がディス
プレイ４に接触していなければ、ポイント（１）が選択
されたと判断できないため、処理を終了する。また、ス
テップＳ６−５でペン２がディスプレイ４に接触してい
れば、ポイント（１）が選択される可能性があると判断
でき、ペン２が指示している位置のアイコンを検索する
（ステップＳ６−６）。

【００６２】ステップＳ６−６の検索の結果、ペン２が
指示している位置にアイコンがあれば、そのアイコンを
ポイント（１）により選択されたアイコンとして認識ジ
ェスチャ表２３の認識成功フラグｈをセットし、選択オ
ブジェクトポインタｉに指示されたアイコンを識別する
情報を設定する（ステップＳ６−７）。また、ステップ
Ｓ６−６の検索の結果、ペン２が指示している位置にア
イコンが存在しなければ、ポイント（１）が実施された
とは判断できないため、ポイント（１）のリセットフラ
グｇをセットして処理を終了する（ステップＳ６−
８）。

【００６３】以上によりポイント（１）のジェスチャが
認識される。図１４に本発明の一実施例のポイント
（２）を認識するための処理の動作フローチャートを示
す。ステップＳ１−８のポイント（２）ジェスチャを認
識するための処理では、まず、認識ジェスチャ表２３の
有効フラグｆを検知する（ステップＳ７−１）。ここ
で、有効フラグｆがリセットされていれば、ジェスチャ
を認識できない状態にあるため、認識処理は終了され
る。また、有効フラグｆがセットされていれば、ジェス
チャを認識できる状態であるため、次に認識ジェスチャ
表２３のリセットフラグｇを検知する（ステップＳ７−
２）。リセットフラグｇがセットされていれば、認識を
初期状態から行う必要があることを示しているため、ま
ず、ペン２がディスプレイ４に接触しているか否か、す
なわち、ペン２がタブレット３に接触しているか否かが
判断される（ステップＳ７−３）。ペン２がディスプレ
イ４に接触していない場合には、ポイント（２）は認識
できないため、そのまま処理を終了する。また、ペン２
がディスプレイ４に接触している場合には、リセットフ
ラグｇをリセットし、認識処理が実行中であることを設
定する（ステップＳ７−４）。以上により初期化が終了
する。

【００６４】ポイント（２）処理か否かを判断するため
に、次にポイント（２）のジェスチャーであるペン２が
ディスプレイ４に接触しているか否かが判断される（ス
テップＳ７−５）。ステップＳ７−５でペン２がディス
プレイ４に接触していれば、ポイント（２）が選択され
たと判断できないため、処理を終了する。また、ステッ
プＳ７−５でペン２がディスプレイ４に接触していなけ
れば、ポイント（２）が選択された可能性があると判断
でき、ペン２が指示している位置のアイコンを検索する
（ステップＳ７−６）。

【００６５】ステップＳ７−６の検索の結果、ペン２が
指示している位置にアイコンがあれば、そのアイコンを
ポイント（２）により選択されたアイコンとして認識ジ
ェスチャ表２３の認識成功フラグｈをセットし、選択オ
ブジェクトポインタｉに指示されたアイコンを識別する
情報を設定する（ステップＳ７−７）。また、ステップ
Ｓ６−６の検索の結果、ペン２が指示している位置にア
イコンが存在しなければ、ポイント（２）が実施された
とは判断できないため、ポイント（２）のリセットフラ
グｇをセットして処理を終了する（ステップＳ７−
８）。

【００６６】以上によりポイント（２）のジェスチャが
認識される。ＣＰＵ５は、図８に示すようにステップＳ
１−３〜Ｓ１−８の認識処理が層構造をなし、ペン２の
座標及びディスプレ４との接触状態を取得しながら、図
９〜図１４に説明した認識処理が順次実行され、認識結
果に応じて映像効果を表示する。このように、本実施例
によれば、アイコンを移動させようとするときには移動
しようとするアイコンを選択（１）又は（２）により選
択することにより、映像効果としてアイコンに影が付き
アイコンが画面から浮き上がったかのような表示とされ
アイコンが選択されたことが直感的に認識できるように
なる。また、アイコンを削除するときには、ペン２によ
り削除しようとするアイコンに×を書くことによりアイ
コンに切断線が表示され、アイコンがこれから削除され
ることが直感的に認識できる。このとき、途中でペン２
により○を書くジェスチャを行えば、アイコンが復元さ
れる。このように、直感的にアイコンの削除や移動を行
え、使い勝手の良い入出力インタフェースを実現でき
る。

【００６７】なお、本実施例では、移動処理及び削除処
理時の表示制御について説明したがこれに限ることはな
く、ジェスチャ管理表２１に他の処理のときの表示制御
を設定すれば、上述した移動処理及び削除処理と同様に
直感的な表示が行える。また、本実施例では、アイコン
の移動・削除についての説明を行っているがアイコンに
限ることはなく、他の図形・文字に対しても同様に対応
できる。

【００６８】

【発明の効果】本発明の請求項１によれば、オブジェク
トの表示をオブジェクトの処理の進行に従って順次変更
することにより、オブジェクトの処理状況を順次把握で
きるため、処理状況を直感的に把握できる等の特長を有
する。

【００６９】請求項２によれば、オブジェクトを選択し
たときに選択されたオブジェクトに影を付けることによ
り、選択されたオブジェクトが画面から浮き上がって表
示され、選択したオブジェクトを直感的に把握できる等
の特長を有する。請求項３によれば、オブジェクトを削
除するときにオブジェクトに切断線を表示することによ
り、オブジェクトが画面上で切断されたかのように表示
されるため、オブジェクトを削除する処理を直感的に把
握できる等の特長を有する。

【００７０】請求項４によれば、オブジェクトを削除す
るときには指示手段によりオブジェクトを切断する動作
を行うことによりオブジェクトが削除されるため、オブ
ジェクトを削除する処理を直感的な動作で実行できる等
の特長を有する。請求項５によれば、オブジェクトを移
動させるときには指示手段によりオブジェクトを選択し
た後、指示手段を画面より離間させることによりオブジ
ェクトに影を付け、指示手段の移動に応じて前記オブジ
ェクトを移動させるため、指示手段によりオブジェクト
を持ち上げて移動させているこのような表示が行われ、
従って、オブジェクトの移動を直感的に把握できる等の
特長を有する。

【００７１】請求項６によれば、オブジェクトを選択す
る動作を指示手段によりオブジェクトを囲む動作とする
ことにより、選択するオブジェクトを丸で囲むような感
覚でオブジェクトの選択が行えるため、オブジェクトの
選択を直感的に実施できる等の特長を有する

【図面の簡単な説明】

【図１】本発明の一実施例のブロック構成図である。

【図２】本発明の一実施例の要部のブロック構成図であ
る。

【図３】本発明の一実施例のジェスチャ動作を管理する
管理表の構成図である。

【図４】本発明の一実施例の並列動作を管理する管理表
の構成図である。

【図５】本発明の一実施例の移動処理（１）の動作説明
図である。

【図６】本発明の一実施例の移動処理（２）の動作説明
図である。

【図７】本発明の一実施例の削除処理の動作説明図であ
る。

【図８】本発明の一実施例のＣＰＵの動作フローチャー
トである。

【図９】本発明の一実施例の選択（１）を認識するため
の処理の動作フローチャートである。

【図１０】本発明の一実施例の選択（２）を認識するた
めの処理の動作フローチャートである。

【図１１】本発明の一実施例の切断（１）を認識するた
めの処理の動作フローチャートである。

【図１２】本発明の一実施例の切断（２）を認識するた
めの処理の動作フローチャートである。

【図１３】本発明の一実施例のポイント（１）を認識す
るための処理の動作フローチャートである。

【図１４】本発明の一実施例のポイント（２）を認識す
るための処理の動作フローチャートである。

【符号の説明】

１コンピュータシステム２ペン３タブレット４ディスプレイ５ＣＰＵ６メモリ１１ペン状態認識部１２ジェスチャ認識部１３オブジェクト選択部１４ビジュアル・エフェクト部２１ジェスチャ操作管理表２２ポインタ管理表２３認識ジェスチャ表２４経過処理管理表３１アイコン３２ペンカーソル３３影３４、３５切断線

───────────────────────────────────────────────────── フロントページの続き (72)発明者松本安英神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者神倉鏡子神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】画面表示されたオブジェクトを指示手段
により直接指示することにより該オブジェクトを処理す
る情報処理装置において、前記指示手段の位置を検出する検出手段と、前記検出手段により検出された前記指示手段の動きに応
じて前記オブジェクトの表示を制御する表示制御手段と
を有し、前記オブジェクトの表示をオブジェクトの処理の進行に
従って順次変更することを特徴とする表示制御方法。
【請求項２】前記オブジェクトを選択したときに前記
オブジェクトに影を付与することを特徴とする請求項１
記載の表示制御方法。
【請求項３】前記オブジェクトを削除するときに前記
オブジェクトに切断線を表示することを特徴とする請求
項１又は２記載の表示制御方法。
【請求項４】前記オブジェクトを削除するときには前
記指示手段により前記オブジェクトを切断する動作を行
うことを特徴とする請求項１乃至３のいずれか一項記載
の表示制御方法。
【請求項５】前記オブジェクトを移動させるときに前
記指示手段により前記オブジェクトを選択した後、前記
指示手段を画面より離間させることにより前記オブジェ
クトに影を付け、前記指示手段の移動に応じて前記オブ
ジェクトを移動させることを特徴とする請求項１乃至４
のいずれか一項記載の表示制御方法。
【請求項６】前記オブジェクトを選択する動作は前記
指示手段により前記オブジェクトを囲む動作であること
を特徴とする請求項１乃至５のいずれか一項記載の表示
制御方法。