JP3688361B2

JP3688361B2 - Display control device

Info

Publication number: JP3688361B2
Application number: JP26047895A
Authority: JP
Inventors: 隆一松倉; 壮一岡田; 安英松本; 鏡子神倉
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-10-06
Filing date: 1995-10-06
Publication date: 2005-08-24
Anticipated expiration: 2015-10-06
Also published as: JPH09101874A

Description

【０００１】
【発明の属する技術分野】
本発明は表示制御装置に係り、特に、ペンを入力デバイスとして用いるコンピュータの表示制御装置に関する。
近年、携帯型情報端末機器の入力デバイスとしてペン型の入力デバイスを装備した機器が増えている。これはペン型の入力デバイスがキーボードと違い入力方法が人間の感覚に合致しているためである。
【０００２】
このようなペン型入力デバイスはポインティングデバイスとしても有効に使用でき、今後、入力インタフェースとしての活用が期待されている。
【０００３】
【従来の技術】
コンピュータなどにおいては直感的にわかりやすいインタフェースを実現するためにアイコン等の図形を用いて使用者とのやりとりを行ういわゆるＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）なるインタフェースが用いられている。従来のＧＵＩでは様々なメタファーを用いて操作性を向上させていた。
【０００４】
【発明が解決しようとする課題】
しかるに、従来のＧＵＩではユーザーが行なっている操作の過程が表示に反映されていなかったため、操作が処理のどの段階にあるかが直感的に認識できないなどの問題点があった。
【０００５】
本発明は上記の点に鑑みてなされたもので、ユーザーが操作の過程を直感的に認識しやすい表示とする表示制御装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、画面表示されたオブジェクトの表示を指示手段の指示に応じて制御する表示制御装置において、指示手段の位置を検出する検出手段と、指示手段の動きに対応づけてオブジェクトへの映像効果を記憶したジェスチャ管理表と、検出手段により検出された指示手段の動きに応じてジェスチャ管理表を参照して、ジェスチャ管理表から取得された映像効果に応じてオブジェクトの表示を制御する表示制御手段とを有し、表示制御手段はオブジェクトを移動させるときに、指示手段によりオブジェクトを選択した後、指示手段を画面より離間させる動作によりオブジェクトに影付けを行なうことを特徴とする。
【０００７】
本発明によれば、オブジェクトを移動させるときに、指示手段によりオブジェクトを選択した後、指示手段を画面より離間させる動作によりオブジェクトに影付けを行なうことにより、オブジェクトの移動を直感的に把握できる。
【００１３】
【発明の実施の形態】
図１に本発明の一実施例のブロック構成図を示す。本実施例のコンピュータ１は、ペン型の入力デバイスを有するシステムで、ユーザーが処理の指示を行うためのペン２、ペン２の状態を検出するためのタブレット３、処理情報やアイコンなどの表示を行うためのディスプレイ４、タブレット３により認識したペン２の状態に応じてディスプレイ４に表示されたオブジェクトに映像効果を付与するとともに各種処理を実行するＣＰＵ５、処理データなどを保持するメモリ６等より構成されている。
【００１４】
タブレット３は、例えば電磁誘導型タブレットよりなり、ペン２の先端のタブレット３の表面への接触及び非接触時の位置及びペン２のタブレット３の表面への接触・非接触を検知できる構成とされている。タブレット３で検出されたペン２の状態はＣＰＵ５に供給される。ディスプレイ４は、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ；液晶ディスプレイ）よりなり、ＣＰＵ５、又は、メモリ６から供給される表示データに応じた画像を表示する。
【００１５】
ＣＰＵ５にはタブレット３で検出されたペン２の状態に関する情報が供給され、タブレット３から供給されたペン２の状態の情報に応じて後述するようにオブジェクトの移動・削除などを処理を実行し、ディスプレイ４に表示するオブジェクトの表示制御する。
【００１６】
図２に本発明の一実施例のＣＰＵの機能ブロック図を示す。ＣＰＵ５は、タブレット３から供給されるペン２の状態を示す情報からペン２の状態を認識するペン状態認識部１１、ペン状態認識部１１で認識したペン２の状態に応じてユーザーが指示したジェスチャコマンドを認識するジェスチャ認識部１２、ジェスチャ認識部１２で認識されたジェスチャコマンドに応じて操作対象（オブジェクト）を選択するオブジェクト選択部１３、オブジェクト選択部１３で選択されたオブジェクトに対してジェスチャコマンドに応じたビジュアルエフェクトをかけるビジュアルエフェクト部１４より構成される。
【００１７】
ＣＰＵ５でのオブジェクトの動作は、メモリ６に設定されたジェスチャ操作管理表２１により管理されている。
図３に本発明の一実施例のジェスチャ動作を管理する管理表の構成図を示す。図３（Ａ）は、ジェスチャ操作管理表２１の構成図、図３（Ｂ）は、ジェスチャ操作を管理するポインタ管理表２２の構成図を示す。
【００１８】
ジェスチャ操作管理表２１はジェスチャ操作が格納されたジェスチャ項目ａ、ジェスチャに応じた映像効果が格納された映像効果項目ｂ、次のジェスチャが認識されるまでに実行される処理が格納された経過処理項目ｃより構成され、一連のジェスチャ毎に、処理順に格納されている。図３（Ａ）には２種類の移動処理（１）、（２）と削除処理との３種類の処理が登録されている。
【００１９】
ジェスチャ項目ａは、ペン２の動きにより認識すべき操作を示しており、ここでは、選択（１）、（２）、切断（１）、（２）、ポイント（１）、（２）が示されている。選択（１）は、オブジェクト（アイコン）に接触しているペン２をタブレット３を介してディスプレイ４面から離間させる動作によりアイコンを選択するジェスチャを示している。また、選択（２）は、タブレット３を介してディスプレイ４面にペン２を接触させた状態で、アイコンの周囲を囲むジェスチャを示している。選択（１）、（２）のジェスチャによりアイコンを選択することができる。
【００２０】
また、切断（１）は、アイコンを右から左に横切る動作を、切断（２）は、アイコンを左から右に横切るジェスチャを示している。切断（１）、（２）によりアイコンが上下に切断することができる。
ポイント（１）は、ペン２をタブレット３を介してディスプレイ４面に接触させる動作を示している。ポイント２は、ペン２をタブレット３を介してディスプレイ４面より離す動作を示している。ポイント（１）、（２）のジェスチャによりアイコンのポインティングをできる。
【００２１】
映像効果項目ｂには、ジェスチャ項目ａで認識されたジェスチャに応じて実施する映像効果が設定されている。映像効果としては、アイコンに影を付ける表示、アイコンの影を消去する表示、元のアイコン位置を破線にする表示、アイコンを実線化する表示、アイコンに斜めに切断線を入れる表示、アイコンに十字に切断線を入れ、アイコンを消去する表示が設定されている。
【００２２】
経過処理ｃには、次のジェスチャが認識されるまでに実行すべき処理が設定されている。経過処理ｃに設定される処理としては、アイコンの移動を可能とするアイコン移動処理、次のジェスチャを有効とする時間を設定するタイマーを起動するタイマー起動処理が設定されている。
【００２３】
また、ポインタ管理表２２は、処理されるジェスチャ操作名ｄ、次に認識すべきジェスチャを認識するための次認識ジェスチャ項目ｅより構成され、現在処理中のジェスチャと次に認識すべきジェスチャとが管理されている。
図４に本発明の一実施例の並列動作を管理する管理表の構成図を示す。図４（Ａ）は、ジェスチャ項目ａの各ジェスチャの動作状態を管理する認識ジェスチャ表２３の構成図、図４（Ｂ）は、経過処理項目ｃの処理の動作状態を管理するための経過処理管理表２４の構成図を示す。
【００２４】
認識ジェスチャ表２３は、ジェスチャ操作管理表２１のジェスチャ項目ａに設定された選択（１）、（２）、切断（１）、（２）、ポイント（１）、（２）が次に実行可能か否かを示す有効フラグｆ、認識処理を初期状態から行う必要があるか否かを示すリセットフラグｇ、ジェスチャの認識が成功したか否かを示す認識成功フラグｈ、認識した対象とするオブジェクトを示す選択オブジェクトポインタｉより構成される。
【００２５】
有効フラグｆは、次にジェスチャが実行可能な項目はセット（｀１｀）され、ジェスチャが実行不可能な項目はリセット（｀０｀）される。すなわち、次に実行されるべきジェスチャを示している。
また、リセットフラグｇは、ジェスチャの認識が行われていないときにはセット（｀１｀）され、ジェスチャの認識が実行されている最中にはリセット（｀０｀）される。
【００２６】
また、認識成功フラグｈは、ジェスチャの認識処理が行われ、ジェスチャが認識されたときにはセット（｀１｀）され、ジェスチャが認識できなっかたとき、及び、通常はリセット（｀０｀）されている。
選択オブジェクトポインタｉは、ジェスチャによって認識されたオブジェクト（アイコン）を呼び出すためのポインタを登録する。
【００２７】
経過処理管理表２４は、ジェスチャ操作管理表２１の経過処理項目ｃに設定されたアイコン移動、タイマ起動などの処理項目毎に処理の有無を示す有効フラグｊ，次の処理が実行の有無を示す不成功フラグｋより構成される。有効フラグｊは、ジェスチャが認識されて経過処理が行われるときは、セット（｀１｀）されて、処理が実行されていないときには、リセット（｀０｀）される。
【００２８】
また、不成功フラグｋは、経過処理中に処理の実行が実行不可能になったときに、セット（｀１｀）され、通常はリセット状態（｀０｀）に保持される。例えば、タイマ起動時に一定時間経過しても次のジェスチャが認識されないときにセットされる。後述するように、この不成功フラグｋがセットされたときにはシステム全体が初期化されて、システムが待ち状態に陥らないように構成されている。
【００２９】
まず、移動（１）処理について説明する。図５に本発明の一実施例の移動処理（１）の動作説明図を示す。
移動処理（１）では、最初に選択（１）ジェスチャを認識しようと試みる。ここで、選択（１）ジェスチャは、図５（Ａ）に示すようにディスプレイ４に表示されたアイコン３１等のオブジェクトにタブレット３を介してタッチしているペン２を画面から離す動きである。なお、ペン２が指示している位置は、画面上にペンカーソル３２として表示される。ペンカーソル３２は、例えば、白抜きの矢印として画面表示される。
【００３０】
この選択（１）ジェスチャを認識したときにポインタ管理表２２のジェスチャ操作名ｄが移動処理（１）に設定され、次認識ジェスチャ項目ｅがジェスチャ操作管理表２１の移動処理（１）のジェスチャ項目ａの２段目を示す｀２｀が設定される。また、ジェスチャ操作管理表２１の映像効果項目ｂが実施され、図５（Ｂ）に示すように映像効果としてアイコン３１に影３３が付けられる。このときの経過処理ｃとしては次のジェスチャであるポイント（１）ジェスチャが認識されるまで、アイコン３１をペン２の位置に応じて移動させる処理が実施される。ここで、ポイント（１）ジェスチャは、ペン２を画面に接触させる動作である。
【００３１】
次に、ポイント（１）ジェスチャが認識されると、アイコン３１に付けられた影３３を消去し、アイコン３１の移動が停止される。このとき、移動処理（１）では、図５（Ｃ）に示すようにアイコン３１の移動が停止したときに元のアイコン位置にアイコン３１｀を破線で表示させる。ここで、一定時間内に図５（Ｄ）に示すように再びペン２により元の位置の破線のアイコン３１｀を接触したときには、元のアイコン位置に元のアイコン３１｀を再び実線として表示させ、アイコンの複写が行える構成とされている。このため、ポイント（１）ジェスチャ認識時に経過処理ｃとしてタイマーが起動され、次のジェスチャである選択（１）ジェスチャがタイマーが切れる前に実施されたときには、映像効果項目ｂのアイコン３１の実線化が行われる。
【００３２】
次に、移動処理（２）について説明する。図６に本発明の一実施例の移動処理（２）の動作説明図を示す。
移動処理（２）では、図６（Ａ）に示すように選択（２）によりペン２をディスプレイ面に接触させずに移動させようとするアイコン３１の周囲を囲むように動かすことによりアイコン３１の選択が行われ、図６（Ｂ）に示すように選択されたアイコン３１に影３３が付けられる。このとき、タイマーが起動され、一定時間内に次のジェスチャであるポイント（１）が認識されれば、図６（Ｃ）に示すようにアイコン３１が元の位置Ｐ０からポイント（１）で指示された位置Ｐ１にアイコン３１が移動される。
【００３３】
また、一定時間が経過しても何のジェスチャも実施されないときには、映像効果としてアイコンに付けられた影３３が消去される。
ポイント（１）のジェスチャによりアイコン３１が移動された場合には、次にポイント（２）のジェスチャの認識を待機する。ここで、ポイント（２）のジェスチャが実施されると図６（Ｄ）に示されるようにアイコン３１に映像効果として付けられた影が消去される。
【００３４】
次に、削除処理について説明する。図７に本発明の一実施例の削除処理の動作説明図を示す。
削除処理は、切断（１）、（２）の２つのジェスチャにより実現されている。まず、図７（Ａ）に示すようにペン２をアイコン３１上を右から左に横切らせる切断（１）ジェスチャにより図７（Ｂ）に示すように映像効果として削除しようとするアイコン３１に切断線３４が表示される。このとき、経過処理としてタイマーが起動され、一定時間内にペン２をアイコン３１上を左から右に横切らせる切断（２）ジェスチャを認識すれば、図７（Ｃ）に示すように切断線３４に加えて切断線３５を表示して、アイコン３１を削除する。
【００３５】
また、一定時間が経過しない内に図７（Ｄ）に示すアイコン３１の周囲を囲むようにペン２を移動させる選択（２）のジェスチャを行うことにより、切断線３４が消去され、元の状態に復元される。
さらに、一定時間経過しても切断（２）又は選択（２）のジェスチャが行われないときには、切断線３４が消去され、元の状態に復元される。
【００３６】
以上のように、移動処理（１）、（２）、削除処理は、メモリ６に保持されたジェスチャ操作管理表２１、ポインタ管理表２２、認識ジェスチャ表２３、経過処理管理表２４に従ってＣＰＵ５が動作されることにより実行される。
図８に本発明の一実施例のＣＰＵの動作フローチャートを示す。
【００３７】
ＣＰＵ５は、動作開始時にはまず、メモリ６に格納されたポインタ管理表２２、認識ジェスチャ表２３、経過処理管理表２４を初期化する（ステップＳ１−１）。次に、ＣＰＵ５は、ペン状態認識部１１によりタブレット３からの情報を取得し、ディスプレイ４上でのペン２の状態情報を取得する（ステップＳ１−２）。
【００３８】
次に、ＣＰＵ５は、ジェスチャ認識部１２によりステップＳ１−２で取得したペン２の情報から後述する認識処理によりユーザーの行ったジェスチャを認識する（ステップＳ１−３〜Ｓ１−８）。ＣＰＵ５は、ジェスチャを認識すると、ジェスチャ操作管理表２１を検索し、ジェスチャ操作管理表２１に設定された経過処理を実施すると共に認識ジェスチャ表２３の内容を更新する（ステップＳ１−９、Ｓ１−１０）。
【００３９】
また、ＣＰＵ５は、続けて認識したジェスチャに応じてジェスチャ操作管理表２１に設定された映像効果を表示し、ステップＳ１−２に戻る（ステップＳ１−１３）。なお、認識されたジェスチャが存在しない場合及びジェスチャの認識に失敗した場合には、映像効果は実施しないでステップＳ１−２戻り、再びジェスチャの認識を実施する（ステップＳ１−１１、Ｓ１−１２）。
【００４０】
ＣＰＵ５は、上記ステップＳ１−２〜Ｓ１ー１３を繰り返し、ディスプレイ４に表示されたアイコンなどのオブジェクトに対してあらかじめ設定された映像効果を付与する。
図９に本発明の一実施例の選択（１）を認識するための処理の動作フローチャートを示す。
【００４１】
ステップＳ１−３の選択（１）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ２−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ２−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ２−３）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ２−４〜Ｓ２−６）。以上により初期化が終了する。
【００４２】
次に取得した座標データを座標リストに追加する（ステップＳ２−７）。ここで、ステップＳ２−２でリセットフラグｇがリセットされている場合には、ステップＳ２−７で続けて座標データが追加される。
ここで、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ２−８）。ステップＳ２−８でペン２の指示位置が先頭座標のときには、まだ選択（１）が選択された状態ではないため、処理を終了する。また、ステップＳ２−８で座標データが先頭座標ではないときには選択（１）処理か否かを判断するために、次に先頭座標近傍に位置するか否かが判断される（ステップＳ２−９）。
【００４３】
ステップＳ２−９でペン２の座標が座標リストの先頭座標近傍にないときには、選択（１）が選択されないと判断できるため、選択（１）のリセットフラグｇをセットして処理を終了する（ステップＳ２−１４）。また、ステップＳ２−９でペン２の座標が座標リストの先頭座標近傍に留まっているときには、選択（１）が選択される可能性があるため、次に選択（１）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ２−１０）。
【００４４】
ステップＳ２−１０でペン２がディスプレイ４に接触していなければ、選択（１）が選択されたと判断できないため、処理を終了する。また、ステップＳ２−１０でペン２がディスプレイ４に接触していれば、選択（１）が選択されたと判断でき、次にペン２が指示している座標に位置するアイコンを検索する（ステップＳ２−１１）。
【００４５】
ステップＳ２−１１の検索の結果、ペン２が指示している座標にアイコンがあれば、そのアイコンを選択（１）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに選択されたアイコンを識別する情報を設定する（ステップＳ２−１２、Ｓ２−１３）。また、ステップＳ２−１１の検索の結果、ペン２が指示している座標にアイコンが存在しなければ、選択（１）が実施されたとは判断できないため、選択（１）のリセットフラグｇをセットして処理を終了する（ステップＳ２−１２、Ｓ２−１４）。
【００４６】
以上により選択（１）のジェスチャが認識される。
図１０に本発明の一実施例の選択（２）を認識するための処理の動作フローチャートを示す。
ステップＳ１−４の選択（２）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ３−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ３−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ３−２）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ３−４〜Ｓ３−６）。以上により初期化が終了する。
【００４７】
次に取得した座標データを座標リストに追加する（ステップＳ３−７）。ここで、ステップＳ３−２でリセットフラグｇがリセットされている場合には、次にペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ３−８）。
【００４８】
ステップＳ３−８でペン２がディスプレイ４に接触している場合には、選択（２）のジェスチャではないので、次に初期状態となるように設定されるようにリセットフラグｇをセットして処理を終了する（ステップＳ３−９）。また、ステップＳ３−８でペン２がディスプレイ４に接触していない場合には、選択（２）のジェスチャである可能性があるため、そのときペン２が指示している座標をペン２の軌跡を保持している座標リストに追加する（ステップＳ３−７）。
【００４９】
ステップＳ３−７で座標リストに座標データが新たに追加されると、次に、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ３−１０）。ステップＳ３−１０でペン２の指示位置が先頭座標のときには、まだ選択（２）が選択された状態ではないため、処理を終了する。また、ステップＳ３−１０で座標データが先頭座標ではないときには選択（２）処理か否かを判断するために、次に先頭座標近傍に位置するか否かが判断される（ステップＳ３−１１）。
【００５０】
ステップＳ３−１１でペン２の座標が座標リストの先頭座標近傍にないときには、選択（２）が選択されないかまたは選択（２）のジェスチャの途中であると判断できるため、このまま処理を終了する。また、ステップＳ３−１１でペン２の座標が座標リストの先頭座標近傍に存在するときには、選択（２）が選択される可能性があるため、次に選択（２）のジェスチャーであるペン２の軌跡により形成された閉領域に含まれるアイコンを検索する（ステップＳ３−１２）。
【００５１】
ステップＳ３−１２の検索の結果、ペン２が指示した座標の軌跡により形成された閉領域内にアイコンがあれば、そのアイコンを選択（２）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに選択されたアイコンを識別する情報を設定する（ステップＳ３−１３、Ｓ３−１４）。また、ステップＳ３−１３の検索の結果、ペン２が指示した座標の軌跡により形成された閉領域内にアイコンが存在しなければ、選択（２）が実施されたとは判断できないため、選択（２）のリセットフラグｇをセットして処理を終了する（Ｓ３−１３、Ｓ３−９）。
【００５２】
以上により選択（２）のジェスチャが認識される。
図１１に本発明の一実施例の切断（１）を認識するための処理の動作フローチャートを示す。
ステップＳ１−５の切断（１）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ４−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ４−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ４−３）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ４−４〜Ｓ２−６）。以上により初期化が終了する。
【００５３】
次に取得した座標データを座標リストに追加する（ステップＳ４−７）。ここで、ステップＳ４−２でリセットフラグｇがリセットされている場合には、ステップＳ４−７で続けて座標データが追加される。
ここで、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ４−８）。ステップＳ４−８でペン２の指示位置が先頭座標のときには、まだ切断（１）が選択された状態ではないため、処理を終了する。また、ステップＳ４−８で座標データが先頭座標ではないときには切断（１）処理か否かを判断するために、次に切断（１）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ４−９）。
【００５４】
ステップＳ４−９でペン２がディスプレイ４に接触していなければ、切断（１）が選択されたと判断できないため、処理を終了する。また、ステップＳ４−９でペン２がディスプレイ４に接触していれば、切断（１）が選択される可能性があると判断でき、次に座標リストよりペン２の軌跡が左から右に横切るアイコンを検索する（ステップＳ４−１０）。
【００５５】
ステップＳ４−１０の検索の結果、ペン２の軌跡が左から右に横切るアイコンがあれば、そのアイコンを切断（１）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに切断しようとするアイコンを識別する情報を設定する（ステップＳ４−１２）。また、ステップＳ４−１０の検索の結果、ペン２の軌跡が左から右に横切るアイコンが存在しなければ、切断（１）が実施されたとは判断できないため、切断（１）のリセットフラグｇをセットして処理を終了する（ステップＳ４−１３）。
【００５６】
以上により切断（１）のジェスチャが認識される。
図１２に本発明の一実施例の切断（２）を認識するための処理の動作フローチャートを示す。
ステップＳ１−６の切断（２）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ５−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ５−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ５−３）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ５−４〜Ｓ５−６）。以上により初期化が終了する。
【００５７】
次に取得した座標データを座標リストに追加する（ステップＳ５−７）。ここで、ステップＳ５−２でリセットフラグｇがリセットされている場合には、ステップＳ５−７で続けて座標データが追加される。
ここで、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ５−８）。ステップＳ４−８でペン２の指示位置が先頭座標のときには、まだ切断（２）が選択された状態ではないため、処理を終了する。また、ステップＳ５−８で座標データが先頭座標ではないときには切断（２）処理か否かを判断するために、次に切断（２）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ５−９）。
【００５８】
ステップＳ５−９でペン２がディスプレイ４に接触していなければ、切断（２）が選択されたと判断できないため、処理を終了する。また、ステップＳ５−９でペン２がディスプレイ４に接触していれば、切断（２）が選択される可能性があると判断でき、次に座標リストよりペン２の軌跡が左から右に横切るアイコンを検索する（ステップＳ５−１０）。
【００５９】
ステップＳ５−１０の検索の結果、ペン２の軌跡が右から左に横切るアイコンがあれば、そのアイコンを切断（２）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに切断しようとするアイコンを識別する情報を設定する（ステップＳ５−１２）。また、ステップＳ５−１０の検索の結果、ペン２の軌跡が右から左に横切るアイコンが存在しなければ、切断（２）が実施されたとは判断できないため、切断（１）のリセットフラグｇをセットして処理を終了する（ステップＳ５−１３）。
【００６０】
以上により切断（２）のジェスチャが認識される。
図１３に本発明の一実施例のポイント（１）を認識するための処理の動作フローチャートを示す。
ステップＳ１−７のポイント（１）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ６−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ６−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ６−３）。ペン２がディスプレイ４に接触している場合には、ポイント（１）は認識できないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、認識処理が実行中であることを設定する（ステップＳ６−４）。
【００６１】
ポイント（１）処理か否かを判断するために、次にポイント（１）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ６−５）。
ステップＳ６−５でペン２がディスプレイ４に接触していなければ、ポイント（１）が選択されたと判断できないため、処理を終了する。また、ステップＳ６−５でペン２がディスプレイ４に接触していれば、ポイント（１）が選択される可能性があると判断でき、ペン２が指示している位置のアイコンを検索する（ステップＳ６−６）。
【００６２】
ステップＳ６−６の検索の結果、ペン２が指示している位置にアイコンがあれば、そのアイコンをポイント（１）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに指示されたアイコンを識別する情報を設定する（ステップＳ６−７）。また、ステップＳ６−６の検索の結果、ペン２が指示している位置にアイコンが存在しなければ、ポイント（１）が実施されたとは判断できないため、ポイント（１）のリセットフラグｇをセットして処理を終了する（ステップＳ６−８）。
【００６３】
以上によりポイント（１）のジェスチャが認識される。
図１４に本発明の一実施例のポイント（２）を認識するための処理の動作フローチャートを示す。
ステップＳ１−８のポイント（２）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ７−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ７−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ７−３）。ペン２がディスプレイ４に接触していない場合には、ポイント（２）は認識できないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触している場合には、リセットフラグｇをリセットし、認識処理が実行中であることを設定する（ステップＳ７−４）。以上により初期化が終了する。
【００６４】
ポイント（２）処理か否かを判断するために、次にポイント（２）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ７−５）。
ステップＳ７−５でペン２がディスプレイ４に接触していれば、ポイント（２）が選択されたと判断できないため、処理を終了する。また、ステップＳ７−５でペン２がディスプレイ４に接触していなければ、ポイント（２）が選択された可能性があると判断でき、ペン２が指示している位置のアイコンを検索する（ステップＳ７−６）。
【００６５】
ステップＳ７−６の検索の結果、ペン２が指示している位置にアイコンがあれば、そのアイコンをポイント（２）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに指示されたアイコンを識別する情報を設定する（ステップＳ７−７）。また、ステップＳ６−６の検索の結果、ペン２が指示している位置にアイコンが存在しなければ、ポイント（２）が実施されたとは判断できないため、ポイント（２）のリセットフラグｇをセットして処理を終了する（ステップＳ７−８）。
【００６６】
以上によりポイント（２）のジェスチャが認識される。
ＣＰＵ５は、図８に示すようにステップＳ１−３〜Ｓ１−８の認識処理が層構造をなし、ペン２の座標及びディスプレ４との接触状態を取得しながら、図９〜図１４に説明した認識処理が順次実行され、認識結果に応じて映像効果を表示する。
このように、本実施例によれば、アイコンを移動させようとするときには移動しようとするアイコンを選択（１）又は（２）により選択することにより、映像効果としてアイコンに影が付きアイコンが画面から浮き上がったかのような表示とされアイコンが選択されたことが直感的に認識できるようになる。また、アイコンを削除するときには、ペン２により削除しようとするアイコンに×を書くことによりアイコンに切断線が表示され、アイコンがこれから削除されることが直感的に認識できる。このとき、途中でペン２により○を書くジェスチャを行えば、アイコンが復元される。このように、直感的にアイコンの削除や移動を行え、使い勝手の良い入出力インタフェースを実現できる。
【００６７】
なお、本実施例では、移動処理及び削除処理時の表示制御について説明したがこれに限ることはなく、ジェスチャ管理表２１に他の処理のときの表示制御を設定すれば、上述した移動処理及び削除処理と同様に直感的な表示が行える。また、本実施例では、アイコンの移動・削除についての説明を行っているがアイコンに限ることはなく、他の図形・文字に対しても同様に対応できる。
【００６８】
【発明の効果】
上述の如く、本発明によれば、オブジェクトを移動させるときに、指示手段によりオブジェクトを選択した後、指示手段を画面より離間させる動作によりオブジェクトに影付けを行なうことにより、オブジェクトの移動を直感的に把握できる等の特長を有する。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック構成図である。
【図２】本発明の一実施例の要部のブロック構成図である。
【図３】本発明の一実施例のジェスチャ動作を管理する管理表の構成図である。
【図４】本発明の一実施例の並列動作を管理する管理表の構成図である。
【図５】本発明の一実施例の移動処理（１）の動作説明図である。
【図６】本発明の一実施例の移動処理（２）の動作説明図である。
【図７】本発明の一実施例の削除処理の動作説明図である。
【図８】本発明の一実施例のＣＰＵの動作フローチャートである。
【図９】本発明の一実施例の選択（１）を認識するための処理の動作フローチャートである。
【図１０】本発明の一実施例の選択（２）を認識するための処理の動作フローチャートである。
【図１１】本発明の一実施例の切断（１）を認識するための処理の動作フローチャートである。
【図１２】本発明の一実施例の切断（２）を認識するための処理の動作フローチャートである。
【図１３】本発明の一実施例のポイント（１）を認識するための処理の動作フローチャートである。
【図１４】本発明の一実施例のポイント（２）を認識するための処理の動作フローチャートである。
【符号の説明】
１コンピュータシステム
２ペン
３タブレット
４ディスプレイ
５ＣＰＵ
６メモリ
１１ペン状態認識部
１２ジェスチャ認識部
１３オブジェクト選択部
１４ビジュアル・エフェクト部
２１ジェスチャ操作管理表
２２ポインタ管理表
２３認識ジェスチャ表
２４経過処理管理表
３１アイコン
３２ペンカーソル
３３影
３４、３５切断線[0001]
BACKGROUND OF THE INVENTION
  The present invention provides display controlapparatusIn particular, computer display control using a pen as an input deviceapparatusAbout.
  In recent years, devices equipped with pen-type input devices are increasing as input devices for portable information terminal devices. This is because the input method of the pen-type input device matches the human sense, unlike the keyboard.
[0002]
Such a pen-type input device can be used effectively as a pointing device and is expected to be used as an input interface in the future.
[0003]
[Prior art]
In a computer or the like, a so-called GUI (Graphical User Interface) interface that uses a graphic such as an icon to exchange with a user is used to realize an intuitively easy-to-understand interface. In the conventional GUI, operability is improved by using various metaphors.
[0004]
[Problems to be solved by the invention]
However, in the conventional GUI, since the process of the operation performed by the user is not reflected on the display, there is a problem that it is not possible to intuitively recognize which stage of the operation is in the process.
[0005]
  The present invention has been made in view of the above points, and it is easy for the user to intuitively recognize the process of operation.DisplayDisplay controlapparatusThe purpose is to provide.
[0006]
[Means for Solving the Problems]
  The present invention provides display control for controlling display of an object displayed on a screen in accordance with an instruction from an instruction means.apparatusA detecting means for detecting the position of the pointing means;A gesture management table that stores video effects on objects in association with movement of the instruction means;The movement of the indicating means detected by the detecting meansRefer to the gesture management table accordingly, depending on the video effect obtained from the gesture management tableDisplay control means for controlling the display of the object, and when the display control means moves the object, after the object is selected by the instruction means, the object is shaded by moving the instruction means away from the screen. It is characterized by.
[0007]
  According to the present invention,When an object is moved, the movement of the object can be intuitively grasped by selecting the object by the instruction means and then shadowing the object by an operation of moving the instruction means away from the screen.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing an embodiment of the present invention. The computer 1 of the present embodiment is a system having a pen-type input device, and displays a pen 2 for a user to instruct processing, a tablet 3 for detecting the state of the pen 2, processing information, icons, and the like. A display 4 for performing, a CPU 5 for giving a video effect to an object displayed on the display 4 in accordance with the state of the pen 2 recognized by the tablet 3 and executing various processes, a memory 6 for holding processing data, and the like Has been.
[0014]
The tablet 3 is made of, for example, an electromagnetic induction type tablet, and is configured to detect the contact and non-contact position of the tip of the pen 2 with the surface of the tablet 3 and the contact / non-contact of the pen 2 with the surface of the tablet 3. ing. The state of the pen 2 detected by the tablet 3 is supplied to the CPU 5. The display 4 is composed of, for example, an LCD (Liquid Crystal Display) and displays an image corresponding to display data supplied from the CPU 5 or the memory 6.
[0015]
Information relating to the state of the pen 2 detected by the tablet 3 is supplied to the CPU 5, and processing such as movement / deletion of an object is executed according to information on the state of the pen 2 supplied from the tablet 3 as will be described later. Controls display of objects displayed on the display 4.
[0016]
FIG. 2 shows a functional block diagram of the CPU of one embodiment of the present invention. The CPU 5 is a pen state recognition unit 11 that recognizes the state of the pen 2 from information indicating the state of the pen 2 supplied from the tablet 3, and a gesture instructed by the user according to the state of the pen 2 recognized by the pen state recognition unit 11. A gesture recognition unit 12 that recognizes a command, an object selection unit 13 that selects an operation target (object) according to a gesture command recognized by the gesture recognition unit 12, and a gesture command for an object selected by the object selection unit 13 It comprises a visual effect unit 14 for applying a corresponding visual effect.
[0017]
The operation of the object in the CPU 5 is managed by a gesture operation management table 21 set in the memory 6.
FIG. 3 shows a configuration diagram of a management table for managing gesture operations according to an embodiment of the present invention. FIG. 3A shows a configuration diagram of the gesture operation management table 21, and FIG. 3B shows a configuration diagram of the pointer management table 22 that manages the gesture operations.
[0018]
The gesture operation management table 21 includes a gesture item “a” in which a gesture operation is stored, a video effect item “b” in which a video effect corresponding to the gesture is stored, and a progress process in which a process executed until the next gesture is recognized is stored. It consists of item c and is stored in the order of processing for each series of gestures. In FIG. 3A, three types of processing, that is, two types of movement processing (1), (2) and deletion processing are registered.
[0019]
The gesture item a indicates an operation to be recognized by the movement of the pen 2, and here, selection (1), (2), cutting (1), (2), and points (1), (2) are shown. Has been. The selection (1) indicates a gesture for selecting an icon by an operation of moving the pen 2 that is in contact with the object (icon) away from the surface of the display 4 via the tablet 3. The selection (2) indicates a gesture surrounding the icon with the pen 2 in contact with the display 4 via the tablet 3. An icon can be selected by the gestures of selection (1) and (2).
[0020]
In addition, cutting (1) indicates an operation of crossing the icon from right to left, and cutting (2) indicates a gesture of crossing the icon from left to right. The icons can be cut up and down by cutting (1) and (2).
Point (1) indicates an operation of bringing the pen 2 into contact with the surface of the display 4 via the tablet 3. Point 2 indicates an operation of separating the pen 2 from the display 4 surface via the tablet 3. Icon pointing can be performed by gestures of points (1) and (2).
[0021]
In the video effect item b, a video effect to be executed according to the gesture recognized by the gesture item a is set. Image effects include a display that adds a shadow to the icon, a display that erases the shadow of the icon, a display that makes the original icon position a broken line, a display that makes the icon a solid line, a display that puts a cutting line diagonally, and a cross that appears on the icon Is set to display a cut line and erase the icon.
[0022]
In the progress process c, a process to be executed before the next gesture is recognized is set. As the process set in the progress process c, an icon movement process that enables icon movement and a timer activation process that activates a timer that sets a time for enabling the next gesture are set.
[0023]
The pointer management table 22 includes a gesture operation name d to be processed and a next recognition gesture item e for recognizing a gesture to be recognized next. A gesture being currently processed and a gesture to be recognized next are displayed. It is managed.
FIG. 4 shows a configuration diagram of a management table for managing parallel operations according to an embodiment of the present invention. 4A is a configuration diagram of the recognition gesture table 23 for managing the operation state of each gesture of the gesture item a, and FIG. 4B is a progress process for managing the operation state of the process of the progress process item c. The block diagram of the management table 24 is shown.
[0024]
In the recognition gesture table 23, the selection (1), (2), disconnection (1), (2), point (1), (2) set in the gesture item a of the gesture operation management table 21 can be executed next. A valid flag f indicating whether or not the recognition process needs to be performed from the initial state, a recognition flag h indicating whether or not the gesture has been successfully recognized, and an object to be recognized It is comprised from the selection object pointer i which shows.
[0025]
For the valid flag f, items that can be executed next are set (｀ 1 ｀), and items that cannot be executed are reset (｀ 0 ｀). That is, the gesture to be executed next is shown.
The reset flag g is set (｀ 1 ｀) when the gesture is not recognized, and is reset (｀ 0 ｀) while the gesture is being recognized.
[0026]
The recognition success flag h is set (｀ 1 ｀) when a gesture recognition process is performed and the gesture is recognized, and is normally reset (｀ 0 ｀) when the gesture cannot be recognized. ing.
The selected object pointer i registers a pointer for calling an object (icon) recognized by the gesture.
[0027]
The progress process management table 24 is a valid flag j indicating the presence / absence of processing for each process item such as icon movement and timer activation set in the progress process item c of the gesture operation management table 21, and indicates whether the next process is executed. It consists of unsuccessful flag k. The valid flag j is set (｀ 1 ｀) when the gesture is recognized and the progress process is performed, and is reset (｀ 0 ｀) when the process is not executed.
[0028]
The unsuccessful flag k is set (｀ 1 ｀) when the execution of the process becomes impossible during the progress process, and is normally held in the reset state (｀ 0 ｀). For example, it is set when the next gesture is not recognized even if a predetermined time elapses when the timer is started. As will be described later, when the unsuccessful flag k is set, the entire system is initialized so that the system does not enter a waiting state.
[0029]
First, the movement (1) process will be described. FIG. 5 is a diagram for explaining the operation of the movement process (1) according to the embodiment of the present invention.
In the movement process (1), an attempt is first made to recognize the selection (1) gesture. Here, the selection (1) gesture is a movement of releasing the pen 2 touching an object such as the icon 31 displayed on the display 4 via the tablet 3 as shown in FIG. 5A. The position indicated by the pen 2 is displayed as a pen cursor 32 on the screen. The pen cursor 32 is displayed on the screen as a white arrow, for example.
[0030]
When the selection (1) gesture is recognized, the gesture operation name d in the pointer management table 22 is set in the movement process (1), and the next recognition gesture item e is the gesture item in the movement process (1) in the gesture operation management table 21. ｀ 2 ｀ indicating the second stage of a is set. Also, the video effect item b in the gesture operation management table 21 is implemented, and a shadow 33 is added to the icon 31 as the video effect as shown in FIG. As the progress process c at this time, a process of moving the icon 31 according to the position of the pen 2 is performed until the next gesture, the point (1) gesture, is recognized. Here, the point (1) gesture is an operation of bringing the pen 2 into contact with the screen.
[0031]
Next, when the point (1) gesture is recognized, the shadow 33 attached to the icon 31 is deleted, and the movement of the icon 31 is stopped. At this time, in the movement process (1), as shown in FIG. 5C, when the movement of the icon 31 stops, the icon 31 ｀ is displayed with a broken line at the original icon position. Here, when the pen 2 is again touched with the broken line icon 31 ｀ in the original position within a certain time as shown in FIG. 5D, the original icon 31 ｀ is again displayed as a solid line at the original icon position. The icon can be copied. For this reason, when the point (1) gesture is recognized, the timer is started as the progress process c, and when the next (selection) gesture (1) is performed before the timer expires, the icon 31 of the video effect item b becomes a solid line. Is done.
[0032]
Next, the movement process (2) will be described. FIG. 6 is a diagram for explaining the operation of the movement process (2) according to the embodiment of the present invention.
In the movement process (2), as shown in FIG. 6A, by selecting (2), the pen 2 is moved so as to surround the icon 31 to be moved without touching the display surface. Selection is performed, and a shadow 33 is added to the selected icon 31 as shown in FIG. At this time, if the timer is activated and the next gesture point (1) is recognized within a certain period of time, the icon 31 is pointed at the point (1) from the original position P0 as shown in FIG. 6 (C). The icon 31 is moved to the position P1.
[0033]
Further, when no gesture is performed even after a predetermined time has elapsed, the shadow 33 attached to the icon is erased as a video effect.
When the icon 31 is moved by the gesture of the point (1), the recognition of the gesture of the point (2) is waited for next. Here, when the gesture of point (2) is performed, as shown in FIG. 6D, the shadow attached to the icon 31 as a video effect is erased.
[0034]
Next, the deletion process will be described. FIG. 7 is a diagram for explaining the operation of deletion processing according to an embodiment of the present invention.
The deletion process is realized by two gestures of cutting (1) and (2). First, as shown in FIG. 7 (A), cutting the pen 2 across the icon 31 from right to left (1) cutting the icon 31 to be deleted as a video effect as shown in FIG. 7 (B) by the gesture. A line 34 is displayed. At this time, a timer is started as a progress process, and if a cutting (2) gesture that causes the pen 2 to cross the icon 31 from the left to the right within a certain time is recognized, a cutting line 34 as shown in FIG. In addition, the cutting line 35 is displayed and the icon 31 is deleted.
[0035]
Further, by performing the selection (2) gesture in which the pen 2 is moved so as to surround the icon 31 shown in FIG. 7D within a certain period of time, the cutting line 34 is erased, and the original state is obtained. To be restored.
Furthermore, when the cutting (2) or selection (2) gesture is not performed even after a predetermined time has elapsed, the cutting line 34 is deleted and restored to the original state.
[0036]
As described above, the movement processing (1), (2), and deletion processing are performed by the CPU 5 according to the gesture operation management table 21, the pointer management table 22, the recognition gesture table 23, and the progress processing management table 24 held in the memory 6. To be executed.
FIG. 8 shows an operational flowchart of the CPU according to the embodiment of the present invention.
[0037]
At the start of operation, the CPU 5 first initializes the pointer management table 22, the recognition gesture table 23, and the progress process management table 24 stored in the memory 6 (step S1-1). Next, the CPU 5 acquires information from the tablet 3 by the pen state recognition unit 11 and acquires state information of the pen 2 on the display 4 (step S1-2).
[0038]
Next, the CPU 5 recognizes the gesture made by the user by the recognition process described later from the information of the pen 2 acquired in Step S1-2 by the gesture recognition unit 12 (Steps S1-3 to S1-8). When the CPU 5 recognizes the gesture, the CPU 5 searches the gesture operation management table 21, performs the progress process set in the gesture operation management table 21, and updates the contents of the recognition gesture table 23 (steps S1-9 and S1-10). ).
[0039]
Further, the CPU 5 displays the video effect set in the gesture operation management table 21 in accordance with the continuously recognized gesture, and returns to step S1-2 (step S1-13). If the recognized gesture does not exist or the gesture recognition fails, the video effect is not performed and the process returns to step S1-2 to perform gesture recognition again (steps S1-11 and S1-12). .
[0040]
The CPU 5 repeats the above steps S1-2 to S1-13, and gives a preset video effect to an object such as an icon displayed on the display 4.
FIG. 9 shows an operation flowchart of processing for recognizing the selection (1) of the embodiment of the present invention.
[0041]
Selection in step S1-3 (1) In the process for recognizing a gesture, first, the valid flag f in the recognition gesture table 23 is detected (step S2-1). Here, if the valid flag f is reset, since the gesture cannot be recognized, the recognition process ends. If the valid flag f is set, the gesture can be recognized. Next, the reset flag g in the recognition gesture table 23 is detected (step S2-2). If the reset flag g is set, it indicates that the recognition needs to be performed from the initial state. Therefore, first, whether or not the pen 2 is in contact with the display 4, that is, the pen 2 is in contact with the tablet 3. It is determined whether or not (step S2-3). If the pen 2 is in contact with the display 4, the process is terminated as it is because it is not in the initial state. If the pen 2 is not in contact with the display 4, the reset flag g is reset, and the coordinate list in which a series of coordinates are sequentially stored is cleared to recognize a series of operations of the pen 2. The coordinate data is set as the top coordinate (steps S2-4 to S2-6). This completes the initialization.
[0042]
Next, the acquired coordinate data is added to the coordinate list (step S2-7). Here, when the reset flag g is reset in step S2-2, coordinate data is added continuously in step S2-7.
Here, it is determined whether or not the added coordinate data is the first coordinate in the coordinate list (step S2-8). If the indication position of the pen 2 is the leading coordinate in step S2-8, the selection is not yet selected (1), and the process is terminated. Further, when the coordinate data is not the top coordinate in step S2-8, it is next determined whether or not it is in the vicinity of the top coordinate in order to determine whether or not it is a selection (1) process (step S2-9). .
[0043]
If it is determined in step S2-9 that the coordinate of the pen 2 is not in the vicinity of the top coordinate of the coordinate list, it can be determined that the selection (1) is not selected. S2-14). Further, when the coordinate of the pen 2 remains in the vicinity of the top coordinate in the coordinate list in step S2-9, the selection (1) may be selected, so the pen 2 that is the next selection (1) gesture. Is in contact with the display 4 (step S2-10).
[0044]
If the pen 2 is not in contact with the display 4 in step S2-10, it cannot be determined that the selection (1) has been selected, and the process is terminated. If the pen 2 is in contact with the display 4 in step S2-10, it can be determined that the selection (1) has been selected, and then an icon located at the coordinates indicated by the pen 2 is searched (step S2). -11).
[0045]
As a result of the search in step S2-11, if there is an icon at the coordinates indicated by the pen 2, the recognition success flag h in the recognition gesture table 23 is set as the icon selected by selecting (1) and selected. Information for identifying the selected icon is set in the object pointer i (steps S2-12 and S2-13). As a result of the search in step S2-11, if there is no icon at the coordinates indicated by the pen 2, it cannot be determined that the selection (1) has been performed, so the reset flag g for the selection (1) is set. Then, the process ends (steps S2-12 and S2-14).
[0046]
As described above, the gesture of selection (1) is recognized.
FIG. 10 shows an operation flowchart of processing for recognizing the selection (2) of the embodiment of the present invention.
In the selection in step S1-4 (2) processing for recognizing a gesture, first, the valid flag f in the recognition gesture table 23 is detected (step S3-1). Here, if the valid flag f is reset, since the gesture cannot be recognized, the recognition process ends. If the valid flag f is set, the gesture can be recognized. Next, the reset flag g in the recognition gesture table 23 is detected (step S3-2). If the reset flag g is set, it indicates that the recognition needs to be performed from the initial state. Therefore, first, whether or not the pen 2 is in contact with the display 4, that is, the pen 2 is in contact with the tablet 3. It is determined whether or not (step S3-2). If the pen 2 is in contact with the display 4, the process is terminated as it is because it is not in the initial state. If the pen 2 is not in contact with the display 4, the reset flag g is reset, and the coordinate list in which a series of coordinates are sequentially stored is cleared to recognize a series of operations of the pen 2. The coordinate data is set as the top coordinate (steps S3-4 to S3-6). This completes the initialization.
[0047]
Next, the acquired coordinate data is added to the coordinate list (step S3-7). If the reset flag g is reset in step S3-2, it is next determined whether or not the pen 2 is in contact with the display 4 (step S3-8).
[0048]
If the pen 2 is in contact with the display 4 in step S3-8, since it is not a selection (2) gesture, the reset flag g is set so that the next state is set to the initial state. Is finished (step S3-9). If the pen 2 is not in contact with the display 4 in step S3-8, there is a possibility that it is a selection (2) gesture, and the coordinates indicated by the pen 2 at that time are the trajectory of the pen 2. Is added to the coordinate list holding (step S3-7).
[0049]
When coordinate data is newly added to the coordinate list in step S3-7, it is next determined whether or not the added coordinate data is the top coordinate of the coordinate list (step S3-10). If the indication position of the pen 2 is the leading coordinate in step S3-10, the selection is not yet selected (2), and the process is terminated. If it is determined in step S3-10 that the coordinate data is not the top coordinate, it is next determined whether or not it is in the vicinity of the top coordinate in order to determine whether or not it is a selection (2) process (step S3-11). .
[0050]
If it is determined in step S3-11 that the coordinate of the pen 2 is not in the vicinity of the top coordinate in the coordinate list, it can be determined that the selection (2) is not selected or is in the middle of the selection (2) gesture. Further, when the coordinate of the pen 2 exists in the vicinity of the top coordinate in the coordinate list in step S3-11, the selection (2) may be selected. An icon included in the closed region formed by the locus is searched (step S3-12).
[0051]
As a result of the search in step S3-12, if there is an icon in the closed region formed by the locus of the coordinates pointed by the pen 2, the recognition gesture table 23 is successfully recognized as the icon selected by selecting (2). The flag h is set, and information for identifying the selected icon is set in the selected object pointer i (steps S3-13 and S3-14). As a result of the search in step S3-13, if there is no icon in the closed region formed by the locus of coordinates indicated by the pen 2, it cannot be determined that the selection (2) has been performed. ) Reset flag g is set (S3-13, S3-9).
[0052]
As described above, the gesture of selection (2) is recognized.
FIG. 11 shows an operation flowchart of processing for recognizing the disconnection (1) according to the embodiment of the present invention.
In the process of recognizing the disconnection (1) gesture in step S1-5, first, the valid flag f in the recognition gesture table 23 is detected (step S4-1). Here, if the valid flag f is reset, since the gesture cannot be recognized, the recognition process ends. If the valid flag f is set, the gesture can be recognized. Next, the reset flag g in the recognition gesture table 23 is detected (step S4-2). If the reset flag g is set, it indicates that the recognition needs to be performed from the initial state. Therefore, first, whether or not the pen 2 is in contact with the display 4, that is, the pen 2 is in contact with the tablet 3. It is determined whether or not (step S4-3). If the pen 2 is in contact with the display 4, the process is terminated as it is because it is not in the initial state. If the pen 2 is not in contact with the display 4, the reset flag g is reset, and the coordinate list in which a series of coordinates are sequentially stored is cleared to recognize a series of operations of the pen 2. The coordinate data is set as the top coordinate (steps S4-4 to S2-6). This completes the initialization.
[0053]
Next, the acquired coordinate data is added to the coordinate list (step S4-7). If the reset flag g is reset at step S4-2, coordinate data is added at step S4-7.
Here, it is determined whether or not the added coordinate data is the first coordinate in the coordinate list (step S4-8). When the indication position of the pen 2 is the leading coordinate in step S4-8, the process is terminated because cutting (1) is not yet selected. If the coordinate data is not the first coordinate in step S4-8, whether or not the pen 2 as a gesture for cutting (1) is next in contact with the display 4 in order to determine whether or not the cutting (1) processing is performed. Is determined (step S4-9).
[0054]
If the pen 2 is not in contact with the display 4 in step S4-9, it cannot be determined that the cutting (1) has been selected, and the process is terminated. If the pen 2 is in contact with the display 4 in step S4-9, it can be determined that cutting (1) may be selected, and the locus of the pen 2 crosses from left to right from the coordinate list. The icon is searched (step S4-10).
[0055]
As a result of the search in step S4-10, if there is an icon whose pen 2 trajectory crosses from left to right, the recognition success flag h in the recognition gesture table 23 is set as the icon selected by cutting (1), Information for identifying an icon to be cut is set in the selected object pointer i (step S4-12). As a result of the search in step S4-10, if there is no icon that traverses the pen 2 from left to right, it cannot be determined that the cutting (1) has been performed, so the reset flag g for the cutting (1) is set. Then, the process is terminated (step S4-13).
[0056]
Thus, the cutting (1) gesture is recognized.
FIG. 12 shows an operation flowchart of processing for recognizing the disconnection (2) according to the embodiment of the present invention.
In the process for recognizing the disconnection (2) gesture in step S1-6, first, the valid flag f in the recognition gesture table 23 is detected (step S5-1). Here, if the valid flag f is reset, since the gesture cannot be recognized, the recognition process ends. If the valid flag f is set, the gesture can be recognized. Next, the reset flag g in the recognition gesture table 23 is detected (step S5-2). If the reset flag g is set, it indicates that the recognition needs to be performed from the initial state. Therefore, first, whether or not the pen 2 is in contact with the display 4, that is, the pen 2 is in contact with the tablet 3. It is determined whether or not (step S5-3). If the pen 2 is in contact with the display 4, the process is terminated as it is because it is not in the initial state. If the pen 2 is not in contact with the display 4, the reset flag g is reset, and the coordinate list in which a series of coordinates are sequentially stored is cleared to recognize a series of operations of the pen 2. The coordinate data is set as the top coordinate (steps S5-4 to S5-6). This completes the initialization.
[0057]
Next, the acquired coordinate data is added to the coordinate list (step S5-7). Here, when the reset flag g is reset in step S5-2, coordinate data is added continuously in step S5-7.
Here, it is determined whether or not the added coordinate data is the first coordinate in the coordinate list (step S5-8). When the indication position of the pen 2 is the leading coordinate in step S4-8, the process is terminated because cutting (2) is not yet selected. Further, when the coordinate data is not the top coordinate in step S5-8, in order to determine whether or not the cutting (2) process is being performed, whether or not the pen 2 that is the next cutting (2) gesture is in contact with the display 4 is determined. Is determined (step S5-9).
[0058]
If the pen 2 is not in contact with the display 4 in step S5-9, it cannot be determined that the cutting (2) has been selected, and the process is terminated. Further, if the pen 2 is in contact with the display 4 in step S5-9, it can be determined that the cutting (2) may be selected, and then the locus of the pen 2 crosses from the left to the right from the coordinate list. The icon is searched (step S5-10).
[0059]
As a result of the search in step S5-10, if there is an icon whose trajectory of the pen 2 crosses from right to left, the recognition success flag h in the recognition gesture table 23 is set as the icon selected by cutting (2), Information for identifying an icon to be cut is set in the selected object pointer i (step S5-12). As a result of the search in step S5-10, if there is no icon that traverses the pen 2 from right to left, it cannot be determined that the cutting (2) has been performed, so the reset flag g of the cutting (1) is set. Then, the process is terminated (step S5-13).
[0060]
Thus, the cutting (2) gesture is recognized.
FIG. 13 shows an operation flowchart of processing for recognizing the point (1) of the embodiment of the present invention.
In the process for recognizing the point (1) gesture in step S1-7, first, the valid flag f in the recognition gesture table 23 is detected (step S6-1). Here, if the valid flag f is reset, since the gesture cannot be recognized, the recognition process ends. If the valid flag f is set, the gesture can be recognized. Next, the reset flag g in the recognition gesture table 23 is detected (step S6-2). If the reset flag g is set, it indicates that the recognition needs to be performed from the initial state. Therefore, first, whether or not the pen 2 is in contact with the display 4, that is, the pen 2 is in contact with the tablet 3. It is determined whether or not (step S6-3). If the pen 2 is in contact with the display 4, the point (1) cannot be recognized, and the process is terminated as it is. If the pen 2 is not in contact with the display 4, the reset flag g is reset to set that the recognition process is being executed (step S6-4).
[0061]
In order to determine whether or not point (1) processing is being performed, it is next determined whether or not the pen 2 that is the gesture of point (1) is in contact with the display 4 (step S6-5).
If the pen 2 is not in contact with the display 4 in step S6-5, it cannot be determined that the point (1) has been selected, and the process is terminated. If the pen 2 is in contact with the display 4 in step S6-5, it can be determined that the point (1) may be selected, and an icon at a position indicated by the pen 2 is searched (step S6-5). S6-6).
[0062]
If there is an icon at the position indicated by the pen 2 as a result of the search in step S6-6, the recognition success flag h in the recognition gesture table 23 is set as the icon selected by the point (1) and selected. Information for identifying the icon designated by the object pointer i is set (step S6-7). As a result of the search in step S6-6, if there is no icon at the position indicated by the pen 2, it cannot be determined that the point (1) has been performed, and therefore the reset flag g for the point (1) is set. Then, the process ends (step S6-8).
[0063]
As described above, the gesture of point (1) is recognized.
FIG. 14 shows an operation flowchart of processing for recognizing the point (2) of the embodiment of the present invention.
In the process of recognizing the point (2) gesture in step S1-8, first, the valid flag f in the recognition gesture table 23 is detected (step S7-1). Here, if the valid flag f is reset, since the gesture cannot be recognized, the recognition process ends. If the valid flag f is set, the gesture can be recognized. Next, the reset flag g in the recognition gesture table 23 is detected (step S7-2). If the reset flag g is set, it indicates that the recognition needs to be performed from the initial state. Therefore, first, whether or not the pen 2 is in contact with the display 4, that is, the pen 2 is in contact with the tablet 3. It is determined whether or not (step S7-3). If the pen 2 is not in contact with the display 4, the point (2) cannot be recognized, and the process is terminated as it is. If the pen 2 is in contact with the display 4, the reset flag g is reset to set that the recognition process is being executed (step S7-4). This completes the initialization.
[0064]
In order to determine whether or not the processing is point (2), it is next determined whether or not the pen 2 that is the gesture of point (2) is in contact with the display 4 (step S7-5).
If the pen 2 is in contact with the display 4 in step S7-5, it cannot be determined that the point (2) has been selected, and the process is terminated. If the pen 2 is not in contact with the display 4 in step S7-5, it can be determined that the point (2) has been selected, and an icon at the position indicated by the pen 2 is searched (step S7-5). S7-6).
[0065]
If there is an icon at the position indicated by the pen 2 as a result of the search in step S7-6, the recognition success flag h in the recognition gesture table 23 is set as the icon selected by the point (2) and selected. Information for identifying the icon designated by the object pointer i is set (step S7-7). Further, as a result of the search in step S6-6, if there is no icon at the position indicated by the pen 2, it cannot be determined that the point (2) has been performed, so the reset flag g for the point (2) is set. Then, the process ends (step S7-8).
[0066]
As described above, the gesture of point (2) is recognized.
The CPU 5 explained in FIGS. 9 to 14 while the recognition process of steps S1-3 to S1-8 has a layer structure as shown in FIG. 8 and acquires the coordinates of the pen 2 and the contact state with the display 4. Recognition processing is sequentially executed, and video effects are displayed according to the recognition result.
As described above, according to this embodiment, when an icon is to be moved, the icon to be moved is selected as a video effect by selecting the icon to be moved by selecting (1) or (2). The display is as if it was lifted from the screen, and the user can intuitively recognize that the icon has been selected. Further, when deleting an icon, a cutting line is displayed on the icon by writing x on the icon to be deleted with the pen 2, and it can be intuitively recognized that the icon will be deleted. At this time, if a gesture of writing a circle with the pen 2 is performed on the way, the icon is restored. In this way, it is possible to intuitively delete and move icons and realize an easy-to-use input / output interface.
[0067]
In the present embodiment, the display control at the time of the movement process and the deletion process has been described. However, the present invention is not limited to this, and if the display control at the time of other processes is set in the gesture management table 21, the above-described movement process and Intuitive display can be performed as in the deletion process. In this embodiment, the movement / deletion of the icon is described. However, the present invention is not limited to the icon, and can be similarly applied to other figures / characters.
[0068]
【The invention's effect】
  As mentioned above, according to the present invention,When moving an object, after the object is selected by the instruction means, the movement of the object can be grasped intuitively by shadowing the object by moving the instruction means away from the screen.Etc.
[Brief description of the drawings]
FIG. 1 is a block diagram of an embodiment of the present invention.
FIG. 2 is a block diagram of a main part of an embodiment of the present invention.
FIG. 3 is a configuration diagram of a management table for managing gesture operations according to an embodiment of the present invention.
FIG. 4 is a configuration diagram of a management table for managing parallel operations according to an embodiment of the present invention.
FIG. 5 is an operation explanatory diagram of movement processing (1) according to an embodiment of the present invention.
FIG. 6 is an operation explanatory diagram of movement processing (2) according to an embodiment of the present invention.
FIG. 7 is an operation explanatory diagram of deletion processing according to an embodiment of the present invention.
FIG. 8 is an operation flowchart of a CPU according to an embodiment of the present invention.
FIG. 9 is an operation flowchart of processing for recognizing selection (1) according to an embodiment of the present invention;
FIG. 10 is an operation flowchart of processing for recognizing selection (2) according to the embodiment of this invention.
FIG. 11 is an operation flowchart of processing for recognizing disconnection (1) according to an embodiment of the present invention.
FIG. 12 is an operation flowchart of processing for recognizing disconnection (2) according to an embodiment of the present invention;
FIG. 13 is an operation flowchart of processing for recognizing point (1) according to an embodiment of the present invention.
FIG. 14 is an operation flowchart of processing for recognizing point (2) according to the embodiment of the present invention.
[Explanation of symbols]
1 Computer system
2 pens
3 tablets
4 display
5 CPU
6 memory
11 Pen state recognition unit
12 Gesture recognition unit
13 Object selection part
14 Visual effects section
21 Gesture operation management table
22 Pointer management table
23 Recognition gesture table
24 progress management table
31 icon
32 Pen cursor
33 Shadow
34, 35 cutting line

Claims

In a display control device that controls display of an object displayed on a screen in accordance with an instruction from an instruction unit,
Detecting means for detecting the state of the indicating means ;
A management table storing video effects on the object in association with the movement of the instruction means;
The movement of the instruction unit is recognized according to the state of the instruction unit detected by the detection unit, and the management table is referred to according to the movement of the instruction unit to obtain the video effect obtained from the management table. Display control means for controlling the display of the object in response ,
The display control means is operated to move the object, wherein after selecting the object by the instruction means, the display control device, characterized in that the operation of separating from the screen the indication means performs shading on the object .

The display control apparatus according to claim 1, wherein the display control unit moves the object in accordance with movement of the instruction unit.

The display control means, after selecting the object, shadows the object by an action of surrounding the object by the instruction means instead of an operation of moving the instruction means away from the screen. The display control apparatus according to 1 or 2.