JPH06266494A - ペン入力方式の情報処理方法及び同装置 - Google Patents

ペン入力方式の情報処理方法及び同装置

Info

Publication number
JPH06266494A
JPH06266494A JP5215093A JP5215093A JPH06266494A JP H06266494 A JPH06266494 A JP H06266494A JP 5215093 A JP5215093 A JP 5215093A JP 5215093 A JP5215093 A JP 5215093A JP H06266494 A JPH06266494 A JP H06266494A
Authority
JP
Japan
Prior art keywords
gesture
list
recognition
input
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5215093A
Other languages
English (en)
Inventor
Yasushi Ishizuka
塚 靖 石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP5215093A priority Critical patent/JPH06266494A/ja
Publication of JPH06266494A publication Critical patent/JPH06266494A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Document Processing Apparatus (AREA)

Abstract

(57)【要約】 【構成】 装置使用前、ジェスチャ記号一覧表表示制御
のために認識を何回連続して失敗したら一覧表を表示す
るかを決める(S101,−2)。これで準備が完了す
る。そして、まず、S201〜S203の結果、認識に
失敗すると、S204で失敗回数をカウントし、S20
5でその値をチェックする。結果がNの場合、S206
にて、入力されたジェスチャ記号の特徴を抽出保存して
おく。S205の結果がYとなると、S207にて、S
206での採取データと辞書11を基に、当該特徴を持
つジェスチャ記号のみ選出し、その一覧表画面を表示す
る。表示切替え指令が入力された場合、S209におい
て全記号一覧を表示する。一覧表示からメニュ選択があ
るとS213にて、対応処理を実行し終了となる。 【効果】 認識率の低下による操作性の低下を抑制する
ことができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は座標入力装置と表示装置
とを重ね合わせた一体型表示入力手段を備えるペン入力
方式の情報処理方法及び同装置に関する。
【0002】
【従来の技術】ペンを使って操作することができる情報
処理装置は、座標入力装置であるタブレットと情報表示
装置であるLCDとを重ね合わせて構成されている。情
報処理装置内の各機能を実行する場合、座標入力装置上
に付属するペンを使って文字やジェスチャ記号を入力し
たり、LCDに表示されているメニュをペンでクリック
して行うことになる。
【0003】特にジェスチャによる処理指定方式は、手
書きペン入力方式の特徴を生かした画期的な手法と言え
るものである。
【0004】
【発明が解決しようとする課題】しかしながら、現時点
では発展途上にあることもあって、認識処理の失敗率が
無視できないほどのものとなっており、操作性を向上さ
せようと意図する技術がかえって操作性を低下させるこ
とにもなりかねない。情報処理装置が多機能化するにつ
れ、ジェスチャ記号の種類も増えることになるため、装
置の方ではそれだけ複雑な、細かな記号の違いを認識し
なければならなくなって認識機能が低下することが心配
される。
【0005】本発明は、このような問題点に鑑みてなさ
れたもので、その目的とするところは、ジェスチャ認識
に失敗しても、対応する処理を実行させることが可能な
ペン入力方式の情報処理方法及び同装置を提供すること
にある。
【0006】
【課題を解決するための手段】本発明のペン入力方式の
情報処理方法は、ジェスチャの認識失敗回数をカウント
するステップと、その認識失敗回数が設定回数に達した
とき上記ジェスチャの一覧を表示するステップと、上記
ジェスチャの一覧の中から指定されたものの処理を実行
するステップとを含んでいることを特徴とする。
【0007】また、本発明のペン入力方式の情報処理装
置は、座標入力装置と表示装置とを重ね合わせた一体型
表示入力手段と、ジェスチャによる指定処理を実行する
ジェスチャ処理実行手段と、上記座標入力装置への入力
ジェスチャを認識し、その結果を上記指定処理として上
記ジェスチャ処理実行手段に通知する第1のジェスチャ
認識手段と、そのジェスチャ認識手段におけるジェスチ
ャ失敗回数をカウントするカウント手段と、そのカウン
ト手段におけるカウント回数が設定回数に達したとき上
記ジェスチャの一覧を上記表示装置に表示する表示制御
手段と、上記座標入力装置への上記ジェスチャ一覧に対
する指定入力を検出し、その結果を上記指定処理として
上記ジェスチャ処理実行手段に通知する第2のジェスチ
ャ認識手段とを備えていることを特徴としている。
【0008】特に、表示制御手段は、第1のジェスチャ
認識手段における認識失敗ジェスチャの特徴を抽出する
特徴抽出手段と、その抽出した特徴に基づいて一覧表示
対象ジェスチャを決定する表示候補決定手段とを備えて
いることが望ましい。
【0009】
【作用】本発明によれば、ジェスチャ入力を、何度か失
敗したときは、ジェスチャの一覧が表示され、その一覧
の中からの機能選択によってジェスチャ処理を実行させ
ることができるので、ジェスチャ認識に成功できない場
合でも、対応する処理の実行が可能となり、認識率の低
下による操作性の低下を抑制することができる。
【0010】また特に、認識に失敗したジェスチャで
も、その特徴を抽出し、抽出した特徴に基づいて、数あ
るジェスチャの中から絞り込んだ候補を表示することに
より、認識不良による操作性の低下を更に抑制すること
ができる。
【0011】
【実施例】以下に本発明の実施例について図面を参照し
つつ説明する。
【0012】まず、図2はペン入力方式の情報処理装置
のハードウエア構成を示すものである。
【0013】LCD1は各種の情報を表示するもので、
LCDコントローラ2はVRAM3の内容をLCD1に
表示させる。このVRAM3はLCD1に表示する内容
を保存している読書き可能なメモリである。
【0014】透明タブレット4はLCD1と重ね合わさ
れ、LCD1上の表示画面とそのフィルム面との座標が
対応関係を有しており、LCD1上の表示を参照しなが
らタブレット4上をスタイラスペン6で押すことで入力
操作を行える。タブレット4はスタイラスペン6で押さ
れた位置を検出し、その座標情報を出力する。タブレッ
トコントローラ5はタブレット4とスタイラスペン6と
を制御してタブレット4が検出したスタイラスペン6の
位置情報やスタイラスペン6からのスイッチ情報をCP
U7に伝える。スタイラスペン6はタブレット4上の位
置を指定することに合わせて、スタイラスペン先にスイ
ッチを持ち、そのON/OFF情報をタブレットコント
ローラ5に伝える。
【0015】CPU7はタブレットコントローラ5を制
御してタブレット4やスタイラスペン6からの情報を得
て、LCDコントローラ2やVRAM3を制御し、LC
D1に必要な情報を表示する。ROM8はCPU7を制
御するためのプログラムや各種データを格納する読出し
専用の不揮発性のメモリである。ジェスチャ認識、ジェ
スチャの一覧表示等のプログラムもここに含まれる。R
AM9はCPU7が各種データを一時保存するために使
用する読書き可能なメモリであって、一覧表表示のため
に設定した失敗回数はここに記憶される。外部インター
フェース10は必要に応じて装置と外部とのデータのや
り取りを行うためのインターフェースである。
【0016】ここにおいて、ジェスチャ記号には例えば
図3(a)〜(f)に示すようなものがある。(a)は
脱字があるときその脱字部分に文字を挿入したい場合、
(b)はスペースを挿入する場合、(c)は文字の削除
を行う場合、(d)はスペルチェックを指示する場合、
(e)はテキスト内の特定の語句を検索させる指示を行
う場合、(f)は画面の拡大・縮小を行う場合、にそれ
ぞれ使用される。その他、既に多種のジェスチャ記号が
存在する。
【0017】さて、図1(a)は一覧表を表示するため
の失敗回数を設定する処理の流れを示すものである。
【0018】ユーザは、最初に、装置をする前、ジェス
チャの一覧表を表示するためにジェスチャの認識を何回
連続して失敗したら一覧表を自動的に画面に表示するか
を決めておく。このとき、まずステップS101で失敗
回数を設定する。つまり、連続何回ジェスチャ認識を失
敗したらジェスチャの一覧表を表示するかを設定するの
である。次にステップS102では、ステップS101
で設定した失敗回数をシステム内部の記憶装置であるR
AM9に記憶する。これで準備が完了したことになり、
ジェスチャ処理に入る。
【0019】図1(b)はそのジェスチャの処理の流れ
を示すものである。
【0020】この際、ユーザはスタイラスペン6を使っ
て装置を操作する。
【0021】ステップS201で、まず、入力がジェス
チャ記号かどうかを最初にチェックして、入力がジェス
チャ記号の場合はステップS202でジェスチャ記号の
認識を開始する。次に、ステップS203において認識
結果をチェックする。ここで、入力されたジェスチャ記
号を認識できなかった場合はステップS204で現在の
認識失敗回数に+1し、ステップS205で、図1
(a)の処理で最初に設定した回数と現在の失敗回数と
が等しいかどうかをチェックする。両者が等しくない場
合には、ステップS206において、入力されたジェス
チャ記号の特徴、具体的にはスタイラスペン先移動軌跡
の形状において、「直線的」、「曲線的」、「屈曲部が
ある」、「線が交差している」などの特徴や文字認識の
場合のようにストローク数及び方向ベクトルの特定でき
るものはそれらを抽出し保存しておくこととなる。符号
11で示すものがその保存場所となる記憶装置であっ
て、これはRAM9や図示しない外部記憶装置により構
成され、その特徴保存部111に保存される。
【0022】ステップS205の判断の結果、失敗回数
と設定回数とが等しくなった場合には、まず、ステップ
S207において、ステップS206で抽出保存してお
いた特徴データを基に辞書112を参照し、その特徴を
有するジェスチャ記号のみ選出し、例えば図4(a)に
示すような一覧表画面が表示される。辞書112の内部
は例えば、ステップS206での抽出対象となっている
データに対応して候補を並べたテーブル構成とされる。
その各ジェスチャ記号の表示箇所は同時にアイコンとさ
れ、スタイラスペン6により選択操作可能である。この
とき、同時に画面には「アイコンを指定して下さい」及
び「表示を切替えますか」というメッセージも表示す
る。ユーザは、自分が入力したいジェスチャ記号がある
か無いかを見て、その問いに対しYES/NOで答え
る。
【0023】ステップS208ではその答えを基に、表
示を切替えるか否か判断する。切替える場合には、ステ
ップS209に移り、図4(b)に示すような全ジェス
チャ記号の一覧を表示する。
【0024】ステップS208での判断がNOか或いは
ステップS209の実行後、ステップS210で現在の
失敗回数を“0”にクリアし処理を終了する。
【0025】ステップS203での判断がYESになっ
た場合にはステップS211に移り、認識したジェスチ
ャに対応する処理を実行し、ステップS210の処理を
経て終了する。
【0026】ステップS201での判断の結果がNOに
なった場合、ジェスチャ一覧表示からのメニュ選択か否
かをステップS212で確認する。この判断の結果、Y
ESであった場合には、ステップS213においてその
ジェスチャに対応する処理を実行して終了となる。
【0027】以上により、人によっては認識させずらい
ジェスチャがある場合も、認識されるまで何度も入力す
る必要がなく、予め設定していた回数だけジェスチャの
認識を連続して失敗すると自動的に画面にジェスチャの
一覧表が表示されるので、ユーザはその中から希望のジ
ェスチャを選択して機能を実現することができることに
なる。なお、一覧表の中からの選択の場合には、上述し
たタスクによるジェスチャ入力という扱いではなく、そ
の他の処理あるいは別タスクによるメニュ選択の扱いに
しても良い。これで問題なく、選択されたジェスチャに
対応する処理が実行されることとなる。
【0028】さらに、前述した実施例によれば、装置内
部に入力に失敗したジェスチャから特徴を抽出して、そ
の特徴からジェスチャの候補を絞り込み、絞り込んだ候
補だけを一覧表の中に表示するような手段を設けると、
一覧表の中には限られた候補だけが表示されることにな
り、一覧表の中からジェスチャの選択がより容易にな
る。
【0029】
【発明の効果】以上説明したように本発明によれば、ジ
ェスチャ入力を、何度か失敗したときは、ジェスチャの
一覧が表示され、その一覧の中からの機能選択によって
ジェスチャ処理を実行させることができるので、ジェス
チャ認識に成功できない場合でも、対応する処理の実行
が可能となり、認識率の低下による操作性の低下を抑制
することができる。
【0030】また特に、認識に失敗したジェスチャで
も、その特徴を抽出し、抽出した特徴に基づいて、数あ
るジェスチャの中から絞り込んだ候補を表示することに
より、認識不良による操作性の低下を更に抑制すること
ができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る認識失敗回数設定処理
(a)及びジェスチャ認識処理(b)の内容を示すフロ
ーチャート。
【図2】図1に示す機能が組込まれる一体型表示入力装
置のシステム構成を示すブロック図。
【図3】ジェスチャ記号例を示す説明図。
【図4】選択ジェスチャ記号一覧表例(a)及び全ジェ
スチャ記号一覧表例(b)を示す説明図。
【符号の説明】
1 LCD 2 LCDコントローラ 3 VRAM 4 透明タブレット 5 タブレットコントローラ 6 スタイラスペン 7 CPU 8 ROM 9 RAM 10 外部インターフェース S204 認識失敗回数カウントステップ S205 認識失敗回数の設定値到達判定ステップ S207,S209 ジェスチャ一覧表示ステップ S213 選択ジェスチャ対応処理の実行ステップ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/20 564 E 7315−5L G06K 9/62 G 8219−5L

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】ジェスチャの認識失敗回数をカウントする
    ステップと、 その認識失敗回数が設定回数に達したことを検出するス
    テップと、 その設定回数への到達検出に応答して前記ジェスチャの
    一覧をメニュ選択可能に表示するステップと、 その選択されたジェスチャに対応する処理を実行するス
    テップとを含んでいるペン入力方式の情報処理方法。
  2. 【請求項2】座標入力装置と表示装置とを重ね合わせた
    一体型表示入力手段と、 ジェスチャによる指定処理を実行するジェスチャ処理実
    行手段と、 前記座標入力装置への入力ジェスチャを認識し、その結
    果を前記指定処理として前記ジェスチャ処理実行手段に
    通知する第1のジェスチャ認識手段と、 該ジェスチャ認識手段におけるジェスチャ失敗回数をカ
    ウントするカウント手段と、 該カウント手段におけるカウント回数が設定回数に達し
    たとき前記ジェスチャの一覧を前記表示装置に表示する
    表示制御手段と、 前記座標入力装置への前記ジェスチャ一覧に対する指定
    入力を検出し、その結果を前記指定処理として前記ジェ
    スチャ処理実行手段に通知する第2のジェスチャ認識手
    段とを備えているペン入力方式の情報処理装置。
  3. 【請求項3】表示制御手段は、 第1のジェスチャ認識手段における認識失敗ジェスチャ
    の特徴を抽出する特徴抽出手段と、 その抽出した特徴に基づいて一覧表示対象ジェスチャを
    決定する表示候補決定手段とを備えることを特徴とする
    請求項2記載のペン入力方式の情報処理装置。
JP5215093A 1993-03-12 1993-03-12 ペン入力方式の情報処理方法及び同装置 Pending JPH06266494A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5215093A JPH06266494A (ja) 1993-03-12 1993-03-12 ペン入力方式の情報処理方法及び同装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5215093A JPH06266494A (ja) 1993-03-12 1993-03-12 ペン入力方式の情報処理方法及び同装置

Publications (1)

Publication Number Publication Date
JPH06266494A true JPH06266494A (ja) 1994-09-22

Family

ID=12906842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5215093A Pending JPH06266494A (ja) 1993-03-12 1993-03-12 ペン入力方式の情報処理方法及び同装置

Country Status (1)

Country Link
JP (1) JPH06266494A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008772A (ja) * 2010-06-24 2012-01-12 Sony Corp ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
WO2012169155A1 (en) * 2011-06-07 2012-12-13 Sony Corporation Information processing terminal and method, program, and recording medium
JP2013235429A (ja) * 2012-05-09 2013-11-21 Fuji Xerox Co Ltd 文字処理装置及びプログラム
JP2014203375A (ja) * 2013-04-09 2014-10-27 三菱電機株式会社 タッチパネル表示制御装置
JP2016015165A (ja) * 2015-09-24 2016-01-28 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008772A (ja) * 2010-06-24 2012-01-12 Sony Corp ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8756508B2 (en) 2010-06-24 2014-06-17 Sony Corporation Gesture recognition apparatus, gesture recognition method and program
WO2012169155A1 (en) * 2011-06-07 2012-12-13 Sony Corporation Information processing terminal and method, program, and recording medium
US9619141B2 (en) 2011-06-07 2017-04-11 Sony Corporation Information processing terminal and method, program, and recording medium
US9665273B2 (en) 2011-06-07 2017-05-30 Sony Corporation Information processing terminal and method, program, and recording medium
JP2013235429A (ja) * 2012-05-09 2013-11-21 Fuji Xerox Co Ltd 文字処理装置及びプログラム
JP2014203375A (ja) * 2013-04-09 2014-10-27 三菱電機株式会社 タッチパネル表示制御装置
JP2016015165A (ja) * 2015-09-24 2016-01-28 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体

Similar Documents

Publication Publication Date Title
US10346016B1 (en) Nested zoom in windows on a touch sensitive device
EP2252926B1 (en) Interpreting ambiguous inputs on a touch-screen
EP2045699A2 (en) Gesture determination apparatus and method
US9256917B1 (en) Nested zoom in windows on a touch sensitive device
JPH06242885A (ja) 文書編集方法
JP2005044026A (ja) 命令実行方法、命令実行プログラムおよび命令実行装置
US9477373B1 (en) Simultaneous zoom in windows on a touch sensitive device
JP2011081778A (ja) ディスプレイ非依存のコンピュータによるガイダンス方法および装置
JPH09231393A (ja) 命令入力装置
US20150338945A1 (en) Information processing device and information updating program
JPH06266494A (ja) ペン入力方式の情報処理方法及び同装置
US10140003B1 (en) Simultaneous zoom in windows on a touch sensitive device
JPWO2016170691A1 (ja) 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
JP2022179604A (ja) 情報処理装置、情報処理方法、及びプログラム
JPH1049700A (ja) ペン入力装置、ペン入力方法、入力装置及び入力方法
JPH0594253A (ja) 画面タツチ型キー入力装置
EP3907594A1 (en) User input mechanism for reordering graphical elements
US9383906B2 (en) Object processing device, object processing method, and object processing program
KR101821161B1 (ko) 데이터 표시 방법 및 그를 수행하는 단말기
KR20100107611A (ko) 단말 제어 장치 및 방법
JP2000172391A (ja) ポインティングデバイス、選択枠配置方法及びその方法を実行可能な記録媒体
KR102419696B1 (ko) 스크롤 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
JP2001147751A (ja) 情報端末及びその制御方法
JPH1049289A (ja) 文字データ処理装置
US10402071B1 (en) Simultaneous zoom in windows on a touch sensitive device