JPH11184669A - 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 - Google Patents

情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体

Info

Publication number
JPH11184669A
JPH11184669A JP35509197A JP35509197A JPH11184669A JP H11184669 A JPH11184669 A JP H11184669A JP 35509197 A JP35509197 A JP 35509197A JP 35509197 A JP35509197 A JP 35509197A JP H11184669 A JPH11184669 A JP H11184669A
Authority
JP
Japan
Prior art keywords
command
data
voice
input
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP35509197A
Other languages
English (en)
Inventor
Iwao Tanaka
巖 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP35509197A priority Critical patent/JPH11184669A/ja
Priority to EP98121967A priority patent/EP0926588A3/en
Publication of JPH11184669A publication Critical patent/JPH11184669A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 軌跡コマンドと音声コマンドとをマトリック
ス状に組み合わせたデータ処理コマンドを用いて対象デ
ータを処理する。 【解決手段】 軌跡コマンドと音声コマンドとをマトリ
ックス状に組み合わせたデータ処理コマンドを予め格納
したコマンドテーブルと、前記データ処理コマンドに基
づいて処理される対象データを画面に表示し、その画面
にタブレットを有する表示部と、前記タブレットに座標
データを入力する座標入力部と、入力された座標データ
を認識して軌跡コマンドを抽出する軌跡認識部と、座標
データの入力前後に音声データを入力する音声入力部
と、入力された音声データを認識して音声コマンドを抽
出する音声認識部と、抽出された軌跡コマンドと音声コ
マンドに対応するデータ処理コマンドを前記コマンドテ
ーブルにより確定する確定部と、読み出されたデータ処
理コマンドに基づいて対象データを処理するデータ処理
部とから構成される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、パソコン、ワード
プロセッサに適用され、ペン入力と音声入力とを相互に
関係して入力データ、入力コマンドの処理を行う情報処
理装置及び情報処理方法並びに情報処理装置制御プログ
ラムを記憶した媒体に関する。
【０００２】
【従来の技術】従来、文書編集、図形編集、情報検索等
の情報処理において、ペン入力ではペンのみの入力コマ
ンド処理、音声入力では音声のみの入力コマンド処理と
いうように各々別々の入力方式となっていた。しかしな
がら、最近の音声認識技術の発展に伴い、例えば、ペン
入力と音声入力とを併用して入力コマンド処理を行う複
合入力方式が提案されている。
【０００３】例えば、特開平６−８９１５８号公報の記
載によれば、音声入力とペン入力において、表示画面上
のオブジェクトをペンでポインティングしながら音声入
力の指示に伴うポインティングの位置及び個数を求め、
ポインティングの個数に応じて指示内容補数の数を低減
する、音声認識の精度、処理速度の向上を図ることがで
きる複合形態情報入力方法が提案されている。
【０００４】また、特開平６−１３１１０８号公報の記
載によれば、音声入力とペン入力において、ペンによる
指示と音声による指示が相互から行われた場合に認識度
の高い方を採用したり、音声でデータを入力し、ペンに
よるジェスチャーにより挿入／削除などの編集コマンド
を入力する情報入力装置が提案されている。
【０００５】また、特開平６−１３１４３７号公報の記
載によれば、音声入力とペン入力において、ペン入力さ
れた対象に音声で指示を行い、その指示内容に応じてポ
インティングの指示内容を認識しながら、ポインティン
グと音声の指示内容に応じて対象に対する操作を実行す
る複合形態による操作指示方法が提案されている。
【０００６】また、特開平６−３３２６６０号公報の記
載によれば、音声入力とペン入力において、ポインティ
ング操作された対象を検出したときに、ポインティング
操作前後に音声入力された音声認識結果からユーザが意
図した処理を実行する情報処理装置が提案されている。
【０００７】また、特開平７−５９７７号公報の記載に
よれば、音声入力とペン入力において、ポインティング
で指示される対象から音声の内容に合わせて複数の表示
物を一つを対象物として絞り込む複合形態による対象物
指示方法が提案されている。
【０００８】
【発明が解決しようとする課題】しかしながら、前記各
文献の従来技術では、例えば、音声による対象指示
（Ａ）及び操作指示、データ入力（Ｂ）と、ポインティ
ングデバイスによる対象指示（Ａ’）及び操作指示
（Ｂ’）を組み合わせ、対象指示（Ａ＋Ａ’）を操作指
示（Ｂ＋Ｂ’）するという、「目的語（Ａ群）＋動詞
（Ｂ群）」の形態で入力処理する方法や装置であり、Ａ
群内、Ｂ群内での指示コマンドの認識率を高めて、使い
やすい入力システムを構成しているが、例えば、Ａ群と
Ｂ群の組み合わせによる操作内容のバリエーションがな
いため、入力コマンドを変化させることできないので各
種情報処理における操作性を十分に向上させているとは
いえない。
【０００９】本発明は以上の事情を考慮してなされたも
のであり、例えば、ポインティングデバイスにより入力
される軌跡コマンドと、マイクロフォンにより入力され
る音声コマンドとをマトリックス状に組み合わせたデー
タ処理コマンドを予め格納したコマンドテーブルを用い
て対象データを処理することにより、バリエーションを
持つ情報処理の操作を簡素化することができる情報処理
装置及び情報処理方法並びに情報処理装置制御プログラ
ムを記憶した媒体を提供する。
【００１０】
【課題を解決するための手段】本発明は、軌跡コマンド
と音声コマンドとをマトリックス状に組み合わたデータ
処理コマンドを予め格納したコマンドテーブルと、前記
データ処理コマンドに基づいて処理される対象データを
画面に表示し、その画面にタブレットを有する表示部
と、前記タブレットに座標データを入力する座標入力部
と、入力された座標データを認識して軌跡コマンドを抽
出する軌跡認識部と、座標データの入力前後に音声デー
タを入力する音声入力部と、入力された音声データを認
識して音声コマンドを抽出する音声認識部と、抽出され
た軌跡コマンドと音声コマンドに対応するデータ処理コ
マンドを前記コマンドテーブルにより確定する確定部
と、読み出されたデータ処理コマンドに基づいて対象デ
ータを処理するデータ処理部とを備えたことを特徴とす
る情報処理装置である。
【００１１】なお、本発明において、コマンドテーブ
ル、軌跡認識部、音声認識部、確定部、データ処理部
は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏポートからなるマ
イクロコンピュータで構成させることが好ましい。特
に、コマンドテーブルは、この中のＲＯＭで構成するこ
とができる。軌跡認識部は、座標データを認識し、軌跡
コマンドを抽出するためのデータを格納するＲＯＭ領域
を備えている。音声認識部は、音声データを認識し、音
声コマンドを抽出するためのデータを格納するＲＯＭ領
域を備えている。
【００１２】表示部は、ＬＣＤ（液晶ディスプレイ）、
ＰＤ（プラズマ・ディスプレイ）で構成されることが好
ましい。座標入力部は、ペン、マウス等のポインティン
グデバイスで構成されることが好ましい。音声入力部
は、マイクロフォンで構成されることが好ましい。
【００１３】本発明によれば、ポインティングデバイス
により入力される軌跡コマンドと、マイクロフォンによ
り入力される音声コマンドとをマトリックス状に組み合
わせたデータ処理コマンドを予め格納したコマンドテー
ブルを用いて対象データを処理することができるので、
バリエーションを持つ情報処理の操作を簡素化すること
ができる。
【００１４】前記軌跡コマンドがジェスチャーコマンド
で構成されることが好ましい。前記構成によれば、ポイ
ンティングデバイスの軌跡コマンドとして、ジェスチャ
ーによる指示を用いるため、より直観的で慣れた操作で
対象データを処理することができる。
【００１５】前記軌跡コマンドが対象データの移動位置
を指定する位置指定コマンドを含むよう構成されること
が好ましい。前記構成によれば、ポインティングデバイ
スにより対象データの移動位置を１ポイントで指定し
て、対象データを処理することができる。
【００１６】前記音声コマンドが指示代名詞、方向及び
処理順序を示す音声情報を含むよう構成されることが好
ましい。前記構成によれば、例えば、「これ」、
「右」、「次ぎ」等の簡単な音声情報で指定して、対象
データを処理することができる。
【００１７】前記コマンドテーブルは軌跡コマンドの入
力タイミングと音声コマンドの入力タイミングの状態に
基づいて異なるデータ処理コマンドを格納した構成にす
ることが好ましい。前記構成によれば、軌跡コマンド、
音声コマンドの種類を増やすことなく、より多彩なデー
タ処理コマンドを指定して、対象データを処理すること
ができる。
【００１８】本発明の別の観点によれば、軌跡コマンド
と音声コマンドとをマトリックス状に組み合わせたデー
タ処理コマンドを予め格納したコマンドテーブルと、画
面にタブレットを有する表示部とを備え、前記データ処
理コマンドに基づいて処理される対象データを前記表示
部の画面に表示し、前記タブレットに座標データが座標
入力部により入力し、その座標データを認識して軌跡コ
マンドを抽出し、座標データの入力前後に音声データが
音声入力部により入力し、その音声データを認識して音
声コマンドを抽出し、抽出された軌跡コマンドと音声コ
マンドに対応するデータ処理コマンドを前記コマンドテ
ーブルにより確定し、そのデータ処理コマンドに基づい
て対象データを処理することを特徴とする情報処理方法
が提供される。
【００１９】さらに、本発明の別の観点によれば、軌跡
コマンドと音声コマンドとをマトリックス状に組み合わ
せたデータ処理コマンドを予め格納したコマンドテーブ
ルと、画面にタブレットを有する表示部とを備えた情報
処理装置をコンピュータによって制御するためのプログ
ラムを記憶した媒体であって、前記コンピュータに、前
記データ処理コマンドに基づいて処理される対象データ
を前記表示部の画面に表示させ、前記タブレットに座標
データが座標入力部により入力されると、その座標デー
タを認識して軌跡コマンドを抽出させ、座標データの入
力前後に音声データが音声入力部により入力されると、
その音声データを認識して音声コマンドを抽出させ、抽
出された軌跡コマンドと音声コマンドに対応するデータ
処理コマンドを前記コマンドテーブルにより確定させ、
そのデータ処理コマンドに基づいて対象データを処理さ
せる情報処理装置制御プログラムを記憶した媒体が提供
される。
【００２０】
【発明の実施の形態】以下、図に示す実施例に基づいて
本発明を詳述する。なお、これによって本発明は限定さ
れるものではない。
【００２１】図１は本実施例の情報処理装置の全体構成
を示すブロック図である。図１において、１はＣＰＵ、
ＲＯＭ、ＲＡＭ、Ｉ／Ｏポートからなるマイクロコンピ
ュータで構成される中央処理装置を示し、中央処理装置
１は、この中のＲＯＭに記憶された制御プログラムによ
り各部を制御する。
【００２２】２はＲＡＭ、ＥＥＰＲＯＭで構成される表
示データ記憶部を示し、表示データ記憶部２は、表示部
の画面に表示する表示データを記憶する。３はＣＲＴデ
ィスプレイ、ＬＣＤ（液晶ディスプレイ）、ＰＤ（プラ
ズマ・ディスプレイ）等の表示装置で構成される表示部
を示し、表示部３は、表示データ記憶部２に記憶された
表示データを表示する。
【００２３】４はタブレット、マウス、トラックパッド
等からなるポインティングデバイス、キーボード、スキ
ャナー、入力データ変換回路等で構成される入力装置や
通信装置で構成される入力部を示す。特に、透明タブレ
ットは表示部３の画面上に形成されている。
【００２４】５はペンのポインティングデバイスで構成
される座標入力部を示し、座標入力部５は、画面上の位
置の指示、あるいは入力されたデータの編集、校正等の
指示を表示部３に形成されたタブレット上にポインティ
ングする。６は軌跡認識プログラムとＣＰＵからなる軌
跡認識部を示し、軌跡認識部６は、座標入力部５により
入力された座標データとテーブルに記憶された軌跡認識
用データとを照合して軌跡データを認識し、認識した軌
跡データを抽出する。
【００２５】７はマイクロホン、Ａ／Ｄ変換回路で構成
される音声入力部を示し、音声入力部７は、座標入力部
５により画面上の座標データの入力に前後してマイクロ
ホンから音声データを入力する。８は音声認識プログラ
ムとＣＰＵからなる音声認識部を示し、音声認識部８
は、音声入力部７により入力された音声データとテーブ
ルに格納された音声認識用コマンドとを照合して音声コ
マンドを認識し、認識した音声コマンドを抽出する。
【００２６】９はＲＡＭ、ＥＥＰＲＯＭあるいはフロッ
ピーディスク、ハードディスク等で構成される記憶部を
示し、座標入力部５により取得された座標データ／軌跡
データ及びジェスチャーコマンド、音声認識部８により
認識された音声データ、音声コマンド、音声コマンドと
ジェスチャーコマンドの入力状態を示すレジスタの値、
入力部より入力された編集対象の文書、図面のデータ、
編集対象データに対する編集履歴データ等を記憶する。
【００２７】１０はＲＯＭからなるテーブルを示し、軌
跡認識部６が、座標入力部５により入力された座標デー
タを軌跡コマンド（ジェスチャーコマンド、位置指定コ
マンド等を含む）と照合するための軌跡認識用データ、
音声認識部８が、音声入力部７により入力された音声デ
ータを音声コマンドと照合するための音声認識用デー
タ、及び音声コマンドと軌跡コマンドとをマトリックス
状に組み合わせたデータ処理コマンドによって対象デー
タを処理するためのコマンドテーブル（コマンドマトリ
ックス表（１）、（２））を格納している。
【００２８】１１はＥＥＰＲＯＭからなるメモリカー
ド、ＣＤ−ＲＯＭ、ＭＤ等で構成される外部記憶媒体で
あり、中央処理処理１のＣＰＵが各部を制御するための
制御プログラムを記憶している。１２は外部記憶媒体駆
動装置とインタフェース等で構成される外部記憶媒体読
取部を示し、外部記憶媒体読取部１２は、中央処理装置
１のＣＰＵの制御により外部記憶媒体１１に記憶された
制御プログラムを読み取ってプログラムメモリまたは中
央処理装置１内のＲＡＭにインストールされる。
【００２９】１３はＥＥＰＲＯＭ、フロッピーディスク
等で構成されるプログラムメモリを示し、外部記憶媒体
読取部１２により読み取られた外部記憶媒体１１の制御
プログラムデータを記憶する。１４はデータ／アドレス
を転送するバスを示し、中央処理装置１はバス１４を介
して各部を制御する。
【００３０】また、テーブル１０には、音声認識用デー
タ、軌跡認識用データ、コマンドマトリックス表の各デ
ータが既に格納されているが、前記各データは外部から
供給され、記憶部９内に格納することでも実現可能であ
る。この場合は中央処理装置１からのメモリアドレスを
テーブル１０から記憶部９に切り替えるだけで実現可能
である。
【００３１】外部記憶媒体１１には、表示データを表示
データ記憶部２に格納する手順（１）と、格納された表
示データを表示部３に表示する手順（２）と、座標入力
部５より表示部３のタブレット上に座標データを入力す
る手順（３）と、座標データを認識し軌跡コマンドを抽
出する手順（４）と、音声入力部７により音声データを
入力する手順（５）と、音声データを認識し音声コマン
ドを抽出する手順（６）と、軌跡コマンドと音声コマン
ドとの組み合わせから対象データに対するデータ処理コ
マンドをコマンドマトリックス表から読み出す手順
（７）と、読み出されたデータ処理コマンドに基づいて
対象データを処理する手順（８）とからなる制御プログ
ラムが記憶されている。
【００３２】すなわち、軌跡コマンドと音声コマンドと
をマトリックス状に組み合わせたデータ処理コマンドを
予め格納したコマンドテーブル１０と、画面にタブレッ
トを有する表示部３とを備えた情報処理装置をコンピュ
ータに、前記データ処理コマンドに基づいて処理される
対象データを前記表示部３の画面に表示させ、前記タブ
レットに座標データが座標入力部５により入力される
と、その座標データを認識して軌跡コマンドを抽出さ
せ、座標データの入力前後に音声データが音声入力部に
より入力されると、その音声データを認識して音声コマ
ンドを抽出させ、抽出された軌跡コマンドと音声コマン
ドとに対応するデータ処理コマンドを前記コマンドテー
ブル１０から読み出させ、そのデータ処理コマンドに基
づいて対象データを処理させる情報処理装置制御プログ
ラムを媒体１１に記憶している。
【００３３】図２は本実施例の情報処理装置のデータ処
理の手順を示すメインフローチャートである。図３は本
実施例によるデータ処理コマンド確定の手順（１）を示
すサブフローチャートである。図５は本実施例によるデ
ータ処理の手順と表示画面の状態（１）を示す説明図で
ある。図５において、ステップ番号は図２、図３のステ
ップ番号に対応している。
【００３４】図９は本実施例によるコマンドマトリック
ス表（１）を示す図である。図９において、ジェスチャ
ーコマンドと音声コマンドとが同時に入力された場合
に、対象データに対してデータ処理するデータ処理コマ
ンドがコマンドマトリックス表としてコマンドテーブル
に格納されている。ここでは、「音声コマンド」×「ジ
ェスチャーコマンド」の４行８列の枠部分にデータ処理
コマンドが格納されている。
【００３５】図１１は本実施例の記憶部のレジスタに記
憶されるデータ処理コマンド作成中のシーケンス（１）
を示す図である。図１１において、ジェスチャーコマン
ドと音声コマンドとが同時に入力された場合に、レジス
タＡのビット値によりシーケンス（入力手順）を格納し
ている。
【００３６】［実施例１］実施例１について、図２〜図
３のフローチャート、図５、図９、図１１に基づいて詳
細に説明する。図２において、 ステップＭ１−１：記憶部９内の編集対象の文書データ
に対し、中央処理装置１が、文書データに対応した表示
データを作成し、表示データ記憶部２に格納する。
【００３７】ステップＭ１−２：表示部３は表示データ
記憶部２内に格納された表示データを画面上に表示す
る。図５のＭ１−２は、表示部３の画面に表示された表
示データを示している。ここでは、例として「文書ファ
イル内の文書データ」の一部を操作対象データとする。 ステップＭ１−３：操作者は、表示部３の画面に表示さ
れた表示データを見て、記憶部２内の操作対象とするデ
ータ、例えば、データファイル、データファイル内のデ
ータ、データファイルの名称部分等を座標入力部５、も
しくは入力部４により指定する。
【００３８】図５のＭ１−３では、入力部４により操作
対象データを指定した状態を示しており、表示部３の画
面上でのカーソル位置が入力部４により指定された操作
対象部分を示している。次に、図３のサブフローチャー
トのステップＣ１−１に移行する。
【００３９】ステップＣ１−１：操作者は指定した操作
対象データに対し、音声、そしてペン等のポインティン
グデバイスを用いた軌跡（以下ジェスチャーという）に
よる指示を入力する。例えば、音声による指示として
は、「右」と操作者が発音し、ポインティングデバイス
で「消去」を表すジェスチャーを入力する。
【００４０】音声コマンドジェスチャーが入力された場
合、それぞれ音声認識部８、座標入力部５から中央処理
装置１に対し、入力があったことを知らせる割り込みを
発生する。この時点で、それぞれの指示内容は、装置と
しては認識されていない。図５のＣ１−１は、指定され
た操作対象データに対してのコマンドを、音声とポイン
ティングデバイスによる軌跡の入力で行った状態を示し
ている。ステップＣ１−２：中央処理装置１は、音声認
識部８からの割り込みを検知したら、ステップＣ１−４
に移行し、そうでなければステップＣ１−３に移行す
る。
【００４１】ステップＣ１−３：中央処理装置１は、座
標入力部５からの割り込みを検知したら、ステップＣ１
−７に移行し、そうでなければステップＣ１−２に戻る
（レジスタＡのビット値は“０００”である）。
【００４２】ステップＣ１−４：中央処理装置１は、入
力された音声データの認識を音声認識部８に指示し、音
声認識部８は、入力される音声データを順次認識してい
き、レジスタＡのビット値を“００１”とする。認識処
理が終了したら、処理終了を示す割り込みを中央処理装
置１に対して発生する。
【００４３】ステップＣ１−５、６：中央処理装置１
は、音声データの認識終了前にジェスチャーによる指示
入力の割り込みを検知した場合、ステップＣ１−７に移
行し、ジェスチャーによる指示入力がないまま音声デー
タの認識終了の割り込みを検知した場合、ステップＣ１
−１３に移行する。
【００４４】ステップＣ１−７：中央処理装置１は、入
力された軌跡データ（ジェスチャー）の認識を軌跡認識
部６に指示し、軌跡認識部６は、入力されるジェスチャ
ーを順次認識していく。また、レジスタＡのビット値
を、元のビット値が“００１”であれば“０１１”に、
“０００”であれば“０１０”とする。認識処理が終了
したら、処理終了を示す割り込みを中央処理装置１に対
して発生する。
【００４５】ステップＣ１−８：中央処理装置１は、ジ
ェスチャー認識終了の割り込みを検知した場合、ステッ
プＣ１−１０に移行し、割り込みを検知していない場合
は、ステップＣ１−９に移行する。 ステップＣ１−９：中央処理装置１は、レジスタＡのビ
ット値を認識し、“０１１”であれば、ステップＣ１−
８に戻り（既に、音声認識部８が処理を行っていること
を示す）、“０１０”であれば、ステップＣ１−１５に
移行する（音声認識処理はスタートしていないことを示
す）。
【００４６】ステップＣ１−１５：音声による指示入力
の割り込みを検知した場合は、ステップＣ１−１６に移
行し、検知していない場合は、ステップＣ１−８に戻
る。 ステップＣ１−１６：中央処理装置１は入力された音声
データの認識を音声認識部８に指示し、音声認識部８は
入力された音声データを順次認識していき、レジスタＡ
のビット値を“１１０”とする。認識処理が終了した
ら、処理終了を示す割り込みを中央処理装置１に対して
発生する。
【００４７】ステップＣ１−１７：中央処理装置１は、
軌跡認識部６からのジェスチャー認識終了の割り込みを
検知した場合、ステップＣ１−１０に戻り、割り込みを
検知していない場合は、ステップＣ１−１７に戻る。 ステップＣ１−１０：ジェスチャー認識終了後、軌跡認
識部７は、認識確定したジェスチャーの示すコマンドを
記憶部９内に格納する。
【００４８】ステップＣ１−１１：中央処理装置１は、
レジスタＡのビット値を確認し、“０１１”あるいは
“１１０”であれば（既に音声認識部８が処理を行って
いることを示す）、ステップＣ１−１２に移行し、“０
１０”であれば（音声認識処理は行っていないことを示
す）、ステップＣ１−１８に移行し、コマンド入力処理
を終了する。
【００４９】ステップＣ１−１２：中央処理装置１は、
音声データ認識終了の割り込みを検知した場合ステップ
Ｃ１−１３に移行し、検知しない場合（音声データ認識
処理続行中）、ステップＣ１−１２のまま、入力終了を
待つ。 ステップＣ１−１３：音声データ認識終了後、音声認識
部８は、認識確定した音声データの示すコマンドを記憶
部９内に格納した後、ステップＣ１−１８に移行して、
コマンド入力処理を終了する。次に、図２のメインフロ
ーチャートのステップＤ１−１に戻る。
【００５０】ステップＤ１−１：中央処理装置１は、図
３のステップＣ１−１８の時点で確定した音声によるコ
マンドと、ジェスチャーによるコマンド、及びレジスタ
Ａの値から、テーブル１０内のコマンドマトリックス表
を用いて該当する処理を決定する。 ステップＤ１−２：中央処理装置１は、ステップＤ１−
１で決定した処理を前記対象データに対して実行する。
【００５１】図５のＤ１−２では、ステップＤ１−１で
指定された処理に従い、操作対象データであるカーソル
位置より右側に表示されているデータを消去した状態を
示している。
【００５２】本実施例では、ジェスチャーコマンド：
「消去コマンド」、音声コマンド：「右」であり、図９
のコマンドマトリックス表（１）より、該当する処理は
＜カーソル右消去＞となり、『カーソル位置より右の表
示データを全て消去』が実行すべきデータ処理となる。
【００５３】以上の処理によって、ポインティングデバ
イスにより入力されるジェスチャーコマンドと、マイク
ロフォンにより入力される音声コマンドとを認識して、
コマンドテーブル（コマンドマトリックス表（１））を
用いて、データ処理コマンドを確定して対象データを処
理することができるので、バリエーションを持つ情報処
理の操作を簡素化することができる。ポインティングデ
バイスの軌跡コマンドとして、ジェスチャーコマンドで
構成されているので、より直観的で慣れた操作で対象デ
ータを処理することができる。
【００５４】図４は本実施例によるデータ処理コマンド
確定の手順（２）を示すサブフローチャートである。図
６は本実施例による移動させる対象データの表示画面の
状態を示す説明図である。図６において、斜線部（ａ）
が、現在、表示されている表示データを示す。表示され
ていない表示データはスクロールすることで表示する。
図７は本実施例によるデータ処理の手順と表示画面の状
態（２）を示す説明図である。図７において、ステップ
番号は図２、図４のステップ番号に対応している。
【００５５】図１２は本実施例の記憶部のレジスタに記
憶されるデータ処理コマンド作成中のシーケンス（２）
を示す図である。図１２において、位置指定コマンドと
音声コマンドとが同時に入力された場合に、レジスタＡ
のビット値によりシーケンス（入力手順）を格納してい
る。
【００５６】［実施例２］実施例２について、図２、図
４のフローチャート、図５〜図７、図９、図１２に基づ
いて説明する。図２において、 ステップＭ２−１：記憶部９内の編集対象の文書データ
に対し、中央処理装置１が、前記文書データに対応した
表示データを作成し、表示データ記憶部２に格納する。
【００５７】ステップＭ２−２：表示部３は表示データ
記憶部２内の前記表示データを画面上に表示する。図５
のＭ１−１は、表示部３に表示データが表示された状態
を表している。本実施例では、文書データの全てを表示
せずに一部分のみを表示している場合について説明す
る。図７に示す中央の網掛け部が現在の表示部で表示し
ている範囲を示している。次に、図４のサブフローチャ
ートのステップＣ２−１に移行する。
【００５８】ステップＣ２−１：操作者は指定した操作
対象データに対し、音声による指示と、ペン等のポイン
ティングデバイスを用いた対象データの指定に関する指
示を入力する。例えば、音声による指示としては、
「次」と操作者が発音し、ポインティングデバイスで、
表示部３上に表示されている操作対象データ上の右の部
分をポイントする（図７のＣ２−１）。音声の入力と、
ポインティングデバイスによるポイントがなされた場
合、それぞれ音声認識部８、座標入力部５から、中央処
理装置１に対し入力があったことを知らせる割り込みを
発生する。この時点で、それぞれの指示内容の詳細は判
明していない。
【００５９】ステップＣ２−２：中央処理装置１は、音
声認識部８からの割り込みを検知したら、ステップＣ２
−４に移行し、そうでなければ、ステップＣ２−３に移
行する。 ステップＣ２−３：中央処理装置１は、座標入力部５か
らの割り込みを検知したら、ステップＣ２−７に移行
し、そうでなければ、ステップＣ２−２に移行する。
【００６０】ステップＣ２−４：中央処理装置１は、入
力された音声データの認識を音声認識部８に指示し、音
声認識部８は、入力される音声データを順次認識してい
き、レジスタＡの値を“０１”とする（図１２参照）。
認識処理が終了したら、処理終了を示す割り込みを中央
処理装置１に対して発生する。
【００６１】ステップＣ２−５、６：中央処理装置１
は、音声データの認識終了前に座標入力部５からの対象
データ上の座標入力による割り込みを検知した場合、ス
テップＣ２−７に移行し、座標入力による割り込みがな
いまま音声データの認識終了の割り込みを検知した場
合、ステップＣ２−１０に移行する。
【００６２】ステップＣ２−７：中央処理装置１は、入
力された座標データを座標入力部５から取得し、レジス
タＡのビット値を、元のビット値が“０１”であれば
“１１”に、“００”であれば“１０”とする。取得処
理が終了したら、処理終了を示す割り込みを中央処理装
置１に対して発生する。 ステップＣ２−８：中央処理装置１は、位置座標データ
の取得終了の割り込みを検知した場合、ステップＣ２−
９に移行し、割り込みを検知していない場合は、ステッ
プＣ２−１１に移行する。
【００６３】ステップＣ２−９：中央処理装置１は、音
声認識部８からの音声認識終了の割り込みを検知した場
合、ステップＣ２−１０に移行し、割り込みを検知して
いない場合は、ステップＣ２−９のままである。 ステップＣ２−１０：音声認識終了後、音声認識部８
は、認識確定した音声データの示すコマンドを記憶部９
内に格納する。次に、図２のメインフローチャートのス
テップＤ２−１に戻る。
【００６４】ステップＤ２−１：中央処理装置１は、ス
テップＣ２−１０の時点で確定した音声によるコマンド
と、ポイント位置によるコマンド、及びレジスタＡのビ
ット値から、テーブル１０内のコマンドマトリックス表
を用いて該当する処理を決定する。この場合、ポイント
位置コマンド：「右」、音声コマンド：「次」であり、
表１コマンドマトリックス表より、該当する処理は＜表
示データ右に移動＞となり、『現在表示中のデータ位置
より右のデータを表示』が実行すべき処理となる。 ステップＤ２−２：中央処理装置１は、ステップＤ２−
１で決定した処理を前記対象データに対して実行する。
この場合、表示されているデータは、図６に示す網掛け
部の右の部分、「４のとき」の部分となる。
【００６５】以上の処理によって、ポインティングデバ
イスにより入力される位置指定コマンドと、マイクロフ
ォンにより入力される音声コマンドとを認識して、コマ
ンドテーブル（コマンドマトリックス表（１））を用い
て、データ処理コマンドを確定して対象データを処理す
ることができるので、バリエーションを持つ情報処理の
操作を簡素化することができる。軌跡コマンドが対象デ
ータの移動位置を指定する位置指定コマンドを含むこと
により、位置指定を１ポイントで指定して、対象データ
を処理することができる。
【００６６】図８は本実施例によるデータ処理の手順と
表示画面の状態（３）を示す説明図である。図８におい
て、ステップ番号は図２、図４のステップ番号に対応し
ている。
【００６７】図１０の本実施例によるコマンドマトリッ
クス表（２）を示す図である。図１０において、本実施
例では、「音声コマンド」×「位置指定コマンド」の４
行８列の枠部分にデータ処理コマンドが格納されてい
る。 ジェスチャーコマンドのみの入力：レジスタＡのビット
値“０１０”を示し、データ処理コマンドは未定義とな
る。
【００６８】ジェスチャーコマンドに続いて音声コマン
ドを入力：レジスタＡのビット値“０１０”を示し、コ
マンドマトリックス表（２）に示すデータ処理コマンド
が定義される。 音声コマンドに続いてジェスチャーコマンドを入力：レ
ジスタＡのビット値“０１１”を示し、コマンドマトリ
ックス表（２）に示すデータ処理コマンドが定義され
る。
【００６９】［実施例３］実施例３について、図２、図
４のフローチャート、図８、図１０、図１１に基づいて
説明する。なお、実施例３のおいて、ステップＤ３−
１、ステップＤ３−２は、実施例１〜２のステップＤ１
−１、ステップＤ１−２のステップ番号を差し替えるこ
とで本実施例とする。また、実施例１〜２のジェスチャ
ーコマンドと音声コマンドの認識結果をそれぞれ「（カ
ーソル）移動」、「右」とする。
【００７０】ステップＤ３−１：中央処理装置１は、ス
テップＣ１−１８の時点で確定した音声によるコマンド
と、ジェスチャーによるコマンド、及びレジスタＡの値
から、テーブル１０内のコマンドマトリックス表を用い
て該当する処理を決定する。実施例３では、ジェスチャ
ーコマンド：「（カーソル）移動」、音声コマンド：
「右」であり、コマンドマトリックス表（２）より、音
声コマンド入力中にジェスチャーコマンドが入力されて
いた場合、レジスタＡのビット値は“０１１”となり、
該当する処理は＜カーソルより右の部分＞となり、『カ
ーソル位置より右のデータ（文字列）を移動』が実行す
べき処理となる。この場合、ステップＤ３−２でデータ
の移動先を指定する。
【００７１】また、ジェスチャーコマンド入力中に音声
コマンドが入力された場合、レジスタＡのビット値は
“１１０”、あるいは“１１１”となり、該当する処理
は＜行右端＞となり、『カーソル位置をカーソルの存在
する行の右端に移動』が実行すべき処理となる。
【００７２】ステップＤ３−２：中央処理装置１はステ
ップＤ３−１で決定した処理を前記対象データに対して
実行する。図８のステップＤ３−２は、ステップＤ３−
１で指定された処理に従い、操作対象データであるカー
ソル位置より右側に表示されているデータを消去した状
態を表している。
【００７３】以上の処理によって、ポインティングデバ
イスにより入力されるカーソル移動コマンドと、マイク
ロフォンにより入力される音声コマンドとを認識して、
コマンドテーブル（コマンドマトリックス表（２））を
用いて、データ処理コマンドを確定して対象データを処
理することができるので、バリエーションを持つ情報処
理の操作を簡素化することができる。
【００７４】コマンドテーブルは、軌跡コマンド（カー
ソル移動コマンド）の入力タイミングと音声コマンドの
入力タイミングの状態に基づいて異なるデータ処理コマ
ンドを格納した構成にしたことにより、軌跡コマンド、
音声コマンドの種類を増やすことなく、より多彩なデー
タ処理コマンドを指定して、対象データを処理すること
ができる。
【００７５】
【発明の効果】本発明によれば、ポインティングデバイ
スにより入力される軌跡コマンドと、マイクロフォンに
より入力される音声コマンドとをマトリックス状に組み
合わせたデータ処理コマンドを予め格納したコマンドテ
ーブルを用いて対象データを処理することにより、バリ
エーションを持つ情報処理の操作を簡素化することがで
きる。
【図面の簡単な説明】
【図１】本実施例の情報処理装置の全体構成を示すブロ
ック図である。
【図２】本実施例の情報処理装置のデータ処理の手順を
示すメインフローチャートである。
【図３】本実施例によるデータ処理コマンド確定の手順
（１）を示すサブフローチャートである。
【図４】本実施例によるデータ処理コマンド確定の手順
（２）を示すサブフローチャートである。
【図５】本実施例によるデータ処理の手順と表示画面の
状態（１）を示す説明図である。
【図６】本実施例による移動させる対象データの表示画
面の状態を示す説明図である。
【図７】本実施例によるデータ処理の手順と表示画面の
状態（２）を示す説明図である。
【図８】本実施例によるデータ処理の手順と表示画面の
状態（３）を示す説明図である。
【図９】本実施例によるコマンドマトリックス表（１）
を示す図である。
【図１０】本実施例によるコマンドマトリックス表
（２）を示す図である。
【図１１】本実施例の記憶部のレジスタに記憶されるデ
ータ処理コマンド作成中のシーケンス（１）を示す図で
ある。
【図１２】本実施例の記憶部のレジスタに記憶されるデ
ータ処理コマンド作成中のシーケンス（２）を示す図で
ある。
【符号の説明】
１ 中央処理装置 ２ 表示データ記憶部 ３ 表示部 ４ 入力部 ５ 座標入力部 ６ 軌跡認識部 ７ 音声入力部 ８ 音声認識部 ９ 記憶部 １０ テーブル １１ 外部記憶媒体 １２ 外部記憶媒体読取部 １３ プログラムメモリ １４ バス

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 軌跡コマンドと音声コマンドとをマトリ
    ックス状に組み合わたデータ処理コマンドを予め格納し
    たコマンドテーブルと、前記データ処理コマンドに基づ
    いて処理される対象データを画面に表示し、その画面に
    タブレットを有する表示部と、前記タブレットに座標デ
    ータを入力する座標入力部と、入力された座標データを
    認識して軌跡コマンドを抽出する軌跡認識部と、座標デ
    ータの入力前後に音声データを入力する音声入力部と、
    入力された音声データを認識して音声コマンドを抽出す
    る音声認識部と、抽出された軌跡コマンドと音声コマン
    ドに対応するデータ処理コマンドを前記コマンドテーブ
    ルにより確定する確定部と、読み出されたデータ処理コ
    マンドに基づいて対象データを処理するデータ処理部と
    を備えたことを特徴とする情報処理装置。
  2. 【請求項２】 前記軌跡コマンドがジェスチャーコマン
    ドであることを特徴とする請求項１記載の情報処理装
    置。
  3. 【請求項３】 前記軌跡コマンドが対象データの移動位
    置を指定する位置指定コマンドを含むことを特徴とする
    請求項１記載の情報処理装置。
  4. 【請求項４】 前記音声コマンドが指示代名詞、方向及
    び処理順序を示す音声情報を含むことを特徴とする請求
    項１記載の情報処理装置。
  5. 【請求項５】 前記コマンドテーブルは、軌跡コマンド
    の入力タイミングと音声コマンドの入力タイミングの状
    態に基づいて異なるデータ処理コマンドを格納したこと
    を特徴とする請求項１記載の情報処理装置。
  6. 【請求項６】 軌跡コマンドと音声コマンドとをマトリ
    ックス状に組み合わせたデータ処理コマンドを予め格納
    したコマンドテーブルと、画面にタブレットを有する表
    示部とを備え、前記データ処理コマンドに基づいて処理
    される対象データを前記表示部の画面に表示し、前記タ
    ブレットに座標データが座標入力部により入力し、その
    座標データを認識して軌跡コマンドを抽出し、座標デー
    タの入力前後に音声データが音声入力部により入力し、
    その音声データを認識して音声コマンドを抽出し、抽出
    された軌跡コマンドと音声コマンドに対応するデータ処
    理コマンドを前記コマンドテーブルにより確定し、その
    データ処理コマンドに基づいて対象データを処理するこ
    とを特徴とする情報処理方法。
  7. 【請求項７】 軌跡コマンドと音声コマンドとをマトリ
    ックス状に組み合わせたデータ処理コマンドを予め格納
    したコマンドテーブルと、画面にタブレットを有する表
    示部とを備えた情報処理装置をコンピュータによって制
    御するためのプログラムを記憶した媒体であって、前記
    コンピュータに、前記データ処理コマンドに基づいて処
    理される対象データを前記表示部の画面に表示させ、前
    記タブレットに座標データが座標入力部により入力され
    ると、その座標データを認識して軌跡コマンドを抽出さ
    せ、座標データの入力前後に音声データが音声入力部に
    より入力されると、その音声データを認識して音声コマ
    ンドを抽出させ、抽出された軌跡コマンドと音声コマン
    ドに対応するデータ処理コマンドを前記コマンドテーブ
    ルにより確定させ、そのデータ処理コマンドに基づいて
    対象データを処理させる情報処理装置制御プログラムを
    記憶した媒体。
JP35509197A 1997-12-24 1997-12-24 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 Pending JPH11184669A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP35509197A JPH11184669A (ja) 1997-12-24 1997-12-24 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体
EP98121967A EP0926588A3 (en) 1997-12-24 1998-11-19 Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35509197A JPH11184669A (ja) 1997-12-24 1997-12-24 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体

Publications (1)

Publication Number Publication Date
JPH11184669A true JPH11184669A (ja) 1999-07-09

Family

ID=18441891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35509197A Pending JPH11184669A (ja) 1997-12-24 1997-12-24 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体

Country Status (2)

Country Link
EP (1) EP0926588A3 (ja)
JP (1) JPH11184669A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323521A (ja) * 2005-05-17 2006-11-30 Takenaka Komuten Co Ltd 非接触式入力装置
JP2013037688A (ja) * 2011-08-05 2013-02-21 Samsung Electronics Co Ltd 電子装置及びその制御方法
JP2013222229A (ja) * 2012-04-12 2013-10-28 Konica Minolta Inc 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム
JP2022547667A (ja) * 2019-12-30 2022-11-15 華為技術有限公司 ヒューマンコンピュータインタラクション方法、装置、及びシステム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
CN104182033A (zh) * 2013-05-23 2014-12-03 联想(北京)有限公司 一种信息输入方法、装置及一种电子设备
KR102669100B1 (ko) * 2018-11-02 2024-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689158A (ja) * 1992-09-08 1994-03-29 Hitachi Ltd 複合形態情報入力方法
JPH06131108A (ja) * 1992-10-20 1994-05-13 Csk Corp 情報入力装置
JPH06131437A (ja) * 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323521A (ja) * 2005-05-17 2006-11-30 Takenaka Komuten Co Ltd 非接触式入力装置
JP2013037688A (ja) * 2011-08-05 2013-02-21 Samsung Electronics Co Ltd 電子装置及びその制御方法
US9002714B2 (en) 2011-08-05 2015-04-07 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP2013222229A (ja) * 2012-04-12 2013-10-28 Konica Minolta Inc 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム
JP2022547667A (ja) * 2019-12-30 2022-11-15 華為技術有限公司 ヒューマンコンピュータインタラクション方法、装置、及びシステム

Also Published As

Publication number Publication date
EP0926588A3 (en) 2004-12-15
EP0926588A2 (en) 1999-06-30

Similar Documents

Publication Publication Date Title
RU2366006C2 (ru) Динамическая обратная связь для жестов
TWI653545B (zh) 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體
TWI394065B (zh) 在精簡鍵盤解疑系統中的多重預測
US7051289B1 (en) Window display device and method, and a recording medium recording a window display control program
JPH11327763A (ja) コンピュータ・システムにおける合図提供方法
US20030020734A1 (en) Method and apparatus for displaying information elements
JP2008250374A (ja) 筆跡判定装置、方法およびプログラム
JP4241883B2 (ja) 文章入力装置及び方法
JPH11184669A (ja) 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体
JPH10154144A (ja) 文章入力装置及び方法
TW201512994A (zh) 使用一通用辨識器之多筆跡手寫辨識
EP2545434A2 (en) Device, method, and graphical user interface for manipulating soft keyboards
JP2010108061A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPH1031548A (ja) 入力装置
JP4207089B2 (ja) 文章入力装置及び方法
JPH08255221A (ja) 文字図形入力編集装置
JPS61267128A (ja) 表示消去方式
JP2005275635A (ja) 仮名文字入力方法および仮名文字入力プログラム
JP2006302318A (ja) 文章入力装置及び方法
JP2006106983A (ja) 表示装置及び表示方法
JP6032982B2 (ja) 入力支援装置、入力支援方法、入力支援プログラム及び記録媒体
JPH11306369A (ja) 画像データ編集装置
JP4519106B2 (ja) 文章入力装置及び方法
JPH0630105B2 (ja) 同音語表示方法
JPH0883276A (ja) 文書処理装置及び処理方法