JPH11184669A - 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 - Google Patents
情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体Info
- Publication number
- JPH11184669A JPH11184669A JP35509197A JP35509197A JPH11184669A JP H11184669 A JPH11184669 A JP H11184669A JP 35509197 A JP35509197 A JP 35509197A JP 35509197 A JP35509197 A JP 35509197A JP H11184669 A JPH11184669 A JP H11184669A
- Authority
- JP
- Japan
- Prior art keywords
- command
- data
- voice
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000010365 information processing Effects 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 146
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Debugging And Monitoring (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】 軌跡コマンドと音声コマンドとをマトリック
ス状に組み合わせたデータ処理コマンドを用いて対象デ
ータを処理する。 【解決手段】 軌跡コマンドと音声コマンドとをマトリ
ックス状に組み合わせたデータ処理コマンドを予め格納
したコマンドテーブルと、前記データ処理コマンドに基
づいて処理される対象データを画面に表示し、その画面
にタブレットを有する表示部と、前記タブレットに座標
データを入力する座標入力部と、入力された座標データ
を認識して軌跡コマンドを抽出する軌跡認識部と、座標
データの入力前後に音声データを入力する音声入力部
と、入力された音声データを認識して音声コマンドを抽
出する音声認識部と、抽出された軌跡コマンドと音声コ
マンドに対応するデータ処理コマンドを前記コマンドテ
ーブルにより確定する確定部と、読み出されたデータ処
理コマンドに基づいて対象データを処理するデータ処理
部とから構成される。
ス状に組み合わせたデータ処理コマンドを用いて対象デ
ータを処理する。 【解決手段】 軌跡コマンドと音声コマンドとをマトリ
ックス状に組み合わせたデータ処理コマンドを予め格納
したコマンドテーブルと、前記データ処理コマンドに基
づいて処理される対象データを画面に表示し、その画面
にタブレットを有する表示部と、前記タブレットに座標
データを入力する座標入力部と、入力された座標データ
を認識して軌跡コマンドを抽出する軌跡認識部と、座標
データの入力前後に音声データを入力する音声入力部
と、入力された音声データを認識して音声コマンドを抽
出する音声認識部と、抽出された軌跡コマンドと音声コ
マンドに対応するデータ処理コマンドを前記コマンドテ
ーブルにより確定する確定部と、読み出されたデータ処
理コマンドに基づいて対象データを処理するデータ処理
部とから構成される。
Description
【0001】
【発明の属する技術分野】本発明は、パソコン、ワード
プロセッサに適用され、ペン入力と音声入力とを相互に
関係して入力データ、入力コマンドの処理を行う情報処
理装置及び情報処理方法並びに情報処理装置制御プログ
ラムを記憶した媒体に関する。
プロセッサに適用され、ペン入力と音声入力とを相互に
関係して入力データ、入力コマンドの処理を行う情報処
理装置及び情報処理方法並びに情報処理装置制御プログ
ラムを記憶した媒体に関する。
【0002】
【従来の技術】従来、文書編集、図形編集、情報検索等
の情報処理において、ペン入力ではペンのみの入力コマ
ンド処理、音声入力では音声のみの入力コマンド処理と
いうように各々別々の入力方式となっていた。しかしな
がら、最近の音声認識技術の発展に伴い、例えば、ペン
入力と音声入力とを併用して入力コマンド処理を行う複
合入力方式が提案されている。
の情報処理において、ペン入力ではペンのみの入力コマ
ンド処理、音声入力では音声のみの入力コマンド処理と
いうように各々別々の入力方式となっていた。しかしな
がら、最近の音声認識技術の発展に伴い、例えば、ペン
入力と音声入力とを併用して入力コマンド処理を行う複
合入力方式が提案されている。
【0003】例えば、特開平6−89158号公報の記
載によれば、音声入力とペン入力において、表示画面上
のオブジェクトをペンでポインティングしながら音声入
力の指示に伴うポインティングの位置及び個数を求め、
ポインティングの個数に応じて指示内容補数の数を低減
する、音声認識の精度、処理速度の向上を図ることがで
きる複合形態情報入力方法が提案されている。
載によれば、音声入力とペン入力において、表示画面上
のオブジェクトをペンでポインティングしながら音声入
力の指示に伴うポインティングの位置及び個数を求め、
ポインティングの個数に応じて指示内容補数の数を低減
する、音声認識の精度、処理速度の向上を図ることがで
きる複合形態情報入力方法が提案されている。
【0004】また、特開平6−131108号公報の記
載によれば、音声入力とペン入力において、ペンによる
指示と音声による指示が相互から行われた場合に認識度
の高い方を採用したり、音声でデータを入力し、ペンに
よるジェスチャーにより挿入/削除などの編集コマンド
を入力する情報入力装置が提案されている。
載によれば、音声入力とペン入力において、ペンによる
指示と音声による指示が相互から行われた場合に認識度
の高い方を採用したり、音声でデータを入力し、ペンに
よるジェスチャーにより挿入/削除などの編集コマンド
を入力する情報入力装置が提案されている。
【0005】また、特開平6−131437号公報の記
載によれば、音声入力とペン入力において、ペン入力さ
れた対象に音声で指示を行い、その指示内容に応じてポ
インティングの指示内容を認識しながら、ポインティン
グと音声の指示内容に応じて対象に対する操作を実行す
る複合形態による操作指示方法が提案されている。
載によれば、音声入力とペン入力において、ペン入力さ
れた対象に音声で指示を行い、その指示内容に応じてポ
インティングの指示内容を認識しながら、ポインティン
グと音声の指示内容に応じて対象に対する操作を実行す
る複合形態による操作指示方法が提案されている。
【0006】また、特開平6−332660号公報の記
載によれば、音声入力とペン入力において、ポインティ
ング操作された対象を検出したときに、ポインティング
操作前後に音声入力された音声認識結果からユーザが意
図した処理を実行する情報処理装置が提案されている。
載によれば、音声入力とペン入力において、ポインティ
ング操作された対象を検出したときに、ポインティング
操作前後に音声入力された音声認識結果からユーザが意
図した処理を実行する情報処理装置が提案されている。
【0007】また、特開平7−5977号公報の記載に
よれば、音声入力とペン入力において、ポインティング
で指示される対象から音声の内容に合わせて複数の表示
物を一つを対象物として絞り込む複合形態による対象物
指示方法が提案されている。
よれば、音声入力とペン入力において、ポインティング
で指示される対象から音声の内容に合わせて複数の表示
物を一つを対象物として絞り込む複合形態による対象物
指示方法が提案されている。
【0008】
【発明が解決しようとする課題】しかしながら、前記各
文献の従来技術では、例えば、音声による対象指示
(A)及び操作指示、データ入力(B)と、ポインティ
ングデバイスによる対象指示(A’)及び操作指示
(B’)を組み合わせ、対象指示(A+A’)を操作指
示(B+B’)するという、「目的語(A群)+動詞
(B群)」の形態で入力処理する方法や装置であり、A
群内、B群内での指示コマンドの認識率を高めて、使い
やすい入力システムを構成しているが、例えば、A群と
B群の組み合わせによる操作内容のバリエーションがな
いため、入力コマンドを変化させることできないので各
種情報処理における操作性を十分に向上させているとは
いえない。
文献の従来技術では、例えば、音声による対象指示
(A)及び操作指示、データ入力(B)と、ポインティ
ングデバイスによる対象指示(A’)及び操作指示
(B’)を組み合わせ、対象指示(A+A’)を操作指
示(B+B’)するという、「目的語(A群)+動詞
(B群)」の形態で入力処理する方法や装置であり、A
群内、B群内での指示コマンドの認識率を高めて、使い
やすい入力システムを構成しているが、例えば、A群と
B群の組み合わせによる操作内容のバリエーションがな
いため、入力コマンドを変化させることできないので各
種情報処理における操作性を十分に向上させているとは
いえない。
【0009】本発明は以上の事情を考慮してなされたも
のであり、例えば、ポインティングデバイスにより入力
される軌跡コマンドと、マイクロフォンにより入力され
る音声コマンドとをマトリックス状に組み合わせたデー
タ処理コマンドを予め格納したコマンドテーブルを用い
て対象データを処理することにより、バリエーションを
持つ情報処理の操作を簡素化することができる情報処理
装置及び情報処理方法並びに情報処理装置制御プログラ
ムを記憶した媒体を提供する。
のであり、例えば、ポインティングデバイスにより入力
される軌跡コマンドと、マイクロフォンにより入力され
る音声コマンドとをマトリックス状に組み合わせたデー
タ処理コマンドを予め格納したコマンドテーブルを用い
て対象データを処理することにより、バリエーションを
持つ情報処理の操作を簡素化することができる情報処理
装置及び情報処理方法並びに情報処理装置制御プログラ
ムを記憶した媒体を提供する。
【0010】
【課題を解決するための手段】本発明は、軌跡コマンド
と音声コマンドとをマトリックス状に組み合わたデータ
処理コマンドを予め格納したコマンドテーブルと、前記
データ処理コマンドに基づいて処理される対象データを
画面に表示し、その画面にタブレットを有する表示部
と、前記タブレットに座標データを入力する座標入力部
と、入力された座標データを認識して軌跡コマンドを抽
出する軌跡認識部と、座標データの入力前後に音声デー
タを入力する音声入力部と、入力された音声データを認
識して音声コマンドを抽出する音声認識部と、抽出され
た軌跡コマンドと音声コマンドに対応するデータ処理コ
マンドを前記コマンドテーブルにより確定する確定部
と、読み出されたデータ処理コマンドに基づいて対象デ
ータを処理するデータ処理部とを備えたことを特徴とす
る情報処理装置である。
と音声コマンドとをマトリックス状に組み合わたデータ
処理コマンドを予め格納したコマンドテーブルと、前記
データ処理コマンドに基づいて処理される対象データを
画面に表示し、その画面にタブレットを有する表示部
と、前記タブレットに座標データを入力する座標入力部
と、入力された座標データを認識して軌跡コマンドを抽
出する軌跡認識部と、座標データの入力前後に音声デー
タを入力する音声入力部と、入力された音声データを認
識して音声コマンドを抽出する音声認識部と、抽出され
た軌跡コマンドと音声コマンドに対応するデータ処理コ
マンドを前記コマンドテーブルにより確定する確定部
と、読み出されたデータ処理コマンドに基づいて対象デ
ータを処理するデータ処理部とを備えたことを特徴とす
る情報処理装置である。
【0011】なお、本発明において、コマンドテーブ
ル、軌跡認識部、音声認識部、確定部、データ処理部
は、CPU、ROM、RAM、I/Oポートからなるマ
イクロコンピュータで構成させることが好ましい。特
に、コマンドテーブルは、この中のROMで構成するこ
とができる。軌跡認識部は、座標データを認識し、軌跡
コマンドを抽出するためのデータを格納するROM領域
を備えている。音声認識部は、音声データを認識し、音
声コマンドを抽出するためのデータを格納するROM領
域を備えている。
ル、軌跡認識部、音声認識部、確定部、データ処理部
は、CPU、ROM、RAM、I/Oポートからなるマ
イクロコンピュータで構成させることが好ましい。特
に、コマンドテーブルは、この中のROMで構成するこ
とができる。軌跡認識部は、座標データを認識し、軌跡
コマンドを抽出するためのデータを格納するROM領域
を備えている。音声認識部は、音声データを認識し、音
声コマンドを抽出するためのデータを格納するROM領
域を備えている。
【0012】表示部は、LCD(液晶ディスプレイ)、
PD(プラズマ・ディスプレイ)で構成されることが好
ましい。座標入力部は、ペン、マウス等のポインティン
グデバイスで構成されることが好ましい。音声入力部
は、マイクロフォンで構成されることが好ましい。
PD(プラズマ・ディスプレイ)で構成されることが好
ましい。座標入力部は、ペン、マウス等のポインティン
グデバイスで構成されることが好ましい。音声入力部
は、マイクロフォンで構成されることが好ましい。
【0013】本発明によれば、ポインティングデバイス
により入力される軌跡コマンドと、マイクロフォンによ
り入力される音声コマンドとをマトリックス状に組み合
わせたデータ処理コマンドを予め格納したコマンドテー
ブルを用いて対象データを処理することができるので、
バリエーションを持つ情報処理の操作を簡素化すること
ができる。
により入力される軌跡コマンドと、マイクロフォンによ
り入力される音声コマンドとをマトリックス状に組み合
わせたデータ処理コマンドを予め格納したコマンドテー
ブルを用いて対象データを処理することができるので、
バリエーションを持つ情報処理の操作を簡素化すること
ができる。
【0014】前記軌跡コマンドがジェスチャーコマンド
で構成されることが好ましい。前記構成によれば、ポイ
ンティングデバイスの軌跡コマンドとして、ジェスチャ
ーによる指示を用いるため、より直観的で慣れた操作で
対象データを処理することができる。
で構成されることが好ましい。前記構成によれば、ポイ
ンティングデバイスの軌跡コマンドとして、ジェスチャ
ーによる指示を用いるため、より直観的で慣れた操作で
対象データを処理することができる。
【0015】前記軌跡コマンドが対象データの移動位置
を指定する位置指定コマンドを含むよう構成されること
が好ましい。前記構成によれば、ポインティングデバイ
スにより対象データの移動位置を1ポイントで指定し
て、対象データを処理することができる。
を指定する位置指定コマンドを含むよう構成されること
が好ましい。前記構成によれば、ポインティングデバイ
スにより対象データの移動位置を1ポイントで指定し
て、対象データを処理することができる。
【0016】前記音声コマンドが指示代名詞、方向及び
処理順序を示す音声情報を含むよう構成されることが好
ましい。前記構成によれば、例えば、「これ」、
「右」、「次ぎ」等の簡単な音声情報で指定して、対象
データを処理することができる。
処理順序を示す音声情報を含むよう構成されることが好
ましい。前記構成によれば、例えば、「これ」、
「右」、「次ぎ」等の簡単な音声情報で指定して、対象
データを処理することができる。
【0017】前記コマンドテーブルは軌跡コマンドの入
力タイミングと音声コマンドの入力タイミングの状態に
基づいて異なるデータ処理コマンドを格納した構成にす
ることが好ましい。前記構成によれば、軌跡コマンド、
音声コマンドの種類を増やすことなく、より多彩なデー
タ処理コマンドを指定して、対象データを処理すること
ができる。
力タイミングと音声コマンドの入力タイミングの状態に
基づいて異なるデータ処理コマンドを格納した構成にす
ることが好ましい。前記構成によれば、軌跡コマンド、
音声コマンドの種類を増やすことなく、より多彩なデー
タ処理コマンドを指定して、対象データを処理すること
ができる。
【0018】本発明の別の観点によれば、軌跡コマンド
と音声コマンドとをマトリックス状に組み合わせたデー
タ処理コマンドを予め格納したコマンドテーブルと、画
面にタブレットを有する表示部とを備え、前記データ処
理コマンドに基づいて処理される対象データを前記表示
部の画面に表示し、前記タブレットに座標データが座標
入力部により入力し、その座標データを認識して軌跡コ
マンドを抽出し、座標データの入力前後に音声データが
音声入力部により入力し、その音声データを認識して音
声コマンドを抽出し、抽出された軌跡コマンドと音声コ
マンドに対応するデータ処理コマンドを前記コマンドテ
ーブルにより確定し、そのデータ処理コマンドに基づい
て対象データを処理することを特徴とする情報処理方法
が提供される。
と音声コマンドとをマトリックス状に組み合わせたデー
タ処理コマンドを予め格納したコマンドテーブルと、画
面にタブレットを有する表示部とを備え、前記データ処
理コマンドに基づいて処理される対象データを前記表示
部の画面に表示し、前記タブレットに座標データが座標
入力部により入力し、その座標データを認識して軌跡コ
マンドを抽出し、座標データの入力前後に音声データが
音声入力部により入力し、その音声データを認識して音
声コマンドを抽出し、抽出された軌跡コマンドと音声コ
マンドに対応するデータ処理コマンドを前記コマンドテ
ーブルにより確定し、そのデータ処理コマンドに基づい
て対象データを処理することを特徴とする情報処理方法
が提供される。
【0019】さらに、本発明の別の観点によれば、軌跡
コマンドと音声コマンドとをマトリックス状に組み合わ
せたデータ処理コマンドを予め格納したコマンドテーブ
ルと、画面にタブレットを有する表示部とを備えた情報
処理装置をコンピュータによって制御するためのプログ
ラムを記憶した媒体であって、前記コンピュータに、前
記データ処理コマンドに基づいて処理される対象データ
を前記表示部の画面に表示させ、前記タブレットに座標
データが座標入力部により入力されると、その座標デー
タを認識して軌跡コマンドを抽出させ、座標データの入
力前後に音声データが音声入力部により入力されると、
その音声データを認識して音声コマンドを抽出させ、抽
出された軌跡コマンドと音声コマンドに対応するデータ
処理コマンドを前記コマンドテーブルにより確定させ、
そのデータ処理コマンドに基づいて対象データを処理さ
せる情報処理装置制御プログラムを記憶した媒体が提供
される。
コマンドと音声コマンドとをマトリックス状に組み合わ
せたデータ処理コマンドを予め格納したコマンドテーブ
ルと、画面にタブレットを有する表示部とを備えた情報
処理装置をコンピュータによって制御するためのプログ
ラムを記憶した媒体であって、前記コンピュータに、前
記データ処理コマンドに基づいて処理される対象データ
を前記表示部の画面に表示させ、前記タブレットに座標
データが座標入力部により入力されると、その座標デー
タを認識して軌跡コマンドを抽出させ、座標データの入
力前後に音声データが音声入力部により入力されると、
その音声データを認識して音声コマンドを抽出させ、抽
出された軌跡コマンドと音声コマンドに対応するデータ
処理コマンドを前記コマンドテーブルにより確定させ、
そのデータ処理コマンドに基づいて対象データを処理さ
せる情報処理装置制御プログラムを記憶した媒体が提供
される。
【0020】
【発明の実施の形態】以下、図に示す実施例に基づいて
本発明を詳述する。なお、これによって本発明は限定さ
れるものではない。
本発明を詳述する。なお、これによって本発明は限定さ
れるものではない。
【0021】図1は本実施例の情報処理装置の全体構成
を示すブロック図である。図1において、1はCPU、
ROM、RAM、I/Oポートからなるマイクロコンピ
ュータで構成される中央処理装置を示し、中央処理装置
1は、この中のROMに記憶された制御プログラムによ
り各部を制御する。
を示すブロック図である。図1において、1はCPU、
ROM、RAM、I/Oポートからなるマイクロコンピ
ュータで構成される中央処理装置を示し、中央処理装置
1は、この中のROMに記憶された制御プログラムによ
り各部を制御する。
【0022】2はRAM、EEPROMで構成される表
示データ記憶部を示し、表示データ記憶部2は、表示部
の画面に表示する表示データを記憶する。3はCRTデ
ィスプレイ、LCD(液晶ディスプレイ)、PD(プラ
ズマ・ディスプレイ)等の表示装置で構成される表示部
を示し、表示部3は、表示データ記憶部2に記憶された
表示データを表示する。
示データ記憶部を示し、表示データ記憶部2は、表示部
の画面に表示する表示データを記憶する。3はCRTデ
ィスプレイ、LCD(液晶ディスプレイ)、PD(プラ
ズマ・ディスプレイ)等の表示装置で構成される表示部
を示し、表示部3は、表示データ記憶部2に記憶された
表示データを表示する。
【0023】4はタブレット、マウス、トラックパッド
等からなるポインティングデバイス、キーボード、スキ
ャナー、入力データ変換回路等で構成される入力装置や
通信装置で構成される入力部を示す。特に、透明タブレ
ットは表示部3の画面上に形成されている。
等からなるポインティングデバイス、キーボード、スキ
ャナー、入力データ変換回路等で構成される入力装置や
通信装置で構成される入力部を示す。特に、透明タブレ
ットは表示部3の画面上に形成されている。
【0024】5はペンのポインティングデバイスで構成
される座標入力部を示し、座標入力部5は、画面上の位
置の指示、あるいは入力されたデータの編集、校正等の
指示を表示部3に形成されたタブレット上にポインティ
ングする。6は軌跡認識プログラムとCPUからなる軌
跡認識部を示し、軌跡認識部6は、座標入力部5により
入力された座標データとテーブルに記憶された軌跡認識
用データとを照合して軌跡データを認識し、認識した軌
跡データを抽出する。
される座標入力部を示し、座標入力部5は、画面上の位
置の指示、あるいは入力されたデータの編集、校正等の
指示を表示部3に形成されたタブレット上にポインティ
ングする。6は軌跡認識プログラムとCPUからなる軌
跡認識部を示し、軌跡認識部6は、座標入力部5により
入力された座標データとテーブルに記憶された軌跡認識
用データとを照合して軌跡データを認識し、認識した軌
跡データを抽出する。
【0025】7はマイクロホン、A/D変換回路で構成
される音声入力部を示し、音声入力部7は、座標入力部
5により画面上の座標データの入力に前後してマイクロ
ホンから音声データを入力する。8は音声認識プログラ
ムとCPUからなる音声認識部を示し、音声認識部8
は、音声入力部7により入力された音声データとテーブ
ルに格納された音声認識用コマンドとを照合して音声コ
マンドを認識し、認識した音声コマンドを抽出する。
される音声入力部を示し、音声入力部7は、座標入力部
5により画面上の座標データの入力に前後してマイクロ
ホンから音声データを入力する。8は音声認識プログラ
ムとCPUからなる音声認識部を示し、音声認識部8
は、音声入力部7により入力された音声データとテーブ
ルに格納された音声認識用コマンドとを照合して音声コ
マンドを認識し、認識した音声コマンドを抽出する。
【0026】9はRAM、EEPROMあるいはフロッ
ピーディスク、ハードディスク等で構成される記憶部を
示し、座標入力部5により取得された座標データ/軌跡
データ及びジェスチャーコマンド、音声認識部8により
認識された音声データ、音声コマンド、音声コマンドと
ジェスチャーコマンドの入力状態を示すレジスタの値、
入力部より入力された編集対象の文書、図面のデータ、
編集対象データに対する編集履歴データ等を記憶する。
ピーディスク、ハードディスク等で構成される記憶部を
示し、座標入力部5により取得された座標データ/軌跡
データ及びジェスチャーコマンド、音声認識部8により
認識された音声データ、音声コマンド、音声コマンドと
ジェスチャーコマンドの入力状態を示すレジスタの値、
入力部より入力された編集対象の文書、図面のデータ、
編集対象データに対する編集履歴データ等を記憶する。
【0027】10はROMからなるテーブルを示し、軌
跡認識部6が、座標入力部5により入力された座標デー
タを軌跡コマンド(ジェスチャーコマンド、位置指定コ
マンド等を含む)と照合するための軌跡認識用データ、
音声認識部8が、音声入力部7により入力された音声デ
ータを音声コマンドと照合するための音声認識用デー
タ、及び音声コマンドと軌跡コマンドとをマトリックス
状に組み合わせたデータ処理コマンドによって対象デー
タを処理するためのコマンドテーブル(コマンドマトリ
ックス表(1)、(2))を格納している。
跡認識部6が、座標入力部5により入力された座標デー
タを軌跡コマンド(ジェスチャーコマンド、位置指定コ
マンド等を含む)と照合するための軌跡認識用データ、
音声認識部8が、音声入力部7により入力された音声デ
ータを音声コマンドと照合するための音声認識用デー
タ、及び音声コマンドと軌跡コマンドとをマトリックス
状に組み合わせたデータ処理コマンドによって対象デー
タを処理するためのコマンドテーブル(コマンドマトリ
ックス表(1)、(2))を格納している。
【0028】11はEEPROMからなるメモリカー
ド、CD−ROM、MD等で構成される外部記憶媒体で
あり、中央処理処理1のCPUが各部を制御するための
制御プログラムを記憶している。12は外部記憶媒体駆
動装置とインタフェース等で構成される外部記憶媒体読
取部を示し、外部記憶媒体読取部12は、中央処理装置
1のCPUの制御により外部記憶媒体11に記憶された
制御プログラムを読み取ってプログラムメモリまたは中
央処理装置1内のRAMにインストールされる。
ド、CD−ROM、MD等で構成される外部記憶媒体で
あり、中央処理処理1のCPUが各部を制御するための
制御プログラムを記憶している。12は外部記憶媒体駆
動装置とインタフェース等で構成される外部記憶媒体読
取部を示し、外部記憶媒体読取部12は、中央処理装置
1のCPUの制御により外部記憶媒体11に記憶された
制御プログラムを読み取ってプログラムメモリまたは中
央処理装置1内のRAMにインストールされる。
【0029】13はEEPROM、フロッピーディスク
等で構成されるプログラムメモリを示し、外部記憶媒体
読取部12により読み取られた外部記憶媒体11の制御
プログラムデータを記憶する。14はデータ/アドレス
を転送するバスを示し、中央処理装置1はバス14を介
して各部を制御する。
等で構成されるプログラムメモリを示し、外部記憶媒体
読取部12により読み取られた外部記憶媒体11の制御
プログラムデータを記憶する。14はデータ/アドレス
を転送するバスを示し、中央処理装置1はバス14を介
して各部を制御する。
【0030】また、テーブル10には、音声認識用デー
タ、軌跡認識用データ、コマンドマトリックス表の各デ
ータが既に格納されているが、前記各データは外部から
供給され、記憶部9内に格納することでも実現可能であ
る。この場合は中央処理装置1からのメモリアドレスを
テーブル10から記憶部9に切り替えるだけで実現可能
である。
タ、軌跡認識用データ、コマンドマトリックス表の各デ
ータが既に格納されているが、前記各データは外部から
供給され、記憶部9内に格納することでも実現可能であ
る。この場合は中央処理装置1からのメモリアドレスを
テーブル10から記憶部9に切り替えるだけで実現可能
である。
【0031】外部記憶媒体11には、表示データを表示
データ記憶部2に格納する手順(1)と、格納された表
示データを表示部3に表示する手順(2)と、座標入力
部5より表示部3のタブレット上に座標データを入力す
る手順(3)と、座標データを認識し軌跡コマンドを抽
出する手順(4)と、音声入力部7により音声データを
入力する手順(5)と、音声データを認識し音声コマン
ドを抽出する手順(6)と、軌跡コマンドと音声コマン
ドとの組み合わせから対象データに対するデータ処理コ
マンドをコマンドマトリックス表から読み出す手順
(7)と、読み出されたデータ処理コマンドに基づいて
対象データを処理する手順(8)とからなる制御プログ
ラムが記憶されている。
データ記憶部2に格納する手順(1)と、格納された表
示データを表示部3に表示する手順(2)と、座標入力
部5より表示部3のタブレット上に座標データを入力す
る手順(3)と、座標データを認識し軌跡コマンドを抽
出する手順(4)と、音声入力部7により音声データを
入力する手順(5)と、音声データを認識し音声コマン
ドを抽出する手順(6)と、軌跡コマンドと音声コマン
ドとの組み合わせから対象データに対するデータ処理コ
マンドをコマンドマトリックス表から読み出す手順
(7)と、読み出されたデータ処理コマンドに基づいて
対象データを処理する手順(8)とからなる制御プログ
ラムが記憶されている。
【0032】すなわち、軌跡コマンドと音声コマンドと
をマトリックス状に組み合わせたデータ処理コマンドを
予め格納したコマンドテーブル10と、画面にタブレッ
トを有する表示部3とを備えた情報処理装置をコンピュ
ータに、前記データ処理コマンドに基づいて処理される
対象データを前記表示部3の画面に表示させ、前記タブ
レットに座標データが座標入力部5により入力される
と、その座標データを認識して軌跡コマンドを抽出さ
せ、座標データの入力前後に音声データが音声入力部に
より入力されると、その音声データを認識して音声コマ
ンドを抽出させ、抽出された軌跡コマンドと音声コマン
ドとに対応するデータ処理コマンドを前記コマンドテー
ブル10から読み出させ、そのデータ処理コマンドに基
づいて対象データを処理させる情報処理装置制御プログ
ラムを媒体11に記憶している。
をマトリックス状に組み合わせたデータ処理コマンドを
予め格納したコマンドテーブル10と、画面にタブレッ
トを有する表示部3とを備えた情報処理装置をコンピュ
ータに、前記データ処理コマンドに基づいて処理される
対象データを前記表示部3の画面に表示させ、前記タブ
レットに座標データが座標入力部5により入力される
と、その座標データを認識して軌跡コマンドを抽出さ
せ、座標データの入力前後に音声データが音声入力部に
より入力されると、その音声データを認識して音声コマ
ンドを抽出させ、抽出された軌跡コマンドと音声コマン
ドとに対応するデータ処理コマンドを前記コマンドテー
ブル10から読み出させ、そのデータ処理コマンドに基
づいて対象データを処理させる情報処理装置制御プログ
ラムを媒体11に記憶している。
【0033】図2は本実施例の情報処理装置のデータ処
理の手順を示すメインフローチャートである。図3は本
実施例によるデータ処理コマンド確定の手順(1)を示
すサブフローチャートである。図5は本実施例によるデ
ータ処理の手順と表示画面の状態(1)を示す説明図で
ある。図5において、ステップ番号は図2、図3のステ
ップ番号に対応している。
理の手順を示すメインフローチャートである。図3は本
実施例によるデータ処理コマンド確定の手順(1)を示
すサブフローチャートである。図5は本実施例によるデ
ータ処理の手順と表示画面の状態(1)を示す説明図で
ある。図5において、ステップ番号は図2、図3のステ
ップ番号に対応している。
【0034】図9は本実施例によるコマンドマトリック
ス表(1)を示す図である。図9において、ジェスチャ
ーコマンドと音声コマンドとが同時に入力された場合
に、対象データに対してデータ処理するデータ処理コマ
ンドがコマンドマトリックス表としてコマンドテーブル
に格納されている。ここでは、「音声コマンド」×「ジ
ェスチャーコマンド」の4行8列の枠部分にデータ処理
コマンドが格納されている。
ス表(1)を示す図である。図9において、ジェスチャ
ーコマンドと音声コマンドとが同時に入力された場合
に、対象データに対してデータ処理するデータ処理コマ
ンドがコマンドマトリックス表としてコマンドテーブル
に格納されている。ここでは、「音声コマンド」×「ジ
ェスチャーコマンド」の4行8列の枠部分にデータ処理
コマンドが格納されている。
【0035】図11は本実施例の記憶部のレジスタに記
憶されるデータ処理コマンド作成中のシーケンス(1)
を示す図である。図11において、ジェスチャーコマン
ドと音声コマンドとが同時に入力された場合に、レジス
タAのビット値によりシーケンス(入力手順)を格納し
ている。
憶されるデータ処理コマンド作成中のシーケンス(1)
を示す図である。図11において、ジェスチャーコマン
ドと音声コマンドとが同時に入力された場合に、レジス
タAのビット値によりシーケンス(入力手順)を格納し
ている。
【0036】[実施例1]実施例1について、図2〜図
3のフローチャート、図5、図9、図11に基づいて詳
細に説明する。図2において、 ステップM1−1:記憶部9内の編集対象の文書データ
に対し、中央処理装置1が、文書データに対応した表示
データを作成し、表示データ記憶部2に格納する。
3のフローチャート、図5、図9、図11に基づいて詳
細に説明する。図2において、 ステップM1−1:記憶部9内の編集対象の文書データ
に対し、中央処理装置1が、文書データに対応した表示
データを作成し、表示データ記憶部2に格納する。
【0037】ステップM1−2:表示部3は表示データ
記憶部2内に格納された表示データを画面上に表示す
る。図5のM1−2は、表示部3の画面に表示された表
示データを示している。ここでは、例として「文書ファ
イル内の文書データ」の一部を操作対象データとする。 ステップM1−3:操作者は、表示部3の画面に表示さ
れた表示データを見て、記憶部2内の操作対象とするデ
ータ、例えば、データファイル、データファイル内のデ
ータ、データファイルの名称部分等を座標入力部5、も
しくは入力部4により指定する。
記憶部2内に格納された表示データを画面上に表示す
る。図5のM1−2は、表示部3の画面に表示された表
示データを示している。ここでは、例として「文書ファ
イル内の文書データ」の一部を操作対象データとする。 ステップM1−3:操作者は、表示部3の画面に表示さ
れた表示データを見て、記憶部2内の操作対象とするデ
ータ、例えば、データファイル、データファイル内のデ
ータ、データファイルの名称部分等を座標入力部5、も
しくは入力部4により指定する。
【0038】図5のM1−3では、入力部4により操作
対象データを指定した状態を示しており、表示部3の画
面上でのカーソル位置が入力部4により指定された操作
対象部分を示している。次に、図3のサブフローチャー
トのステップC1−1に移行する。
対象データを指定した状態を示しており、表示部3の画
面上でのカーソル位置が入力部4により指定された操作
対象部分を示している。次に、図3のサブフローチャー
トのステップC1−1に移行する。
【0039】ステップC1−1:操作者は指定した操作
対象データに対し、音声、そしてペン等のポインティン
グデバイスを用いた軌跡(以下ジェスチャーという)に
よる指示を入力する。例えば、音声による指示として
は、「右」と操作者が発音し、ポインティングデバイス
で「消去」を表すジェスチャーを入力する。
対象データに対し、音声、そしてペン等のポインティン
グデバイスを用いた軌跡(以下ジェスチャーという)に
よる指示を入力する。例えば、音声による指示として
は、「右」と操作者が発音し、ポインティングデバイス
で「消去」を表すジェスチャーを入力する。
【0040】音声コマンドジェスチャーが入力された場
合、それぞれ音声認識部8、座標入力部5から中央処理
装置1に対し、入力があったことを知らせる割り込みを
発生する。この時点で、それぞれの指示内容は、装置と
しては認識されていない。図5のC1−1は、指定され
た操作対象データに対してのコマンドを、音声とポイン
ティングデバイスによる軌跡の入力で行った状態を示し
ている。ステップC1−2:中央処理装置1は、音声認
識部8からの割り込みを検知したら、ステップC1−4
に移行し、そうでなければステップC1−3に移行す
る。
合、それぞれ音声認識部8、座標入力部5から中央処理
装置1に対し、入力があったことを知らせる割り込みを
発生する。この時点で、それぞれの指示内容は、装置と
しては認識されていない。図5のC1−1は、指定され
た操作対象データに対してのコマンドを、音声とポイン
ティングデバイスによる軌跡の入力で行った状態を示し
ている。ステップC1−2:中央処理装置1は、音声認
識部8からの割り込みを検知したら、ステップC1−4
に移行し、そうでなければステップC1−3に移行す
る。
【0041】ステップC1−3:中央処理装置1は、座
標入力部5からの割り込みを検知したら、ステップC1
−7に移行し、そうでなければステップC1−2に戻る
(レジスタAのビット値は“000”である)。
標入力部5からの割り込みを検知したら、ステップC1
−7に移行し、そうでなければステップC1−2に戻る
(レジスタAのビット値は“000”である)。
【0042】ステップC1−4:中央処理装置1は、入
力された音声データの認識を音声認識部8に指示し、音
声認識部8は、入力される音声データを順次認識してい
き、レジスタAのビット値を“001”とする。認識処
理が終了したら、処理終了を示す割り込みを中央処理装
置1に対して発生する。
力された音声データの認識を音声認識部8に指示し、音
声認識部8は、入力される音声データを順次認識してい
き、レジスタAのビット値を“001”とする。認識処
理が終了したら、処理終了を示す割り込みを中央処理装
置1に対して発生する。
【0043】ステップC1−5、6:中央処理装置1
は、音声データの認識終了前にジェスチャーによる指示
入力の割り込みを検知した場合、ステップC1−7に移
行し、ジェスチャーによる指示入力がないまま音声デー
タの認識終了の割り込みを検知した場合、ステップC1
−13に移行する。
は、音声データの認識終了前にジェスチャーによる指示
入力の割り込みを検知した場合、ステップC1−7に移
行し、ジェスチャーによる指示入力がないまま音声デー
タの認識終了の割り込みを検知した場合、ステップC1
−13に移行する。
【0044】ステップC1−7:中央処理装置1は、入
力された軌跡データ(ジェスチャー)の認識を軌跡認識
部6に指示し、軌跡認識部6は、入力されるジェスチャ
ーを順次認識していく。また、レジスタAのビット値
を、元のビット値が“001”であれば“011”に、
“000”であれば“010”とする。認識処理が終了
したら、処理終了を示す割り込みを中央処理装置1に対
して発生する。
力された軌跡データ(ジェスチャー)の認識を軌跡認識
部6に指示し、軌跡認識部6は、入力されるジェスチャ
ーを順次認識していく。また、レジスタAのビット値
を、元のビット値が“001”であれば“011”に、
“000”であれば“010”とする。認識処理が終了
したら、処理終了を示す割り込みを中央処理装置1に対
して発生する。
【0045】ステップC1−8:中央処理装置1は、ジ
ェスチャー認識終了の割り込みを検知した場合、ステッ
プC1−10に移行し、割り込みを検知していない場合
は、ステップC1−9に移行する。 ステップC1−9:中央処理装置1は、レジスタAのビ
ット値を認識し、“011”であれば、ステップC1−
8に戻り(既に、音声認識部8が処理を行っていること
を示す)、“010”であれば、ステップC1−15に
移行する(音声認識処理はスタートしていないことを示
す)。
ェスチャー認識終了の割り込みを検知した場合、ステッ
プC1−10に移行し、割り込みを検知していない場合
は、ステップC1−9に移行する。 ステップC1−9:中央処理装置1は、レジスタAのビ
ット値を認識し、“011”であれば、ステップC1−
8に戻り(既に、音声認識部8が処理を行っていること
を示す)、“010”であれば、ステップC1−15に
移行する(音声認識処理はスタートしていないことを示
す)。
【0046】ステップC1−15:音声による指示入力
の割り込みを検知した場合は、ステップC1−16に移
行し、検知していない場合は、ステップC1−8に戻
る。 ステップC1−16:中央処理装置1は入力された音声
データの認識を音声認識部8に指示し、音声認識部8は
入力された音声データを順次認識していき、レジスタA
のビット値を“110”とする。認識処理が終了した
ら、処理終了を示す割り込みを中央処理装置1に対して
発生する。
の割り込みを検知した場合は、ステップC1−16に移
行し、検知していない場合は、ステップC1−8に戻
る。 ステップC1−16:中央処理装置1は入力された音声
データの認識を音声認識部8に指示し、音声認識部8は
入力された音声データを順次認識していき、レジスタA
のビット値を“110”とする。認識処理が終了した
ら、処理終了を示す割り込みを中央処理装置1に対して
発生する。
【0047】ステップC1−17:中央処理装置1は、
軌跡認識部6からのジェスチャー認識終了の割り込みを
検知した場合、ステップC1−10に戻り、割り込みを
検知していない場合は、ステップC1−17に戻る。 ステップC1−10:ジェスチャー認識終了後、軌跡認
識部7は、認識確定したジェスチャーの示すコマンドを
記憶部9内に格納する。
軌跡認識部6からのジェスチャー認識終了の割り込みを
検知した場合、ステップC1−10に戻り、割り込みを
検知していない場合は、ステップC1−17に戻る。 ステップC1−10:ジェスチャー認識終了後、軌跡認
識部7は、認識確定したジェスチャーの示すコマンドを
記憶部9内に格納する。
【0048】ステップC1−11:中央処理装置1は、
レジスタAのビット値を確認し、“011”あるいは
“110”であれば(既に音声認識部8が処理を行って
いることを示す)、ステップC1−12に移行し、“0
10”であれば(音声認識処理は行っていないことを示
す)、ステップC1−18に移行し、コマンド入力処理
を終了する。
レジスタAのビット値を確認し、“011”あるいは
“110”であれば(既に音声認識部8が処理を行って
いることを示す)、ステップC1−12に移行し、“0
10”であれば(音声認識処理は行っていないことを示
す)、ステップC1−18に移行し、コマンド入力処理
を終了する。
【0049】ステップC1−12:中央処理装置1は、
音声データ認識終了の割り込みを検知した場合ステップ
C1−13に移行し、検知しない場合(音声データ認識
処理続行中)、ステップC1−12のまま、入力終了を
待つ。 ステップC1−13:音声データ認識終了後、音声認識
部8は、認識確定した音声データの示すコマンドを記憶
部9内に格納した後、ステップC1−18に移行して、
コマンド入力処理を終了する。次に、図2のメインフロ
ーチャートのステップD1−1に戻る。
音声データ認識終了の割り込みを検知した場合ステップ
C1−13に移行し、検知しない場合(音声データ認識
処理続行中)、ステップC1−12のまま、入力終了を
待つ。 ステップC1−13:音声データ認識終了後、音声認識
部8は、認識確定した音声データの示すコマンドを記憶
部9内に格納した後、ステップC1−18に移行して、
コマンド入力処理を終了する。次に、図2のメインフロ
ーチャートのステップD1−1に戻る。
【0050】ステップD1−1:中央処理装置1は、図
3のステップC1−18の時点で確定した音声によるコ
マンドと、ジェスチャーによるコマンド、及びレジスタ
Aの値から、テーブル10内のコマンドマトリックス表
を用いて該当する処理を決定する。 ステップD1−2:中央処理装置1は、ステップD1−
1で決定した処理を前記対象データに対して実行する。
3のステップC1−18の時点で確定した音声によるコ
マンドと、ジェスチャーによるコマンド、及びレジスタ
Aの値から、テーブル10内のコマンドマトリックス表
を用いて該当する処理を決定する。 ステップD1−2:中央処理装置1は、ステップD1−
1で決定した処理を前記対象データに対して実行する。
【0051】図5のD1−2では、ステップD1−1で
指定された処理に従い、操作対象データであるカーソル
位置より右側に表示されているデータを消去した状態を
示している。
指定された処理に従い、操作対象データであるカーソル
位置より右側に表示されているデータを消去した状態を
示している。
【0052】本実施例では、ジェスチャーコマンド:
「消去コマンド」、音声コマンド:「右」であり、図9
のコマンドマトリックス表(1)より、該当する処理は
<カーソル右消去>となり、『カーソル位置より右の表
示データを全て消去』が実行すべきデータ処理となる。
「消去コマンド」、音声コマンド:「右」であり、図9
のコマンドマトリックス表(1)より、該当する処理は
<カーソル右消去>となり、『カーソル位置より右の表
示データを全て消去』が実行すべきデータ処理となる。
【0053】以上の処理によって、ポインティングデバ
イスにより入力されるジェスチャーコマンドと、マイク
ロフォンにより入力される音声コマンドとを認識して、
コマンドテーブル(コマンドマトリックス表(1))を
用いて、データ処理コマンドを確定して対象データを処
理することができるので、バリエーションを持つ情報処
理の操作を簡素化することができる。ポインティングデ
バイスの軌跡コマンドとして、ジェスチャーコマンドで
構成されているので、より直観的で慣れた操作で対象デ
ータを処理することができる。
イスにより入力されるジェスチャーコマンドと、マイク
ロフォンにより入力される音声コマンドとを認識して、
コマンドテーブル(コマンドマトリックス表(1))を
用いて、データ処理コマンドを確定して対象データを処
理することができるので、バリエーションを持つ情報処
理の操作を簡素化することができる。ポインティングデ
バイスの軌跡コマンドとして、ジェスチャーコマンドで
構成されているので、より直観的で慣れた操作で対象デ
ータを処理することができる。
【0054】図4は本実施例によるデータ処理コマンド
確定の手順(2)を示すサブフローチャートである。図
6は本実施例による移動させる対象データの表示画面の
状態を示す説明図である。図6において、斜線部(a)
が、現在、表示されている表示データを示す。表示され
ていない表示データはスクロールすることで表示する。
図7は本実施例によるデータ処理の手順と表示画面の状
態(2)を示す説明図である。図7において、ステップ
番号は図2、図4のステップ番号に対応している。
確定の手順(2)を示すサブフローチャートである。図
6は本実施例による移動させる対象データの表示画面の
状態を示す説明図である。図6において、斜線部(a)
が、現在、表示されている表示データを示す。表示され
ていない表示データはスクロールすることで表示する。
図7は本実施例によるデータ処理の手順と表示画面の状
態(2)を示す説明図である。図7において、ステップ
番号は図2、図4のステップ番号に対応している。
【0055】図12は本実施例の記憶部のレジスタに記
憶されるデータ処理コマンド作成中のシーケンス(2)
を示す図である。図12において、位置指定コマンドと
音声コマンドとが同時に入力された場合に、レジスタA
のビット値によりシーケンス(入力手順)を格納してい
る。
憶されるデータ処理コマンド作成中のシーケンス(2)
を示す図である。図12において、位置指定コマンドと
音声コマンドとが同時に入力された場合に、レジスタA
のビット値によりシーケンス(入力手順)を格納してい
る。
【0056】[実施例2]実施例2について、図2、図
4のフローチャート、図5〜図7、図9、図12に基づ
いて説明する。図2において、 ステップM2−1:記憶部9内の編集対象の文書データ
に対し、中央処理装置1が、前記文書データに対応した
表示データを作成し、表示データ記憶部2に格納する。
4のフローチャート、図5〜図7、図9、図12に基づ
いて説明する。図2において、 ステップM2−1:記憶部9内の編集対象の文書データ
に対し、中央処理装置1が、前記文書データに対応した
表示データを作成し、表示データ記憶部2に格納する。
【0057】ステップM2−2:表示部3は表示データ
記憶部2内の前記表示データを画面上に表示する。図5
のM1−1は、表示部3に表示データが表示された状態
を表している。本実施例では、文書データの全てを表示
せずに一部分のみを表示している場合について説明す
る。図7に示す中央の網掛け部が現在の表示部で表示し
ている範囲を示している。次に、図4のサブフローチャ
ートのステップC2−1に移行する。
記憶部2内の前記表示データを画面上に表示する。図5
のM1−1は、表示部3に表示データが表示された状態
を表している。本実施例では、文書データの全てを表示
せずに一部分のみを表示している場合について説明す
る。図7に示す中央の網掛け部が現在の表示部で表示し
ている範囲を示している。次に、図4のサブフローチャ
ートのステップC2−1に移行する。
【0058】ステップC2−1:操作者は指定した操作
対象データに対し、音声による指示と、ペン等のポイン
ティングデバイスを用いた対象データの指定に関する指
示を入力する。例えば、音声による指示としては、
「次」と操作者が発音し、ポインティングデバイスで、
表示部3上に表示されている操作対象データ上の右の部
分をポイントする(図7のC2−1)。音声の入力と、
ポインティングデバイスによるポイントがなされた場
合、それぞれ音声認識部8、座標入力部5から、中央処
理装置1に対し入力があったことを知らせる割り込みを
発生する。この時点で、それぞれの指示内容の詳細は判
明していない。
対象データに対し、音声による指示と、ペン等のポイン
ティングデバイスを用いた対象データの指定に関する指
示を入力する。例えば、音声による指示としては、
「次」と操作者が発音し、ポインティングデバイスで、
表示部3上に表示されている操作対象データ上の右の部
分をポイントする(図7のC2−1)。音声の入力と、
ポインティングデバイスによるポイントがなされた場
合、それぞれ音声認識部8、座標入力部5から、中央処
理装置1に対し入力があったことを知らせる割り込みを
発生する。この時点で、それぞれの指示内容の詳細は判
明していない。
【0059】ステップC2−2:中央処理装置1は、音
声認識部8からの割り込みを検知したら、ステップC2
−4に移行し、そうでなければ、ステップC2−3に移
行する。 ステップC2−3:中央処理装置1は、座標入力部5か
らの割り込みを検知したら、ステップC2−7に移行
し、そうでなければ、ステップC2−2に移行する。
声認識部8からの割り込みを検知したら、ステップC2
−4に移行し、そうでなければ、ステップC2−3に移
行する。 ステップC2−3:中央処理装置1は、座標入力部5か
らの割り込みを検知したら、ステップC2−7に移行
し、そうでなければ、ステップC2−2に移行する。
【0060】ステップC2−4:中央処理装置1は、入
力された音声データの認識を音声認識部8に指示し、音
声認識部8は、入力される音声データを順次認識してい
き、レジスタAの値を“01”とする(図12参照)。
認識処理が終了したら、処理終了を示す割り込みを中央
処理装置1に対して発生する。
力された音声データの認識を音声認識部8に指示し、音
声認識部8は、入力される音声データを順次認識してい
き、レジスタAの値を“01”とする(図12参照)。
認識処理が終了したら、処理終了を示す割り込みを中央
処理装置1に対して発生する。
【0061】ステップC2−5、6:中央処理装置1
は、音声データの認識終了前に座標入力部5からの対象
データ上の座標入力による割り込みを検知した場合、ス
テップC2−7に移行し、座標入力による割り込みがな
いまま音声データの認識終了の割り込みを検知した場
合、ステップC2−10に移行する。
は、音声データの認識終了前に座標入力部5からの対象
データ上の座標入力による割り込みを検知した場合、ス
テップC2−7に移行し、座標入力による割り込みがな
いまま音声データの認識終了の割り込みを検知した場
合、ステップC2−10に移行する。
【0062】ステップC2−7:中央処理装置1は、入
力された座標データを座標入力部5から取得し、レジス
タAのビット値を、元のビット値が“01”であれば
“11”に、“00”であれば“10”とする。取得処
理が終了したら、処理終了を示す割り込みを中央処理装
置1に対して発生する。 ステップC2−8:中央処理装置1は、位置座標データ
の取得終了の割り込みを検知した場合、ステップC2−
9に移行し、割り込みを検知していない場合は、ステッ
プC2−11に移行する。
力された座標データを座標入力部5から取得し、レジス
タAのビット値を、元のビット値が“01”であれば
“11”に、“00”であれば“10”とする。取得処
理が終了したら、処理終了を示す割り込みを中央処理装
置1に対して発生する。 ステップC2−8:中央処理装置1は、位置座標データ
の取得終了の割り込みを検知した場合、ステップC2−
9に移行し、割り込みを検知していない場合は、ステッ
プC2−11に移行する。
【0063】ステップC2−9:中央処理装置1は、音
声認識部8からの音声認識終了の割り込みを検知した場
合、ステップC2−10に移行し、割り込みを検知して
いない場合は、ステップC2−9のままである。 ステップC2−10:音声認識終了後、音声認識部8
は、認識確定した音声データの示すコマンドを記憶部9
内に格納する。次に、図2のメインフローチャートのス
テップD2−1に戻る。
声認識部8からの音声認識終了の割り込みを検知した場
合、ステップC2−10に移行し、割り込みを検知して
いない場合は、ステップC2−9のままである。 ステップC2−10:音声認識終了後、音声認識部8
は、認識確定した音声データの示すコマンドを記憶部9
内に格納する。次に、図2のメインフローチャートのス
テップD2−1に戻る。
【0064】ステップD2−1:中央処理装置1は、ス
テップC2−10の時点で確定した音声によるコマンド
と、ポイント位置によるコマンド、及びレジスタAのビ
ット値から、テーブル10内のコマンドマトリックス表
を用いて該当する処理を決定する。この場合、ポイント
位置コマンド:「右」、音声コマンド:「次」であり、
表1コマンドマトリックス表より、該当する処理は<表
示データ右に移動>となり、『現在表示中のデータ位置
より右のデータを表示』が実行すべき処理となる。 ステップD2−2:中央処理装置1は、ステップD2−
1で決定した処理を前記対象データに対して実行する。
この場合、表示されているデータは、図6に示す網掛け
部の右の部分、「4のとき」の部分となる。
テップC2−10の時点で確定した音声によるコマンド
と、ポイント位置によるコマンド、及びレジスタAのビ
ット値から、テーブル10内のコマンドマトリックス表
を用いて該当する処理を決定する。この場合、ポイント
位置コマンド:「右」、音声コマンド:「次」であり、
表1コマンドマトリックス表より、該当する処理は<表
示データ右に移動>となり、『現在表示中のデータ位置
より右のデータを表示』が実行すべき処理となる。 ステップD2−2:中央処理装置1は、ステップD2−
1で決定した処理を前記対象データに対して実行する。
この場合、表示されているデータは、図6に示す網掛け
部の右の部分、「4のとき」の部分となる。
【0065】以上の処理によって、ポインティングデバ
イスにより入力される位置指定コマンドと、マイクロフ
ォンにより入力される音声コマンドとを認識して、コマ
ンドテーブル(コマンドマトリックス表(1))を用い
て、データ処理コマンドを確定して対象データを処理す
ることができるので、バリエーションを持つ情報処理の
操作を簡素化することができる。軌跡コマンドが対象デ
ータの移動位置を指定する位置指定コマンドを含むこと
により、位置指定を1ポイントで指定して、対象データ
を処理することができる。
イスにより入力される位置指定コマンドと、マイクロフ
ォンにより入力される音声コマンドとを認識して、コマ
ンドテーブル(コマンドマトリックス表(1))を用い
て、データ処理コマンドを確定して対象データを処理す
ることができるので、バリエーションを持つ情報処理の
操作を簡素化することができる。軌跡コマンドが対象デ
ータの移動位置を指定する位置指定コマンドを含むこと
により、位置指定を1ポイントで指定して、対象データ
を処理することができる。
【0066】図8は本実施例によるデータ処理の手順と
表示画面の状態(3)を示す説明図である。図8におい
て、ステップ番号は図2、図4のステップ番号に対応し
ている。
表示画面の状態(3)を示す説明図である。図8におい
て、ステップ番号は図2、図4のステップ番号に対応し
ている。
【0067】図10の本実施例によるコマンドマトリッ
クス表(2)を示す図である。図10において、本実施
例では、「音声コマンド」×「位置指定コマンド」の4
行8列の枠部分にデータ処理コマンドが格納されてい
る。 ジェスチャーコマンドのみの入力:レジスタAのビット
値“010”を示し、データ処理コマンドは未定義とな
る。
クス表(2)を示す図である。図10において、本実施
例では、「音声コマンド」×「位置指定コマンド」の4
行8列の枠部分にデータ処理コマンドが格納されてい
る。 ジェスチャーコマンドのみの入力:レジスタAのビット
値“010”を示し、データ処理コマンドは未定義とな
る。
【0068】ジェスチャーコマンドに続いて音声コマン
ドを入力:レジスタAのビット値“010”を示し、コ
マンドマトリックス表(2)に示すデータ処理コマンド
が定義される。 音声コマンドに続いてジェスチャーコマンドを入力:レ
ジスタAのビット値“011”を示し、コマンドマトリ
ックス表(2)に示すデータ処理コマンドが定義され
る。
ドを入力:レジスタAのビット値“010”を示し、コ
マンドマトリックス表(2)に示すデータ処理コマンド
が定義される。 音声コマンドに続いてジェスチャーコマンドを入力:レ
ジスタAのビット値“011”を示し、コマンドマトリ
ックス表(2)に示すデータ処理コマンドが定義され
る。
【0069】[実施例3]実施例3について、図2、図
4のフローチャート、図8、図10、図11に基づいて
説明する。なお、実施例3のおいて、ステップD3−
1、ステップD3−2は、実施例1〜2のステップD1
−1、ステップD1−2のステップ番号を差し替えるこ
とで本実施例とする。また、実施例1〜2のジェスチャ
ーコマンドと音声コマンドの認識結果をそれぞれ「(カ
ーソル)移動」、「右」とする。
4のフローチャート、図8、図10、図11に基づいて
説明する。なお、実施例3のおいて、ステップD3−
1、ステップD3−2は、実施例1〜2のステップD1
−1、ステップD1−2のステップ番号を差し替えるこ
とで本実施例とする。また、実施例1〜2のジェスチャ
ーコマンドと音声コマンドの認識結果をそれぞれ「(カ
ーソル)移動」、「右」とする。
【0070】ステップD3−1:中央処理装置1は、ス
テップC1−18の時点で確定した音声によるコマンド
と、ジェスチャーによるコマンド、及びレジスタAの値
から、テーブル10内のコマンドマトリックス表を用い
て該当する処理を決定する。実施例3では、ジェスチャ
ーコマンド:「(カーソル)移動」、音声コマンド:
「右」であり、コマンドマトリックス表(2)より、音
声コマンド入力中にジェスチャーコマンドが入力されて
いた場合、レジスタAのビット値は“011”となり、
該当する処理は<カーソルより右の部分>となり、『カ
ーソル位置より右のデータ(文字列)を移動』が実行す
べき処理となる。この場合、ステップD3−2でデータ
の移動先を指定する。
テップC1−18の時点で確定した音声によるコマンド
と、ジェスチャーによるコマンド、及びレジスタAの値
から、テーブル10内のコマンドマトリックス表を用い
て該当する処理を決定する。実施例3では、ジェスチャ
ーコマンド:「(カーソル)移動」、音声コマンド:
「右」であり、コマンドマトリックス表(2)より、音
声コマンド入力中にジェスチャーコマンドが入力されて
いた場合、レジスタAのビット値は“011”となり、
該当する処理は<カーソルより右の部分>となり、『カ
ーソル位置より右のデータ(文字列)を移動』が実行す
べき処理となる。この場合、ステップD3−2でデータ
の移動先を指定する。
【0071】また、ジェスチャーコマンド入力中に音声
コマンドが入力された場合、レジスタAのビット値は
“110”、あるいは“111”となり、該当する処理
は<行右端>となり、『カーソル位置をカーソルの存在
する行の右端に移動』が実行すべき処理となる。
コマンドが入力された場合、レジスタAのビット値は
“110”、あるいは“111”となり、該当する処理
は<行右端>となり、『カーソル位置をカーソルの存在
する行の右端に移動』が実行すべき処理となる。
【0072】ステップD3−2:中央処理装置1はステ
ップD3−1で決定した処理を前記対象データに対して
実行する。図8のステップD3−2は、ステップD3−
1で指定された処理に従い、操作対象データであるカー
ソル位置より右側に表示されているデータを消去した状
態を表している。
ップD3−1で決定した処理を前記対象データに対して
実行する。図8のステップD3−2は、ステップD3−
1で指定された処理に従い、操作対象データであるカー
ソル位置より右側に表示されているデータを消去した状
態を表している。
【0073】以上の処理によって、ポインティングデバ
イスにより入力されるカーソル移動コマンドと、マイク
ロフォンにより入力される音声コマンドとを認識して、
コマンドテーブル(コマンドマトリックス表(2))を
用いて、データ処理コマンドを確定して対象データを処
理することができるので、バリエーションを持つ情報処
理の操作を簡素化することができる。
イスにより入力されるカーソル移動コマンドと、マイク
ロフォンにより入力される音声コマンドとを認識して、
コマンドテーブル(コマンドマトリックス表(2))を
用いて、データ処理コマンドを確定して対象データを処
理することができるので、バリエーションを持つ情報処
理の操作を簡素化することができる。
【0074】コマンドテーブルは、軌跡コマンド(カー
ソル移動コマンド)の入力タイミングと音声コマンドの
入力タイミングの状態に基づいて異なるデータ処理コマ
ンドを格納した構成にしたことにより、軌跡コマンド、
音声コマンドの種類を増やすことなく、より多彩なデー
タ処理コマンドを指定して、対象データを処理すること
ができる。
ソル移動コマンド)の入力タイミングと音声コマンドの
入力タイミングの状態に基づいて異なるデータ処理コマ
ンドを格納した構成にしたことにより、軌跡コマンド、
音声コマンドの種類を増やすことなく、より多彩なデー
タ処理コマンドを指定して、対象データを処理すること
ができる。
【0075】
【発明の効果】本発明によれば、ポインティングデバイ
スにより入力される軌跡コマンドと、マイクロフォンに
より入力される音声コマンドとをマトリックス状に組み
合わせたデータ処理コマンドを予め格納したコマンドテ
ーブルを用いて対象データを処理することにより、バリ
エーションを持つ情報処理の操作を簡素化することがで
きる。
スにより入力される軌跡コマンドと、マイクロフォンに
より入力される音声コマンドとをマトリックス状に組み
合わせたデータ処理コマンドを予め格納したコマンドテ
ーブルを用いて対象データを処理することにより、バリ
エーションを持つ情報処理の操作を簡素化することがで
きる。
【図1】本実施例の情報処理装置の全体構成を示すブロ
ック図である。
ック図である。
【図2】本実施例の情報処理装置のデータ処理の手順を
示すメインフローチャートである。
示すメインフローチャートである。
【図3】本実施例によるデータ処理コマンド確定の手順
(1)を示すサブフローチャートである。
(1)を示すサブフローチャートである。
【図4】本実施例によるデータ処理コマンド確定の手順
(2)を示すサブフローチャートである。
(2)を示すサブフローチャートである。
【図5】本実施例によるデータ処理の手順と表示画面の
状態(1)を示す説明図である。
状態(1)を示す説明図である。
【図6】本実施例による移動させる対象データの表示画
面の状態を示す説明図である。
面の状態を示す説明図である。
【図7】本実施例によるデータ処理の手順と表示画面の
状態(2)を示す説明図である。
状態(2)を示す説明図である。
【図8】本実施例によるデータ処理の手順と表示画面の
状態(3)を示す説明図である。
状態(3)を示す説明図である。
【図9】本実施例によるコマンドマトリックス表(1)
を示す図である。
を示す図である。
【図10】本実施例によるコマンドマトリックス表
(2)を示す図である。
(2)を示す図である。
【図11】本実施例の記憶部のレジスタに記憶されるデ
ータ処理コマンド作成中のシーケンス(1)を示す図で
ある。
ータ処理コマンド作成中のシーケンス(1)を示す図で
ある。
【図12】本実施例の記憶部のレジスタに記憶されるデ
ータ処理コマンド作成中のシーケンス(2)を示す図で
ある。
ータ処理コマンド作成中のシーケンス(2)を示す図で
ある。
1 中央処理装置 2 表示データ記憶部 3 表示部 4 入力部 5 座標入力部 6 軌跡認識部 7 音声入力部 8 音声認識部 9 記憶部 10 テーブル 11 外部記憶媒体 12 外部記憶媒体読取部 13 プログラムメモリ 14 バス
Claims (7)
- 【請求項1】 軌跡コマンドと音声コマンドとをマトリ
ックス状に組み合わたデータ処理コマンドを予め格納し
たコマンドテーブルと、前記データ処理コマンドに基づ
いて処理される対象データを画面に表示し、その画面に
タブレットを有する表示部と、前記タブレットに座標デ
ータを入力する座標入力部と、入力された座標データを
認識して軌跡コマンドを抽出する軌跡認識部と、座標デ
ータの入力前後に音声データを入力する音声入力部と、
入力された音声データを認識して音声コマンドを抽出す
る音声認識部と、抽出された軌跡コマンドと音声コマン
ドに対応するデータ処理コマンドを前記コマンドテーブ
ルにより確定する確定部と、読み出されたデータ処理コ
マンドに基づいて対象データを処理するデータ処理部と
を備えたことを特徴とする情報処理装置。 - 【請求項2】 前記軌跡コマンドがジェスチャーコマン
ドであることを特徴とする請求項1記載の情報処理装
置。 - 【請求項3】 前記軌跡コマンドが対象データの移動位
置を指定する位置指定コマンドを含むことを特徴とする
請求項1記載の情報処理装置。 - 【請求項4】 前記音声コマンドが指示代名詞、方向及
び処理順序を示す音声情報を含むことを特徴とする請求
項1記載の情報処理装置。 - 【請求項5】 前記コマンドテーブルは、軌跡コマンド
の入力タイミングと音声コマンドの入力タイミングの状
態に基づいて異なるデータ処理コマンドを格納したこと
を特徴とする請求項1記載の情報処理装置。 - 【請求項6】 軌跡コマンドと音声コマンドとをマトリ
ックス状に組み合わせたデータ処理コマンドを予め格納
したコマンドテーブルと、画面にタブレットを有する表
示部とを備え、前記データ処理コマンドに基づいて処理
される対象データを前記表示部の画面に表示し、前記タ
ブレットに座標データが座標入力部により入力し、その
座標データを認識して軌跡コマンドを抽出し、座標デー
タの入力前後に音声データが音声入力部により入力し、
その音声データを認識して音声コマンドを抽出し、抽出
された軌跡コマンドと音声コマンドに対応するデータ処
理コマンドを前記コマンドテーブルにより確定し、その
データ処理コマンドに基づいて対象データを処理するこ
とを特徴とする情報処理方法。 - 【請求項7】 軌跡コマンドと音声コマンドとをマトリ
ックス状に組み合わせたデータ処理コマンドを予め格納
したコマンドテーブルと、画面にタブレットを有する表
示部とを備えた情報処理装置をコンピュータによって制
御するためのプログラムを記憶した媒体であって、前記
コンピュータに、前記データ処理コマンドに基づいて処
理される対象データを前記表示部の画面に表示させ、前
記タブレットに座標データが座標入力部により入力され
ると、その座標データを認識して軌跡コマンドを抽出さ
せ、座標データの入力前後に音声データが音声入力部に
より入力されると、その音声データを認識して音声コマ
ンドを抽出させ、抽出された軌跡コマンドと音声コマン
ドに対応するデータ処理コマンドを前記コマンドテーブ
ルにより確定させ、そのデータ処理コマンドに基づいて
対象データを処理させる情報処理装置制御プログラムを
記憶した媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35509197A JPH11184669A (ja) | 1997-12-24 | 1997-12-24 | 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 |
EP98121967A EP0926588A3 (en) | 1997-12-24 | 1998-11-19 | Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35509197A JPH11184669A (ja) | 1997-12-24 | 1997-12-24 | 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11184669A true JPH11184669A (ja) | 1999-07-09 |
Family
ID=18441891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35509197A Pending JPH11184669A (ja) | 1997-12-24 | 1997-12-24 | 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP0926588A3 (ja) |
JP (1) | JPH11184669A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006323521A (ja) * | 2005-05-17 | 2006-11-30 | Takenaka Komuten Co Ltd | 非接触式入力装置 |
JP2013037688A (ja) * | 2011-08-05 | 2013-02-21 | Samsung Electronics Co Ltd | 電子装置及びその制御方法 |
JP2013222229A (ja) * | 2012-04-12 | 2013-10-28 | Konica Minolta Inc | 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム |
JP2022547667A (ja) * | 2019-12-30 | 2022-11-15 | 華為技術有限公司 | ヒューマンコンピュータインタラクション方法、装置、及びシステム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
US20070177804A1 (en) * | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
US9292111B2 (en) * | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
US10437459B2 (en) | 2007-01-07 | 2019-10-08 | Apple Inc. | Multitouch data fusion |
CN104182033A (zh) * | 2013-05-23 | 2014-12-03 | 联想(北京)有限公司 | 一种信息输入方法、装置及一种电子设备 |
KR102669100B1 (ko) * | 2018-11-02 | 2024-05-27 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0689158A (ja) * | 1992-09-08 | 1994-03-29 | Hitachi Ltd | 複合形態情報入力方法 |
JPH06131108A (ja) * | 1992-10-20 | 1994-05-13 | Csk Corp | 情報入力装置 |
JPH06131437A (ja) * | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
-
1997
- 1997-12-24 JP JP35509197A patent/JPH11184669A/ja active Pending
-
1998
- 1998-11-19 EP EP98121967A patent/EP0926588A3/en not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006323521A (ja) * | 2005-05-17 | 2006-11-30 | Takenaka Komuten Co Ltd | 非接触式入力装置 |
JP2013037688A (ja) * | 2011-08-05 | 2013-02-21 | Samsung Electronics Co Ltd | 電子装置及びその制御方法 |
US9002714B2 (en) | 2011-08-05 | 2015-04-07 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same |
US9733895B2 (en) | 2011-08-05 | 2017-08-15 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same |
JP2013222229A (ja) * | 2012-04-12 | 2013-10-28 | Konica Minolta Inc | 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム |
JP2022547667A (ja) * | 2019-12-30 | 2022-11-15 | 華為技術有限公司 | ヒューマンコンピュータインタラクション方法、装置、及びシステム |
Also Published As
Publication number | Publication date |
---|---|
EP0926588A3 (en) | 2004-12-15 |
EP0926588A2 (en) | 1999-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2366006C2 (ru) | Динамическая обратная связь для жестов | |
TWI653545B (zh) | 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體 | |
TWI394065B (zh) | 在精簡鍵盤解疑系統中的多重預測 | |
US7051289B1 (en) | Window display device and method, and a recording medium recording a window display control program | |
JPH11327763A (ja) | コンピュータ・システムにおける合図提供方法 | |
US20030020734A1 (en) | Method and apparatus for displaying information elements | |
JP2008250374A (ja) | 筆跡判定装置、方法およびプログラム | |
JP4241883B2 (ja) | 文章入力装置及び方法 | |
JPH11184669A (ja) | 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体 | |
JPH10154144A (ja) | 文章入力装置及び方法 | |
TW201512994A (zh) | 使用一通用辨識器之多筆跡手寫辨識 | |
EP2545434A2 (en) | Device, method, and graphical user interface for manipulating soft keyboards | |
JP2010108061A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JPH1031548A (ja) | 入力装置 | |
JP4207089B2 (ja) | 文章入力装置及び方法 | |
JPH08255221A (ja) | 文字図形入力編集装置 | |
JPS61267128A (ja) | 表示消去方式 | |
JP2005275635A (ja) | 仮名文字入力方法および仮名文字入力プログラム | |
JP2006302318A (ja) | 文章入力装置及び方法 | |
JP2006106983A (ja) | 表示装置及び表示方法 | |
JP6032982B2 (ja) | 入力支援装置、入力支援方法、入力支援プログラム及び記録媒体 | |
JPH11306369A (ja) | 画像データ編集装置 | |
JP4519106B2 (ja) | 文章入力装置及び方法 | |
JPH0630105B2 (ja) | 同音語表示方法 | |
JPH0883276A (ja) | 文書処理装置及び処理方法 |