JPH06131108A - Information input device - Google Patents

Information input device

Info

Publication number
JPH06131108A
JPH06131108A JP30629092A JP30629092A JPH06131108A JP H06131108 A JPH06131108 A JP H06131108A JP 30629092 A JP30629092 A JP 30629092A JP 30629092 A JP30629092 A JP 30629092A JP H06131108 A JPH06131108 A JP H06131108A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
input
microphone
pen
tablet
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30629092A
Other languages
Japanese (ja)
Inventor
Kiyoshi Horie
清 堀江
Original Assignee
Csk Corp
株式会社シーエスケイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PURPOSE: To provide an information input device as a human interface excellent in handleability by integrating pen input and speech input.
CONSTITUTION: This information input device is equipped with an input pen 1 which has a microphone 1a and a function for sending a speech signal gathered by the microphone 1a to a computer body through a cord or by radio, a display and tablet 2 which detects a touch by the input pen 1, means 5, 6, and 7 which performs a speech recognizing process and a natural language process for the speech signal from the microphone 1a, and means 8, 9, 10, and 11 which performs a character recognizing process, an image recognizing process, and a position recognizing process for the input signal from the table 2. Further, this device is equipped with a means 15 which combines the input from the microphone 1a and the input from the tablet 2 together and sends data or a command to an operating system 18 or application program 19.
COPYRIGHT: (C)1994,JPO&Japio

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明はパーソナルコンピュータ,ワードプロセッサ等においてユーザがデータ,コマンド等の情報を入力するための情報入力装置に関するものである。 The present invention relates to a personal computer, a user at a word processor or the like is related to an information input device for inputting data, information such as commands.

【0002】 [0002]

【従来の技術】この種の情報入力装置としては、昔からキーボードが使われているが、最近ではタブレット上をペンでなぞり、文字や図形を入力するタイプも使われ始めている。 2. Description of the Related Art As this kind of information input device, but the keyboard for a long time is used, tracing over the tablet with a pen in recent years, it has begun to be used type to enter the characters and graphics. また、音声認識技術の向上により、音声入力によるものも実現が可能となってきている。 Also, by improving the speech recognition technology, it has become possible to be realized by the voice input.

【0003】 [0003]

【発明が解決しようとする課題】上述したように情報の入力形態として種々のものが登場してきているが、従来はそれぞれ単独に用いられていた。 Various things are emerging as the input form information as described above [0006], it has been conventionally used alone, respectively. 例えば、ペン入力機能と音声入力機能とを備えた装置であっても、ペン入力と音声入力とは独立しており、ペンで入力する項目と音声で入力する項目とは区別されていた。 For example, an apparatus and a pen input function and a sound input function, and pen input and the speech input are independent, the items and items to be input by voice inputting with the pen has been distinguished. また、互いの入力が直接に関連することもなかった。 Moreover, nor did the mutual input is directly related to.

【0004】一方、音声を入力するためのマイクがコンピュータ本体に取り付けられているかコードを介して接続されていたため、配線が邪魔になると共に、コンピュータ本体の近傍でしか使用することができなかった。 On the other hand, since the microphone for inputting voice was connected via what code is attached to the computer main body, the wire gets in the way, it can not only be used in the vicinity of the computer. また、コンピュータ本体の電源が投入され、音声の受け入れが可能な状態となっていなければマイクからの音声入力を使用することができなかった。 Further, the power supply of the computer is turned on, it was not possible to use the voice input from the microphone unless a state capable of receiving audio.

【0005】本発明は上記の点に鑑み提案されたものであり、その目的とするところは、ペン入力と音声入力とを融合させ、使い勝手のよいヒューマンインタフェースとしての情報入力装置を提供することにある。 [0005] The present invention has been proposed in view of the above problems, it is an object of fusing and pen input and voice input, to provide an information input device as a user-friendly human interface is there.

【0006】 [0006]

【課題を解決するための手段】本発明は上記の目的を達成するため、マイクおよびこのマイクにより採取した音声信号を有線あるいは無線によりコンピュータ本体に送信する機能を有した入力ペンと、この入力ペンの接触を検出するディスプレイ兼用のタブレットと、前記マイクからの音声信号に対して音声認識処理および自然言語処理を行う手段と、前記タブレットからの入力信号に対して文字認識処理、画像認識処理および位置認識処理を行う手段と、前記マイクからの入力と前記タブレットからの入力とを組み合わせてオペレーティングシステムもしくはアプリケーションプログラムに対してデータもしくはコマンドを与える手段とを備えるようにしている。 Since the present invention SUMMARY OF THE INVENTION The To achieve the above object, an input pen having a function of transmitting an audio signal collected by the microphone and the microphone by wire or wirelessly to the computer main body, the input pen and tablets of the display also serves to detect the contact of the character recognition processing, the image recognition processing and the position with respect to the input signal of the means for performing speech recognition processing and natural language processing, from the tablet to the audio signal from the microphone means for performing a recognition process, so that and means for providing the data or command to a combination of the input operating system or application program from said input and from the microphone tablet.

【0007】例えば、マイクからの入力とタブレットからの入力とが同じ対象に関する入力である場合、オペレーティングシステムもしくはアプリケーションプログラムに対して与えるデータもしくはコマンドとして、認識度の高い方を採用するようにする。 [0007] For example, if an input from the input and the tablet from the microphone is an input for the same object, as the data or command given to the operating system or application program, so as to adopt a higher awareness. また、マイクからデータを入力させ、入力ペンにより挿入・削除等の編集コマンドをジェスチャによって入力させるようにする。 Further, by inputting data from the microphone, to the editing commands of the insertion or deletion by an input pen so as to input the gesture.

【0008】一方、入力ペンに、マイクで採取した音声信号を蓄積するメモリを備えるようにすることもできる。 On the other hand, the input pen may be to include a memory for storing the audio signals collected by the microphone.

【0009】更に、コンピュータ本体から入力ペンに対して音声信号を送信し、マイクで音響を再生するようにすることもできる。 Furthermore, transmits the audio signal to the input pen from the computer main body may be adapted to reproduce sound at the microphone.

【0010】 [0010]

【作用】本発明の情報入力装置にあっては、ユーザが手に持った入力ペンに向かって話すと、その音声が入力ペンに内蔵されたマイクにより採取され、コンピュータ本体に有線あるいは無線で送信される。 In the information input device of the present invention, when speaking into input pen by the user in hand, it is collected by the microphone of the voice is built in the input pen, transmitted by wire or wirelessly to the computer It is. また、入力ペンでディスプレイ兼用のタブレットをなぞると、その情報が入力される。 Also, when tracing the tablet display combined with the input pen, the information is input.

【0011】コンピュータ本体の内部では、入力ペンのマイクからの音声信号に対して音声認識処理および自然言語処理が行われると共に、タブレットからの入力信号に対して文字認識処理、画像認識処理および位置認識処理が行われる。 [0011] Inside the computer, with voice recognition processing and natural language processing is performed on the audio signal from the microphone of the input pen, the character recognition process on the input signal from the tablet, the image recognition processing and the position recognition processing is carried out.

【0012】そして、マイクからの入力とタブレットからの入力とは適切に組み合わせられ、オペレーティングシステムもしくはアプリケーションプログラムに対してデータもしくはコマンドとして与えられる。 [0012] Then, properly combined the input from the input and the tablet from the microphone, given as data or commands to the operating system or application program. 例えば、マイクからの入力とタブレットからの入力とが同じ対象に関する入力である場合、認識度の高い方が採用され、データもしくはコマンドとして与えられる。 For example, if an input from the input and the tablet from the microphone is an input for the same subject, higher awareness is adopted, given as data or commands. また、マイクから入力されたデータに対し、ユーザが入力ペンにより挿入・削除等の編集コマンドを入力することができる。 Further, with respect to data input from the microphone, the user can enter an editing command on the Insert or deletion by the input pen.

【0013】一方、入力ペンに、マイクで採取した音声信号を蓄積するメモリを備えた場合には、コンピュータ本体が稼働状態にない時や、コンピュータ本体から離れて作業している場合にも音声を入力することができ、後に一括してコンピュータ本体に音声信号を送信することができる。 Meanwhile, the input pen, when provided with a memory for storing the audio signals collected by the microphone is or when computer is not in operating state, the voice even when working away from the computer can be entered, collectively after it can transmit audio signals to the computer.

【0014】更に、コンピュータ本体から入力ペンに対して音声信号を送信し、マイクで音響を再生するようにすることもできる。 Furthermore, transmits the audio signal to the input pen from the computer main body may be adapted to reproduce sound at the microphone.

【0015】 [0015]

【実施例】以下、本発明の実施例につき、図面を参照して説明する。 EXAMPLES Hereinafter, examples of the present invention will be described with reference to the drawings.

【0016】図1は本発明の情報入力装置の一実施例を示す構成図である。 [0016] Figure 1 is a block diagram showing an embodiment of an information input device of the present invention.

【0017】図1において、本実施例は、ユーザが手に持って使用する入力ペン1と、入力ペン1を押し当てて文字,図形等を描くディスプレイ兼用のタブレット2 [0017] In FIG. 1, this embodiment includes an input pen 1 used by the user in hand, character by pressing an input pen 1, the display also serves to draw graphics, etc. Tablet 2
と、入力ペン1,タブレット2からの信号を処理すると共に、これらに信号を与えまたは制御を行う複数の回路部(ハードウェア,ソフトウェアの両者を含む。)と、 When the input pen 1, the processing signals from the tablet 2, and a plurality of circuit portions for performing these give a signal or control (hardware, including both software.)
コンピュータ本体内の全体的な制御を司るオペレーティングシステム18と、所定の作業を行うアプリケーションプログラム19とから構成されている。 An operating system 18 which performs overall control of the computer, and an application program 19 for performing a predetermined work.

【0018】また、入力ペン1には、タブレット2をなぞり、その軌跡を情報として与えるという基本的な機能の他に、音声を採取するためのマイク1aと、このマイク1aで採取された音声信号を蓄積するメモリ1bと、 Further, the input pen 1, tracing the tablet 2, in addition to the basic function of providing its trajectory as information, a microphone 1a for collecting sound, an audio signal taken at the microphone 1a and the memory 1b to accumulate,
マイク1aで採取されあるいはメモリ1bで蓄積された音声信号をコンピュータ本体に送信すると共に、マイク1をスピーカとして働かせる際の音声信号をコンピュータ本体から受信する送受信部1cとが設けられている。 Transmits the voice signal stored in the collected or memory 1b microphone 1a to the computer main body, a transceiver 1c is provided for receiving the audio signal when exerting microphone 1 as a speaker from the computer.
なお、メモリ1bはディジタルあるいはアナログのいずれの方式で蓄積するものでもよい。 The memory 1b may be one that accumulates in any manner of digital or analog. また、入力ペン1と受信部3,送信部4との間は無線だけでなく、有線で接続することも可能である。 Also, between the input pen 1 and the receiving unit 3, transmitting unit 4 is not only wireless, can be connected by wire.

【0019】一方、入力ペン1,タブレット2からの信号を処理すると共にこれらに信号を与えまたは制御を行う複数の回路部としては、大別して、入力ペン1と通信を行う部分(受信部3,送信部4)と、入力された音声から文字・コマンドを抽出する部分(音声認識部5,自然言語処理部6,文字・コマンド入力部7)と、タブレット2への入力ペン1の接触の軌跡から文字,画像,位置等を抽出する部分(画像処理部8,文字認識部9,画像認識部10,ジェスチャ入力部11,位置認識部1 Meanwhile, the input pen 1, the plurality of circuit portions for performing given or controlling them to signals while processing the signal from the tablet 2, roughly, the input pen 1 and the portion that communicates (receiver 3, a transmitting section 4), the portion for extracting a character command from the input speech (speech recognition unit 5, the natural language processing unit 6, a character command input section 7), the locus of the contact of the input pen 1 to the tablet 2 portion extracted character image, the position and the like from the (image processing unit 8, a character recognition unit 9, the image recognition unit 10, the gesture input portion 11, the position identification unit 1
2,位置入力部13,画像入力部14)と、入力ペン1 2, the position input unit 13, an image input unit 14), the input pen 1
に与える音声信号を生成する部分(音声生成部16) Part for generating a sound signal to be supplied to the (voice generating unit 16)
と、タブレット2の表示を制御する部分(表示制御部1 When, part (the display control unit 1 for controlling the display of the tablet 2
7)と、全体の制御を行う部分(総合処理部15)とから構成されている。 7), and it is configured from a portion for controlling the entire (total processing unit 15). なお、自然言語処理部6および文字・コマンド入力部7はタブレット2から入力された手書文字に対する処理にも使用される。 Incidentally, the natural language processing unit 6 and character-command input unit 7 is also used in processing for handwritten characters input from the tablet 2.

【0020】次に上記の実施例の動作を説明する。 [0020] Next will be described the operation of the above embodiment.

【0021】先ず、ユーザはオペレーティングシステム18と対話可能な状態になっているか、所望の業務を遂行するために適当なアプリケーションプログラム19を起動しているものとする。 [0021] First, the user either has to interact state with the operating system 18, it is assumed that start the appropriate application program 19 to perform the desired operations. アプリケーションプログラム19は、例えば、ワードプロセッサ等である。 Application program 19 is, for example, a word processor or the like.

【0022】ユーザはオペレーティングシステム18あるいはアプリケーションプログラム19の機能に従い、 [0022] The user follows the function of the operating system 18 or application program 19,
データあるいはコマンドを入力するが、この際、データあるいはコマンドの入力の方法として音声入力とペン入力とが利用できる。 Inputting data or commands, but this time can be used and the voice input and pen input as a method for inputting data or commands. なお、コンピュータ本体にキーボードが接続されている場合には当然にキーボードからの入力も行うことができる。 Incidentally, it is possible to perform course also input from the keyboard when the keyboard is attached to the computer.

【0023】ユーザが入力ペン1に向かって発話すると、この音声はマイク1aによって採取され、送受信部1cによって無線によりコンピュータ本体側に送信される。 [0023] When the user utters toward the input pen 1, the sound is collected by the microphone 1a, it is sent to the computer side by radio by the transceiver unit 1c. なお、録音モードとすることにより、音声信号を一時的にメモリ1bに蓄積しておき、後にコンピュータ本体側に一括して送信することができる。 Note that by a recording mode, leave temporarily stored in the memory 1b of the audio signal can be transmitted at once to the computer main body side after. この場合、入力ペン1があれば発話時にコンピュータ本体のそばにいる必要はなく、また、コンピュータ本体が稼働状態になくてもよい。 In this case, it is not necessary to have near the computer during the utterance if the input pen 1, also computer may not be in the running state.

【0024】コンピュータ本体側では、受信部3によって入力ペン1からの音声信号を受信し、復調して音声認識部5に渡す。 [0024] In the computer main body side receives the audio signal from the input pen 1 by the receiving unit 3, and passes to the speech recognition unit 5 demodulates.

【0025】音声認識部5では受け取った音声信号に対して、周知の解析処理(音声区間検出,音響分析,特徴抽出,セグメント化,音素認識等)を行い、音素の列を示すデータを出力する。 [0025] the audio signal received at the speech recognition unit 5, a known analysis process (VAD, acoustic analysis, feature extraction, segmentation, phoneme recognition and the like), and outputs the data indicating the sequence of phonemes .

【0026】自然言語処理部6では音素の列に対し、機械翻訳の分野で周知の解析処理(単語照合,構文解析, [0026] On the other columns of the phoneme in the natural language processing unit 6, well-known of the analysis process in the field of machine translation (word matching, parsing,
意味解析等)を行い、抽出された文字列を出力する。 Perform semantic analysis, etc.), and outputs the extracted character string.

【0027】文字・コマンド入力部7では自然言語処理部6から与えられた文字列をデータあるいはコマンドとして所定のフォーマットに整えて総合処理部15に与える。 [0027] In the character-command input unit 7 a given string from the natural language processing unit 6 as data or command adjusted to a predetermined format gives a comprehensive processing unit 15.

【0028】総合処理部15では文字・コマンド入力部7から与えられたデータあるいはコマンドをオペレーティングシステム18に与え、オペレーティングシステム18は自己に対するコマンドであればそれを受け入れ、 [0028] Overall processing unit 15 data or commands given from the character command input unit 7, applied to the operating system 18, operating system 18 accepts it if command to the self,
アプリケーションプログラム19に対するものはアプリケーションプログラム19に引き渡す。 Those for the application program 19 is passed to the application program 19.

【0029】一方、ユーザが入力ペン1によってタブレット2上をなぞって文字,図形等を描いた場合、タブレット2への接触の状態は画像処理部8により検出される。 On the other hand, if the user drew by tracing on the tablet 2 characters, a figure or the like by the input pen 1, the state of contact to the tablet 2 is detected by the image processing unit 8.

【0030】文字認識部9では描かれたものが文字であるか否かを判別し、認識できる文字がある場合には自然言語処理部6に認識した文字を渡す。 [0030] What has been drawn the character recognition unit 9 determines whether or not a character, when there is a character that can be recognized pass a character recognized in the natural language processing unit 6. 自然言語処理部6 Natural language processing unit 6
から以後の動作は音声入力の場合と同様である。 The subsequent operation from the same as in the case of voice input.

【0031】また、画像認識部10ではタブレット2上に描かれたものがジェスチャ(挿入,削除等の所定のコマンドに対応して規定されたペンの動き。)であるか否かを判別し、認識できるジェスチャがある場合にはジェスチャ入力部11にそれを伝える。 Further, the image recognition unit 10 that depicted on the tablet 2 is a gesture or not (insertion, predetermined corresponding to the command to defined pen movement. Deletion, etc.) to determine, If there is a recognizable gesture conveys it to the gesture input portion 11.

【0032】ジェスチャ入力部11ではジェスチャに対応するデータあるいはコマンドを総合処理部15に与える。 [0032] providing the gesture input portion 11 a data or command corresponding to the gesture comprehensive processing section 15.

【0033】総合処理部15ではジェスチャ入力部7から与えられたデータあるいはコマンドをオペレーティングシステム18に与え、オペレーティングシステム18 The given data or commands given from the gesture input portion 7, overall processing unit 15 to the operating system 18, operating system 18
はアプリケーションプログラム19に対するデータ,コマンドであればアプリケーションプログラム19に引き渡す。 Is passed to the application program 19 data, if the command for the application program 19.

【0034】また、位置認識部12ではタブレット2上の入力ペンの接触位置を認識し、その情報を位置入力部13に与える。 Further, to recognize the contact position of the input pen on the position recognizing section 12, the tablet 2, provide the information to the position input unit 13.

【0035】位置入力部13は位置を示すデータを所定のフォーマットに整え、総合処理部15に渡す。 The position input section 13 established a data indicating a position in a predetermined format, and passes to the overall processing unit 15.

【0036】総合処理部15では位置入力部13から与えられたデータをオペレーティングシステム18に与え、オペレーティングシステム18はアプリケーションプログラム19に対するデータであればアプリケーションプログラム19に引き渡す。 [0036] The data supplied from the general processor 15 in the position input unit 13 provided to the operating system 18, operating system 18 passes to the application program 19 if the data for the application program 19.

【0037】また、画像入力部14は、タブレット2に描かれた軌跡そのものを画像データとして総合処理部1 Further, the image input unit 14 is a general processor 1 the trajectory itself drawn to the tablet 2 as image data
5に与え、総合処理部15はオペレーティングシステム18に与え、アプリケーションプログラム19に対するデータについてはアプリケーションプログラム19に引き渡す。 Given to 5, total processing unit 15 gives the operating system 18, the data for the application program 19 passes the application program 19.

【0038】一方、入力ペン1のマイク1aをスピーカとして動作させる場合、総合処理部15は音声のデータを音声生成部16に与える。 On the other hand, when operating the microphone 1a of the input pen 1 as a speaker, a comprehensive processing unit 15 gives the audio data to the audio generation unit 16.

【0039】音声生成部16では音声合成等を行い、音声信号を生成し、送信部4に与え、送信部4は無線により入力ペン1に送信する。 [0039] performs a sound generation unit 16 in the voice synthesis and the like, to generate an audio signal, supplied to the transmitter 4, transmitter 4 transmits the input pen 1 by radio.

【0040】入力ペン1側では送受信部1cがこれを受信すると、復調して音声信号とし、マイク1aに与えて音響に変換する。 [0040] When the transceiver unit 1c is the input pen 1 side receives this, the audio signal demodulated and converted into sound giving the microphone 1a.

【0041】また、表示制御部17は、総合処理部15 [0041] In addition, the display control unit 17, the total processing unit 15
の制御のもと、ディスプレイ兼用となっているタブレット2に表示する内容を制御する。 Under the control of, to control the content to be displayed on the tablet 2 and has a display combined.

【0042】これまでは音声入力とペン入力の基本動作について説明してきたが、実際には双方の入力が互いに密接に関連して行われる。 [0042] Until this has been described in the basic operation of the audio input and pen input, it is actually performed in closely related both inputs to each other. すなわち、総合処理部15は入力ペン1のマイク1aからの入力とタブレット2からの入力とを適切に組み合わせ、データもしくはコマンドとしてオペレーティングシステム18,アプリケーションプログラム19に与えるものである。 That is, the overall processing unit 15 appropriately combines the input from the input and the tablet 2 from the microphone 1a of the input pen 1, it is intended to provide a data or command operating system 18, application programs 19.

【0043】例えば、マイク1aからの入力とタブレット2からの入力とが同じ対象に関する入力である場合(具体例として、アプリケーションプログラム19がある項目のデータ入力を要求している場合等)、総合処理部15はオペレーティングシステム18もしくはアプリケーションプログラム19に対して与えるデータもしくはコマンドとして、認識度の高い方を採用する。 [0043] For example, if the input and is an input for the same subject from the input and the tablet 2 from the microphone 1a (As a specific example, if such requesting data input of items in the application program 19), overall process part 15 is a data or a command given to the operating system 18 or application program 19, to employ a higher awareness. なお、 It should be noted that,
認識度は音声認識部5,自然言語処理部6,文字認識部9,画像認識部10等における認識の処理の過程において採取できる値である。 Awareness is a value that can be collected in the course of the process of recognition in the speech recognition unit 5, the natural language processing unit 6, a character recognition unit 9, the image recognition unit 10 or the like. このようにすることにより、認識の精度を大幅に高めることができる。 In this way, it is possible to improve the accuracy of recognition significantly.

【0044】また、マイク1aからデータを入力しながら、入力ペン1とタブレット2により挿入・削除等の編集コマンドをジェスチャによって入力させることにより、文章等の入力をスムースに行うことができる。 [0044] In addition, while inputting the data from the microphone 1a, by entering the edit command of the insertion or deletion by the gesture by the input pen 1 and tablet 2, it is possible to perform the input of such sentence smoothly.

【0045】例えば、図2に示すように、マイク1aから音声で「BTA」と入力されたが()、本来は「D [0045] For example, as shown in FIG. 2, it has been entered as "BTA" by voice from the microphone 1a (), originally "D
ATA」と入力したかった場合には、誤っている部分「B」に「×」を描く削除のジェスチャを入力ペン1によりタブレット2上で行う()。 If you wanted to enter ATA "is performed on the tablet 2 a gesture of deletion draw a" × "in part" B "is incorrect by the input pen 1 ().

【0046】これにより、「B」が消去され、「TA」 [0046] As a result, the "B" is erased, "TA"
が前に1文字つまる()。 There clogged one character before ().

【0047】次いで、「TA」の前に挿入のジェスチャ「∨」を行い()、マイク1aから「DA」を音声で入力すると、「DATA」となる()。 [0047] Next, by gestures inserted before the "TA", "∨" (), if you enter by voice "DA" from the microphone 1a, the "DATA" ().

【0048】なお、図2では削除の際に後ろの文字が前につまるようにしていたが、削除された文字を空白にするだけで、後ろの文字はそのままとし、新たに文字が挿入された場合に必要に応じて後ろの文字がずれるようにしてもよい。 [0048] Incidentally, although the character behind when removed in FIG. 2 has been clogged before, only the deleted character in the blank, after a character is left as it newly character is inserted may be the character of the back is shifted as needed in the case.

【0049】 [0049]

【発明の効果】以上説明したように、本発明の情報入力装置にあっては、次のような効果がある。 As described above, according to the present invention, in the information input device of the present invention, the following effects.

【0050】音声入力とペン入力とを適切に組み合わせてデータもしくはコマンドの入力を行えるため、ヒューマンインタフェースとしての使い勝手が非常に良くなる。 [0050] To perform the input of data or commands properly combining the audio input and pen input, usability of the human interface is very good.

【0051】音声入力にしてもペン入力にしても認識精度の点で不充分な点があるが、同じ対象に関して双方からの入力があった場合、認識度が高い方を採用するため、認識精度を大幅に高めることができる。 [0051] In order but also to the audio input even if the pen input there are inadequacies in terms of recognition accuracy, if there is an input from both with respect to the same subject, to adopt the higher awareness, recognition accuracy it is possible to increase the significantly.

【0052】音声によりデータを入力しながら、入力ペンのジェスチャによって挿入・削除等の編集コマンドが入力できるため、スムースな文書作成等が行える。 [0052] while inputting the data by voice, because the editing commands, such as insertion and deletion by the gesture of the input pen can be input, can be carried out smoothly document creation, and the like.

【0053】入力ペンのマイクとコンピュータ本体とを無線で接続することができるため、邪魔な配線がなく、快適な作業環境とすることができる。 [0053] Since a microphone and computer input pen can be wirelessly connected, without disturbing the wiring can be a comfortable working environment.

【0054】入力ペン内に音声信号を蓄積するメモリを設けているため、コンピュータ本体が稼働状態にない場合や、コンピュータ本体から離れて作業している場合等においても、入力ペンを携帯していれば、その場で文書データ等を入力し、後に一括してコンピュータ本体に送信することができ、思いついたアイデア等を忘れないですむ。 [0054] Since there is provided a memory for storing the audio signal in the input pen, and if computer is not in the operating condition, even if such are working away from the computer main body, if carrying the input pen if, enter the document data, and the like on the spot, in a batch can be sent to the computer after, we need not forget to come up with ideas and the like.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の情報入力装置の一実施例を示す構成図である。 1 is a configuration diagram showing an embodiment of an information input device of the present invention.

【図2】文字の音声入力およびジェスチャによる編集の様子を示す図である。 FIG. 2 is a diagram showing a state of editing by voice input and gestures of characters.

【符号の説明】 DESCRIPTION OF SYMBOLS

1……入力ペン 1a…マイク 1b…メモリ 1c…送受信部 2……タブレット 3……受信部 4……送信部 5……音声認識部 6……自然言語処理部 7……文字・コマンド入力部 8……画像処理部 9……文字認識部 10…画像認識部 11…ジェスチャ入力部 12…位置認識部 13…位置入力部 14…画像入力部 15…総合処理部 16…音声生成部 17…表示制御部 18…オペレーティングシステム 19…アプリケーションプログラム 1 ...... input pen 1a ... microphone 1b ... memory 1c ... transceiver unit 2 ...... tablet 3 ...... receiver 4 ...... transmitter 5 ...... speech recognition unit 6 ...... natural language processing unit 7 ...... character command input unit 8 ...... image processing unit 9 ...... character recognition unit 10 ... image recognition unit 11 ... gesture input unit 12 ... position recognizing unit 13 ... position input section 14 ... image input unit 15 ... Overall processing unit 16 ... sound generating unit 17 ... display The control unit 18 ... operating system 19 ... application program

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 5識別記号 庁内整理番号 FI 技術表示箇所 G06F 3/16 B 7165−5B ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 5 in identification symbol Agency Docket No. FI art display portion G06F 3/16 B 7165-5B

Claims (5)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 マイクおよびこのマイクにより採取した音声信号を有線あるいは無線によりコンピュータ本体に送信する機能を有した入力ペンと、 この入力ペンの接触を検出するディスプレイ兼用のタブレットと、 前記マイクからの音声信号に対して音声認識処理および自然言語処理を行う手段と、 前記タブレットからの入力信号に対して文字認識処理、 And 1. A input pen having a function of transmitting a microphone and audio signals collected by the microphone by wire or wirelessly to the computer main body, and tablets of the display also serves to detect the contact of the input pen, from the microphone means for performing speech recognition processing and natural language processing on the audio signal, the character recognition process on the input signal from the tablet,
    画像認識処理および位置認識処理を行う手段と、 前記マイクからの入力と前記タブレットからの入力とを組み合わせてオペレーティングシステムもしくはアプリケーションプログラムに対してデータもしくはコマンドを与える手段とを備えたことを特徴とする情報入力装置。 It means for performing image recognition processing and the position recognition process, characterized by comprising a means for providing the data or command to enter a combination of the input from the tablet operating system or application program from the microphone information input device.
  2. 【請求項2】 マイクからの入力とタブレットからの入力とが同じ対象に関する入力である場合、オペレーティングシステムもしくはアプリケーションプログラムに対して与えるデータもしくはコマンドとして、認識度の高い方を採用することを特徴とした請求項1記載の情報入力装置。 Wherein when the input from the input and the tablet from the microphone is an input for the same object, and characterized in that a data or a command given to the operating system or application program, employing a higher awareness information input device according to claim 1, wherein the.
  3. 【請求項3】 マイクからデータを入力させ、入力ペンにより挿入・削除等の編集コマンドをジェスチャによって入力させることを特徴とした請求項1または2記載の情報入力装置。 Wherein by inputting the data from the microphone, the information input device according to claim 1 or 2, wherein was characterized by inputting the gesture editing commands insertion or deletion by the input pen.
  4. 【請求項4】 入力ペンに、マイクで採取した音声信号を蓄積するメモリを備えたことを特徴とする請求項1、 4. A input pen according to claim 1, further comprising a memory for storing the audio signals collected by the microphone,
    2または3記載の情報入力装置。 An information input device 2 or 3 wherein.
  5. 【請求項5】 コンピュータ本体から入力ペンに対して音声信号を送信し、マイクで音響を再生することを特徴とした請求項1、2、3または4記載の情報入力装置。 5. A transmit audio signal to the input pen from the computer, the information input device according to claim 1, 2, 3 or 4, wherein the said at reproducing sound at the microphone.
JP30629092A 1992-10-20 1992-10-20 Information input device Pending JPH06131108A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30629092A JPH06131108A (en) 1992-10-20 1992-10-20 Information input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30629092A JPH06131108A (en) 1992-10-20 1992-10-20 Information input device

Publications (1)

Publication Number Publication Date
JPH06131108A true true JPH06131108A (en) 1994-05-13

Family

ID=17955319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30629092A Pending JPH06131108A (en) 1992-10-20 1992-10-20 Information input device

Country Status (1)

Country Link
JP (1) JPH06131108A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850058A (en) * 1995-11-17 1998-12-15 Hitachi, Ltd. Information processor
EP0926588A2 (en) * 1997-12-24 1999-06-30 Sharp Corporation Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus
WO1999060465A1 (en) * 1998-05-20 1999-11-25 Fonix Corporation Apparatus and method for processing handwritten and hand-drawn input and speech input
EP1014252A2 (en) * 1998-12-24 2000-06-28 Canon Kabushiki Kaisha Information processing apparatus and method capable of processing plurality type of input information
US6438523B1 (en) 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US6628267B2 (en) 1998-03-27 2003-09-30 International Business Machines Corporation Flexibly interfaceable portable computing device
JP2005071073A (en) * 2003-08-25 2005-03-17 Ricoh Co Ltd Character input device and method thereof
US7233321B1 (en) * 1998-12-15 2007-06-19 Intel Corporation Pointing device with integrated audio input

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850058A (en) * 1995-11-17 1998-12-15 Hitachi, Ltd. Information processor
EP0926588A2 (en) * 1997-12-24 1999-06-30 Sharp Corporation Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus
EP0926588A3 (en) * 1997-12-24 2004-12-15 Sharp Corporation Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus
US6628267B2 (en) 1998-03-27 2003-09-30 International Business Machines Corporation Flexibly interfaceable portable computing device
US6727894B1 (en) 1998-03-27 2004-04-27 International Business Machines Corporation Flexibly interfaceable portable computing device
US6438523B1 (en) 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
WO1999060465A1 (en) * 1998-05-20 1999-11-25 Fonix Corporation Apparatus and method for processing handwritten and hand-drawn input and speech input
US7656397B2 (en) 1998-12-15 2010-02-02 Intel Corporation Pointing device with integrated audio input and associated methods
US7233321B1 (en) * 1998-12-15 2007-06-19 Intel Corporation Pointing device with integrated audio input
US7804494B2 (en) 1998-12-15 2010-09-28 Intel Corporation Pointing device with integrated audio input and associated methods
EP1014252A2 (en) * 1998-12-24 2000-06-28 Canon Kabushiki Kaisha Information processing apparatus and method capable of processing plurality type of input information
US7523031B1 (en) 1998-12-24 2009-04-21 Canon Kabushiki Kaisha Information processing apparatus and method capable of processing plurality type of input information
EP1014252A3 (en) * 1998-12-24 2001-11-07 Canon Kabushiki Kaisha Information processing apparatus and method capable of processing plurality type of input information
JP2005071073A (en) * 2003-08-25 2005-03-17 Ricoh Co Ltd Character input device and method thereof
JP4520123B2 (en) * 2003-08-25 2010-08-04 株式会社リコー The character input device and method thereof

Similar Documents

Publication Publication Date Title
US6581033B1 (en) System and method for correction of speech recognition mode errors
US6611802B2 (en) Method and system for proofreading and correcting dictated text
US5983184A (en) Hyper text control through voice synthesis
US5781179A (en) Multimodal information inputting method and apparatus for embodying the same
US20040172258A1 (en) Techniques for disambiguating speech input using multimodal interfaces
US20020055845A1 (en) Voice processing apparatus, voice processing method and memory medium
US20010016815A1 (en) Voice recognition apparatus and recording medium having voice recognition program recorded therein
US6347296B1 (en) Correcting speech recognition without first presenting alternatives
US5874939A (en) Keyboard apparatus and method with voice recognition
US20020178344A1 (en) Apparatus for managing a multi-modal user interface
US4839857A (en) System for facilitating the control of audio information within a word processing document with audio input
US6915258B2 (en) Method and apparatus for displaying and manipulating account information using the human voice
US20030055655A1 (en) Text processing system
US20140304605A1 (en) Information processing apparatus, information processing method, and computer program
CN1864204A (en) Methods, systems and programming for performing speech recognition
US5983186A (en) Voice-activated interactive speech recognition device and method
JP2007264471A (en) Voice recognition device and method therefor
WO1995025326A1 (en) Voice/pointer operated system
CN1991717A (en) Virtual keyboard and hand-write synergic input system and realization method thereof
JPH06282375A (en) Information processor and electronic pen
US6549887B1 (en) Apparatus capable of processing sign language information
EP0607615A1 (en) Speech recognition interface system suitable for window systems and speech mail systems
US6253176B1 (en) Product including a speech recognition device and method of generating a command lexicon for a speech recognition device
JP2006023860A (en) Information browser, information browsing program, information browsing program recording medium, and information browsing system
US20020095291A1 (en) Method for incorporating multiple cursors in a speech recognition system