JPH06131437A - 複合形態による操作指示方法 - Google Patents

複合形態による操作指示方法

Info

Publication number
JPH06131437A
JPH06131437A JP28205792A JP28205792A JPH06131437A JP H06131437 A JPH06131437 A JP H06131437A JP 28205792 A JP28205792 A JP 28205792A JP 28205792 A JP28205792 A JP 28205792A JP H06131437 A JPH06131437 A JP H06131437A
Authority
JP
Japan
Prior art keywords
display
pointing
voice
coordinate
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP28205792A
Other languages
English (en)
Inventor
Haru Andou
ハル 安藤
Yoshinori Kitahara
義典 北原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP28205792A priority Critical patent/JPH06131437A/ja
Priority to US08/137,788 priority patent/US5600765A/en
Priority to EP93116885A priority patent/EP0594129B1/en
Priority to DE69329094T priority patent/DE69329094D1/de
Publication of JPH06131437A publication Critical patent/JPH06131437A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 （修正有） 【目的】 ユーザにとって操作自由度が高く簡便にイラ
スト等の編集が可能なマンマシンインタフェースを提供
する。 【構成】 ポインティング入力装置５を介して表示装置
４の表示画面上の表示物または表示位置をポインティン
グしながら、表示物に関する操作を音声によっても行う
複合形態の操作指示方法で、ポインティングを表示物ま
たは表示位置に対して一連の複数の座標点列を入力する
ステップと、ポインティング動作に伴って音声による指
示を行うステップと、音声認識処理により指示内容を認
識するステップと、認識された指示内容に応じてポイン
ティングによる指示内容を認識するステップと、音声に
よる指示内容およびポインティングによる指示内容に従
い表示物に対する操作を実行するステップとを備えた。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、パーソナルコンピュー
タ（パソコン）、ワークステーション、ワードプロセッ
サ（ワープロ）等のＯＡ機器に搭載されたイラスト編集
システム等のユーザインタフェース方式に関し、ユーザ
にとって使い勝手のよい情報による操作指示方法を提供
するものである。
【０００２】
【従来の技術】従来、例えば、図形編集システムにおい
て、MACLIFE(No25、9、河出書房新社)に記載されている様
に、新規に図形を入力する際には、次のような手順を要
した。まず、あらかじめディスプレイに表示されている
図形パターンメニューから、入力したい図形をマウス等
のポインティングデバイスで選択する。この選択された
図形の輪郭線をポインティングデバイスで指示し、図形
をドラッグして入力位置を定める。さらに、図形の大き
さを決定する場合、図形の輪郭線をポインティングデバ
イスでドラッグして図形の大きさを調整する。
【０００３】また、図形を指示する場合は、B.A.Bolt「P
ut that there..」(Computer Graphics、14、3、1980）に開
示されている様に、ジェスチャーを伴う指示代名詞で指
示する他、図形編集を行なう前にあらかじめ画面上に描
かれた物体に名前をつけておき、以後この名前を使用す
るといった方法があった。
【０００４】
【発明が解決しようとする課題】この様に、従来の技術
では、図形編集において図形を新規入力する際に、まず
標準図形を選択して所望の図形を画面上に表示した後、
その図形の大きさを指定する必要があり、入力と同時に
大きさを指定することはできなかった。
【０００５】また、特定のイラストが欲しい場合、自分
で基本図形を組み合わせるなどして作らなければなら
ず、さらにこの作った物体を音声のみで指示するために
は名前をつける作業が必要であるといった煩わしさもあ
った。
【０００６】本発明の目的は、音声やポインティングジ
ェスチャといった複数のメディアを利用し、ユーザにと
って操作自由度が高く、簡便にイラスト等の入力、編集
が可能となる、複合形態による操作指示方法を提供する
ことにある。
【０００７】
【課題を解決するための手段】本発明による複合形態に
よる操作指示方法は、ポインティング入力装置を介して
表示装置の表示画面上の表示物または表示位置をポイン
ティングしながら、音声入力装置を介して表示物に関す
る操作を音声により指示する、複合形態による操作指示
方法であって、前記ポインティングを、前記表示物また
は表示位置に対して一連の複数の座標点列を入力するよ
うに行う第１のステップと、該ポインティング動作に伴
って前記音声による指示を行う第２のステップと、該音
声による指示に対して音声認識処理により指示内容を認
識する第３のステップと、該認識された指示内容に応じ
て前記ポインティングによる指示内容を認識する第４の
ステップと、前記音声による指示内容および前記ポイン
ティングによる指示内容に従って、前記表示物に対する
操作を実行する第５のステップとを備えたことを特徴と
する。
【０００８】前記第３のステップで、前記音声による指
示内容に基づいて前記入力された座標点列が表示物を指
示することが認識された場合、前記第４のステップで
は、該座標点列の形成する領域が前記画面上の表示物の
形成する領域と画面上で共有領域を持つ場合には、前記
座標点列が形成する領域と共有面積が最も広い表示物を
指示対象物とし、前記座標点列が形成する領域が表示物
の形成する領域と画面上で共有領域を持たない場合に
は、前記座標点列のＸ最大値とＸ最小値の平均値とＹ最
大値とＹ最小値の平均値が示す座標から最も近い中心点
を持つ表示物を指示対象物とする。
【０００９】前記第３のステップで、前記音声による指
示内容に基づいて前記入力された座標点列が表示位置を
指示することが認識された場合、前記第４のステップで
は、前記座標点列のＸ最大値とＸ最小値の平均値とＹ最
大値とＹ最小値の平均値が示す座標を指示表示位置とす
る。
【００１０】前記第３のステップで、前記音声による指
示内容に基づいて前記入力された座標点列が特定の表示
物の拡大縮小後の大きさ、或いは新規入力物の大きさを
指示することが認識された場合、前記第４のステップで
は、前記入力された座標点列のＸ座標値のうちの最小値
と最大値との差分値と前記特定の表示物の標準横最大幅
との比率αと、Ｙ座標値のうちの最小値と最大値との差
分値と前記特定の表示物の標準縦最大幅との比率βとを
算出し、前記第５のステップで、前記算出された比率
α、βに基づいて前記表示物のＸおよびＹ方向の大きさ
を決定する。
【００１１】また、本発明方法を実施する装置は、表示
画面上で表示物に関する操作を音声指示およびポインテ
ィングジェスチャーにより行う情報処理装置であって、
前記表示物または表示位置に対して複数の座標点を入力
するポインティング入力手段と、該ポインティング入力
手段により入力された複数の座標点の座標列を格納する
ポインティング領域テーブルと、前記表示物としての各
種表示部品のビットマップデータおよびその縦標準最大
幅、横標準最大幅を格納したビットマップデータ格納手
段と、前記ビットマップデータ格納手段から選択され表
示画面上に表示されたた表示部品の識別子、その縦横倍
率、および表示画面上での位置情報を格納する描画テー
ブルと、前記ビットマップデータ格納手段内の各表示部
品の音声認識可能な名称を保持する表示部品辞書と、該
表示部品辞書を参照して前記音声指示を認識する音声認
識手段と、前記ポインティング領域テーブル内の座標列
に基づいて指示された表示部品を抽出する表示部品抽出
手段と、前記ポインティング領域テーブル内の座標列に
基づいて表示部品の拡大率情報を算出する拡大率算出手
段と、前記ポインティング領域テーブル内の座標列に基
づいて指示された目標点を算出する目標点算出手段と、
前記音声認識結果に応じて、前記表示部品抽出手段、拡
大率算出手段、目標点算出手段の少なくとも１つを起動
し、その結果に基づき前記描画テーブルの書き換えを行
う制御手段とを備える。
【００１２】
【作用】本発明の複合形態による操作指示方法において
は、ユーザが、音声入力により、入力或いは編集したい
表示物または表示位置を指示すると同時に、ポインティ
ングジェスチャによって表示物の指示、入力位置指示、
大きさ指示、目標点位置指示を行うことにより、画面上
に指示された位置に、指示された大きさで対象物を表示
することが可能となる。すなわち、例えば、表示物の拡
大縮小時には、音声指示とともに、画面上で所望の大き
さのポインティングジェスチャーを行えばよい。また、
新規入力時には、音声で入力対象を指示するとともに、
所望の位置で所望の大きさのポインティングジェスチャ
ーを行えば、入力と同時に大きさの指示ができる。これ
により、作業手順が簡略化され、操作性が向上する。
【００１３】また、イラスト描画のための必要部品を記
憶しているイラスト部品辞書を具備し、音声で部品名を
入力すると、指定された部品が画面上に表示される機能
を備えることにより、表示したい部品を自分で基本図形
を組み合わせるなどして作らなければならない煩わしさ
から開放され、画面上に簡便に部品を表示することが可
能となる。
【００１４】入力された座標点列を構成する隣あった個
々の点間の入力時刻の差分値を算出し、１つのポインテ
ィングジェスチャの終端を検知し、入力された音声から
判断されたコマンドと情報入力順序によって、個々のジ
ェスチャの機能を判断する機能を備えることにより、ポ
インティングジェスチャの自由度が増し、より自然な入
力が可能となる。
【００１５】入力された座標点列が表示物を示す際、該
点列が形成する領域が、画面表示物が形成する領域と画
面上で共有領域を持つ場合には、該点列が形成する領域
と共有面積が最も広い表示物を指示対象物とし、画面表
示物が形成する領域と画面上で共有領域を持たない場合
には、該点列の個々の点のＸ最大値とＸ最小値の平均値
とＹ最大値とＹ最小値の平均値が示す座標から最も近い
中心点を持つ物体を指示対象物とする機能を備えること
により、さらにポインティングジェスチャの自由度が増
し、より自然な入力が可能となる。
【００１６】表示物の拡大縮小、或いは新規入力物の大
きさを指示する際には、入力された座標点列情報のＸ座
標値のうちの最小値と最大値の差分値と表示物の標準横
最大幅との比率αと、Ｙ座標値のうちの最小値と最大値
の差分値と表示物の標準縦最大幅との比率βを算出し、
算出された比率α、βに応じてビットマップの各セルを
補間して画像を拡大したり、各セルを間引いて画像を縮
小したりする機能を備えることにより、ユーザが、迅速
かつ簡便に表示物等の大きさを指示することが可能とな
る。
【００１７】
【実施例】以下、本発明の実施例を図面により詳細に説
明する。
【００１８】図１に、本発明の複合形態情報入力方法を
実現するシステムの構成を示す。ここでは、イラスト編
集システムを想定して説明を行なう。
【００１９】図１のシステムは、情報処理装置１、主記
憶装置２、パネル制御装置３、ディスプレイ４、タッチ
パネル５、表示制御装置６、Ａ／Ｄ変換装置７、マイク
８、ディスク９からなる。ディスク９には、システムプ
ログラム１１、イラスト編集プログラム１２、音響認識
プログラム１３、ポインティング領域読み込みプログラ
ム１４、情報統合プログラム１５、音響標準パタンデー
タ１６、イラスト部品辞書１７、ビットマップデータ１
８、コマンド＆格辞書１９が格納されており、これら
は、システム立ち上げ時に、主記憶装置２にロードされ
る。
【００２０】音響認識プログラム１３は、図７に示すよ
うに、音声入力プログラム１３００、特徴抽出プログラ
ム１３０１より構成される。
【００２１】情報統合プログラム１５は、図９に示すよ
うに、文法照合プログラム１５００、オブジェクト抽出
プログラム１５０１、コマンド＆格抽出プログラム１５
０２、拡大率算出プログラム１５０３、目標点位置算出
プログラム１５０４のモジュールから構成されている。
【００２２】図２は、主記憶装置２にロードされたイラ
スト編集プログラム１２を通じてディスプレイ４に表示
されたイラスト編集画面の一例である。同図において
は、自動車Ｂ及び長方形Ｃが、イラスト編集プログラム
１２によって、主記憶装置２に記憶された描画テーブル
（図４の４０００）に基づいてグラフィックモードで描
かれている。
【００２３】“自動車Ｂ"、“長方形Ｃ"といったイラス
ト部品の標準型のビットマップデータ１８は、図３に示
す様に、イラスト部品毎に構成され、それぞれの標準型
が示されている。同図では、３０１は、イラスト部品毎
の標準型ビットマップの識別番号、３０２はイラスト部
品名、３０３は部品毎の個々のビットデータのデータ番
号を示している。また３０４は、ビットマップデータを
画面上に展開し、ビット番号１が展開される位置を画面
上（０，０）として、あるイラスト部品のビットマップ
データを画面上に展開した時、ビットデータが０でない
座標値のうちのＸ軸上での最小値と最大値の差分値を示
しており、これを標準横最大幅XDとする。３０５は、ビ
ットマップデータを画面上に展開し、ビット番号１が展
開される位置を画面上（０，０）として、あるイラスト
部品のビットマップデータを画面上に展開した時、ビッ
トデータが０でない座標値のうちのＹ軸上での最小値と
最大値の差分値を示しており、これを標準縦最大幅YDと
する。ビットマップ番号１の“自動車"の場合、標準横
最大幅は200、標準縦最大幅は50と表される。
【００２４】図４に示す描画テーブル４０００は、図２
の例に対応しており、“自動車Ｂ"については、部品番
号“１"として、図３に示す標準ビットマップ番号
“１"、縦倍率1.0、横倍率1.0、中心座標（３５０、３
３０）が記憶されており、また“長方形Ｃ"について
は、部品番号“２"として、図３に示すビットマップ番
号１２、縦倍率1.0、横倍率1.0、中心座標（３００、８
０）が記憶されている。部品番号の最大値（最大部品個
数）は、主記憶装置２のバッファメモリＷ（図示せず）
に格納されている。各部品の中心座標は、Ｘ軸上での最
小値と最大値の平均値とＹ軸上での最小値と最大値の平
均値が示す座標である。
【００２５】ここでユーザは、図５および図６に示すよ
うに、音声およびジェスチャーで、“自動車Ｂ"を拡大
したいという意図を入力するものとする。まず、情報処
理装置１上で、イラスト編集プログラムを実行すると、
主記憶装置２上の音響認識プログラム１３が起動され
る。その後の処理の流れの一例を図２０に示す。音響認
識プログラム１３が起動されると、最初に、音声入力プ
ログラム１３００が起動される。この時、ユーザは、タ
ッチパネル５上で、例えば、図５に示すように、指先Ａ
或いはペン等でＤ点を指示して対象物を示し、続いて図
６に示すように、Ｄ'曲線を描くことで大きさを示しな
がら、ほぼ同時に音声で、“これをこのくらいに拡大し
て”(Ｓ１(図５)、Ｓ２(図６))、とマイク８を用いて入
力する（ｓ１０１）。入力された音声は、音声入力プロ
グラム１３００によって、Ａ／Ｄ変換装置７に取り込ま
れ、ディジタル信号に変換された後、主記憶装置２に送
られる（ｓ１０２）。続いて、特徴抽出プログラム１３
０１が起動され、このディジタル信号が、１０ｍｓのフ
レーム周期で、特徴ベクトルとして、例えば、斉藤、中
田「音声情報処理の基礎」（オーム社、昭５６）記載の
ＬＰＣケプストラム係数の時系列に変換される（ｓ１０
３）。ここで、フレーム周期は１０ｍｓに限定されるこ
となく、２０ｍｓ、３０ｍｓ等任意に設定することがで
きる。また、特徴ベクトルも、ＬＰＣケプストラム係数
のみに限定されず、バンドパスフィルタの出力等を使用
することも可能である。
【００２６】一方、主記憶装置２上のポインティング領
域読み込みプログラム１４は、前記方法により音響認識
プログラム１３が起動されるのと同時に、情報処理装置
１によって起動され、並列処理が行なわれる。この処理
の流れの一例を図２１に示す。 図２１の処理で利用す
るポインティング領域テーブル２０４を図８に示す。こ
のテーブルは、座標番号２００、入力時刻２０１、ｘ座
標２０２、ｙ座標２０３より構成されており、一定時間
毎に入力時刻、ｘ座標及びｙ座標データが、入力された
順序に座標番号“１”から格納されていく。この例で
は、１００ｍｓ毎に座標データを記憶している。座標番
号４と座標番号５との間は１０００ｍｓの時間間隔があ
り、これが第１、第２のポインティングジェスチャーの
境界と認識される。
【００２７】図２１の処理において、まず、主記憶装置
２上のバッファメモリに設定される変数Ｐ０及びＱをゼ
ロリセットする（ｓ２０１、ｓ２０２）。ポインティン
グ領域読み込みプログラム１４は、ユーザの指先或いは
ペン等が、タッチパネル５に触れている間（ｓ２０
３）、微小一定時間間隔で接触座標をパネル制御装置３
を通じて取り込み（ｓ２０４）、座標を取り込む毎に変
数Ｐ０をインクリメントし、さらに主記憶装置２のポイ
ンティング領域テーブル２０４（図８）中に、取り込ん
だｘ座標を配列Ｘ［Ｐ０］へ、ｙ座標を配列Ｙ［Ｐ０］
へ、座標入力時刻を配列Ｔ［Ｐ０］へ書き込む（ｓ２０
５）。指先或いはペン等が、タッチパネル５から離れて
からある一定時間Ｔｏが経過すると、書き込みを終了す
る（ｓ２０３）。一定時間Ｔｏは、拡大、移動、新既入
力、複写等の一つの操作指示の境界を認識できるような
時間とする。書き込みが終了すると、ポインティングジ
ェスチャの回数を判断するために、ポインティング領域
テーブル２０４に記憶された、隣あった個々の座標番
号、例えば座標番号ｉと座標番号（ｉ＋１）の入力時刻
の差分値：Ｔ[i+1]−Ｔ[i]がある一定値Ｔｇより大であ
る個所があれば（ｓ２０６）、変数Ｑをインクリメント
し、主記憶装置２上の配列ＺにＺ[Ｑ］＝ｉの形で書き
込む操作を行う（ｓ２０７、ｓ２０８）。一定値Ｔｇ
は、一つの操作指示における複数のジェスチャーの境界
を認識できる時間であり、Ｔｏより小さい。配列Ｚ
（Ｑ）は、Ｑ番目のジェスチャーに伴って得られた一連
の座標番号の最後の座標番号に相当する。配列Ｚ（Ｑ）
は、後述する図２４のステップ５０１において利用す
る。
【００２８】ユーザによるポインティング及び発声が終
了すると、主記憶装置２上の情報統合プログラム１５が
起動される。図２２に、情報統合プログラム１５起動後
の処理の流れの一例を示す。
【００２９】図２２の処理を説明する前に、この処理に
おいて利用するコマンド＆格辞書１９のデータ構造の一
例を図１９で説明する。コマンド＆格辞書１９は、複数
の動詞１９１の各々について、その意味するコマンド１
９２、コマンド番号１９３、格１９４、格番号１９５か
らなる。
【００３０】さて図２２において、まず配列Ｓがゼロリ
セットされ（ｓ３０１）、文法照合プログラム１５００
が起動される（ｓ３０２）。次に、先程求められた特徴
ベクトルと音響標準パタンデータ１６とのマッチング
が、例えば、北原他「音声入力による情報検索システム
における口語文受理方法の検討」（日本音響学会、3-5-
7、平３）に記載の方法で行われ、その結果、入力音声は
文字列に変換される（ｓ３０３）。前記の例をとれば、
入力音声に基づき得られる文字列は、“これをこのくら
いにかくだいして"となる。さらに、この文字列は、従
来から行われている方法、例えば、相沢他「計算機によ
るカナ漢字変換」(NHK技術研究、25、5、昭４８)に記載さ
れているような最長一致法或いは吉村他「文節最小法を
用いたべたがき日本語文の形態素解析」（情処学論、24、
1、昭５８)に記載されているような文節数最小法、ある
いは大島他「格文法による仮名漢字変換の多義解消」
（情処学論、27、7、昭６１)に記載されているような格文
法解析を用いて形態素解析され（ｓ３０４）、その結
果、（これ、代名詞、対象）、（を、格助詞、対象
格）、（このくらい、副詞、量）、（に、格助詞、変化
格）、（拡大(して)、動詞）の様な形態素情報が得られ
る。
【００３１】次に、コマンド＆格抽出プログラム１５０
２が起動され（ｓ３０５）、前述したコマンド＆格辞書
１９中の動詞１９１が参照され、当該形態素情報の動詞
“拡大（して）”との照合を行った結果（図２３，ｓ４
０１）、“拡大（する）”１９１１が選択される。この
結果、主記憶装置２上の配列Ｓには、コマンド“拡大縮
小”であるコマンド番号“１”１９４１がＳ[0]＝１の
形で記憶される（ｓ３０６、ｓ４０２）。また、抽出さ
れた形態素情報である“格助詞”との照合が行われ（ｓ
４０３）、格“を”１１、格“に”１２が選択されて、
格番号“１１”、格番号“１２”が、格の入力順に、配
列Ｓ[1]〜[m]（“ｍ”は格助詞の個数）にＳ[2]＝１
１、Ｓ[3]＝１２の形で格納される（ｓ３０６、ｓ４０
４）。次に、配列Ｓ[0]に格納されたコマンド番号によ
り、コマンド識別が行われる。配列Ｓ[1]〜[m]の格番号
入力順序により(ｓ３０７)、本例では、オブジェクト抽
出プログラム１５０１が起動される（ｓ３０８）。
【００３２】図２４に示したオブジェクト抽出プログラ
ム１５０１において、主記憶装置２上のＸ[1]からＸ[Ｚ
[1]］に格納されているＸ座標値のうちの最小値ＸＭｎ
０と最大値ＸＭｘ０と、Ｙ[1]からＹ[Ｚ[1]]に格納され
ているＹ座標値の内の最小値ＹＭｎ０と最大値ＹＭｘ０
を算出し、ＸＭｎ０≦Ｘｑ≦ＸＭｘ０、ＹＭｎ０≦Ｙｑ
≦ＹＭｘ０の範囲において（Ｘｑ、Ｙｑ）と表される全
ての座標値を算出する(ｓ５０１)。なお、１〜Ｚ（１）
は第１番目のジェスチャーの座標番号列に相当する。ま
た部品番号１からＷまでの各々について、該描画テーブ
ルに記憶されている中心座標と倍率及びビットマップデ
ータから画面表示物各々のＸ最小値ＸＭｎ、Ｘ最大値Ｘ
Ｍｘ、Ｙ最小値ＹＭｎ、Ｙ最大値ＹＭｘを算出し、ＸＭ
ｎ≦Ｘｚ≦ＸＭｘ、ＹＭｎ≦Ｙｚ≦ＹＭｘの範囲におい
て（Ｘｚ、Ｙｚ）と表される全ての座標値を算出する。
そして、個々の画面表示物の（Ｘｑ、Ｙｑ）と表される
全ての座標値と（Ｘｚ、Ｙｚ）と表される全ての座標値
との照合を行い（ｓ５０２)、一致する座標点の個数を
主記憶装置２上の配列ＣＯＭ［１］からＣＯＭ［Ｗ］に
格納する。この結果、ＣＯＭ［１］からＣＯＭ［Ｗ］の
うちの最大値がＣＯＭ［ｊ］であれば、ｊ番目の表示物
を指示対象物とし（ｓ５０３）、一致する座標値がない
場合には、ＸＭｎ０、ＸＭｘ０の平均値とＹＭｎ０、Ｙ
Ｍｘ０の平均値が示す座標（Ｘｎｔ，Ｙｎｔ）から最も
近い中心座標を持つ表示物を指示対象物とする（ｓ３０
９、ｓ５０４、５０５）。図８に示したポインティング
例では、第１のポインティングジェスチャーに相当する
座標番号“１”から“４”における（Ｘｎｔ、Ｙｎｔ）
＝（５５０、４５０）と“自動車Ｂ”の中心座標（３５
０、３３０）との距離Ｌｎ１≒２３３と、（Ｘｎｔ、Ｙ
ｎｔ）＝（５５０、４５０）と“長方形Ｃ"の中心座標
（３００，８０）との距離Ｌｎ２≒４４７ではＬｎ１≦
Ｌｎ２であるため、“自動車Ｂ"が指示対象物となる。
【００３３】次に、拡大率算出プログラム１５０３が起
動される（ｓ３１０）。図２５に示すように、拡大率算
出プログラム１５０３では、主記憶装置２上のＸ[Z[1]+
1]からＸ［Ｚ[2]］に格納されているＸ座標値の内の最
小値ＸＭｎ１と最大値ＸＭｘ１の差分値と対象物の標準
横最大幅との比率αと、主記憶装置２上のＹ[Z[1]+1]か
らＹ［Ｚ[2]］に格納されているＹ座標値の内の最小値
ＹＭｎ１と最大値ＹＭｘ１の差分値ＹＭｘ１−ＹＭｎ１
と、対象物の標準縦最大幅との比率βを算出する（ｓ３
１１、図２５，ｓ６０１、ｓ６０２）。なお、Ｚ[1]+1
〜Ｚ[2]は、第２番目のポインティングジェスチャーに
よる座標番号列に相当する。
【００３４】次に、図２２に戻り、算出された比率α＝
2.0、β=2.0に応じてビットマップの各セルを補間して
画像を拡大したり、各セルを間引いて画像を縮小したり
する（ｓ３１２）。この時、縦横の拡大率は、それぞれ
横拡大率α及び縦拡大率βとしてもよいし、拡大率をα
或いはβに固定してイラスト部品の標準型の相似形とな
るようにすることも可能である。この結果、描画テーブ
ルは、図１０の様に書き替えられ（ｓ３１３）、イラス
ト編集プログラム１２は図１１に示すような編集画面を
再表示する（ｓ３１４）。
【００３５】新規入力の場合は、図１２の様に、例え
ば、音声およびジェスチャーで“ビルをこのくらいに描
いて”、と指示する。この音声はマイク８を通して入力
され（図２０、ｓ１０１）、指先或いはペン等でタッチ
パネル５上でＤ”を示すことで表示位置及び大きさを指
定すると、前記の“拡大"の場合と同様に主記憶装置２
上の音響認識プログラム１３が起動し、音声がディジタ
ル信号に変換され、主記憶装置２に送られる（ｓ１０
２）。続いて、特徴抽出プログラム１３０１が起動さ
れ、ディジタル信号から特徴ベクトルを抽出する（ｓ１
０３）。
【００３６】一方、主記憶装置２上のポインティング領
域読み込みプログラム１４は、前記方法により音響認識
プログラム１３が起動されるのと同時に、情報処理装置
１によって起動され、並列処理が行なわれる。このと
き、主記憶装置２上の変数Ｐ０及びＱをゼロリセットす
る（ｓ２０１、ｓ２０２）。ポインティング領域読み込
みプログラム１４は、ユーザの指先或いはペン等が、タ
ッチパネル５に触れている間（ｓ２０３）、一定時間間
隔で接触座標をパネル制御装置３を通じて取り込み（ｓ
２０４）、座標を取り込む毎にＰ０をインクリメント
し、また主記憶装置２のポインティング領域テーブル２
０４中に、取り込んだｘ座標を配列Ｘ［Ｐ０］へ、ｙ座
標を配列Ｙ［Ｐ０］へ、座標入力時刻を配列Ｔ［Ｐ０］
へ書き込む（ｓ２０５）。また指先或いはペン等が、タ
ッチパネル５から離れてからある一定時間Ｔｏが経過す
ると書き込みを終了する（ｓ２０３）。書き込みが終了
すると、入力された座標が対象物を指定しているのか、
入力位置を指示しているのか、大きさ或いは目標点を指
示してるのかを判断するために、ポインティング領域テ
ーブル２０４に記憶された、隣あった個々の座標番号、
例えば座標番号ｉと座標番号（ｉ＋１）の入力時刻の差
分値：Ｔ[i+1]−Ｔ[i]がある一定値、Ｔｇより大である
個所があれば（ｓ２０６）、変数Ｑをインクリメント
し、主記憶装置２上の配列ＺにＺ[Ｑ］＝Ｔ[i]の形で書
き込む操作を行う（ｓ２０７、ｓ２０８）。
【００３７】ユーザによるポインティング及び発声が終
了すると、主記憶装置２上の情報統合プログラム１５が
起動される。配列Ｓがゼロリセットされ（図２２、ｓ３
０１）、文法照合プログラムが起動する（ｓ３０２）。
そして、“拡大"の時と同様に、求められた特徴ベクト
ルと、音響標準パタンデータ１６とのマッチングが行わ
れ、その結果、入力音声は文字列に変換される（ｓ３０
３）。さらに前記方法で形態素解析を行った結果（ｓ３
０４）、（ビル、名詞、対象物）、（を、格助詞、対象
格）、（このくらい、副詞、量）、（に、格助詞、変化
格）、（描いて、動詞、入力）の様な形態素情報が得ら
れる。次に、コマンド＆格抽出プログラム１５０２が起
動し（ｓ３０５）、コマンド＆格辞書１９（図１９）が
参照され、当該形態素情報の動詞“描（いて）”との照
合を行った結果、動詞“描（く）”１９１３が選択さ
れ、主記憶装置２上の配列Ｓにコマンド番号５がＳ[0]
＝３の形で記憶され、新規入力モードとなる。また図１
３に示すようなイラスト部品辞書１７が参照され、単語
“びる”は標準単語“びるでぃんぐ”に変換され、イラ
スト部品辞書の部品番号と同様に並べられているビット
マップデータ１８の部品番号５“ビルディング”が新規
入力物として選択される（ｓ３１５）。ただしこの場
合、例えば、藤澤「概念知識の体系化のためのメディア
スペース」（コンピュータ科学 2、1、平４）に記載され
ているような概念意味ネットワークにより、近い言葉で
検索されるイラスト部品辞書も搭載可能である。次に、
拡大率算出プログラム１５０３が起動し（ｓ３１６）、
主記憶装置２上のＸ[1]からＸ［Ｚ[1]］に格納されてい
るＸ座標値の内の最小値ＸＭｎ０と最大値ＸＭｘ０の差
分値：ＸＭｘ０−ＸＭｎ０と対象物の標準横最大幅：Ｘ
ＭＤ５との比率αと、主記憶装置２上のＹ［１］からＹ
［Ｚ［１］］に格納されているＹ座標値の内の最小値Ｙ
Ｍｎ０と最大値ＹＭｘ０の差分値：ＹＭｘ０−ＹＭｎ０
と、対象物の標準縦最大幅：ＹＭＤ５との比率βを算出
する。また、目標点算出プログラム１５４が起動され
（ｓ３１７）、ＸＭｎ０、ＸＭｘ０の平均値Ｘｎｔと、
ＹＭｎ０、ＹＭｘ０の平均値Ｙｎｔが示す座標（Ｘｎ
ｔ，Ｙｎｔ）をイラスト部品の中心点とする（ｓ３１
８、図２６，ｓ７０１、ｓ７０２）。次に算出された比
率α＝2.2、β=2.0に応じてビットマップの各セルを補
間して画像を拡大したり、各セルを間引いて画像を縮小
したりする（ｓ３１２）。この時、縦横の拡大率は、横
拡大率α及び縦拡大率βとしてもよいし、拡大率をα或
いはβに固定してイラスト部品の標準型の相似形となる
ようにすることも可能である。この結果、描画テーブル
４０００は図１４の様に書かれ（ｓ３１３）、図１５に
示すような編集画面を表示する（ｓ３１４）。
【００３８】部品を移動させる場合は、図１６に示す様
に、音声およびジェスチャーで“これをこっちに移し
て"、と指示する。この音声は、マイク８を通して入力
され（図２０、ｓ１０１）、Ａ、Ａ’で示す様に、指先
或いはペン等でタッチパネル５上で対象物指示と目標点
位置指定を行うと、前記の“拡大"の場合と同様に、音
響認識プログラムが起動し、入力音声は、Ａ／Ｄ変換さ
れ（ｓ１０２）、特徴ベクトルが抽出される（ｓ１０
３）。またポインティング領域読み込みプログラム１４
が起動され、変数Ｐ０、Ｑがインクリメントされ（図２
１、ｓ２０１、ｓ２０２）、ユーザが指先或いはペン等
でタッチパネル５に触れている間（ｓ２０３）、一定時
間間隔で接触座標をパネル制御装置３を通して取り込み
（ｓ２０４）、主記憶装置２のポインティング領域テー
ブル２０４に、一定時間毎に入力時刻、ｘ座標及びｙ座
標データが、入力された順序に座標番号“１”から格納
されていく（ｓ２０５）。また指先或いはペン等が、タ
ッチパネル５から離れてからある一定時間Ｔｏが経過す
ると書き込みを終了する（ｓ２０３）。書き込みが終了
すると、拡大の場合と同様に、ポインティング領域テー
ブル２０４に入力された座標の隣あった個々の座標番
号、例えば座標番号ｉと座標番号（ｉ＋１）の入力時刻
の差分値：Ｔ[i+1]−Ｔ[i]がある一定値Ｔｇより大であ
る個所があれば（ｓ２０６、ｓ２０７）、該変数Ｑをイ
ンクリメントし（ｓ２０８）、主記憶装置２上の配列Ｚ
にＺ[Ｑ］＝Ｔ[i]の形で書き込む操作を行う（ｓ２０
９、ｓ２１０）。
【００３９】ユーザによるポインティング及び発声が終
了すると、主記憶装置２上の情報統合プログラムが起動
され、配列Ｓがゼロリセットされ（図２２、ｓ３０
１）、文法照合プログラムが起動（ｓ３０２）する。そ
して、“拡大"の時と同様に、求められた特徴ベクトル
と、音響標準パタンデータ１６とのマッチングが行わ
れ、その結果、入力音声は文字列に変換される（ｓ３０
３）。さらに前記方法で形態素解析を行った結果（ｓ３
０４）、（これ、代名詞、対象物）、（を、格助詞、対
象格）、（こっち、代名詞、位置）（に、格助詞、場所
格）（移して、動詞、移動）の様な形態素情報が得られ
る。次に、コマンド＆格抽出プログラム１５０２が起動
し（ｓ３０５）、コマンド＆格辞書１９（図１９）が参
照され、主記憶装置２上の配列Ｓにコマンド番号２がＳ
[0]＝２の形で記憶され、移動モードとなる（ｓ３０
６、ｓ４０１、ｓ４０２）。次に、先に抽出された格の
格番号が、入力順に配列ＳにＳ[1]＝２１、Ｓ[2]＝２２
の形で記憶される（ｓ３０７、ｓ４０３、ｓ４０４）。
次に、配列Ｓの格番号入力順序により、オブジェクト抽
出プログラム１５０１が起動し（ｓ３０８）、“拡大"
の場合と同様の操作の結果、“自動車Ｂ"が指示対象物
となる（ｓ３０９）。また、目標点算出プログラム１５
０４が起動され（ｓ３１８）、ＸＭｎ１、ＸＭｘ１の平
均値Ｘｎｔと、ＹＭｎ１、ＹＭｘ１の平均値Ｙｎｔが示
す座標（Ｘｎｔ、Ｙｎｔ）をイラスト部品描画の中心点
とする（ｓ３１８、ｓ７０１、ｓ７０２）。その結果、
図４に示した描画テーブルは図１７の様に書換えられ
（ｓ３１３）、図１８に示す様な編集結果の画面を表示
する（ｓ３１４）。
【００４０】
【発明の効果】本発明によれば、ユーザが、音声を用い
て入力或いは編集したい対象物を指示して編集要求を行
うと同時に、ポインティングジェスチャによって対象物
の指示、表示位置指示、大きさ指示等を行うことによ
り、迅速かつ簡便に画面上に表示位置及び大きさが指定
された対象物を表示することが可能となる。またイラス
ト描画のための必要部品を記憶しているイラスト部品辞
書を具備し、音声で部品名を入力すると同時に、ポイン
ティングジェスチャにより表示位置及び大きさを指定す
ると、指定の位置及び大きさで表示される機能を備える
ことにより、表示したい部品を自分で基本図形を組み合
わせるなどして作らなければならない煩わしさから開放
され、画面上に簡便に部品を表示することが可能とな
る。
【図面の簡単な説明】
【図１】本発明の一実施例を示すＷＳのシステム構成図
である。
【図２】イラスト編集画面の一例を示す図である。
【図３】ビットマップデータ１８のデータ構造の一例を
示す図である。
【図４】描画テーブルのデータ構造の一例を示す図であ
る。
【図５】イラスト編集画面において、音声とポインティ
ングによって、対象物を指示している一実施例を示す図
である。
【図６】イラスト編集画面において、音声とポインティ
ングによって対象物拡大を指示している一実施例を示す
図である。
【図７】音響認識プログラム１３の一例を示すモジュー
ル構成図である。
【図８】ポインティング領域テーブルのデータ構造の一
例を示す図である。
【図９】情報統合プログラム１５の一例を示すモジュー
ル構成図である。
【図１０】対象物拡大指示によって書き替えられた描画
テーブルの一例を示す図である。
【図１１】対象物拡大指示によって再表示されたイラス
ト編集画面の一例を示す図である。
【図１２】イラスト編集画面において、音声とポインテ
ィングによって新規入力を指示している一例を示す図で
ある。
【図１３】イラスト部品辞書１７のデータ構造の一例を
示す図である。
【図１４】新規入力指示によって作成された描画テーブ
ルの一例を示す図である。
【図１５】新規入力指示によって再表示されたイラスト
編集画面の一例を示す図である。
【図１６】イラスト編集画面において、音声とポインテ
ィングによって対象物移動を指示している一実施例を示
す図である。
【図１７】対象物移動指示によって書き替えられた描画
テーブルのデータ構造の一例を示す図である。
【図１８】対象物移動指示によって再表示されたイラス
ト編集画面の一例を示す図である。
【図１９】コマンド＆格辞書１９のデータ構造の一例を
示す図である。
【図２０】音響認識プログラム１３起動後の処理の流れ
を示すフローチャートである。
【図２１】ポインティング領域読み込みプログラム１４
起動後の処理の流れを示すフローチャートである。
【図２２】情報統合プログラム１５起動後の処理の流れ
の一例を示すフローチャートである。
【図２３】コマンド＆格抽出プログラム１５０２起動後
の処理の流れの一例を示すフローチャートである。
【図２４】オブジェクト抽出プログラム１５０１起動後
の処理の流れの一例を示すフローチャートである。
【図２５】拡大率抽出プログラム１５０３起動後の処理
の流れの一例を示すフローチャートである。
【図２６】目標点算出プログラム１５０４起動後の処理
の流れの一例を示すフローチャートである。
【符号の説明】
１---情報処理装置、２---主記憶装置、３---パネル制
御装置、４---ディスプレイ、５---タッチパネル、６--
-表示制御装置、７---A/D変換装置、８---マイク、１１
---システムプログラム、１２---イラスト編集プログラ
ム、１３---音響認識プログラム、１４---ポインティン
グ領域プログラム、１５---情報統合プログラム、１６-
--音響標準パタンデータ、１７---イラスト部品辞書、
１８---ビットマップデータ、１９---コマンド＆格辞書

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】ポインティング入力装置を介して表示装置
    の表示画面上の表示物または表示位置をポインティング
    しながら、音声入力装置を介して表示物に関する操作を
    音声により指示する、複合形態による操作指示方法であ
    って、 前記ポインティングを、前記表示物または表示位置に対
    して一連の複数の座標点列を入力するように行う第１の
    ステップと、 該ポインティング動作に伴って前記音声による指示を行
    う第２のステップと、 該音声による指示に対して音声認識処理により指示内容
    を認識する第３のステップと、 該認識された指示内容に応じて前記ポインティングによ
    る指示内容を認識する第４のステップと、 前記音声による指示内容および前記ポインティングによ
    る指示内容に従って、前記表示物に対する操作を実行す
    る第５のステップとを備えたことを特徴とする、複合形
    態による操作指示方法。
  2. 【請求項２】前記第３のステップで、前記音声による指
    示内容に基づいて前記入力された座標点列が表示物を指
    示することが認識された場合、前記第４のステップで
    は、該座標点列の形成する領域が前記画面上の表示物の
    形成する領域と画面上で共有領域を持つ場合には、前記
    座標点列が形成する領域と共有面積が最も広い表示物を
    指示対象物とし、前記座標点列が形成する領域が表示物
    の形成する領域と画面上で共有領域を持たない場合に
    は、前記座標点列のＸ最大値とＸ最小値の平均値とＹ最
    大値とＹ最小値の平均値が示す座標から最も近い中心点
    を持つ表示物を指示対象物とすることを特徴とする、請
    求項１記載の複合形態による操作指示方法。
  3. 【請求項３】前記第３のステップで、前記音声による指
    示内容に基づいて前記入力された座標点列が表示位置を
    指示することが認識された場合、前記第４のステップで
    は、前記座標点列のＸ最大値とＸ最小値の平均値とＹ最
    大値とＹ最小値の平均値が示す座標を指示表示位置とす
    ることを特徴とする、請求項１記載の複合形態による操
    作指示方法。
  4. 【請求項４】前記第３のステップで、前記音声による指
    示内容に基づいて前記入力された座標点列が特定の表示
    物の拡大縮小後の大きさ、或いは新規入力物の大きさを
    指示することが認識された場合、前記第４のステップで
    は、前記入力された座標点列のＸ座標値のうちの最小値
    と最大値との差分値と前記特定の表示物の標準横最大幅
    との比率αと、Ｙ座標値のうちの最小値と最大値との差
    分値と前記特定の表示物の標準縦最大幅との比率βとを
    算出し、前記第５のステップで、前記算出された比率
    α、βに基づいて前記表示物のＸおよびＹ方向の大きさ
    を決定することを特徴とする請求項１または２記載の複
    合形態による操作指示方法。
  5. 【請求項５】前記第４のステップでは前記比率α、βの
    いずれか一方のみを算出し、前記第５のステップでは当
    該一方をＸおよびＹの双方向の大きさ決定に利用するこ
    とを特徴とする請求項４記載の複合形態による操作指示
    方法。
  6. 【請求項６】前記第４のステップでは、前記第１のステ
    ップで入力された座標点列を構成する隣あった個々の点
    間の入力時刻の時間間隔を検査することにより、１つの
    ポインティングジェスチャの終端を検知し、前記第５の
    ステップでは、個々のポインティングジェスチャー単位
    に前記認識された音声による指示内容との対応をとるこ
    とを特徴とする請求項１記載の複合形態による操作指示
    方法。
  7. 【請求項７】イラスト描画のための必要部品の描画デー
    タおよび各部品の名称を格納したイラスト部品辞書を予
    め用意しておき、ユーザが、音声で任意の部品名を指定
    することにより、該指定された部品が画面上の指示され
    た表示位置に表示されることを特徴とする請求項１記載
    の複合形態による操作指示方法。
  8. 【請求項８】表示画面上で表示物に関する操作を音声指
    示およびポインティングジェスチャーにより行う情報処
    理装置であって、 前記表示物または表示位置に対して複数の座標点を入力
    するポインティング入力手段と、 該ポインティング入力手段により入力された複数の座標
    点の座標列を格納するポインティング領域テーブルと、 前記表示物としての各種表示部品のビットマップデータ
    およびその縦標準最大幅、横標準最大幅を格納したビッ
    トマップデータ格納手段と、 前記ビットマップデータ格納手段から選択され表示画面
    上に表示されたた表示部品の識別子、その縦横倍率、お
    よび表示画面上での位置情報を格納する描画テーブル
    と、 前記ビットマップデータ格納手段内の各表示部品の音声
    認識可能な名称を保持する表示部品辞書と、 該表示部品辞書を参照して前記音声指示を認識する音声
    認識手段と、 前記ポインティング領域テーブル内の座標列に基づいて
    指示された表示部品を抽出する表示部品抽出手段と、 前記ポインティング領域テーブル内の座標列に基づいて
    表示部品の拡大率情報を算出する拡大率算出手段と、 前記ポインティング領域テーブル内の座標列に基づいて
    指示された目標点を算出する目標点算出手段と、 前記音声認識結果に応じて、前記表示部品抽出手段、拡
    大率算出手段、目標点算出手段の少なくとも１つを起動
    し、その結果に基づき前記描画テーブルの書き換えを行
    う制御手段とを備えたことを特徴とする情報処理装置。
JP28205792A 1992-10-20 1992-10-20 複合形態による操作指示方法 Pending JPH06131437A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP28205792A JPH06131437A (ja) 1992-10-20 1992-10-20 複合形態による操作指示方法
US08/137,788 US5600765A (en) 1992-10-20 1993-10-19 Display system capable of accepting user commands by use of voice and gesture inputs
EP93116885A EP0594129B1 (en) 1992-10-20 1993-10-19 Display system capable of accepting user commands by use of voice and gesture inputs
DE69329094T DE69329094D1 (de) 1992-10-20 1993-10-19 Anzeigesystem zur Annahme von Benutzerbefehlen aus Sprach- und Gesten-Eingabe

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28205792A JPH06131437A (ja) 1992-10-20 1992-10-20 複合形態による操作指示方法

Publications (1)

Publication Number Publication Date
JPH06131437A true JPH06131437A (ja) 1994-05-13

Family

ID=17647597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28205792A Pending JPH06131437A (ja) 1992-10-20 1992-10-20 複合形態による操作指示方法

Country Status (4)

Country Link
US (1) US5600765A (ja)
EP (1) EP0594129B1 (ja)
JP (1) JPH06131437A (ja)
DE (1) DE69329094D1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863319A (ja) * 1994-08-24 1996-03-08 Hitachi Ltd 情報処理装置
JPH08166866A (ja) * 1994-10-14 1996-06-25 Hitachi Ltd 対話型インターフェースを具備した編集支援システム
JPH08180022A (ja) * 1994-12-22 1996-07-12 Matsushita Electric Ind Co Ltd 情報記憶変換装置
JPH08263258A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
WO2010147600A2 (en) * 2009-06-19 2010-12-23 Hewlett-Packard Development Company, L, P. Qualified command
JP2012142033A (ja) * 2005-03-04 2012-07-26 Apple Inc 多機能ハンドヘルド装置
JP2015153324A (ja) * 2014-02-18 2015-08-24 株式会社Ｎｔｔドコモ 情報検索装置、情報検索方法及び情報検索プログラム
US11978252B2 (en) 2020-10-13 2024-05-07 Ricoh Company, Ltd. Communication system, display apparatus, and display control method

Families Citing this family (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5777614A (en) 1994-10-14 1998-07-07 Hitachi, Ltd. Editing support system including an interactive interface
JP3729918B2 (ja) * 1995-07-19 2005-12-21 株式会社東芝 マルチモーダル対話装置及び対話方法
GB9602701D0 (en) * 1996-02-09 1996-04-10 Canon Kk Image manipulation
US5960395A (en) 1996-02-09 1999-09-28 Canon Kabushiki Kaisha Pattern matching method, apparatus and computer readable memory medium for speech recognition using dynamic programming
US5966310A (en) * 1996-02-13 1999-10-12 Sanyo Electric Co., Ltd. Personal design system and personal equipment production system for actually producing equipment having designed appearance
US5995098A (en) * 1996-05-17 1999-11-30 Fujitsu Limited Personal information environment system
US6279017B1 (en) * 1996-08-07 2001-08-21 Randall C. Walker Method and apparatus for displaying text based upon attributes found within the text
US6314410B1 (en) 1997-06-04 2001-11-06 Nativeminds, Inc. System and method for identifying the context of a statement made to a virtual robot
US6604090B1 (en) * 1997-06-04 2003-08-05 Nativeminds, Inc. System and method for selecting responses to user input in an automated interface program
USRE43318E1 (en) * 1997-08-28 2012-04-17 Flatworld Interactives, Llc User interface for removing an object from a display
US6920619B1 (en) * 1997-08-28 2005-07-19 Slavoljub Milekic User interface for removing an object from a display
US6160555A (en) * 1997-11-17 2000-12-12 Hewlett Packard Company Method for providing a cue in a computer system
US6037937A (en) * 1997-12-04 2000-03-14 Nortel Networks Corporation Navigation tool for graphical user interface
WO1999028811A1 (en) * 1997-12-04 1999-06-10 Northern Telecom Limited Contextual gesture interface
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
JPH11184669A (ja) * 1997-12-24 1999-07-09 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理装置制御プログラムを記憶した媒体
US6249606B1 (en) 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6438523B1 (en) 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
ATE383640T1 (de) * 1998-10-02 2008-01-15 Ibm Vorrichtung und verfahren zur bereitstellung von netzwerk-koordinierten konversationsdiensten
JP2000194559A (ja) * 1998-12-24 2000-07-14 Canon Inc 情報処理装置及びその方法、及びそのプログラムを格納した記憶媒体
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6629087B1 (en) 1999-03-18 2003-09-30 Nativeminds, Inc. Methods for creating and editing topics for virtual robots conversing in natural language
US6480203B1 (en) 1999-03-19 2002-11-12 Corel Inc. System and method for processing an event of a graphical object
US6469715B1 (en) 1999-03-19 2002-10-22 Corel Inc. System and method for controlling the operation of a graphical object using a project
US6549199B1 (en) 1999-03-19 2003-04-15 Corel Inc. System and method for adjusting a graphical object
US6469716B1 (en) 1999-03-19 2002-10-22 Corel Inc. System and method for processing data for a graphical object
WO2001009664A1 (en) * 1999-08-01 2001-02-08 Deep Video Imaging Limited Interactive three dimensional display with layered screens
AU769120B2 (en) * 1999-08-19 2004-01-15 Pure Depth Limited Control of depth movement for visual display with layered screens
WO2001015128A1 (en) 1999-08-19 2001-03-01 Deep Video Imaging Limited Data display for multiple layered screens
EP1212744A4 (en) 1999-08-19 2006-06-14 Pure Depth Ltd DISPLAY PROCESS FOR MULTILAYER SCREENS
US6609089B1 (en) * 1999-08-30 2003-08-19 Lucent Technologies Inc. Method and apparatus for providing interactive services with multiple interfaces
US6529863B1 (en) * 1999-08-30 2003-03-04 Lucent Technologies Inc. Method and apparatus for providing interactive services with multiple interfaces
US6970915B1 (en) 1999-11-01 2005-11-29 Tellme Networks, Inc. Streaming content over a telephone interface
US7376586B1 (en) 1999-10-22 2008-05-20 Microsoft Corporation Method and apparatus for electronic commerce using a telephone interface
US6807574B1 (en) 1999-10-22 2004-10-19 Tellme Networks, Inc. Method and apparatus for content personalization over a telephone interface
US7941481B1 (en) 1999-10-22 2011-05-10 Tellme Networks, Inc. Updating an electronic phonebook over electronic communication networks
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US7136528B2 (en) * 2000-02-11 2006-11-14 Sony Corporation System and method for editing digital images
US7058903B1 (en) 2000-02-11 2006-06-06 Sony Corporation Image database jog/shuttle search
US7262778B1 (en) 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
US7810037B1 (en) 2000-02-11 2010-10-05 Sony Corporation Online story collaboration
US8407595B1 (en) 2000-02-11 2013-03-26 Sony Corporation Imaging service for automating the display of images
US7143039B1 (en) 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface
US20020073143A1 (en) * 2000-08-31 2002-06-13 Edwards Eric D. File archive and media transfer system with user notification
US6894714B2 (en) 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
DE10117457A1 (de) * 2001-04-06 2002-10-17 T Mobile Deutschland Gmbh Verfahren zur Anzeige von standardisierten großformatigen Internet-Seiten mit beispielsweise HTML-Protokoll in Einhandendgeräten mit Mobilfunkanschluss
NZ511444A (en) * 2001-05-01 2004-01-30 Deep Video Imaging Ltd Information display
US7190379B2 (en) * 2001-06-29 2007-03-13 Contex A/S Method for resizing and moving an object on a computer screen
US6868383B1 (en) * 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US7069215B1 (en) 2001-07-12 2006-06-27 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US20030055644A1 (en) * 2001-08-17 2003-03-20 At&T Corp. Systems and methods for aggregating related inputs using finite-state devices and extracting meaning from multimodal inputs using aggregation
DE10140874A1 (de) * 2001-08-21 2003-03-20 Dosch & Amand Gmbh & Co Kg Graphische Benutzeroberfläche
US6975994B2 (en) * 2001-09-12 2005-12-13 Technology Innovations, Llc Device for providing speech driven control of a media presentation
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
NZ521505A (en) 2002-09-20 2005-05-27 Deep Video Imaging Ltd Multi-view display
JP2004139427A (ja) * 2002-10-18 2004-05-13 Fuji Xerox Co Ltd コミュニケーション支援システム及びコミュニケーション支援システム、並びにコンピュータ・プログラム
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
JP2004265329A (ja) 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
NZ525956A (en) 2003-05-16 2005-10-28 Deep Video Imaging Ltd Display control system for use with multi-layer displays
GB2402507A (en) * 2003-06-03 2004-12-08 Canon Kk A user input interpreter and a method of interpreting user input
US20050132385A1 (en) * 2003-10-06 2005-06-16 Mikael Bourges-Sevenier System and method for creating and executing rich applications on multimedia terminals
US20050090304A1 (en) * 2003-10-24 2005-04-28 Pokertek, Inc. System and method of displaying or obscuring electronic playing cards
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) * 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
TWI253298B (en) * 2004-02-09 2006-04-11 Delta Electronics Inc Video device with voice-assisted system
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US20060081714A1 (en) * 2004-08-23 2006-04-20 King Martin T Portable scanning device
US7990556B2 (en) * 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
WO2008028674A2 (en) * 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) * 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) * 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
CA2571641C (en) * 2004-06-21 2013-01-22 Weike (S) Pte Ltd Virtual card gaming system
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7794324B2 (en) * 2004-09-13 2010-09-14 Pokertek, Inc. Electronic player interaction area with player customer interaction features
US20080154601A1 (en) * 2004-09-29 2008-06-26 Microsoft Corporation Method and system for providing menu and other services for an information processing system using a telephone or other audio interface
AU2006201734A1 (en) * 2005-04-27 2006-11-16 Aruze Corp. Gaming machine
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US7848917B2 (en) * 2006-03-30 2010-12-07 Microsoft Corporation Common word graph based multimodal input
WO2008031625A2 (en) * 2006-09-15 2008-03-20 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
JP2008152362A (ja) * 2006-12-14 2008-07-03 Konami Digital Entertainment:Kk ゲームプログラム、ゲーム装置及びゲーム制御方法
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP5121252B2 (ja) * 2007-02-26 2013-01-16 株式会社東芝 原言語による音声を目的言語に翻訳する装置、方法およびプログラム
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
US8462165B1 (en) * 2007-03-19 2013-06-11 Nvidia Corporation System, method, and computer program product for voice control of a graphics hardware processor
US8638363B2 (en) * 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
TWI374658B (en) * 2007-09-29 2012-10-11 Htc Corp Image process method
CN101399892B (zh) * 2007-09-30 2011-02-09 宏达国际电子股份有限公司 影像处理方法
JP5117280B2 (ja) * 2008-05-22 2013-01-16 富士フイルム株式会社 撮像装置、撮像方法、再生装置および再生方法
WO2010006087A1 (en) * 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
JP5170771B2 (ja) * 2009-01-05 2013-03-27 任天堂株式会社 描画処理プログラム、情報処理装置、情報処理システムおよび情報処理制御方法
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105244A2 (en) * 2009-03-12 2010-09-16 Exbiblio B.V. Performing actions based on capturing information from rendered documents, such as documents under copyright
KR20100107615A (ko) * 2009-03-26 2010-10-06 주식회사 팬택 터치입력을 이용한 데이터 편집 방법 및 휴대용 단말기
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US20100313133A1 (en) * 2009-06-08 2010-12-09 Microsoft Corporation Audio and position control of user interface
WO2011045805A1 (en) * 2009-10-16 2011-04-21 Hewlett-Packard Development Company, L.P. Gesture processing
US9081799B2 (en) * 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
DE102009058146B4 (de) 2009-12-12 2024-07-11 Volkswagen Ag Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9237294B2 (en) 2010-03-05 2016-01-12 Sony Corporation Apparatus and method for replacing a broadcasted advertisement based on both heuristic information and attempts in altering the playback of the advertisement
US20120005632A1 (en) * 2010-06-30 2012-01-05 Broyles Iii Paul J Execute a command
US20120054667A1 (en) * 2010-08-31 2012-03-01 Blackboard Inc. Separate and simultaneous control of windows in windowing systems
KR101269702B1 (ko) * 2010-10-20 2013-05-30 윤기정 다차원 스크린을 이용한 오디오 제어 장치 및 그 제어 방법
US9832528B2 (en) 2010-10-21 2017-11-28 Sony Corporation System and method for merging network-based content with broadcasted programming content
KR101789619B1 (ko) * 2010-11-22 2017-10-25 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US20120260176A1 (en) * 2011-04-08 2012-10-11 Google Inc. Gesture-activated input using audio recognition
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9263045B2 (en) * 2011-05-17 2016-02-16 Microsoft Technology Licensing, Llc Multi-mode text input
US8255218B1 (en) 2011-09-26 2012-08-28 Google Inc. Directing dictation into input fields
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8788273B2 (en) * 2012-02-15 2014-07-22 Robbie Donald EDGAR Method for quick scroll search using speech recognition
US9092394B2 (en) 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
US8904304B2 (en) * 2012-06-25 2014-12-02 Barnesandnoble.Com Llc Creation and exposure of embedded secondary content data relevant to a primary content page of an electronic book
KR102003255B1 (ko) * 2012-06-29 2019-07-24 삼성전자 주식회사 다중 입력 처리 방법 및 장치
US9443510B2 (en) 2012-07-09 2016-09-13 Lg Electronics Inc. Speech recognition apparatus and method
US20140033045A1 (en) * 2012-07-24 2014-01-30 Global Quality Corp. Gestures coupled with voice as input method
US20140067366A1 (en) * 2012-08-30 2014-03-06 Google Inc. Techniques for selecting languages for automatic speech recognition
JP5949413B2 (ja) * 2012-10-04 2016-07-06 日本電気株式会社 ユーザ指示認識システム、ユーザ指示認識方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
US8543397B1 (en) 2012-10-11 2013-09-24 Google Inc. Mobile device voice activation
KR102161439B1 (ko) * 2013-07-16 2020-10-05 삼성전자 주식회사 휴대 단말기에서 음성 인식을 수행하는 방법 및 장치
DE102013016196B4 (de) 2013-09-27 2023-10-12 Volkswagen Ag Kraftfahrzeugbedienung mittels kombinierter Eingabemodalitäten
USD737320S1 (en) * 2013-10-03 2015-08-25 La Crosse Technology, Ltd. Display screen with icon
USD741368S1 (en) * 2013-10-17 2015-10-20 Microsoft Corporation Display screen with transitional graphical user interface
US20150261494A1 (en) * 2014-03-14 2015-09-17 Google Inc. Systems and methods for combining selection with targeted voice activation
US20150277696A1 (en) * 2014-03-27 2015-10-01 International Business Machines Corporation Content placement based on user input
KR20150116944A (ko) * 2014-04-08 2015-10-19 삼성디스플레이 주식회사 도어 겸용 표시 장치
EP2947635B1 (en) * 2014-05-21 2018-12-19 Samsung Electronics Co., Ltd. Display apparatus, remote control apparatus, system and controlling method thereof
US9851822B2 (en) * 2014-06-29 2017-12-26 TradAir Ltd. Methods and systems for secure touch screen input
US10649635B2 (en) * 2014-09-26 2020-05-12 Lenovo (Singapore) Pte. Ltd. Multi-modal fusion engine
US20160091308A1 (en) * 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
US9730671B2 (en) * 2014-10-03 2017-08-15 David Thomas Gering System and method of voice activated image segmentation
US10146355B2 (en) * 2015-03-26 2018-12-04 Lenovo (Singapore) Pte. Ltd. Human interface device input fusion
USD781914S1 (en) * 2015-11-18 2017-03-21 Domo, Inc. Display screen or portion thereof with a graphical user interface
US20170315849A1 (en) * 2016-04-29 2017-11-02 Microsoft Technology Licensing, Llc Application target event synthesis
JP2017228080A (ja) * 2016-06-22 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR102630662B1 (ko) * 2018-04-02 2024-01-30 삼성전자주식회사 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
CN111124236B (zh) 2018-10-30 2023-04-28 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56105536A (en) * 1980-01-28 1981-08-22 Toshiba Corp Image information input device
JPS57174759A (en) * 1981-04-20 1982-10-27 Nippon Telegr & Teleph Corp <Ntt> Partial erasing method of picture image
JPS60146327A (ja) * 1984-01-11 1985-08-02 Hitachi Ltd 計算機対話方法
JPS6441082A (en) * 1987-08-07 1989-02-13 Hitachi Ltd Device for identifying handwriting character

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4811243A (en) * 1984-04-06 1989-03-07 Racine Marsh V Computer aided coordinate digitizing system
US5201034A (en) * 1988-09-30 1993-04-06 Hitachi Ltd. Interactive intelligent interface
JPH04239832A (ja) * 1991-01-23 1992-08-27 Fujitsu Ltd フレーム同期回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56105536A (en) * 1980-01-28 1981-08-22 Toshiba Corp Image information input device
JPS57174759A (en) * 1981-04-20 1982-10-27 Nippon Telegr & Teleph Corp <Ntt> Partial erasing method of picture image
JPS60146327A (ja) * 1984-01-11 1985-08-02 Hitachi Ltd 計算機対話方法
JPS6441082A (en) * 1987-08-07 1989-02-13 Hitachi Ltd Device for identifying handwriting character

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863319A (ja) * 1994-08-24 1996-03-08 Hitachi Ltd 情報処理装置
JPH08166866A (ja) * 1994-10-14 1996-06-25 Hitachi Ltd 対話型インターフェースを具備した編集支援システム
JPH08180022A (ja) * 1994-12-22 1996-07-12 Matsushita Electric Ind Co Ltd 情報記憶変換装置
JPH08263258A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JP2012142033A (ja) * 2005-03-04 2012-07-26 Apple Inc 多機能ハンドヘルド装置
WO2010147600A2 (en) * 2009-06-19 2010-12-23 Hewlett-Packard Development Company, L, P. Qualified command
WO2010147600A3 (en) * 2009-06-19 2011-11-17 Hewlett-Packard Development Company, L, P. Qualified command
US9594431B2 (en) 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
JP2015153324A (ja) * 2014-02-18 2015-08-24 株式会社Ｎｔｔドコモ 情報検索装置、情報検索方法及び情報検索プログラム
US11978252B2 (en) 2020-10-13 2024-05-07 Ricoh Company, Ltd. Communication system, display apparatus, and display control method

Also Published As

Publication number Publication date
EP0594129A2 (en) 1994-04-27
DE69329094D1 (de) 2000-08-31
US5600765A (en) 1997-02-04
EP0594129A3 (en) 1994-10-05
EP0594129B1 (en) 2000-07-26

Similar Documents

Publication Publication Date Title
JPH06131437A (ja) 複合形態による操作指示方法
JP3267047B2 (ja) 音声による情報処理装置
US5777614A (en) Editing support system including an interactive interface
Bolt “Put-that-there” Voice and gesture at the graphics interface
JP3020851B2 (ja) 情報検索装置および情報検索制御方法
JPH10154144A (ja) 文章入力装置及び方法
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
US5546565A (en) Input/output apparatus having a pen, and method of associating and processing handwritten image data and voice data
US20090132231A1 (en) Using input of rhyming characters for computer text entry of Chinese characters
JPH11167569A (ja) 文章入力装置及び方法並びに記録媒体
JPH06202784A (ja) 文字入力装置
JPH08166866A (ja) 対話型インターフェースを具備した編集支援システム
US7170503B2 (en) Layer editing method and apparatus in a pen computing system
JP2007018290A (ja) 手書き文字入力表示支援装置及び方法並びにプログラム
JPH0685983A (ja) 音声電子黒板
JPH08314917A (ja) かな漢字変換装置
JPH0883092A (ja) 情報入力装置及び情報入力方法
JPH0944600A (ja) オンライン文字認識に於ける入力文字予測方法、及びその装置
JPS60146327A (ja) 計算機対話方法
JP3170103B2 (ja) 複合形態による対象物指示方法
JPH0689158A (ja) 複合形態情報入力方法
JPH11259201A (ja) 日本語入力用の仮想文字板
JPH07287634A (ja) 文書作成装置及びその図形作成方法
JPH1063775A (ja) 文書作成装置及び認識候補表示方法
JP3184662B2 (ja) 文書作成装置及び漢字混じりかな漢字変換方法