JPH0685983A - 音声電子黒板 - Google Patents

音声電子黒板

Info

Publication number
JPH0685983A
JPH0685983A JP23804992A JP23804992A JPH0685983A JP H0685983 A JPH0685983 A JP H0685983A JP 23804992 A JP23804992 A JP 23804992A JP 23804992 A JP23804992 A JP 23804992A JP H0685983 A JPH0685983 A JP H0685983A
Authority
JP
Japan
Prior art keywords
voice
input
information
character
electronic blackboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP23804992A
Other languages
English (en)
Other versions
JP3203061B2 (ja
Inventor
Satoru Nakamura
哲 中村
Toshio Akaha
俊夫 赤羽
Seiji Hamaguchi
清治 濱口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP23804992A priority Critical patent/JP3203061B2/ja
Publication of JPH0685983A publication Critical patent/JPH0685983A/ja
Application granted granted Critical
Publication of JP3203061B2 publication Critical patent/JP3203061B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Facsimiles In General (AREA)

Abstract

(57)【要約】 【目的】 音声入力機能、文字認識機能、画像認識機
能、各種データベース機能を有し、音声による制御が可
能な音声電子黒板を提供する。 【構成】 制御部1、補助制御部2、表示部3、座標入
力部4、マイク5、音声認識部6、文字、画像認識部
7、音声出力部8、スピーカ9、スイッチ10から構成
される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】文字、画像の入力と表示機能に加
えて音声入力、音声認識機能を有することを特徴とする
音声電子黒板に関するものである。
【0002】
【従来の技術】黒板は、一対一、一対多、多対多の情報
伝達に非常に効果的な道具である。しかし、従来の黒板
はチョークやマジックで書いたままを情報として伝達す
るものでしかなかった。電子黒板としては記入した画像
をコピーする機能を持ったものが実用化されている。ま
た、音声認識を利用したものとして会議の議事録を逐一
表示するものや文字の回転縮小を音声で指示するものが
提案されているが、伝えるべき情報を黒板に記入する際
に位置の指定をともなって音声入力し、かつ表示できる
ものはなかった。また、図形の整形、データベース検索
を行なえるものはなかった。
【0003】
【発明が解決しようとする課題】本発明では、黒板が画
面に書き込んで初めて情報の伝達が可能となる構造であ
り、一度に入力できる情報が限られたり、入力できる情
報は入力者の能力に依存した画像や文字に限られている
といった問題点を音声認識の機能により解決するもので
ある。
【0004】最近では、ワードプロセッサの普及により
少し画数が多くなると漢字が書けない人が増加してい
る。例えば、‘顰蹙(ひんしゅく)’や‘躊躇’などは
代表的な発声はできるが書けない文字と言える。情報伝
達のみが目的の場合にもコピーによって議事録の一部に
なったりするので正しく漢字で入力することは不可欠で
ある。
【0005】
【課題を解決するための手段】文字、画像の表示のため
液晶またはプロジェクターと画像、文字、位置情報入力
のためのタブレットまたはタッチパネルを設ける。
【0006】音声の入力は、単語、文章の音声認識によ
り行ない入力位置を指示する手段により得た座標位置に
認識結果を活字情報、画像情報の形で表示する。この
時、不要な音声により音声認識装置が反応することを避
けるため、位置情報入力のための信号が入力されている
期間だけ入力音声を音声認識対象とするためのスイッチ
を設ける。
【0007】曖昧な手入力の画像は、音声などによりオ
ブジェクトの指定を行ない整形して表示する。さらに、
これらの入力、制御を記憶する手段として補助記憶装置
を設ける。これにより、情報入力時点での効率化、情報
編集時点での入力の効率化、情報伝達時点での伝達の効
率化を文字、画像の入力と表示機能に加えて音声認識機
能、これらの入力を記憶する手段を持つことで実現する
音声電子黒板を提供する。
【0008】
【作用】黒板に情報を入力する場合、入力者の能力に依
存して難しい漢字や図形が入力できなかったりする。し
かしこのような場合でも、その読みを発声することは易
しい場合が非常に多い。そこで、本発明により、入力位
置を指示した後、画数の多い漢字などの入力の難易度の
高いものの入力を音声入力により行なうことができ、入
力者の知的補助を行なうことができる。
【0009】この時、位置情報入力のための信号が入力
されている期間だけ入力音声を音声認識対象とするため
のスイッチを設けることにより、不要な音声や雑音によ
り音声認識装置が誤反応することを避けることができ
る。書き込み情報入力の位置指定と音声入力オン信号を
兼用するので効率が良い。
【0010】また、図形など手書き入力を行なった場合
にきれいな図形を書くことは非常に難しく、この情報を
受ける方は見ることに困難を伴うことが多いが、本発明
によれば手によって入力された曖昧な図形データを音声
で指定した図形に整形することによりこの問題が解決さ
れ、入力者の知的補助を行なうことができる。
【0011】通常の黒板では、伝達できる情報としてそ
の場で入力した情報に限定されるが、本発明によれば付
属の補助記憶装置に各種データベースを用意しておき、
これを音声にて検索し表示、再生することにより既存の
データベースの情報を含めた情報伝達をすることが可能
となる。また、一度入力した音声、文字、画像データを
補助記憶装置のデータベースに追加することにより、入
力者専用のデータベースを構成することができる。
【0012】情報を伝達する場合、音声、文字や画像デ
ータそれぞれでなく、入力者がこれらをある一定の順序
で伝達することにより意味をなす場合がある。学校での
講義や、プレゼンテーションを行なう場合である。本発
明は、伝達する情報のシナリオとして情報の表示、再生
とその時間的順序を記憶しておき、再現することにより
このような情報伝達を可能とする。
【0013】
【実施例】図1に音声電子黒板のブロック図を示す。1
は全体を制御する制御部、2は文字、画像音声の入力、
制御のシナリオを記憶する補助記憶部、3は表示部、4
はタブレットや表示部3上に設けられたタッチセンサー
などによる座標入力部、5は音声入力のためのマイクロ
ホン、6はマイクロホン5から入力された音声を認識す
る音声認識部、7は座標入力部4から入力された座標列
を手書き文字や、画像として認識する文字、画像認識
部、8は補助記憶部2に格納された音声音響信号を再生
する音声出力部、9は音声出力部8の信号を出力するス
ピーカーである。
【0014】通常電子黒板として機能する場合、座標入
力部4から入力された文字、画像の座標データは、その
まま、制御部1により表示部3に表示される。
【0015】表示部3の詳細な構成例としては次のよう
なものがある。黒板の表示部は、例えばプロジェクター
装置とタッチパネルによる位置検出装置、位置検出処理
を行う位置検出制御部、及び表示処理を行う表示制御部
から構成される。タッチパネル上に入力された文字、画
像は位置検出制御部を経て制御部1に送られる。このデ
ータは、表示制御部に送られ、プロジェクターの信号に
変換された後、プロジェクターに送られ表示部3上に表
示される。表示部については、プロジェクターのほかタ
ッチセンサー一体型液晶パネルによっても実現可能であ
る。
【0016】文字、画像入力時、画数の多い漢字、複雑
な定型の図形など入力の難易度が高い画像の入力の必要
性が生じた場合は、まず、文字、画像を書き始める位置
を座標入力部4により指定する。つぎに、マイクロホン
5にその読みを音声入力し、6で認識しこの結果を制御
部1により表示部3の指定された位置に書き込む。この
場合、読みが分かっても書けない文字とは、例えば画数
の多い漢字、ギリシャ文字等が含まれ、これらを単独
で、または、文章で発声しても良い。また、三角形と
か、正方形等の図形を登録しておいて音声により書き込
むことも可能である。また、書き込むときの文字、画数
の大きさは、それまでの文字の大きさを文字画像認識部
7で検出しておき、そのデータに基づいて大きさを決定
して書き込む。
【0017】タッチパネルを押している間のみ座標入力
部4から発生する信号の存在によりオンとなるスイッチ
10により、マイクロホン5から入力される音声のうち
適切な音声が音声認識部に送られる。スイッチ10は、
音声に対して不要な反応をしないようにするための機能
である。
【0018】入力された音声は、音響分析部でフーリエ
変換や線形予測分析、ケプストラム分析により音声の特
徴抽出が行なわれる。まず、音声の特徴パラメータに対
し、あらかじめ用意してある音素モデルと音素マッチン
グを行なう。音素モデルは、不特定話者の音声データベ
ースからクラスタリングによって求められた標準パター
ンかあるいは確率モデルである隠れマルコフモデル(H
MM:HiddenMarkov Model)とす
る。
【0019】音素マッチングでは、DPマッチングによ
り距離を求めるか、HMMのトレリスかビタービの前向
き演算にて尤度をもとめ音素ラティスを求める。[参考
文献:例えば 中川聖一 「確率モデルによる音声認
識」 電子情報通信学会1988]次に対象とする語彙
の単語辞書と音素ラティスの照合を単語マッチング部で
DPマッチングにより行ない認識結果を求める。
【0020】この認識結果を制御部1に送り、文字、画
像データを生成した後、表示部3のプロジェクターによ
り座標指定部で示されている位置に表示する。音声認識
においては、単語辞書からLRパーザーを用い単語を予
測しながら音素認識を行ないつつ候補を絞って認識を行
なって行く方法もある。また、入力された文字、画像の
大きさになるべく一致し各文字、画像で大きさが一定す
るように大きさの平均化などを行なって調整を行なう。
【0021】次に、手によって入力された曖昧な図形、
文字を音声で指定した図形に整形する実施例について説
明する。まず、座標入力部4より入力された図形、文字
に対し、整形したい図形、文字の形をマイクロホン5に
入力する。音声入力する音声認識装置が不要な音声に反
応することを避けるため、入力された音声のうち、スイ
ッチ10によりタッチパネルが押されている期間の音声
のみを取り出し認識する。
【0022】音声認識された図形パターンに図形を整形
し、表示部3に表示する。このとき、表示する大きさや
角度は、文字画像認識部で入力画像と整形画像の誤差が
最小になるように計算して求める。基準としては、内
接、外接などを用いることも可能である。
【0023】また、記入の終了した文字、画像データに
ついての移動、拡大、縮小、回転、記憶、呼び出し、削
除、グラフ作成などの制御、編集に対しては、座標入力
部4の対象となる文字、画像の例えば左上の位置のタッ
チパネルを押すことで文字、画像の指定、音声認識スイ
ッチ10のオンを行ない、マイクロホン5にこれらの制
御語、制御文章を音声入力することで、音声認識部6で
認識し、制御部1で編集を行ないこの結果を表示部3に
出力する。
【0024】また、これらの編集コマンドを文字、画像
に登録しておき座標入力部4から入力されたこのコマン
ドを文字、画像認識部7で認識し、制御部1で編集を行
ないこの結果を表示部3に出力する。
【0025】つぎに、データベースを記憶する手段とし
て補助記憶部2は磁気ディスク、光磁気ディスク、光デ
ィスク、フロッピーディスク、ROM、RAMカードな
どにより構成される。このデータベースの検索、表示
は、同様にデータベースを表示する位置を座標入力部4
のタブレットを押えている間に検索用音声をマイクロホ
ン5に発声し、音声認識部6で認識し、制御部1により
補助記憶部2から該当データベースを取り出し制御部1
を経て、座標入力部4で指定された位置に表示部3で表
示する。
【0026】検索用の音声制御語としては、例えば
(‘データベースの種類’+‘検索の種類’+‘検索キ
ーワード’)の順に発声する。検索の種類は、「検
索」、「データベースとして格納」、「変更」とし、検
索キーワードとしては、いくつでも指定できるように
し、一致がとれたものを順に表示するものとする。ま
た、必要な情報が得られた時点でタブレットを押すのを
やめることにより確定する。これにより、データベース
の検索、更新、追加入力が可能となる。
【0027】これらの一連の音声、文字により入力され
た文字、画像データと制御のシナリオは、マイクロホン
5から入力された音声コマンド‘シナリオ登録’+‘シ
ナリオ名’を音声認識部6で認識することにより、座標
入力部4から入力された文字、画像データや、マイクロ
ホン5から入力された音声データを制御部1をへて補助
記憶部2に記憶し、(‘シナリオ再生’+‘シナリオ
名’)をマイクロホン5ら入力することにより、音声認
識部6で認識を行ない制御部1が補助記憶部2から指定
されたシナリオのデータを入力されたのと同じ速度で再
生することにより、何度も同じデータを伝達する黒板を
実現できる。
【0028】
【発明の効果】文字、画像入力時、読みが分かっても書
けない文字は音声入力することで記入できる。文字、画
像入力時、手書き入力を画像認識をして整形画像に変換
することにより清書できる。音声入力時、表示位置を指
定する場所でタブレットが押されている間のみ音声入力
を受け付けるスイッチを設けることにより音声認識が不
要な入力に反応することを避けることができる。
【0029】また、文字、画像、音声の編集が音声で制
御できる。また、補助記憶に蓄えられた音声データベー
スを音声により検索表示、変更、追加できる。また、情
報伝達の再現性を文字、画像音声の入力、制御のシナリ
オを記憶し、検索し、再生することにより再現性ある情
報とする。
【図面の簡単な説明】
【図1】本発明の音声電子黒板のブロック図。
【符号の説明】
1 制御部 2 補助制御部 3 表示部 4 座標入力部 5 マイク 6 音声認識部 7 文字、画像認識部 8 音声出力部 9 スピーカ 10 スイッチ

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 文字情報及び画像情報の入力手段と、文
    字情報及び画像情報の表示手段と、音声入力手段と、音
    声認識手段と、音声出力手段と、全体を制御する制御手
    段とを有することを特徴とする音声電子黒板。
  2. 【請求項2】 入力位置を指示する手段を有し、画数の
    多い漢字などの手書き入力の難易度が高い文字を音声入
    力により行い、入力された音声を前記音声認識手段で認
    識し、認識結果を前記入力位置を指示する手段で指示さ
    れた位置に表示することを特徴とする請求項1記載の音
    声電子黒板。
  3. 【請求項3】 入力音声を音声認識部に入力する際に、
    前記入力位置を指示する手段からの信号に基づいて前記
    音声認識部への入力を選択するスイッチを有することを
    特徴とする請求項2記載の音声電子黒板。
  4. 【請求項4】 前記制御手段が、手書きによって入力さ
    れた曖昧な図形データを音声で指定した図形に整形する
    よう制御することを特徴とする請求項1記載の音声電子
    黒板。
  5. 【請求項5】 あらかじめ用意されている文字情報、画
    像情報、音声情報からなるデータベースを有し、前記制
    御手段は、音声による指示に基づいて該データベースを
    検索し、検索結果の文字情報または画像情報の表示、音
    声情報の再生を行うよう制御することを特徴とする請求
    項1記載の音声電子黒板。
  6. 【請求項6】 文字情報、画像情報、音声情報等の入力
    データを記憶する記憶手段を有し、該記憶手段の内容を
    前記データベースに追加することによりデータベースの
    更新を行なえるようにすることを特徴とする請求項5記
    載の音声電子黒板。
  7. 【請求項7】 あらかじめ伝達する情報をシナリオとし
    て文字及び画像情報の表示内容、音声情報の再生内容、
    及びそれらの時間的順序情報を前記記憶手段に記憶して
    おき、制御手段は前記時間的順序情報に基づいて前記情
    報を再現することにより、情報の繰り返し使用と効果的
    な情報伝達を可能とすることを特徴とする請求項6記載
    の音声電子黒板。
JP23804992A 1992-09-07 1992-09-07 音声電子黒板及び音声認識機能を備える表示装置 Expired - Fee Related JP3203061B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23804992A JP3203061B2 (ja) 1992-09-07 1992-09-07 音声電子黒板及び音声認識機能を備える表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23804992A JP3203061B2 (ja) 1992-09-07 1992-09-07 音声電子黒板及び音声認識機能を備える表示装置

Publications (2)

Publication Number Publication Date
JPH0685983A true JPH0685983A (ja) 1994-03-25
JP3203061B2 JP3203061B2 (ja) 2001-08-27

Family

ID=17024409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23804992A Expired - Fee Related JP3203061B2 (ja) 1992-09-07 1992-09-07 音声電子黒板及び音声認識機能を備える表示装置

Country Status (1)

Country Link
JP (1) JP3203061B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040040077A (ko) * 2002-11-06 2004-05-12 씨투게더커뮤니케이션 주식회사 디지털 전자 칠판을 이용한 멀티미디어 학습 시스템
US7024361B2 (en) 2000-10-11 2006-04-04 Canon Kabushiki Kaisha Information processing apparatus and method, a computer readable medium storing a control program for making a computer implemented information process, and a control program for selecting a specific grammar corresponding to an active input field or for controlling selection of a grammar or comprising a code of a selection step of selecting a specific grammar
JP2007048177A (ja) * 2005-08-12 2007-02-22 Canon Inc 情報処理方法及び情報処理装置
JP2011516954A (ja) * 2008-03-31 2011-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザ命令に基づいて表示を変更する方法
JP2012088969A (ja) * 2010-10-20 2012-05-10 Sharp Corp 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
JP2015055773A (ja) * 2013-09-12 2015-03-23 株式会社アドバンスト・メディア 情報処理装置、情報処理方法及びプログラム
JP2022547667A (ja) * 2019-12-30 2022-11-15 華為技術有限公司 ヒューマンコンピュータインタラクション方法、装置、及びシステム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024361B2 (en) 2000-10-11 2006-04-04 Canon Kabushiki Kaisha Information processing apparatus and method, a computer readable medium storing a control program for making a computer implemented information process, and a control program for selecting a specific grammar corresponding to an active input field or for controlling selection of a grammar or comprising a code of a selection step of selecting a specific grammar
KR20040040077A (ko) * 2002-11-06 2004-05-12 씨투게더커뮤니케이션 주식회사 디지털 전자 칠판을 이용한 멀티미디어 학습 시스템
JP2007048177A (ja) * 2005-08-12 2007-02-22 Canon Inc 情報処理方法及び情報処理装置
JP4708913B2 (ja) * 2005-08-12 2011-06-22 キヤノン株式会社 情報処理方法及び情報処理装置
JP2011516954A (ja) * 2008-03-31 2011-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザ命令に基づいて表示を変更する方法
JP2012088969A (ja) * 2010-10-20 2012-05-10 Sharp Corp 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
JP2015055773A (ja) * 2013-09-12 2015-03-23 株式会社アドバンスト・メディア 情報処理装置、情報処理方法及びプログラム
JP2022547667A (ja) * 2019-12-30 2022-11-15 華為技術有限公司 ヒューマンコンピュータインタラクション方法、装置、及びシステム

Also Published As

Publication number Publication date
JP3203061B2 (ja) 2001-08-27

Similar Documents

Publication Publication Date Title
US11972227B2 (en) Lexicon development via shared translation database
KR101445904B1 (ko) 현장 음성 번역 유지 시스템 및 방법
US9753918B2 (en) Lexicon development via shared translation database
US7047195B2 (en) Speech translation device and computer readable medium
US5787230A (en) System and method of intelligent Mandarin speech input for Chinese computers
US6601027B1 (en) Position manipulation in speech recognition
US5855000A (en) Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
JP3848319B2 (ja) 情報処理方法及び情報処理装置
US6570588B1 (en) Editing support system including an interactive interface
US7580835B2 (en) Question-answering method, system, and program for answering question input by speech
US20090281789A1 (en) System and methods for maintaining speech-to-speech translation in the field
EP0840286A2 (en) Method and system for displaying a variable number of alternative words during speech recognition
JPH06131437A (ja) 複合形態による操作指示方法
WO2011094090A1 (en) Enhanced speech-to-speech translation system and methods
JPH06208389A (ja) 情報処理方法及び装置
JP3104661B2 (ja) 日本語文章作成装置
JPH0685983A (ja) 音声電子黒板
JP3710493B2 (ja) 音声入力装置及び音声入力方法
JP2007018290A (ja) 手書き文字入力表示支援装置及び方法並びにプログラム
Suhm Multimodal interactive error recovery for non-conversational speech user interfaces
JPH1021254A (ja) 音声認識機能付き情報検索装置
JPH0883092A (ja) 情報入力装置及び情報入力方法
WO2009151868A2 (en) System and methods for maintaining speech-to-speech translation in the field
KR100777569B1 (ko) 멀티모달을 이용한 음성 인식 방법 및 그 장치
JPS5864548A (ja) 音声日本語処理システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees