JP6192104B2 - テキスト編集装置及びプログラム - Google Patents
テキスト編集装置及びプログラム Download PDFInfo
- Publication number
- JP6192104B2 JP6192104B2 JP2013190973A JP2013190973A JP6192104B2 JP 6192104 B2 JP6192104 B2 JP 6192104B2 JP 2013190973 A JP2013190973 A JP 2013190973A JP 2013190973 A JP2013190973 A JP 2013190973A JP 6192104 B2 JP6192104 B2 JP 6192104B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- editing
- character string
- character
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明を、タブレット端末によるコミュニケーションプログラムを例として説明する。ここで説明するコミュニケーションプログラムは、例えば耳の不自由な人とのコミュニケーションのために、音声をテキスト表示し、さらに音声入力を使用して適宜テキストを編集するというアプリケーションである。
図2を参照して、この実施の形態に係るタブレット端末80は、長方形の正面を持つ、扁平な直方体の筐体90を持つ。筐体90の正面には、長方形のマルチタッチディスプレイ100が配置されている。マルチタッチディスプレイ100の周囲は筐体90により縁どられているが、そのうちの短辺に沿った一部は他の部分よりも幅が広く、その中央部にハードウェアの押しボタン102が配置されている。
─文字列の置換─
図3を参照して、テキスト表示領域104に表示されている、音声認識により得られたテキストのうち、ユーザが「左側に」という語句を別の単語で置換する場合を考える。このタブレット端末80の通常の設定では、その語句の上に横線140を指で描くジェスチャを行なうと、横線140と領域が重なっている文字列が置換対象として選択される。それと同時に、図3の右側に示すように、音声入力プログラムが起動され、音声入力ウィンドウ142が表示される。音声入力ウィンドウ142には、置換対象の文字列と、音声認識結果の文字列とが表示される。音声認識結果の文字列は、音声入力ウィンドウ142に表示されるとともに、横線140の文字列に代わってテキスト表示領域104にも表示される。このとき、横線140が消去されるのはいうまでもない。
図4を参照して、入力されたテキストの一部に文字列を挿入したい場合には、ユーザは、挿入したい箇所に逆V字150を描くようにジェスチャを行なう。図4の右側に示すように、このときも自動的に音声認識プログラムが起動されて音声入力ウィンドウ152が表示され、音声入力が可能になる。入力されたテキストは逆V字150の頂点位置に挿入される。この実施の形態では、逆V字150の先端がテキスト内部を指していないときには、音声入力後のテキストは入力済のテキストの末尾に追加される。
文字列を単純に削除する場合、ユーザは、削除した文字列の上で左右に指を往復させることで、左右の線からなる図形160を描くジェスチャを行なう。この図形160と重なる領域の文字列が削除される。この場合には音声入力は自動的には起動しない。
例えば固有名詞のように音声入力で思い通りの文字列が得られない場合もある。そうした場合のために、図6の左側に示すような箱型の図形170で対象の文字列を囲うと、図形170により囲われた文字列が置換対象として選択されると同時に、図6の右側に示すようにソフトキーボード174が表示される。この実施の形態では、さらにキーボード入力ウィンドウ172が表示され、キーボード入力ウィンドウ172の上段には置換対象の文字列が表示され、下段にはソフトキーボードで入力された文字列が表示される。図6に示される例では、キーボードによる入力フィールドには、初期値として置換対象の文字列が表示され、従来の例と同様、カーソルがその前後に表示される。カーソルを移動させることで入力位置を移動させたり置換対象の文字列を選択したりできる。なお、キーボード入力ウィンドウ172を表示せず、入力されたテキストをテキスト表示領域104に直接表示してもよい。
ある程度まとまった音声入力をした後、入力後のテキストのどこかに新たなテキストを入力したい場合があり得る。そうした場合、図4に示したように挿入を行なうこともできるが、挿入箇所を決めるのがすぐにはできない場合もあり得る。入力したテキストと区別して別のテキストを入力したい場合もある。そうした場合のために、テキスト表示領域104に入力されたテキストとは別のテキストを吹出形式で音声入力により入力できる。挿入箇所が決まったときにその吹出を所望の位置にドラッグすることでテキストの挿入ができる。
テキストを強調表示したり、色を変えたり、入力の設定を変えたりしたい場合もあり得る。そうした場合には、通常は、図2に示す設定ボタン122を操作すればよい。しかし、設定ボタン122を用いる場合には、通常のメニュー形式によって設定項目を表示させて所望の設定を行なわなければならない。そうした操作は、リアルタイムのコミュニケーションを阻害する。そこで本実施の形態では、設定のショートカットとして、音声によりコマンドを入力できるようにしている。しかも、単に音声で入力されたコマンドを実行するだけでなく、入力されたコマンドのテキストを吹出形式で表示する。この吹出をタッチすることで、吹出により表されるコマンドを繰返して実行できる。ここでは、文字を大きく表示する音声コマンドとして「大きく」というコマンドが音声で入力可能だとする。
入力した文字列を全て削除して新たなテキストの入力を開始したい場合もある。そうした場合には、図11の左側に示すように、テキスト表示領域104の全体にわたり大きな×印210を描く。すると図11の右側に示すようにテキスト表示領域104はクリアされる。この実施の形態では、テキスト表示領域104がクリアされると同時に、音声入力が自動的に起動される。したがってユーザは、入力済のテキストを消去する動作をすると同時に新たなテキスト入力のための発話を開始できる。
上記した説明では、ジェスチャにより選択される文字列は、ジェスチャの領域に重なる文字列であった。しかし、音声認識の場合、誤認識される文字列はあるまとまりを形成しており、そのまとまりがジェスチャにより囲われた領域と一致するとは限らない。一般に、誤認識される部分については、音声認識の尤度は低くなると考えられる。そこで、本実施の形態では、文字列の選択方式として、上記した単なる領域の重なりによるものだけではなく、尤度によって領域を決定する方式も準備しており、両者を設定で切替えることができるようにしている。通常、音声認識プログラムは、音声認識結果とともに音声認識結果の単語ごとの尤度を単語とともに出力するので、それをここで用いることができる。尤度は、後述するストレージ又はRAMに音声認識結果とともに記憶される。
図2に示すタブレット端末80のハードウェア構成については図20を参照して後述することとし、以下、図13〜図19を参照して、上記した操作を可能にするためのコミュニケーションプログラムのソフトウェア構成について説明する。
図2に示すタブレット端末80のハードウェア構成を図20に示す。タブレット端末80は、実質的にはコンピュータであって、省電力型のプロセッサ606と、このプロセッサ606が接続されたバス604とを含む。タブレット端末80はさらに、いずれもバス604に接続されたキャッシュ608、ROM610、RAM612,ネットワーク/バスインターフェイス616、不揮発性の半導体メモリからなるストレージ614を含む。ネットワーク/バスインターフェイス616は、有線又は無線ネットワークによりインターネット602の他のコンピュータ等との間の通信を提供する。
上記したタブレット端末80は以下のように動作する。タブレット端末80の電源が投入され、コミュニケーションプログラムが起動すると、図13のステップ242の処理が実行された後、イベント待ちとなる(ステップ244)。何らかのイベントが発生すると、そのイベントの種類、イベントの発生個所等に応じてステップ246〜258のいずれかに制御が分岐し、それぞれ処理が実行された後、ステップ244のイベント待ちに処理が戻る。こうして、ユーザとの対話によって音声入力によるコミュニケーションが進行する。
上記した実施の形態のプログラムが持つ制御構造は単なる一例であり、使用するプログラミング言語、プロセッサのアーキテクチャ等によって変化する。音声入力結果のテキストを編集するにあたり、編集の対象を指定するジェスチャをすると、編集の対象が決定されると同時に、編集をするために音声入力が自動的に起動するという機能を実現できるものであれば、どのような制御構造であってもよい。
90 筐体
100 マルチタッチディスプレイ
102 押しボタン
104 テキスト表示領域
112 Undoボタン
114 ツールバー
120 キーボード表示ボタン
122 設定ボタン
124 音声入力ボタン
126 コマンドボタン
128 吹出ボタン
606 プロセッサ
608 キャッシュ
614 ストレージ
620 マルチタッチパネル
622 LCD
624 コーデック
626 マイク
Claims (4)
- 音声認識装置と協働してテキストの入力及び編集を行なうテキスト編集装置であって、
編集対象のテキストが表示される表示面を持ち、当該表示面上へのユーザのタッチを検出してタッチ位置情報を出力するタッチパネルディスプレイと、
前記タッチパネルディスプレイの出力に基づいて、ユーザが前記表示面上に描画したジェスチャの種類を検出し、当該ジェスチャの種類に基づいて、前記タッチパネルディスプレイに表示されているテキストに対して行なわれる編集方法を決定する編集方法決定手段と、
前記編集方法決定手段により決定された編集方法が第1の編集方法であることに応答して、前記音声認識装置による音声認識を起動する起動手段と、
前記音声認識装置から音声認識結果が出力されたことに応答して、前記音声認識結果を用い、前記タッチパネルディスプレイに表示されたテキストを、前記編集方法決定手段により決定された編集方法で編集する編集実行手段とを含み、
前記編集実行手段は、
前記タッチパネルディスプレイの出力及び前記編集方法決定手段の出力を用い、前記表示面上での前記ジェスチャの描画領域と、前記表示面上に表示されているテキストの表示領域とに基づいて、前記表示面に表示されているテキストの内で編集の対象となる文字若しくは文字列又は編集の対象となる位置を選択する選択手段と、
前記選択手段により選択された文字若しくは文字列又は位置に対して、前記編集方法決定手段により決定された編集を実行する手段とを含み、
前記音声認識装置は、音声認識結果の文字ごと、又は単語ごとに音声認識結果の信頼度を表す尤度を付して出力し、
前記テキスト編集装置は、編集の対象となるテキストに尤度が付されている場合に、文字ごと又は単語ごとに尤度を記憶する記憶手段をさらに含み、
前記選択手段は、前記タッチパネルディスプレイの出力に基づいて、ユーザが前記表示面上に描画したジェスチャと、前記表示面上に表示されているテキストの表示位置とに基づいて、編集の対象となる文字列の候補を選択する候補選択手段と、
前記記憶手段に記憶された尤度を用い、前記候補選択手段によって選択された候補の前、後又はその双方に連続する文字又は文字列であって、その尤度がしきい値より低い文字又は文字列を編集の対象となる文字列の候補に追加する候補追加手段と含む、テキスト編集装置。 - 前記第1の編集方法はテキストの置換である、請求項1に記載のテキスト編集装置。
- 前記第1の編集方法はテキストの挿入である、請求項1に記載のテキスト編集装置。
- 編集対象のテキストが表示される表示面を持ち、当該表示面上へのユーザのタッチを検出してタッチ位置情報を出力するタッチパネルディスプレイを持つコンピュータにおいて、音声認識プログラムと協働してテキストの入力及び編集を行なうテキスト編集プログラムであって、前記コンピュータを、
前記タッチパネルディスプレイの出力に基づいて、ユーザが前記表示面上に描画したジェスチャの種類を検出し、当該ジェスチャの種類に基づいて、前記タッチパネルディスプレイに表示されているテキストに対して行なわれる編集方法を決定する編集方法決定手段と、
前記編集方法決定手段により決定された編集方法が第1の編集方法であることに応答して、前記音声認識装置による音声認識を起動する起動手段と、
前記音声認識装置から音声認識結果が出力されたことに応答して、前記音声認識結果を用い、前記タッチパネルディスプレイに表示されたテキストを、前記編集方法決定手段により決定された編集方法で編集する編集実行手段として機能させ、
前記編集実行手段は、
前記タッチパネルディスプレイの出力及び前記編集方法決定手段の出力を用い、前記表示面上での前記ジェスチャの描画領域と、前記表示面上に表示されているテキストの表示領域とに基づいて、前記表示面に表示されているテキストの内で編集の対象となる文字若しくは文字列又は編集の対象となる位置を選択する選択手段と、
前記選択手段により選択された文字若しくは文字列又は位置に対して、前記編集方法決定手段により決定された編集を実行する手段とを含み、
前記音声認識装置は、音声認識結果の文字ごと、又は単語ごとに音声認識結果の信頼度を表す尤度を付して出力し、
前記テキスト編集装置は、編集の対象となるテキストに尤度が付されている場合に、文字ごと又は単語ごとに尤度を記憶する記憶手段をさらに含み、
前記選択手段は、前記タッチパネルディスプレイの出力に基づいて、ユーザが前記表示面上に描画したジェスチャと、前記表示面上に表示されているテキストの表示位置とに基づいて、編集の対象となる文字列の候補を選択する候補選択手段と、
前記記憶手段に記憶された尤度を用い、前記候補選択手段によって選択された候補の前、後又はその双方に連続する文字又は文字列であって、その尤度がしきい値より低い文字又は文字列を編集の対象となる文字列の候補に追加する候補追加手段とを含む、テキスト編集プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190973A JP6192104B2 (ja) | 2013-09-13 | 2013-09-13 | テキスト編集装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190973A JP6192104B2 (ja) | 2013-09-13 | 2013-09-13 | テキスト編集装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015056154A JP2015056154A (ja) | 2015-03-23 |
JP6192104B2 true JP6192104B2 (ja) | 2017-09-06 |
Family
ID=52820473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013190973A Active JP6192104B2 (ja) | 2013-09-13 | 2013-09-13 | テキスト編集装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6192104B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
US10725733B2 (en) * | 2015-12-16 | 2020-07-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2017138698A (ja) * | 2016-02-02 | 2017-08-10 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6605995B2 (ja) | 2016-03-16 | 2019-11-13 | 株式会社東芝 | 音声認識誤り修正装置、方法及びプログラム |
JP6789668B2 (ja) * | 2016-05-18 | 2020-11-25 | ソニーモバイルコミュニケーションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法 |
EP3493080A4 (en) * | 2016-07-26 | 2019-07-31 | Sony Corporation | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
JP6678545B2 (ja) | 2016-09-12 | 2020-04-08 | 株式会社東芝 | 修正システム、修正方法及びプログラム |
CN108628815A (zh) * | 2017-03-20 | 2018-10-09 | 珠海金山办公软件有限公司 | 一种快速插入语音载体中文字的方法及装置 |
JP6672209B2 (ja) | 2017-03-21 | 2020-03-25 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP7023743B2 (ja) * | 2018-02-28 | 2022-02-22 | シャープ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020009395A (ja) * | 2018-07-05 | 2020-01-16 | 聡子 荻原 | タブレット |
JP7087041B2 (ja) * | 2020-11-02 | 2022-06-20 | 株式会社Tbsテレビ | 音声認識テキストデータ出力制御装置、音声認識テキストデータ出力制御方法、及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06214593A (ja) * | 1993-01-19 | 1994-08-05 | Sony Corp | 文書作成装置 |
JPH0713936A (ja) * | 1993-06-21 | 1995-01-17 | Casio Comput Co Ltd | 手書き入力装置 |
JP2006134360A (ja) * | 1994-06-10 | 2006-05-25 | Ns Solutions Corp | 手書き文字入力装置 |
JP4047894B2 (ja) * | 1996-04-05 | 2008-02-13 | 富士通株式会社 | 文書校正装置およびプログラム記憶媒体 |
US6789231B1 (en) * | 1999-10-05 | 2004-09-07 | Microsoft Corporation | Method and system for providing alternatives for text derived from stochastic input sources |
JP4208682B2 (ja) * | 2003-09-18 | 2009-01-14 | 株式会社リコー | タッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置 |
JP2006163656A (ja) * | 2004-12-06 | 2006-06-22 | Sharp Corp | 文字認識システム |
US20110035698A1 (en) * | 2008-06-13 | 2011-02-10 | Hideaki Tanaka | information processing apparatus, an information processing method and an information processing control program |
JP2010197669A (ja) * | 2009-02-25 | 2010-09-09 | Kyocera Corp | 携帯端末、編集誘導プログラムおよび編集装置 |
JP2010211004A (ja) * | 2009-03-11 | 2010-09-24 | Nec Corp | 辞書作成装置、辞書作成システム、辞書作成方法および辞書作成プログラム |
US9519353B2 (en) * | 2009-03-30 | 2016-12-13 | Symbol Technologies, Llc | Combined speech and touch input for observation symbol mappings |
US8782556B2 (en) * | 2010-02-12 | 2014-07-15 | Microsoft Corporation | User-centric soft keyboard predictive technologies |
JP5148671B2 (ja) * | 2010-09-15 | 2013-02-20 | 株式会社エヌ・ティ・ティ・ドコモ | 音声認識結果出力装置、音声認識結果出力方法、及び音声認識結果出力プログラム |
US9612670B2 (en) * | 2011-09-12 | 2017-04-04 | Microsoft Technology Licensing, Llc | Explicit touch selection and cursor placement |
US9620122B2 (en) * | 2011-12-08 | 2017-04-11 | Lenovo (Singapore) Pte. Ltd | Hybrid speech recognition |
JP2014149612A (ja) * | 2013-01-31 | 2014-08-21 | Nippon Hoso Kyokai <Nhk> | 音声認識誤り修正装置およびそのプログラム |
-
2013
- 2013-09-13 JP JP2013190973A patent/JP6192104B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015056154A (ja) | 2015-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6192104B2 (ja) | テキスト編集装置及びプログラム | |
US11429274B2 (en) | Handwriting entry on an electronic device | |
US7542029B2 (en) | System and method for a user interface for text editing and menu selection | |
US9317116B2 (en) | Systems and methods for haptically-enhanced text interfaces | |
US8656296B1 (en) | Selection of characters in a string of characters | |
US10860788B2 (en) | Device, method, and graphical user interface for annotating text | |
CN103369122A (zh) | 语音输入方法及系统 | |
KR20180097790A (ko) | 실시간 필기 인식 관리 | |
KR20140026966A (ko) | 펜 기능 운용 방법 및 시스템 | |
GB2511431A (en) | Character string replacement | |
JP2018530051A (ja) | 手書き入力をガイドするシステムおよび方法 | |
KR20140094744A (ko) | 휴대 단말의 음성 인식 결과 편집 방법 및 그 장치 | |
JP5849778B2 (ja) | 手書き入力装置およびプログラム | |
JP2019514096A (ja) | 文字列に文字を挿入するための方法およびシステム | |
JP2004342101A (ja) | データ処理装置及び方法 | |
US20170315719A1 (en) | System and method for editing input management | |
US20230054717A1 (en) | Ui control generation and trigger methods, and terminal | |
JP2012088969A (ja) | 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体 | |
KR20130080515A (ko) | 디스플레이 장치 및 그 디스플레이 장치에 표시된 문자 편집 방법. | |
KR101855149B1 (ko) | 터치 디바이스에서 문자 입력 방법 및 장치 | |
JP2018512676A (ja) | テキスト選択制御への向上 | |
CN107066115A (zh) | 一种补充语音消息的方法及终端 | |
JP3075882B2 (ja) | 文書作成編集装置 | |
KR20200102413A (ko) | 유니버셜 하드웨어-소프트웨어 인터페이스의 구현을 위한 방법, 장치 및 컴퓨터-판독가능 매체 | |
KR102603900B1 (ko) | 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6192104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |