JP7596830B2 - 表示装置、表示方法およびプログラム - Google Patents

Description

本発明は、表示装置、表示方法およびプログラムに関する。

音声の入力を受け付けて、入力された音声を音声認識によって文字に変換して表示する表示装置が開示されている。

例えば、特許文献１には、音声受付手段が受け付けた音声のテキストデータに係る文字の表示部への表示属性を決定し、決定された表示属性に基づき文字を表示する入力表示装置が開示されている。表示属性とは、例えば、表示すべき文字又は文字列の表示開始及び表示終了位置、フォントサイズ、縦書きまたは横書き等である。

従来の技術では、音声認識による文字表示において、音声認識を開始するタイミングの指定、文字を表示する位置の指定および表示された文字の訂正等の操作が煩雑であり、操作性が低いという問題がある。

開示の技術は、音声認識による文字表示における操作性を向上させることを目的とする。

開示の技術は、画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換する音声処理部と、前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行う表示制御部と、を備え、前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ＯＮモードに切り替え、前記訂正機能についての動作モードが前記訂正ＯＮモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ＯＮモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正ＯＦＦモードに切り替える表示装置である。

音声認識による文字表示における操作性を向上させることができる。

表示装置の全体構成の一例を示す図である。 表示装置のハードウェア構成の一例を示す図である。 ペンの斜視図の一例を示す図である。 表示装置の機能の一例を示す図である。 音声処理の流れの一例を示すシーケンス図である。 音声処理に係る表示画面の一例を示す第一の図である。 音声処理に係る表示画面の一例を示す第二の図である。 音声処理に係る表示画面の一例を示す第三の図である。 表示装置の他の構成例を示す第一の図である。 表示装置の他の構成例を示す第二の図である。 表示装置の他の構成例を示す第三の図である。 表示装置の他の構成例を示す第四の図である。

以下に図面を参照して、本発明の実施の形態について説明する。

まず、本実施形態に係る用語について説明する。手書きデータとは、ディスプレー上でユーザが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。ストロークデータは、座標点列を示す座標群とも言える。

手書きデータは１つ以上のストロークデータを有する。具体的には、手書きデータは、ストロークが終了してから次のストロークを開始するまでの時間、すなわち、入力手段をディスプレーから離してから接触させるまでの時間が、所定の時間よりも短い複数のストロークデータをまとめたデータである。したがって、手書きデータは、手書きデータが有するストロークデータが示す座標群を含む。

入力手段は、ディスプレーの座標を指定して手書きデータを入力するための手段である。例えば、ペン、人の指や手、棒状部材などは、入力手段の一例である。

次に、表示装置の構成について説明する。

図１は、表示装置の全体構成の一例を示す図である。

（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

表示装置２には表示部の一例としてのディスプレー２２０が設置されている。ユーザＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図２は、表示装置のハードウェア構成の一例を示す図である。

表示装置２は、情報処理装置又はコンピュータの構成を有している。表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１およびＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。

また、表示装置２は、ディスプレーコントローラ２１３、タッチセンサコントローラ２１５、タッチセンサ２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサ２１７、シリアルインターフェイス２１８、スピーカ２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラ２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサ２１６は、ディスプレー２２０上にペン２５００やユーザの手等（ペンやユーザの手は入力手段となる）が接触したことを検知する。また、タッチセンサ２１６はペンＩＤを受信する。

タッチセンサコントローラ２１５は、タッチセンサ２１６の処理を制御する。タッチセンサ２１６は、座標の入力及び座標の検出を行う。具体的には、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射する。そして、当該２つの受発光装置が、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。

タッチセンサ２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサコントローラ２１５に出力する。タッチセンサコントローラ２１５は、物体の接触位置である座標位置を特定する。また、タッチセンサコントローラ２１５は、通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。

例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの規格に従って通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００が登録されていると、ユーザはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサ２１７は、表示装置２の傾き角度を検出するセンサである。表示装置２は、チルトセンサ２１７によって測定される設置状態に応じて、文字等の太さを自動で変更することができる。

シリアルインターフェイス２１８はＵＳＢなどの外部との通信インターフェイスであって、外部から情報を入力する。スピーカ２１９は、音声を出力する。マイク２２１は、音声を入力する。無線通信装置２２２は、ユーザが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はＷｉ－Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に沿って通信するが、どのような規格に沿って通信しても良い。無線通信装置２２２はアクセスポイントを形成しており、ユーザが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザが携帯する端末に設定すると、当該端末は、アクセスポイントを形成している無線通信装置２２２に接続できる。

なお、無線通信装置２２２には例えば下記の２つのアクセスポイントを形成している。
ａ．アクセスポイント→インターネット
ｂ．アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザ用である。ａのアクセスポイントに接続された端末は、社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザ用である。ｂのアクセスポイントに接続された端末は、ユーザは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサ２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式の検出手段、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式の検出手段、または接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式の検出手段など種々の検出手段を備えていてもよい。タッチセンサ２１６は、ペン先のタッチの有無を検知するのに電子ペンが不要な方式であっても良い。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型の形状でなくても良い。

図３は、ペンの斜視図の一例を示す図である。

電源を内蔵して表示装置２に命令を送信できるペン２５００をアクティブペンという（電源を内蔵しないペンをパッシブペンという）。図３のペン２５００は、物理的なスイッチをペン先に一つ、ペン尻に一つおよびペン側面に二つ備えている。ペン先のスイッチが筆記用であり、ペン尻が消去用であり、ペン側面のスイッチがユーザ機能割り当て用である。本実施形態のペン２５００は不揮発性のメモリを有しており、他のペンと重複しないペンＩＤを記憶している。

なお、スイッチ付きのペンであれば、ユーザの表示装置２の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。

なお、ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様である。ペン２５００の座標の入力方式には、電磁誘導方式またはアクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知またはホバー機能（ペンが触れる前にカーソルを表示）などの機能を有していても良い。

図４は、表示装置の機能の一例を示す図である。

表示装置２は、接触位置検出部２１と、描画データ生成部２２と、文字認識部２３と、接触処理部２４と、音声処理部２５と、表示制御部２６と、データ記録部２７と、ネットワーク通信部２８と、操作受付部２９と、記憶部３０と、を備える。

表示装置２が備える各部は、図２に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される。

接触位置検出部２１は、ペン２５００のペン先がディスプレー２２０に接触した位置の座標を検出する。接触位置検出部２１は、タッチセンサコントローラ２１５とタッチセンサ２１６により実現される。接触位置検出部２１は、入力手段によって手書きデータの入力を受け付ける受付手段の一例である。

描画データ生成部２２は、ペン２５００のペン先がディスプレー２２０に接触した座標を接触位置検出部２１から短い時間間隔で複数回に亘って取得して、取得した複数の座標を補間することによって接続された画像を示す描画データを生成する。すなわち、描画データ生成部２２は、手書きデータに基づく画像を示す描画データを生成する。

文字認識部２３はユーザが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

接触処理部２４は、接触位置検出部２１によってペン２５００のペン先がディスプレー２２０に接触した位置を検出した場合に、各機能の動作モードに応じて規定された処理を実行する。具体的には、音声認識機能についての動作モードとして、音声認識ＯＮモードと音声認識ＯＦＦモードとを切り替える。また、音声認識による文字を訂正するための訂正機能について動作モードとして、訂正ＯＮモードと訂正ＯＦＦモードとを切り替える。接触処理部２４は、音声認識ＯＦＦモードかつ訂正ＯＦＦモードである場合に、ディスプレー２２０へのタッチ操作を検出すると、音声認識ＯＮモードかつ訂正ＯＮモードに切り替える。

ここで、タッチ操作とは、ペン２５００のペン先を、基準時間以下の短い時間だけディスプレー２２０に接触させる操作である。それに対して、ペン２５００のペン先を、基準時間を超える長い時間、ディスプレー２２０に接触させる操作を長押し操作と呼ぶ。タッチ操作か長押し操作かの判別基準となる基準時間は、例えば１秒のようにあらかじめ設定されている。この基準時間は、変更可能であっても良い。

接触処理部２４は、訂正機能についての動作モードが訂正ＯＮモードである場合に、音声認識による文字へのタッチ操作を検出すると、音声処理部２５に文字の訂正の開始を依頼する。そして、接触処理部２４は、音声処理部２５による制御を受けて画面に表示される訂正候補へのタッチ操作を検出すると、訂正候補の選択完了を音声処理部２５に通知する。

また、接触処理部２４は、訂正ＯＮモードの開始から一定時間（以下、Ｔｂとする）の経過により、訂正機能についての動作モードを訂正ＯＦＦモードに切り替える。

なお、接触処理部２４は、音声認識機能または訂正機能についての動作モードを、音声認識を行うごとに別々に管理していても良い。すなわち、音声認識ＯＦＦモードに切り替わった後も訂正ＯＮモードが続く場合には、その後さらに別の位置に対するタッチ操作により音声認識ＯＮモードに切り替わった場合には、２つの訂正機能についての動作モードが同時に訂正ＯＮモードとなる。このように、接触処理部２４は、音声認識を開始するためのタッチ操作が行われるたびに、個々の音声認識機能として管理し、対応する訂正機能についての動作モードについても、音声認識機能に関連付けて個々に管理する。

音声処理部２５は、音声の入力に関連する各種の処理を、各機能の動作モードに応じて実行する。具体的には、音声処理部２５は、音声認識機能についての動作モードが音声認識ＯＮモードである場合に、マイク２２１を介して音声の入力を受け付けて、音声認識処理を行って文字に変換し、変換された文字を表示制御部２６に引き渡す。

また、音声処理部２５は、接触処理部２４から文字の訂正の開始を依頼されると、訂正候補を表示制御部２６に引き渡す。

音声処理部２５は、音声認識機能についての動作モードが音声認識ＯＮモードである場合、音声認識ＯＮモードの開始後一定時間（以下、Ｔａとする）の経過により、音声認識機能についての動作モードを音声認識ＯＦＦモードに切り替える。音声処理部２５は、音声認識機能についての動作モードが音声認識ＯＦＦモードである場合には、マイク２２１を介して音声の入力を受けても特に処理を行わない。

表示制御部２６は、手書きデータに基づく画像、ユーザが操作するための操作メニューまたは音声処理部２５に引き渡される文字、訂正候補などをディスプレー２２０に表示する。

データ記録部２７は、表示装置２に手書きされた手書きデータ、文字認識または音声認識により変換された文字列並びに音声認識における文節の区切り位置を示す情報等を記憶部３０に記録する。

ネットワーク通信部２８は、ＬＡＮ（Local Area Network）等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

操作受付部２９は、ディスプレー２２０に表示された操作用のボタン等に対するペン２５００等の入力手段による操作を受け付ける。

記憶部３０は、ＳＳＤ２０４やＲＡＭ２０３などに構築され、データ記録部２７が記録する上記の情報を記憶する。

図５は、音声処理の流れの一例を示すシーケンス図である。

ユーザの操作によってペン２５００のペン先が表示装置２のディスプレー２２０にタッチすると（ステップＳ１０１）、接触処理部２４は、接触位置検出部２１によって検出された接触位置におけるタッチ操作（第一のタッチ操作）を検知する。すると、接触処理部２４は、音声認識機能についての動作モードを音声認識ＯＮモードに切り替える。

接触処理部２４は、音声認識機能についての動作モードを音声認識ＯＮモードに切り替えたこと（すなわち、音声認識の開始）を、接触位置を示す情報とともに音声処理部２５に通知する（ステップＳ１０２）。音声処理部２５は、音声認識開始の通知を受けると、データ記録部２７を介して、接触位置を示す情報を文字の表示を開始する開始座標として記憶部３０に保存する（ステップＳ１０３）。

次に、接触処理部２４は、訂正機能についての動作モードを訂正ＯＮモードに切り替える（ステップＳ１０４）。そして、接触処理部２４は、音声認識ＯＮモードおよび訂正ＯＮモードの開始から一定時間（ＴａおよびＴｂ）の経過を検知するために、タイマーをスタートさせる（ステップＳ１０５）。

次に、音声処理部２５は、ユーザからの音声の入力を受けると（ステップＳ１０６）、音声認識処理を実行して、文字に変換する。ここで、音声処理部２５は、音声認識によって文節または単語の区切り位置と、各文節または単語に変換する文字の候補とを、データ記録部２７を介して記憶部３０に記憶させる。記憶させる文字の候補は、第一候補だけでなく、第二候補、第三候補等も含むことが望ましい。

そして、音声処理部２５は、変換された文字を表示制御部２６に引き渡して、描画を依頼する（ステップＳ１０７）。表示制御部２６は、ディスプレー２２０において、記憶部３０に保存された開始座標の位置に、引き渡された文字を表示する制御を行う（ステップＳ１０８）。

音声処理部２５および表示制御部２６は、ユーザからの音声の入力を受けるたびに、ステップＳ１０６－Ｓ１０８と同様の処理を実行する（ステップＳ１０９－Ｓ１１１）。

タイマーが一定時間（Ｔａ）の経過を検知すると、音声処理部２５は、音声認識機能についての動作モードを音声認識ＯＦＦモードに切り替える（ステップＳ１１２）。なお、ＴａおよびＴｂはあらかじめ設定され、Ｔａ＜Ｔｂに設定されている。したがって、ここでは訂正機能についての動作モードは、訂正ＯＦＦモードには切り替えられていない。

次に、ユーザの操作によってペン２５００のペン先がディスプレー２２０の描画された文字にタッチすると（ステップＳ１１３）、接触処理部２４は、接触位置検出部２１によって検出された接触位置におけるタッチ操作（第二のタッチ操作）を検知する。そして、接触処理部２４は、接触位置検出部２１によって検出された接触位置に描画された文字の訂正処理の開始を音声処理部２５に依頼する（ステップＳ１１４）。

音声処理部２５は、ペン２５００のペン先がタッチした位置に表示されている文字を含む単語を訂正箇所とする。なお、音声処理部２５は、他の方法によって訂正箇所を特定しても良い。例えば、ペン２５００のペン先によって書き込まれた線(取り消し線)の位置に表示されている単語を訂正箇所としても良い。また、ペン２５００のペン先によって書き込まれた線に囲まれた領域に表示されている単語を訂正箇所としても良い。

なお、音声処理部２５は、音声認識の際に記憶部３０に記憶させた文節または単語の区切り位置に基づいて、単語または文節の切れ目を決定する。例えば、「じゅうようじこうのせつめい」という音声の入力に対して、音声認識の際に「じゅうよう」、「じこう」、「の」および「せつめい」という単語の区切り位置を記憶している場合、記憶されている区切り位置に基づいて、「じゅうよう」という単語を訂正箇所とする。

なお、音声処理部２５は、他の方法によって単語または文節の切れ目を決定しても良い。例えば、音声処理部２５は、タッチされた文字を中心にして、例えば１文字から４文字程度の文字を含む文字列が単語として適切か否かを判定することによって、単語の切れ目を決定しても良い。例えば、「じゅうよう」の「よ」がタッチされた文字である場合、音声処理部２５は、「よう」、「うよ」、「うよう」、「じゅうよう」等の切り目の候補の中から、単語として適切な単語「じゅうよう」を１単語とする切れ目に決定しても良い。

次に、音声処理部２５は、訂正候補を表示制御部２６に引き渡して表示を依頼する（ステップＳ１１５）。なお、音声処理部２５は、音声認識の際に記憶部３０に記憶させた文字の候補のうち、現在表示中のもの（通常は第一候補）以外の候補（例えば第二候補、第三候補等）を訂正候補とする。例えば、音声認識の際に、「重量」を第一候補、「重要」を第二候補、「従量」を第三候補、「中量」を第四候補にそれぞれ決定されていたことを示す情報が、記憶部３０によって記憶されている場合、音声処理部２５は、これらのうち、訂正対象である第一候補の「重量」を除く、「重要」、「従量」および「中量」を訂正候補とする。また、音声処理部２５は、他の方法によって訂正候補を決定しても良い。例えば、音声処理部２５は、切れ目が決定された単語または文節に近い単語または文節を、音声認識エンジンを使用して出力しても良い。

表示制御部２６は、引き渡された訂正候補を表示する制御を行う（ステップＳ１１６）。

次に、ユーザの操作によってペン２５００のペン先がディスプレー２２０の描画された訂正候補にタッチすると（ステップＳ１１７）、接触処理部２４は、接触位置検出部２１によって検出された接触位置におけるタッチ操作（第三のタッチ操作）を検知する。接触処理部２４は、接触位置検出部２１によって検出された接触位置に描画された訂正候補への選択完了を音声処理部２５に通知する（ステップＳ１１８）。

音声処理部２５は、訂正された文字列を表示制御部２６に引き渡して描画を依頼する（ステップＳ１１９）。表示制御部２６は、引き渡された文字列を描画する制御を行う（ステップＳ１２０）。

タイマーが一定時間（Ｔｂ）の経過を検知すると、接触処理部２４は、訂正機能についての動作モードを訂正ＯＦＦモードに切り替える（ステップＳ１２１）。

図６は、音声処理に係る表示画面の一例を示す第一の図である。

図６（ａ）は、ペン２５００のペン先が音声入力開始位置をタッチした状態（図５；ステップＳ１０１）のディスプレー２２０を示している。図６（ｂ）は、音声入力「重要事項の説明」という音声が入力された状態（図５；ステップＳ１０６）のディスプレー２２０を示している。なお、ディスプレー２２０には、音声認識処理の結果、「重要」ではなく「重量」と表示されている。

図６（ｃ）は、ペン２５００のペン先が訂正箇所をタッチした状態（図５；ステップＳ１１３）のディスプレー２２０を示している。図６（ｄ）は、訂正候補が表示された状態（図５；ステップＳ１１６）のディスプレー２２０を示している。図６（ｅ）は、訂正が完了した状態（図５；ステップＳ１２０）のディスプレー２２０を示している。

本実施形態に係る表示装置２によれば、音声処理部２５は、画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換する。これによって、簡単な操作で音声認識を開始することができる。また、表示制御部２６は、画面における第一のタッチ操作を受けた位置に、変換された文字を表示する制御を行う。これによって、簡単な操作によって、音声認識の結果を表示する箇所を指定することができる。

さらに、本実施形態に係る表示装置２によれば、音声処理部２５は、音声認識によって表示された文字への第二のタッチ操作が検出されると、第二のタッチ操作を文字の訂正操作として受け付ける。これによって、簡単な操作によって、音声認識の結果を訂正することができる。

タッチ操作を長押し操作と区別する場合において、タッチ操作は、長押し操作よりも素早く反応が得られる操作であり、上述した各操作は、直感的な操作である。したがって、音声認識による文字表示における操作性を向上させることができる。

なお、訂正ＯＮモードは一定時間（Ｔｂ）の経過によって終了する。これによって、上述したタッチ操作を訂正として扱う時間を、当該操作を行う可能性が高い時間に限定させることができる。仮に、このような限定を行わない場合には、新たな文字入力を行いたい場合にも、訂正として扱われてしまう可能性が高くなる。これによって、操作性をさらに向上させることができる。

なお、音声処理部２５は、音声認識による文節の区切りの検知、または音声が途切れてから一定時間の経過等により、音声認識機能についての動作モードを音声認識ＯＦＦモードに切り替えるようにしても良い。

また、接触処理部２４は、音声認識ＯＮモードから音声認識ＯＦＦモードに切り替わってから一定時間の経過または音声認識によって変換された文字の量に応じた時間の経過により、訂正機能についての動作モードを訂正ＯＦＦモードに切り替えるようにしても良い。

また、表示装置２は、訂正ＯＦＦモードへの切り替えまたは音声認識ＯＦＦモードへの切り替えを示すメニュー等を表示して、ユーザの明示的な操作によって、切り替えるようにしても良い。

図７は、音声処理に係る表示画面の一例を示す第二の図である。

図７（ｄ）に示すように、音声処理部２５は、図５のステップＳ１１５の処理において、訂正候補を表示する代わりに、手書き入力を受け付けるための枠線を表示する制御を表示制御部２６に依頼しても良い。この場合、手書き入力を受け付けると、文字認識部２３は、入力された手書きデータから文字を認識して、訂正後の文字として表示する制御を表示制御部２６に依頼する。

図８は、音声処理に係る表示画面の一例を示す第三の図である。

図８（ｄ）に示すように、音声処理部２５は、図５のステップＳ１１５の処理において、訂正候補を表示する代わりに、音声での入力を受け付ける。この場合、音声での入力を受け付けると、音声処理部２５は、入力された音声に対する音声認識処理を実行して、訂正後の文字として表示する制御を表示制御部２６に依頼するとともに、記憶部３０に記憶させる。

図９は、表示装置の他の構成例を示す第一の図である。

図９では、通常のホワイトボード４１３の上辺にプロジェクタ４１１が設置されている。このプロジェクタ４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクタ４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００－１から送信されてもよいし、プロジェクタ４１１が記憶していてもよい。

ユーザは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクタ４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクタ４１１はメニュー４３０を投影するので、ユーザが電子ペン２５０１でボタンを押下すると、プロジェクタ４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザが手書きした手書きされたデータ（座標点列）がプロジェクタ４１１で保存される。プロジェクタ４１１は、予め定められたサーバ４１２又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

図１０は、表示装置の他の構成例を示す第二の図である。

表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図９と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書きデータの画像とを合成した重畳画像を示す重畳画像データを生成する。

図１１は、表示装置の他の構成例を示す第三の図である。

図１１の例では、表示装置２として、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２６と同様でよい）、端末装置６００へ送信する。なお、図２８の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書きデータの画像を示す画像データを生成し、ディスプレー８００Ａに表示させる。

図１２は、表示装置の他の構成例を示す第四の図である。

図１２の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書きデータの画像の画像データを生成し、画像投影装置７００Ａに手書きデータの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書きデータの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクタが描画（投影）する。

また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバが行ってもよい。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

上記で説明した実施形態の各機能は、表示装置２の備えるＣＰＵ２０１の動作を規定するＯＳ（Operating system）上で動作するアプリケーションプログラムによって実現され得る。

尚、本実施形態が適用される装置は、タッチ操作によって、オブジェクトを操作する機能を備えた表示装置であれば良く、電子黒板に限定されにない。本実施形態が適用される表示装置は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ等であってもよい。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

２ 表示装置
２１ 接触位置検出部
２２ 描画データ生成部
２３ 文字認識部
２４ 接触処理部
２５ 音声処理部
２６ 表示制御部
２７ データ記録部
２８ ネットワーク通信部
２９ 操作受付部
３０ 記憶部

特開２０１２－０８８９６９号公報

Claims (6)

1. 画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換する音声処理部と、
   前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行う表示制御部と、を備え、
   前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、前記画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ＯＮモードに切り替え、前記訂正機能についての動作モードが前記訂正ＯＮモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ＯＮモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正ＯＦＦモードに切り替える、
   表示装置。
2. 前記表示制御部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記文字の訂正候補を表示する、
   請求項１に記載の表示装置。
3. 前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記文字の訂正として手書き入力を受け付ける、
   請求項１に記載の表示装置。
4. 前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記文字の訂正として音声入力を受け付けて、音声認識によって訂正後の文字に変換する、
   請求項１に記載の表示装置。
5. コンピュータが実行する方法であって、
   画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換するステップと、
   前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行うステップと、
   前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、前記画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ＯＮモードに切り替え、前記訂正機能についての動作モードが前記訂正ＯＮモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ＯＮモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正ＯＦＦモードに切り替えるステップと、を備える、
   表示方法。
6. コンピュータに、
   画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換するステップと、
   前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行うステップと、
   前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、前記画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ＯＮモードに切り替え、前記訂正機能についての動作モードが前記訂正ＯＮモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ＯＮモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正ＯＦＦモードに切り替えるステップと、
   を実行させるためのプログラム。

Images