JP6675472B2 - 入力表示装置 - Google Patents

Description

この発明は、音声の認識結果を示す文字列をディスプレイに表示する入力表示装置に関するものである。

以下の特許文献１には、音声の認識結果を示す文字列をディスプレイに表示する入力表示装置が開示されている。
この入力表示装置では、ユーザがペン型入力器を用いて、線を描く操作を行うと、その線の始点と終点を検知し、その始点と終点を結ぶ直線をディスプレイに描画する。
その後、ユーザがマイクを用いて、音声を入力すると、その音声の認識処理を実施して、その音声の認識結果を示す文字列を描画済みの直線に沿うように表示する。

特開２０１２−８８９６９号公報（図２、図３、図６）

従来の入力表示装置は以上のように構成されているので、ユーザがペン型入力器を用いて、線を描く操作を行えば、その線の始点と終点を結ぶ直線がディスプレイに描画される。したがって、ユーザがマイクを用いて、音声を入力する前に、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。しかし、ディスプレイに描画される線は、始点と終点を結ぶ直線に限られるため、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を多様に表示することができる入力表示装置を得ることを目的とする。

この発明に係る入力表示装置は、操作による曲線の軌跡を受け付ける操作受付部と、操作受付部により受け付けられた操作の状態を検知する操作状態検知部と、操作受付部により受け付けられた曲線の軌跡を判別し、当該判別した軌跡を示す軌跡画像を、操作状態検知部により検知された操作の状態に対応する線幅の軌跡画像として生成する軌跡画像生成部と、音声の認識結果を示す文字列を取得する文字列取得部と、軌跡画像生成部により生成された軌跡画像をディスプレイに表示するとともに、文字列取得部により取得された文字列を、軌跡画像生成部により生成された軌跡画像の線幅に応じた文字サイズの文字でディスプレイに表示される軌跡画像の曲線の軌跡に沿って重ねて表示させる表示制御部を備えたものである。

この発明によれば、表示制御部が、文字列取得部により取得された文字列を、軌跡画像生成部により生成された軌跡画像の線幅に応じた文字サイズの文字でディスプレイに表示される軌跡画像の曲線の軌跡に沿って重ねて表示させるので、操作により入力された曲線の軌跡に沿って文字列を表示することができ、ユーザの自由なレイアウトで音声の認識結果を示す文字列を多様に表示することができる効果がある。

この発明の実施の形態１による入力表示装置を示す構成図である。 この発明の実施の形態１による入力表示装置のハードウェア構成図である。 入力表示装置がコンピュータで構成される場合のハードウェア構成図である。 この発明の実施の形態１による入力表示装置の処理内容である入力表示方法を示すフローチャートである（その１）。 この発明の実施の形態１による入力表示装置の処理内容である入力表示方法を示すフローチャートである（その２）。 文字管理ＤＢに記憶されている文字属性表を示す説明図である。 音声の認識結果を示す文字列が生成される前に軌跡画像が生成された場合の表示処理を示す説明図である。 軌跡画像が生成される前に音声の認識結果を示す文字列が生成された場合の表示処理を示す説明図である。 この発明の実施の形態２による入力表示装置を示す構成図である。 この発明の実施の形態２による入力表示装置のハードウェア構成図である。 この発明の実施の形態２による入力表示装置の処理内容である入力表示方法を示すフローチャートである。 ユーザの筆圧に応じて線幅が設定された軌跡画像を示す説明図である。 なぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。 途中で変化するユーザの筆圧やなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。 この発明の実施の形態３による入力表示装置を示す構成図である。 この発明の実施の形態３による入力表示装置のハードウェア構成図である。 この発明の実施の形態３による入力表示装置の処理内容である入力表示方法を示すフローチャートである。 音声の言語に対応する軌跡画像の色を示す説明図である。 この発明の実施の形態４による入力表示装置を示す構成図である。 この発明の実施の形態４による入力表示装置のハードウェア構成図である。 操作受付部１により受け付けられる操作が切り換えられた際の処理内容を示すフローチャートである。 操作受付部１により受け付けられる操作を切り換えるための操作の一例を示す説明図である。 絵書きの操作内容にしたがって生成される絵の画像の一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。

実施の形態１．
図１はこの発明の実施の形態１による入力表示装置を示す構成図であり、図２はこの発明の実施の形態１による入力表示装置のハードウェア構成図である。
図１及び図２において、操作受付部１はポインティングデバイス２１で実現され、ユーザの操作として、なぞり書きの操作を受け付ける処理を実施する。
この実施の形態１では、ポインティングデバイス２１として、タッチパネルを用いるものを想定しているが、タッチパネルに限るものではなく、例えば、ジョイスティック、ポインティング・スティック（トラックポイント）、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。

文字管理ＤＢ２は例えばＲＡＭやハードディスクなどのメモリ２２で実現され、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。
文字管理部３は例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を実装している半導体集積回路やワンチップマイコンなどで構成されている文字管理処理回路２３で実現されるものである。文字管理部３は事前にディスプレイ２９に表示する文字のサイズが設定され、文字管理ＤＢ２に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡画像生成部４に出力する処理を実施する。

軌跡画像生成部４は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を実装している半導体集積回路やワンチップマイコンなどで構成されている画像生成処理回路２４で実現されるものである。軌跡画像生成部４は操作受付部１により受け付けられたなぞり書きの操作から、なぞり書きにより描かれる線の軌跡を判別して、その軌跡を示す軌跡画像を生成する処理を実施する。その際、文字管理部３から出力された文字属性情報が示す文字高に対応する線幅の軌跡画像を生成する。

文字列取得部５は音声検出部６、音声認識辞書ＤＢ７及び音声認識部８から構成されており、音声の認識結果を示す文字列を取得する処理を実施する。
音声検出部６は例えばマイク２５で実現され、ユーザの音声を検出する。
音声認識辞書ＤＢ７は例えばＲＡＭやハードディスクなどのメモリ２６で実現されるものであり、音声認識辞書ＤＢ７は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とから構成されている。
音声認識部８は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている音声認識処理回路２７で実現されるものであり、音声検出部６により検出された音声を認識する音声認識エンジンを搭載している。
即ち、音声認識部８は音声検出部６により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として表示制御部９に出力する処理を実施する。

図１では、文字列取得部５が音声認識辞書ＤＢ７及び音声認識部８を実装している例を示しているが、音声認識辞書ＤＢ７及び音声認識部８の代わりに、データ送受信部が実装されているものであってもよい。
このデータ送受信部は、例えば、インターネットやＬＡＮなどの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部６により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の認識結果を示す文字列を当該データ送受信部に送信する。
このデータ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、その文字列を表示制御部９に出力する。

表示制御部９は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路２８で実現されるものである。表示制御部９は軌跡画像生成部４により生成された軌跡画像をディスプレイ２９に表示するとともに、文字列取得部５により取得された文字列を軌跡画像の上に重ねて表示する処理を実施する。
即ち、表示制御部９は文字列取得部５の音声認識部８から文字列が出力される前に、軌跡画像生成部４により軌跡画像が生成された場合、その軌跡画像をディスプレイ２９に表示した後、文字列取得部５の音声認識部８から出力された文字列を軌跡画像の上に重ねて表示する。一方、軌跡画像生成部４により軌跡画像が生成される前に、文字列取得部５の音声認識部８から文字列が出力された場合、軌跡画像生成部４により軌跡画像が生成されるまで待機し、軌跡画像生成部４により軌跡画像が生成されると、その軌跡画像をディスプレイ２９に表示するとともに、その文字列を軌跡画像の上に重ねて表示する処理を実施する。
また、表示制御部９は文字列を軌跡画像の上に重ねて表示した後、その軌跡画像の表示を消す処理を実施する。
文字列一時保存部１０は例えばＲＡＭやハードディスクなどのメモリ３０で実現され、文字列取得部５の音声認識部８から出力された文字列を一時的に保存する。

図１では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡画像生成部４、文字列取得部５、表示制御部９及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
図３は入力表示装置がコンピュータで構成される場合のハードウェア構成図である。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０をコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡画像生成部４、音声検出部６、音声認識部８及び表示制御部９の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図４及び図５はこの発明の実施の形態１による入力表示装置の処理内容である入力表示方法を示すフローチャートである。

次に動作について説明する。
図６は文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。
図６の文字属性表では、各々の文字種（例えば、明朝体、ゴシック体など）毎に、文字サイズに対応している文字高と文字幅が記述されている。
文字管理部３には、ディスプレイ２９に表示する文字のサイズが事前に設定されており、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡画像生成部４に出力する（図４のステップＳＴ１）。
例えば、事前に設定されている文字の文字種が“Ａ”で、その文字サイズが“１０”であれば、文字高が“５ｍｍ”であることを示す文字属性情報が軌跡画像生成部４に出力される。
また、事前に設定されている文字の文字種が“Ｂ”で、その文字サイズが“５”であれば、文字高が“２ｍｍ”であることを示す文字属性情報が軌跡画像生成部４に出力される。
また、文字管理部３は、その文字サイズに対応する文字高及び文字幅を示す文字属性情報を表示制御部９に出力する。

軌跡画像生成部４は、文字管理部３から文字属性情報を受けると、生成する軌跡画像の線幅を文字属性情報が示す文字高に対応する線幅に設定する（ステップＳＴ２）。
例えば、文字属性情報が示す文字高が“１０ｍｍ”であるとき、仮に文字の上部及び下部の余白が“０．５ｍｍ”に設定されているとすれば、軌跡画像の線幅を“１１ｍｍ”に設定する。
１１＝１０＋０．５＋０．５（ｍｍ）
ここでは、文字の上部及び下部に余白を設ける例を示しているが、余白を設けずに、文字属性情報が示す文字高と軌跡画像の線幅が一致するものであってもよい。

この実施の形態１では、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定しているので、ユーザが自己の指や、タッチパネル用の入力ペンなどを用いて、なぞり書きの操作をタッチパネルに行うと（ステップＳＴ３：ＹＥＳの場合）、操作受付部１が、なぞり書きの操作を受け付けて、なぞり書きの操作内容を軌跡画像生成部４に出力する（ステップＳＴ４）。
なぞり書きの操作内容は、タッチパネルに接触している指や入力ペンの位置（タッチパネル上の座標）の連続的な変化を示す時系列データに相当するものである。

軌跡画像生成部４は、操作受付部１からなぞり書きの操作内容を受けると、その操作内容からなぞり書きにより描かれる線の軌跡を判別する（ステップＳＴ５）。
なぞり書きの操作内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、なぞり書きにより描かれる線の軌跡を判別することができる。
軌跡画像生成部４は、なぞり書きにより描かれる線の軌跡を判別すると、その軌跡を示す軌跡画像を生成し、その軌跡画像を表示制御部９に出力する（ステップＳＴ６）。
この軌跡画像の線幅は、ステップＳＴ２で設定した線幅であり、上記の例では、軌跡画像の線幅を“１１ｍｍ”に設定しているので、線幅が“１１ｍｍ”の軌跡画像を生成する。

文字列取得部５の音声認識部８は、音声検出部６がユーザの音声を検出すると（ステップＳＴ７：ＹＥＳの場合）、音声認識辞書ＤＢ７を利用して、その音声の認識処理を実施することで、その音声の認識結果を示す文字列（テキスト）を生成し、その文字列を表示制御部９に出力する（ステップＳＴ８）。
音声認識部８による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、音声検出部６により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として出力する方法が考えられる。
この実施の形態１では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部８が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。

ここで、図７は音声の認識結果を示す文字列が生成される前に軌跡画像が生成された場合の表示処理を示す説明図である。
また、図８は軌跡画像が生成される前に音声の認識結果を示す文字列が生成された場合の表示処理を示す説明図である。
表示制御部９は、文字列取得部５の音声認識部８から文字列が出力される前に、軌跡画像生成部４から軌跡画像が出力されると（図５のステップＳＴ１１：ＹＥＳの場合）、図７（ａ）に示すように、その軌跡画像をディスプレイ２９に表示する（ステップＳＴ１２）。
ここで、軌跡画像の表示は、軌跡画像の全体を同時に表示するようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションを行うようにしてもよい。

表示制御部９は、文字列取得部５の音声認識部８から文字列が出力されるまで待機し（ステップＳＴ１３：ＮＯの場合）、図７（ｂ）に示すように、ユーザが発話することで、音声認識部８から音声の認識結果を示す文字列が出力されると（ステップＳＴ１３：ＹＥＳの場合）、図７（ｃ）に示すように、その文字列を軌跡画像の上に重ねて表示する（ステップＳＴ１４）。軌跡画像の上に表示する文字列における文字の大きさは、文字管理部３から出力された文字属性情報が示す文字高及び文字幅に対応している。
ここで、文字列の表示は、文字列を構成している全ての文字を同時に表示するようにしてもよいが、文字列の先頭の文字から順番に後尾の文字まで表示するアニメーション表示の形態であってもよい。

表示制御部９は、図８（ａ）に示すように、ユーザがなぞり書きの操作を行う前に発話することで、軌跡画像生成部４から軌跡画像が出力される前に、文字列取得部５の音声認識部８から文字列が出力されると（図５のステップＳＴ１１：ＮＯの場合）、その文字列を文字列一時保存部１０に格納して、軌跡画像生成部４から軌跡画像が出力されるまで待機する（ステップＳＴ１５：ＮＯの場合）。
表示制御部９は、その後、ユーザがなぞり書きの操作を行うことで、軌跡画像生成部４から軌跡画像が出力されると（ステップＳＴ１５：ＹＥＳの場合）、文字列一時保存部１０から文字列を読み出し、図８（ｂ）に示すように、その軌跡画像をディスプレイ２９に表示するとともに、その文字列を軌跡画像の上に重ねて表示する。即ち、表示制御部９は、軌跡画像と文字列を同じ位置に重ねて表示する（ステップＳＴ１６）。ただし、軌跡画像及び文字列の表示は、全体を同時に表示するようにしてもよいが、文字列の先頭側から順次表示するアニメーション表示の形態であってもよい。

表示制御部９は、文字列を軌跡画像の上に重ねて表示すると、図７（ｄ）（ｅ）及び図８（ｃ）（ｄ）に示すように、軌跡画像を消して、文字列のみを表示している状態にする（ステップＳＴ１７）。
軌跡画像の消去は、軌跡画像の全体を同時に消去するようにしてもいが、文字列の先頭側から順次に消去するアニメーションを行うようにしてもよい。
ここでは、軌跡画像と文字列を重ねて表示してから、一定時間後に、軌跡画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、軌跡画像を消去するものであってもよい。

以上で明らかなように、この実施の形態１によれば、なぞり書きの操作を受け付ける操作受付部１と、操作受付部１により受け付けられたなぞり書きの操作から、なぞり書きにより描かれる線の軌跡を判別して、その軌跡を示す軌跡画像を生成する軌跡画像生成部４と、音声の認識結果を示す文字列を取得する文字列取得部５とを設け、表示制御部９が、軌跡画像生成部４により生成された軌跡画像をディスプレイ２９に表示するとともに、文字列取得部５により取得された文字列を軌跡画像の上に重ねて表示するように構成したので、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができる効果を奏する。

また、この実施の形態１によれば、表示制御部９が、文字列取得部５の音声認識部８から文字列が出力される前に、軌跡画像生成部４により軌跡画像が生成された場合、その軌跡画像をディスプレイ２９に表示した後、文字列取得部５の音声認識部８から出力された文字列を軌跡画像の上に重ねて表示する一方、軌跡画像生成部４により軌跡画像が生成される前に、文字列取得部５の音声認識部８から文字列が出力された場合、軌跡画像生成部４により軌跡画像が生成されるまで待機し、軌跡画像生成部４により軌跡画像が生成されると、その軌跡画像をディスプレイ２９に表示するとともに、その文字列を軌跡画像の上に重ねて表示するように構成したので、ユーザが発話する前になぞり書きの操作を行った場合、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。したがって、ユーザが文字列の表示イメージをつかむことができる効果を奏する。また、ユーザがなぞり書きの操作を行う前に発話した場合、なぞり書きの操作が行われると、直ちに軌跡画像と文字列が同じ位置に重ねて表示されるため、応答性が高い操作感をユーザに与えることができる効果を奏する。

実施の形態２．
上記実施の形態１では、軌跡画像の線幅が事前に設定されている文字サイズの文字高に対応する線幅に設定されるものを示したが、ユーザによるなぞり書きの操作の状態に応じて軌跡画像の線幅が設定されるようにしてもよい。

図９はこの発明の実施の形態２による入力表示装置を示す構成図であり、図１０はこの発明の実施の形態２による入力表示装置のハードウェア構成図である。
図９及び図１０において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
操作状態検知部１１は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている操作状態検知処理回路３１で実現されるものであり、操作受付部１により受け付けられた操作の状態を検知する処理を実施する。
即ち、操作状態検知部１１は、操作受付部１により受け付けられた操作の状態として、例えば、ポインティングデバイス２１であるタッチパネルに対するユーザの指や入力ペンの圧力（筆圧）を感知する。

軌跡画像生成部１２は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている画像生成処理回路３２で実現されるものである。軌跡画像生成部１２は、図１の軌跡画像生成部４と同様に、操作受付部１により受け付けられたなぞり書きの操作から、なぞり書きにより描かれる線の軌跡を判別して、その軌跡を示す軌跡画像を生成する処理を実施する。その際、図１の軌跡画像生成部４と異なり、操作状態検知部１１により検知された操作の状態に対応する線幅の軌跡画像を生成する。

表示制御部１３は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路３３で実現されるものであり、図１の表示制御部９と同様の表示処理を実施する。
また、表示制御部１３は軌跡画像生成部１２により設定された線幅に応じて、文字列取得部５により取得された文字列を構成する文字の文字サイズを変更し、変更後の文字サイズで文字列を軌跡画像の上に重ねて表示する処理を実施する。

図９では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、文字列取得部５、表示制御部１３及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、音声検出部６、音声認識部８及び表示制御部１３の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図１１及び図５はこの発明の実施の形態２による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図１１において、図４と同一のステップ番号は同一または相当部分を示すものである。

次に動作について説明する。
この実施の形態２では、ポインティングデバイス２１であるタッチパネルに筆圧を感知する筆圧感知センサが搭載されているものとする。
操作状態検知部１１は、ポインティングデバイス２１に搭載されている筆圧感知センサから筆圧の感知結果を取得することで、操作受付部１により受け付けられた操作の状態として、ポインティングデバイス２１であるタッチパネルに対するユーザの筆圧を検知する（図１１のステップＳＴ２１）。

軌跡画像生成部１２は、操作状態検知部１１が操作受付部１により受け付けられた操作の状態として、ユーザの筆圧を検知すると、ユーザの筆圧と文字管理部３から出力された文字属性情報が示す文字高とから、生成する軌跡画像の線幅を設定する（ステップＳＴ２２）。
例えば、文字属性情報が示す文字高を軌跡画像の基準の線幅に設定し、ユーザの筆圧が事前に設定されている基準値以上であれば、その筆圧が基準値より大きい程、大きなオフセット値を設定し、基準の線幅とオフセット値を加算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅＋オフセット値
一方、ユーザの筆圧が事前に設定されている基準値より小さければ、その筆圧が基準値より小さい程、大きなオフセット値を設定し、基準の線幅からオフセット値を減算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅−オフセット値

表示制御部１３は、図１の表示制御部９と同様に、図５のフローチャートにしたがって軌跡画像と文字列をディスプレイ２９に表示する。
ただし、この実施の形態２では、軌跡画像の線幅をユーザの筆圧に応じて設定しているので、軌跡画像生成部１２が最終的な軌跡画像の線幅を基準の線幅より太くしている場合には、最終的な軌跡画像の線幅に応じて、文字列を構成する文字の文字サイズを大きくして、文字列を軌跡画像の上に表示する。
例えば、基準の線幅（＝文字属性情報が示す文字高）が“５ｍｍ”であるとき、最終的な軌跡画像の線幅を“１０ｍｍ”に設定していれば、文字列を構成する文字の文字高を“１０ｍｍ”に変更して、文字列を軌跡画像の上に表示する。ここでは、文字高と軌跡画像の線幅が一致する例を示しているが、文字の上部及び下部に余白を設ける場合、例えば、上部及び下部の余白が共に“１ｍｍ”であるとすれば、文字列を構成する文字の文字高を“８ｍｍ”に変更して、文字列を軌跡画像の上に表示する。

また、表示制御部１３は、軌跡画像生成部１２が最終的な軌跡画像の線幅を基準の線幅より細くしている場合には、最終的な軌跡画像の線幅に応じて、文字列を構成する文字の文字サイズを小さくして、文字列を軌跡画像の上に表示する。
例えば、基準の線幅（＝文字属性情報が示す文字高）が“５ｍｍ”であるとき、最終的な軌跡画像の線幅を“３ｍｍ”に設定していれば、文字列を構成する文字の文字高を“３ｍｍ”に変更して、文字列を軌跡画像の上に表示する。ここでは、文字高と軌跡画像の線幅が一致する例を示しているが、文字の上部及び下部に余白を設ける場合、例えば、上部及び下部の余白が共に“０．５ｍｍ”であるとすれば、文字列を構成する文字の文字高を“２ｍｍ”に変更して、文字列を軌跡画像の上に表示する。

図１２はユーザの筆圧に応じて線幅が設定された軌跡画像を示す説明図である。
図１２（ａ）は、ユーザの筆圧が基準値以上であるために、太い線幅が設定された軌跡画像を示しており、図１２（ｂ）は、ユーザの筆圧が基準値未満であるために、細い線幅が設定された軌跡画像を示している。

この実施の形態２では、操作状態検知部１１が、操作受付部１により受け付けられた操作の状態として、ポインティングデバイス２１であるタッチパネルに対するユーザの筆圧を検知する例を示したが、これは一例に過ぎず、例えば、操作受付部１により受け付けられた操作の状態として、ユーザが、ポインティングデバイス２１であるタッチパネルをなぞる速度を検知するようにしてもよい。
タッチパネルをなぞる速度については、操作状態検知部１１が、操作受付部１により受け付けられたなぞり書きの操作内容から、タッチパネルに対する接触位置の連続的な変化を特定すれば、タッチパネルに対する接触位置の単位時間当りの変化から求めることができる。

軌跡画像生成部１２は、操作状態検知部１１が操作受付部１により受け付けられた操作の状態として、タッチパネルをなぞる速度を検知すると、なぞる速度と文字管理部３から出力された文字属性情報が示す文字高とから、生成する軌跡画像の線幅を設定する。
例えば、文字属性情報が示す文字高を軌跡画像の基準の線幅に設定し、なぞる速度が事前に設定されている基準値以上であれば、なぞる速度が基準値より速い程、大きなオフセット値を設定し、基準の線幅とオフセット値を加算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅＋オフセット値
一方、なぞる速度が事前に設定されている基準値より遅ければ、なぞる速度が基準値より遅い程、大きなオフセット値を設定し、基準の線幅からオフセット値を減算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅−オフセット値

図１３はなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
図１３（ａ）は、なぞる速度が基準値以上であるために、太い線幅が設定された軌跡画像を示しており、図１３（ｂ）は、なぞる速度が基準値未満であるために、細い線幅が設定された軌跡画像を示している。

この実施の形態２では、ユーザの筆圧やなぞる速度が均一である例を示したが、ユーザの筆圧やなぞる速度が途中で変化する場合には、軌跡画像生成部１２が、線幅が途中で変化する軌跡画像を生成するようにしてもよい。
図１４は途中で変化するユーザの筆圧やなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
図１４（ａ）は、なぞる速度が徐々に速くなっている場合や、ユーザの筆圧が徐々に強くなっている場合の軌跡画像を示しており、軌跡画像の線幅が徐々に太くなっている。
図１４（ｂ）は、なぞる速度やユーザの筆圧が不規則に変化している場合の軌跡画像を示しており、軌跡画像の線幅が太くなったり、細くなったりしている。

以上で明らかなように、この実施の形態２によれば、操作受付部１により受け付けられた操作の状態を検知する操作状態検知部１１を備え、軌跡画像生成部１２が、操作状態検知部１１により検知された操作の状態に対応する線幅の軌跡画像を生成するように構成したので、文字列の表示形態の多様化を図ることができる効果を奏する。

この実施の形態２では、軌跡画像生成部１２が、操作状態検知部１１が操作受付部１により受け付けられた操作の状態（例えば、ユーザの筆圧）と、文字管理部３から出力された文字属性情報が示す文字高とから、生成する軌跡画像の線幅を設定するものを示したが、文字管理部３から出力される文字属性情報が示す文字高を使用せずに、操作受付部１により受け付けられた操作の状態のみから、生成する軌跡画像の線幅を設定するようにしてもよい。
例えば、ユーザの筆圧（または、なぞる速度）と、軌跡画像の線幅との対応関係を格納しているテーブルを用意し、軌跡画像生成部１２が、そのテーブルからユーザの筆圧（または、なぞる速度）に対応する線幅を読み出し、その線幅を軌跡画像の線幅に設定する態様が考えられる。

この実施の形態２では、操作受付部１により受け付けられた操作の状態に対応する線幅の軌跡画像を生成するものを示したが、操作受付部１により受け付けられた操作の状態に応じて、ディスプレイ２９に表示する文字の濃淡を変えるようにしてもよい。例えば、ユーザの筆圧が強い程、あるいは、なぞる速度が速い程、文字の濃淡を濃くする態様が考えられる。また、操作受付部１により受け付けられた操作の状態に応じて、ディスプレイ２９に表示する文字の太さを変えるようにしてもよい。例えば、ユーザの筆圧が強い程、あるいは、なぞる速度が速い程、文字の太さを太くする態様が考えられる。
また、軌跡画像生成部１２により生成された軌跡画像の線幅に応じて、その軌跡画像に重ねて表示する文字の文字高を変えるものを示したが、軌跡画像の線幅に応じて、文字列を構成する文字の文字種を変えるようにしてもよい。
例えば、軌跡画像の線幅が徐々に太くなる場合、文字種を文字種Ａ→文字種Ｂ→文字種Ｃのように変える態様が考えられる。

実施の形態３．
上記実施の形態１，２では、表示制御部９，１３が、軌跡画像生成部４，１２により生成された軌跡画像をディスプレイ２９に表示するものを示したが、音声の言語の判別結果を取得し、その判別結果が示す言語に対応する色で、軌跡画像を表示するようにしてもよい。

図１５はこの発明の実施の形態３による入力表示装置を示す構成図であり、図１６はこの発明の実施の形態３による入力表示装置のハードウェア構成図である。
図１５及び図１６において、図９及び図１０と同一符号は同一または相当部分を示すので説明を省略する。
文字列取得部５の言語判別部１４は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている言語判別処理回路３４で実現されるものであり、音声検出部６により検出された音声の言語判別処理を実施し、その言語の判別結果を表示制御部１５に出力する。

この実施の形態３では、文字列取得部５が言語判別部１４を実装している例を示しているが、言語判別部１４の代わりに、データ送受信部が実装されているものであってもよい。
このデータ送受信部は、例えば、インターネットやＬＡＮなどの通信経路を介して、図示せぬ言語判別サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部６により検出された音声を示すデータを言語判別サーバに送信する。
言語判別サーバは、音声の言語を判別する言語判別エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の言語判別結果を当該データ送受信部に送信する。
このデータ送受信部は、言語判別サーバから送信された音声の言語判別結果を表示制御部１５に出力する。

表示制御部１５は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路３５で実現されるものであり、図９の表示制御部１３と同様の表示処理を実施する。
また、表示制御部１５は言語判別部１４から出力された判別結果が示す言語に対応する色で、軌跡画像生成部１２により生成された軌跡画像をディスプレイ２９に表示する処理を実施する。

図１５では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、文字列取得部５、表示制御部１５及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、音声検出部６、音声認識部８、言語判別部１４及び表示制御部１５の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図１７及び図５はこの発明の実施の形態３による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図１７において、図１１と同一のステップ番号は同一または相当部分を示すものである。

次に動作について説明する。
文字列取得部５の言語判別部１４は、音声検出部６がユーザの音声を検出すると、その音声の言語判別処理を実施し、その言語の判別結果を表示制御部１５に出力する（図１７のステップＳＴ９）。音声の言語判別処理自体は公知の技術であるため詳細な説明を省略する。

表示制御部１５は、図９の表示制御部１３と同様に、図５のフローチャートにしたがって軌跡画像と文字列をディスプレイ２９に表示する。
ただし、表示制御部１５は、図９の表示制御部１３と異なり、言語判別部１４から出力された判別結果が示す言語に対応する色で、軌跡画像生成部１２により生成された軌跡画像をディスプレイ２９に表示する。
なお、音声検出部６がユーザの音声を検出するまでは、言語判別部１４が音声の言語を判別することができないでの、音声検出部６がユーザの音声を検出する前に、軌跡画像生成部１２により軌跡画像が生成された場合、音声検出部６がユーザの音声を検出するまでの間、表示制御部１５は、軌跡画像の表示を行わない。また、音声検出部６がユーザの音声を検出するまでの間はグレーの色で軌跡を表示し、ユーザの音声を検出して言語の判別結果が出たら言語に対応する色で軌跡画像を表示するようにしてもよい。

図１８は音声の言語に対応する軌跡画像の色を示す説明図である。
図１８（ａ）は音声の言語が日本語である場合を示しており、軌跡画像が例えば青色で表示される。
図１８（ｂ）は音声の言語が英語である場合を示しており、軌跡画像が例えば赤色で表示される。
ここでは、音声の言語が日本語であれば、青色の軌跡画像を表示し、音声の言語が英語であれば、赤色の軌跡画像を表示する例を示しているが、あくまでも一例に過ぎず、他の色で表示してもよいことは言うまでもない。

以上で明らかなように、この実施の形態３によれば、音声検出部６により検出された音声の言語判別処理を実施して、その言語の判別結果を出力する言語判別部１４を備え、表示制御部１５が、言語判別部１４から出力された判別結果が示す言語に対応する色で、軌跡画像生成部１２により生成された軌跡画像をディスプレイ２９に表示するように構成したので、どの言語の文字が表示されているかを直感的に把握することができる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、軌跡画像と文字列が表示された後、軌跡画像が消されることで、最終的には、文字列だけがディスプレイ２９に表示されるものを示したが、ユーザの絵書きの操作にしたがって生成された絵の画像がディスプレイ２９に表示されるようにしてもよい。

図１９はこの発明の実施の形態４による入力表示装置を示す構成図であり、図２０はこの発明の実施の形態４による入力表示装置のハードウェア構成図である。
図１９及び図２０において、図１５及び図１６と同一符号は同一または相当部分を示すので説明を省略する。
操作切換部１６は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている操作切換処理回路３６で実現されるものであり、操作受付部１により受け付けられる操作を切り換えるための操作として、例えば、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を切り換える処理を実施する。
即ち、操作切換部１６は操作受付部１により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を、ディスプレイ２９に絵を描画する絵書きの操作に切り換える処理を実施する。一方、操作受付部１により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える処理を実施する。

絵画像生成部１７は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている画像生成処理回路３７で実現されるものであり、操作切換部１６により切り換えられた操作が、絵書きの操作であれば、操作受付部１により受け付けられた絵書きの操作にしたがって絵の画像を生成する処理を実施する。
表示制御部１８は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路３８で実現されるものであり、操作切換部１６により切り換えられた操作が、なぞり書きの操作であれば、図１５の表示制御部１５と同様の表示処理を実施する。
表示制御部１８は操作切換部１６により切り換えられた操作が、絵書きの操作であれば、絵画像生成部１７により生成された絵の画像をディスプレイ２９に表示する処理を実施する。

図１９では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、操作切換部１６、絵画像生成部１７、文字列取得部５、表示制御部１８及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、操作切換部１６、絵画像生成部１７、音声検出部６、音声認識部８、言語判別部１４及び表示制御部１８の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図２１は操作受付部１により受け付けられる操作が切り換えられた際の処理内容を示すフローチャートである。

次に動作について説明する。
操作切換部１６は、操作受付部１により受け付けられる操作を切り換えるための操作として、長押し操作を検出すると（図２１のステップＳＴ３１：ＹＥＳの場合）、操作受付部１により受け付けられる操作を切り換える処理を実施する（ステップＳＴ３２）。
図２２は操作受付部１により受け付けられる操作を切り換えるための操作の一例を示す説明図である。
図２２では、操作受付部１により受け付けられる操作を切り換えるための操作が、長押し操作である例を示しており、長押し操作は、例えば、ポインティングデバイス２１であるタッチパネルの同じ場所を予め設定された時間以上継続して、ユーザの指が触れている操作である。
即ち、操作切換部１６は、現時点において、操作受付部１により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、以降、操作受付部１により受け付けられる操作を絵書きの操作に切り換える指令を操作受付部１に出力する。
一方、現時点において、操作受付部１により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、以降、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部１に出力する。

操作受付部１は、操作切換部１６の指令にしたがって受け付ける操作を切り換える。
したがって、操作受付部１は、受け付ける操作をなぞり書きの操作に切り換えている状態では（ステップＳＴ３３：ＹＥＳの場合）、上記実施の形態１〜３と同様に、なぞり書きの操作を受け付けて、なぞり書きの操作内容を軌跡画像生成部１２に出力する（ステップＳＴ３４）。
また、操作受付部１は、受け付ける操作を絵書きの操作に切り換えている状態では（ステップＳＴ３３：ＮＯの場合）、絵書きの操作を受け付けて、絵書きの操作内容を絵画像生成部１７に出力する（ステップＳＴ３５）。

軌跡画像生成部１２は、操作受付部１がなぞり書きの操作を受け付けると、上記実施の形態２と同様に、そのなぞり書きの操作内容にしたがって軌跡画像を生成する（ステップＳＴ３６）。
絵画像生成部１７は、操作受付部１が絵書きの操作を受け付けると、その絵書きの操作内容にしたがって絵の画像を生成する（ステップＳＴ３７）。
図２３は絵書きの操作内容にしたがって生成される絵の画像の一例を示す説明図である。
絵書きの操作内容にしたがって絵の画像を生成する処理自体は公知の技術であるため詳細な説明を省略する。なお、絵書きの操作内容には、線を描画する機能のほかに、描画する線の太さや色を変える機能や、線を消去する消しゴムの機能などが含まれていてもよい。

表示制御部１８は、軌跡画像生成部１２が軌跡画像を生成すると、図１５の表示制御部１５と同様に、その軌跡画像と文字列取得部５から出力された文字列をディスプレイ２９に表示する処理を実施する（ステップＳＴ３８）。
また、表示制御部１８は、絵画像生成部１７が絵の画像を生成すると、その絵の画像をディスプレイ２９に表示する（ステップＳＴ３９）。

以上で明らかなように、この実施の形態４によれば、操作受付部１により受け付けられる操作を切り換える操作切換部１６と、操作切換部１６により切り換えられた操作が、絵書きの操作であれば、操作受付部１により受け付けられた絵書きの操作にしたがって絵の画像を生成する絵画像生成部１７とを備え、表示制御部１８が、操作切換部１６により切り換えられた操作が、なぞり書きの操作であれば、図１５の表示制御部１５と同様に、軌跡画像と文字列を重ねて表示する一方、操作切換部１６により切り換えられた操作が、絵書きの操作であれば、絵画像生成部１７により生成された絵の画像を表示するように構成したので、文字列と一緒に絵の画像をディスプレイ２９に表示することができる効果を奏する。

この実施の形態４では、操作切換部１６が、操作受付部１により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を絵書きの操作に切り換える一方、操作受付部１により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える例を示している。
しかし、操作受付部１により受け付けられる操作の切り換え方法は、これに限るものではなく、下記の示すような切り換え方法を用いてもよい。
例えば、通常時において、操作受付部１により受け付けられる操作は、絵書きの操作に設定されており、ポインティングデバイス２１の長押し操作を検出すると、操作切換部１６が、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部１に出力して、操作受付部１によりなぞり書きの操作が受け付けられるようにする。
なぞり書きの操作が終わると、操作受付部１により受け付けられる操作が、自動的に絵書きの操作に戻り、その後、ポインティングデバイス２１の長押し操作を検出すると、再び、操作切換部１６が、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部１に出力して、操作受付部１によりなぞり書きの操作が受け付けられるようにする。

この実施の形態４では、操作切換部１６が、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を切り換えるものを示したが、現在、操作受付部１により受け付けられる操作が、なぞり書きの操作であるのか、絵書きの操作であるのかを示す情報をディスプレイ２９に表示するようにしてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る入力表示装置及び入力表示方法は、音声の認識結果を示す文字列をディスプレイに表示する際、ユーザの自由なレイアウトで表示する必要があるものに適している。

１ 操作受付部、２ 文字管理ＤＢ、３ 文字管理部、４ 軌跡画像生成部、５ 文字
列取得部、６ 音声検出部、７ 音声認識辞書ＤＢ、８ 音声認識部、９ 表示制御部、
１０ 文字列一時保存部、１１ 操作状態検知部、１２ 軌跡画像生成部、１３ 表示制
御部、１４ 言語判別部、１５ 表示制御部、１６ 操作切換部、１７ 絵画像生成部、
１８ 表示制御部、２１ ポインティングデバイス、２２ メモリ、２３ 文字管理処理
回路、２４ 画像生成処理回路、２５ マイク、２６ メモリ、２７ 音声認識処理回路
、２８ 表示処理回路、２９ ディスプレイ、３０ メモリ、３１ 操作状態検知処理回
路、３２ 画像生成処理回路、３３ 表示処理回路、３４ 言語判別処理回路、３５ 表
示処理回路、３６ 操作切換処理回路、３７ 画像生成処理回路、３８ 表示処理回路、
４１ メモリ、４２ プロセッサ。

Claims (12)

1. 操作による曲線の軌跡を受け付ける操作受付部と、
   前記操作受付部により受け付けられた操作の状態を検知する操作状態検知部と、
   前記操作受付部により受け付けられた曲線の軌跡を判別し、当該判別した軌跡を示す軌跡画像を、前記操作状態検知部により検知された操作の状態に対応する線幅の軌跡画像として生成する軌跡画像生成部と、
   音声の認識結果を示す文字列を取得する文字列取得部と、
   前記軌跡画像生成部により生成された軌跡画像をディスプレイに表示するとともに、前記文字列取得部により取得された文字列を、前記軌跡画像生成部により生成された軌跡画像の線幅に応じた文字サイズの文字で前記ディスプレイに表示される軌跡画像の曲線の軌跡に沿って重ねて表示させる表示制御部と、
   を備える入力表示装置。
2. 操作による線の軌跡を受け付ける操作受付部と、
   前記操作受付部により受け付けられた操作の状態を検知する操作状態検知部と、
   前記操作受付部により受け付けられた線の軌跡を判別し、当該判別した軌跡を示す軌跡画像を、前記操作状態検知部により検知された操作の状態が途中で変化していれば、当該変化に対応して変化する線幅の軌跡画像として生成する軌跡画像生成部と、
   音声の認識結果を示す文字列を取得する文字列取得部と、
   前記軌跡画像生成部により生成された軌跡画像をディスプレイに表示するとともに、前記文字列取得部により取得された文字列を、前記軌跡画像生成部により生成された軌跡画像の線幅の変化に応じて変化する文字サイズの文字で前記ディスプレイに表示される軌跡画像の軌跡に沿って重ねて表示させる表示制御部と、
   を備える入力表示装置。
3. 前記操作状態検知部は、前記操作の状態として、ユーザの筆圧を検知することを特徴とする請求項１又は請求項２記載の入力表示装置。
4. 前記軌跡画像生成部は、ユーザの筆圧が基準値未満である場合、生成する軌跡画像の線幅を基準の線幅よりも細い線幅とすることを特徴とする請求項３記載の入力表示装置。
5. 前記操作状態検知部は、前記操作の状態として、ユーザがタッチパネルをなぞる速度を検知することを特徴とする請求項１又は請求項２記載の入力表示装置。
6. 前記軌跡画像生成部は、なぞる速度が基準値未満である場合、生成する軌跡画像の線幅を基準の線幅よりも細い線幅とすることを特徴とする請求項５記載の入力表示装置。
7. 前記軌跡画像生成部は、ユーザの筆圧又はユーザがタッチパネルをなぞる速度に応じて前記文字列を構成する文字の濃淡を変化させることを特徴とする請求項１又は請求項２記載の入力表示装置。
8. 前記軌跡画像生成部は、ユーザの筆圧又はユーザがタッチパネルをなぞる速度に応じて前記文字列を構成する文字の太さを変化させることを特徴とする請求項１又は請求項２記載の入力表示装置。
9. 前記軌跡画像生成部は、ユーザの筆圧又はユーザがタッチパネルをなぞる速度に応じて前記文字列を構成する文字の文字種を変化させることを特徴とする請求項１又は請求項２記載の入力表示装置。
10. 事前に設定される文字サイズに対応する文字高を示す文字属性情報を前記軌跡画像生成部に出力する文字管理部をさらに備え、
    前記軌跡画像生成部は、前記文字管理部による文字属性情報が示す文字高を基準の線幅に設定し、前記軌跡画像生成部により軌跡画像として生成される前記操作状態検知部により検知された操作の状態に対応する線幅を、前記操作状態検知部により検知された操作の状態と前記基準の線幅とに応じて設定することを特徴とする請求項１記載の入力表示装置。
11. 前記軌跡画像生成部は、ユーザの筆圧又はユーザがタッチパネルをなぞる速度と軌跡画像の線幅との対応関係を格納するテーブルに基づき、前記軌跡画像の線幅を設定することを特徴とする請求項１から請求項９のいずれか１項に記載の入力表示装置。
12. 前記軌跡画像生成部により生成される前記操作状態検知部により検知された操作の状態に対応する線幅の軌跡画像は、前記操作状態検知部により検知された操作の状態が基準値より大きいと基準の線幅とオフセット値を加算した値を軌跡画像の線幅として設定され、前記基準値より小さいと基準の線幅からオフセット値を減算した値を軌跡画像の線幅として設定されことを特徴とする請求項１記載の入力表示装置。

Images