JP6727279B2 - 表示制御装置、入力表示システム、表示制御方法及びプログラム - Google Patents

Description

この発明は、文字列を表示するための表示情報を生成する表示制御装置、表示制御方法及びプログラムに関するものである。

以下の特許文献１には、曲線などの線に沿って、文字列を表示する表示装置が開示されている。

特開平１０−１２４０３３号公報

従来の表示装置は以上のように構成されているので、曲線の長さが、文字列の長さより長ければ、文字列の全部を曲線に沿って表示することができる。しかし、曲線の長さが、文字列の長さより短い場合、文字列の一部を曲線に沿って表示することができないという課題があった。

この発明は、曲線に沿って文字列を表示するための表示情報を生成することができる表示制御装置を得ることを目的とする。

この発明に係る表示制御装置は、曲線情報取得部と、文字列取得部と、翻訳部と、表示制御部とを備えている。曲線情報取得部は、曲線を示す曲線情報を取得する。文字列取得部は、文字列を取得する。翻訳部は、文字列取得部により取得された文字列を翻訳する。表示制御部は、曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、文字列取得部により取得された文字列を表示するための表示情報を生成する。また、表示制御部は、前記第１の曲線に対応する第２の曲線に沿って、翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する。

この発明の表示制御装置によれば、曲線に沿って文字列を表示するための表示情報を生成することができる。

この発明の実施の形態１による入力表示制御装置を含む入力表示システム示す構成図である。 この発明の実施の形態１による入力表示システムのハードウェア構成図である。 入力表示システムがソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 この発明の実施の形態１による入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その１）。 この発明の実施の形態１による入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その２）。 文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。 音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。 曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。 図９Ａは曲線の長さが文字列の長さより長ければ、その文字列を構成している全ての文字を曲線画像の上に重ねて表示できることを示す説明図である。図９Ｂは曲線の長さが文字列の長さより短ければ、その文字列を構成している一部の文字を曲線画像の上に重ねて表示できないことを示す説明図である。 図１０Ａは曲線の形状が直線である場合に、曲線の長さＬの算出に用いる曲線の先端及び終端の位置座標を示す説明図である。図１０Ｂは曲線の形状が曲がっている場合に、曲線の長さＬの算出に用いる曲線の先端、終端及び中間点の位置座標を示す説明図である。 表示制御部１２の延長曲線形状決定部１４の処理内容を示す説明図である。 図１２Ａは延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図、図１２Ｂは延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図、図１２Ｃは延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図、図１２Ｄは延長曲線の形状が円弧形状である例を示す説明図である。 表示制御部１２の曲線延長部１７の処理内容を示す説明図である。 この発明の実施の形態２による入力表示制御装置を含む入力表示システム示す構成図である。 この発明の実施の形態２による入力表示システムのハードウェア構成図である。 表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。 表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。 翻訳結果を示す文字列を表示する例を示す説明図である。 翻訳結果を示す文字列を表示する例を示す説明図である。 ディスプレイ３２が対面二画面で構成されている場合の表示処理部５３における表示処理の一例を示す説明図である。 翻訳結果を示す文字列を表示する例を示す説明図である。 この発明の実施の形態３による入力表示制御装置を含む入力表示システム示す構成図である。 この発明の実施の形態３による入力表示システムのハードウェア構成図である。 文字の認識結果を示す文字列の表示処理の一例を示す説明図である。 この発明の実施の形態４による入力表示制御装置を含む入力表示システム示す構成図である。 翻訳結果を示す文字列の表示処理の一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。

実施の形態１．
図１はこの発明の実施の形態１による入力表示制御装置を含む入力表示システム示す構成図であり、図２はこの発明の実施の形態１による入力表示システムのハードウェア構成図である。
図１及び図２において、操作受付部１はポインティングデバイス２１で実現され、ユーザの操作として、線を描く操作を受け付ける処理を実施する。
この実施の形態１では、ポインティングデバイス２１として、タッチパネルを用いるものを想定しているが、タッチパネルに限るものではなく、例えば、ジョイスティック、ポインティング・スティック（トラックポイント）、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。

文字管理ＤＢ２は例えば記憶処理回路２２で実現され、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。
文字管理部３は例えば文字管理処理回路２３で実現されるものである。文字管理部３は事前にディスプレイ３２に表示する文字のサイズが設定され、文字管理ＤＢ２に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡判別部４に出力するとともに、その文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置１００に出力する処理を実施する。

軌跡判別部４は例えば画像生成処理回路２４で実現されるものであり、操作受付部１により受け付けられた操作によって描かれた線の軌跡を判別して、その軌跡を表す曲線の長さや形状など、その曲線を示す曲線情報を入力表示制御装置１００に出力する処理を実施する。この曲線には、直線や折れ曲がった線など、あらゆる形状の線が含まれるものとする。
また、軌跡判別部４は軌跡を表す曲線の画像である曲線画像を生成し、その曲線画像を入力表示制御装置１００に出力する処理を実施する。この曲線画像は曲線情報に含めて入力表示制御装置１００に出力される。
この曲線画像の線幅は、文字管理部３から出力された文字属性情報が示す文字高に対応している。

文字列認識部５は音声検出部６、音声認識辞書ＤＢ７及び音声認識部８を含んでおり、音声の認識結果を示す文字列を表示対象の文字列として入力表示制御装置１００に出力する処理を実施する。
音声検出部６は例えばマイク２５で実現され、ユーザの音声を検出する。
音声認識辞書ＤＢ７は例えば記憶処理回路２２で実現されるものであり、音声認識辞書ＤＢ７は例えば人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とから構成されている。
音声認識部８は例えば音声認識処理回路２６で実現されるものであり、音声検出部６により検出された音声を認識する音声認識エンジンを搭載している。
即ち、音声認識部８は音声検出部６により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として入力表示制御装置１００に出力する処理を実施する。

図１では、文字列認識部５が音声認識辞書ＤＢ７及び音声認識部８を実装している例を示しているが、音声認識辞書ＤＢ７及び音声認識部８の代わりに、データ送受信部が実装されているものであってもよい。
このデータ送受信部は、例えば、インターネットやＬＡＮなどの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部６により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の認識結果を示す文字列を当該データ送受信部に送信する。
このデータ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、その文字列を入力表示制御装置に出力する。

入力表示制御装置１００は、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１及び表示制御部１２を備えている。
曲線情報取得部９は例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ポートやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどを有する入力インタフェース回路２７で実現されるものであり、軌跡判別部４から出力された曲線情報を取得する処理を実施する。
文字列取得部１０は例えば入力インタフェース回路２７で実現されるものであり、文字列認識部５から出力された文字列を取得する処理を実施する。
文字属性情報取得部１１は例えば入力インタフェース回路２７で実現されるものであり、文字管理部３から出力された文字属性情報を取得する処理を実施する。

表示制御部１２は長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７及び表示処理部１８を含んでおり、軌跡判別部４から出力された曲線情報が示す曲線に沿って、文字列認識部５から出力された文字列を表示するための表示情報を生成し、その表示情報にしたがって文字列を曲線に沿って表示させる処理を実施する。即ち、文字列認識部５から出力された文字列を曲線情報取得部９により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための表示情報を生成し、その表示情報にしたがって文字列を曲線画像の上に重ねて表示させる処理を実施する。
また、表示制御部１２は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列認識部５から出力された文字列の一部を曲線に沿って表示することができないと判断した場合、その曲線の形状から、その曲線の延長部分の形状を決定して、その曲線を延長するとともに、その延長部分の曲線に沿って、文字列の一部を表示するための表示情報を生成し、その表示情報にしたがって文字列の一部を表示させる処理を実施する。
さらに、表示制御部１２は、文字列を曲線画像の上に重ねて表示した後、その曲線画像の表示を消去するための表示情報を生成し、その表示情報にしたがって曲線画像を消去させる処理を実施する。

長さ比較部１３は例えば長さ比較処理回路２８で実現されるものであり、曲線情報取得部９により取得された曲線情報が示す曲線の長さと、文字列取得部１０により取得された文字列の長さとを比較する処理を実施する。
延長曲線形状決定部１４は例えば形状決定処理回路２９で実現されるものであり、曲線記憶部１５及び形状決定処理部１６を備えている。延長曲線形状決定部１４は長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する処理を実施する。

曲線記憶部１５は事前に形状が異なる複数の曲線を記憶している。
形状決定処理部１６は曲線記憶部１５に記憶されている複数の曲線の形状と、曲線情報取得部９により取得された曲線情報が示す曲線の形状とを照合して、曲線記憶部１５に記憶されている複数の曲線の形状の中から、曲線情報取得部９により取得された曲線情報が示す曲線に対応する曲線の形状を選択し、その選択した曲線の形状から延長曲線の形状を決定する処理を実施する。
曲線延長部１７は例えば曲線延長処理回路３０で実現されるものであり、長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、延長曲線形状決定部１４により形状が決定された延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加する処理を実施する。

表示処理部１８は例えば表示処理回路３１で実現されるものであり、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列をディスプレイ３２に表示するための表示情報を生成し、その表示情報にしたがってディスプレイ３２に文字列を表示させる処理を実施する。即ち、文字列取得部１０から出力された文字列を曲線情報取得部９により取得された曲線画像の上に重ねて表示するための表示情報を生成し、その表示情報にしたがってディスプレイ３２に文字列を曲線画像の上に重ねて表示させる処理を実施する。
また、表示処理部１８は長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線延長部１７により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字列の一部をディスプレイ３２に表示するための表示情報を生成し、その表示情報にしたがってディスプレイ３２に文字列の一部を表示させる処理を実施する。
さらに、表示処理部１８はディスプレイ３２に文字列を表示させた後、曲線画像の表示を消去するための表示情報を生成し、その表示情報にしたがってディスプレイ３２に曲線画像を消去させる処理を実施する。
文字列一時保存部１９は例えば記憶処理回路２２で実現され、文字列取得部１０により取得された文字列を一時的に保存する。

図１では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部５、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８及び文字列一時保存部１９のそれぞれが、図２に示すような専用のハードウェア、即ち、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１及びディスプレイ３２で実現されるものを想定している。
ここで、記憶処理回路２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、文字管理処理回路２３、画像生成処理回路２４、音声認識処理回路２６、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０及び表示処理回路３１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

また、入力表示システムの構成要素が専用のハードウェアで実現されるものに限るものではなく、入力表示システムがソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。
図３は入力表示システムがソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
入力表示システムがソフトウェアやファームウェアなどで実現される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１９をコンピュータのメモリ４１上に構成するとともに、文字管理部３、軌跡判別部４、音声認識部８、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７及び表示処理部１８の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図４及び図５はこの発明の実施の形態１による入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。

また、図２では入力表示システムの構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、入力表示システムがソフトウェアやファームウェアなどで実現される例を示しているが、入力表示システムにおける一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
例えば、操作受付部１及び文字列認識部５を専用のハードウェアで実現し、文字管理ＤＢ２、文字管理部３、軌跡判別部４、入力表示制御装置１００及び文字列一時保存部１９をソフトウェアやファームウェアなどで実現することが可能である。ただし、専用のハードウェアとソフトウェア等の組み合わせは任意である。

次に動作について説明する。
図６は文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。
図６の文字属性表では、例えば、文字種毎に、文字サイズに対応している文字高と文字幅が記述されている。文字種としては、例えば、明朝体、ゴシック体などが考えられる。
文字管理部３には、ディスプレイ３２に表示する文字の文字種及び文字サイズが事前に設定されており、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、その文字種及び文字サイズに対応する文字高を示す文字属性情報を軌跡判別部４に出力するとともに、その文字種及び文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置１００に出力する（図４のステップＳＴ１）。

例えば、事前に設定されている文字の文字種が“Ａ”で、その文字サイズが“１０”であれば、文字高が“５ｍｍ”であることを示す文字属性情報が軌跡判別部４に出力され、また、文字高が“５ｍｍ”、文字幅が“５ｍｍ”であることを示す文字属性情報が入力表示制御装置１００に出力される。
また、事前に設定されている文字の文字種が“Ｂ”で、その文字サイズが“５”であれば、文字高が“２ｍｍ”であることを示す文字属性情報が軌跡判別部４に出力され、また、文字高が“２ｍｍ”、文字幅が“１．２５ｍｍ”であることを示す文字属性情報が入力表示制御装置１００に出力される。

軌跡判別部４は、文字管理部３から文字属性情報を受けると、生成する曲線画像の線幅を文字属性情報が示す文字高に対応する線幅に設定する（ステップＳＴ２）。
例えば、文字属性情報が示す文字高が“１０ｍｍ”であるとき、仮に文字の上部及び下部の余白が“０．５ｍｍ”に設定されているとすれば、１０＋０．５＋０．５＝１１＝（ｍｍ）と計算し、曲線画像の線幅を“１１ｍｍ”に設定する。
ここでは、文字の上部及び下部に余白を設ける例を示しているが、余白を設けずに、文字属性情報が示す文字高と曲線画像の線幅が一致するものであってもよい。

この実施の形態１では、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定しているので、ユーザが自己の指や、タッチパネル用の入力ペンなどを用いて、線を描く操作をタッチパネルに行うと（ステップＳＴ３：ＹＥＳの場合）、操作受付部１が、線を描く操作を受け付けて、その操作の内容を軌跡判別部４に出力する（ステップＳＴ４）。
出力される線を描く操作の内容は、例えば、タッチパネルに接触している指や入力ペンの位置の座標、即ち、タッチパネル上の位置座標の連続的な変化を示す時系列データである。

軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると、その操作内容から操作によって描かれた線の軌跡を判別する（ステップＳＴ５）。
線を描く操作の内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、描かれた線の軌跡を判別することができる。
軌跡判別部４は、描かれた線の軌跡を判別すると、その軌跡を表す曲線の長さや形状など、その曲線を示す曲線情報を生成する。
また、軌跡判別部４は、その軌跡を表す曲線の画像である曲線画像を生成し、その曲線画像を含む曲線情報を入力表示制御装置１００に出力する（ステップＳＴ６）。
この曲線画像の線幅は、ステップＳＴ２で設定した線幅であり、上記の例では、曲線画像の線幅を“１１ｍｍ”に設定しているので、線幅が“１１ｍｍ”の曲線画像を生成する。

文字列認識部５の音声認識部８は、音声検出部６がユーザの音声を検出すると（ステップＳＴ７：ＹＥＳの場合）、音声認識辞書ＤＢ７を利用して、その音声の認識処理を実施することで、その音声の認識結果を示す文字列を生成し、その文字列を入力表示制御装置１００に出力する（ステップＳＴ８）。
音声認識部８による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、音声検出部６により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として出力する方法が考えられる。
この実施の形態１では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部８が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。

入力表示制御装置１００は、軌跡判別部４から曲線画像を含む曲線情報が出力されると、その曲線画像をディスプレイ３２に表示させるとともに、文字列認識部５から出力された文字列を曲線画像の上に重ねて表示させる。
以下、入力表示制御装置１００の処理内容を具体的に説明する。

図７は音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。
図８は曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。
図９は曲線画像の上に重ねて表示する文字列を示す説明図である。図９Ａは、曲線の長さが文字列の長さより長ければ、その文字列を構成している全ての文字を曲線画像の上に重ねて表示できることを示している。図９Ｂは、曲線の長さが文字列の長さより短ければ、その文字列を構成している一部の文字を曲線画像の上に重ねて表示できないことを示している。
図１０は表示制御部１２の長さ比較部１３の処理内容を示す説明図である。図１０Ａは、曲線の形状が直線である場合に、曲線の長さＬの算出に用いる曲線の先端及び終端の位置座標を示している。図１０Ｂは、曲線の形状が曲がっている場合に、曲線の長さＬの算出に用いる曲線の先端、終端及び中間点の位置座標を示している。
図１１は表示制御部１２の延長曲線形状決定部１４の処理内容を示す説明図である。
図１２は表示制御部１２の延長曲線形状決定部１４により決定された延長曲線の形状の一例を示す説明図である。
図１３は表示制御部１２の曲線延長部１７の処理内容を示す説明図である。

表示制御部１２の表示処理部１８は、文字列認識部５の音声認識部８から文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力されることで、曲線情報取得部９が曲線情報を取得すると（図５のステップＳＴ１１：ＹＥＳの場合）、曲線画像を表示するための表示情報を生成し、その表示情報にしたがって、図７のステップＡに示すように、その曲線画像をディスプレイ３２に表示させる（ステップＳＴ１２）。
この実施の形態１では、説明の便宜上、ユーザの操作によって描かれている線の長さが短いために、曲線の長さが、音声の認識結果を示す文字列の長さよりも短くなっているものとする。
なお、表示処理部１８が曲線画像を表示させる際、曲線画像の全体を同時に表示させるようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションで、曲線画像を表示させるようにしてもよい。

表示処理部１８は、例えば、図７のステップＢに示すように、ユーザが「春になったら桜を見に行きましょう」という発話を行うことで、音声認識部８から「春になったら桜を見に行きましょう」を示す文字列を受けると（図５のステップＳＴ１３：ＹＥＳの場合）、その文字列を曲線画像の上に重ねて表示するための表示情報を生成し、その表示情報にしたがって、図７のステップＣに示すように、その文字列を曲線画像の上に重ねて表示させる（ステップＳＴ１４）。
ただし、図７の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。

表示制御部１２の長さ比較部１３は、文字列取得部１０が音声認識部８から出力された「春になったら桜を見に行きましょう」を示す文字列を取得すると、文字管理部３から出力されたのち、文字属性情報取得部１１により取得された文字属性情報が示す文字幅を参照して、その文字列の長さを算出する（図５のステップＳＴ１５）。
ここでは、音声認識部８から出力された文字列が「春になったら桜を見に行きましょう」であり、その文字列の文字数が１６であるため、例えば、文字管理部３から出力された文字属性情報が示す文字幅が“５ｍｍ”であれば、文字列の長さは、下記の式（１）に示すように、８０ｍｍとなる。
文字列の長さ＝５ｍｍ×１６＝８０ｍｍ （１）

次に、長さ比較部１３は、曲線情報取得部９により取得された曲線情報が示す曲線の長さを算出する（ステップＳＴ１６）。
曲線の長さＬは、曲線の形状が例えば図１０Ａに示すような直線であれば、下記の式（２）に示すように、その曲線の先端の位置座標（Ｘｓ，Ｙｓ）と終端の位置座標（Ｘｅ，Ｙｅ）とから算出することができる。図７のステップＡに表示している曲線画像の場合、曲線の左端が曲線の先端、曲線の右端が曲線の終端である。これらの位置座標は文字幅等を表す単位と同じ単位であるものとする。ここでは、ｍｍが単位である。

式（２）では、曲線の形状が直線である場合の曲線の長さＬの算出式を示しているが、曲線の形状が例えば図１０Ｂに示すような曲線であれば、その曲線の先端の位置座標（Ｘｓ，Ｙｓ）及び終端の位置座標（Ｘｅ，Ｙｅ）と、その曲線の先端から終端に至る複数の中間点の位置座標（Ｘｎ，Ｙｎ）（ｎ＝１，・・・，Ｎ：Ｎは１以上の整数）とを用いて、曲線の形状を直線で近似することで、曲線の長さＬを算出することができる。
曲線の長さＬは、例えば、Ｎ＝２の場合、下記の式（３）に示すように、曲線の先端の位置座標（Ｘｓ，Ｙｓ）と、中間点の位置座標（Ｘ１，Ｙ１）と、中間点の位置座標（Ｘ２，Ｙ２）と、終端の位置座標（Ｘｅ，Ｙｅ）とから算出することができる。

式（３）において、Ｘｓ＜Ｘ１＜Ｘ２＜Ｘｅである。
図１０Ｂでは、Ｎ＝２の例を示しているが、近似精度を高めるために、Ｎを３以上にして、数多くの中間点の位置座標（Ｘｎ，Ｙｎ）を用いるようにしてもよいことは言うまでもない。

長さ比較部１３は、曲線の長さを算出すると、その曲線の長さと文字列の長さとを比較する（図５のステップＳＴ１７）。
延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば（図５のステップＳＴ１８：ＹＥＳの場合）、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する（ステップＳＴ１９）。
即ち、延長曲線形状決定部１４の形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状と、曲線情報取得部９により取得された曲線情報が示す曲線の形状とを照合することで、曲線記憶部１５に記憶されている複数の曲線の形状の中で、その曲線情報が示す曲線の形状と最も一致度が高い曲線の形状を特定し、最も一致度が高い曲線の形状を選択する。曲線の形状を照合して、一致度が最も高い曲線の形状を特定する処理自体は公知の技術であるため詳細な説明を省略する。

形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状の中から、図１１に示すような曲線の形状を選択すると、その選択した曲線の形状から延長曲線の形状を決定する。
例えば、曲線記憶部１５に記憶されている複数の曲線の長さが、操作によって描かれた線の軌跡を表す曲線より十分に長ければ、選択した曲線の形状の中で、その曲線情報が示す曲線より長い部分の形状を、延長曲線の形状に決定する。
図１１の例では、操作によって描かれた線の軌跡を表す曲線、即ち、軌跡判別部４により判別された軌跡を表す曲線を破線で表し、最も一致度が高い選択した曲線を実線で表しており、破線で表している曲線の延長部分の形状を、実線で表している曲線の形状と同じにしている。

この実施の形態１では、曲線記憶部１５に記憶されている複数の曲線の形状の中で、軌跡判別部４により判別された軌跡を表す曲線の形状と最も一致度が高い曲線の形状を選択し、その選択した曲線の形状から延長曲線の形状を決定する例を示しているが、これは一例に過ぎず、他の方法で、延長部分の曲線である延長曲線の形状を決定するものであってもよい。
例えば、軌跡判別部４により判別された軌跡を表す曲線の形状の曲率の変化傾向などを計算し、その曲率の変化傾向から、延長曲線の形状を推定するなどの方法が考えられる。

図１２は延長曲線の形状決定例を示しており、図１２Ａでは、緩く曲がっている曲線の終端部における接線の形状を延長曲線の形状としている。
図１２Ｂでは、曲線全体の曲率が一定であるため、延長曲線の形状の曲率を、軌跡判別部４により判別された軌跡を表す曲線である元の曲線の形状の曲率と同じにしている。
図１２Ｃでは、曲線の形状が周期的な波線形状であるため、延長曲線の形状を元の曲線と同じ周期の波線形状にしている。
図１２Ｄでは、曲線の終端付近が円弧状に曲がっているため、延長曲線の形状を元の曲線の終端付近と同様の円弧形状にしている。

曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、その延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する（ステップＳＴ２０）。
図１３の例では、曲線の長さが６０ｍｍ、文字列の長さが８０ｍｍであり、曲線の長さが文字列の長さより２０ｍｍ短いため、２０ｍｍだけ、曲線を延長している。

表示処理部１８は、曲線延長部１７が曲線を延長すると、延長部分の曲線に沿って、曲線が短いために未表示であった文字列の一部である「ましょう」を表示するための表示情報を生成し、その表示情報にしたがって、図７のステップＤに示すように、延長部分の曲線に沿って、曲線が短いために未表示であった文字列の一部である「ましょう」をディスプレイ３２に表示させる（ステップＳＴ２１）。
ここでは、曲線延長部１７により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ３２に表示させるものを示したが、図７のステップＤにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ３２に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。

表示処理部１８は、文字列を構成する全ての文字を曲線画像の上に重ねて表示させた後、曲線画像を消去するための表示情報を生成し、ディスプレイ３２に、その表示情報にしたがって、図７のステップＥに示すように、曲線画像を消して、文字列のみを表示させる（ステップＳＴ２２）。
表示処理部１８が曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、曲線画像と文字列が重ねて表示されてから、一定時間後に、曲線画像が消去されるものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像が消去されるものであってもよい。

表示処理部１８は、図８のステップＡに示すように、ユーザが線を描く操作を行う前に発話することで、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、文字列認識部５の音声認識部８から文字列が出力されることで、文字列取得部１０が文字列を取得すると（図５のステップＳＴ１１：ＮＯの場合）、その文字列を文字列一時保存部１９に格納して、軌跡判別部４から曲線情報が出力されるまで待機する（ステップＳＴ２３：ＮＯの場合）。

その後、ユーザが線を描く操作を開始して、その操作が完了すると、軌跡判別部４から曲線情報が出力される。
表示処理部１８は、軌跡判別部４から曲線情報が出力されることで、曲線情報取得部９が曲線情報を取得すると（ステップＳＴ２３：ＹＥＳの場合）、文字列一時保存部１９から文字列を読み出し、その文字列を曲線画像の上に重ねて表示するための表示情報を生成し、その表示情報にしたがって、図８のステップＢに示すように、その文字列を曲線画像の上に重ねて表示させる。即ち、表示処理部１８は、曲線画像と文字列を同じ位置に重ねて表示させる（ステップＳＴ２４）。
ただし、図８の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。
表示処理部１８が曲線画像と文字列を同じ位置に重ねて表示させる際、曲線画像と文字列の全体を同時に表示させるようにしてもよいが、文字列の先頭側から順次表示するアニメーションで、曲線画像と文字列を表示させるようにしてもよい。
また、ユーザの指のなぞりにあわせて、曲線画像と文字列が指の下から湧き出てくるように、その曲線画像と文字列を順次表示させるようにしてもよい。
なお、図７では、ユーザが指をなぞってから発話する例を示し、図８ではユーザが発話してから指をなぞる例を示したが、指のなぞりと発話が同時に行われるものであってもよい。

長さ比較部１３は、文字列取得部１０が音声認識部８から出力された「春になったら桜を見に行きましょう」を示す文字列を取得すると、文字管理部３から出力されたのち、文字属性情報取得部１１により取得された文字属性情報が示す文字幅を参照し、上記の式（１）にしたがって、その文字列の長さを算出する（図５のステップＳＴ１５）。
また、長さ比較部１３は、曲線情報取得部９により取得された曲線情報を受けると、上記の式（２）又は式（３）にしたがって、その曲線情報が示す曲線の長さを算出する（ステップＳＴ１６）。
長さ比較部１３は、曲線の長さを算出すると、その曲線の長さと文字列の長さとを比較する（図５のステップＳＴ１７）。

延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば（図５のステップＳＴ１８：ＹＥＳの場合）、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する（ステップＳＴ１９）。
曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、その延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する（ステップＳＴ２０）。
図１３の例では、曲線の長さが６０ｍｍ、文字列の長さが８０ｍｍであり、曲線の長さが文字列の長さより２０ｍｍ短いため、２０ｍｍだけ、曲線を延長している。

表示処理部１８は、曲線延長部１７が曲線を延長すると、延長部分の曲線に沿って、曲線の長さが短いために未表示であった文字列の一部である「ましょう」を表示するための表示情報を生成し、その表示情報にしたがって、図８のステップＣに示すように、延長部分の曲線に沿って、未表示であった文字列の一部である「ましょう」をディスプレイ３２に表示させる（ステップＳＴ２１）。
ここでは、曲線延長部１７により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ３２に表示させるものを示したが、図８のステップＣにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ３２に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。

表示処理部１８は、文字列を構成する全ての文字を曲線画像の上に重ねて表示させた後、曲線画像を消去ための表示情報を生成し、ディスプレイ３２に、その表示情報にしたがって、図８のステップＤに示すように、曲線画像を消去させて、文字列のみを表示させる（ステップＳＴ２２）。
表示処理部１８が曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、曲線画像と文字列が重ねて表示させてから、一定時間後に、曲線画像が消去されるものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像が消去されるものであってもよい。

この実施の形態１では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短い例を示しているが、曲線の長さが、音声の認識結果を示す文字列の長さ以上である場合、曲線の長さを延長することなく、その文字列を構成する全ての文字を曲線画像の上に重ねて表示させることができる。
このため、長さ比較部１３の比較結果が、曲線の長さが文字列の長さ以上である旨を示していれば（図５のステップＳＴ１８：Ｎｏの場合）、ステップＳＴ１９〜ＳＴ２１の処理を実施せずに、ステップＳＴ２２の処理に移行し、曲線画像を消去して、文字列のみを表示している状態にする。

この実施の形態１では、長さ比較部１３が、文字列を構成する各文字の間が離れておらず、文字間の長さが０ｍｍであるとして、式（１）によって文字列の長さを計算しているが、文字間の長さが０ｍｍより大きければ、その文字間の長さを考慮して、文字列の長さを算出するようにしてもよい。例えば、文字間の長さが０．５ｍｍであれば、文字列の長さは、下記の式（４）に示すように、８７．５ｍｍとなる。
文字列の長さ＝（５ｍｍ×１６）＋（０．５ｍｍ×１５）＝８７．５ｍｍ
（４）
式（４）は、式（１）と同様に、文字列の文字数が１６、文字幅が“５ｍｍ”である場合を示している。

以上で明らかなように、この実施の形態１によれば、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列取得部１０により取得された文字列の一部を曲線に沿って表示することができないと判断する場合、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、その曲線の延長部分の形状を決定して、その曲線を延長し、延長部分の曲線に沿って、その文字列の一部を表示するための表示情報を生成するように構成したので、曲線の長さが、文字列の長さより短い場合でも、文字列の全部を曲線に沿って表示させることができる効果を奏する。

また、この実施の形態１によれば、入力表示制御装置１００が、文字列認識部５の音声認識部８から文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力された場合、曲線画像をディスプレイ３２に表示させた後、文字列認識部５の音声認識部８から出力された文字列を曲線画像の上に重ねて表示させる一方、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、文字列認識部５の音声認識部８から文字列が出力された場合、軌跡判別部４から曲線情報が出力されるまで待機し、軌跡判別部４から曲線情報が出力されると、曲線画像をディスプレイ３２に表示させるとともに、文字列を曲線画像の上に重ねて表示させるように構成したので、ユーザが発話する前に線を描く操作を行った場合、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。したがって、ユーザが文字列の表示イメージをつかむことができる効果を奏する。また、ユーザが線を描く操作を行う前に発話した場合、線を描く操作が行われると、曲線画像と文字列が同じ位置に重ねて表示されるため、応答性が高い操作感をユーザに与えることができる効果を奏する。

この実施の形態１では、入力表示制御装置１００が、文字列を曲線画像の上に重ねて表示させるものを示しているが、文字列を曲線画像の上に重ねずに、曲線画像の周囲において、その曲線画像に沿うように文字列を表示させるようにしてもよい。
また、曲線画像は、ユーザが曲線画像を確認することができなくてもよければ、無色透明の画像であってもよい。また、曲線画像は有色透明の画像であってもよい。
曲線画像が無色透明である場合、表示制御部１２の表示処理部１８が、軌跡判別部４により判別された軌跡を表す幅のない曲線や、曲線延長部１７により延長された軌跡を表す幅のない曲線をディスプレイ３２に表示させるようにしてもよい。

実施の形態２．
上記実施の形態１では、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列をディスプレイ３２に表示させるものを示したが、さらに、その文字列を翻訳し、その翻訳結果を示す文字列をディスプレイ３２に表示させるようにしてもよい。

図１４はこの発明の実施の形態２による入力表示制御装置を含む入力表示システム示す構成図であり、図１５はこの発明の実施の形態２による入力表示システムのハードウェア構成図である。
図１４及び図１５において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
翻訳部５２は例えばＣＰＵを実装している半導体集積回路あるいはワンチップマイコンなどで構成されている翻訳処理回路３４で実現されるものであり、文字列取得部１０により取得された文字列を翻訳する処理を実施する。

表示制御部５１は長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、翻訳部５２及び表示処理部５３を含んでおり、図１の表示制御部１２と同様の処理を実施するほかに、翻訳部５２の翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳部５２の翻訳結果を示す文字列をディスプレイ３２に表示するための表示情報を生成し、その表示情報にしたがって翻訳部５２の翻訳結果を示す文字列をディスプレイ３２に表示させる処理を実施する。
表示制御部５１の表示処理部５３は例えば表示処理回路３１で実現されるものであり、図１の表示処理部１８と同様の処理を実施する。
また、表示処理部５３は、図１の表示処理部１８と異なり、翻訳部５２の翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳部５２の翻訳結果を示す文字列をディスプレイ３２に表示させる処理も実施する。

図１４では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部５、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、翻訳部５２、表示処理部５３及び文字列一時保存部１９のそれぞれが、図１５に示すような専用のハードウェア、即ち、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１、ディスプレイ３２及び翻訳処理回路３４で実現されるものを想定しているが、入力表示システムがソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
入力表示システムがソフトウェアやファームウェアなどで実現される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１９を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡判別部４、音声検出部６、音声認識部８及び表示制御部５１の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、図３に示すプロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
ただし、翻訳部５２及び表示処理部５３以外は、上記実施の形態１と同様であるため、ここでは、主に翻訳部５２及び表示処理部５３の処理内容について説明する。
翻訳部５２は、文字列取得部１０が文字列認識部５から出力された音声の認識結果を示す文字列を取得すると、その文字列を翻訳し、その翻訳結果を示す文字列を長さ比較部１３及び表示処理部５３に出力する。
音声の認識結果を示す文字列が「夏休みに海に行ったよ」であれば、例えば、その翻訳結果を示す文字列は「Ｉ ｗｅｎｔ ｔｏ ｔｈｅ ｓｅａ ｉｎ ｓｕｍｍｅｒ ｖａｃａｔｉｏｎ」のようになる。

表示処理部５３は、図１の表示処理部１８と同様に、文字列認識部５により取得された音声の認識結果を示す文字列を曲線情報取得部９により取得された曲線画像の上に重ねて表示させる。
また、表示処理部５３は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが文字列の長さより短いために、その文字列の一部を曲線に沿って表示することができなければ、図１の表示処理部１８と同様に、曲線延長部１７により付加された延長曲線に沿って、その文字列の一部をディスプレイ３２に表示させる。

表示処理部５３は、翻訳部５２から翻訳結果を示す文字列を受けると、その翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。
このとき、翻訳結果を示す文字列を構成する文字の文字幅を示す文字属性情報は、文字管理部３から受けるものとする。
例えば、翻訳結果を示す文字列が「Ｉ ｗｅｎｔ ｔｏ ｔｈｅ ｓｅａ ｉｎ ｓｕｍｍｅｒ ｖａｃａｔｉｏｎ」である場合、文字数がスペースを含めて３６であるため、翻訳結果を示す文字列を構成する文字の文字幅が“２ｍｍ”であるとすれば、翻訳結果を示す文字列の長さは、下記の式（５）に示すように、７２ｍｍとなる。
翻訳結果を示す文字列の長さ＝２ｍｍ×３６＝７２ｍｍ （５）
したがって、この場合には、翻訳文字列表示用の曲線の長さは、７２ｍｍ以上の長さとなる。
また、翻訳文字列表示用の曲線の形状は、ユーザの操作によって描かれた線の軌跡を表す曲線、即ち、曲線情報取得部９により取得された曲線情報が示す曲線の形状と同じ形状とする。曲線延長部１７によって曲線が延長されている場合には、曲線延長部１７により延長された曲線の形状と同じ形状とする。
例えば、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が円弧形状であれば、翻訳文字列表示用の曲線の形状も円弧形状であり、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が波線形状であれば、翻訳文字列表示用の曲線の形状も波線形状である。

なお、曲線延長部１７によって曲線が延長されていて、翻訳文字列表示用の曲線の長さが、曲線延長部１７により延長された曲線の長さより長い場合、あるいは、曲線延長部１７によって曲線が延長されていなくて、翻訳文字列表示用の曲線の長さが、曲線情報取得部９により取得された曲線情報が示す曲線の長さより長い場合には、その曲線情報が示す曲線を延長する場合と同様の方法で、翻訳文字列表示用の曲線の形状から、翻訳文字列表示用の曲線の延長部分の形状を決定して、翻訳文字列表示用の曲線を延長するものとする。

表示処理部５３は、翻訳文字列表示用の曲線を生成すると、翻訳文字列表示用の曲線に沿って、その翻訳結果を示す文字列をディスプレイ３２に表示するための表示情報を生成し、その表示情報にしたがって翻訳結果を示す文字列をディスプレイ３２に表示させる。
ここで、図１６は表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。
ステップＡでは、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像をディスプレイ３２に表示している。
ステップＢにおいて、ユーザの音声の認識処理が実施されると、ステップＣでは、その音声の認識結果を示す文字列を曲線画像の上に重ねて表示させている。ステップＡ〜ステップＣまでは、上記実施の形態１と同様である。ただし、ここでは、音声の認識結果を示す文字列が出力される前に曲線画像を含む曲線情報が出力された場合の例を示している。
ステップＤでは、ユーザの操作によって描かれた線の軌跡を表す曲線と同形状の翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ３２に表示させている。
図１６の例では、表示処理部５３が、翻訳文字列表示用の曲線を、ユーザの操作によって描かれた線の軌跡を表す曲線の下側に並べているが、ユーザの操作によって描かれた線の軌跡を表す曲線の上側に並べてもよいし、左側や右側に並べてもよい。
ステップＥでは、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像を消去している。

この実施の形態２では、表示処理部５３が、翻訳文字列表示用の曲線をディスプレイ３２に表示させるものを示したが、翻訳文字列表示用の曲線は透明であってもよい。

この実施の形態２では、音声の認識結果を示す文字列と、翻訳結果を示す文字列とを並べて表示させるものを示したが、図１７に示すように、ステップＣで音声の認識結果を示す文字列を表示させたのち、ステップＳＴＤで音声の認識結果を示す文字列を先頭から消去させながら、翻訳結果を示す文字列を先頭から曲線画像の上に重ねて表示させるようにしてもよい。
この場合、最終的に表示される文字列は、翻訳結果を示す文字列だけになる。

また、この実施の形態２では、図１８に示すように、表示処理部５３が、折り返し翻訳の結果を示す文字列を、音声の認識結果を示す文字列及び翻訳結果を示す文字列と並べて表示させるようにしてもよい。
この実施の形態２では、日本語から英語に翻訳している例を示しているため、この場合の折り返し翻訳は、翻訳した英語を日本語に翻訳し直すことを意味する。
図１８の例では、ステップＤにおいて、音声の認識結果を示す文字列である日本語の下に、翻訳結果を示す文字列である英語を表示させ、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させている。
また、図１９に示すように、ステップＤにおいて、曲線画像の上に重ねて表示させた音声の認識結果を示す文字列である日本語を消してから、翻訳結果を示す文字列である英語を曲線画像の上に重ねて表示させるとともに、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させるようにしてもよい。

以上で明らかなように、この実施の形態２によれば、文字列取得部１０により取得された文字列を翻訳する翻訳部５２を備え、表示処理部５３が、翻訳部５２の翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳部５２の翻訳結果を示す文字列をディスプレイ３２に表示するための表示情報を生成するように構成したので、上記実施の形態１と同様に、線を描く操作によって描かれた線の軌跡を表す曲線の長さが、翻訳部５２の翻訳結果を示す文字列より短い場合でも、その文字列の全部を曲線に沿って表示させることができる効果を奏する。

この実施の形態２では、音声の認識結果を示す文字列と、翻訳結果を示す文字列とを並べて表示させるものを示したが、図２０に示すように、ディスプレイ３２が二画面で構成されており、かつ、その二画面の上面が互い接している対面構成の場合、例えば、図中、対面二画面の下側の画面に、音声の認識結果が示す文字列を表示され、図中、対面二画面の上側の画面に、翻訳結果を示す文字列が表示されるようにしてもよい。
あるいは、対面二画面の下側の画面に、翻訳結果を示す文字列が表示され、対面二画面の上側の画面に、音声の認識結果を示す文字列が表示されるようにしてもよい。
ただし、対面二画面であるため、対面二画面の上側の画面では、文字が１８０度回転している。
また、対面二画面の場合でも、図２１に示すように、折り返し翻訳の結果を示す文字列を表示させるようにしてもよい。

実施の形態３．
上記実施の形態１では、文字列認識部５が、表示対象の文字列として、音声の認識結果を示す文字列を取得するものを示したが、表示対象の文字列として、操作受付部１により受け付けられた操作によって描かれた文字の認識結果を示す文字列を取得するものであってもよい。

図２２はこの発明の実施の形態３による入力表示制御装置を含む入力表示システム示す構成図であり、図２３はこの発明の実施の形態３による入力表示システムのハードウェア構成図である。
図２２及び図２３において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
文字列認識部６０は文字認識処理部６１を含んでおり、操作受付部１により受け付けられた操作によって描かれた文字の認識結果を示す文字列を表示対象の文字列として出力する処理を実施する。
文字認識処理部６１は、例えば光学文字認識処理であるＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）機能を実装している文字認識処理回路３５で実現されるものであり、操作受付部１により受け付けられた操作によって描かれた文字を認識し、その文字の認識結果を示す文字列を表示対象の文字列として出力する処理を実施する。

図２２では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部６０、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８及び文字列一時保存部１９のそれぞれが、図２３に示すような専用のハードウェア、即ち、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１、ディスプレイ３２及び文字認識処理回路３５で実現されるものを想定しているが、入力表示システムがソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
入力表示システムがソフトウェアやファームウェアなどで実現される場合、文字管理ＤＢ２及び文字列一時保存部１９を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡判別部４、文字認識処理部６１及び表示制御部１２の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、図３に示すプロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図２４は文字の認識結果を示す文字列の表示処理の一例を示す説明図である。

次に動作について説明する。
この実施の形態３では、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定しているので、ユーザが自己の指や、タッチパネル用の入力ペンなどを用いて、線を描く操作として、文字を描く操作をタッチパネルに行うと、操作受付部１が、文字を描く操作を受け付けて、その操作の内容を軌跡判別部４及び文字列認識部６０に出力する。
出力される文字を描く操作の内容は、例えば、タッチパネルに接触している指や入力ペンの位置の座標、即ち、タッチパネル上の位置座標の連続的な変化を示す時系列データである。

図２４の例では、ステップＡにおいて、ユーザが「私は和食が食べたいです」という文字列を手書きしている。
文字列認識部６０の文字認識処理部６１は、操作受付部１により受け付けられた操作によって描かれた複数の文字を認識して、複数の文字の認識結果を示す文字列を取得し、その文字列を軌跡判別部４及び入力表示制御装置１００に出力する。

軌跡判別部４は、操作受付部１から１つ以上の文字を描く操作の内容を受けて、文字認識処理部６１から文字列を受けると、１つ以上の文字を描く操作の内容を、文字毎に振り分ける処理を実施する。
具体的には、以下の通りである。
まず、軌跡判別部４は、文字を描く操作の内容である時系列データが示すタッチパネル上の各位置座標のうち、Ｘ座標が最も小さい座標Ｘ_ＬＥＦＴと、Ｘ座標が最も大きい座標Ｘ_{ＲＩＧＨＴ}とを特定して、その座標Ｘ_{ＲＩＧＨＴ}から座標Ｘ_ＬＥＦＴを減算することで、文字列のＸ方向の長さを算出する。
そして、軌跡判別部４は、文字列のＸ方向の長さを文字数で除算することで、１文字当りＸ方向の長さを算出し、また、１文字当りＸ方向の長さと座標Ｘ_ＬＥＦＴから、各々の文字が存在しているＸ方向の座標範囲を算出する。例えば、文字列の左端からｎ番目の文字が存在しているＸ方向の座標範囲は、（１文字当りＸ方向の長さ×（ｎ−１）＋Ｘ_ＬＥＦＴ）〜（１文字当りＸ方向の長さ×ｎ＋Ｘ_ＬＥＦＴ）のように算出する。
そして、軌跡判別部４は、時系列データが示す各位置座標のそれぞれが含まれる上記Ｘ方向の座標範囲をみつけて、時系列データが示す各位置座標のそれぞれを対応するＸ方向の座標範囲に振り分けることで、１つ以上の文字を描く操作の内容を、文字毎に振り分けるようにする。

次に、軌跡判別部４は、Ｘ方向の座標範囲単位に、当該座標範囲に対応する文字の中心座標として、当該座標範囲に含まれている時系列データが示す各位置座標のＸ座標の平均値とＹ座標の平均値とを算出する。
軌跡判別部４は、文字列を構成している各文字の中心座標を算出すると、図２４のステップＢに示すように、各文字の中心座標を繋ぎ合わせることで１本の線を生成し、その１本の線を文字列の軌跡を表す曲線として、その曲線を示す曲線情報を入力表示制御装置１００に出力する。

ここでは、文字列を構成している各文字の大きさが均等であるとして、文字列のＸ方向の長さを文字数で除算することで、１文字当りＸ方向の長さを算出している。手書き文字の場合、各文字の大きさが均等であるとは限らないため、Ｘ方向の座標範囲単位が、文字列を構成している各文字と一致しない場合がある。
しかし、この実施の形態３では、各文字の中心座標が厳密に分からなくても、文字列が存在している領域をＸ方向に分割した各領域の中心座標が分かれば、文字列の並び方向を示す曲線を求めることができる。したがって、各文字の大きさが均等でない場合でも、上記の方法で、曲線を求めることができる。
また、ここでは、軌跡判別部４が、文字列の並び方向を示す曲線を求める際、Ｘ方向の座標範囲単位に、時系列データが示す各位置座標を振り分けるようにしているが、例えば、手書き文字が縦書きであるような場合には、Ｙ方向の座標範囲単位に、時系列データが示す各位置座標を振り分けるようにしてもよい。
ここで説明している各位置座標を振り分ける方法は一例に過ぎず、他の方法を用いてもよいことは言うまでもない。

この実施の形態３では、文字を描く操作内容から曲線を求めているが、ユーザが、文字を描く操作とは別に、上記実施の形態１で示している線を描く操作を行うことで、操作受付部１により文字を描く操作及び線を描く操作が受け付けられた場合、軌跡判別部４は、上記実施の形態１と同様に、操作受付部１により受け付けられた線を描く操作の内容から、描かれた線の軌跡を表す曲線を判別するようにしてもよい。

表示制御部１２の表示処理部１８は、文字列取得部１０が文字列認識部６０の文字認識処理部６１から出力された文字列を取得すると、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、その文字列をディスプレイ３２に表示するための表示情報を生成し、その表示情報にしたがって、その文字列をディスプレイ３２に表示させる。
図２４のステップＣでは、手書き文字に並べるように軌跡を表す曲線を描いて、文字列を表示させているが、これに限るものではなく、例えば、手書き文字を消去させてから、手書き文字の位置に曲線を描いて、文字列を表示させるようにしてもよい。
また、軌跡を表す曲線は、透明であってもよい。

この実施の形態３では、文字を描く操作内容から曲線を求めることができるが、認識された文字列は、上記実施の形態１と同様に、予め決定された属性の文字で表示されることになるため、表示処理部１８は、求めた曲線の長さが、文字列の長さより短い場合、上記実施の形態１と同様に、文字列を構成している文字の一部を曲線に沿って表示させることができない。
この場合は、上記実施の形態１と同様に、曲線を延長することで、表示されていない文字の一部を表示させるようにする。
即ち、長さ比較部１３が曲線の長さと文字列の長さを比較し、延長曲線形状決定部１４が延長曲線の形状を決定し、曲線延長部１７が曲線情報取得部９により取得された曲線情報が示す曲線に延長曲線を付加することで、曲線を延長する。そして、表示処理部１８が、延長曲線に沿って、表示されていない文字の一部を表示させる。

以上で明らかなように、この実施の形態３によれば、文字列認識部６０が、操作受付部１により受け付けられた操作によって描かれた文字を認識し、その文字の認識結果を示す文字列を表示対象の文字列として取得する文字認識処理部６１を備えるように構成したので、手書き文字を表示する場合でも、上記実施の形態１と同様の効果を奏する。

実施の形態４．
上記実施の形態３では、文字認識処理部６１を備えた文字列認識部６０を上記実施の形態１における図１の入力表示制御装置に適用する例を示したが、文字認識処理部６１を備えた文字列認識部６０を上記実施の形態２における図１４の入力表示制御装置に適用するようにしてもよい。
図２５はこの発明の実施の形態４による入力表示制御装置を含む入力表示システムを示す構成図である。
図２６は翻訳結果を示す文字列の表示処理の一例を示す説明図である。

上記実施の形態３では、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、複数の文字の認識結果を示す文字列をディスプレイ３２に表示させているが、この実施の形態４では、表示制御部５１の表示処理部５３が、図２６のステップＣに示すように、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、翻訳部５２から出力された翻訳結果を示す文字列もディスプレイ３２に表示させている点で相違している。

この実施の形態４によれば、上記実施の形態２と同様に、曲線情報取得部９により取得された曲線情報が示す曲線の長さが、翻訳部５２の翻訳結果を示す文字列より短い場合でも、その文字列の全部を曲線に沿って表示させることができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る入力表示制御装置、入力表示制御方法及び入力表示システムは、文字列を表示させる用途に適している。

１ 操作受付部、２ 文字管理ＤＢ、３ 文字管理部、４ 軌跡判別部、５ 文字列認識部、６ 音声検出部、７ 音声認識辞書ＤＢ、８ 音声認識部、９ 曲線情報取得部、１０ 文字列取得部、１１ 文字属性情報取得部、１２ 表示制御部、１３ 長さ比較部、１４ 延長曲線形状決定部、１５ 曲線記憶部、１６ 形状決定処理部、１７ 曲線延長部、１８ 表示処理部、１９ 文字列一時保存部、２１ ポインティングデバイス、２２ 記憶処理回路、２３ 文字管理処理回路、２４ 画像生成処理回路、２５ マイク、２６ 音声認識処理回路、２７ 入力インタフェース回路、２８ 長さ比較処理回路、２９ 形状決定処理回路、３０ 曲線延長処理回路、３１ 表示処理回路、３２ ディスプレイ、３４ 翻訳処理回路、３５ 文字認識処理回路、４１ メモリ、４２ プロセッサ、５１ 表示制御部、５２ 翻訳部、５３ 表示処理部、６０ 文字列認識部、６１ 文字認識処理部、１００ 入力表示制御装置。

Claims (16)

1. 曲線を示す曲線情報を取得する曲線情報取得部と、
   文字列を取得する文字列取得部と、
   前記文字列取得部により取得された文字列を翻訳する翻訳部と、
   前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部と、を備え、
   前記表示制御部は、前記第１の曲線に対応する第２の曲線に沿って、前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する表示制御装置。
2. 前記第２の曲線の形状は、前記第１の曲線の形状と同じ形状であることを特徴とする請求項１に記載の表示制御装置。
3. 前記第２の曲線の長さは、前記第１の曲線の長さと異なることを特徴とする請求項１に記載の表示制御装置。
4. 前記第２の曲線は、前記翻訳結果を示す文字列が表示された後、消去されることを特徴とする請求項１に記載の表示制御装置。
5. 前記翻訳結果を示す文字列は、前記文字列取得部により取得された文字列の下側に表示されることを特徴とする請求項１に記載の表示制御装置。
6. 前記第２の曲線は、透明であることを特徴とする請求項１に記載の表示制御装置。
7. 前記表示制御部は、前記翻訳結果を示す文字列の折り返し翻訳を示す文字列を表示するための表示情報を生成することを特徴とする請求項１に記載の表示制御装置。
8. 曲線を示す曲線情報を取得する曲線情報取得部と、
   文字列を取得する文字列取得部と、
   前記文字列取得部により取得された文字列を翻訳する翻訳部と、
   前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部と、を備え、
   前記表示制御部は、前記文字列を消去し、消去した文字列に対応する位置に前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する表示制御装置。
9. 前記表示制御部は、前記文字列取得部により取得された文字列を先頭から消去させながら前記翻訳結果を示す文字列を表示するための表示情報を生成する請求項８に記載の表示制御装置。
10. 前記表示制御部は、前記翻訳結果を示す文字列の折り返し翻訳を示す文字列を表示するための表示情報を生成することを特徴とする請求項９に記載の表示制御装置。
11. 線を描く操作を受け付ける操作受付部と、
    前記操作受付部による受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
    表示対象の文字列を認識する文字列認識部と、
    前記軌跡判別部により判別された軌跡を表す曲線を示す曲線情報を取得する曲線情報取得部と、
    前記文字列認識部により認識された文字列を取得する文字列取得部と、
    前記文字列取得部により取得された文字列を翻訳する翻訳部と、
    前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部と、を備え、
    前記表示制御部は、前記第１の曲線に対応する第２の曲線に沿って、前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する入力表示システム。
12. 線を描く操作を受け付ける操作受付部と、
    前記操作受付部による受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
    表示対象の文字列を認識する文字列認識部と、
    前記軌跡判別部により判別された軌跡を表す曲線を示す曲線情報を取得する曲線情報取得部と、
    前記文字列認識部により認識された文字列を取得する文字列取得部と、
    前記文字列取得部により取得された文字列を翻訳する翻訳部と、
    前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部と、を備え、
    前記表示制御部は、前記文字列を消去し、消去した文字列に対応する位置に前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する入力表示システム。
13. 曲線情報取得部が、曲線を示す曲線情報を取得し、
    文字列取得部が、文字列を取得し、
    翻訳部が、前記文字列取得部により取得された文字列を翻訳し、
    表示制御部が、前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成し、
    前記表示制御部が、前記第１の曲線に対応する第２の曲線に沿って、前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する表示制御方法。
14. 曲線情報取得部が、曲線を示す曲線情報を取得し、
    文字列取得部が、文字列を取得し、
    翻訳部が、前記文字列取得部により取得された文字列を翻訳し、
    表示制御部が、前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成し、
    前記表示制御部が、前記文字列を消去し、消去した文字列に対応する位置に前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する表示制御方法。
15. コンピュータに、
    曲線を示す曲線情報を取得する曲線情報取得部と、
    文字列を取得する文字列取得部と、
    前記文字列取得部により取得された文字列を翻訳する翻訳部と、
    前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成するとともに、前記第１の曲線に対応する第２の曲線に沿って、前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する表示制御部とを実現させるプログラム。
16. コンピュータに、
    曲線を示す曲線情報を取得する曲線情報取得部と、
    文字列を取得する文字列取得部と、
    前記文字列取得部により取得された文字列を翻訳する翻訳部と、
    前記曲線情報取得部により取得された曲線情報が示す第１の曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成するとともに、前記文字列を消去し、消去した文字列に対応する位置に前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成する表示制御部とを実現させるプログラム。

Images