JP6641530B1 - 入力表示制御装置、入力表示制御方法及び入力表示システム - Google Patents

Abstract

曲線を示す曲線情報を取得する曲線情報取得部（９）と、文字列を取得する文字列取得部（１０）と、曲線情報取得部（９）により取得された曲線情報が示す曲線に沿って、文字列取得部（１０）により取得された文字列を表示するための表示情報を生成する表示制御部（１２）とを備え、表示制御部（１２）が、文字列取得部（１０）により取得された文字列の長さが長いために、文字列取得部（１０）により取得された文字列の一部がディスプレイ（３２）の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置（１００）を構成した。

Description

この発明は、文字列を表示するための表示情報を生成する入力表示制御装置、入力表示制御方法及び入力表示システムに関するものである。

以下の特許文献１には、曲線などの線に沿って、文字列を表示するための表示情報を生成する入力表示制御装置が開示されている。

国際公開第２０１７／１３８０７６号

特許文献１に開示されている入力表示制御装置は、文字列を表示するための表示情報をディスプレイの表示領域に生成するようにしている。しかしながら、ディスプレイの表示領域にはサイズの制約があるので、文字列の全体を生成しきれないことがあるという課題があった。

この発明は上記のような課題を解決するためになされたもので、文字列の全体を生成しきれない事態を回避することができる入力表示制御装置、入力表示制御方法及び入力表示システムを得ることを目的とする。

この発明に係る入力表示制御装置は、曲線を示す曲線情報を取得する曲線情報取得部と、文字列を取得する文字列取得部と、曲線情報取得部により取得された曲線情報が示す曲線に沿って、文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、表示制御部が、文字列取得部により取得された文字列の長さに比べ、曲線情報取得部により取得された曲線情報が示す曲線の長さが短いと判断した場合、曲線情報取得部により取得された曲線情報が示す曲線に基づいて当該曲線の延長部分の形状を決定して当該曲線を延長し、当該曲線がディスプレイの表示領域の端に達した場合、当該曲線の長さと文字列取得部により取得された文字列の長さを比較し、当該曲線の長さに比べ、文字列取得部により取得された文字列の長さが長いために、文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまうと判断した場合、さらに表示領域の周囲の領域である仮想領域まで当該曲線を延長し、当該曲線に沿って文字列の一部を仮想領域に配置して表示情報を生成するようにしたものである。

この発明によれば、表示制御部が、文字列取得部により取得された文字列の長さが長いために、文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置を構成した。したがって、この発明に係る入力表示制御装置は、文字列の全体を生成しきれない事態を回避することができる。

実施の形態１に係る入力表示制御装置を含む入力表示システム示す構成図である。 実施の形態１に係る入力表示システムのハードウェア構成図である。 入力表示システムがソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その１）。 実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その２）。 文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。 音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。 曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。 図９Ａは、曲線の長さが文字列の長さよりも長ければ、文字列に含まれている全ての文字を曲線画像の上に重ねて表示できることを示す説明図、図９Ｂは、曲線の長さが文字列の長さよりも短ければ、文字列に含まれている一部の文字を曲線画像の上に重ねて表示できないことを示す説明図である。 図１０Ａは、曲線の形状が直線である場合に、曲線の長さＬの算出に用いる曲線の先端及び終端の位置座標を示す説明図、図１０Ｂは、曲線の形状が曲がっている場合に、曲線の長さＬの算出に用いる曲線の先端、終端及び中間点の位置座標を示す説明図である。 表示制御部１２の延長曲線形状決定部１４の処理内容を示す説明図である。 延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図である。 延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図である。 延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図である。 延長曲線の形状が円弧形状である例を示す説明図である。 表示制御部１２の曲線延長部１７の処理内容を示す説明図である。 表示処理部１８が文字列の一部をディスプレイ３２に表示させることができない例を示す説明図である。 ディスプレイ３２の表示領域と、表示領域の周囲の領域である仮想領域とを示す説明図である。 表示処理部１８が、文字列の一部を仮想領域に配置した後の処理を示すフローチャートである。 文字列選択部１８ａにより選択が受け付けられた文字列を示す説明図である。 図１８Ａは、曲線画像の上に重ねて表示させている文字列の移動を示す説明図、図１８Ｂは、曲線画像が文字列の下線として表記されている例を示す説明図である。 文字列取得部１０により取得された文字列の破棄を示す説明図である。 ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。 実施の形態２に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。 表示制御部１２が、一部が仮想領域に配置されている文字列の全体をディスプレイ３２の表示領域に移動させて、当該文字列の全体を表示領域に表示させている例を示す説明図である。 実施の形態３に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 表示制御部１２が、一部が仮想領域に配置されている文字列の全体を移動させたのち、文字列を改行することで、文字列の全体を表示領域に表示させている例を示す説明図である。 表示制御部１２が、文字列に含まれている文字の文字サイズを小さくして、文字列の全体を表示領域に表示させている例を示す説明図である。 実施の形態４に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 表示制御部１２が、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている文字の文字サイズを大きくしている例を示す説明図である。 実施の形態５に係る入力表示制御装置を含む入力表示システム示す構成図である。 「文字列」と「簡易の文字列」との対応関係を示すテーブルを示す説明図である。 実施の形態５に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 表示制御部１２が、置換処理後の文字列を表示させている例を示す説明図である。 表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。 実施の形態６に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 ユーザが複数の線を描く操作を行ってから、ユーザが発話を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。 ユーザが発話を行ってから、ユーザが複数の線を描く操作を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。 実施の形態８に係る入力表示制御装置を含む入力表示システム示す構成図である。 実施の形態８に係る入力表示システムのハードウェア構成図である。 表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。 表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。 翻訳結果を示す文字列を表示する例を示す説明図である。 翻訳結果を示す文字列を表示する例を示す説明図である。 ディスプレイ３２が対面二画面で構成されている場合の表示処理部５３における表示処理の一例を示す説明図である。 翻訳結果を示す文字列を表示する例を示す説明図である。 実施の形態９に係る入力表示制御装置を含む入力表示システム示す構成図である。 実施の形態９に係る入力表示システムのハードウェア構成図である。 文字の認識結果を示す文字列の表示処理の一例を示す説明図である。 実施の形態１０に係る入力表示制御装置を含む入力表示システム示す構成図である。 翻訳結果を示す文字列の表示処理の一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る入力表示制御装置を含む入力表示システム示す構成図であり、図２は、実施の形態１に係る入力表示システムのハードウェア構成図である。
図１及び図２において、入力表示制御装置１００は、ポインティングデバイス２１として、タッチパネルを用いるものを想定している。しかし、これは一例に過ぎず、入力表示制御装置１００は、ジョイスティック、ポインティング・スティック、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。
操作受付部１は、例えば、図２に示すポインティングデバイス２１によって実現される。操作受付部１は、ユーザの操作として、線を描く操作を受け付け、受け付けた操作の内容を軌跡判別部４に出力する。

文字管理ＤＢ（ＤａｔａＢａｓｅ）２は、例えば、図２に示す記憶処理回路２２によって実現される。文字管理ＤＢ２は、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。
文字管理部３は、例えば、図２に示す文字管理処理回路２３によって実現される。文字管理部３は、事前にディスプレイ３２に表示する文字のサイズが設定されている。文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、文字サイズに対応する文字高を示す文字属性情報を軌跡判別部４に出力し、文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置１００に出力する。

軌跡判別部４は、例えば、図２に示す画像生成処理回路２４によって実現される。軌跡判別部４は、操作受付部１により受け付けられた操作によって描かれた線の軌跡を判別する。軌跡判別部４は、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を入力表示制御装置１００に出力する。曲線には、直線又は折れ曲がった線など、あらゆる形状の線が含まれるものとする。
また、軌跡判別部４は、軌跡を表す曲線の画像である曲線画像を生成し、曲線画像を入力表示制御装置１００に出力する。曲線画像は、曲線情報に含められており、軌跡判別部４は、曲線画像を含む曲線情報を入力表示制御装置１００に出力している。
曲線画像の線幅は、文字管理部３から出力された文字属性情報が示す文字高に対応している。

文字列認識部５は、音声検出部６、音声認識辞書ＤＢ７及び音声認識部８を備えている。文字列認識部５は、音声の認識結果を示す文字列を表示対象の文字列として入力表示制御装置１００に出力する。
音声検出部６は、例えば、図２に示すマイク２５によって実現される。音声検出部６は、ユーザの音声を検出し、検出した音声を音声認識部８に出力する。
音声認識辞書ＤＢ７は、例えば、図２に示す記憶処理回路２２によって実現される。音声認識辞書ＤＢ７は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とを備えている。

音声認識部８は、例えば、図２に示す音声認識処理回路２６によって実現される。音声認識部８は、音声検出部６により検出された音声を認識する音声認識エンジンを搭載している。
音声認識部８は、音声検出部６により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。音声認識部８は、探索した言葉を示す文字列を音声の認識結果を示す文字列として入力表示制御装置１００に出力する。

図１に示す文字列認識部５は、音声認識辞書ＤＢ７及び音声認識部８を実装している。しかし、これは一例に過ぎず、音声認識辞書ＤＢ７及び音声認識部８の代わりに、データ送受信部が実装されている文字列認識部５であってもよい。
データ送受信部は、インターネット又はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器である。データ送受信部は、音声検出部６により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、受信したデータが示す音声を認識して、音声の認識結果を示す文字列を当該データ送受信部に送信する。
データ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、文字列を入力表示制御装置１００に出力する。

入力表示制御装置１００は、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１及び表示制御部１２を備えている。
曲線情報取得部９は、例えば、図２に示す入力インタフェース回路２７によって実現される。入力インタフェース回路２７は、例えば、ＬＡＮポート又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを有している。
曲線情報取得部９は、軌跡判別部４から出力された曲線情報を取得し、取得した曲線情報を長さ比較部１３、形状決定処理部１６、曲線延長部１７及び表示処理部１８のそれぞれに出力する。

文字列取得部１０は、例えば、図２に示す入力インタフェース回路２７によって実現される。文字列取得部１０は、音声認識部８から出力された文字列を取得し、取得した文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
文字属性情報取得部１１は、例えば、図２に示す入力インタフェース回路２７によって実現される。文字属性情報取得部１１は、文字管理部３から出力された文字属性情報を取得し、取得した文字属性情報を長さ比較部１３に出力する。

表示制御部１２は、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７及び表示処理部１８を備えている。
表示制御部１２は、軌跡判別部４により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列をディスプレイ３２に表示するための表示情報を生成し、生成した表示情報に従って、文字列を曲線に沿ってディスプレイ３２に表示させる。表示制御部１２により生成される表示情報は、文字列取得部１０により取得された文字列を曲線情報取得部９により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示制御部１２は、表示情報に従って文字列を曲線画像の上に重ねてディスプレイ３２に表示させる。

表示制御部１２は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列取得部１０により取得された文字列の一部を曲線に沿って表示することができないと判断した場合、曲線の形状から、曲線の延長部分の形状を決定して、曲線を延長する。表示制御部１２は、延長部分の曲線に沿って、文字列の一部を表示するための表示情報を生成し、生成した表示情報に従って、文字列の一部を曲線の延長部分に沿ってディスプレイ３２に表示させる。
また、表示制御部１２は、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうと判断した場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置する。
例えば、ユーザが、ディスプレイ３２の表示領域の右端方向にディスプレイ３２をなぞったとき、曲線情報が示す曲線の右端が、ディスプレイ３２の表示領域の右端よりも、左端側であれば、表示制御部１２が、曲線を表示領域の右端方向に延長することができる。
しかし、曲線を表示領域の右端まで延長しても、曲線の長さが文字列の全体の長さよりも短い場合、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうことがある。この場合、曲線情報が示す曲線の右端をさらに仮想領域まで延長し、延長した曲線に沿って文字列を配置する。
さらに、表示制御部１２は、文字列を曲線画像の上に重ねて表示した後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従って曲線画像を消去させる。

長さ比較部１３は、例えば、図２に示す長さ比較処理回路２８によって実現される。長さ比較部１３は、曲線情報取得部９により取得された曲線情報が示す曲線の長さと、文字列取得部１０により取得された文字列の長さとを比較し、曲線の長さと文字列の長さとの比較結果を形状決定処理部１６及び曲線延長部１７のそれぞれに出力する。

延長曲線形状決定部１４は、例えば、図２に示す形状決定処理回路２９によって実現されるものであり、曲線記憶部１５及び形状決定処理部１６を備えている。延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する。

曲線記憶部１５は、事前に形状が異なる複数の曲線を記憶している。
形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状と、曲線情報取得部９により取得された曲線情報が示す曲線の形状とを照合して、曲線記憶部１５に記憶されている複数の曲線の形状の中から、曲線情報取得部９により取得された曲線情報が示す曲線に対応する曲線の形状を選択する。形状決定処理部１６は、選択した曲線の形状から延長曲線の形状を決定し、形状を決定した延長曲線を曲線延長部１７に出力する。

曲線延長部１７は、例えば、図２に示す曲線延長処理回路３０によって実現される。曲線延長部１７は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、延長曲線形状決定部１４により形状が決定された延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加する。

表示処理部１８は、例えば、図２に示す表示処理回路３１によって実現される。表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを含んでいる。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列をディスプレイ３２に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイ３２に文字列を表示させる。表示処理部１８により生成される表示情報は、文字列取得部１０により取得された文字列を曲線情報取得部９により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示処理部１８は、表示情報に従って文字列を曲線画像の上に重ねてディスプレイ３２に表示させる。

また、表示処理部１８は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、曲線延長部１７により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字列の一部をディスプレイ３２に表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従ってディスプレイ３２に文字列の一部を表示させる。
さらに、表示処理部１８は、ディスプレイ３２に文字列を表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従ってディスプレイ３２に曲線画像を消去させる。

文字列選択部１８ａは、例えば、図２に示すポインティングデバイス２１によって実現される。文字列選択部１８ａは、一部が仮想領域に配置されている文字列の選択を受け付ける。文字列選択部１８ａは、例えば、一部が仮想領域に配置されている文字列に含まれている文字のうち、ディスプレイ３２の表示領域に表示されている文字に対するユーザの接触時間が閾値よりも長ければ、当該文字列の選択を受け付ける。閾値は、文字列選択部１８ａの内部メモリに格納されているものであってもよいし、外部から与えられるものであってもよい。

縁付加部１８ｂは、例えば、図２に示す画像生成処理回路２４によって実現される。縁付加部１８ｂは、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字の輪郭に、文字と異なる色の縁を付加する。
文字列移動部１８ｃは、例えば、図２に示すポインティングデバイス２１によって実現される。文字列移動部１８ｃは、文字列選択部１８ａにより選択が受け付けられた文字列の移動を受け付ける。

表示処理部１８は、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体をディスプレイ３２の表示領域に配置するための移動が受け付けられると、文字列の全体をディスプレイ３２の表示領域に表示するための表示情報を生成する。
また、表示処理部１８は、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体をディスプレイ３２の表示領域の外側に出すための移動が受け付けられると、文字列取得部１０により取得された文字列を破棄する。

文字列一時保存部１９は、例えば、図２に示す記憶処理回路２２によって実現される。文字列一時保存部１９は、文字列取得部１０により取得された文字列を一時的に保存する。

図１では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部５、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８及び文字列一時保存部１９のそれぞれが、図２に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１及びディスプレイ３２によって実現されるものを想定している。

ここで、記憶処理回路２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、文字管理処理回路２３、画像生成処理回路２４、音声認識処理回路２６、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０及び表示処理回路３１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

また、入力表示システムの構成要素が専用のハードウェアで実現されるものに限るものではなく、入力表示システムがソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。
図３は、入力表示システムがソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。

入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１９をコンピュータのメモリ４１上に構成する。また、文字管理部３、軌跡判別部４、音声認識部８、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７及び表示処理部１８の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納する。そして、プロセッサ４２が、メモリ４１に格納されているプログラムを実行するようにすればよい。
図４は、実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その１）。図５は、実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その２）。

また、図２では、入力表示システムの構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、入力表示システムがソフトウェア又はファームウェアなどで実現される例を示している。しかし、これは一例に過ぎず、入力表示システムにおける一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェア又はファームウェアなどで実現されるものであってもよい。
例えば、操作受付部１及び文字列認識部５を専用のハードウェアで実現し、文字管理ＤＢ２、文字管理部３、軌跡判別部４、入力表示制御装置１００及び文字列一時保存部１９をソフトウェア又はファームウェアなどで実現することが可能である。ただし、専用のハードウェアとソフトウェア等の組み合わせは任意である。

次に、図１に示す入力表示システムの動作について説明する。
図６は、文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。
図６の文字属性表では、例えば、文字種毎に、文字サイズに対応している文字高と文字幅が記述されている。文字種としては、明朝体、ゴシック体などが考えられる。
文字管理部３には、ディスプレイ３２に表示する文字の文字種及び文字サイズが事前に設定されており、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、文字種及び文字サイズに対応する文字高を示す文字属性情報を軌跡判別部４に出力する。また、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、文字種及び文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置１００の文字属性情報取得部１１に出力する（図４のステップＳＴ１）。

例えば、事前に設定されている文字の文字種が“Ａ”で、文字サイズが“１０”であれば、文字高が“５ｍｍ”であることを示す文字属性情報が、文字管理部３から軌跡判別部４に出力される。また、文字高が“５ｍｍ”、文字幅が“５ｍｍ”であることを示す文字属性情報が、文字管理部３から入力表示制御装置１００に出力される。
また、事前に設定されている文字の文字種が“Ｂ”で、文字サイズが“５”であれば、文字高が“２ｍｍ”であることを示す文字属性情報が、文字管理部３から軌跡判別部４に出力される。また、文字高が“２ｍｍ”、文字幅が“１．２５ｍｍ”であることを示す文字属性情報が、文字管理部３から入力表示制御装置１００に出力される。

軌跡判別部４は、文字管理部３から文字属性情報を受けると、生成する曲線画像の線幅を、文字属性情報が示す文字高に対応する線幅に設定する（図４のステップＳＴ２）。
例えば、文字属性情報が示す文字高が“１０ｍｍ”であるとき、仮に文字の上部及び下部の余白が“０．５ｍｍ”に設定されているとすれば、軌跡判別部４は、１０＋０．５＋０．５＝１１＝（ｍｍ）と計算して、曲線画像の線幅を“１１ｍｍ”に設定する。
ここでは、軌跡判別部４が、文字の上部及び下部に余白を設けているが、余白を設けずに、文字属性情報が示す文字高と曲線画像の線幅とが一致するものであってもよい。

図１に示す入力表示制御装置では、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定している。したがって、ユーザが自己の指、又は、タッチパネル用の入力ペンなどを用いて、線を描く操作をタッチパネルに行うと（図４のステップＳＴ３：ＹＥＳの場合）、操作受付部１が、線を描く操作を受け付ける（図４のステップＳＴ４）。操作受付部１は、受け付けた操作の内容を軌跡判別部４に出力する。
出力される線を描く操作の内容は、例えば、タッチパネルに接触している指の位置の座標又は入力ペンの位置の座標の連続的な変化を示す時系列データである。なお、位置の座標は、タッチパネル上の位置座標である。

軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると、操作内容から操作によって描かれた線の軌跡を判別する（図４のステップＳＴ５）。
線を描く操作の内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、描かれた線の軌跡を判別することができる。
軌跡判別部４は、描かれた線の軌跡を判別すると、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を生成する（図４のステップＳＴ６）。
曲線画像の線幅は、図４のステップＳＴ２で設定した線幅であり、上記の例では、曲線画像の線幅を“１１ｍｍ”に設定しているので、軌跡判別部４は、線幅が“１１ｍｍ”の曲線画像を生成する（図４のステップＳＴ６）。
軌跡判別部４は、曲線画像を含む曲線情報を入力表示制御装置１００の曲線情報取得部９に出力する。

文字列認識部５の音声認識部８は、音声検出部６がユーザの音声を検出すると（図４のステップＳＴ７：ＹＥＳの場合）、音声認識辞書ＤＢ７を利用して、音声の認識処理を実施することで、音声の認識結果を示す文字列を生成する（図４のステップＳＴ８）。音声認識部８は、生成した文字列を入力表示制御装置１００の文字列取得部１０に出力する。
音声認識部８による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、以下に示すような音声認識方法が考えられる。
［音声認識方法］
音声検出部６により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。そして、探索した言葉を示す文字列を音声の認識結果を示す文字列として出力する方法。
図１に示す入力表示制御装置では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部８が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。

入力表示制御装置１００は、軌跡判別部４から曲線画像を含む曲線情報が出力されると、曲線画像をディスプレイ３２に表示させるとともに、文字列認識部５から出力された文字列を曲線画像の上に重ねて表示させる。
以下、入力表示制御装置１００の処理内容を具体的に説明する。

図７は、音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。
図８は、曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。
図９は、曲線画像の上に重ねて表示する文字列を示す説明図である。図９Ａは、曲線の長さが文字列の長さよりも長ければ、文字列に含まれている全ての文字を曲線画像の上に重ねて表示できることを示している。図９Ｂは、曲線の長さが文字列の長さよりも短ければ、文字列に含まれている一部の文字を曲線画像の上に重ねて表示できないことを示している。
図１０は、表示制御部１２の長さ比較部１３の処理内容を示す説明図である。図１０Ａは、曲線の形状が直線である場合に、曲線の長さＬの算出に用いる曲線の先端及び終端の位置座標を示している。図１０Ｂは、曲線の形状が曲がっている場合に、曲線の長さＬの算出に用いる曲線の先端、終端及び中間点の位置座標を示している。
図１１は、表示制御部１２の延長曲線形状決定部１４の処理内容を示す説明図である。
図１２Ａは、延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図であり、図１２Ｂは、延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図である。
図１２Ｃは、延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図であり、図１２Ｄは、延長曲線の形状が円弧形状である例を示す説明図である。
図１３は、表示制御部１２の曲線延長部１７の処理内容を示す説明図である。

表示制御部１２の表示処理部１８は、文字列認識部５の音声認識部８から文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力されることで、曲線情報取得部９が曲線情報を取得すると（図５のステップＳＴ１１：ＹＥＳの場合）、曲線画像を表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、図７のステップＡに示すように、曲線画像をディスプレイ３２に表示させる（図５のステップＳＴ１２）。
実施の形態１では、説明の便宜上、ユーザの操作によって描かれている線の長さが短いために、曲線の長さが、音声の認識結果を示す文字列の長さよりも短くなっているものとする。
なお、表示処理部１８が曲線画像を表示させる際、曲線画像の全体を同時に表示させるようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションで、曲線画像を表示させるようにしてもよい。

表示処理部１８は、例えば、図７のステップＢに示すように、ユーザが「春になったら桜を見に行きましょう」という発話を行うことで、音声認識部８から「春になったら桜を見に行きましょう」を示す文字列を受けると（図５のステップＳＴ１３：ＹＥＳの場合）、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、図７のステップＣに示すように、文字列を曲線画像の上に重ねて表示させる（図５のステップＳＴ１４）。
ただし、図７の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。

文字列取得部１０は、音声認識部８から出力された「春になったら桜を見に行きましょう」を示す文字列を取得し、取得した文字列を長さ比較部１３に出力する。
文字属性情報取得部１１は、文字管理部３から出力された文字属性情報を取得し、文字属性情報を長さ比較部１３に出力する。
長さ比較部１３は、文字列取得部１０から出力された「春になったら桜を見に行きましょう」を示す文字列を受けると、文字属性情報取得部１１から出力された文字属性情報が示す文字幅を参照して、当該文字列の長さを算出する（図５のステップＳＴ１５）。
ここでは、音声認識部８から出力された文字列が「春になったら桜を見に行きましょう」であり、文字列の文字数が１６である。したがって、文字管理部３から出力された文字属性情報が示す文字幅が、例えば、“５ｍｍ”であれば、文字列の長さは、下記の式（１）に示すように、８０ｍｍとなる。
文字列の長さ＝５ｍｍ×１６＝８０ｍｍ （１）

次に、長さ比較部１３は、曲線情報取得部９により取得された曲線情報が示す曲線の長さを算出する（図５のステップＳＴ１６）。
曲線の長さＬは、曲線の形状が例えば図１０Ａに示すような直線であれば、下記の式（２）に示すように、曲線の先端の位置座標（Ｘｓ，Ｙｓ）と終端の位置座標（Ｘｅ，Ｙｅ）とから算出することができる。図７のステップＡに表示している曲線画像の場合、曲線の左端が曲線の先端、曲線の右端が曲線の終端である。これらの位置座標は、文字幅等を表す単位と同じ単位であるものとする。ここでは、ｍｍが単位である。

式（２）では、曲線の形状が直線である場合の曲線の長さＬの算出式を示している。しかし、これは一例に過ぎず、例えば、曲線の形状が図１０Ｂに示すような曲線であれば、曲線の先端の位置座標（Ｘｓ，Ｙｓ）及び終端の位置座標（Ｘｅ，Ｙｅ）と、曲線の先端から終端に至る複数の中間点の位置座標（Ｘｎ，Ｙｎ）（ｎ＝１，・・・，Ｎ：Ｎは１以上の整数）とを用いて、曲線の形状を直線で近似することで、曲線の長さＬを算出することができる。
曲線の長さＬは、例えば、Ｎ＝２の場合、下記の式（３）に示すように、曲線の先端の位置座標（Ｘｓ，Ｙｓ）と、中間点の位置座標（Ｘ１，Ｙ１）と、中間点の位置座標（Ｘ２，Ｙ２）と、終端の位置座標（Ｘｅ，Ｙｅ）とから算出することができる。

式（３）において、Ｘｓ＜Ｘ１＜Ｘ２＜Ｘｅであり、Ｙｓ＜Ｙ１＜Ｙ２＜Ｙｅである。
図１０Ｂでは、Ｎ＝２の例を示しているが、近似精度を高めるために、Ｎを３以上にして、数多くの中間点の位置座標（Ｘｎ，Ｙｎ）を用いるようにしてもよいことは言うまでもない。

長さ比較部１３は、曲線の長さを算出すると、曲線の長さと文字列の長さとを比較する（図５のステップＳＴ１７）。長さ比較部１３は、曲線の長さと文字列の長さとの比較結果を形状決定処理部１６及び曲線延長部１７のそれぞれに出力する。
延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば（図５のステップＳＴ１８：ＹＥＳの場合）、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する（図５のステップＳＴ１９）。
以下、延長曲線形状決定部１４による延長曲線の形状の決定処理を具体的に説明する。

形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状と、曲線情報取得部９により取得された曲線情報が示す曲線の形状との照合を行う。
形状決定処理部１６は、曲線の形状の照合を行うことで、曲線記憶部１５に記憶されている複数の曲線の形状の中で、曲線情報が示す曲線の形状と最も一致度が高い曲線の形状を特定し、最も一致度が高い曲線の形状を選択する。曲線の形状を照合して、一致度が最も高い曲線の形状を特定する処理自体は公知の技術であるため詳細な説明を省略する。

形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状の中から、図１１に示すような曲線の形状を選択すると、選択した曲線の形状から延長曲線の形状を決定する。
例えば、曲線記憶部１５に記憶されている複数の曲線の長さが、操作によって描かれた線の軌跡を表す曲線よりも十分に長ければ、選択した曲線の形状の中で、曲線情報が示す曲線よりも長い部分の形状を、延長曲線の形状に決定する。
図１１の例では、操作によって描かれた線の軌跡を表す曲線として、軌跡判別部４により判別された軌跡を表す曲線を破線で表している。また、図１１の例では、最も一致度が高い選択した曲線を実線で表しており、破線で表している曲線の延長部分の形状を、実線で表している曲線の形状と同じにしている。

実施の形態１では、曲線記憶部１５に記憶されている複数の曲線の形状の中で、軌跡判別部４により判別された軌跡を表す曲線の形状と最も一致度が高い曲線の形状を選択し、選択した曲線の形状から延長曲線の形状を決定する例を示している。しかし、これは一例に過ぎず、他の方法で、延長部分の曲線である延長曲線の形状を決定するものであってもよい。
例えば、軌跡判別部４により判別された軌跡を表す曲線の形状の曲率の変化傾向などを計算し、曲率の変化傾向から、延長曲線の形状を推定するなどの方法が考えられる。

図１２Ａから図１２Ｄは、延長曲線の形状決定例を示しており、図１２Ａでは、緩く曲がっている曲線の終端部における接線の形状を延長曲線の形状としている。
図１２Ｂでは、曲線全体の曲率が一定であるため、延長曲線の形状の曲率を、軌跡判別部４により判別された軌跡を表す曲線である元の曲線の形状の曲率と同じにしている。
図１２Ｃでは、曲線の形状が周期的な波線形状であるため、延長曲線の形状を元の曲線と同じ周期の波線形状にしている。
図１２Ｄでは、曲線の終端付近が円弧状に曲がっているため、延長曲線の形状を元の曲線の終端付近と同様の円弧形状にしている。

曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する（ステップＳＴ２０）。
図１３の例では、曲線の長さが６０ｍｍ、文字列の長さが８０ｍｍであり、曲線の長さが文字列の長さよりも２０ｍｍ短いため、２０ｍｍだけ、曲線を延長している。

表示処理部１８は、曲線延長部１７が曲線を延長すると、延長部分の曲線に沿って、曲線が短いために未表示であった文字列の一部である「ましょう」を表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図７のステップＤに示すように、延長部分の曲線に沿って、曲線が短いために未表示であった文字列の一部である「ましょう」をディスプレイ３２に表示させる（図５のステップＳＴ２１）。図７のステップＤにおいて、破線は、延長部分の曲線である延長曲線を表している。
ここでは、表示処理部１８が、曲線延長部１７により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ３２に表示させている。しかし、これは一例に過ぎず、図７のステップＤにおける右側の図のように、表示処理部１８が、延長曲線を示す曲線画像をディスプレイ３２に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。
図７のステップＤの例では、表示処理部１８が、延長曲線をディスプレイ３２に表示させているが、延長曲線は、仮想的な線であるため、表示処理部１８が、延長曲線をディスプレイ３２に表示させなくてもよい。

ここで、例えば、ユーザがディスプレイ３２の表示領域の右端方向にディスプレイ３２をなぞった場合、曲線情報が示す曲線の右端は、ディスプレイ３２の表示領域の右端に位置することになる。この場合、曲線延長部１７は、表示領域の右側に存在する仮想領域に曲線を延長する。
そして、表示処理部１８は、仮想領域に延長された曲線に沿って、文字列の一部を表示領域の周囲の領域である仮想領域に配置する。
表示処理部１８が、文字列の一部を仮想領域に配置する処理と、文字列の一部を仮想領域に配置した後の処理とについては後述する。

表示処理部１８は、文字列を構成する全ての文字を曲線画像の上に重ねて表示させた後、曲線画像を消去するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、図７のステップＥに示すように、ディスプレイ３２から曲線画像を消して、文字列のみをディスプレイ３２に表示させる（図５のステップＳＴ２２）。
表示処理部１８が、曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、表示処理部１８が、曲線画像と文字列が重ねて表示してから、一定時間後に、曲線画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像を消去するようにしてもよい。

図８のステップＡに示すように、ユーザが線を描く操作を行う前に発話することで、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、文字列認識部５の音声認識部８から文字列が出力されることで、文字列取得部１０が文字列を取得することがある。
表示処理部１８は、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、文字列取得部１０から文字列が出力されると（図５のステップＳＴ１１：ＮＯの場合）、出力された文字列を文字列一時保存部１９に格納する。
表示処理部１８は、文字列を文字列一時保存部１９に格納すると、軌跡判別部４から曲線情報が出力されるまで待機する（図５のステップＳＴ２３：ＮＯの場合）。

その後、ユーザが線を描く操作を開始して、線を描く操作が完了すると、軌跡判別部４から曲線情報が表示処理部１８に出力される。
表示処理部１８は、軌跡判別部４から曲線情報が出力されることで、曲線情報取得部９から曲線情報が出力されると（図５のステップＳＴ２３：ＹＥＳの場合）、文字列一時保存部１９に格納されている文字列の読み出しを行う。表示処理部１８は、読み出した文字列を曲線画像の上に重ねて表示するための表示情報を生成し、生成した表示情報に従って、図８のステップＢに示すように、文字列を曲線画像の上に重ねて表示させる。即ち、表示処理部１８は、曲線画像と文字列を同じ位置に重ねて表示させる（図５のステップＳＴ２４）。
ただし、図８の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。

表示処理部１８が曲線画像と文字列を同じ位置に重ねて表示させる際、曲線画像と文字列の全体を同時に表示させるようにしてもよいが、文字列の先頭側から順次表示するアニメーションで、曲線画像と文字列を表示させるようにしてもよい。
また、ユーザの指のなぞりにあわせて、曲線画像と文字列が指の下から湧き出てくるように、曲線画像と文字列を順次表示させるようにしてもよい。
なお、図７では、ユーザが指をなぞってから発話する例を示し、図８ではユーザが発話してから指をなぞる例を示したが、指のなぞりと発話が同時に行われるものであってもよい。

長さ比較部１３は、文字列取得部１０から出力された「春になったら桜を見に行きましょう」を示す文字列を受けると、文字属性情報取得部１１から出力された文字属性情報が示す文字幅を参照して、当該文字列の長さを算出する（図５のステップＳＴ１５）。
また、長さ比較部１３は、曲線情報取得部９により取得された曲線情報を受けると、上記の式（２）又は式（３）に従って、曲線情報が示す曲線の長さを算出する（図５のステップＳＴ１６）。
長さ比較部１３は、曲線の長さを算出すると、曲線の長さと文字列の長さとを比較する（図５のステップＳＴ１７）。

延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば（図５のステップＳＴ１８：ＹＥＳの場合）、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する（図５のステップＳＴ１９）。
曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する（図５のステップＳＴ２０）。
図１３の例では、曲線の長さが６０ｍｍ、文字列の長さが８０ｍｍであり、曲線の長さが文字列の長さよりも２０ｍｍ短いため、２０ｍｍだけ、曲線を延長している。

表示処理部１８は、曲線延長部１７が曲線を延長すると、延長部分の曲線に沿って、曲線の長さが短いために未表示であった文字列の一部である「ましょう」を表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図８のステップＣに示すように、延長部分の曲線に沿って、未表示であった文字列の一部である「ましょう」をディスプレイ３２に表示させる（図５のステップＳＴ２１）。
ここでは、表示処理部１８が、曲線延長部１７により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ３２に表示させている。しかし、これは一例に過ぎず、表示処理部１８が、図８のステップＣにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ３２に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。

表示処理部１８は、文字列を構成する全ての文字を曲線画像の上に重ねて表示させた後、曲線画像を消去ための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図８のステップＤに示すように、ディスプレイ３２から曲線画像を消して、文字列のみをディスプレイ３２に表示させる（図５のステップＳＴ２２）。
表示処理部１８が、曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、表示処理部１８が、曲線画像と文字列を重ねて表示させてから、一定時間後に、曲線画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像を消去するようにしてもよい。

図１に示す入力表示制御装置１００では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短い例を示しているが、曲線の長さが、音声の認識結果を示す文字列の長さ以上である場合、曲線の長さを延長することなく、文字列を構成する全ての文字を曲線画像の上に重ねて表示させることができる。
したがって、長さ比較部１３の比較結果が、曲線の長さが文字列の長さ以上である旨を示していれば（図５のステップＳＴ１８：Ｎｏの場合）、ステップＳＴ１９〜ＳＴ２１の処理を実施せずに、ステップＳＴ２２の処理に移行し、曲線画像を消去して、文字列のみを表示している状態にする。

図１に示す入力表示制御装置１００では、長さ比較部１３が、文字列に含まれているそれぞれの文字の間が離れておらず、文字間の長さが０ｍｍであるとして、式（１）によって文字列の長さを計算している。しかし、文字間の長さが０ｍｍより大きければ、長さ比較部１３が、文字間の長さを考慮して、文字列の長さを算出するようにしてもよい。例えば、文字間の長さが０．５ｍｍであれば、文字列の長さは、下記の式（４）に示すように、８７．５ｍｍとなる。
文字列の長さ＝（５ｍｍ×１６）＋（０．５ｍｍ×１５）＝８７．５ｍｍ
（４）
式（４）は、式（１）と同様に、文字列の文字数が１６、文字幅が“５ｍｍ”である場合を示している。

次に、表示処理部１８が、文字列の一部を仮想領域に配置する処理、及び、文字列の一部を仮想領域に配置した後の処理について説明する。
例えば、図１４に示すように、ユーザがディスプレイ３２の表示領域の右端方向にディスプレイ３２をなぞったとき、曲線情報が示す曲線の右端が、ディスプレイ３２の表示領域の右端に位置することになる。図１４は、表示処理部１８が文字列の一部をディスプレイ３２に表示させることができない例を示す説明図である。
図１４の例では、「明日、プールに行くよ」を示す文字列のうち、「行くよ」の文字列が未表示になっている。

図１５は、ディスプレイ３２の表示領域と、表示領域の周囲の領域である仮想領域とを示す説明図である。
ディスプレイ３２の表示領域は、文字を実際に表示することが可能な実在の領域である。これに対し、仮想領域は、ディスプレイ３２には表示されない仮想的な領域である。
表示処理部１８は、文字列の一部をディスプレイ３２に表示させることができない場合、図１５に示すように、仮想領域まで延長曲線を延長し、当該仮想領域において、延長された延長曲線に沿って未表示の文字列を配置する。表示処理部１８は、未表示の文字列を仮想領域に配置する際、文字列取得部１０から出力された文字列である「明日、プールに行くよ」が、表示領域と仮想領域をまたがるように、未表示の文字列を仮想領域に配置する。
図１５の例では、表示処理部１８が、「行くよ」の文字列を仮想領域に配置している。

図１６は、表示処理部１８が、文字列の一部を仮想領域に配置した後の処理を示すフローチャートである。
以下、図１６を参照しながら、表示処理部１８が、文字列の一部を仮想領域に配置した後の処理について説明する。

文字列選択部１８ａは、ユーザが、一部が仮想領域に配置されている文字列を選択する操作を行うと（図１６のステップＳＴ３１：ＹＥＳの場合）、当該文字列の選択を受け付ける（図１６のステップＳＴ３２）。
文字列選択部１８ａは、ユーザが文字列を選択する操作を行わなければ（図１６のステップＳＴ３１：ＮＯの場合）、ユーザが文字列を選択する操作を行うまで待機する。
ユーザが文字列を選択する操作としては、一部が仮想領域に配置されている文字列に含まれている文字のうち、ディスプレイ３２の表示領域に表示されている文字を長押しする操作が考えられる。
ディスプレイ３２の表示領域に表示されている文字を長押しする操作は、ユーザが、ディスプレイ３２の表示領域に表示されている文字を閾値よりも長い時間触れる操作を意味する。
ここでは、ユーザが、ディスプレイ３２の表示領域に表示されている文字を長押しする操作を行うことで、文字列選択部１８ａが、文字列の選択を受け付ける例を示している。しかし、これは一例に過ぎず、例えば、ユーザが、ディスプレイ３２の表示領域に表示されている文字に触れると、触れている時間にかかわらず、文字列選択部１８ａが、文字列の選択を受け付けるようにしてもよい。

縁付加部１８ｂは、文字列選択部１８ａにより文字列の選択が受け付けられると、図１７に示すように、選択が受け付けられた文字列に含まれている全ての文字におけるそれぞれの輪郭に、文字と異なる色の縁を付加する（図１６のステップＳＴ３３）。
縁付加部１８ｂが、文字の輪郭に縁を付加することで、当該文字が、いわゆる「ふち文字」として、ディスプレイ３２に表示されるようになり、ユーザは、文字列の選択が受け付けられたことを認識することができる。
図１７は、文字列選択部１８ａにより選択が受け付けられた文字列を示す説明図である。

文字列移動部１８ｃは、ユーザが、文字列選択部１８ａにより選択が受け付けられた文字列を移動させる操作を行うと（図１６のステップＳＴ３４：ＹＥＳの場合）、当該文字列の移動を受け付ける（図１６のステップＳＴ３５）。
文字列移動部１８ｃは、ユーザが文字列を移動させる操作を行わなければ（図１６のステップＳＴ３４：ＮＯの場合）、ユーザが文字列を移動させる操作を行うまで待機する。
表示処理部１８は、文字列移動部１８ｃによって、文字列の全体をディスプレイ３２の表示領域に配置するための移動が受け付けられると、文字列の全体をディスプレイ３２の表示領域に表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図１８に示すように、文字列の全体をディスプレイ３２の表示領域に表示させる（図１６のステップＳＴ３６）。
図１８は、文字列の移動を示す説明図である。
図１８Ａは、曲線画像の上に重ねて表示させている文字列の移動を示している。
図１８Ｂは、曲線画像が文字列の下線として表記されている例を示している。

ここでは、文字列移動部１８ｃが、文字列の全体をディスプレイ３２の表示領域に配置するための移動を受け付けると、表示処理部１８が、文字列の全体をディスプレイ３２の表示領域に表示させている。しかし、文字列移動部１８ｃが、図１９に示すように、文字列の全体をディスプレイ３２の表示領域の外側に出すための移動を受け付けると、表示処理部１８が、当該文字列を破棄するようにしてもよい。
図１９は、文字列取得部１０により取得された文字列の破棄を示す説明図である。
図１９では、文字列の全体をディスプレイ３２の表示領域の外側に出すための移動操作として、文字列選択部１８ａにより選択が受け付けられた文字列を、ユーザが、ディスプレイ３２の表示領域の外側にフリックしている例を示している。

以上の実施の形態１は、表示制御部１２が、文字列取得部１０により取得された文字列の長さが長いために、文字列取得部１０により取得された文字列の一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列の全体を生成しきれない事態を回避することができる。

また、実施の形態１は、表示制御部１２が、一部が仮想領域に配置されている文字列の選択を受け付ける文字列選択部１８ａと、文字列選択部１８ａにより選択が受け付けられた文字列の移動を受け付ける文字列移動部１８ｃとを備えている。また、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、当該文字列の全体を表示領域に表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列の全体をディスプレイ３２の表示領域に表示させることができる。

また、実施の形態１は、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列取得部１０により取得された文字列の一部を曲線に沿って表示することができないと判断する場合、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、曲線の延長部分の形状を決定して、曲線を延長し、延長部分の曲線に沿って、文字列の一部を表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが、文字列の長さより短い場合でも、文字列の全部を曲線に沿って表示させることができる。

さらに、実施の形態１は、入力表示制御装置１００が、音声認識部８から文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力された場合、曲線画像をディスプレイ３２に表示させた後、音声認識部８から出力された文字列を曲線画像の上に重ねて表示させる。一方、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、音声認識部８から文字列が出力された場合、軌跡判別部４から曲線情報が出力されるまで待機し、軌跡判別部４から曲線情報が出力されると、曲線画像をディスプレイ３２に表示させるとともに、文字列を曲線画像の上に重ねて表示させるように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、ユーザが発話する前に線を描く操作を行った場合、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。よって、ユーザが文字列の表示イメージをつかむことができる。また、ユーザが線を描く操作を行う前に発話した場合、線を描く操作が行われると、曲線画像と文字列が同じ位置に重ねて表示されるため、応答性が高い操作感をユーザに与えることができる。

図１に示す入力表示制御装置１００では、表示処理部１８が、文字列を曲線画像の上に重ねて表示させるものを示している。しかし、これは一例に過ぎず、表示処理部１８が、文字列を曲線画像の上に重ねずに、曲線画像の周囲において、曲線画像に沿うように文字列を表示させるようにしてもよい。
また、曲線画像は、ユーザが曲線画像を確認することができなくてもよければ、無色透明の画像であってもよい。また、曲線画像は、有色透明の画像であってもよい。
また、曲線画像の線幅は、文字管理部３から出力された文字属性情報が示す文字高に対応する幅に構成したが、例えば、図１８Ｂに示すように、一定幅を有する下線としてもよい。
曲線画像が無色透明である場合、表示処理部１８が、軌跡判別部４により判別された軌跡を表す幅のない曲線、又は、曲線延長部１７により延長された軌跡を表す幅のない曲線をディスプレイ３２に表示させるようにしてもよい。

実施の形態２．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
実施の形態２では、表示制御部１２が、一部を仮想領域に配置した文字列を改行することで、仮想領域に配置した文字列の一部を表示領域に表示するための表示情報を生成する入力表示システムについて説明する。
実施の形態２の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図２０は、ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。

次に、実施の形態２の入力表示システムの動作について説明する。
図２１は、実施の形態２に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図２１において、図５と同一符号は同一又は相当部分を示している。
文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部８から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列取得部１０により取得された文字列の一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
図２０の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに」の文字列を表示領域に表示しているが、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置している。

延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、実施の形態１と同様に、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する。
曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、実施の形態１と同様に、延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する。
実施の形態２でも、実施の形態１と同様に、曲線延長部１７が、図２０に示すように、仮想領域まで曲線を延長している（図２１のステップＳＴ２０Ａ）。

表示処理部１８は、上述した通り、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置しているが、仮想領域まで延長している曲線に沿って、「行くよ。一か月ぶりだよ」の文字列を配置する。
表示処理部１８は、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置すると、仮想領域まで延長した曲線を切り取り、切り取った曲線を実在領域の曲線の下に配置する（図２１のステップＳＴ２１Ａ）。
表示処理部１８は、文字列取得部１０から出力された「明日、プールに行くよ。一か月ぶりだよ」が示す文字列を、ディスプレイ３２における表示領域の右端で改行する。図２０の例では、「に」の文字と「行」の文字と間で改行している。図２０において、“←”は、文字列の改行を表している。
次に、表示処理部１８は、曲線の始点を左右方向で一致させることで、改行した文字列である「行くよ。一か月ぶりだよ」の始点の文字である「行」と、「明日、プールに行くよ。一か月ぶりだよ」の始点の文字である「明」とが、図中、左右方向の位置で概ね揃うように「行くよ。一か月ぶりだよ」を配置する。
表示処理部１８は、「行くよ。一か月ぶりだよ」の文字列のうち、「行くよ。一か」の文字列を、切り取った曲線に沿って、ディスプレイ３２の表示領域に表示する（図２１のステップＳＴ２１Ｂ）。
図２０の例では、「行くよ。一か月ぶりだよ」の文字列のうち、「行くよ。一か」については、ディスプレイ３２の表示領域に表示できている。しかし、「月ぶりだよ」の文字列は、ディスプレイ３２の表示領域からはみ出してしまっている。

曲線延長部１７は、「月ぶりだよ」の文字列がディスプレイ３２の表示領域からはみ出してしまっているため、「行くよ。一か」の文字列が沿っている曲線を仮想領域まで延長する（図２１のステップＳＴ２０Ａ）。
表示処理部１８は、仮想領域まで延長している曲線に沿って、「月ぶりだよ」の文字列を仮想領域に配置する。
表示処理部１８は、「月ぶりだよ」の文字列を仮想領域に配置すると、仮想領域まで延長した曲線を切り取り、切り取った曲線を実在領域の曲線の下に配置する（図２１のステップＳＴ２１Ａ）。
表示処理部１８は、「行くよ。一か月ぶりだよ」が示す文字列を、ディスプレイ３２における表示領域の右端で改行する。図２０の例では、「か」の文字と「月」の文字と間で改行している。
次に、表示処理部１８は、曲線の始点を左右方向で一致させることで、改行した文字列である「月ぶりだよ」の文字列の始点の文字である「月」と、「行くよ。一か月ぶりだよ」の始点の文字である「行」とが、図中、左右方向の位置で概ね揃うように、「月ぶりだよ」の文字列を配置する。
表示処理部１８は、「月ぶりだよ」の文字列を、切り取った曲線に沿って、ディスプレイ３２の表示領域に表示する（図２１のステップＳＴ２１Ｂ）。
図２０の例では、「月ぶりだよ」の文字列がディスプレイ３２の表示領域に表示されており、「明日、プールに」の文字列と、「行くよ。一か」の文字列と、「月ぶりだよ」の文字列とが３行で表示されている。
表示処理部１８は、仮想領域まで延長した曲線の全てを切り取るまで、ステップＳＴ２１Ａ〜ＳＴ２１Ｃの処理を繰り返し実施する。

図２０では、表示処理部１８が、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を２回改行することで、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を３行で表示させている。しかし、これは一例に過ぎず、表示処理部１８が、例えば、２行目の文字列を表示領域の左端に寄せることで、「明日、プールに」の文字列と、「行くよ。一か月ぶりだよ」の文字列とを２行で表示させるようにしてもよい。また、２行目の文字列の最後の文字を表示領域の右端に合わせることで２行にするようにしてもよい。

ここでは、表示処理部１８が、２行目の文字列及び３行目の文字列のそれぞれに含まれている複数の文字を一直線上に並べる表示させている。しかし、これは一例に過ぎず、曲線延長部１７が、２行目の文字列及び３行目の文字列のそれぞれを配置するための曲線の形状が、１行目の文字列を配置するための曲線と同一形状となるように、２行目の文字列及び３行目の文字列のそれぞれを配置するための曲線を生成する。そして、表示処理部１８が、図２２に示すように、２行目の文字列及び３行目の文字列のそれぞれに含まれている複数の文字を、曲線延長部１７により生成されたそれぞれの曲線に沿うように、ディスプレイ３２の表示領域に表示させるようにしてもよい。図２２において、“←”は、文字列の改行を表している。
図２２は、ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。

以上の実施の形態２は、表示制御部１２が、文字列取得部１０により取得された文字列を改行することで、仮想領域に配置した文字列の一部を表示領域に表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、一部を仮想領域に配置した文字列に含まれている全ての文字を自動的にディスプレイ３２の表示領域に表示させることができる。

実施の形態３．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
実施の形態３では、表示制御部１２が、一部が仮想領域に配置されている文字列の全体をディスプレイ３２の表示領域に移動させて、当該文字列の全体を表示領域に表示するための表示情報を生成する入力表示システムについて説明する。
実施の形態３の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図２３は、表示制御部１２が、一部が仮想領域に配置されている文字列の全体をディスプレイ３２の表示領域に移動させて、当該文字列の全体を表示領域に表示させている例を示す説明図である。

次に、実施の形態３の入力表示システムの動作について説明する。
図２４は、実施の形態３に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図２４において、図５と同一符号は同一又は相当部分を示している。
文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ」という発話を行うと、音声認識部８から「明日、プールに行くよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
図２３の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに」の文字列を表示領域に表示しているが、「行くよ」の文字列を仮想領域に配置している。

表示処理部１８は、文字列の一部を仮想領域に配置すると、図２３に示すように、例えば、文字列の全体を、図中、表示領域の左端側の方向に移動させることで、文字列の全体を表示領域に表示させる（図２４のステップＳＴ２５）。図２３において、“←”は、文字列の移動を表している。

図２３の例では、表示処理部１８が、文字列の全体を、図中、表示領域の左端側の方向に移動させることで、文字列の全体を表示領域に表示させることができている。
以上の実施の形態３は、表示制御部１２が、一部が仮想領域に配置されている文字列の全体を表示領域に移動させて、文字列の全体を表示領域に表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、一部を仮想領域に配置した文字列に含まれている全ての文字を自動的にディスプレイ３２の表示領域に表示させることができる。
なお、文字列取得部１０から出力された文字列の長さが、例えば、表示領域の左右方向の長さよりも長い場合、表示処理部１８が、文字列の全体を、表示領域の左端側の方向に移動させても、文字列の全体を表示領域に表示させることができない。具体的には、以下の通りである。

文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部８から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
図２５は、表示制御部１２が、一部が仮想領域に配置されている文字列の全体を移動させたのち、文字列を改行することで、文字列の全体を表示領域に表示させている例を示す説明図である。
図２５の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに」の文字列を表示領域に表示させているが、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置している。

表示処理部１８は、文字列の始点の文字である「明」を、例えば、表示領域の左端の手前まで移動させたのち、当該文字列を、ディスプレイ３２における表示領域の右端で改行する。
図２５の例では、表示処理部１８が、文字列の全体を移動させたことで、「明日、プールに行くよ。一」の文字列を表示領域に表示させている。しかし、「か月ぶりだよ」の文字列がディスプレイ３２の表示領域からはみ出してしまうので、表示処理部１８が、「か月ぶりだよ」の文字列を仮想領域に配置している。

次に、表示処理部１８は、全体を移動させた文字列を、ディスプレイ３２における表示領域の右端で改行する。図２５の例では、「一」の文字と「か」の文字と間で改行している。
表示処理部１８は、改行した文字列である「か月ぶりだよ」の文字列をディスプレイ３２の表示領域に表示させている。
図２５の例では、「明日、プールに行くよ。一」の文字列を配置するための曲線の形状と、「か月ぶりだよ」の文字列を配置するための曲線の形状とが、同じ形状であるが、異なる形状であってもよい。

上記のように構成することで、文字列の長さが長い場合であっても、文字列に含まれている全ての文字を自動的にディスプレイ３２の表示領域に表示させることができる。

実施の形態４．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
実施の形態４では、表示制御部１２が、一部が仮想領域に配置されている文字列に含まれている文字の文字サイズを小さくして、文字列の長さを、曲線情報取得部９により取得された曲線情報が示す曲線の長さ以下にする入力表示システムについて説明する。
実施の形態４の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図２６は、表示制御部１２が、文字列に含まれている文字の文字サイズを小さくして、文字列の全体を表示領域に表示させている例を示す説明図である。

次に、実施の形態４の入力表示システムの動作について説明する。
図２７は、実施の形態４に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図２７において、図５と同一符号は同一又は相当部分を示している。
文字列取得部１０は、例えば、ユーザが「明日、プールに行きませんか」という発話を行うと、音声認識部８から「明日、プールに行きませんか？」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行きませんか？」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
図２６の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに行きま」の文字列を表示領域に表示しているが、「せんか？」の文字列を仮想領域に配置している。
図２６の例では、表示処理部１８が、「明日、プールに行きませんか？」の文字列に含まれているそれぞれの文字の文字サイズは、文字管理ＤＢ２に記憶されている文字属性表の記述どおりである。

表示処理部１８は、文字列の一部を仮想領域に配置すると、文字列の長さが、曲線情報取得部９により取得された曲線情報が示す曲線の長さ以下になるように、文字列に含まれている全ての文字におけるそれぞれの文字サイズを小さくする（図２７のステップＳＴ２６）。
表示処理部１８は、全ての文字におけるそれぞれの文字サイズを小さくしたのち、文字列の全体をディスプレイ３２の表示領域に表示するための表示情報を生成する。
表示処理部１８は、図２６に示すように、生成した表示情報に従って、文字列の全体をディスプレイ３２の表示領域に表示させる（図２７のステップＳＴ２１）。

ここでは、表示処理部１８が、文字列の長さが、曲線の長さ以下になるように、文字列に含まれている全ての文字におけるそれぞれの文字サイズを小さくしている。
表示処理部１８は、文字列取得部１０により取得された文字列の長さが、曲線の長さよりも短い場合、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている全ての文字におけるそれぞれの文字サイズを大きくするようにしてもよい。
図２８は、表示制御部１２が、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている文字の文字サイズを大きくしている例を示す説明図である。
図２８の例では、表示制御部１２が、文字列の長さが、曲線の長さとほぼ同じ長さになるように、文字列に含まれている全ての文字におけるそれぞれの文字サイズを大きくしている。しかし、文字列取得部１０により取得された文字列の長さが、曲線の長さよりも短い場合、表示制御部１２が、文字列に含まれている全ての文字におけるそれぞれの文字サイズを変更せずに、文字列の全体をディスプレイ３２の表示領域に表示させるようにしてもよい。

以上の実施の形態４は、表示制御部１２が、一部が仮想領域に配置されている文字列に含まれている文字の文字サイズを小さくして、文字列の長さを、曲線情報取得部９により取得された曲線情報が示す曲線の長さ以下にするように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列に含まれている全ての文字を自動的にディスプレイ３２の表示領域に表示させることができる。
なお、延長曲線を描画せず、曲線の長さが文字列の長さよりも短い場合、文字列に含まれる文字のサイズを小さくして文字列全体を表示するようにしてもよい。

実施の形態５．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
実施の形態５では、表示制御部１２が、文字列取得部１０により取得された文字列を、当該文字列と同じ意味を有し、かつ、当該文字列よりも長さが短い文字列に置換する処理を実施する。そして、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成する入力表示システムについて説明する。

図２９は、実施の形態５に係る入力表示制御装置を含む入力表示システム示す構成図である。図２９において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
表示処理部１８は、例えば、図２に示す表示処理回路３１によって実現される。
表示処理部１８は、図１に示す表示処理部１８と異なり、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃの代わりに、テーブル記憶部１８ｄを含んでいる。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列をディスプレイ３２に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイ３２に文字列を表示させる。表示処理部１８により生成される表示情報は、文字列取得部１０により取得された文字列を曲線情報取得部９により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示処理部１８は、表示情報に従って文字列を曲線画像の上に重ねてディスプレイ３２に表示させる。

また、表示処理部１８は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、曲線延長部１７により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字列の一部をディスプレイ３２に表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従ってディスプレイ３２に文字列の一部を表示させる。
さらに、表示処理部１８は、ディスプレイ３２に文字列を表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従ってディスプレイ３２に曲線画像を消去させる。

テーブル記憶部１８ｄは、例えば、図２に示す記憶処理回路２２によって実現される。テーブル記憶部１８ｄは、図３０に示すように、「文字列」と「簡易の文字列」との対応関係を示すテーブルを記憶している。
図３０は、「文字列」と「簡易の文字列」との対応関係を示すテーブルを示す説明図である。
図３０では、簡易の文字列を「簡易版」と表記している。「簡易の文字列」は、「文字列」と同じ意味を有し、かつ、「文字列」よりも長さが短くなっている。

表示処理部１８は、テーブル記憶部１８ｄから、文字列取得部１０により取得された文字列と対応関係がある簡易の文字列を取得し、文字列取得部１０により取得された文字列を取得した簡易の文字列に置換する。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って置換処理後の文字列をディスプレイ３２の表示領域に表示させる。

次に、図２９に示す入力表示制御装置の動作について説明する。
図３１は、実施の形態５に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図３１において、図５と同一符号は同一又は相当部分を示している。
表示処理部１８以外の動作は、図１に示す入力表示制御装置の動作と同様であるため、ここでは、主に表示処理部１８の動作のみを説明する。

文字列取得部１０は、例えば、ユーザが「今日、ラーメンを食べに行きました」という発話を行うと、音声認識部８から「今日、ラーメンを食べに行きました」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「今日、ラーメンを食べに行きました」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
表示処理部１８は、「今日、ラーメンを食べに行きました」を示す文字列のうち、「きました」の文字列を仮想領域に配置している。

表示処理部１８は、文字列の全体をディスプレイ３２の表示領域に表示できるようにするため、文字列取得部１０により取得された文字列を簡易の文字列に置換して、文字列の長さを短くする（図３１のステップＳＴ２７）。
具体的には、表示処理部１８は、テーブル記憶部１８ｄから、文字列取得部１０により取得された文字列と対応関係がある簡易の文字列を取得する。
図３０に示すテーブルには、「今日、ラーメンを食べに行きました」を示す文字列のうち、「食べに行きました」を示す文字列と対応関係がある簡易の文字列として、「食べた」が記憶されている。
また、図３０に示すテーブルには、「今日、ラーメンを食べに行きました」を示す文字列のうち、「ラーメン」を示す文字列と対応関係がある簡易の文字列として、ラーメンを示す絵文字が記憶されている。

そこで、表示処理部１８は、「食べに行きました」を「食べた」に置換し、「ラーメン」を「ラーメンを示す絵文字」に置換する。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成し、図３２に示すように、生成した表示情報に従って、置換処理後の文字列をディスプレイ３２の表示領域に表示させる（図３１のステップＳＴ２１Ｄ）。
図３２は、表示制御部１２が、置換処理後の文字列を表示させている例を示す説明図である。
図３２の例では、表示処理部１８が、文字列取得部１０により取得された文字列を簡易の文字列に置換することで、文字列の長さが短くなり、文字列の全体がディスプレイ３２の表示領域に表示されるようになっている。

ここでは、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部が表示領域からはみ出してしまうときに、表示処理部１８が、文字列を簡易の文字列に置換している。しかし、これは一例に過ぎず、表示処理部１８は、文字列の一部が表示領域からはみ出さないときでも、文字列を簡易の文字列に置換するようにしてもよい。

以上の実施の形態５は、表示制御部１２が、文字列取得部１０により取得された文字列を、当該文字列と同じ意味を有し、かつ、当該文字列よりも長さが短い文字列に置換し、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換した文字列を表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列に含まれている全ての文字を自動的にディスプレイ３２の表示領域に表示させることができる。

実施の形態６．
実施の形態６では、曲線情報取得部９が、複数の曲線情報を取得する。そして、表示制御部１２が、曲線情報取得部９により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部１０により取得された文字列を表示するための表示情報を生成する入力表示システムについて説明する。
実施の形態６の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図３３は、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。

次に、実施の形態６の入力表示システムの動作について説明する。
図３４は、実施の形態６に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図３４において、図４と同一符号は同一又は相当部分を示している。
軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると（図３４のステップＳＴ３：ＹＥＳの場合）、実施の形態１と同様に、操作内容から操作によって描かれた線の軌跡を判別し、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を生成する（図３４のステップＳＴ６）。
軌跡判別部４は、実施の形態１と同様に、曲線画像を含む曲線情報を曲線情報取得部９に出力する。
実施の形態６の入力表示システムでは、操作受付部１が、複数の線を描く操作の内容を受けると、軌跡判別部４が、複数の曲線情報を生成する。
曲線情報取得部９は、軌跡判別部４から出力された曲線情報を取得し、曲線情報を長さ比較部１３、形状決定処理部１６、曲線延長部１７及び表示処理部１８のそれぞれに出力する。

文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部８から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列の一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。

図３３の例では、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列のうち、曲線に収まる範囲の文字列が、「明日、プール」の文字列であるため、表示処理部１８が、「明日、プール」の文字列を曲線に沿って表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、「明日、プール」の文字列を曲線に沿ってディスプレイ３２の表示領域に表示させると、未表示の文字列の先頭の位置で、文字列を改行する。図３３の例では、「ル」の文字と「に」の文字と間で改行している。図３３において、“←”は、文字列の改行を表している。
ただし、実施の形態６の入力表示制御システムでは、表示処理部１８が、文字列を改行する前に、改行した文字列を表示するための曲線を追加する操作を受け付ける。

軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると、操作内容から操作によって描かれた線の軌跡を判別し、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を生成する。
図３３の例では、操作受付部１が、２本の線を描く操作を受け付けており、軌跡判別部４が、２本の線を描くそれぞれの操作の内容に従って、２本の曲線についての曲線情報をそれぞれ生成する。
軌跡判別部４は、生成した２つの曲線情報を曲線情報取得部９に出力する。
曲線情報取得部９は、軌跡判別部４から出力された２つの曲線情報を取得し、２つの曲線情報を長さ比較部１３、形状決定処理部１６、曲線延長部１７及び表示処理部１８のそれぞれに出力する。

表示処理部１８は、曲線情報取得部９から２つの曲線情報を受けると、２つの曲線情報が示す曲線のうち、表示済みの「明日、プール」の文字列の表示位置に近い方の曲線（以下、第１の曲線と称する）に沿って、「に行くよ。」の文字列を表示するための表示情報を生成する。なお、ここでは近い方の曲線を第１の曲線としているが、曲線の描かれた順番を記憶しておき、早い方の順番の曲線を第１の曲線とするようにしてもよい。「一か月ぶりだよ」の文字列は、第１の曲線に収まらないため、この段階では、表示処理部１８は、「に行くよ。」の文字列を表示するための表示情報のみを生成する。
表示処理部１８は、生成した表示情報に従って、「に行くよ。」の文字列を第１の曲線に沿ってディスプレイ３２の表示領域に表示させると、未表示の文字列の先頭の位置で、文字列を改行する。図３３の例では、「。」の文字と「一」の文字と間で改行している。

表示処理部１８は、２つの曲線情報が示す曲線のうち、第１の曲線ではない方の曲線（以下、第２の曲線と称する）に沿って、「一か月ぶりだよ」の文字列を表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、「一か月ぶりだよ」の文字列を第２の曲線に沿ってディスプレイ３２の表示領域に表示させる。

以上の実施の形態６は、曲線情報取得部９が、複数の曲線情報を取得し、表示制御部１２が、曲線情報取得部９により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部１０により取得された文字列を表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列の長さが、１つの曲線の長さよりも長い場合でも、ユーザが所望するレイアウトで、文字列を表示させることができる。

実施の形態７．
実施の形態６の入力表示システムでは、表示処理部１８が、文字列取得部１０により取得された文字列の一部を仮想領域に配置してから、文字列を改行している。
実施の形態７では、表示処理部１８が、文字列取得部１０により取得された文字列の一部を仮想領域に配置することなく、文字列を改行する入力表示システムについて説明する。

図３５は、ユーザが複数の線を描く操作を行ってから、ユーザが発話を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
図３５の例では、ユーザが、まず３本の線を描く操作を行い、その後、「明日、プールへ行くよ。一カ月ぶりだよ。楽しみです」と発声した場合を示している。このとき、ユーザが描いた曲線の長さが文字列の長さよりも短いため、３行目に「ぶりだよ。」のみしか表示されておらず、「楽しみです」が表示されていない。ディスプレイ３２を見たユーザは、「楽しみです」の表示がないことに気づき、追加で４本目の線を描く操作を行う。すると、表示制御部１２は、追加された４本目の曲線に沿って、表示されていなかった「楽しみです」の文字列を表示する。図３５の例では、上記のようにして、表示制御部１２が、４本の曲線に沿って、「明日、プールに行くよ。一か月ぶりだよ。楽しみです」を示す文字列を表示させている。

図３６は、ユーザが発話を行ってから、ユーザが複数の線を描く操作を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
図３６の例では、表示制御部１２が、４本の曲線に沿って、「明日、プールに行くよ。一か月ぶりだよ。楽しみです」を示す文字列を表示させている。

以上の実施の形態７は、曲線情報取得部９が、複数の曲線情報を取得し、表示制御部１２が、曲線情報取得部９により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部１０により取得された文字列を表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列の長さが、１つの曲線の長さよりも長い場合でも、ユーザが所望するレイアウトで、文字列を表示させることができる。

実施の形態８．
図１及び図２９に示す入力表示システムでは、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列をディスプレイ３２に表示させている。
実施の形態８では、文字列取得部１０により取得された文字列を翻訳し、文字列の翻訳結果を示す文字列をディスプレイ３２に表示させる入力表示システムについて説明する。

図３７は、実施の形態８に係る入力表示制御装置を含む入力表示システム示す構成図であり、図３８は、実施の形態８に係る入力表示システムのハードウェア構成図である。
図３７及び図３８において、図１、図２及び図２９と同一符号は同一または相当部分を示すので説明を省略する。
翻訳部５２は、例えば、図３８に示す翻訳処理回路３４によって実現される。翻訳部５２は、文字列取得部１０により取得された文字列を翻訳し、文字列の翻訳結果を示す文字列を長さ比較部１３及び表示処理部５３のそれぞれに出力する。

表示制御部５１は、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、翻訳部５２及び表示処理部５３を含んでいる。表示制御部５１は、図１及び図２９に示す表示制御部１２と同様の処理を実施するほかに、翻訳部５２から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。また、表示制御部５１は、翻訳文字列表示用の曲線に沿って、翻訳部５２の翻訳結果を示す文字列をディスプレイ３２に表示するための表示情報を生成し、生成した表示情報に従って翻訳結果を示す文字列をディスプレイ３２に表示させる。

表示処理部５３は、例えば、図３８に示す表示処理回路３１によって実現されるものであり、図１に示す表示処理部１８と同様に、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている。
図３７に示す表示処理部５３は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている。しかし、これは一例に過ぎず、表示処理部５３は、図２９に示す表示処理部１８と同様に、テーブル記憶部１８ｄを備えていてもよい。
表示処理部５３は、図１及び図２９に示す表示処理部１８と異なり、翻訳部５２から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。表示処理部５３は、翻訳文字列表示用の曲線に沿って、翻訳部５２から出力された翻訳結果を示す文字列をディスプレイ３２に表示させる。

図３７では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部５、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、翻訳部５２、表示処理部５３及び文字列一時保存部１９のそれぞれが、図３８に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１、ディスプレイ３２及び翻訳処理回路３４によって実現されるものを想定している。

しかし、入力表示システムは、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１９を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡判別部４、音声検出部６、音声認識部８及び表示制御部５１の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納する。そして、図３に示すプロセッサ４２が、メモリ４１に格納されているプログラムを実行するようにすればよい。

次に、図３７に示す入力表示システムの動作について説明する。
ただし、翻訳部５２及び表示処理部５３以外は、実施の形態１〜７のいずれかの入力表示システムと同様であるため、ここでは、主に翻訳部５２及び表示処理部５３の処理内容について説明する。
翻訳部５２は、文字列取得部１０が文字列認識部５から出力された音声の認識結果を示す文字列を取得すると、取得した文字列を翻訳し、文字列の翻訳結果を示す文字列を長さ比較部１３及び表示処理部５３のそれぞれに出力する。
音声の認識結果を示す文字列が「夏休みに海に行ったよ」であれば、例えば、文字列の翻訳結果を示す文字列は「Ｉ ｗｅｎｔ ｔｏ ｔｈｅ ｓｅａ ｉｎ ｓｕｍｍｅｒ ｖａｃａｔｉｏｎ」のようになる。

表示処理部５３は、図１又は図２９の表示処理部１８と同様に、文字列認識部５により取得された音声の認識結果を示す文字列を曲線情報取得部９により取得された曲線画像の上に重ねて表示させる。
また、表示処理部５３は、曲線情報が示す曲線の長さが文字列の長さより短いために、文字列の一部を曲線に沿って表示させることができなければ、図１又は図２９の表示処理部１８と同様に、曲線延長部１７により付加された延長曲線に沿って、文字列の一部をディスプレイ３２に表示させる。

表示処理部５３は、翻訳部５２から翻訳結果を示す文字列を受けると、翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。
このとき、翻訳結果を示す文字列を構成する文字の文字幅を示す文字属性情報は、文字管理部３から受けるものとする。
例えば、翻訳結果を示す文字列が「Ｉ ｗｅｎｔ ｔｏ ｔｈｅ ｓｅａ ｉｎ ｓｕｍｍｅｒ ｖａｃａｔｉｏｎ」である場合、文字数がスペースを含めて３６である。したがって、翻訳結果を示す文字列を構成する文字の文字幅が“２ｍｍ”であるとすれば、翻訳結果を示す文字列の長さは、下記の式（５）に示すように、７２ｍｍとなる。
翻訳結果を示す文字列の長さ＝２ｍｍ×３６＝７２ｍｍ （５）
したがって、この場合には、翻訳文字列表示用の曲線の長さは、７２ｍｍ以上の長さとなる。

また、翻訳文字列表示用の曲線の形状は、ユーザの操作によって描かれた線の軌跡を表す曲線、即ち、曲線情報取得部９により取得された曲線情報が示す曲線の形状と同じ形状とする。曲線延長部１７によって曲線が延長されている場合には、曲線延長部１７により延長された曲線の形状と同じ形状とする。
例えば、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が円弧形状であれば、翻訳文字列表示用の曲線の形状も円弧形状である。ユーザの操作によって描かれた線の軌跡を表す曲線の形状が波線形状であれば、翻訳文字列表示用の曲線の形状も波線形状である。

なお、曲線延長部１７によって曲線が延長されていて、翻訳文字列表示用の曲線の長さが、曲線延長部１７により延長された曲線の長さより長い場合、あるいは、曲線延長部１７によって曲線が延長されていなくて、翻訳文字列表示用の曲線の長さが、曲線情報取得部９により取得された曲線情報が示す曲線の長さより長い場合、翻訳文字列表示用の曲線を延長するものとする。翻訳文字列表示用の曲線の延長は、曲線情報が示す曲線を延長する場合と同様の方法を用いるものとする。具体的には、翻訳文字列表示用の曲線の形状から、翻訳文字列表示用の曲線の延長部分の形状を決定して、翻訳文字列表示用の曲線を延長するものとする。

表示処理部５３は、翻訳文字列表示用の曲線を生成すると、翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ３２に表示するための表示情報を生成し、表示情報に従って翻訳結果を示す文字列をディスプレイ３２に表示させる。
ここで、図３９は、表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。
ステップＡでは、表示処理部５３が、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像をディスプレイ３２に表示している。
ステップＢにおいて、音声認識部８が、ユーザの音声の認識処理を実施すると、ステップＣでは、表示処理部５３が、音声の認識結果を示す文字列を曲線画像の上に重ねて表示させている。ステップＡ〜ステップＣまでは、実施の形態１と同様である。ただし、ここでは、音声認識部８から音声の認識結果を示す文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力された場合の例を示している。
ステップＤでは、表示処理部５３が、ユーザの操作によって描かれた線の軌跡を表す曲線と同形状の翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ３２に表示させている。
図３９の例では、表示処理部５３が、翻訳文字列表示用の曲線を、ユーザの操作によって描かれた線の軌跡を表す曲線の下側に並べているが、ユーザの操作によって描かれた線の軌跡を表す曲線の上側に並べてもよいし、左側や右側に並べてもよい。
ステップＥでは、表示処理部５３が、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像を消去している。

実施の形態８の入力表示システムでは、表示処理部５３が、翻訳文字列表示用の曲線をディスプレイ３２に表示させるものを示している。しかし、これは一例に過ぎず、翻訳文字列表示用の曲線は、透明であってもよい。

実施の形態８の入力表示システムでは、音声の認識結果を示す文字列と、翻訳結果を示す文字列とを並べて表示させるものを示している。しかし、これは一例に過ぎず、図４０に示すように、表示処理部５３が、ステップＣで音声の認識結果を示す文字列を表示させたのち、ステップＳＴＤで音声の認識結果を示す文字列を先頭から消去させながら、翻訳結果を示す文字列を先頭から曲線画像の上に重ねて表示させるようにしてもよい。この場合、最終的に表示される文字列は、翻訳結果を示す文字列だけになる。
図４０は、表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。

実施の形態８の入力表示システムでは、図４１に示すように、表示処理部５３が、折り返し翻訳の結果を示す文字列を、音声の認識結果を示す文字列及び翻訳結果を示す文字列と並べて表示させるようにしてもよい。図４１は、翻訳結果を示す文字列を表示する例を示す説明図である。
実施の形態８の入力表示システムでは、翻訳部５２が、日本語から英語に翻訳しているため、この場合の折り返し翻訳は、翻訳した英語を日本語に翻訳し直すことを意味する。
図４１の例では、ステップＤにおいて、表示処理部５３が、音声の認識結果を示す文字列である日本語の下に、翻訳結果を示す文字列である英語を表示させ、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させている。
また、図４２に示すように、ステップＤにおいて、表示処理部５３が、曲線画像の上に重ねて表示させた音声の認識結果を示す文字列である日本語を消してから、翻訳結果を示す文字列である英語を曲線画像の上に重ねて表示させる。そして、表示処理部５３が、英語の下に、折り返し翻訳を示す文字列である日本語を表示させるようにしてもよい。図４２は、翻訳結果を示す文字列を表示する例を示す説明図である。

以上の実施の形態８は、文字列取得部１０により取得された文字列を翻訳する翻訳部５２を備え、表示処理部５３が、翻訳部５２から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ３２に表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、線を描く操作によって描かれた線の軌跡を表す曲線の長さが、翻訳結果を示す文字列より短い場合でも、文字列の全部を曲線に沿って表示させることができる。

実施の形態８の入力表示システムでは、表示処理部５３が、音声の認識結果を示す文字列と、翻訳結果を示す文字列とを並べて表示させるものを示している。しかし、これは一例に過ぎず、表示処理部５３が、図４３に示すように、ディスプレイ３２が二画面で構成されており、かつ、二画面の上面が互い接している対面構成の場合、表示処理部５３が、以下のような表示を行うようにしてもよい。
図４３は、ディスプレイ３２が対面二画面で構成されている場合の表示処理部５３における表示処理の一例を示す説明図である。

表示処理部５３は、例えば、図中、対面二画面の下側の画面に、音声の認識結果を示す文字列を表示させ、図中、対面二画面の上側の画面に、翻訳結果を示す文字列を表示させる。
あるいは、表示処理部５３は、対面二画面の下側の画面に、翻訳結果を示す文字列を表示させ、対面二画面の上側の画面に、音声の認識結果を示す文字列を表示させる。
ただし、対面二画面であるため、対面二画面の上側の画面では、文字が１８０度回転している。
また、対面二画面の場合でも、図４４に示すように、表示処理部５３が、折り返し翻訳の結果を示す文字列を表示させるようにしてもよい。図４４は、翻訳結果を示す文字列を表示する例を示す説明図である。

なお、実施の形態８においても、実施の形態１と同様に、文字列取得部１０により取得された文字列の長さが長いために、文字列取得部１０により取得された文字列の一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置１００を構成するようにしてもよい。
また、翻訳結果を示す文字列の一部がディスプレイ３２の表示領域からはみ出してしまう場合、翻訳結果を示す文字列の一部を仮想領域に配置するようにしてもよい。このようにすることで、翻訳結果を示す文字列が生成しきれない事態を回避することができる。
翻訳結果を示す文字列を仮想領域に生成する場合において、ユーザが翻訳結果を示す文字列を選択した場合、実施の形態１と同様に、文字列に含まれている文字の輪郭に、当該文字と異なる色の縁を付加するようにしてもよい。
さらに、実施の形態１と同様に、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、翻訳結果を示す文字列の全体を表示しきれない事態を回避することができる。
また、ユーザが、文字列取得部１０により取得された文字列又は翻訳結果を示す文字列のいずれか又は両方を選択して移動させた場合、取得された文字列と翻訳結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。
さらに、折り返し翻訳についても、上記と同様に、表示領域と仮想領域とにまたがって生成するとともに、ユーザによって選択可能とし、選択後に移動させることで、文字列の全体を表示させるようにしてもよい。

実施の形態９．
図１及び図２９に示す入力表示システムでは、文字列認識部５が、表示対象の文字列として、音声の認識結果を示す文字列を取得している。
実施の形態９では、文字列認識部６０が、表示対象の文字列として、操作受付部１により受け付けられた操作によって描かれた文字の認識結果を示す文字列を取得する入力表示システムについて説明する。

図４５は、実施の形態９に係る入力表示制御装置を含む入力表示システム示す構成図であり、図４６は、実施の形態９に係る入力表示システムのハードウェア構成図である。
図４５及び図４６において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
文字列認識部６０は、文字認識処理部６１を含んでおり、操作受付部１により受け付けられた操作によって描かれた文字の認識結果を示す文字列を表示対象の文字列として、軌跡判別部４及び文字列取得部１０のそれぞれに出力する。
文字認識処理部６１は、例えば、光学文字認識処理であるＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）機能を実装している文字認識処理回路３５によって実現される。文字認識処理部６１は、操作受付部１により受け付けられた操作によって描かれた文字を認識し、文字の認識結果を示す文字列を表示対象の文字列として、軌跡判別部４及び文字列取得部１０のそれぞれに出力する。

図４５では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部６０、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８及び文字列一時保存部１９のそれぞれが、図４６に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１、ディスプレイ３２及び文字認識処理回路３５によって実現されるものを想定している。

しかし、入力表示システムは、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理ＤＢ２及び文字列一時保存部１９を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡判別部４、文字認識処理部６１及び表示制御部１２の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納する。そして、図３に示すプロセッサ４２が、メモリ４１に格納されているプログラムを実行するようにすればよい。
図４７は、文字の認識結果を示す文字列の表示処理の一例を示す説明図である。

次に、図４５に示す入力表示システムの動作について説明する。
図４５に示す入力表示システムでは、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定している。したがって、ユーザが自己の指又はタッチパネル用の入力ペンなどを用いて、線を描く操作として、文字を描く操作をタッチパネルに行うと、操作受付部１が、文字を描く操作を受け付けて、操作の内容を軌跡判別部４及び文字列認識部６０のそれぞれに出力する。
出力される文字を描く操作の内容は、例えば、タッチパネルに接触している指の位置又は入力ペンの位置の座標として、タッチパネル上の位置座標の連続的な変化を示す時系列データである。

図４７の例では、ステップＡにおいて、ユーザが「私は和食が食べたいです」という文字列を手書きしている。
文字列認識部６０の文字認識処理部６１は、操作受付部１により受け付けられた操作によって描かれた複数の文字を認識して、複数の文字の認識結果を示す文字列を取得し、取得した文字列を軌跡判別部４及び入力表示制御装置１００のそれぞれに出力する。

軌跡判別部４は、操作受付部１から１つ以上の文字を描く操作の内容を受けて、文字認識処理部６１から文字列を受けると、１つ以上の文字を描く操作の内容を、文字毎に振り分ける処理を実施する。
具体的には、以下の通りである。
まず、軌跡判別部４は、文字を描く操作の内容である時系列データが示すタッチパネル上のそれぞれの位置座標のうち、Ｘ座標が最も小さい座標Ｘ_ＬＥＦＴと、Ｘ座標が最も大きい座標Ｘ_{ＲＩＧＨＴ}とを特定する。軌跡判別部４は、特定した座標Ｘ_{ＲＩＧＨＴ}から座標Ｘ_ＬＥＦＴを減算することで、文字列のＸ方向の長さを算出する。

そして、軌跡判別部４は、文字列のＸ方向の長さを文字数で除算することで、１文字当りＸ方向の長さを算出し、また、１文字当りＸ方向の長さと座標Ｘ_ＬＥＦＴから、各々の文字が存在しているＸ方向の座標範囲を算出する。例えば、文字列の左端からｎ番目の文字が存在しているＸ方向の座標範囲は、（１文字当りＸ方向の長さ×（ｎ−１）＋Ｘ_ＬＥＦＴ）〜（１文字当りＸ方向の長さ×ｎ＋Ｘ_ＬＥＦＴ）のように算出する。
軌跡判別部４は、時系列データが示すそれぞれの位置座標が含まれるＸ方向の座標範囲をみつけて、時系列データが示すそれぞれの位置座標に対応するＸ方向の座標範囲に振り分けることで、１つ以上の文字を描く操作の内容を、文字毎に振り分けるようにする。

次に、軌跡判別部４は、Ｘ方向の座標範囲単位に、当該座標範囲に対応する文字の中心座標として、当該座標範囲に含まれている時系列データが示す複数の位置座標のＸ座標の平均値とＹ座標の平均値とを算出する。
軌跡判別部４は、文字列に含まれている各々の文字の中心座標を算出すると、図４７のステップＢに示すように、各々の文字の中心座標を繋ぎ合わせることで１本の線を生成し、１本の線を文字列の軌跡を表す曲線として、曲線を示す曲線情報を入力表示制御装置１００に出力する。

ここでは、文字列に含まれている各々の文字の大きさが均等であるとして、文字列のＸ方向の長さを文字数で除算することで、１文字当りＸ方向の長さを算出している。手書き文字の場合、各々の文字の大きさが均等であるとは限らないため、Ｘ方向の座標範囲単位が、文字列に含まれている各々の文字と一致しない場合がある。
しかし、図４５に示す入力表示システムでは、各々の文字の中心座標が厳密に分からなくても、文字列が存在している領域をＸ方向に分割した各々の領域の中心座標が分かれば、文字列の並び方向を示す曲線を求めることができる。したがって、各々の文字の大きさが均等でない場合でも、上記の方法で、曲線を求めることができる。
また、ここでは、軌跡判別部４が、文字列の並び方向を示す曲線を求める際、Ｘ方向の座標範囲単位に、時系列データが示すそれぞれの位置座標を振り分けるようにしているが、例えば、手書き文字が縦書きであるような場合には、Ｙ方向の座標範囲単位に、時系列データが示すそれぞれの位置座標を振り分けるようにしてもよい。
ここで説明している各々の位置座標を振り分ける方法は一例に過ぎず、他の方法を用いてもよいことは言うまでもない。

図４５に示す入力表示システムでは、文字を描く操作内容から曲線を求めている。しかし、これは一例に過ぎず、ユーザが、文字を描く操作とは別に、実施の形態１で示している線を描く操作を行うことで、操作受付部１により文字を描く操作及び線を描く操作が受け付けられた場合、軌跡判別部４が、操作受付部１により受け付けられた線を描く操作の内容から、描かれた線の軌跡を表す曲線を判別するようにしてもよい。

表示処理部１８は、文字列取得部１０が文字列認識部６０の文字認識処理部６１から出力された文字列を取得すると、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列をディスプレイ３２に表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、文字列をディスプレイ３２に表示させる。
図４７のステップＣでは、表示処理部１８が、手書き文字に並べるように軌跡を表す曲線を描いて、文字列を表示させている。しかし、これに限るものではなく、表示処理部１８が、例えば、手書き文字を消去させてから、手書き文字の位置に曲線を描いて、文字列を表示させるようにしてもよい。
また、軌跡を表す曲線は、透明であってもよい。

図４５に示す入力表示システムでは、軌跡判別部４が、文字を描く操作内容から曲線を求めることができる。しかし、認識された文字列は、実施の形態１と同様に、予め決定された属性の文字で表示されることになる。したがって、表示処理部１８は、求めた曲線の長さが、文字列の長さより短い場合、実施の形態１と同様に、文字列に含まれている文字の一部を曲線に沿って表示させることができない。
この場合は、実施の形態１と同様に、曲線延長部１７が、曲線を延長することで、表示処理部１８が、表示されていない文字の一部を表示させるようにする。
具体的には、長さ比較部１３が、曲線の長さと文字列の長さを比較し、延長曲線形状決定部１４が、延長曲線の形状を決定し、曲線延長部１７が、曲線情報取得部９により取得された曲線情報が示す曲線に延長曲線を付加することで、曲線を延長する。そして、表示処理部１８が、延長曲線に沿って、表示されていない文字の一部を表示させる。

以上の実施の形態９は、文字列認識部６０が、操作受付部１により受け付けられた操作によって描かれた文字を認識し、文字の認識結果を示す文字列を表示対象の文字列として取得する文字認識処理部６１を備えるように、入力表示システムを構成した。したがって、入力表示システムは、手書き文字を表示する場合でも、実施の形態１と同様に、文字列の全体を表示できない事態を回避することができる。

なお、実施の形態９においても、実施の形態１と同様に、認識結果を示す文字列の長さが長いために、当該文字列の一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置１００を構成するようにしてもよい。
また、認識結果を示す文字列を仮想領域に配置する場合において、ユーザが当該文字列を選択した場合、実施の形態１と同様に、文字列に含まれている文字の輪郭に、当該文字と異なる色の縁を付加するようにしてもよい。
さらに、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、認識結果を示す文字列の全体を生成しきれない事態を回避することができる。
また、ユーザが、手書きの文字列又は認識結果を示す文字列のいずれか又は両方を選択して移動させた場合、手書きの文字列と認識結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。

実施の形態１０．
図４５に示す入力表示システムでは、文字認識処理部６１を備えた文字列認識部６０を図１に示す入力表示制御装置に適用する例を示している。
実施の形態１０では、文字認識処理部６１を備えた文字列認識部６０を図３７に示す入力表示制御装置に適用している入力表示システムについて説明する。
図４８は、実施の形態１０に係る入力表示制御装置を含む入力表示システムを示す構成図である。
図４９は、翻訳結果を示す文字列の表示処理の一例を示す説明図である。

図４５に示す入力表示システムでは、表示処理部１８が、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、複数の文字の認識結果を示す文字列をディスプレイ３２に表示させている。
一方、図４８に示す入力表示システムでは、表示処理部５３が、図４９のステップＣに示すように、曲線情報が示す曲線に沿って、翻訳結果を示す文字列もディスプレイ３２に表示させている点で、図４５に示す入力表示システムと相違している。

以上の実施の形態１０は、実施の形態８と同様に、曲線情報取得部９により取得された曲線情報が示す曲線の長さが、翻訳部５２の翻訳結果を示す文字列より短い場合でも、表示処理部５３が、文字列の全部を曲線に沿って表示させることができる。

なお、実施の形態１０においても、実施の形態１と同様に、翻訳結果を示す文字列の長さが長いために、当該文字列の一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置１００を構成するようにしてもよい。
また、翻訳結果を示す文字列を仮想領域に配置する場合において、ユーザが当該文字列を示す文字列を選択した場合、実施の形態１と同様に、文字列に含まれている文字の輪郭に、当該文字と異なる色の縁を付加するようにしてもよい。
さらに、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、翻訳結果を示す文字列の全体を生成しきれない事態を回避することができる。
また、ユーザが、手書きの文字列又は翻訳結果を示す文字列のいずれか又は両方を選択して移動させた場合、手書きの文字列と翻訳結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る入力表示制御装置、入力表示制御方法及び入力表示システムは、文字列を表示させる用途に適している。

１ 操作受付部、２ 文字管理ＤＢ、３ 文字管理部、４ 軌跡判別部、５ 文字列認識部、６ 音声検出部、７ 音声認識辞書ＤＢ、８ 音声認識部、９ 曲線情報取得部、１０ 文字列取得部、１１ 文字属性情報取得部、１２ 表示制御部、１３ 長さ比較部、１４ 延長曲線形状決定部、１５ 曲線記憶部、１６ 形状決定処理部、１７ 曲線延長部、１８ 表示処理部、１８ａ 文字列選択部、１８ｂ 縁付加部、１８ｃ 文字列移動部、１８ｄ テーブル記憶部、１９ 文字列一時保存部、２１ ポインティングデバイス、２２ 記憶処理回路、２３ 文字管理処理回路、２４ 画像生成処理回路、２５ マイク、２６ 音声認識処理回路、２７ 入力インタフェース回路、２８ 長さ比較処理回路、２９ 形状決定処理回路、３０ 曲線延長処理回路、３１ 表示処理回路、３２ ディスプレイ、３４ 翻訳処理回路、３５ 文字認識処理回路、４１ メモリ、４２ プロセッサ、５１ 表示制御部、５２ 翻訳部、５３ 表示処理部、６０ 文字列認識部、６１ 文字認識処理部、１００ 入力表示制御装置。

Claims (16)

1. 曲線を示す曲線情報を取得する曲線情報取得部と、
   文字列を取得する文字列取得部と、
   前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、
   前記表示制御部は、
   前記文字列取得部により取得された文字列の長さに比べ、前記曲線情報取得部により取得された曲線情報が示す曲線の長さが短いと判断した場合、前記曲線情報取得部により取得された曲線情報が示す曲線に基づいて当該曲線の延長部分の形状を決定して当該曲線を延長し、
   当該曲線がディスプレイの表示領域の端に達した場合、当該曲線の長さと前記文字列取得部により取得された文字列の長さを比較し、
   当該曲線の長さに比べ、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列の一部が前記ディスプレイの表示領域からはみ出してしまうと判断した場合、さらに前記表示領域の周囲の領域である仮想領域まで当該曲線を延長し、
   当該曲線に沿って前記文字列の一部を前記仮想領域に配置して前記表示情報を生成することを特徴とする入力表示制御装置。
2. 前記表示制御部は、一部が前記仮想領域に配置されている文字列の選択を受け付ける文字列選択部を備えていることを特徴とする請求項１記載の入力表示制御装置。
3. 前記文字列選択部は、一部が前記仮想領域に配置されている文字列に含まれている文字のうち、前記表示領域内の文字に対するユーザの接触時間が閾値よりも長ければ、当該文字列の選択を受け付けることを特徴とする請求項２記載の入力表示制御装置。
4. 前記表示制御部は、前記文字列選択部により選択が受け付けられた文字列に含まれている文字の輪郭に、前記文字と異なる色の縁を付加する縁付加部を備えていることを特徴とする請求項２記載の入力表示制御装置。
5. 前記表示制御部は、前記文字列選択部により選択が受け付けられた文字列の移動を受け付ける文字列移動部を備えていることを特徴とする請求項２記載の入力表示制御装置。
6. 前記表示制御部は、前記文字列移動部によって、前記文字列選択部により選択が受け付けられた文字列の全体を前記表示領域に配置するための移動が受け付けられると、当該文字列の全体を前記表示領域に表示するための表示情報を生成することを特徴とする請求項５記載の入力表示制御装置。
7. 前記表示制御部は、前記文字列移動部によって、前記文字列選択部により選択が受け付けられた文字列の全体を前記表示領域の外側に出すための移動が受け付けられると、当該文字列を破棄することを特徴とする請求項５記載の入力表示制御装置。
8. 前記表示制御部は、一部を前記仮想領域に配置した文字列を改行することで、前記仮想領域に配置した文字列の一部を前記表示領域に表示するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
9. 前記表示制御部は、前記曲線情報取得部により取得された曲線情報が示す曲線と同一形状の曲線を生成し、前記生成した曲線に沿って、前記仮想領域に配置した文字列の一部を表示するための表示情報を生成することを特徴とする請求項８記載の入力表示制御装置。
10. 前記表示制御部は、一部を前記仮想領域に配置した文字列の全体を前記表示領域内に移動させて、当該文字列の全体を前記表示領域に表示するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
11. 前記表示制御部は、一部を前記仮想領域に配置した文字列に含まれている文字の文字サイズを小さくして、当該文字列の長さを、前記曲線情報取得部により取得された曲線情報が示す曲線の長さ以下にすることを特徴とする請求項１記載の入力表示制御装置。
12. 前記表示制御部は、前記文字列取得部により取得された文字列の長さが、前記曲線情報取得部により取得された曲線情報が示す曲線の長さよりも短い場合、前記文字列の長さが、前記曲線の長さよりも長くならない範囲で、前記文字列に含まれている文字の文字サイズを大きくすることを特徴とする請求項１記載の入力表示制御装置。
13. 前記表示制御部は、一部を前記仮想領域に配置した文字列を、前記文字列と同じ意味を有し、かつ、前記文字列よりも長さが短い文字列に置換する処理を実施し、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
14. 前記曲線情報取得部は、複数の曲線情報を取得し、
    前記表示制御部は、前記曲線情報取得部により取得された複数の曲線情報が示すそれぞれの曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
15. 曲線情報取得部が、曲線を示す曲線情報を取得し、
    文字列取得部が、文字列を取得し、
    表示制御部が、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する処理を実施し、
    前記表示制御部では、
    前記文字列取得部により取得された文字列の長さに比べ、前記曲線情報取得部により取得された曲線情報が示す曲線の長さが短いと判断した場合、前記曲線情報取得部により取得された曲線情報が示す曲線に基づいて当該曲線の延長部分の形状を決定して当該曲線を延長し、
    当該曲線がディスプレイの表示領域の端に達した場合、当該曲線の長さと前記文字列取得部により取得された文字列の長さを比較し、
    当該曲線の長さに比べ、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列の一部が前記ディスプレイの表示領域からはみ出してしまうと判断した場合、さらに前記表示領域の周囲の領域である仮想領域まで当該曲線を延長し、
    当該曲線に沿って前記文字列の一部を前記仮想領域に配置して前記表示情報を生成することを特徴とする入力表示制御方法。
16. 線を描く操作を受け付ける操作受付部と、
    前記操作受付部により受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
    表示対象の文字列を認識する文字列認識部と、
    前記軌跡判別部により判別された軌跡を表す曲線を示す曲線情報を取得する曲線情報取得部と、
    前記文字列認識部により認識された文字列を取得する文字列取得部と、
    前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、
    前記表示制御部は、
    前記文字列取得部により取得された文字列の長さに比べ、前記曲線情報取得部により取得された曲線情報が示す曲線の長さが短いと判断した場合、前記曲線情報取得部により取得された曲線情報が示す曲線に基づいて当該曲線の延長部分の形状を決定して当該曲線を延長し、
    当該曲線がディスプレイの表示領域の端に達した場合、当該曲線の長さと前記文字列取得部により取得された文字列の長さを比較し、
    当該曲線の長さに比べ、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列の一部が前記ディスプレイの表示領域からはみ出してしまうと判断した場合、さらに前記表示領域の周囲の領域である仮想領域まで当該曲線を延長し、
    当該曲線に沿って前記文字列の一部を前記仮想領域に配置して前記表示情報を生成することを特徴とする入力表示システム。

Images