JP6656477B1 - 入力表示制御装置、入力表示制御方法及び入力表示システム - Google Patents

Abstract

３次元空間の映像を取得する映像取得部（７１）と、３次元の曲線を示す曲線情報を取得する曲線情報取得部（９）と、文字列を取得する文字列取得部（１０）と、曲線情報取得部（９）により取得された曲線情報が示す曲線に沿って、文字列取得部（１０）により取得された文字列に含まれている文字を示すオブジェクトである文字オブジェクトを映像取得部（７１）により取得された映像に重畳するための表示情報を生成する表示制御部（１２）とを備え、表示制御部（１２）が、文字列取得部（１０）により取得された文字列の長さが長いために、文字列取得部（１０）により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイ（３２）の表示領域からはみ出してしまう場合、文字についての文字オブジェクトの一部を表示領域が示す３次元空間の周囲の３次元空間に配置するように、入力表示制御装置（１００）を構成した。

Description

この発明は、配置された文字オブジェクトを表示する入力表示制御装置、入力表示制御方法及び入力表示システムに関するものである。

以下の特許文献１には、曲線などの線に沿って、文字列を表示するための表示情報を生成する入力表示制御装置が開示されている。

国際公開第２０１７／１３８０７６号

特許文献１に開示されている入力表示制御装置は、文字列を表示するための表示情報をディスプレイの表示領域に生成するようにしている。しかしながら、特許文献１に開示されている入力表示制御装置を、文字列に含まれている文字オブジェクトを３次元空間に配置する入力表示制御装置に適用すると、文字オブジェクトの配置がディスプレイの表示領域に制限されることになる。ディスプレイの表示領域には、サイズの制約があるので、文字列に含まれている文字オブジェクトの全部を配置しきれないことがあるという課題があった。

この発明は上記のような課題を解決するためになされたもので、文字列に含まれている文字オブジェクトの全部を配置しきれない事態を回避することができる入力表示制御装置、入力表示制御方法及び入力表示システムを得ることを目的とする。

この発明に係る入力表示制御装置は、３次元空間の映像を取得する映像取得部と、３次元の曲線を示す曲線情報を取得する曲線情報取得部と、文字列を取得する文字列取得部と、曲線情報取得部により取得された曲線情報が示す曲線に沿って、文字列取得部により取得された文字列に含まれている文字を示すオブジェクトである文字オブジェクトを映像取得部により取得された映像に重畳するための表示情報を生成する表示制御部とを備え、表示制御部が、文字列取得部により取得された文字列の長さが長いために、文字列取得部により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイの表示領域からはみ出してしまう場合、曲線情報取得部により取得された曲線情報が示す曲線を非表示領域まで延長した曲線に沿って文字についての文字オブジェクトの一部を表示領域が示す３次元空間の周囲の３次元空間に配置した表示情報のための情報を生成するようにしたものである。

この発明によれば、表示制御部が、文字列取得部により取得された文字列の長さが長いために、文字列取得部により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイの表示領域からはみ出してしまう場合、曲線情報取得部により取得された曲線情報が示す曲線を非表示領域まで延長した曲線に沿って文字についての文字オブジェクトの一部を表示領域が示す３次元空間の周囲の３次元空間に配置した表示情報のための情報を生成するように、入力表示制御装置を構成した。したがって、この発明に係る入力表示制御装置は、文字列に含まれている文字オブジェクトの全部を配置しきれない事態を回避することができる。

実施の形態１に係る入力表示制御装置を含む入力表示システム示す構成図である。 実施の形態１に係る入力表示システムのハードウェア構成図である。 入力表示システムがソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その１）。 実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その２）。 文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。 図７Ａから図７Ｄは、３次元空間に存在している物体及び映像取得部７１から出力された映像を示す説明図である。 音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。 曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。 図１０Ａは、曲線の長さが文字列の長さよりも長ければ、文字列に含まれている全ての文字オブジェクトを曲線画像の上に重ねて表示できることを示す説明図、図１０Ｂは、曲線の長さが文字列の長さよりも短ければ、文字列に含まれている一部の文字オブジェクトを曲線画像の上に重ねて表示できないことを示す説明図である。 図１１Ａは、曲線の形状が直線である場合に、曲線の長さＬの算出に用いる曲線の先端及び終端の位置座標を示す説明図である。図１１Ｂは、曲線の形状が曲がっている場合に、曲線の長さＬの算出に用いる曲線の先端、終端及び中間点の位置座標を示す説明図である。 表示制御部１２の延長曲線形状決定部１４の処理内容を示す説明図である。 延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図である。 延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図である。 延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図である。 延長曲線の形状が円弧形状である例を示す説明図である。 表示制御部１２の曲線延長部１７の処理内容を示す説明図である。 表示処理部１８が文字列に含まれている文字オブジェクトの一部をディスプレイ３２に表示させることができない例を示す説明図である。 ディスプレイ３２の表示領域と、表示領域の周囲の領域である非表示領域とを示す説明図である。 表示処理部１８が、文字列の一部を非表示領域に配置した後の処理を示すフローチャートである。 文字列選択部１８ａにより選択が受け付けられた文字列を示す説明図である。 図１９Ａは、曲線画像の上に文字オブジェクトが重ねて表示させている文字列の移動を示す説明図、図１９Ｂは、曲線画像が文字オブジェクトの下線として表記されている例を示す説明図である。 文字列取得部１０により取得された文字列の破棄を示す説明図である。 ユーザがＡＲマーカを用いている例を示す説明図である。 ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、非表示領域に配置された文字オブジェクがディスプレイ３２に表示される例を示す説明図である。 実施の形態２に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、非表示領域に配置された文字オブジェクがディスプレイ３２に表示される例を示す説明図である。 表示制御部１２が、文字についての文字オブジェクトの一部が非表示領域に配置されているオブジェクトの全体を表示領域に移動させて、当該文字列に含まれている文字オブジェクトの全体をディスプレイ３２に表示させている例を示す説明図である。 実施の形態３に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 表示制御部１２が、文字オブジェクトの一部が非表示領域に配置されている文字列の全体を移動させたのち、文字列を改行することで、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示させている例を示す説明図である。 表示制御部１２が、文字オブジェクトのサイズを小さくして、文字列に含まれている文字オブジェクトの全体をディスプレイ３２に表示させている例を示す説明図である。 実施の形態４に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 表示制御部１２が、文字列の長さが、曲線の長さよりも長くならない範囲で、文字オブジェクトのサイズを大きくしている例を示す説明図である。 実施の形態５に係る入力表示制御装置を含む入力表示システム示す構成図である。 「文字列」と「簡易の文字列」との対応関係を示すテーブルを示す説明図である。 実施の形態５に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 表示制御部１２が、置換処理後の文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。 表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。 実施の形態６に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。 ユーザが複数の線を描く操作を行ってから、ユーザが発話を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。 ユーザが発話を行ってから、ユーザが複数の線を描く操作を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。 実施の形態８に係る入力表示制御装置を含む入力表示システム示す構成図である。 実施の形態８に係る入力表示システムのハードウェア構成図である。 表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。 表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。 翻訳結果を示す文字列に含まれている文字オブジェクトを表示する例を示す説明図である。 翻訳結果を示す文字列に含まれている文字オブジェクトを表示する例を示す説明図である。 ディスプレイ３２が対面二画面で構成されている場合の表示処理部５３における表示処理の一例を示す説明図である。 翻訳結果を示す文字列に含まれている文字オブジェクトを表示する例を示す説明図である。 実施の形態９に係る入力表示制御装置を含む入力表示システム示す構成図である。 実施の形態９に係る入力表示システムのハードウェア構成図である。 文字の認識結果を示す文字列に含まれている文字オブジェクトの表示処理の一例を示す説明図である。 実施の形態１０に係る入力表示制御装置を含む入力表示システム示す構成図である。 翻訳結果を示す文字列に含まれている文字オブジェクトの表示処理の一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る入力表示制御装置を含む入力表示システム示す構成図であり、図２は、実施の形態１に係る入力表示システムのハードウェア構成図である。
図１及び図２において、入力表示制御装置１００は、ポインティングデバイス２１として、タッチパネルを用いるものを想定している。しかし、これは一例に過ぎず、入力表示制御装置１００は、ジョイスティック、ポインティング・スティック、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。
また、入力表示制御装置１００の筐体には、撮像デバイスとしてカメラ７０が取り付けられている。カメラ７０は、３次元空間を撮像し、３次元空間の撮像結果である映像を入力表示制御装置１００に出力する。

映像取得部７１は、例えば、図２に示す入力インタフェース回路２７によって実現される。入力インタフェース回路２７は、例えば、ＬＡＮポート又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを有している。
映像取得部７１は、カメラ７０により撮像された３次元空間の映像を取得し、取得した映像を表示制御部１２に出力する。また、映像取得部７１は、カメラ７０により撮像された３次元空間の映像に基づいて、入力表示制御装置１００が存在している位置を認識し、位置を示す位置情報を表示制御部１２及び軌跡判別部４のそれぞれに出力する。

操作受付部１は、例えば、図２に示すポインティングデバイス２１によって実現される。操作受付部１は、ユーザの操作として、線を描く操作を受け付け、受け付けた操作の内容を軌跡判別部４に出力する。
文字管理ＤＢ（ＤａｔａＢａｓｅ）２は、例えば、図２に示す記憶処理回路２２によって実現される。文字管理ＤＢ２は、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。
文字管理部３は、例えば、図２に示す文字管理処理回路２３によって実現される。文字管理部３は、事前にディスプレイ３２に表示する文字のサイズが設定されている。文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、文字サイズに対応する文字高を示す文字属性情報を軌跡判別部４に出力し、文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置１００に出力する。

軌跡判別部４は、例えば、図２に示す画像生成処理回路２４によって実現される。軌跡判別部４は、操作受付部１により受け付けられた操作によって描かれた線の軌跡を判別する。軌跡判別部４は、軌跡を表す曲線の長さ及び形状などを示す情報として、入力表示制御装置１００の位置情報と判別した情報を基に生成した３次元の曲線を示す曲線情報を入力表示制御装置１００に出力する。３次元の曲線には、直線又は折れ曲がった線など、あらゆる形状の線が含まれるものとする。
また、軌跡判別部４は、軌跡を表す３次元の曲線の画像である曲線画像を生成し、曲線画像を入力表示制御装置１００に出力する。曲線画像は、曲線情報に含められており、軌跡判別部４は、曲線画像を含む曲線情報を入力表示制御装置１００に出力している。
曲線画像の線幅は、文字管理部３から出力された文字属性情報が示す文字高に対応している。

文字列認識部５は、音声検出部６、音声認識辞書ＤＢ７及び音声認識部８を備えている。文字列認識部５は、音声の認識結果を示す文字列を表示対象の文字列として入力表示制御装置１００に出力する。
音声検出部６は、例えば、図２に示すマイク２５によって実現される。音声検出部６は、ユーザの音声を検出し、検出した音声を音声認識部８に出力する。
音声認識辞書ＤＢ７は、例えば、図２に示す記憶処理回路２２によって実現される。音声認識辞書ＤＢ７は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とを備えている。

音声認識部８は、例えば、図２に示す音声認識処理回路２６によって実現される。音声認識部８は、音声検出部６により検出された音声を認識する音声認識エンジンを搭載している。
音声認識部８は、音声検出部６により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。音声認識部８は、探索した言葉を示す文字列を音声の認識結果を示す文字列として入力表示制御装置１００に出力する。

図１に示す文字列認識部５は、音声認識辞書ＤＢ７及び音声認識部８を実装している。しかし、これは一例に過ぎず、音声認識辞書ＤＢ７及び音声認識部８の代わりに、データ送受信部が実装されている文字列認識部５であってもよい。
データ送受信部は、インターネット又はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器である。データ送受信部は、音声検出部６により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、受信したデータが示す音声を認識して、音声の認識結果を示す文字列を当該データ送受信部に送信する。
データ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、文字列を入力表示制御装置１００に出力する。

入力表示制御装置１００は、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、表示制御部１２及び映像取得部７１を備えている。
曲線情報取得部９は、例えば、図２に示す入力インタフェース回路２７によって実現される。曲線情報取得部９は、軌跡判別部４から出力された曲線情報を取得し、取得した曲線情報を長さ比較部１３、形状決定処理部１６、曲線延長部１７及び表示処理部１８のそれぞれに出力する。

文字列取得部１０は、例えば、図２に示す入力インタフェース回路２７によって実現される。文字列取得部１０は、音声認識部８から出力された文字列を取得し、取得した文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
文字属性情報取得部１１は、例えば、図２に示す入力インタフェース回路２７によって実現される。文字属性情報取得部１１は、文字管理部３から出力された文字属性情報を取得し、取得した文字属性情報を長さ比較部１３に出力する。

表示制御部１２は、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７及び表示処理部１８を備えている。
表示制御部１２は、軌跡判別部４により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字を示すオブジェクトである文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成する。表示制御部１２は、生成した表示情報に従って、文字オブジェクトを重畳した映像をディスプレイ３２の表示領域に表示させる。表示制御部１２により生成される表示情報は、文字列取得部１０により取得された文字列に含まれている文字についての文字オブジェクトを曲線情報取得部９により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。
以下、説明の表記を簡単化するため、「文字列に含まれている文字を示す文字オブジェクト」を「文字列に含まれている文字オブジェクト」のように表記することがある。

表示制御部１２は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列取得部１０により取得された文字列に含まれている一部の文字についての文字オブジェクトを曲線に沿って表示することができないと判断した場合、曲線の形状から、曲線の延長部分の形状を決定して、曲線を延長する。表示制御部１２は、延長部分の曲線に沿って、一部の文字についての文字オブジェクトを映像に重畳するための表示情報を生成し、生成した表示情報に従って一部の文字についての文字オブジェクトをディスプレイ３２に表示させる。

また、表示制御部１２は、文字列取得部１０により取得された文字列の長さが長いために、文字列取得部１０により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字についての文字オブジェクトの一部をディスプレイ３２の表示領域が示す３次元空間の周囲の３次元空間に配置する。
以下、ディスプレイ３２の表示領域が示す３次元空間を「表示領域」と称し、ディスプレイ３２の表示領域が示す３次元空間の周囲の３次元空間を「非表示領域」と称している。

例えば、ユーザが、ディスプレイ３２の表示領域の右端方向にディスプレイ３２をなぞったとき、曲線情報が示す曲線の右端が、ディスプレイ３２の表示領域の右端よりも、左端側であれば、表示制御部１２が、曲線を表示領域の右端方向に延長することができる。
しかし、曲線を表示領域の右端まで延長しても、曲線の長さが文字列の全体の長さよりも短い場合、文字列に含まれている文字についての文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまうことがある。この場合、曲線情報が示す曲線の右端をさらに非表示領域まで延長し、延長した曲線に沿って文字列を配置する。
さらに、表示制御部１２は、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示した後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従って曲線画像を消去させる。

長さ比較部１３は、例えば、図２に示す長さ比較処理回路２８によって実現される。長さ比較部１３は、曲線情報取得部９により取得された曲線情報が示す曲線の長さと、文字列取得部１０により取得された文字列の長さとを比較し、曲線の長さと文字列の長さとの比較結果を形状決定処理部１６及び曲線延長部１７のそれぞれに出力する。

延長曲線形状決定部１４は、例えば、図２に示す形状決定処理回路２９によって実現されるものであり、曲線記憶部１５及び形状決定処理部１６を備えている。延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する。

曲線記憶部１５は、事前に形状が異なる複数の曲線を記憶している。なお、曲線記憶部１５に記憶された複数の曲線は、２次元曲線だけでなく、奥行きを有する３次元曲線も含んでいる。
形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状と、曲線情報取得部９により取得された曲線情報が示す曲線の形状とを照合して、曲線記憶部１５に記憶されている複数の曲線の形状の中から、曲線情報取得部９により取得された曲線情報が示す曲線に対応する曲線の形状を選択する。形状決定処理部１６は、選択した曲線の形状から延長曲線の形状を決定し、形状を決定した延長曲線を曲線延長部１７に出力する。

曲線延長部１７は、例えば、図２に示す曲線延長処理回路３０によって実現される。曲線延長部１７は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、延長曲線形状決定部１４により形状が決定された延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加する。

表示処理部１８は、例えば、図２に示す表示処理回路３１によって実現される。表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを含んでいる。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、文字オブジェクトを重畳した映像をディスプレイ３２に表示させる。

また、表示処理部１８は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、曲線延長部１７により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字についての文字オブジェクトの一部を映像に重畳するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って文字についての文字オブジェクトの一部を重畳した映像をディスプレイ３２に表示させる。
さらに、表示処理部１８は、ディスプレイ３２に文字列に含まれている文字オブジェクを表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従って、ディスプレイ３２に曲線画像を消去させる。

文字列選択部１８ａは、例えば、図２に示すポインティングデバイス２１によって実現される。文字列選択部１８ａは、文字についての文字オブジェクトの一部が周囲の３次元空間に配置されている文字列の選択を受け付ける。文字列選択部１８ａは、例えば、文字についての文字オブジェクトの一部が周囲の３次元空間に配置されている文字列に含まれている文字オブジェクトのうち、映像に重畳されている文字オブジェクトに対するユーザの接触時間が閾値よりも長ければ、当該文字列の選択を受け付ける。閾値は、文字列選択部１８ａの内部メモリに格納されているものであってもよいし、外部から与えられるものであってもよい。

縁付加部１８ｂは、例えば、図２に示す画像生成処理回路２４によって実現される。縁付加部１８ｂは、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字オブジェクトの輪郭に、文字オブジェクトと異なる色の縁を付加する。
文字列移動部１８ｃは、例えば、図２に示すポインティングデバイス２１によって実現される。文字列移動部１８ｃは、文字列選択部１８ａにより選択が受け付けられた文字列の移動を受け付ける。

表示処理部１８は、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字オブジェクトの全体を映像取得部７１により取得された映像が示す３次元空間に配置するための移動が受け付けられると、当該文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成する。
また、表示処理部１８は、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字オブジェクトの全体を映像取得部７１により取得された映像の外側に出すための移動が受け付けられると、文字列取得部１０により取得された文字列を破棄する。

文字列一時保存部１９は、例えば、図２に示す記憶処理回路２２によって実現される。文字列一時保存部１９は、文字列取得部１０により取得された文字列を一時的に保存する。

図１では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部５、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８、文字列一時保存部１９及び映像取得部７１のそれぞれが、図２に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１及びディスプレイ３２によって実現されるものを想定している。

ここで、記憶処理回路２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、文字管理処理回路２３、画像生成処理回路２４、音声認識処理回路２６、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０及び表示処理回路３１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

また、入力表示システムの構成要素が専用のハードウェアで実現されるものに限るものではなく、入力表示システムがソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。
図３は、入力表示システムがソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。

入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１９をコンピュータのメモリ４１上に構成する。また、文字管理部３、軌跡判別部４、音声認識部８、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８及び映像取得部７１の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納する。そして、プロセッサ４２が、メモリ４１に格納されているプログラムを実行するようにすればよい。
図４は、実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その１）。図５は、実施の形態１に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである（その２）。

また、図２では、入力表示システムの構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、入力表示システムがソフトウェア又はファームウェアなどで実現される例を示している。しかし、これは一例に過ぎず、入力表示システムにおける一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェア又はファームウェアなどで実現されるものであってもよい。
例えば、操作受付部１及び文字列認識部５を専用のハードウェアで実現し、文字管理ＤＢ２、文字管理部３、軌跡判別部４、入力表示制御装置１００及び文字列一時保存部１９をソフトウェア又はファームウェアなどで実現することが可能である。ただし、専用のハードウェアとソフトウェア等の組み合わせは任意である。

次に、図１に示す入力表示システムの動作について説明する。
カメラ７０は、３次元空間を撮像し、３次元空間の撮像結果である映像を入力表示制御装置１００に出力する。
映像取得部７１は、カメラ７０から出力された３次元空間の映像を取得し、取得した映像を表示制御部１２に出力する（図４のステップＳＴ１）。
また、映像取得部７１は、例えば、３次元空間の映像内に存在している複数の物体までの距離をそれぞれ測定する。それぞれの物体までの距離の測定方法としては、どのような方法を用いてもよいが、例えば、カメラ７０の焦点距離、あるいは、赤外線に基づいて、物体までの距離を測定する方法を用いることができる。
映像取得部７１は、複数の物体までの距離に基づいて、入力表示制御装置１００が存在している３次元空間内の位置を認識し、位置を示す位置情報を表示制御部１２及び軌跡判別部４のそれぞれに出力する（図４のステップＳＴ２）。複数の物体までの距離に基づいて、入力表示制御装置１００が存在している３次元空間内の位置を認識する処理自体は、公知の技術であるため詳細な説明を省略する。

図６は、文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。
図６の文字属性表では、例えば、文字種毎に、文字サイズに対応している文字高と文字幅が記述されている。文字種としては、明朝体、ゴシック体などが考えられる。
文字管理部３には、映像に重畳する文字の文字種及び文字サイズが事前に設定されており、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、文字種及び文字サイズに対応する文字高を示す文字属性情報を軌跡判別部４に出力する。また、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、文字種及び文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置１００の文字属性情報取得部１１に出力する（図４のステップＳＴ３）。

例えば、事前に設定されている文字の文字種が“Ａ”で、文字サイズが“１０”であれば、文字高が“５ｍｍ”であることを示す文字属性情報が、文字管理部３から軌跡判別部４に出力される。また、文字高が“５ｍｍ”、文字幅が“５ｍｍ”であることを示す文字属性情報が、文字管理部３から入力表示制御装置１００に出力される。
また、事前に設定されている文字の文字種が“Ｂ”で、文字サイズが“５”であれば、文字高が“２ｍｍ”であることを示す文字属性情報が、文字管理部３から軌跡判別部４に出力される。また、文字高が“２ｍｍ”、文字幅が“１．２５ｍｍ”であることを示す文字属性情報が、文字管理部３から入力表示制御装置１００に出力される。

軌跡判別部４は、文字管理部３から文字属性情報を受けると、生成する３次元の曲線画像の線幅を、文字属性情報が示す文字高に対応する線幅に設定する（図４のステップＳＴ４）。
例えば、文字属性情報が示す文字高が“１０ｍｍ”であるとき、仮に文字の上部及び下部の余白が“０．５ｍｍ”に設定されているとすれば、軌跡判別部４は、１０＋０．５＋０．５＝１１＝（ｍｍ）と計算して、曲線画像の線幅を“１１ｍｍ”に設定する。
ここでは、軌跡判別部４が、文字の上部及び下部に余白を設けているが、余白を設けずに、文字属性情報が示す文字高と曲線画像の線幅とが一致するものであってもよい。

図１に示す入力表示制御装置では、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定している。したがって、ユーザが自己の指、又は、タッチパネル用の入力ペンなどを用いて、線を描く操作をタッチパネルに行うと（図４のステップＳＴ５：ＹＥＳの場合）、操作受付部１が、線を描く操作を受け付ける（図４のステップＳＴ６）。操作受付部１は、受け付けた操作の内容を軌跡判別部４に出力する。
出力される線を描く操作の内容は、例えば、タッチパネルに接触している指の位置の座標又は入力ペンの位置の座標の連続的な変化を示す時系列データである。なお、位置の座標は、タッチパネル上の位置座標である。

軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると、操作内容から操作によって描かれた線の軌跡を判別する（図４のステップＳＴ７）。
線を描く操作の内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、描かれた線の軌跡を判別することができる。
軌跡判別部４は、描かれた線の軌跡を判別すると、軌跡を表す３次元の曲線の長さ、曲線の奥行及び形状などを示す情報として、曲線を示す曲線情報を生成する（図４のステップＳＴ８）。
曲線の奥行を示す情報は、映像取得部７１から出力された位置情報が示す入力表示制御装置１００の３次元空間内の位置に対して、事前に設定されている奥行の長さを加えた曲線の座標に関する情報である。事前に設定されている奥行の長さは、例えば、ディスプレイ３２から２ｃｍの位置に３次元の曲線画像を配置するものとする場合、２ｃｍである。ディスプレイ３２から１０ｃｍの位置に３次元の曲線画像を配置するものとする場合、１０ｃｍである。
３次元の曲線画像の線幅は、図４のステップＳＴ４で設定した線幅であり、上記の例では、曲線画像の線幅を“１１ｍｍ”に設定しているので、軌跡判別部４は、線幅が“１１ｍｍ”の曲線画像を生成する（図４のステップＳＴ６）。
軌跡判別部４は、３次元の曲線画像を含む３次元の曲線情報を入力表示制御装置１００の曲線情報取得部９に出力する。

文字列認識部５の音声認識部８は、音声検出部６がユーザの音声を検出すると（図４のステップＳＴ９：ＹＥＳの場合）、音声認識辞書ＤＢ７を利用して、音声の認識処理を実施することで、音声の認識結果を示す文字列を生成する（図４のステップＳＴ１０）。音声認識部８は、生成した文字列を入力表示制御装置１００の文字列取得部１０に出力する。
音声認識部８による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、以下に示すような音声認識方法が考えられる。
［音声認識方法］
音声検出部６により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。そして、探索した言葉を示す文字列を音声の認識結果を示す文字列として出力する方法。
図１に示す入力表示制御装置では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部８が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。

入力表示制御装置１００は、軌跡判別部４から３次元の曲線画像を含む３次元の曲線情報が出力されると、３次元の曲線画像を映像取得部７１から出力された映像に重畳させる。また、入力表示制御装置１００は、文字列認識部５から出力された文字列に含まれている文字オブジェクトを映像に重畳させる。
以下、入力表示制御装置１００の処理内容を具体的に説明する。

図７Ａから図７Ｄは、３次元空間に存在している物体及び映像取得部７１から出力された映像を示す説明図である。
図７Ａは、３次元空間に存在している物体がディスプレイ３２に表示されている様子を示し、図７Ｂは、３次元の曲線画像の表示途中を示している。また、図７Ｃは、３次元の曲線画像及び文字オブジェクトがディスプレイ３２に表示されている様子を示し、図７Ｄは、文字オブジェクトの表示結果を示している。
図８は、音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。
図９は、曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。
図１０は、曲線画像の上に重ねて表示する文字オブジェクトを示す説明図である。図１０Ａは、曲線の長さが文字列の長さよりも長ければ、文字列に含まれている全ての文字オブジェクトを曲線画像の上に重ねて表示できることを示している。図１０Ｂは、曲線の長さが文字列の長さよりも短ければ、文字列に含まれている一部の文字オブジェクトを曲線画像の上に重ねて表示できないことを示している。
図１１は、表示制御部１２の長さ比較部１３の処理内容を示す説明図である。図１１Ａは、曲線の形状が直線である場合に、曲線の長さＬの算出に用いる曲線の先端及び終端の位置座標を示している。図１１Ｂは、曲線の形状が曲がっている場合に、曲線の長さＬの算出に用いる曲線の先端、終端及び中間点の位置座標を示している。
図１２は、表示制御部１２の延長曲線形状決定部１４の処理内容を示す説明図である。
図１３Ａは、延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図であり、図１３Ｂは、延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図である。
図１３Ｃは、延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図であり、図１３Ｄは、延長曲線の形状が円弧形状である例を示す説明図である。
図１４は、表示制御部１２の曲線延長部１７の処理内容を示す説明図である。

表示制御部１２の表示処理部１８は、文字列認識部５の音声認識部８から文字列が出力される前に、軌跡判別部４から３次元の曲線情報が出力されることで、曲線情報取得部９が３次元の曲線情報を取得すると（図５のステップＳＴ１１：ＹＥＳの場合）、３次元の曲線画像を映像に重畳するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、図７Ｂに示すように、３次元の曲線画像を重畳した映像をディスプレイ３２に表示させる（図５のステップＳＴ１２）。
図７Ｂは、３次元の曲線画像の表示途中を示している。
説明の簡単化のために、３次元の曲線画像を２次元で表すと、表示処理部１８によって、ディスプレイ３２に表示される曲線画像は、図８のステップＡのようになる。
実施の形態１では、説明の便宜上、ユーザの操作によって描かれている線の長さが短いために、曲線の長さが、音声の認識結果を示す文字列の長さよりも短くなっているものとする。
なお、表示処理部１８が曲線画像を表示させる際、曲線画像の全体を同時に表示させるようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションで、曲線画像を表示させるようにしてもよい。

文字列取得部１０は、例えば、図８のステップＢに示すように、ユーザが「春になったら桜を見に行きましょう」という発話を行うことで、音声認識部８から「春になったら桜を見に行きましょう」を示す文字列が出力されると、文字列を取得する。文字列取得部１０は、取得した文字列を長さ比較部１３に出力する。
文字属性情報取得部１１は、文字管理部３から出力された文字属性情報を取得し、文字属性情報を長さ比較部１３に出力する。

長さ比較部１３は、文字列取得部１０から出力された「春になったら桜を見に行きましょう」を示す文字列を受けると、文字属性情報取得部１１から出力された文字属性情報が示す文字幅を参照して、当該文字列の長さを算出する（図５のステップＳＴ１３）。
ここでは、音声認識部８から出力された文字列が「春になったら桜を見に行きましょう」であり、文字列の文字数が１６である。したがって、文字管理部３から出力された文字属性情報が示す文字幅が、例えば、“５ｍｍ”であれば、文字列の長さは、下記の式（１）に示すように、８０ｍｍとなる。
文字列の長さ＝５ｍｍ×１６＝８０ｍｍ （１）

次に、長さ比較部１３は、曲線情報取得部９により取得された曲線情報が示す曲線の長さを算出する（図５のステップＳＴ１４）。
曲線の長さＬは、曲線の形状が例えば図１１Ａに示すような直線であれば、下記の式（２）に示すように、曲線の先端の位置座標（Ｘｓ，Ｙｓ）と終端の位置座標（Ｘｅ，Ｙｅ）とから算出することができる。図８のステップＡに表示している曲線画像の場合、曲線の左端が曲線の先端、曲線の右端が曲線の終端である。これらの位置座標は、文字幅等を表す単位と同じ単位であるものとする。ここでは、ｍｍが単位である。

式（２）は、説明の簡単化のため、曲線が２次元の曲線であるものとしているが、曲線が３次元の曲線であれば、曲線の先端及び終端のＺ座標の位置を用いることで、曲線の長さＬを算出することができる。

式（２）では、曲線の形状が直線である場合の曲線の長さＬの算出式を示している。しかし、これは一例に過ぎず、例えば、曲線の形状が図１１Ｂに示すような曲線であれば、曲線の先端の位置座標（Ｘｓ，Ｙｓ）及び終端の位置座標（Ｘｅ，Ｙｅ）と、曲線の先端から終端に至る複数の中間点の位置座標（Ｘｎ，Ｙｎ）（ｎ＝１，・・・，Ｎ：Ｎは１以上の整数）とを用いて、曲線の形状を直線で近似することで、曲線の長さＬを算出することができる。
曲線の長さＬは、例えば、Ｎ＝２の場合、下記の式（３）に示すように、曲線の先端の位置座標（Ｘｓ，Ｙｓ）と、中間点の位置座標（Ｘ１，Ｙ１）と、中間点の位置座標（Ｘ２，Ｙ２）と、終端の位置座標（Ｘｅ，Ｙｅ）とから算出することができる。

式（３）において、Ｘｓ＜Ｘ１＜Ｘ２＜Ｘｅであり、Ｙｓ＜Ｙ１＜Ｙ２＜Ｙｅである。
図１０Ｂでは、Ｎ＝２の例を示しているが、近似精度を高めるために、Ｎを３以上にして、数多くの中間点の位置座標（Ｘｎ，Ｙｎ）を用いるようにしてもよいことは言うまでもない。
式（３）は、説明の簡単化のため、曲線が２次元の曲線であるものとしているが、曲線が３次元の曲線であれば、曲線の先端、中間点及び終端のＺ座標の位置を用いることで、曲線の長さＬを算出することができる。この場合、Ｚ座標の位置は、入力表示制御装置１００の３次元空間内の位置のＺ座標を用いることができる。
なお、ユーザが入力表紙制御装置１００の３次元空間内の位置を移動させず、曲線を入力した場合は、Ｚ座標の変化はないため式（３）を用いて曲線の長さＬを求めることができる。

長さ比較部１３は、曲線の長さを算出すると、曲線の長さと文字列の長さとを比較する（図５のステップＳＴ１５）。長さ比較部１３は、曲線の長さと文字列の長さとの比較結果を形状決定処理部１６及び曲線延長部１７のそれぞれに出力する。
延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば（図５のステップＳＴ１６：ＹＥＳの場合）、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する（図５のステップＳＴ１７）。
以下、延長曲線形状決定部１４による延長曲線の形状の決定処理を具体的に説明する。

形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状と、曲線情報取得部９により取得された曲線情報が示す曲線の形状との照合を行う。
形状決定処理部１６は、曲線の形状の照合を行うことで、曲線記憶部１５に記憶されている複数の曲線の形状の中で、曲線情報が示す曲線の形状と最も一致度が高い曲線の形状を特定し、最も一致度が高い曲線の形状を選択する。曲線の形状を照合して、一致度が最も高い曲線の形状を特定する処理自体は公知の技術であるため詳細な説明を省略する。

形状決定処理部１６は、曲線記憶部１５に記憶されている複数の曲線の形状の中から、図１２に示すような曲線の形状を選択すると、選択した曲線の形状から延長曲線の形状を決定する。
例えば、曲線記憶部１５に記憶されている複数の曲線の長さが、操作によって描かれた線の軌跡を表す曲線よりも十分に長ければ、選択した曲線の形状の中で、曲線情報が示す曲線よりも長い部分の形状を、延長曲線の形状に決定する。
図１２の例では、操作によって描かれた線の軌跡を表す曲線として、軌跡判別部４により判別された軌跡を表す曲線を破線で表している。また、図１２の例では、最も一致度が高い選択した曲線を実線で表しており、破線で表している曲線の延長部分の形状を、実線で表している曲線の形状と同じにしている。

実施の形態１では、曲線記憶部１５に記憶されている複数の曲線の形状の中で、軌跡判別部４により判別された軌跡を表す曲線の形状と最も一致度が高い曲線の形状を選択し、選択した曲線の形状から延長曲線の形状を決定する例を示している。しかし、これは一例に過ぎず、他の方法で、延長部分の曲線である延長曲線の形状を決定するものであってもよい。
例えば、軌跡判別部４により判別された軌跡を表す曲線の形状の曲率の変化傾向などを計算し、曲率の変化傾向から、延長曲線の形状を推定するなどの方法が考えられる。

図１３Ａから図１３Ｄは、延長曲線の形状決定例を示しており、図１３Ａでは、緩く曲がっている曲線の終端部における接線の形状を延長曲線の形状としている。
図１３Ｂでは、曲線全体の曲率が一定であるため、延長曲線の形状の曲率を、軌跡判別部４により判別された軌跡を表す曲線である元の曲線の形状の曲率と同じにしている。
図１３Ｃでは、曲線の形状が周期的な波線形状であるため、延長曲線の形状を元の曲線と同じ周期の波線形状にしている。
図１３Ｄでは、曲線の終端付近が円弧状に曲がっているため、延長曲線の形状を元の曲線の終端付近と同様の円弧形状にしている。

曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する（図５のステップＳＴ１８）。
図１４の例では、曲線の長さが６０ｍｍ、文字列の長さが８０ｍｍであり、曲線の長さが文字列の長さよりも２０ｍｍ短いため、２０ｍｍだけ、曲線を延長している。

表示処理部１８は、曲線延長部１７が曲線を延長すると、延長部分の曲線に沿って、文字列に含まれている複数の文字についての文字オブジェクトのうち、曲線が短いために未表示であった文字オブジェクトである「ましょう」を映像に重畳するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図８のステップＤに示すように、延長部分の曲線に沿って、曲線が短いために未表示であった文字オブジェクトである「ましょう」をディスプレイ３２に表示させる（図５のステップＳＴ１９）。図８のステップＤにおいて、破線は、延長部分の曲線である延長曲線を表している。
ここでは、表示処理部１８が、曲線延長部１７により付加された延長曲線に沿って、未表示であった文字オブジェクトをディスプレイ３２に表示させている。しかし、これは一例に過ぎず、図８のステップＤにおける右側の図のように、表示処理部１８が、延長曲線を示す曲線画像をディスプレイ３２に表示させ、未表示であった文字オブジェクトを当該曲線画像の上に重ねて表示させるようにしてもよい。
図８のステップＤの例では、表示処理部１８が、延長曲線をディスプレイ３２に表示させているが、延長曲線は、仮想的な線であるため、表示処理部１８が、延長曲線をディスプレイ３２に表示させなくてもよい。
表示処理部１８は、文字列取得部１０から出力された「春になったら桜を見に行きましょう」を示す文字列の３次元空間内の位置情報を記録する（図５のステップＳＴ２０）。
文字列の３次元空間内の位置情報は、例えば、曲線情報取得部９により取得された曲線情報及び曲線延長部１７により延長された延長部分の情報に基づいて算出される。文字列の３次元空間内の位置情報を算出する処理自体は、公知の技術であるため詳細な説明を省略する。
このように文字列の３次元空間内の位置情報を記憶することで、入力表示制御装置１００を移動し、入力映像取得部７１により取得された映像が示す３次元空間の位置が変化しても、文字列の３次元位置を固定することができ、ユーザが所望するレイアウトで３次元空間に文字列を配置することができる。
また、記憶した文字列の３次元空間内の位置情報を他の入力制御装置１００と共有することで、複数の入力制御装置１００にて３次元空間の同じ位置に同じ文字列を配置することができる。これにより、複数の入力表示制御装置１００を介して、複数のユーザの間で３次元空間内の同じ位置に配置した文字列を共有することができる。

ここで、例えば、ユーザがディスプレイ３２の表示領域の右端方向にディスプレイ３２をなぞった場合、曲線情報が示す曲線の右端は、ディスプレイ３２の表示領域の右端に位置することになる。この場合、曲線延長部１７は、表示領域の右側に存在する非表示領域に曲線を延長する。
そして、表示処理部１８は、非表示領域に延長された曲線に沿って、文字列に含まれている文字についての文字オブジェクトの一部をディスプレイ３２の表示領域が示す３次元空間の周囲の３次元空間である非表示領域に配置する。
表示処理部１８が、文字についての文字オブジェクトの一部を非表示領域に配置する処理と、文字についての文字オブジェクトの一部を非表示領域に配置した後の処理とについては後述する。

表示処理部１８は、文字列に含まれている全ての文字についての文字オブジェクトを曲線画像の上に重ねて表示させた後、曲線画像を消去するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、図８のステップＥに示すように、ディスプレイ３２から曲線画像を消して、文字列に含まれている文字オブジェクトのみをディスプレイ３２に表示させる（図５のステップＳＴ２１）。
表示処理部１８が、曲線画像を消去させる際、曲線画像の全体を同時に消去させてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像を消去させるようにしてもよい。
ここでは、表示処理部１８が、曲線画像と文字列に含まれている全ての文字についての文字オブジェクトとを重ねて表示してから、一定時間後に、曲線画像を消去している。しかし、これは一例に過ぎず、表示処理部１８は、文字列に含まれている文字オブジェクトの表示が完了すると、直ちに、曲線画像を消去するようにしてもよい。

図９のステップＡに示すように、ユーザが線を描く操作を行う前に発話することで、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、文字列認識部５の音声認識部８から文字列が出力されることで、文字列取得部１０が文字列を取得することがある。
表示処理部１８は、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、文字列取得部１０から文字列が出力されると（図５のステップＳＴ１１：ＮＯの場合）、出力された文字列を文字列一時保存部１９に格納する。
表示処理部１８は、文字列を文字列一時保存部１９に格納すると、軌跡判別部４から曲線情報が出力されるまで待機する（図５のステップＳＴ２２：ＮＯの場合）。

その後、ユーザが線を描く操作を開始して、線を描く操作が完了すると、軌跡判別部４から曲線情報が表示処理部１８に出力される。
表示処理部１８は、軌跡判別部４から曲線情報が出力されることで、曲線情報取得部９から曲線情報が出力されると（図５のステップＳＴ２２：ＹＥＳの場合）、文字列一時保存部１９に格納されている文字列の読み出しを行う。表示処理部１８は、読み出した文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示するための表示情報を生成し、生成した表示情報に従って、図９のステップＢに示すように、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示させる。即ち、表示処理部１８は、曲線画像と文字列に含まれている文字オブジェクトを同じ位置に重ねて表示させる（図５のステップＳＴ２３）。
ただし、図９の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」についての文字オブジェクトは曲線画像の上に重ねて表示されているが、「ましょう」についての文字オブジェクトは曲線画像の上に重ねて表示されていない。

表示処理部１８が曲線画像と文字列を同じ位置に重ねて表示させる際、曲線画像と文字列に含まれている文字オブジェクトの全体を同時に表示させるようにしてもよいが、文字列の先頭側から順次表示するアニメーションで、曲線画像と文字列に含まれている文字オブジェクトを表示させるようにしてもよい。
また、ユーザの指のなぞりにあわせて、曲線画像と文字列に含まれている文字オブジェクトが指の下から湧き出てくるように、曲線画像と文字列に含まれている文字オブジェクトを順次表示させるようにしてもよい。
なお、図８では、ユーザが指をなぞってから発話する例を示し、図９ではユーザが発話してから指をなぞる例を示したが、指のなぞりと発話が同時に行われるものであってもよい。

長さ比較部１３は、文字列取得部１０から出力された「春になったら桜を見に行きましょう」を示す文字列を受けると、文字属性情報取得部１１から出力された文字属性情報が示す文字幅を参照して、当該文字列の長さを算出する（図５のステップＳＴ１３）。
また、長さ比較部１３は、曲線情報取得部９により取得された曲線情報を受けると、上記の式（２）又は式（３）に従って、曲線情報が示す曲線の長さを算出する（図５のステップＳＴ１４）。
長さ比較部１３は、曲線の長さを算出すると、曲線の長さと文字列の長さとを比較する（図５のステップＳＴ１５）。

延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば（図５のステップＳＴ１６：ＹＥＳの場合）、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する（図５のステップＳＴ１７）。
曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する（図５のステップＳＴ１８）。
図１４の例では、曲線の長さが６０ｍｍ、文字列の長さが８０ｍｍであり、曲線の長さが文字列の長さよりも２０ｍｍ短いため、２０ｍｍだけ、曲線を延長している。

表示処理部１８は、曲線延長部１７が曲線を延長すると、延長部分の曲線に沿って、曲線の長さが短いために未表示であった文字オブジェクトである「ましょう」を表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図９のステップＣに示すように、延長部分の曲線に沿って、未表示であった文字オブジェクトである「ましょう」をディスプレイ３２に表示させる（図５のステップＳＴ１９）。
ここでは、表示処理部１８が、曲線延長部１７により付加された延長曲線に沿って、未表示であった文字オブジェクトをディスプレイ３２に表示させている。しかし、これは一例に過ぎず、表示処理部１８が、図９のステップＣにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ３２に表示させ、未表示であった文字オブジェクトを当該曲線画像の上に重ねて表示させるようにしてもよい。
表示処理部１８は、文字列取得部１０から出力された「春になったら桜を見に行きましょう」を示す文字列の３次元空間内の位置情報を記録する（図５のステップＳＴ２０）。

表示処理部１８は、文字列に含まれている全ての文字についての文字オブジェクトを曲線画像の上に重ねて表示させた後、曲線画像を消去ための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図９のステップＤに示すように、ディスプレイ３２から曲線画像を消して、文字列のみをディスプレイ３２に表示させる（図５のステップＳＴ２１）。
表示処理部１８が、曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、表示処理部１８が、曲線画像と文字列に含まれている全ての文字についての文字オブジェクトとを重ねて表示してから、一定時間後に、曲線画像を消去している。しかし、これは一例に過ぎず、表示処理部１８は、文字列の表示が完了すると、直ちに、曲線画像を消去するようにしてもよい。

図１に示す入力表示制御装置１００では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短い例を示している。入力表示制御装置１００は、曲線の長さが、音声の認識結果を示す文字列の長さ以上である場合、曲線の長さを延長することなく、文字列に含まれている全ての文字についての文字オブジェクトを曲線画像の上に重ねて表示させることができる。
したがって、長さ比較部１３の比較結果が、曲線の長さが文字列の長さ以上である旨を示していれば（図５のステップＳＴ１６：Ｎｏの場合）、ステップＳＴ１７〜ＳＴ２０の処理を実施せずに、ステップＳＴ２１の処理に移行し、曲線画像を消去して、文字列のみを表示している状態にする。

図１に示す入力表示制御装置１００では、長さ比較部１３が、文字列に含まれているそれぞれの文字の間が離れておらず、文字間の長さが０ｍｍであるとして、式（１）によって文字列の長さを計算している。しかし、文字間の長さが０ｍｍより大きければ、長さ比較部１３が、文字間の長さを考慮して、文字列の長さを算出するようにしてもよい。例えば、文字間の長さが０．５ｍｍであれば、文字列の長さは、下記の式（４）に示すように、８７．５ｍｍとなる。
文字列の長さ＝（５ｍｍ×１６）＋（０．５ｍｍ×１５）＝８７．５ｍｍ
（４）
式（４）は、式（１）と同様に、文字列の文字数が１６、文字幅が“５ｍｍ”である場合を示している。

次に、表示処理部１８が、文字についての文字オブジェクトの一部を非表示領域に配置する処理、及び、文字についての文字オブジェクトの一部を非表示領域に配置した後の処理について説明する。
例えば、図１５に示すように、ユーザがディスプレイ３２の表示領域の右端方向にディスプレイ３２をなぞったとき、曲線情報が示す曲線の右端が、ディスプレイ３２の表示領域の右端に位置することになる。図１５は、表示処理部１８が文字オブジェクトの一部をディスプレイ３２に表示させることができない例を示す説明図である。
図１５の例では、「明日、プールに行くよ」を示す文字列のうち、「行くよ」の文字オブジェクトが未表示になっている。

図１６は、ディスプレイ３２の表示領域と、表示領域の周囲の領域である非表示領域とを示す説明図である。
表示処理部１８は、文字オブジェクトの一部をディスプレイ３２に表示させることができない場合、図１６に示すように、非表示領域まで延長曲線を延長し、当該非表示領域において、延長された延長曲線に沿って、文字列に含まれている未表示の文字についての文字オブジェクトを非表示領域に配置する。表示処理部１８は、文字オブジェクトを非表示領域に配置する際、文字列取得部１０から出力された文字列である「明日、プールに行くよ」が、表示領域と非表示領域をまたがるように、未表示の文字についての文字オブジェクトを非表示領域に配置する。
図１６の例では、表示処理部１８が、「行くよ」の文字列についての文字オブジェクトを非表示領域に配置している。

例えば、ユーザが、入力表示制御装置１００を保持している場合、カメラ７０により撮像される３次元空間の位置を変化させることができる。カメラ７０により撮像される３次元空間の位置が変化することで、カメラ７０により撮像される映像が示す３次元空間の位置が変化する。
そのため、カメラ７０により撮像される映像が示す３次元空間内に、非表示領域に配置していた文字オブジェクトが入るように、入力表示制御装置１００を移動あるいは回転することができる。その結果、入力表示装置１００は、文字オブジェクトの全体を表示領域に表示することができる。
表示処理部１８は、非表示領域に配置していた文字オブジェクトが、位置が変化した３次元空間内に入ると、非表示領域に配置していた文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、非表示領域に配置していた文字オブジェクトを重畳した映像をディスプレイ３２に表示させる。

ここでは、カメラ７０により撮像される３次元空間の位置が変化したときに、表示処理部１８が、非表示領域に配置していた文字オブジェクトをディスプレイ３２に表示させている。しかし、これは一例に過ぎず、ユーザが、文字についての文字オブジェクトの一部が非表示領域に配置されている文字列を選択する操作を行ったときに、表示処理部１８が、非表示領域に配置していた文字オブジェクトをディスプレイ３２に表示させるようにしてもよい。
図１７は、表示処理部１８が、文字についての文字オブジェクトの一部を非表示領域に配置した後の処理を示すフローチャートである。
以下、図１７を参照しながら、表示処理部１８が、文字についての文字オブジェクトの一部を非表示領域に配置した後の処理について説明する。

文字列選択部１８ａは、ユーザが、文字についての文字オブジェクトの一部が非表示領域に配置されている文字列を選択する操作を行うと（図１７のステップＳＴ３１：ＹＥＳの場合）、当該文字列の選択を受け付ける（図１７のステップＳＴ３２）。
文字列選択部１８ａは、ユーザが文字列を選択する操作を行わなければ（図１７のステップＳＴ３１：ＮＯの場合）、ユーザが文字列を選択する操作を行うまで待機する。
ユーザが文字列を選択する操作としては、文字についての文字オブジェクトの一部が非表示領域に配置されている文字列に含まれている文字オブジェクトのうち、ディスプレイ３２に表示されている文字オブジェクトを長押しする操作が考えられる。
ディスプレイ３２に表示されている文字オブジェクトを長押しする操作は、ユーザが、ディスプレイ３２の表示領域に表示されている文字オブジェクトを閾値よりも長い時間触れる操作を意味する。
ここでは、ユーザが、ディスプレイ３２の表示領域に表示されている文字オブジェクトを長押しする操作を行うことで、文字列選択部１８ａが、文字列の選択を受け付ける例を示している。しかし、これは一例に過ぎず、例えば、ユーザが、ディスプレイ３２の表示領域に表示されている文字オブジェクトに触れると、触れている時間にかかわらず、文字列選択部１８ａが、文字列の選択を受け付けるようにしてもよい。

縁付加部１８ｂは、文字列選択部１８ａにより文字列の選択が受け付けられると、図１８に示すように、選択が受け付けられた文字列に含まれている文字オブジェクトの輪郭に、文字オブジェクトと異なる色の縁を付加する（図１７のステップＳＴ３３）。
縁付加部１８ｂが、文字オブジェクトの輪郭に縁を付加することで、文字オブジェクトが、いわゆる「ふち文字」として、ディスプレイ３２に表示されるようになり、ユーザは、文字列の選択が受け付けられたことを認識することができる。
図１８は、文字列選択部１８ａにより選択が受け付けられた文字列を示す説明図である。

文字列移動部１８ｃは、ユーザが、文字列選択部１８ａにより選択が受け付けられた文字列を移動させる操作を行うと（図１７のステップＳＴ３４：ＹＥＳの場合）、当該文字列の移動を受け付ける（図１７のステップＳＴ３５）。
文字列移動部１８ｃは、ユーザが文字列を移動させる操作を行わなければ（図１７のステップＳＴ３４：ＮＯの場合）、ユーザが文字列を移動させる操作を行うまで待機する。
表示処理部１８は、文字列移動部１８ｃによって、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に配置するための移動が受け付けられると、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、図１９に示すように、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示させる（図１７のステップＳＴ３６）。
図１９は、文字列の移動を示す説明図である。
図１９Ａは、曲線画像の上に文字オブジェクトが重ねて表示させている文字列の移動を示している。
図１９Ｂは、曲線画像が文字オブジェクトの下線として表記されている例を示している。

ここでは、文字列移動部１８ｃが、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に配置するための移動を受け付けると、表示処理部１８が、文字列の全体をディスプレイ３２に表示させている。しかし、文字列移動部１８ｃが、図２０に示すように、文字列の全体をディスプレイ３２の表示領域の外側に出すための移動を受け付けると、表示処理部１８が、当該文字列を破棄するようにしてもよい。
図２０は、文字列取得部１０により取得された文字列の破棄を示す説明図である。
図２０では、文字列の全体をディスプレイ３２の表示領域の外側に出すための移動操作として、文字列選択部１８ａにより選択が受け付けられた文字列を、ユーザが、ディスプレイ３２の表示領域の外側にフリックしている例を示している。

以上の実施の形態１は、表示制御部１２が、文字列取得部１０により取得された文字列の長さが長いために、文字列取得部１０により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字についての文字オブジェクトの一部を表示領域が示す３次元空間の周囲の３次元空間に配置するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列に含まれている文字オブジェクトの全部を配置しきれない事態を回避することができる。

また、実施の形態１は、表示制御部１２が、映像取得部７１により取得された映像が示す３次元空間の位置が変化することで、映像が示す３次元空間の周囲の３次元空間に配置していた文字オブジェクトが、位置が変化した３次元空間内に入ると、周囲の３次元空間に配置していた文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、周囲の３次元空間に配置していた文字オブジェクトをディスプレイ３２に表示させることができる。

また、実施の形態１は、表示制御部１２が、文字についての文字オブジェクトの一部が周囲の３次元空間に配置されている文字列の選択を受け付ける文字列選択部１８ａと、文字列選択部１８ａにより選択が受け付けられた文字列の移動を受け付ける文字列移動部１８ｃとを備えている。また、表示制御部１２が、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字オブジェクトの全体を映像取得部７１により取得された映像が示す３次元空間に配置するための移動が受け付けられると、当該文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列に含まれている文字オブジェクトの全体をディスプレイ３２に表示させることができる。

また、実施の形態１は、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列取得部１０により取得された文字列に含まれている一部の文字オブジェクトを曲線に沿って表示することができないと判断する場合、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、曲線の延長部分の形状を決定して、曲線を延長し、延長部分の曲線に沿って、文字列に含まれている文字オブジェクトの一部を表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが、文字列の長さより短い場合でも、文字列に含まれている文字オブジェクト全部を曲線に沿って表示させることができる。

さらに、実施の形態１は、入力表示制御装置１００が、音声認識部８から文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力された場合、曲線画像をディスプレイ３２に表示させた後、音声認識部８から出力された文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示させる。一方、軌跡判別部４から曲線画像を含む曲線情報が出力される前に、音声認識部８から文字列が出力された場合、軌跡判別部４から曲線情報が出力されるまで待機し、軌跡判別部４から曲線情報が出力されると、曲線画像をディスプレイ３２に表示させるとともに、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示させるように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、ユーザが発話する前に線を描く操作を行った場合、音声の認識結果を示す文字列に含まれている文字オブジェクトが表示される位置を事前に把握することができる。よって、ユーザが文字列に含まれている文字オブジェクトの表示イメージをつかむことができる。また、ユーザが線を描く操作を行う前に発話した場合、線を描く操作が行われると、曲線画像と文字列に含まれている文字オブジェクトが同じ位置に重ねて表示されるため、応答性が高い操作感をユーザに与えることができる。

図１に示す入力表示制御装置１００では、表示処理部１８が、文字列を曲線画像の上に重ねて表示させるものを示している。しかし、これは一例に過ぎず、表示処理部１８が、文字列を曲線画像の上に重ねずに、曲線画像の周囲において、曲線画像に沿うように文字列に含まれている文字オブジェクトを表示させるようにしてもよい。
また、曲線画像は、ユーザが曲線画像を確認することができなくてもよければ、無色透明の画像であってもよい。また、曲線画像は、有色透明の画像であってもよい。
曲線画像が無色透明である場合、表示処理部１８が、軌跡判別部４により判別された軌跡を表す幅のない曲線、又は、曲線延長部１７により延長された軌跡を表す幅のない曲線をディスプレイ３２に表示させるようにしてもよい。

図１に示す入力表示制御装置１００では、ユーザが自己の指を用いて、線を描く操作を行うと、操作受付部１が、線を描く操作を受け付けるものを示している。しかし、これは一例に過ぎず、例えば、ユーザが図２１に示すようなＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカ、あるいは指など、カメラ７０にて撮影した映像から形状を特定できる操作オブジェクトを用いて、線を描く操作を行うと、操作受付部１が、線を描く操作を受け付けるようにしてもよい。図２１は、ユーザがＡＲマーカを用いている例を示す説明図である。
ＡＲマーカを用いる場合、ユーザが、例えば、入力表示制御装置１００に設けられているマーカ認識用のボタンを押すと、操作受付部１が、ＡＲマーカを認識するようになる。以降、ユーザがＡＲマーカを用いて、３次元空間上に３次元の線を描く操作を行うと、操作受付部１が、線を描く操作を受け付けるように動作する。
入力表示制御装置１００は、軌跡判別部４が曲線情報及び曲線画像を生成すると、操作受付部１がＡＲマーカを認識しないように、操作受付部１を制御する。

実施の形態２．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成している。
実施の形態２では、表示制御部１２が、一部の文字についての文字オブジェクトを周囲の３次元空間に配置した文字列を改行することで、周囲の３次元空間に配置したオブジェクトを映像に重畳するための表示情報を生成する入力表示システムについて説明する。
実施の形態２の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図２２は、ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、非表示領域に配置された文字オブジェクトがディスプレイ３２に表示される例を示す説明図である。

次に、実施の形態２の入力表示システムの動作について説明する。
図２３は、実施の形態２に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図２３において、図５と同一符号は同一又は相当部分を示している。
文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部８から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態１と同様に、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列に含まれている文字オブジェクトの一部を非表示領域に配置している。
図２２の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに」の文字列についての文字オブジェクトをディスプレイ３２に表示している。しかし、表示処理部１８は、「行くよ。一か月ぶりだよ」の文字列に含まれている文字オブジェクトを非表示領域に配置している。

延長曲線形状決定部１４は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、実施の形態１と同様に、曲線情報取得部９により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する。
曲線延長部１７は、延長曲線形状決定部１４が延長曲線の形状を決定すると、実施の形態１と同様に、延長曲線を曲線情報取得部９により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する。
実施の形態２でも、実施の形態１と同様に、曲線延長部１７が、図２２に示すように、非表示領域まで曲線を延長している（図２３のステップＳＴ１８Ａ）。

表示処理部１８は、上述した通り、「行くよ。一か月ぶりだよ」の文字列に含まれている文字オブジェクトを非表示領域に配置しているが、非表示領域まで延長している曲線に沿って、の文字オブジェクトを配置する。
表示処理部１８は、「行くよ。一か月ぶりだよ」の文字列を非表示領域に配置すると、非表示領域まで延長した曲線を切り取り、切り取った曲線を表示領域の曲線の下に配置する（図２３のステップＳＴ１９Ａ）。
表示処理部１８は、文字列取得部１０から出力された「明日、プールに行くよ。一か月ぶりだよ」が示す文字列を、ディスプレイ３２における表示領域の右端で改行する。図２２の例では、「に」の文字と「行」の文字と間で改行している。図２２において、“←”は、文字列の改行を表している。
次に、表示処理部１８は、曲線の始点を左右方向で一致させることで、改行した文字列である「行くよ。一か月ぶりだよ」の始点の文字オブジェクトである「行」と、「明日、プールに行くよ。一か月ぶりだよ」の始点の文字オブジェクトである「明」とが、図中、左右方向の位置で概ね揃うように「行くよ。一か月ぶりだよ」を配置する。
表示処理部１８は、「行くよ。一か月ぶりだよ」の文字列に含まれている文字オブジェクトのうち、「行くよ。一か」の文字オブジェクトを、切り取った曲線に沿って、ディスプレイ３２の表示領域に表示する（図２３のステップＳＴ１９Ｂ）。
図２２の例では、「行くよ。一か月ぶりだよ」の文字列に含まれている文字オブジェクトのうち、「行くよ。一か」の文字オブジェクトについては、ディスプレイ３２に表示できている。しかし、「月ぶりだよ」の文字オブジェクトは、ディスプレイ３２の表示領域からはみ出してしまっている。

曲線延長部１７は、「月ぶりだよ」の文字オブジェクトがディスプレイ３２の表示領域からはみ出してしまっているため、「行くよ。一か」の文字オブジェクトが沿っている曲線を非表示領域まで延長する。
表示処理部１８は、非表示領域まで延長している曲線に沿って、「月ぶりだよ」の文字オブジェクトを非表示領域に配置する。
表示処理部１８は、「月ぶりだよ」の文字オブジェクトを非表示領域に配置すると、非表示領域まで延長した曲線を切り取り、切り取った曲線を表示領域の曲線の下に配置する（図２３のステップＳＴ１９Ａ）。
表示処理部１８は、「行くよ。一か月ぶりだよ」が示す文字列を、ディスプレイ３２における表示領域の右端で改行する。図２２の例では、「か」の文字と「月」の文字と間で改行している。
次に、表示処理部１８は、曲線の始点を左右方向で一致させることで、改行した文字列である「月ぶりだよ」の始点の文字オブジェクトである「月」と、「行くよ。一か月ぶりだよ」の始点の文字オブジェクトである「行」とが、図中、左右方向の位置で概ね揃うように、「月ぶりだよ」を配置する。
表示処理部１８は、「月ぶりだよ」の文字オブジェクトを、切り取った曲線に沿って、ディスプレイ３２の表示領域に表示する（図２３のステップＳＴ１９Ｂ）。
図２２の例では、「月ぶりだよ」の文字オブジェクトがディスプレイ３２に表示されており、「明日、プールに」の文字オブジェクトと、「行くよ。一か」の文字オブジェクトと、「月ぶりだよ」の文字オブジェクトとが３行で表示されている。
表示処理部１８は、非表示領域まで延長した曲線の全てを切り取るまで、ステップＳＴ１９Ａ〜ＳＴ２０Ｂの処理を繰り返し実施する。

図２２では、表示処理部１８が、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を２回改行することで、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列に含まれている文字オブジェクトを３行で表示させている。しかし、これは一例に過ぎず、表示処理部１８が、例えば、２行目の文字列を表示領域の左端に寄せることで、「明日、プールに」の文字列に含まれている文字オブジェクトと、「行くよ。一か月ぶりだよ」の文字列に含まれている文字オブジェクトとを２行で表示させるようにしてもよい。また、２行目の文字列の最後の文字オブジェクトを表示領域の右端に合わせることで２行にするようにしてもよい。

ここでは、表示処理部１８が、２行目の文字列及び３行目の文字列のそれぞれに含まれている複数の文字についての文字オブジェクトを一直線上に並べる表示させている。しかし、これは一例に過ぎず、曲線延長部１７が、２行目の文字列及び３行目の文字列のそれぞれに含まれている文字オブジェクトを配置するための曲線の形状が、１行目の文字列に含まれている文字オブジェクトを配置するための曲線と同一形状となるように、２行目の文字列及び３行目の文字列のそれぞれに含まれている文字オブジェクトを配置するための曲線を生成する。そして、表示処理部１８が、図２４に示すように、２行目の文字列及び３行目の文字列のそれぞれに含まれている複数の文字についての文字オブジェクトを、曲線延長部１７により生成されたそれぞれの曲線に沿うように、ディスプレイ３２に表示させるようにしてもよい。図２４において、“←”は、文字列の改行を表している。
図２４は、ディスプレイ３２における表示領域の右端で、文字列が自動改行されることで、非表示領域に配置された文字オブジェクがディスプレイ３２に表示される例を示す説明図である。

以上の実施の形態２は、表示制御部１２が、文字についての文字オブジェクトの一部を周囲の３次元空間に配置した文字列を改行することで、周囲の３次元空間に配置したオブジェクトを映像に重畳するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字についての文字オブジェクトの一部を周囲の３次元空間に配置した文字列に含まれている全ての文字についての文字オブジェクトを自動的にディスプレイ３２に表示させることができる。

実施の形態３．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字オブジェクトの全体を表示領域に配置するための移動が受け付けられると、文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成している。
実施の形態３では、表示制御部１２が、文字についての文字オブジェクトの一部を周囲の３次元空間に配置した文字列の全体を映像が示す３次元空間内に移動させて、当該文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成する入力表示システムについて説明する。
実施の形態３の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図２５は、表示制御部１２が、文字についての文字オブジェクトの一部が非表示領域に配置されている文字列の全体を表示領域に移動させて、当該文字列の全体をディスプレイ３２の表示領域に表示させている例を示す説明図である。

次に、実施の形態３の入力表示システムの動作について説明する。
図２６は、実施の形態３に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図２６において、図５と同一符号は同一又は相当部分を示している。
文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ」という発話を行うと、音声認識部８から「明日、プールに行くよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ」を示す文字列を受けると、実施の形態１と同様に、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまうので、文字オブジェクトの一部を非表示領域に配置している。
図２５の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに」の文字オブジェクトをディスプレイ３２に表示しているが、「行くよ」の文字オブジェクトを非表示領域に配置している。

表示処理部１８は、文字についての文字オブジェクトの一部を非表示領域に配置すると、図２５に示すように、例えば、文字列の全体を、図中、ディスプレイ３２の表示領域の左端側の方向に移動させることで、文字列に含まれている文字オブジェクトの全体をディスプレイ３２に表示させる（図２６のステップＳＴ２４）。図２５において、“←”は、文字列の移動を表している。

図２５の例では、表示処理部１８が、文字列の全体を、図中、表示領域の左端側の方向に移動させることで、文字列の全体を表示領域に表示させることができている。
以上の実施の形態３は、表示制御部１２が、一部が非表示領域に配置されている文字オブジェクトの全体を表示領域に移動させて、文字オブジェクトの全体を表示領域に表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、一部を非表示領域に配置した全ての文字オブジェクトを自動的にディスプレイ３２の表示領域に表示させることができる。
なお、文字列取得部１０から出力された文字列の長さが、例えば、表示領域の左右方向の長さよりも長い場合、表示処理部１８が、文字列の全体を、表示領域の左端側の方向に移動させても、文字列に含まれている文字オブジェクトの全体を表示領域に表示させることができない。具体的には、以下の通りである。

文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部８から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態１と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまうので、文字オブジェクトの一部を非表示領域に配置している。
図２７は、表示制御部１２が、文字オブジェクトの一部が非表示領域に配置されている文字列の全体を移動させたのち、文字列を改行することで、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示させている例を示す説明図である。
図２７の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに」の文字オブジェクトをディスプレイ３２の表示領域に表示させているが、「行くよ。一か月ぶりだよ」の文字オブジェクトを非表示領域に配置している。

表示処理部１８は、文字列の始点の文字である「明」を、例えば、表示領域の左端の手前まで移動させたのち、当該文字列を、ディスプレイ３２における表示領域の右端で改行する。
図２７の例では、表示処理部１８が、文字列の全体を移動させたことで、「明日、プールに行くよ。一」の文字列に含まれている文字オブジェクトを表示領域に表示させている。しかし、「か月ぶりだよ」の文字オブジェクトがディスプレイ３２の表示領域からはみ出してしまうので、表示処理部１８が、「か月ぶりだよ」の文字オブジェクトを非表示領域に配置している。

次に、表示処理部１８は、全体を移動させた文字列を、ディスプレイ３２における表示領域の右端で改行する。図２７の例では、「一」の文字オブジェクトと「か」の文字オブジェクトと間で改行している。
表示処理部１８は、改行した文字列である「か月ぶりだよ」の文字オブジェクトをディスプレイ３２の表示領域に表示させている。
図２７の例では、「明日、プールに行くよ。一」の文字オブジェクトを配置するための曲線の形状と、「か月ぶりだよ」の文字オブジェクトを配置するための曲線の形状とが、同じ形状であるが、異なる形状であってもよい。

上記のように構成することで、文字列の長さが長い場合であっても、文字列に含まれている全ての文字オブジェクトを自動的にディスプレイ３２の表示領域に表示させることができる。

実施の形態４．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字についての文字オブジェクトの全体を表示領域に配置するための移動が受け付けられると、文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成している。
実施の形態４では、表示制御部１２が、文字についての文字オブジェクトの一部が周囲の３次元空間に配置されている文字列に含まれている文字オブジェクトのサイズを小さくして、文字列の長さを、曲線情報取得部９により取得された曲線情報が示す曲線の長さ以下にする入力表示システムについて説明する。
実施の形態４の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図２８は、表示制御部１２が、文字列に含まれている文字オブジェクトのサイズを小さくして、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示させている例を示す説明図である。

次に、実施の形態４の入力表示システムの動作について説明する。
図２９は、実施の形態４に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図２９において、図５と同一符号は同一又は相当部分を示している。
文字列取得部１０は、例えば、ユーザが「明日、プールに行きませんか」という発話を行うと、音声認識部８から「明日、プールに行きませんか？」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行きませんか？」を示す文字列を受けると、実施の形態１と同様に、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線の長さが短いために、文字列取得部１０により取得された文字列に含まれている一部の文字オブジェクトがディスプレイ３２の表示領域からはみ出してしまうので、文字オブジェクトの一部を非表示領域に配置している。
図２８の例では、表示処理部１８が、文字列取得部１０により取得された文字列のうち、「明日、プールに行きま」の文字オブジェクトをディスプレイ３２の表示領域に表示しているが、「せんか？」の文字列に含まれている文字オブジェクトを非表示領域に配置している。
図２８の例では、表示処理部１８が、「明日、プールに行きませんか？」の文字列に含まれている文字オブジェクトのサイズは、文字管理ＤＢ２に記憶されている文字属性表の記述どおりである。

表示処理部１８は、文字についての文字オブジェクトの一部を非表示領域に配置すると、文字列の長さが、曲線情報取得部９により取得された曲線情報が示す曲線の長さ以下になるように、文字列に含まれている文字オブジェクトのサイズを小さくする（図２９のステップＳＴ２５）。
表示処理部１８は、全ての文字オブジェクトにおけるそれぞれの文字オブジェクトのサイズを小さくしたのち、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示するための表示情報を生成する。
表示処理部１８は、図２８に示すように、生成した表示情報に従って、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示させる（図２９のステップＳＴ１９）。

ここでは、表示処理部１８が、文字列の長さが、曲線の長さ以下になるように、文字列に含まれている文字オブジェクトのサイズを小さくしている。
表示処理部１８は、文字列取得部１０により取得された文字列の長さが、曲線の長さよりも短い場合、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている全ての文字オブジェクトにおけるそれぞれの文字オブジェクトのサイズを大きくするようにしてもよい。
図３０は、表示処理部１８が、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている文字オブジェクトのサイズを大きくしている例を示す説明図である。
図３０の例では、表示制御部１２が、文字列の長さが、曲線の長さとほぼ同じ長さになるように、文字列に含まれている全ての文字オブジェクトにおけるそれぞれの文字オブジェクトのサイズを大きくしている。しかし、文字列取得部１０により取得された文字列の長さが、曲線の長さよりも短い場合、表示制御部１２が、文字列に含まれている全ての文字オブジェクトにおけるそれぞれの文字オブジェクトのサイズを変更せずに、文字列に含まれている文字オブジェクトの全体をディスプレイ３２の表示領域に表示させるようにしてもよい。

以上の実施の形態４は、表示制御部１２が、文字についての文字オブジェクトの一部が周囲の３次元空間に配置されている文字列に含まれている文字オブジェクトのサイズを小さくして、文字列の長さを、曲線情報取得部９により取得された曲線情報が示す曲線の長さ以下にするように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列に含まれている全ての文字オブジェクトを自動的にディスプレイ３２の表示領域に表示させることができる。
なお、延長曲線を描画せず、曲線の長さが文字列の長さよりも短い場合、文字列に含まれる文字オブジェクトのサイズを小さくして、文字オブジェクトの全体を表示するようにしてもよい。

実施の形態５．
図１に示す入力表示システムでは、表示制御部１２が、文字列移動部１８ｃによって、文字列選択部１８ａにより選択が受け付けられた文字列に含まれている文字オブジェクトの全体を表示領域に配置するための移動が受け付けられると、文字列に含まれている全ての文字についての文字オブジェクを映像に重畳するための表示情報を生成している。
実施の形態５では、表示制御部１２が、文字列取得部１０により取得された文字列を、当該文字列と同じ意味を有し、かつ、当該文字列よりも長さが短い文字列に置換する処理を実施する。そして、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列に含まれている文字オブジェクトを映像に重畳するための表示情報を生成する入力表示システムについて説明する。

図３１は、実施の形態５に係る入力表示制御装置を含む入力表示システム示す構成図である。図３１において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
表示処理部１８は、例えば、図２に示す表示処理回路３１によって実現される。
表示処理部１８は、図１に示す表示処理部１８と異なり、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃの代わりに、テーブル記憶部１８ｄを含んでいる。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字オブジェクトをディスプレイ３２の表示領域に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイ３２に文字オブジェクトを表示させる。表示処理部１８により生成される表示情報は、文字列取得部１０により取得された文字列に含まれている文字オブジェクトを曲線情報取得部９により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示処理部１８は、表示情報に従って文字列に含まれている文字オブジェクトを曲線画像の上に重ねてディスプレイ３２に表示させる。

また、表示処理部１８は、長さ比較部１３の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、曲線延長部１７により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字オブジェクトの一部をディスプレイ３２に表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従ってディスプレイ３２に文字オブジェクトの一部を表示させる。
さらに、表示処理部１８は、ディスプレイ３２に文字列に含まれている文字オブジェクトを表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従ってディスプレイ３２に曲線画像を消去させる。

テーブル記憶部１８ｄは、例えば、図２に示す記憶処理回路２２によって実現される。テーブル記憶部１８ｄは、図３２に示すように、「文字列」と「簡易の文字列」との対応関係を示すテーブルを記憶している。
図３２は、「文字列」と「簡易の文字列」との対応関係を示すテーブルを示す説明図である。
図３２では、簡易の文字列を「簡易版」と表記している。「簡易の文字列」は、「文字列」と同じ意味を有し、かつ、「文字列」よりも長さが短くなっている。

表示処理部１８は、テーブル記憶部１８ｄから、文字列取得部１０により取得された文字列と対応関係がある簡易の文字列を取得し、文字列取得部１０により取得された文字列を、取得した簡易の文字列に置換する。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列に含まれている文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、置換処理後の文字列に含まれている文字オブジェクトをディスプレイ３２の表示領域に表示させる。

次に、図３１に示す入力表示制御装置の動作について説明する。
図３３は、実施の形態５に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図３３において、図５と同一符号は同一又は相当部分を示している。
表示処理部１８以外の動作は、図１に示す入力表示制御装置の動作と同様であるため、ここでは、主に表示処理部１８の動作のみを説明する。

文字列取得部１０は、例えば、ユーザが「今日、ラーメンを食べに行きました」という発話を行うと、音声認識部８から「今日、ラーメンを食べに行きました」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「今日、ラーメンを食べに行きました」を示す文字列を受けると、実施の形態１と同様に、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列に含まれている一部の文字オブジェクトがディスプレイ３２の表示領域からはみ出してしまうので、文字列に含まれている一部の文字オブジェクトを非表示領域に配置している。
表示処理部１８は、「今日、ラーメンを食べに行きました」を示す文字列のうち、「きました」の文字オブジェクトを非表示領域に配置している。

表示処理部１８は、文字列の全体をディスプレイ３２の表示領域に表示できるようにするため、文字列取得部１０により取得された文字列を簡易の文字列に置換して、文字列の長さを短くする（図３３のステップＳＴ２６）。
具体的には、表示処理部１８は、テーブル記憶部１８ｄから、文字列取得部１０により取得された文字列と対応関係がある簡易の文字列を取得する。
図３２に示すテーブルには、「今日、ラーメンを食べに行きました」を示す文字列のうち、「食べに行きました」を示す文字列と対応関係がある簡易の文字列として、「食べた」が記憶されている。
また、図３２に示すテーブルには、「今日、ラーメンを食べに行きました」を示す文字列のうち、「ラーメン」を示す文字列と対応関係がある簡易の文字列として、ラーメンを示す絵文字が記憶されている。

そこで、表示処理部１８は、「食べに行きました」を「食べた」に置換し、「ラーメン」を「ラーメンを示す絵文字」に置換する。
表示処理部１８は、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列に含まれている文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成し、図３４に示すように、生成した表示情報に従って、置換処理後の文字列に含まれている文字オブジェクトをディスプレイ３２の表示領域に表示させる（図３３のステップＳＴ１９）。
図３４は、表示制御部１２が、置換処理後の文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。
図３４の例では、表示処理部１８が、文字列取得部１０により取得された文字列を簡易の文字列に置換することで、文字列の長さが短くなり、文字列に含まれている文字オブジェクトの全体がディスプレイ３２の表示領域に表示されるようになっている。

ここでは、文字列取得部１０により取得された文字列の長さが長いために、文字オブジェクトの一部が表示領域からはみ出してしまうときに、表示処理部１８が、文字列を簡易の文字列に置換している。しかし、これは一例に過ぎず、表示処理部１８は、文字オブジェクトの一部が表示領域からはみ出さないときでも、文字列を簡易の文字列に置換するようにしてもよい。

以上の実施の形態５は、表示制御部１２が、文字列取得部１０により取得された文字列を、当該文字列と同じ意味を有し、かつ、当該文字列よりも長さが短い文字列に置換する処理を実施し、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、置換処理後の文字列に含まれている文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列に含まれている全ての文字オブジェクトを自動的にディスプレイ３２の表示領域に表示させることができる。

実施の形態６．
実施の形態６では、曲線情報取得部９が、複数の曲線情報を取得する。そして、表示制御部１２が、曲線情報取得部９により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字オブジェクトを映像に重畳するための表示情報を生成する入力表示システムについて説明する。
実施の形態６の入力表示制御装置１００を含む入力表示システム示す構成図は、実施の形態１と同様に図１である。ただし、表示処理部１８は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている必要がない。
図３５は、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。

次に、実施の形態６の入力表示システムの動作について説明する。
図３６は、実施の形態６に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図３６において、図４と同一符号は同一又は相当部分を示している。
軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると、実施の形態１と同様に、操作内容から操作によって描かれた線の軌跡を判別し、軌跡を表す曲線の長さ、曲線の奥行及び形状などを示す情報として、曲線を示す曲線情報を生成する（図３６のステップＳＴ５〜ＳＴ８）。
軌跡判別部４は、実施の形態１と同様に、曲線画像を含む曲線情報を曲線情報取得部９に出力する。
実施の形態６の入力表示システムでは、操作受付部１が、複数の線を描く操作の内容を受けると、軌跡判別部４が、複数の曲線情報を生成する。
曲線情報取得部９は、軌跡判別部４から出力された曲線情報を取得し、曲線情報を長さ比較部１３、形状決定処理部１６、曲線延長部１７及び表示処理部１８のそれぞれに出力する。

文字列取得部１０は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部８から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部１３及び表示処理部１８のそれぞれに出力する。
表示処理部１８は、文字列取得部１０から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態１と同様に、文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示するための表示情報を生成する。
ただし、表示処理部１８は、文字列取得部１０により取得された文字列の長さが長いために、文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまうので、文字列に含まれている文字オブジェクトの一部を非表示領域に配置している。

図３５の例では、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列のうち、曲線に収まる範囲の文字列が、「明日、プール」の文字列であるため、表示処理部１８が、「明日、プール」の文字オブジェクトを曲線に沿って表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、「明日、プール」の文字オブジェクトを曲線に沿ってディスプレイ３２の表示領域に表示させると、未表示の文字列の先頭の位置で、文字列を改行する。図３５の例では、「ル」の文字オブジェクトと「に」の文字オブジェクトと間で改行している。図３５において、“←”は、文字列の改行を表している。
ただし、実施の形態６の入力表示制御システムでは、表示処理部１８が、文字列を改行する前に、改行した文字列に含まれている文字オブジェクトを表示するための曲線を追加する操作を受け付ける。

軌跡判別部４は、操作受付部１から線を描く操作の内容を受けると、操作内容から操作によって描かれた線の軌跡を判別し、軌跡を表す曲線の長さ、曲線の奥行及び形状などを示す情報として、曲線を示す曲線情報を生成する。
図３５の例では、操作受付部１が、２本の線を描く操作を受け付けており、軌跡判別部４が、２本の線を描くそれぞれの操作の内容に従って、２本の曲線についての曲線情報をそれぞれ生成する。
軌跡判別部４は、生成した２つの曲線情報を曲線情報取得部９に出力する。
曲線情報取得部９は、軌跡判別部４から出力された２つの曲線情報を取得し、２つの曲線情報を長さ比較部１３、形状決定処理部１６、曲線延長部１７及び表示処理部１８のそれぞれに出力する。

表示処理部１８は、曲線情報取得部９から２つの曲線情報を受けると、２つの曲線情報が示す曲線のうち、表示済みの「明日、プール」の文字オブジェクトの表示位置に近い方の曲線（以下、第１の曲線と称する）に沿って、「に行くよ。」の文字オブジェクトを表示するための表示情報を生成する。なお、ここでは近い方の曲線を第１の曲線としているが、曲線の描かれた順番を記憶しておき、早い方の順番の曲線を第１の曲線とするようにしてもよい。「一か月ぶりだよ」の文字オブジェクトは、第１の曲線に収まらないため、この段階では、表示処理部１８は、「に行くよ。」の文字オブジェクトを表示するための表示情報のみを生成する。
表示処理部１８は、生成した表示情報に従って、「に行くよ。」の文字オブジェクトを第１の曲線に沿ってディスプレイ３２に表示させると、未表示の文字列の先頭の位置で、文字列を改行する。図３５の例では、「。」の文字オブジェクトと「一」の文字オブジェクトと間で改行している。

表示処理部１８は、２つの曲線情報が示す曲線のうち、第１の曲線ではない方の曲線（以下、第２の曲線と称する）に沿って、「一か月ぶりだよ」の文字オブジェクトを表示するための表示情報を生成する。
表示処理部１８は、生成した表示情報に従って、「一か月ぶりだよ」の文字オブジェクトを第２の曲線に沿ってディスプレイ３２の表示領域に表示させる。

以上の実施の形態６は、曲線情報取得部９が、複数の曲線情報を取得し、表示制御部１２が、曲線情報取得部９により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字オブジェクトを映像取得部７１により取得された映像に重畳するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列の長さが、１つの曲線の長さよりも長い場合でも、ユーザが所望するレイアウトで、文字列に含まれている文字オブジェクトを表示させることができる。

実施の形態７．
実施の形態６の入力表示システムでは、表示処理部１８が、文字列取得部１０により取得された文字列に含まれている一部の文字についての文字オブジェクトを非表示領域に配置してから、文字列を改行している。
実施の形態７では、表示処理部１８が、文字列取得部１０により取得された文字列に含まれている一部の文字についての文字オブジェクトを非表示領域に配置することなく、文字列を改行する入力表示システムについて説明する。

図３７は、ユーザが複数の線を描く操作を行ってから、ユーザが発話を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。
図３７の例では、ユーザが、まず３本の線を描く操作を行い、その後、「明日、プールへ行くよ。一カ月ぶりだよ。楽しみです」と発声した場合を示している。このとき、ユーザが描いた曲線の長さが文字列の長さよりも短いため、３行目に「ぶりだよ。」のみしか表示されておらず、「楽しみです」が表示されていない。ディスプレイ３２を見たユーザは、「楽しみです」の表示がないことに気づき、追加で４本目の線を描く操作を行う。すると、表示制御部１２は、追加された４本目の曲線に沿って、表示されていなかった「楽しみです」の文字オブジェクトを表示する。図３７の例では、上記のようにして、表示制御部１２が、４本の曲線に沿って、「明日、プールに行くよ。一か月ぶりだよ。楽しみです」の文字オブジェクトを表示させている。

図３８は、ユーザが発話を行ってから、ユーザが複数の線を描く操作を行うことで、表示制御部１２が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列に含まれている文字オブジェクトを表示させている例を示す説明図である。
図３８の例では、表示制御部１２が、４本の曲線に沿って、「明日、プールに行くよ。一か月ぶりだよ。楽しみです」の文字オブジェクトを表示させている。

以上の実施の形態７は、曲線情報取得部９が、複数の曲線情報を取得し、表示制御部１２が、曲線情報取得部９により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字オブジェクトを表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、文字列取得部１０により取得された文字列の長さが、１つの曲線の長さよりも長い場合でも、ユーザが所望するレイアウトで、文字列に含まれている文字オブジェクトを表示させることができる。

実施の形態８．
図１及び図３１に示す入力表示システムでは、表示制御部１２が、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列取得部１０により取得された文字列に含まれている文字オブジェクトをディスプレイ３２に表示させている。
実施の形態８では、文字列取得部１０により取得された文字列を翻訳し、文字列の翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示させる入力表示システムについて説明する。

図３９は、実施の形態８に係る入力表示制御装置を含む入力表示システム示す構成図であり、図４０は、実施の形態８に係る入力表示システムのハードウェア構成図である。
図３９及び図４０において、図１、図２及び図３１と同一符号は同一または相当部分を示すので説明を省略する。
翻訳部５２は、例えば、図４０に示す翻訳処理回路３４によって実現される。翻訳部５２は、文字列取得部１０により取得された文字列を翻訳し、文字列の翻訳結果を示す文字列を長さ比較部１３及び表示処理部５３のそれぞれに出力する。

表示制御部５１は、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、翻訳部５２及び表示処理部５３を含んでいる。表示制御部５１は、図１及び図３１に示す表示制御部１２と同様の処理を実施するほかに、翻訳部５２から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。また、表示制御部５１は、翻訳文字列表示用の曲線に沿って、翻訳部５２の翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示するための表示情報を生成し、生成した表示情報に従って翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示させる。

表示処理部５３は、例えば、図４０に示す表示処理回路３１によって実現されるものであり、図１に示す表示処理部１８と同様に、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている。
図３９に示す表示処理部５３は、文字列選択部１８ａ、縁付加部１８ｂ及び文字列移動部１８ｃを備えている。しかし、これは一例に過ぎず、表示処理部５３は、図３１に示す表示処理部１８と同様に、テーブル記憶部１８ｄを備えていてもよい。
表示処理部５３は、図１及び図３１に示す表示処理部１８と異なり、翻訳部５２から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。表示処理部５３は、翻訳文字列表示用の曲線に沿って、翻訳部５２から出力された翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示させる。

図３９では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部５、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、翻訳部５２、表示処理部５３及び文字列一時保存部１９のそれぞれが、図４０に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１、ディスプレイ３２及び翻訳処理回路３４によって実現されるものを想定している。

しかし、入力表示システムは、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１９を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡判別部４、音声検出部６、音声認識部８及び表示制御部５１の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納する。そして、図３に示すプロセッサ４２が、メモリ４１に格納されているプログラムを実行するようにすればよい。

次に、図３９に示す入力表示システムの動作について説明する。
ただし、翻訳部５２及び表示処理部５３以外は、実施の形態１〜７のいずれかの入力表示システムと同様であるため、ここでは、主に翻訳部５２及び表示処理部５３の処理内容について説明する。
翻訳部５２は、文字列取得部１０が文字列認識部５から出力された音声の認識結果を示す文字列を取得すると、取得した文字列を翻訳し、文字列の翻訳結果を示す文字列を長さ比較部１３及び表示処理部５３のそれぞれに出力する。
音声の認識結果を示す文字列が「夏休みに海に行ったよ」であれば、例えば、文字列の翻訳結果を示す文字列は「Ｉ ｗｅｎｔ ｔｏ ｔｈｅ ｓｅａ ｉｎ ｓｕｍｍｅｒ ｖａｃａｔｉｏｎ」のようになる。

表示処理部５３は、図１又は図３１の表示処理部１８と同様に、文字列認識部５により取得された音声の認識結果を示す文字列を曲線情報取得部９により取得された曲線画像の上に重ねて表示させる。
また、表示処理部５３は、曲線情報が示す曲線の長さが文字列の長さより短いために、一部の文字オブジェクトを曲線に沿って表示させることができなければ、図１又は図３１の表示処理部１８と同様に、曲線延長部１７により付加された延長曲線に沿って、一部の文字オブジェクトをディスプレイ３２に表示させる。

表示処理部５３は、翻訳部５２から翻訳結果を示す文字列を受けると、翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。
このとき、翻訳結果を示す文字列を構成する文字の文字幅を示す文字属性情報は、文字管理部３から受けるものとする。
例えば、翻訳結果を示す文字列が「Ｉ ｗｅｎｔ ｔｏ ｔｈｅ ｓｅａ ｉｎ ｓｕｍｍｅｒ ｖａｃａｔｉｏｎ」である場合、文字数がスペースを含めて３６である。したがって、翻訳結果を示す文字列を構成する文字の文字幅が“２ｍｍ”であるとすれば、翻訳結果を示す文字列の長さは、下記の式（５）に示すように、７２ｍｍとなる。
翻訳結果を示す文字列の長さ＝２ｍｍ×３６＝７２ｍｍ （５）
したがって、この場合には、翻訳文字列表示用の曲線の長さは、７２ｍｍ以上の長さとなる。

また、翻訳文字列表示用の曲線の形状は、ユーザの操作によって描かれた線の軌跡を表す曲線、即ち、曲線情報取得部９により取得された曲線情報が示す曲線の形状と同じ形状とする。曲線延長部１７によって曲線が延長されている場合には、曲線延長部１７により延長された曲線の形状と同じ形状とする。
例えば、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が円弧形状であれば、翻訳文字列表示用の曲線の形状も円弧形状である。ユーザの操作によって描かれた線の軌跡を表す曲線の形状が波線形状であれば、翻訳文字列表示用の曲線の形状も波線形状である。

なお、曲線延長部１７によって曲線が延長されていて、翻訳文字列表示用の曲線の長さが、曲線延長部１７により延長された曲線の長さより長い場合、あるいは、曲線延長部１７によって曲線が延長されていなくて、翻訳文字列表示用の曲線の長さが、曲線情報取得部９により取得された曲線情報が示す曲線の長さより長い場合、翻訳文字列表示用の曲線を延長するものとする。翻訳文字列表示用の曲線の延長は、曲線情報が示す曲線を延長する場合と同様の方法を用いるものとする。具体的には、翻訳文字列表示用の曲線の形状から、翻訳文字列表示用の曲線の延長部分の形状を決定して、翻訳文字列表示用の曲線を延長するものとする。

表示処理部５３は、翻訳文字列表示用の曲線を生成すると、翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示するための表示情報を生成し、表示情報に従って、翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示させる。
ここで、図４１は、表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。
ステップＡでは、表示処理部５３が、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像をディスプレイ３２に表示している。
ステップＢにおいて、音声認識部８が、ユーザの音声の認識処理を実施すると、ステップＣでは、表示処理部５３が、音声の認識結果を示す文字列に含まれている文字オブジェクトを曲線画像の上に重ねて表示させている。ステップＡ〜ステップＣまでは、実施の形態１と同様である。ただし、ここでは、音声認識部８から音声の認識結果を示す文字列が出力される前に、軌跡判別部４から曲線画像を含む曲線情報が出力された場合の例を示している。
ステップＤでは、表示処理部５３が、ユーザの操作によって描かれた線の軌跡を表す曲線と同形状の翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示させている。
図４１の例では、表示処理部５３が、翻訳文字列表示用の曲線を、ユーザの操作によって描かれた線の軌跡を表す曲線の下側に並べているが、ユーザの操作によって描かれた線の軌跡を表す曲線の上側に並べてもよいし、左側や右側に並べてもよい。
ステップＥでは、表示処理部５３が、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像を消去している。

実施の形態８の入力表示システムでは、表示処理部５３が、翻訳文字列表示用の曲線をディスプレイ３２に表示させるものを示している。しかし、これは一例に過ぎず、翻訳文字列表示用の曲線は、透明であってもよい。

実施の形態８の入力表示システムでは、音声の認識結果を示す文字列に含まれている文字オブジェクトと、翻訳結果を示す文字列に含まれている文字オブジェクトとを並べて表示させるものを示している。しかし、これは一例に過ぎず、図４２に示すように、表示処理部５３が、ステップＣで音声の認識結果を示す文字列に含まれている文字オブジェクトを表示させたのち、ステップＳＴＤで音声の認識結果を示す文字列に含まれている文字オブジェクトを先頭から消去させながら、翻訳結果を示す文字列に含まれている文字オブジェクトを先頭から曲線画像の上に重ねて表示させるようにしてもよい。この場合、最終的に表示される文字列に含まれている文字オブジェクトは、翻訳結果を示す文字列に含まれている文字オブジェクトだけになる。
図４２は、表示制御部５１の表示処理部５３における表示処理の一例を示す説明図である。

実施の形態８の入力表示システムでは、図４３に示すように、表示処理部５３が、折り返し翻訳の結果を示す文字列に含まれている文字オブジェクトを、音声の認識結果を示す文字列及び翻訳結果を示す文字列に含まれている文字オブジェクトと並べて表示させるようにしてもよい。図４３は、翻訳結果を示す文字列に含まれている文字オブジェクトを表示する例を示す説明図である。
実施の形態８の入力表示システムでは、翻訳部５２が、日本語から英語に翻訳しているため、この場合の折り返し翻訳は、翻訳した英語を日本語に翻訳し直すことを意味する。
図４３の例では、ステップＤにおいて、表示処理部５３が、音声の認識結果を示す文字列である日本語の下に、翻訳結果を示す文字列である英語を表示させ、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させている。
また、図４４に示すように、ステップＤにおいて、表示処理部５３が、曲線画像の上に重ねて表示させた音声の認識結果を示す文字列である日本語を消してから、翻訳結果を示す文字列である英語を曲線画像の上に重ねて表示させる。そして、表示処理部５３が、英語の下に、折り返し翻訳を示す文字列である日本語を表示させるようにしてもよい。図４４は、翻訳結果を示す文字列に含まれている文字オブジェクトを表示する例を示す説明図である。

以上の実施の形態８は、文字列取得部１０により取得された文字列を翻訳する翻訳部５２を備え、表示処理部５３が、翻訳部５２から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列に含まれている文字オブジェクトをディスプレイ３２に表示するための表示情報を生成するように、入力表示制御装置１００を構成した。したがって、入力表示制御装置１００は、線を描く操作によって描かれた線の軌跡を表す曲線の長さが、翻訳結果を示す文字列より短い場合でも、文字列に含まれている文字オブジェクトの全部を曲線に沿って表示させることができる。

実施の形態８の入力表示システムでは、表示処理部５３が、音声の認識結果を示す文字列に含まれている文字オブジェクトと、翻訳結果を示す文字列に含まれている文字オブジェクトとを並べて表示させるものを示している。しかし、これは一例に過ぎず、表示処理部５３が、図４５に示すように、ディスプレイ３２が二画面で構成されており、かつ、二画面の上面が互い接している対面構成の場合、表示処理部５３が、以下のような表示を行うようにしてもよい。
図４５は、ディスプレイ３２が対面二画面で構成されている場合の表示処理部５３における表示処理の一例を示す説明図である。

表示処理部５３は、例えば、図中、対面二画面の下側の画面に、音声の認識結果を示す文字列に含まれている文字オブジェクトを表示させ、図中、対面二画面の上側の画面に、翻訳結果を示す文字列に含まれている文字オブジェクトを表示させる。
あるいは、表示処理部５３は、対面二画面の下側の画面に、翻訳結果を示す文字列に含まれている文字オブジェクトを表示させ、対面二画面の上側の画面に、音声の認識結果を示す文字列に含まれている文字オブジェクトを表示させる。
ただし、対面二画面であるため、対面二画面の上側の画面では、文字が１８０度回転している。
また、対面二画面の場合でも、図４６に示すように、表示処理部５３が、折り返し翻訳の結果を示す文字列に含まれている文字オブジェクトを表示させるようにしてもよい。図４６は、翻訳結果を示す文字列に含まれている文字オブジェクトを表示する例を示す説明図である。

なお、実施の形態８においても、実施の形態１と同様に、文字列取得部１０により取得された文字列の長さが長いために、文字列取得部１０により取得された文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字オブジェクトの一部を非表示領域に配置するように、入力表示制御装置１００を構成するようにしてもよい。
また、翻訳結果を示す文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまう場合、翻訳結果を示す文字オブジェクトの一部を非表示領域に配置するようにしてもよい。このようにすることで、翻訳結果を示す文字列に含まれている文字オブジェクトが生成しきれない事態を回避することができる。
翻訳結果を示す文字列に含まれている文字オブジェクトを非表示領域に配置する場合において、ユーザが翻訳結果を示す文字列を選択した場合、実施の形態１と同様に、文字列に含まれている文字オブジェクトの輪郭に、当該オブジェクトと異なる色の縁を付加するようにしてもよい。
さらに、実施の形態１と同様に、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、翻訳結果を示す文字列に含まれている文字オブジェクトの全体を表示しきれない事態を回避することができる。
また、ユーザが、文字列取得部１０により取得された文字列又は翻訳結果を示す文字列のいずれか又は両方を選択して移動させた場合、取得された文字列と翻訳結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。
さらに、折り返し翻訳についても、上記と同様に、表示領域と非表示領域とにまたがって生成するとともに、ユーザによって選択可能とし、選択後に移動させることで、文字列に含まれている文字オブジェクトの全体を表示させるようにしてもよい。

実施の形態９．
図１及び図３１に示す入力表示システムでは、文字列認識部５が、表示対象の文字列として、音声の認識結果を示す文字列を取得している。
実施の形態９では、文字列認識部６０が、表示対象の文字列として、操作受付部１により受け付けられた操作によって描かれた文字の認識結果を示す文字列を取得する入力表示システムについて説明する。

図４７は、実施の形態９に係る入力表示制御装置を含む入力表示システム示す構成図であり、図４８は、実施の形態９に係る入力表示システムのハードウェア構成図である。
図４７及び図４８において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
文字列認識部６０は、文字認識処理部６１を含んでおり、操作受付部１により受け付けられた操作によって描かれた文字の認識結果を示す文字列を表示対象の文字列として、軌跡判別部４及び文字列取得部１０のそれぞれに出力する。
文字認識処理部６１は、例えば、光学文字認識処理であるＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）機能を実装している文字認識処理回路３５によって実現される。文字認識処理部６１は、操作受付部１により受け付けられた操作によって描かれた文字を認識し、文字の認識結果を示す文字列を表示対象の文字列として、軌跡判別部４及び文字列取得部１０のそれぞれに出力する。

図４７では、入力表示システムの構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡判別部４、文字列認識部６０、曲線情報取得部９、文字列取得部１０、文字属性情報取得部１１、長さ比較部１３、延長曲線形状決定部１４、曲線延長部１７、表示処理部１８及び文字列一時保存部１９のそれぞれが、図４８に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス２１、記憶処理回路２２、文字管理処理回路２３、画像生成処理回路２４、マイク２５、音声認識処理回路２６、入力インタフェース回路２７、長さ比較処理回路２８、形状決定処理回路２９、曲線延長処理回路３０、表示処理回路３１、ディスプレイ３２及び文字認識処理回路３５によって実現されるものを想定している。

しかし、入力表示システムは、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理ＤＢ２及び文字列一時保存部１９を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡判別部４、文字認識処理部６１及び表示制御部１２の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納する。そして、図３に示すプロセッサ４２が、メモリ４１に格納されているプログラムを実行するようにすればよい。
図４９は、文字の認識結果を示す文字列の表示処理の一例を示す説明図である。

次に、図４７に示す入力表示システムの動作について説明する。
図４７に示す入力表示システムでは、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定している。したがって、ユーザが自己の指又はタッチパネル用の入力ペンなどを用いて、線を描く操作として、文字を描く操作をタッチパネルに行うと、操作受付部１が、文字を描く操作を受け付けて、操作の内容を軌跡判別部４及び文字列認識部６０のそれぞれに出力する。
出力される文字を描く操作の内容は、例えば、タッチパネルに接触している指の位置又は入力ペンの位置の座標として、タッチパネル上の位置座標の連続的な変化を示す時系列データである。

図４９の例では、ステップＡにおいて、ユーザが「私は和食が食べたいです」という文字列を手書きしている。
文字列認識部６０の文字認識処理部６１は、操作受付部１により受け付けられた操作によって描かれた複数の文字を認識して、複数の文字の認識結果を示す文字列を取得し、取得した文字列を軌跡判別部４及び入力表示制御装置１００のそれぞれに出力する。

軌跡判別部４は、操作受付部１から１つ以上の文字を描く操作の内容を受けて、文字認識処理部６１から文字列を受けると、１つ以上の文字を描く操作の内容を、文字毎に振り分ける処理を実施する。
具体的には、以下の通りである。
まず、軌跡判別部４は、文字を描く操作の内容である時系列データが示すタッチパネル上のそれぞれの位置座標のうち、Ｘ座標が最も小さい座標Ｘ_ＬＥＦＴと、Ｘ座標が最も大きい座標Ｘ_{ＲＩＧＨＴ}とを特定する。軌跡判別部４は、特定した座標Ｘ_{ＲＩＧＨＴ}から座標Ｘ_ＬＥＦＴを減算することで、文字列のＸ方向の長さを算出する。

そして、軌跡判別部４は、文字列のＸ方向の長さを文字数で除算することで、１文字当りＸ方向の長さを算出し、また、１文字当りＸ方向の長さと座標Ｘ_ＬＥＦＴから、各々の文字が存在しているＸ方向の座標範囲を算出する。例えば、文字列の左端からｎ番目の文字が存在しているＸ方向の座標範囲は、（１文字当りＸ方向の長さ×（ｎ−１）＋Ｘ_ＬＥＦＴ）〜（１文字当りＸ方向の長さ×ｎ＋Ｘ_ＬＥＦＴ）のように算出する。
軌跡判別部４は、時系列データが示すそれぞれの位置座標が含まれるＸ方向の座標範囲をみつけて、時系列データが示すそれぞれの位置座標に対応するＸ方向の座標範囲に振り分けることで、１つ以上の文字を描く操作の内容を、文字毎に振り分けるようにする。

次に、軌跡判別部４は、Ｘ方向の座標範囲単位に、当該座標範囲に対応する文字の中心座標として、当該座標範囲に含まれている時系列データが示す複数の位置座標のＸ座標の平均値とＹ座標の平均値とを算出する。
軌跡判別部４は、文字列に含まれている各々の文字の中心座標を算出すると、図４９のステップＢに示すように、各々の文字の中心座標を繋ぎ合わせることで１本の線を生成し、１本の線を文字列の軌跡を表す曲線として、曲線を示す曲線情報を入力表示制御装置１００に出力する。

ここでは、文字列に含まれている各々の文字の大きさが均等であるとして、文字列のＸ方向の長さを文字数で除算することで、１文字当りＸ方向の長さを算出している。手書き文字の場合、各々の文字の大きさが均等であるとは限らないため、Ｘ方向の座標範囲単位が、文字列に含まれている各々の文字と一致しない場合がある。
しかし、図４７に示す入力表示システムでは、各々の文字の中心座標が厳密に分からなくても、文字列が存在している領域をＸ方向に分割した各々の領域の中心座標が分かれば、文字列の並び方向を示す曲線を求めることができる。したがって、各々の文字の大きさが均等でない場合でも、上記の方法で、曲線を求めることができる。
また、ここでは、軌跡判別部４が、文字列の並び方向を示す曲線を求める際、Ｘ方向の座標範囲単位に、時系列データが示すそれぞれの位置座標を振り分けるようにしているが、例えば、手書き文字が縦書きであるような場合には、Ｙ方向の座標範囲単位に、時系列データが示すそれぞれの位置座標を振り分けるようにしてもよい。
ここで説明している各々の位置座標を振り分ける方法は一例に過ぎず、他の方法を用いてもよいことは言うまでもない。
また、ここでは、説明の簡単化のため、軌跡判別部４が、Ｘ方向の座標及びＹ方向の座標に基づいて１本の線を生成しているが、Ｚ方向の座標を考慮することで、３次元の線を生成することができる。

図４７に示す入力表示システムでは、文字を描く操作内容から曲線を求めている。しかし、これは一例に過ぎず、ユーザが、文字を描く操作とは別に、実施の形態１で示している線を描く操作を行うことで、操作受付部１により文字を描く操作及び線を描く操作が受け付けられた場合、軌跡判別部４が、操作受付部１により受け付けられた線を描く操作の内容から、描かれた線の軌跡を表す曲線を判別するようにしてもよい。

表示処理部１８は、文字列取得部１０が文字列認識部６０の文字認識処理部６１から出力された文字列を取得すると、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、文字列をディスプレイ３２に表示するための表示情報を生成する。表示処理部１８は、生成した表示情報に従って、文字列をディスプレイ３２に表示させる。
図４９のステップＣでは、表示処理部１８が、手書き文字に並べるように軌跡を表す曲線を描いて、文字列に含まれている文字オブジェクトを表示させている。しかし、これに限るものではなく、表示処理部１８が、例えば、手書き文字を消去させてから、手書き文字の位置に曲線を描いて、文字列に含まれている文字オブジェクトを表示させるようにしてもよい。
また、軌跡を表す曲線は、透明であってもよい。

図４７に示す入力表示システムでは、軌跡判別部４が、文字を描く操作内容から曲線を求めることができる。しかし、認識された文字列は、実施の形態１と同様に、予め決定された属性の文字で表示されることになる。したがって、表示処理部１８は、求めた曲線の長さが、文字列の長さより短い場合、実施の形態１と同様に、文字列に含まれている文字の一部を曲線に沿って表示させることができない。
この場合は、実施の形態１と同様に、曲線延長部１７が、曲線を延長することで、表示処理部１８が、表示されていない文字の一部を表示させるようにする。
具体的には、長さ比較部１３が、曲線の長さと文字列の長さを比較し、延長曲線形状決定部１４が、延長曲線の形状を決定し、曲線延長部１７が、曲線情報取得部９により取得された曲線情報が示す曲線に延長曲線を付加することで、曲線を延長する。そして、表示処理部１８が、延長曲線に沿って、表示されていない文字の一部を表示させる。

以上の実施の形態９は、文字列認識部６０が、操作受付部１により受け付けられた操作によって描かれた文字を認識し、文字の認識結果を示す文字列を表示対象の文字列として取得する文字認識処理部６１を備えるように、入力表示システムを構成した。したがって、入力表示システムは、手書き文字を表示する場合でも、実施の形態１と同様に、文字列に含まれている文字オブジェクトの全体を表示できない事態を回避することができる。

なお、実施の形態９においても、実施の形態１と同様に、認識結果を示す文字列の長さが長いために、当該文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字オブジェクトの一部を非表示領域に配置するように、入力表示制御装置１００を構成するようにしてもよい。
また、認識結果を示す文字列に含まれている文字オブジェクトを非表示領域に配置する場合において、ユーザが当該文字列を選択した場合、実施の形態１と同様に、文字列に含まれている文字オブジェクトの輪郭に、当該文字オブジェクトと異なる色の縁を付加するようにしてもよい。
さらに、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、認識結果を示す文字列に含まれている文字オブジェクトの全体を生成しきれない事態を回避することができる。
また、ユーザが、手書きの文字列又は認識結果を示す文字列のいずれか又は両方を選択して移動させた場合、手書きの文字列と認識結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。

実施の形態１０．
図４７に示す入力表示システムでは、文字認識処理部６１を備えた文字列認識部６０を図１に示す入力表示制御装置に適用する例を示している。
実施の形態１０では、文字認識処理部６１を備えた文字列認識部６０を図３９に示す入力表示制御装置に適用している入力表示システムについて説明する。
図５０は、実施の形態１０に係る入力表示制御装置を含む入力表示システムを示す構成図である。
図５１は、翻訳結果を示す文字列の表示処理の一例を示す説明図である。

図４７に示す入力表示システムでは、表示処理部１８が、曲線情報取得部９により取得された曲線情報が示す曲線に沿って、複数の文字の認識結果を示す文字列をディスプレイ３２に表示させている。
一方、図５０に示す入力表示システムでは、表示処理部５３が、図５１のステップＣに示すように、曲線情報が示す曲線に沿って、翻訳結果を示す文字列もディスプレイ３２に表示させている点で、図４７に示す入力表示システムと相違している。

以上の実施の形態１０は、実施の形態８と同様に、曲線情報取得部９により取得された曲線情報が示す曲線の長さが、翻訳部５２の翻訳結果を示す文字列より短い場合でも、表示処理部５３が、文字列の全部を曲線に沿って表示させることができる。

なお、実施の形態１０においても、実施の形態１と同様に、翻訳結果を示す文字列の長さが長いために、当該文字列に含まれている文字オブジェクトの一部がディスプレイ３２の表示領域からはみ出してしまう場合、文字オブジェクトの一部を非表示領域に配置するように、入力表示制御装置１００を構成するようにしてもよい。
また、翻訳結果を示す文字列を非表示領域に配置する場合において、ユーザが当該文字列を示す文字列を選択した場合、実施の形態１と同様に、文字列に含まれている文字オブジェクトの輪郭に、当該文字オブジェクトと異なる色の縁を付加するようにしてもよい。
さらに、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、翻訳結果を示す文字列に含まれている文字オブジェクトの全体を生成しきれない事態を回避することができる。
また、ユーザが、手書きの文字列又は翻訳結果を示す文字列のいずれか又は両方を選択して移動させた場合、手書きの文字列と翻訳結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る入力表示制御装置、入力表示制御方法及び入力表示システムは、配置された文字オブジェクトを表示する用途に適している。

１ 操作受付部、２ 文字管理ＤＢ、３ 文字管理部、４ 軌跡判別部、５ 文字列認識部、６ 音声検出部、７ 音声認識辞書ＤＢ、８ 音声認識部、９ 曲線情報取得部、１０ 文字列取得部、１１ 文字属性情報取得部、１２ 表示制御部、１３ 長さ比較部、１４ 延長曲線形状決定部、１５ 曲線記憶部、１６ 形状決定処理部、１７ 曲線延長部、１８ 表示処理部、１８ａ 文字列選択部、１８ｂ 縁付加部、１８ｃ 文字列移動部、１８ｄ テーブル記憶部、１９ 文字列一時保存部、２１ ポインティングデバイス、２２ 記憶処理回路、２３ 文字管理処理回路、２４ 画像生成処理回路、２５ マイク、２６ 音声認識処理回路、２７ 入力インタフェース回路、２８ 長さ比較処理回路、２９ 形状決定処理回路、３０ 曲線延長処理回路、３１ 表示処理回路、３２ ディスプレイ、３４ 翻訳処理回路、３５ 文字認識処理回路、４１ メモリ、４２ プロセッサ、５１ 表示制御部、５２ 翻訳部、５３ 表示処理部、６０ 文字列認識部、６１ 文字認識処理部、７０ カメラ、７１ 映像取得部、１００ 入力表示制御装置。

Claims (17)

1. ３次元空間の映像を取得する映像取得部と、
   ３次元の曲線を示す曲線情報を取得する曲線情報取得部と、
   文字列を取得する文字列取得部と、
   前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列に含まれている文字を示すオブジェクトである文字オブジェクトを前記映像取得部により取得された映像に重畳するための表示情報を生成する表示制御部とを備え、
   前記表示制御部は、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイの表示領域からはみ出してしまう場合、前記曲線情報取得部により取得された曲線情報が示す曲線を非表示領域まで延長した曲線に沿って前記文字についての文字オブジェクトの一部を前記表示領域が示す３次元空間の周囲の３次元空間に配置した前記表示情報のための情報を生成することを特徴とする入力表示制御装置。
2. 前記表示制御部は、前記映像取得部により取得された映像が示す３次元空間の位置が変化することで、前記周囲の３次元空間に配置していた文字オブジェクトが、前記位置が変化した３次元空間内に入ると、前記周囲の３次元空間に配置していた文字オブジェクトを前記映像取得部により取得された映像に重畳するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
3. 前記表示制御部は、文字についての文字オブジェクトの一部が前記周囲の３次元空間に配置されている文字列の選択を受け付ける文字列選択部を備えていることを特徴とする請求項１記載の入力表示制御装置。
4. 前記文字列選択部は、文字についての文字オブジェクトの一部が前記周囲の３次元空間に配置されている文字列に含まれている文字についての文字オブジェクトのうち、前記映像に重畳されている文字オブジェクトに対するユーザの接触時間が閾値よりも長ければ、当該文字列の選択を受け付けることを特徴とする請求項３記載の入力表示制御装置。
5. 前記表示制御部は、前記文字列選択部により選択が受け付けられた文字列に含まれている文字についての文字オブジェクトの輪郭に、前記文字オブジェクトと異なる色の縁を付加する縁付加部を備えていることを特徴とする請求項３記載の入力表示制御装置。
6. 前記表示制御部は、前記文字列選択部により選択が受け付けられた文字列の移動を受け付ける文字列移動部を備えていることを特徴とする請求項３記載の入力表示制御装置。
7. 前記表示制御部は、前記文字列移動部によって、前記文字列選択部により選択が受け付けられた文字列の全体を前記映像取得部により取得された映像が示す３次元空間に配置するための移動が受け付けられると、当該文字列に含まれている全ての文字についての文字オブジェクトを前記映像に重畳するための表示情報を生成することを特徴とする請求項６記載の入力表示制御装置。
8. 前記表示制御部は、前記文字列移動部によって、前記文字列選択部により選択が受け付けられた文字列の全体を前記映像取得部により取得された映像の外側に出すための移動が受け付けられると、当該文字列を破棄することを特徴とする請求項６記載の入力表示制御装置。
9. 前記表示制御部は、一部の文字についての文字オブジェクトを前記周囲の３次元空間に配置した文字列を改行することで、前記周囲の３次元空間に配置したオブジェクトを前記映像に重畳するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
10. 前記表示制御部は、前記曲線情報取得部により取得された曲線情報が示す曲線と同一形状の曲線を生成し、前記生成した曲線に沿って、前記周囲の３次元空間に配置したオブジェクトを前記映像に重畳するための表示情報を生成することを特徴とする請求項９記載の入力表示制御装置。
11. 前記表示制御部は、一部の文字についての文字オブジェクトを前記周囲の３次元空間に配置した文字列の全体を前記映像取得部により取得された映像が示す３次元空間内に移動させて、当該文字列に含まれている全ての文字についての文字オブジェクトを前記映像に重畳するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
12. 前記表示制御部は、一部の文字についての文字オブジェクトを前記周囲の３次元空間に配置した文字列に含まれている文字についての文字オブジェクトのサイズを小さくして、当該文字列の長さを、前記曲線情報取得部により取得された曲線情報が示す曲線の長さ以下にすることを特徴とする請求項１記載の入力表示制御装置。
13. 前記表示制御部は、前記文字列取得部により取得された文字列の長さが、前記曲線情報取得部により取得された曲線情報が示す曲線の長さよりも短い場合、前記文字列の長さが、前記曲線の長さよりも長くならない範囲で、前記文字列に含まれている文字についての文字オブジェクトのサイズを大きくすることを特徴とする請求項１記載の入力表示制御装置。
14. 前記表示制御部は、前記文字列取得部により取得された文字列を、前記文字列と同じ意味を有し、かつ、前記文字列よりも長さが短い文字列に置換する処理を実施し、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、置換処理後の文字列に含まれている全ての文字についての文字オブジェクトを前記映像取得部により取得された映像に重畳するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
15. 前記曲線情報取得部は、複数の曲線情報を取得し、前記表示制御部は、前記曲線情報取得部により取得された複数の曲線情報が示すそれぞれの曲線に沿って、前記文字列取得部により取得された文字列に含まれている文字についての文字オブジェクトを前記映像取得部により取得された映像に重畳するための表示情報を生成することを特徴とする請求項１記載の入力表示制御装置。
16. 映像取得部が、３次元空間の映像を取得し、
    曲線情報取得部が、３次元の曲線を示す曲線情報を取得し、
    文字列取得部が、文字列を取得し、
    表示制御部が、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列に含まれている文字を示すオブジェクトである文字オブジェクトを前記映像取得部により取得された映像に重畳するための表示情報を生成する処理を実施し、
    前記表示制御部では、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイの表示領域からはみ出してしまう場合、前記曲線情報取得部により取得された曲線情報が示す曲線を非表示領域まで延長した曲線に沿って前記文字についての文字オブジェクトの一部を前記表示領域が示す３次元空間の周囲の３次元空間に配置した前記表示情報のための情報を生成することを特徴とする入力表示制御方法。
17. ３次元空間の映像を取得する映像取得部と、
    ３次元空間の線を描く操作を受け付ける操作受付部と、
    前記操作受付部により受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
    表示対象の文字列を認識する文字列認識部と、
    前記軌跡判別部により判別された軌跡を表す３次元の曲線を示す曲線情報を取得する曲線情報取得部と、
    前記文字列認識部により認識された文字列を取得する文字列取得部と、
    前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列に含まれている文字を示すオブジェクトである文字オブジェクトを前記映像取得部により取得された映像に重畳するための表示情報を生成する表示制御部とを備え、
    前記表示制御部は、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列に含まれている文字についての文字オブジェクトの一部がディスプレイの表示領域からはみ出してしまう場合、前記曲線情報取得部により取得された曲線情報が示す曲線を非表示領域まで延長した曲線に沿って前記文字についての文字オブジェクトの一部を前記表示領域が示す３次元空間の周囲の３次元空間に配置した前記表示情報のための情報を生成することを特徴とする入力表示システム。

Images