JPWO2020065695A1 - 文字入力支援装置、文字入力システム、および文字入力支援方法 - Google Patents

Abstract

文字入力支援装置（１０）において、手入力文字認識部（１１）は、ユーザにより少なくとも一部分が手入力された文字を認識する。予測候補生成部（１２）は、ユーザが手入力した文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する。絞り込み情報取得部（１３）は、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得する。絞り込み処理部（１４）は、絞り込み情報取得部（１３）が取得した絞り込み情報に基づいて、予測候補生成部（１２）が生成した文字列の予測候補の絞り込みを行う。

Description

本発明は、文字の入力を支援する文字入力支援装置に関するものである。

一般に、電子機器への文字入力は、ユーザがキーボードやタッチパネルを手で操作して行われる。また、手書き文字の認識技術を利用して、ユーザが手でマウスを動かしたりタッチパネルをなぞったりして画面上に文字を綴ることで文字を入力すること（手書き文字入力）を可能にした電子機器も普及している。以下、ユーザが手を使って文字等を入力することを「手入力」という。

ユーザが文字を手入力する際に、入力される文字列を予測し、予測の結果得られた文字列の候補（以下「予測候補」という）をユーザに提示して選択させることで、文字入力の効率化を図る文字入力システムが知られている。例えば下記の特許文献１には、ユーザが文字を手入力するとともに、入力する文字列の読みを音声入力することができ、その読みに基づいて文字列の予測候補の絞り込みを行う文字入力システムが提案されている。

特開昭６０−１８９０７０号公報

特許文献１の文字入力システムでは、入力される文字列の読みに基づいて文字列の予測候補が絞り込まれるため、より効率的な文字入力を実現できる。しかし、特許文献１の技術は、ユーザが入力する文字列全体の読みを知っていることが前提となっており、ユーザが文字列の読みの一部または全部を知らない場合には適用が困難である。特に、漢字など、複数の読みを持つ文字を有する言語では、ユーザが読み方の分からない文字列を入力したい場面は少なくない。

本発明は以上のような課題を解決するためになされたものであり、ユーザが手入力する文字列全体の読みを知らない場合でも、音声入力を利用した文字列の予測候補の絞り込みを行うことが可能な文字入力支援装置を提供することを目的とする。

本発明に係る文字入力支援装置は、ユーザにより少なくとも一部分が手入力された文字を認識する手入力文字認識部と、手入力された文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する予測候補生成部と、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得する絞り込み情報取得部と、絞り込み情報に基づいて、文字列の予測候補の絞り込みを行う絞り込み処理部と、を備える。

本発明に係る文字入力支援装置によれば、ユーザは、手入力する文字列全体の読み以外の絞り込み情報を音声入力することができ、その絞り込み情報に基づいて文字列の予測候補の絞り込みが行われる。そのため、ユーザが手入力する文字列全体の読みを知らない場合でも、音声入力を利用した文字列の予測候補の絞り込みを行うことが可能である。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る文字入力システムの構成を示す図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力支援装置の動作を示すフローチャートである。 実施の形態１に係る文字入力支援装置の絞り込み情報取得部の動作を示すフローチャートである。 文字入力支援装置のハードウェア構成例を示す図である。 文字入力支援装置のハードウェア構成例を示す図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る文字入力システムの構成を示す図である。図１のように、当該文字入力システムは、文字入力支援装置１０と、それに接続された表示装置２１、操作入力装置２２および音声入力装置２３とを備えている。

表示装置２１は、文字入力支援装置１０が各種の情報を文字や画像でユーザに提示するための手段であり、例えば液晶表示装置などで構成される。操作入力装置２２は、ユーザが文字入力支援装置１０に対する操作を入力するための手段であり、例えばキーボード、マウス、タッチパッドなどで構成される。音声入力装置２３は、ユーザが発話した音声を文字入力支援装置１０に入力するための手段であり、一般的にはマイクである。

本実施の形態では、操作入力装置２２は、表示装置２１の画面上に配置された透明なタッチパッドであり、表示装置２１および操作入力装置２２は１つのタッチパネル２５を構成しているものとする。そのため以下の説明では、例えば、表示装置２１の画面を「タッチパネル２５の画面」と表現したり、操作入力装置２２の操作を「タッチパネル２５の操作」と表現したりする場合もある。

図１に示すように、文字入力支援装置１０は、手入力文字認識部１１、予測候補生成部１２、絞り込み情報取得部１３、絞り込み処理部１４および表示処理部１５を備えている。

手入力文字認識部１１は、ユーザが操作入力装置２２を用いて手入力した文字を認識する。特に、文字の入力が手書き文字入力によって行われる場合、手入力文字認識部１１は、一部分だけが手書きされた文字、つまり手書きの途中段階の文字を認識することもできる。

予測候補生成部１２は、ユーザが入力可能な文字列の辞書を有しており、手入力文字認識部１１によって認識された文字または文字の一部分に基づいて、ユーザが入力しようとしている文字列を予測し、文字列の予測候補を生成する。なお、「文字列」は、複数の文字からなるとは限らず、１つの文字のみからなる場合もある。そのため、予測候補生成部１２は、１文字以上の文字からなる文字列の予測候補を生成する。

絞り込み情報取得部１３は、音声入力装置２３に入力されたユーザの音声から、ユーザが入力しようとしている文字列の手掛かりとなる情報である「絞り込み情報」を取得する。絞り込み情報には文字列全体の読み以外の情報が含まれる。本実施の形態では、絞り込み情報は、
（ａ）文字列の文字数の情報
（ｂ）文字列における手入力された文字の位置を示す情報
（ｃ）文字列の文字数と、文字列における手入力された文字の位置との組み合わせからなる情報
（ｄ）文字列の一部の読みと、文字列における当該一部の読みに対応する文字の位置との組み合わせからなる情報
（ｅ）手入力された文字の形状に関する情報
のいずれであるものとする。

なお、絞り込み情報には、
（ｆ）文字列全体の読みの情報
が含まれても問題は無い。ただし、情報（ｆ）については、特許文献１の技術と同様にユーザが文字列全体の読みを知っていることが前提となるため、本明細書での説明は省略する。

絞り込み処理部１４は、絞り込み情報取得部１３が取得した絞り込み情報に基づいて、予測候補生成部１２が生成した文字列の予測候補の絞り込みを行う。

表示処理部１５は、ユーザが文字を入力するための入力画面（文字入力画面）や、予測候補生成部１２が生成した文字列の予測候補（または絞り込み情報取得部１３による絞り込み後の予測候補）、入力が確定した文字列、などを表示装置２１（タッチパネル２５）の画面に表示させ、それによって、ユーザに文字の入力環境を提供する。

なお、図１に示した各要素の機能の一部は、例えば文字入力支援装置１０と通信可能なサーバなど、文字入力支援装置１０の外部装置上で実現されてもよい。例えば、手入力文字認識部１１が手書き文字を認識するための画像認識（手書き文字認識）の処理や、絞り込み情報取得部１３が行う音声認識の処理など、演算負荷の高い処理を外部のサーバで行ってもよい。それにより、文字入力支援装置１０の演算負荷の低減を図ることができる。また、例えば絞り込み処理部１４が予測候補の生成に使用する文字列の辞書をサーバ上に設けてもよい。それにより、文字入力支援装置１０に必要とされる記憶容量の低減を図ることができる。

次に、実施の形態１に係る文字入力システムの動作の具体例を示す。実施の形態１に係る文字入力システムは、携帯電話やスマートフォン、パーソナルコンピュータ、ナビゲーション装置など、ユーザによる文字入力が行われるあらゆる電子機器に適用可能であるが、ここでは当該文字入力システムがスマートフォンに適用されたものと仮定し、文字入力支援装置１０は、タッチパネル２５に、図２のような文字入力画面を表示させるものとする。図２の文字入力画面は、ユーザが文字を手入力するための操作を行う領域である手入力操作領域１０１と、ユーザが入力する文字の予測候補が表示される領域である予測候補表示領域１０２と、入力が確定した文字列が表示される領域である確定文字表示領域１０３とを備えている。またここでは、手入力操作領域１０１は、ユーザが手書き文字入力を行う領域であるものとする。

例えば、ユーザが「特許」（読み：とっきょ）という文字列を入力する場合を考える。この場合、まず、ユーザは手入力操作領域１０１をなぞって「特」の文字を書く。図２には、ユーザが「特」の文字の牛偏の部分を書いた状態が示されている。この状態では、手入力文字認識部１１は、手入力操作領域１０１に書かれた牛偏を認識し、予測候補生成部１２は、牛偏を持つ文字（漢字）を含む文字列を予測候補として生成する。予測候補生成部１２が生成した予測候補は、予測候補表示領域１０２に表示される。図２の例では、「物」、「特」、「物体」、「生物」、「特別」、「特許」などの予測候補が予測候補表示領域１０２に表示されている。

ユーザは、予測候補表示領域１０２に表示された予測候補のうちから、入力する文字列を、タッチ操作で選択することができる。ユーザが予測候補のいずれかを選択すると、選択された文字列が、ユーザが入力する文字列として確定し、図３のように、確定した文字列（ここでは「特許」）が確定文字表示領域１０３に挿入される。

また、ユーザは、文字を手入力しながら、上記の情報（ａ）〜（ｅ）のような絞り込み情報を、音声入力装置２３を通して文字入力支援装置１０に入力できる。例えば図２の状態で、予測候補を２文字の文字列に絞り込みたい場合、ユーザは「２文字」と発話すればよい。ユーザの音声は、音声入力装置２３から絞り込み情報取得部１３に入力され、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は２文字であるという絞り込み情報（情報（ａ）に相当）を取得する。

絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補を、牛偏を持つ文字を含み、且つ、２文字の文字列に絞り込み、表示処理部１５は、絞り込み後の予測候補を予測候補表示領域１０２に表示させる。その結果、図４のように、予測候補表示領域１０２には、牛偏を持つ文字を含む２文字の予測候補（「物体」、「生物」、「特別」、「特許」など）のみが表示される。このように、予測候補が絞り込まれることで、予測候補表示領域１０２に表示される予測候補の数が少なくなるため、ユーザは予測候補の中から入力したい文字列（ここでは「特許」）を素早く見つけ出すことができ、文字入力が効率化される。

さらに図４の状態から、ユーザが、予測候補を、手入力した文字を１文字目に含む文字列に絞り込みたい場合、「１文字目」と発話すればよい。絞り込み情報取得部１３は、当該音声から、手入力された文字が入力される文字列の１文字目であるという絞り込み情報（情報（ｂ）に相当）を取得する。

絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補を、１文字目に牛偏を持つ文字列にさらに絞り込む。その結果、図５のように、予測候補表示領域１０２には、２文字からなり、且つ、１文字目に牛偏を持つ文字列のみが表示される。このように、ユーザは、複数の絞り込み情報を連続して発話することで、予測候補を段階的に絞り込むことができる。

ここでは、ユーザが、文字を手入力した後に、絞り込み情報の音声入力を行う例を示したがその順番に制約はない。すなわち、ユーザは、先に絞り込み情報の音声入力を行い、その後に文字を手入力してもよい。例えば、ユーザが文字を手入力する前に「２文字」と発話すると、絞り込み処理部１４は、絞り込み情報取得部１３が生成する予測候補を２文字の文字列に制限する。その後、ユーザが牛偏を手入力すると、絞り込み処理部１４は、牛偏を持つ文字を含む２文字の文字列を予測候補として生成し、結果として、図４と同じ状態になる。

また、ユーザは、文字の手入力と、絞り込み情報の音声入力とを、並列あるいは交互に行うこともできる。例えば、ユーザが、図４の状態から「特」の文字を書き上げ、さらに「１文字目」と発話すると、絞り込み処理部１４は、予測候補を、１文字目が「特」であり、且つ、２文字の文字列に絞り込む。その結果、図６のように、予測候補表示領域１０２には、１文字目が「特」の２文字の文字列（「特別」、「特許」など）のみが予測候補として表示される。

図２〜図６では、ユーザが、入力する文字列の１文字目（「特許」の「特」の文字）から入力した例を示したが、ユーザは文字列のどの文字から入力してもよい。例えば、ユーザが１文字目の漢字は書けないが、２文字目や３文字目は書けるような場合もある。

例えば、ユーザが「特許」の２文字目の「許」から入力する場合を考える。ユーザが手入力操作領域１０１に「許」の文字を書くと、予測候補生成部１２は、「許」の文字を含む文字列を予測候補として生成する。そして、ユーザが「２文字目」と発話すると、絞り込み情報取得部１３が、手入力された文字が入力される文字列の２文字目であるという絞り込み情報（情報（ｂ）に相当）を取得し、絞り込み処理部１４が、図７のように、予測候補を２文字目に「許」を含む文字列に絞り込む。図７の例では、「特許」、「免許」、「特許権」、「免許皆伝」などの予測候補が予測候補表示領域１０２に表示されている。

また図７の状態で、予測候補を２文字の文字列に絞り込みたい場合、ユーザは「２文字」と発話すればよい。その場合、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は２文字であるという絞り込み情報（情報（ａ）に相当）を取得し、絞り込み処理部１４は、予測候補を２文字の文字列にさらに絞り込む。その結果、図８のように、予測候補表示領域１０２には、２文字からなり、且つ、２文字目に「許」を含む文字列（「特許」、「免許」など）のみが表示される。

ユーザは、音声入力による予測候補の絞り込みを行う際、入力する文字列の文字数の情報と、入力した文字の位置の情報とを同時に発話してもよい。例えば、「特許」の文字列を入力する場合、ユーザが最初に手入力操作領域１０１に「許」の文字を書くと、予測候補生成部１２は「許」の文字を含む文字列を予測候補として生成する。そして、ユーザが「２文字中、２文字目」と発話すると、絞り込み情報取得部１３が、入力される文字列は２文字であり、手入力された文字はその文字列の２文字目であるという絞り込み情報（情報（ｃ）に相当）を取得する。この場合、絞り込み処理部１４は、図９のように、予測候補を、２文字からなり、且つ、２文字目に「許」を含む文字列に絞り込む。すなわち、図８と同じ状態になる。

また、ユーザは、音声入力による予測候補の絞り込みを行う際、入力する文字列の一部の読みと、文字列における当該一部の読みに対応する文字の位置との組み合わせからなる絞り込み情報（情報（ｄ））を、音声で文字入力支援装置１０に入力してもよい。例えば、ユーザが「特許」の文字列を入力するために、手入力操作領域１０１に「特」の牛偏を書くと、予測候補生成部１２は、牛偏を持つ文字を含む文字列を予測候補として生成する。そして、ユーザが「２文字目の読みが『きょ』」と発話すると、絞り込み情報取得部１３が、入力される文字列の２文字目は「きょ」と読むという絞り込み情報を取得する。この場合、絞り込み処理部１４は、図１０のように、予測候補を、牛偏を持つ文字を含み、且つ、２文字目の読みが「きょ」である文字列（「特許」（読み：とっきょ）、「特許権」（読み：とっきょけん）など）に絞り込む。

また、ユーザは、手入力された文字の形状に関する絞り込み情報（情報（ｅ））を、音声で文字入力支援装置１０に入力してもよい。例えば図１１のように、ユーザが手入力操作領域１０１に「特」の牛偏の一部までしか書いていない状態では、それが「牛」の形を持つ牛偏の一部なのか、「矢」の形を持つ矢偏の一部なのか区別がつかない。そのため、予測候補生成部１２が生成する予測候補には、牛偏を持つ文字を含む文字列だけでなく、矢偏を持つ文字を含む文字列も含まれることになる。よって、図１１のように、予測候補表示領域１０２には、「知」、「短」、「物」、「特」など、牛偏を持つ文字を含む文字列と、矢偏を持つ文字を含む文字列との両方が、予測候補として表示される。

図１１の状態で、ユーザが「左部分が『牛』っぽい」と発話すると、絞り込み情報取得部１３が、手入力された文字の左部分は「牛」に似た形状であるという絞り込み情報を取得する。この場合、絞り込み処理部１４は、図１２のように、予測候補を、牛偏を持つ文字を含む文字列（「物」、「特」など）に絞り込む。

また、以上の説明では、ユーザが手書き文字入力によって文字を入力する例を示したが、ユーザが文字を手入力する方法はこれに限られず、例えば、キーボードを用いた文字入力でもよい。図１３は、手入力操作領域１０１がソフトウェアキーボードで構成された例である。ユーザは、ソフトウェアキーボードを用いて「特」の文字を手入力した後、「２文字」と発話すると、図１４のように予測候補が「特」の文字を含む２文字の文字列に絞り込まれる。なお、ユーザが文字を手入力するためのキーボードは、ハードウェアのキーボードでもよい。

また、表示処理部１５が表示装置２１（タッチパネル２５）に表示させる文字入力画面の構成は、上に示した例に限られず、ユーザが文字を手入力する際に、入力する文字列の予測候補をユーザに提示できるものであれば、任意の構成でよい。

図１５は、文字入力支援装置１０の動作を示すフローチャートである。また図１６は、文字入力支援装置１０の絞り込み情報取得部１３の動作を示すフローチャートである。図１５のフローは、ユーザが文字の手入力を開始すると起動し、図１６のフローは、ユーザの音声が音声入力装置２３を通して文字入力支援装置１０に入力されると起動し、両フローは並行して実行される。以下、図１５および図１６のフローチャートを参照しつつ、文字入力支援装置１０の動作を説明する。

ユーザが操作入力装置２２を用いて文字の手入力を開始すると、図１５のフローが起動し、手入力文字認識部１１が、ユーザが手入力した文字または文字の一部を認識する（ステップＳ１０１）。そして、予測候補生成部１２が、手入力文字認識部１１の認識結果に基づいて、文字列の予測候補を生成する（ステップＳ１０２）。

次に、文字入力支援装置１０は、絞り込み情報取得部１３が図１６の処理で絞り込み情報を取得したか否かを確認する（ステップＳ１０３）。絞り込み情報取得部１３が絞り込み情報を取得していた場合（ステップＳ１０３でＹＥＳ）、絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補の絞り込みを行う（ステップＳ１０４）。そして、表示処理部１５は、絞り込み処理部１４によって絞り込みがなされた後の予測候補を、予測候補表示領域１０２に表示させる（ステップＳ１０５）。絞り込み情報取得部１３が絞り込み情報を取得していない場合（ステップＳ１０３でＮＯ）は、現状の予測候補が維持されて、予測候補表示領域１０２に表示される。

その後、文字入力支援装置１０は、ユーザによる文字の手入力または絞り込み情報の音声入力が継続中か否かを確認する（ステップＳ１０６）。文字入力または音声入力が継続中であれば（ステップＳ１０６でＹＥＳ）、ステップＳ１０１へ戻る。

文字入力または音声入力が継続中でなければ（ステップＳ１０６でＮＯ）、文字入力支援装置１０は、ユーザが予測候補から文字列を選択するのを待ち、ユーザにより選択された文字列を、ユーザが入力する文字列として確定する（ステップＳ１０７）。最後に、表示処理部１５が、確定した文字列を確定文字表示領域１０３に挿入し（ステップＳ１０８）、図１５のフローは終了する。

ここで、図１６を用いて、絞り込み情報取得部１３が絞り込み情報を取得する処理について説明する。

ユーザの音声が音声入力装置２３を通して文字入力支援装置１０に入力されると、絞り込み情報取得部１３がその音声を認識する（ステップＳ２０１）。絞り込み情報取得部１３は、認識したユーザの音声から、ユーザが入力する文字列の文字数の情報（ステップＳ２０２）、文字列における手入力された文字の位置を示す情報（ステップＳ２０３）、文字列の一部の読みと、文字列における当該一部の読みに対応する文字の位置との組み合わせからなる情報（ステップＳ２０４）、手入力された文字の形状に関する情報（ステップＳ２０５）を抽出する。

そして、絞り込み情報取得部１３は、ステップＳ２０２〜ステップＳ２０５でいずれかの情報が抽出されたか否かを確認する（ステップＳ２０６）。いずれかの情報が抽出されていれば（ステップＳ２０６でＹＥＳ）、その情報を絞り込み情報として取得し、取得した絞り込み情報を予測候補生成部１２へ入力する（ステップＳ２０７）。いずれかの情報が抽出されていなければ（ステップＳ２０６でＮＯ）、絞り込み情報取得部１３は絞り込み情報を取得せず、図１６の処理は終了する。

なお、上記の情報（ｃ）（文字列の文字数と、文字列における手入力された文字の位置との組み合わせからなる情報）は、ステップＳ２０２，Ｓ２０３で抽出された情報を組み合わせて作成される。また、図１６のフローに、絞り込み情報として上記の情報（ｆ）（文字列全体の読みの情報）を抽出するステップが含まれていてもよい。

図１７および図１８は、それぞれ文字入力支援装置１０のハードウェア構成の例を示す図である。図１に示した文字入力支援装置１０の構成要素の各機能は、例えば図１７に示す処理回路５０により実現される。すなわち、文字入力支援装置１０は、ユーザにより少なくとも一部分が手入力された文字を認識し、手入力された文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成し、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得し、絞り込み情報に基づいて、文字列の予測候補の絞り込みを行うための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。文字入力支援装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図１８は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における文字入力支援装置１０のハードウェア構成の例を示している。この場合、文字入力支援装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、文字入力支援装置１０は、プロセッサ５１により実行されるときに、ユーザにより少なくとも一部分が手入力された文字を認識する処理と、手入力された文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する処理と、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得する処理と、絞り込み情報に基づいて、文字列の予測候補の絞り込みを行う処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、文字入力支援装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、文字入力支援装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、文字入力支援装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、文字入力支援装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
実施の形態１では、文字入力支援装置１０による日本語入力の例を示したが、文字入力支援装置１０は日本語以外のあらゆる言語（例えば、中国語、韓国語、ゲルマン系言語（例えば英語、ドイツ語等）、ラテン系言語（例えばイタリア語、スペイン語、フランス語等）、スラブ系言語（例えばロシア語等）など）の入力適用可能である。実施の形態２では、文字入力支援装置１０を英語入力に適用した例を示す。

実施の形態２でも、文字入力支援装置１０の表示処理部１５は、表示装置２１としてのタッチパネル２５の画面に、ユーザが文字を手入力するための操作を行う領域である手入力操作領域１０１と、ユーザが入力する文字の予測候補が表示される領域である予測候補表示領域１０２と、入力が確定した文字列が表示される領域である確定文字表示領域１０３とを含む図１９のような文字入力画面を表示させるものとする。また、手入力操作領域１０１は、ユーザが手書き文字入力を行う領域であるものとする。

例えば、ユーザが「ｐａｔｅｎｔ」という文字列を入力する場合を考える。この場合、まず、ユーザはタッチパネル２５（操作入力装置２２）の手入力操作領域１０１をなぞって「ｐ」の文字を書く。図１９には、ユーザが「ｐ」の文字の部分を書いた状態が示されている。この状態では、手入力文字認識部１１は、手入力操作領域１０１に書かれた「ｐ」の文字を認識し、予測候補生成部１２は、「ｐ」を含む単語を文字列の予測候補として生成する。予測候補生成部１２が生成した予測候補は、予測候補表示領域１０２に表示される。図１９の例では、「ｐａｉｎｔ」、「ｐａｐｅｒ」、「ｐａｒｋ」、「ｐａｒｔｙ」、「ｐａｓｓ」、「ｐａｔｅｎｔ」などの予測候補が予測候補表示領域１０２に表示されている。

ユーザは、予測候補表示領域１０２に表示された予測候補のうちから、入力する文字列を、タッチ操作で選択することができる。ユーザが予測候補のいずれかを選択すると、選択された文字列が、ユーザが入力する文字列として確定し、図２０のように、確定した文字列（ここでは「ｐａｔｅｎｔ」）が確定文字表示領域１０３に挿入される。

また、ユーザは、文字を手入力しながら、絞り込み情報を音声入力装置２３を通して文字入力支援装置１０に入力できる。例えば図１９の状態で、ユーザが予測候補を６文字の単語に絞り込みたい場合、「６文字」と発話すればよい。ユーザの音声は、音声入力装置２３から絞り込み情報取得部１３に入力され、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は６文字であるという絞り込み情報（情報（ａ）に相当）を取得する。

絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補を６文字の文字列に絞り込み、表示処理部１５は、絞り込み後の予測候補を予測候補表示領域１０２に表示させる。その結果、図２１のように、予測候補表示領域１０２には６文字の予測候補（「ｐａｃｋｅｔ」、「ｐａｔｅｎｔ」など）のみが表示される。このように、予測候補が絞り込まれることで、予測候補表示領域１０２に表示される予測候補の数が少なくなるため、ユーザは予測候補の中から入力したい文字列（ここでは「ｐａｔｅｎｔ」）を素早く見つけ出すことができ、文字入力が効率化される。

上では、ユーザが、入力する文字列の１文字目（「ｐａｔｅｎｔ」の「ｐ」の文字）から入力した例を示したが、ユーザは文字列のどの文字から入力してもよい。例えば、ユーザが「ｐａｔｅｎｔ」の５文字目の「ｎ」から入力する場合を考える。ユーザが手入力操作領域１０１に「ｎ」の文字を書くと、予測候補生成部１２は、「ｎ」の文字を含む文字列を予測候補として生成する。そして、ユーザが「５文字目」と発話すると、絞り込み情報取得部１３が、手入力された文字が入力される文字列の５文字目であるという絞り込み情報（情報（ｂ）に相当）を取得し、絞り込み処理部１４が、図２２のように、予測候補を５文字目に「ｎ」を含む単語に絞り込む。図２２の例では、「ｂｅｇｉｎ」、「ｇｒｏｕｎｄ」、「ｐａｔｅｎｔ」などの予測候補が予測候補表示領域１０２に表示されている。

また図２２の状態で、予測候補を６文字の文字列に絞り込みたい場合、ユーザは「６文字」と発話すればよい。その場合、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は６文字であるという絞り込み情報（情報（ａ）に相当）を取得し、絞り込み処理部１４は、予測候補を６文字の文字列にさらに絞り込む。その結果、図２３のように、予測候補表示領域１０２には、６文字からなり、且つ、５文字目に「ｎ」を含む文字列（「ｇｒｏｕｎｄ」、「ｐａｔｅｎｔ」など）のみが表示される。このように、ユーザは、複数の絞り込み情報を連続して発話することで、予測候補を段階的に絞り込むことができる。

ユーザは、音声入力による予測候補の絞り込みを行う際、入力する文字列の文字数の情報と、入力した文字の位置の情報とを同時に発話してもよい。例えば、「ｐａｔｅｎｔ」の文字列を入力する場合、ユーザが最初に手入力操作領域１０１に「ｎ」の文字を書くと、予測候補生成部１２は「ｎ」の文字を含む文字列を予測候補として生成する。そして、ユーザが「６文字中、５文字目」と発話すると、絞り込み情報取得部１３が、入力される文字列は６文字であり、手入力された文字はその文字列の５文字目であるという絞り込み情報（情報（ｃ）に相当）を取得する。この場合、絞り込み処理部１４は、図２４のように、予測候補を、６文字からなり、且つ、５文字目に「ｎ」を含む単語に絞り込む。すなわち、図２３と同じ状態になる。

以上では、ユーザが手書き文字入力によって文字を入力する例を示したが、ユーザが文字を手入力する方法はこれに限られず、例えば、キーボードを用いた文字入力でもよい。図２５は、手入力操作領域１０１がソフトウェアキーボードで構成された例である。ユーザは、ソフトウェアキーボードを用いて「ｐ」の文字を手入力した後、「６文字」と発話すると、図２６のように予測候補が「ｐ」の文字を含む６文字の文字列に絞り込まれる。なお、ユーザが文字を手入力するためのキーボードは、ハードウェアのキーボードでもよい。

また、表示処理部１５が表示装置２１（タッチパネル２５）に表示させる文字入力画面の構成は、上に示した例に限られず、ユーザが文字を手入力する際に、入力する文字列の予測候補をユーザに提示できるものであれば、任意の構成でよい。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 文字入力支援装置、１１ 手入力文字認識部、１２ 予測候補生成部、１３ 絞り込み情報取得部、１４ 絞り込み処理部、１５ 表示処理部、２１ 表示装置、２２ 操作入力装置、２３ 音声入力装置、２５ タッチパネル、１０１ 手入力操作領域、１０２ 予測候補表示領域、１０３ 確定文字表示領域、５０ 処理回路、５１ プロセッサ、５２ メモリ。

Claims (10)

1. ユーザにより少なくとも一部分が手入力された文字を認識する手入力文字認識部と、
   前記手入力された文字に基づいて、前記ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する予測候補生成部と、
   前記ユーザが発話した音声から、前記文字列の手掛かりとなる情報であり、前記文字列全体の読み以外の情報を含む絞り込み情報を取得する絞り込み情報取得部と、
   前記絞り込み情報に基づいて、前記文字列の予測候補の絞り込みを行う絞り込み処理部と、
   を備える文字入力支援装置。
2. 前記絞り込み情報は、前記文字列の文字数の情報を含む、
   請求項１に記載の文字入力支援装置。
3. 前記絞り込み情報は、前記文字列における前記手入力された文字の位置を示す情報を含む、
   請求項１に記載の文字入力支援装置。
4. 前記絞り込み情報は、前記文字列の文字数と、前記文字列における前記手入力された文字の位置との組み合わせからなる情報を含む、
   請求項１に記載の文字入力支援装置。
5. 前記絞り込み情報は、前記文字列の一部の読みと、前記文字列における前記一部の読みに対応する文字の位置との組み合わせからなる情報を含む、
   請求項１に記載の文字入力支援装置。
6. 前記絞り込み情報は、前記手入力された文字の形状に関する情報を含む、
   請求項１に記載の文字入力支援装置。
7. 前記文字列の予測候補を表示装置に表示させる表示処理部をさらに備え、
   前記表示処理部は、前記文字列の予測候補の絞り込みが行われると、絞り込み後の予測候補を前記表示装置に表示させる
   請求項１に記載の文字入力支援装置。
8. 請求項７に記載の文字入力支援装置と、
   前記表示装置と、
   を備える文字入力システム。
9. 請求項１に記載の文字入力支援装置と、
   手入力の操作を受け付ける操作入力装置と、
   を備える文字入力システム。
10. 文字入力支援装置の手入力文字認識部が、ユーザにより少なくとも一部分が手入力された文字を認識し、
    前記文字入力支援装置の予測候補生成部が、前記手入力された文字に基づいて、前記ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成し、
    前記文字入力支援装置の絞り込み情報取得部が、前記ユーザが発話した音声から、前記文字列の手掛かりとなる情報であり、前記文字列全体の読み以外の情報を含む絞り込み情報を取得し、
    前記文字入力支援装置の絞り込み処理部が、前記絞り込み情報に基づいて、前記文字列の予測候補の絞り込みを行う
    文字入力支援方法。

Images