JPH07311656A - マルチモーダル文字入力装置 - Google Patents

Abstract

(57)【要約】 【目的】タッチパネル上でのタッチ操作による表示文字
の選択入力の他、タッチパネル上での手書きによる文字
入力も行えるようにする。 【構成】文字入力画面を表示した状態で、利用者がタッ
チパネル２上で文字入力画面の文字入力領域に文字を書
くと共に、その音声を発声すると、その文字の筆跡を表
す位置情報が文字入力部４により順次入力され、対話管
理部１１により文字入力領域の同じ位置に逐次筆跡表示
される。１文字が書き終わると、文字入力部４により入
力された位置情報の列の示す筆跡パターンが文字として
文字認識部６にて認識される。また利用者が発声した音
声は音声入力部８により入力され、その入力音声の分析
・特徴抽出、認識が音声認識部９にて行われる。この
際、文字認識部６で認識された上位の候補文字の範囲で
音声認識が行われて入力文字が決定され、その文字から
始まる単語が単語蓄積部１３から検索される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字を入力するための
複数種の入力手段を備えたマルチモーダル文字入力装置
に関する。

【０００２】

【従来の技術】従来、例えば、自動振込装置における振
込先、振込人などの入力には、表示画面に表示された５
０音表から、利用者が文字を選択する方式が適用されて
いた。また、手書きによる文字入力を可能とした装置も
あったが、従来は特殊なペンやタブレットを使用する必
要があった。即ち従来の文字入力を可能とした装置で
は、タブレット上に記入用紙を置き、その用紙に特殊な
ペンを用いて必要な事項を記入し、その際のペンの圧力
を検出することで記入された文字のストロークを検出
し、文字認識を行うようになっていた。この種の装置を
利用する場合、利用者は、振込種別などの選択操作は画
面を介して行い、文字入力の際には、別の端末に移り、
ペンを取り上げる必要があった。

【０００３】また近年は、音声認識技術を利用して文字
を音声にて入力する装置も試みられている。音声による
入力は、手書きによる文字入力と比較して入力が速いと
いう利点があるが、音声認識処理において認識結果を１
位に確定することは難しく、例えば５位程度までを表示
して、利用者に選択させるのが一般的であった。

【０００４】また従来は、文字入力結果を訂正するに
は、入力済みの文字を全部消去して改めて入力し直す
か、１文字ずつ消去していき、訂正すべき文字以降をす
べて消去した後、改めて入力する必要があった。これ
は、入力位置を分かりやすくするための簡便な手法であ
るが、せっかく正しく入力された文字まで消さなければ
ならない点では問題であった。

【０００５】

【発明が解決しようとする課題】上記したように従来の
文字入力が可能な装置では、特殊なペンやタブレットを
使用しなければならないという問題があった。また、音
声により文字入力が可能な装置もあったが、効率的な文
字認識が難しく、利用者に負担をかけるという問題があ
った。

【０００６】また、一旦入力した文字の訂正が効率的に
行えないという問題もあった。本発明は上記事情を考慮
してなされたものでその目的は、タッチパネル上に指を
触れることにより画面表示されている複数の文字（表示
項目）から１つを選択入力できる他、これと同様の感覚
で単にタッチパネル上で文字を書くだけで、特殊なペン
やタブレットを使用することなく文字入力が行える、一
般の利用者にとって使い勝手の良いマルチモーダル文字
入力装置を提供することにある。

【０００７】本発明の他の目的は、手書きによる文字入
力の適用により、そのための入力画面に文字入力結果を
利用者がタッチし得るサイズで表示する表示領域を確保
して、その入力画面上で文字入力結果の訂正箇所をタッ
チ操作で指定できるマルチモーダル文字入力装置を提供
することにある。

【０００８】本発明の更に他の目的は、タッチパネル上
でのタッチ操作による表示文字の選択入力及びタッチパ
ネル上での手書きによる文字入力の他、音声による文字
入力も利用でき、一般の利用者にとって一層使い勝手の
良いマルチモーダル文字入力装置を提供することにあ
る。

【０００９】本発明の更に他の目的は、手書きによる文
字入力と音声による文字入力を併用し、文字認識結果だ
けでなく音声認識結果をも考慮して総合的に入力文字を
判断することにより、認識率の向上が図れるマルチモー
ダル文字入力装置を提供することにある。

【００１０】

【課題を解決するための手段及び作用】本発明は、表示
装置の表示面に重ねて用いられるタッチパネルと、第１
の入力モードでは、入力の対象となる選択候補文字の一
覧を含む第１の入力画面を表示装置に表示し、第２の入
力モードでは、文字を手書き入力するための文字入力領
域を持つ第２の入力画面を表示装置に表示する第１の表
示手段と、第１の入力画面が表示されている状態で、選
択候補文字一覧の中から任意の候補文字がタッチパネル
上でタッチされた場合、そのタッチされた文字を選択す
る選択手段と、第２の入力画面が表示されている状態
で、当該入力画面の文字入力領域にタッチパネル上から
文字が手書きされた場合、その文字の筆跡を表す位置情
報を順次入力する文字入力手段と、当該文字入力手段に
より順次入力される位置情報の列の示す筆跡を表示装置
に逐次表示する第２の表示手段と、当該文字入力手段に
より入力された位置情報の列の示す筆跡の文字パターン
を文字認識する文字認識手段と、複数の単語が蓄積され
る単語蓄積手段と、上記選択手段により選択された、或
いは文字認識手段により認識された、少なくとも１つの
文字を頭に持つ単語を単語蓄積手段から検索する検索手
段と、この検索手段の検索結果を表示装置に表示する第
３の表示手段とを設けたことを特徴とするものである。

【００１１】このような構成においては、タッチパネル
上に指を触れることにより画面表示されている複数の文
字から任意の文字を選択入力できる他、これと同様の感
覚で単にタッチパネル上で文字を書くだけで、特殊なペ
ンやタブレットを使用することなく文字入力が行える。
そして、上記いずれかの入力方式で１文字或いは複数文
字を入力するだけで、その入力文字を頭に持つ単語が検
索されて画面表示されるため、目的とする単語を構成す
る全ての文字列を入力しないで済む。また、手書きによ
る文字入力を適用した場合、そのための入力画面（第２
の入力画面）に文字入力結果を利用者がタッチし得るサ
イズで表示する表示領域を確保することができることか
ら、その入力画面上で文字入力結果の訂正箇所をタッチ
操作で指定できる。

【００１２】また本発明は、上記の構成に加えて、利用
者が発声した音声を入力するための音声入力手段と、こ
の音声入力手段により入力された音声を分析し、その特
徴量を抽出して、音声認識を行う音声認識手段を更に設
け、この音声認識手段により入力音声が認識された場
合、この認識された少なくとも１つの文字を用いて上記
検索手段による単語検索が行われるようにしたことをも
特徴とする。

【００１３】このような構成においては、音声による文
字入力も利用できることから、使い勝手が一層向上す
る。また本発明は、音声認識を文字認識と併用して入力
文字を決定する構成としたことをも特徴とする。

【００１４】このように音声認識を文字認識と併用する
ことにより、文字認識では混同しやすい文字（例えば
「く」と「し」）でも、音声認識では容易に区別できる
ため、認識率が向上する。

【００１５】

【実施例】図１は本発明の一実施例に係るマルチモーダ
ル文字入力装置の概略構成を示すブロック図である。図
１に示すマルチモーダル文字入力装置は、表示装置１、
タッチパネル２、入力制御部３、文字入力部４、選択部
５、文字認識部６、文字認識辞書７、音声入力部８、音
声認識部９、音声認識辞書１０、対話管理部１１、検索
部１２、及び単語蓄積部１３から構成される。

【００１６】表示装置１は、利用者の選択に用いられる
５０音表、各種メッセージ、及び利用者がタッチパネル
２上に手書きした文字の筆跡（文字線）等の表示に用い
られるもので、例えばＣＲＴディスプレイ、或いは液晶
ディスプレイ（フラットディスプレイ）などである。

【００１７】タッチパネル２は、表示装置１の表示面に
重ねて用いられる例えば透明なタッチスクリーンであ
り、利用者によって指等でタッチされた当該パネル２上
の位置を静電容量の変化、赤外線の遮蔽、重力の変化な
どを利用して検知するものである。このタッチパネル２
の一部領域は、対話管理部１１により必要に応じて手書
きによる文字入力領域に割り当てられる。

【００１８】入力制御部３は、タッチパネル２によって
検知される利用者のタッチした位置が文字入力領域内で
あるか否かを判断し、文字入力領域内であれば対応する
位置情報を文字入力部４に渡し、文字入力領域外であれ
ば対応する位置情報を選択部５に渡す入力制御を行うも
のである。

【００１９】文字入力部４は、入力制御部３から渡され
た位置情報（手書き文字の筆跡を示す位置情報）を取り
込んで入力バッファ（図示せず）に順次格納するもので
ある。文字入力部４は、入力制御部３から位置情報を取
り込んでから予め定められた一定時間を経過しても次の
位置情報が渡されなかった場合に、文字認識部６を起動
するようになっている。

【００２０】選択部５は、表示装置１に項目選択のため
の入力画面（５０音表など）が表示されている状態で入
力制御部３から位置情報が渡された場合に、その位置情
報の示す入力画面上の項目（５０音表の例であれば、仮
名文字）を選択するものである。選択部５によって選択
された項目は対話管理部１１に送られるようになってい
る。

【００２１】以上の入力制御部３、文字入力部４及び選
択部５は、機能を理解しやすくするために独立の要素と
しているが、１つの要素にまとめることも可能である。
文字認識部６は、文字入力部４に取り込まれている位置
情報列の示す１文字分の文字パターン（筆跡）の文字認
識を文字認識辞書７を参照して行うもので、文字入力部
４または対話管理部１１により起動される。

【００２２】文字認識辞書７は文字認識部６での文字認
識処理に用いられる例えば仮名、数字等についての標準
パターンが登録されたものである。音声入力部８は、利
用者が発声した音声を入力して電気信号に変換するため
のものである。

【００２３】音声認識部９は、音声入力部７によって入
力された音声（の電気信号）を音響分析して特徴量を抽
出し、音声認識辞書９を参照して認識処理を行うもので
ある。

【００２４】音声認識辞書１０は音声認識部８での音声
認識処理に用いられる例えば仮名、数字等についての標
準パターンが登録されたものである。対話管理部１１
は、表示装置１、タッチパネル２及び音声入力部８を通
して利用者との対話を管理・制御するものである。対話
管理部１１は、表示装置１に対する各種入力画面の切り
替え表示、手書き入力文字の筆跡の表示等を制御する。
また対話管理部１１は、入力画面構成を入力制御部３及
び選択部５に設定する（入力制御部３に対しては、文字
入力領域の位置情報のみ）。

【００２５】検索部１２は、選択部５により選択され
た、或いは文字認識部６もしくは音声認識部９により認
識された、１つまたは複数の文字（仮名文字）を（読み
の）頭に持つ単語を単語蓄積部１３から検索するもの
で、対話管理部１１により起動される。ここで、認識さ
れた文字が清音の場合、検索部１２は、その濁音、半濁
音で始まる単語についても検索するようになっている。

【００２６】単語蓄積部１３は、複数の単語をその単語
の読みの頭の１文字或いは複数文字に対応して蓄積（登
録）しておくためのものである。次に図１の構成のマル
チモーダル文字入力装置の動作について、当該装置を銀
行などに設置される自動振込装置に適用した場合を例
に、図２乃至図９の表示画面例及び図１０乃至図１３の
フローチャートを参照して説明する。

【００２７】まず、自動振込装置で入力される項目の主
要なものは、（ａ）金融機関の種類、（ｂ）金融機関
名、（ｃ）支店名、（ｄ）受取人名、（ｅ）振込人名、
（ｆ）金額、（ｇ）振込人の連絡先電話番号である。

【００２８】以上の入力項目のうち、（ａ）金融機関の
種類、（ｆ）金額、（ｇ）振込人の連絡先電話番号は、
対話管理部１１の制御により少数の項目、例えば数字な
どを表示装置１に表示しておき、利用者に必要な数字を
タッチパネル２上から指でタッチさせることにより、希
望の項目を入力することが可能である。この入力動作
は、次に述べる５０音表から文字を選択入力する場合と
同様である。

【００２９】次に上記の入力項目のうち、（ｂ）金融機
関名、（ｃ）支店名は、選択対象となる項目数が少ない
場合には、上記（ａ），（ｆ），（ｇ）の入力と同様の
方法で可能である。しかし、上記（ｂ），（ｃ）は一般
に数が多いため、実際には、５０音表から目的とする金
融機関名（銀行名）或いは支店名の読みの先頭文字をタ
ッチ操作で選択する方法が用いられる。

【００３０】５０音表からの文字選択（タッチ選択）の
場合、銀行名入力の例であれば、対話管理部１１の制御
により図２に示すような５０音表を含む入力画面（５０
音表入力画面）２１が表示される。このとき対話管理部
１１は、もしも当該入力画面２１に文字入力領域が存在
するならば、その文字入力領域の位置情報を入力制御部
３に設定する。また対話管理部１１は、図２の例のよう
に文字入力領域が存在しないならば、文字入力領域が存
在しない旨の情報を入力制御部３に設定する。更に対話
管理部１１は、入力画面２１の構成を示す情報、即ち入
力画面２１中の各選択項目（選択候補）の位置情報（図
２の例であれば、５０音表上の各文字の位置情報と「取
消」，「訂正」等の機能ボタンの位置情報）を選択項目
名と対応させて選択部５に設定する。

【００３１】利用者は、図２に示したような５０音表入
力画面２１が表示装置１に表示されると、所望の銀行名
の（読みの）先頭文字に一致する５０音表上の仮名文字
をタッチパネル２上から指でタッチする。

【００３２】利用者がタッチしたタッチパネル２上の位
置の情報は、当該タッチパネル２から入力制御部３に送
られる。入力制御部３は、この例のように、タッチパネ
ル２からの位置情報の示す位置が文字入力領域内にない
場合、当該位置情報を選択部５に渡す。

【００３３】選択部５は、入力制御部３から（利用者の
タッチした位置の）位置情報を受け取ると、その位置情
報と（対話管理部１１によって設定されている）入力画
面構成情報をもとに、利用者がいずれの項目（５０音表
上のいずれの文字、或いはいずれの機能ボタン）をタッ
チしたのかを認識する。そして選択部５は、認識した項
目を選択して対話管理部１１に通知する。ここでは、５
０音表上の「と」が選択されて対話管理部１１に通知さ
れたものとする。

【００３４】対話管理部１１は、選択部５により選択さ
れた仮名文字「と」を受け取ると、その仮名文字「と」
を検索部１２に渡して当該検索部１２を起動する。する
と検索部１２は、対話管理部１１から受け取った１文字
「と」を読みの先頭に持つ単語（ここでは銀行名）を単
語蓄積部１３から検索し、その検索結果を対話管理部１
１に渡す。本実施例において、単語蓄積部１３に蓄積さ
れている単語は銀行名と（銀行の）支店名に大別され
る。検索部１２は、銀行名（の先頭文字）の入力の場合
には、対話管理部１１から受け取った１文字を読みの先
頭に持つ銀行名だけを検索し、後述する支店名（の先頭
文字）の入力の場合には、対話管理部１１から受け取っ
た１文字を読みの先頭に持つ支店名だけを検索する。こ
の検索のために、単語蓄積部１３に蓄積されている各単
語に、銀行名であるか支店名であるかを識別する情報を
持たせるようにすると良い。また、銀行名と支店名とを
別の領域に蓄積して、例えば銀行名の検索時には、銀行
名の蓄積領域だけを対象に検索処理を行うようにしても
良い。

【００３５】なお、本実施例では、単語蓄積部１３に登
録されていない銀行名の読みの先頭文字（例えば
「え」、「け」、「こ」など）については、利用者の誤
った選択操作を防ぐために、図２の入力画面２１上の５
０音表から外すようにしている。このことは、支店名
（の先頭文字）の入力に用いる５０音表入力画面につい
ても同様である。

【００３６】対話管理部１１は、検索部１２の検索結果
を受け取ると、その検索結果から利用者が望む単語（銀
行名）を選択するための、図３に示すような選択画面
（銀行名選択画面）２２を表示装置１に表示する。

【００３７】さて本実施例では、利用者が望む単語（銀
行名）の（読みの）先頭の１文字を、上記した５０音表
上でタッチ操作することで選択（入力）する他に、手書
きにより入力できるようになっている。

【００３８】そのため、対話管理部１１は、利用者に対
して単語（銀行名）の（先頭の１文字の）入力操作を要
求する場合、５０音表からの文字入力（選択入力）或い
は手書きによる文字入力のいずれの入力方式を用いるか
を利用者に選択させる入力画面を表示装置１に表示す
る。ここでは、５０音表からの文字入力（第１の入力モ
ード）を選択するためのボタンと、手書きによる文字入
力（第２の入力モード）を選択するためのボタンが表示
される入力画面が用いられる。この２つのボタンのいず
れがタッチされたか、即ち５０音表からの文字入力或い
は手書きによる文字入力のいずれが選択されたかは選択
部５で認識され、その認識結果が対話管理部１１に通知
される。

【００３９】対話管理部１１は、５０音表からの文字入
力が選択された（ことが通知された）場合、図２に示し
たような５０音表入力画面２１を表示装置１に表示す
る。この際の動作は既に述べた通りである。

【００４０】一方、手書きによる文字入力が選択された
場合、対話管理部１１は、図４に示したような、手書き
による（１文字分の）文字入力領域２３が確保された文
字入力画面２４（銀行名の読みの先頭文字を手書き入力
するための画面）を表示装置１に表示する。このとき対
話管理部１１は、図４に示す文字入力画面２４の構成情
報、更に具体的に述べるならば文字入力画面２４中の文
字入力領域２３の位置情報を入力制御部３に設定する。
また対話管理部１１は、図４に示す文字入力画面の構成
情報、更に具体的に述べるならば、「取消」，「訂
正」，「確認」の各機能ボタンの位置情報を、そのボタ
ン名と対応させて選択部５に設定する。

【００４１】利用者は、図４に示す文字入力画面２４が
表示されると、文字入力領域２３（の枠）の中に、目的
とする銀行名の読みの先頭の１文字（仮名文字）を指等
を用いてタッチパネル２上で書く。この例では、仮名文
字「と」が文字入力領域２３に書かれたものとする。

【００４２】利用者が、指を用いて文字入力領域２３の
中にタッチパネル２上で文字を書くと、タッチパネル２
上での指の位置を示す情報（座標）が一定時間間隔で検
知され、入力制御部３に入力される。

【００４３】入力制御部３は、利用者のタッチ入力によ
りタッチパネル２から位置情報（座標）が入力されると
（図１０ステップＳ１）、その位置情報の示す位置が文
字入力領域２３内であるか否かを調べる（図１０ステッ
プＳ２）。

【００４４】もし、文字入力領域２３内であれば、入力
制御部３は、タッチパネル２から入力された位置情報を
文字入力部４に渡す（図１０ステップＳ３）。文字入力
部４は、入力制御部３から位置情報を渡される毎に当該
位置情報を取り込み、その取り込み順にバッファ（図示
せず）に格納する（図１１ステップＳ１１）。

【００４５】対話管理部１１は、文字入力部４内のバッ
ファの内容を例えば一定時間毎に読み出して、その時点
までに当該バッファに格納されている位置情報列（座標
列）の示す文字の筆跡を、文字入力領域２３内の同じ位
置に表示する。利用者は、この文字入力領域２３に表示
されている筆跡により、自身が意図した文字が正しく書
けたか否かを判断することができる。

【００４６】文字入力部４は、入力制御部３からの位置
情報を取り込んでバッファに格納すると、例えば３秒タ
イマ（図示せず）を起動する（図１１ステップＳ１
２）。もし、タイマの動作期間中に次の位置情報が入力
制御部３から文字入力部４に渡されたならば（図１１ス
テップＳ１３，Ｓ１４）、文字入力部４は、利用者によ
る手書き文字入力が続いているものとして、当該位置情
報を取り込んでバッファに格納する（図１１ステップＳ
１１）。そして文字入力部４は、タイマを再び起動した
後（図１１ステップＳ１２）、そのタイマ動作期間（３
秒）内に次の位置情報を入力制御部３から渡されるのを
待つ（図１１ステップＳ１３，Ｓ１４）。

【００４７】これに対し、タイマの動作期間（３秒）を
経過しても、次の位置情報が入力制御部３から渡されな
かったならば、即ちタイムアウトとなった場合には（図
１１ステップＳ１４）、文字入力部４は、利用者による
手書き文字の入力は終了したものとして、文字認識部６
を起動する（図１１ステップＳ１５）。この例では、仮
名文字「と」が手書きされたことから、文字認識部６が
起動された時点における文字入力画面２４の状態は、図
５に示すようになる。

【００４８】上記したように、本実施例においては、利
用者が所望の１文字を手書きした後、一定期間（３秒）
が経過すると、自動的に文字認識部６が起動されるよう
になっているが、この他に、図５に示す入力画面上で利
用者が「確認」ボタンをタッチすることによっても、文
字認識部６を起動することが可能である。また、表示装
置１に表示されている文字入力領域２３内の筆跡から、
正しい文字を書けてないと利用者自身が判断した場合
に、図５に示す入力画面２４上で利用者が「訂正」ボタ
ンをタッチすることにより、手書き文字の書き直しを行
うことも可能である。更に、図５に示す入力画面２４上
で利用者が「取消」ボタンをタッチすることにより、最
初の入力からやり直すことも可能である。

【００４９】さて、入力制御部３は、利用者のタッチ操
作に応じてタッチパネル２から入力された位置情報の示
す位置が文字入力領域２３内でない場合（図１０ステッ
プＳ２）、その位置情報を選択部５に渡す（図１０ステ
ップＳ４）。

【００５０】選択部５は、入力制御部３から（利用者の
タッチした位置の）位置情報を受け取ると、その位置情
報と（対話管理部１１によって設定されている）入力画
面構成情報をもとに、利用者がいずれの項目（ここで
は、機能ボタン）をタッチしたのか認識する。そして選
択部５は、認識した項目（機能ボタン）を選択して対話
管理部１１に通知する。

【００５１】対話管理部１１は、選択部５によって選択
された機能ボタンが「訂正」ボタンの場合、文字入力部
４により当該文字入力部４内のバッファの内容をクリア
させ（したがって文字入力領域２３の筆跡を消去さ
せ）、文字入力部４の動作を停止させる（図１２ステッ
プＳ２１，Ｓ２２）。この状態で利用者は、文字入力領
域２３に対する手書き文字の書き直しを行うことができ
る。

【００５２】また対話管理部１１は、選択部５によって
選択された機能ボタンが「取消」ボタンの場合には、全
ての入力内容をクリアし、表示装置１に表示されている
入力画面を初期入力画面に切り替える（図１２ステップ
Ｓ２３，Ｓ２４）。このとき、文字入力部４内のバッフ
ァの内容もクリアされる。この状態で利用者は、最初の
入力からやり直すことができる。

【００５３】また対話管理部１１は、選択部５によって
選択された機能ボタンが「確認」ボタンの場合には、文
字認識が指示されたものと判断して、文字認識部６を起
動する（図１２ステップＳ２５，Ｓ２６）。

【００５４】文字認識部６は、文字入力部４または対話
管理部１１により起動されると、文字入力部４内のバッ
ファに格納されている位置情報列（筆跡データ）の示す
１文字分の文字パターン（手書き文字パターン）の認識
処理を文字認識辞書７を参照して行う。ここでは、手書
き文字パターンと、文字認識辞書７に登録されている各
文字の標準の辞書パターンと例えば複合類似度或いはユ
ークリッド距離などの尺度でマッチング（照合）がとら
れ、類似度或いは距離が求められる。そして、類似度の
高い順（距離の小さい順）に、例えば第２位までの認識
候補文字が求められる。この文字認識処理は、従来から
よく知られているため、詳細な説明は省略する。なお、
文字認識辞書７には、前記した（ｆ）金額、（ｇ）振込
人の連絡先電話番号が数字で手書き入力された場合の文
字認識のために、数字についての辞書パターンも格納さ
れているが、図４に示したような文字入力画面２４を用
いて文字入力領域２３に文字（銀行名の読みの先頭の１
文字）を入力する場合には、認識対象は仮名文字（平仮
名文字）に限られることから、カテゴリを仮名（平仮
名）に限定して文字認識が行われる。

【００５５】文字認識部６は、文字認識処理の結果とし
て、第１位の認識候補文字とその類似度（または距
離）、及び第２位の認識候補文字とその類似度（または
距離）を対話管理部１１に送る。なお、以降の説明で
は、全て類似度が用いられるものとする。

【００５６】さて本実施例では、手書きによる文字入力
（に対する文字認識）と、音声入力（に対する音声認
識）とが併用できるようになっている。即ち利用者は、
例えば、仮名文字「と」を入力したい場合、タッチパネ
ル２上で文字入力領域２３内に文字「と」を書きなが
ら、音声入力部８に内蔵のマイクロホンに向かって音声
「と（ｔｏ）」を発声する。また、文字を書き終わった
後、一定時間、例えば３秒以内に発声するようにして
も、文字を書き始める直前３秒以内に発声するようにし
ても良い。

【００５７】利用者が発声した音声は音声入力部８に内
蔵のマイクロホンで電気信号に変換される。音声認識部
９は、この電気信号を音響分析し、その特徴パラメータ
として例えばケプストラム係数を抽出する。音声認識部
９は、この抽出したケプストラム係数を音声の特徴量と
して認識に用いる。即ち音声認識部９は、対話管理部１
１から音声認識の起動がかけられると、上記抽出した特
徴量（ケプストラム係数）を用いて音声を認識する処理
を行う。この音声認識部９での音声認識処理については
後述する。

【００５８】利用者がタッチパネル２上で文字入力領域
２３内に文字（ここでは「と」）を書いた場合、前記し
たようにその筆跡パターンを文字として認識する処理が
文字認識部６にて行われ、その認識結果、即ち第１位の
認識候補文字とその類似度及び第２位の認識候補文字と
その類似度が求められる。

【００５９】対話管理部１１は、利用者が手書きした文
字に対する文字認識部６による文字認識結果、即ち第１
位の認識候補文字とその類似度及び第２位の認識候補文
字とその類似度を受け取ると、まず第１位の認識候補文
字の類似度と第２位の認識候補文字の類似度の差を算出
し、その差が予め定められた閾値より小さいか否かを調
べる（図１３ステップＳ３１，Ｓ３２）。

【００６０】もし、上記の差が閾値以上であれば、即ち
第１位の認識候補文字の類似度が第２位の認識候補文字
の類似度より閾値以上高いならば、対話管理部１１は文
字認識部６で求められた第１位の認識候補文字を入力文
字として採用する（図１３ステップＳ３３）。

【００６１】一方、上記の差が閾値より小さいならば、
即ち第１位の認識候補文字の類似度が第２位の認識候補
文字の類似度より閾値ほどは高くないならば、対話管理
部１１は、第１位の認識候補文字を直ちに入力文字と決
定することは難しい（第２位の認識候補文字が入力文字
である可能性もある）ものとして、入力文字の決定に以
下に述べるように音声認識結果を利用する。

【００６２】まず対話管理部１１は、文字認識部６から
受け取った第１位の認識候補文字及び第２位の認識候補
文字を音声認識部９に渡し、この２個の候補文字に対し
て入力音声の音声認識を行うように当該音声認識部９を
起動する（図１３ステップＳ３４）。

【００６３】音声認識部９は、対話管理部１１により起
動されると、上記抽出した入力音声の特徴量（ケプスト
ラム係数）を、音声認識辞書１０に登録されている各音
声の標準辞書パターンのうち、対話管理部１１から指定
された２個の候補（第１位候補及び第２位候補）につい
ての辞書パターンと、例えば複合類似度（或いはユーク
リッド距離など）の尺度でマッチング（照合）をとり、
類似度（或いは距離）を求める。そして音声認識部９
は、第１位候補との類似度及び第２位候補との類似度を
対話管理部１１に渡す。

【００６４】対話管理部１１は、音声認識部９を起動し
た結果、当該音声認識部９から第１位候補との類似度及
び第２位候補との類似度を受け取ると（図１３ステップ
Ｓ３５）、その第１位候補との類似度が第２位候補との
類似度以上であるか否かを調べる（図１３ステップＳ３
６）。もし、第１位候補との類似度が第２位候補との類
似度以上であるならば、対話管理部１１は、第１位候補
（文字認識部６で求められた第１位の認識候補文字）を
入力文字として決定する（図１３ステップＳ３７）。こ
れに対し、第１位候補との類似度が第２位候補との類似
度未満であるならば、対話管理部１１は、第２位候補
（文字認識部６で求められた第２位の認識候補文字）を
入力文字として決定する（図１３ステップＳ３８）。

【００６５】対話管理部１１は、ステップＳ３３、ステ
ップＳ３７或いはステップＳ３８で入力文字を決定する
と、その決定した入力文字を検索部１２に渡して当該検
索部１２を起動する。

【００６６】すると検索部１２は、対話管理部１１から
受け取った文字を読みの先頭に持つ単語（ここでは銀行
名）を単語蓄積部１３から検索する。この際、検索部１
２は、対話管理部１１から受け取った文字が清音であ
り、その文字の濁音、半濁音の文字が存在するならば、
その濁音、半濁音の文字を先頭に持つ単語（銀行名）に
ついても検索する。したがって、入力文字として「と」
が決定されたなら、「と」を読みの先頭文字とする単語
（銀行名）の他、「ど」を読みの先頭文字とする単語
（銀行名）も検索される。同様に、入力文字として
「は」が決定されたなら、「は」を読みの先頭文字とす
る単語の他、「ば」を読みの先頭文字とする単語と、
「ぱ」を読みの先頭文字とする単語も検索される。

【００６７】この例では、入力文字として「と」が決定
された結果、「と」を読みの先頭文字とする銀行名（即
ち読みが「と」から始まる銀行名）、例えば「東北東銀
行」、「東南東銀行」、「東東銀行」、「東南銀行」及
び「東西銀行」が検索されたものとする。検索部１２
は、検索した全ての銀行名を対話管理部１１に渡す。

【００６８】対話管理部１１は、検索部１２の検索結果
を受け取ると、その検索結果（銀行名の候補）から利用
者が意図した銀行名を選択するための、図３に示したよ
うな選択画面（銀行名選択画面）２２を表示装置１に表
示する。この選択画面２２は、図２に示した５０音表か
ら銀行名の読みの先頭文字「と」を選択した結果表示さ
れるものと、同じものである。

【００６９】利用者は、図３に示す選択画面（ここで
は、読みが「と」から始まる銀行名の選択画面）２２が
表示されると、その画面内に希望する（目的とする）銀
行名（単語）があるか否かを調べる。もし、希望する銀
行名がないならば、利用者は、「訂正」ボタンをタッチ
し、希望する銀行名があるならば、その銀行名をタッチ
する。

【００７０】利用者が「訂正」ボタンをタッチした場
合、その旨が選択部５により認識されて対話管理部１１
に通知される。この場合、対話管理部１１は、表示画面
を、図３に示した選択画面２２から図４に示した入力画
面２４に切り替える。これにより利用者は、希望する銀
行名の読みの先頭文字を書き直す（と共に音声で発声す
る）操作を行うことができる。

【００７１】また利用者が、銀行名の一覧の中から希望
する銀行名をタッチした場合、その銀行名が選択部５に
より認識・選択されて対話管理部１１に通知される。こ
の場合、対話管理部１１は、その銀行名を入力済み項目
として内部に保持すると共に、表示画面を、図３に示し
た銀行名選択画面２２から、支店名の読みの先頭文字を
５０音表から選択するための（図２に示した５０音表入
力画面２１と同様の）５０音表入力画面（５０音表から
の文字入力を行う第１の入力モードの場合）、或いは支
店名の読みの先頭文字を手書き入力するための（図４に
示した文字入力画面２４と同様の）文字入力画面（手書
きによる文字入力を行う第２のモードの場合）に切り替
える。ここで、利用者が、目的とする支店名の読みの先
頭の１文字を、５０音表からの選択入力、或いは手書き
入力により入力すると、その入力文字から始まる支店名
が検索部１２により単語蓄積部１３から検索され、その
検索された支店名の一覧の中から目的とする支店名を選
択するための（図２に示した銀行名選択画面２２と同様
の）支店名選択画面に切り替えられる。

【００７２】ここで、手書きによる文字入力（に対する
文字認識）と、音声入力（に対する音声認識）とを併用
することの効果について説明する。手書き文字の文字認
識においては、例えば「く」と「し」の如く、文字によ
っては区別し難く正しく認識することが困難なものがあ
る。ところが音声認識では、上記「く」と「し」を例に
とると、「く」は“ｋｕ”、「し」は“ｓｉ”というよ
うに、即ちそれぞれ子音がｋとｓ、母音がｕとｉという
ように異なり、音声特徴はかなり差があることから、
「く」と「し」を区別するのは容易である。また、その
逆に、音声認識では区別し難くても、文字認識では容易
に区別できるものもある。したがって、本実施例のよう
に文字認識と音声認識を併用することで、認識率を高め
ることができる。

【００７３】以上の効果は、平仮名と片仮名を含めた文
字の入力を認めた場合には、即ち文字認識の対象を平仮
名だけから平仮名と片仮名を含めた仮名というカテゴリ
に範囲を広げた場合には、「い」（ｉ）と「ハ」（ｈ
ａ）、「し」（ｓｉ）と「レ」（ｒｅ）など文字認識で
は区別し難いものが増えるため、一層顕著となる。

【００７４】なお、本実施例では、文字認識と音声認識
を併用し、それぞれの認識結果をもとに総合的に認識結
果（入力文字）を確定する手段として、文字認識部６で
の認識の結果得られる上位の候補（ここでは２個の候
補）に対して、音声認識部９で音声認識を行い、この音
声認識結果をもとに入力文字を決定（確定）するように
したが（最上位の候補の類似度と次の候補の類似度の差
が閾値以下の場合）、これに限るものではない。例え
ば、文字認識部６での認識結果に無関係に音声認識部９
による認識処理を行わせて、文字認識と音声認識それぞ
れの認識結果（類似度付きの複数の候補）を求め、文字
認識結果と音声認識結果に共通の各候補について、それ
ぞれの類似度を正規化して比較可能とした尤度の和を求
めて大小を比較し、最も尤度の高い候補を認識候補とす
るようにしても良い。ここで、文字認識結果と音声認識
結果の類似度を正規化して尤度に変換する際の重みは、
文字認識結果を重視するか、音声認識結果を重視するか
により任意に設定可能であるが、音声認識結果に対する
方の重みを少なくした方が認識率は高くなる傾向にあ
る。

【００７５】なお、認識率は低下するものの、手書きに
よる文字入力（に対する文字認識）または音声入力（に
対する音声認識）のいずれか一方だけを選択的に利用す
ることも可能である。

【００７６】また本実施例では、文字認識部６による文
字認識結果をあえて画面表示しないようになっている。
これは、文字認識の対象が仮名文字など、ごく限られて
おいるため文字認識率が高く、しかも誤認識されたとし
ても、上記の如く音声認識と併用することにより、正し
い認識結果が得られるためである。

【００７７】勿論、図５の文字入力画面２４の例えば上
側に認識結果を表示し、利用者が確認できるようにして
も構わない。この場合、利用者は、表示された文字認識
結果を見て、自身が書いた文字ではなかったならば、図
５の文字入力画面２４上で「訂正」ボタンをタッチする
ことにより、既に述べたように手書き文字の書き直しを
行うことができる。また、表示された文字認識結果が正
しいならば、利用者が「確認」ボタンをタッチすること
により（或いは、「確認」ボタンをタッチしなくても３
秒経過することにより）、既に述べたように文字認識部
６を起動することができる。

【００７８】ところで、銀行名には、例えば「大小銀
行」や「団地銀行」など濁音で始まるものがある。この
種の銀行名の読みの先頭文字を、５０音表からの文字選
択（タッチ選択）方式により選択する場合、一般に利用
者は清音に置き換える必要があり、上記「大小銀行」や
「団地銀行」の例では「た」で選択することになる。

【００７９】しかし、手書き文字入力では、図６に示す
ように「だ」と入力することが可能である。また、５０
音表からの文字選択の場合と同様に、「た」で入力して
も構わない。「だ」または「た」で入力した場合、例え
ば「大小銀行」及び「団地銀行」が検索され、図７に示
すような銀行名選択画面２２が表示される。以上は、銀
行名の先頭文字が半濁音の場合でも同様である。

【００８０】このように手書き文字入力方式では、利用
者は、濁音或いは半濁音で始まる単語（銀行名）を入力
する場合に、５０音表からの文字選択方式とは異なっ
て、清音に置き換える必要はなく、利用者の使い勝手が
向上する。

【００８１】さて、図７に示す銀行名選択画面２２で、
利用者が、いずれかの銀行名（単語候補）、例えば「大
小銀行」をタッチ操作により選択すると、この「大小銀
行」の支店名の読みの先頭文字を手書き入力するための
（図４に示した文字入力画面２４と同様の）文字入力画
面が切り替え表示される。なお、５０音表からの文字入
力を行うモードであれば、図２に示した５０音表入力画
面２１と同様の５０音表入力画面に切り替えられる。

【００８２】ここで、利用者が、目的とする支店名の読
みの先頭の１文字、例えば「か」を手書き入力すると、
その入力文字から始まる支店名が検索部１２により単語
蓄積部１３から検索され、その検索された支店名の一覧
の中から目的とする支店名を選択するための（図２に示
した銀行名選択画面２２と同様の）支店名選択画面が切
り替え表示される。

【００８３】本実施例における支店名選択画面（単語候
補選択画面）では、最大５個の支店名（単語候補）が表
示されるようになっている。このため、選択された銀行
の支店数が５個を越えている場合には、全ての支店名を
１枚の選択画面で表示することはできず、複数の選択画
面を切り替えて表示することになる。

【００８４】ここで、手書き入力された１文字「か」か
ら始まる支店名の数が７個あるものとする。この場合、
まず対話管理部１１は、７個の支店名のうちの５個の支
店名の一覧を含む、図８に示すような（１枚目の）支店
名選択画面２５を表示装置１に表示する。この図８に示
す支店名選択画面２５には、次の支店名選択画面（次
頁）があることを示すと共に、次の支店名選択画面（次
頁）を選択指定するための「次頁」ボタンが表示され
る。

【００８５】利用者は、図８に示す支店名選択画面２５
に目的とする支店名がない場合には、「次頁」ボタンを
タッチする。「次頁」ボタンがタッチされたことは選択
部５により認識されて対話管理部１１に通知される。す
ると対話管理部１１は、後続の支店名一覧を含む２枚目
の支店名選択画面を表示する。この場合、残りの支店数
は２個であることから、図９に示すような、最終の支店
名選択画面２６が表示される。この図９に示す最終の支
店名選択画面２６では、次の選択画面（次頁）がないこ
とから「次頁」ボタンは表示されず、「希望の支店名が
ない場合は右上の「訂正」を押してください」といっ
た、訂正（再入力）の仕方を案内するためのメッセージ
（訂正案内メッセージ）２７が表示される。また、支店
名選択画面２６では、前の選択画面（前頁）があること
から、前の選択画面（前頁）に切り替えることを指示す
るための「前頁」ボタンが表示される。

【００８６】このように、最終の選択画面２６だけに訂
正案内メッセージ２７を表示することにより、それより
前の選択画面が表示された際に、その画面に希望の支店
名がないという理由で、（次の画面に切り替えることな
く）利用者が直ちに「訂正」ボタンをタッチすることを
防止できる。

【００８７】なお、１画面で全ての支店名が表示できる
場合には、即ち次の支店名選択画面（次頁）がない場合
には、その画面に訂正案内メッセージ（２７）が表示さ
れ、「次頁」ボタンは表示されない。

【００８８】以上に述べた支店名選択画面の扱いは、銀
行名選択画面においても同様である。さて、本実施例で
は、自動振込装置で入力される項目の主要なものとして
先に挙げた（ａ）〜（ｇ）のうち、（ｄ）受取人名、
（ｅ）振込人名、（ｆ）金額、（ｇ）振込人の連絡先電
話番号については、その全ての文字（数字を含む）を入
力するようにしている。ここで、（ｆ）と（ｇ）につい
ては、（５０音表に相当する）例えば０〜９までの数字
キーを表示して利用者にタッチさせるか、或いは文字入
力領域を持つ文字入力画面を表示して当該文字入力領域
に１文字ずつ数字を入力させることにより、実現可能で
ある。また、（ｄ）と（ｅ）については、図２の５０音
表入力画面２１と同様の入力画面を用いて５０音表から
の選択入力を行わせるか、図４の文字入力画面２４と同
様の文字入力画面を用いて文字入力領域に１文字ずつ例
えば仮名文字を手書き入力させることにより、実現可能
である。

【００８９】さて、文字入力画面を用いた手書き入力で
は、文字入力領域に１文字書かれて認識される毎に（こ
の認識は、文字認識部６によるものだけであっても、音
声認識との併用であっても構わない）、その認識文字即
ち入力文字（の表示用標準文字パターン）が例えば指で
タッチ可能なサイズで文字入力画面の所定領域（入力文
字表示領域）内に順次表示されると共に文字入力領域に
表示されている筆跡が消去される構成とすることが可能
である。この入力文字表示領域に表示される各入力文字
を独立の「訂正」ボタンとして共用することにより、利
用者は指で訂正位置を容易に指定することが可能とな
る。即ち、入力文字表示領域に表示されている入力文字
の１つを利用者がタッチすると、そのことが選択部５に
より認識され、対話管理部１１に通知される。この場
合、対話管理部１１は、利用者がタッチした文字の訂正
を判断し、文字入力画面上で文字入力領域への訂正文字
の入力を案内する。ここで利用者が訂正文字を手書き入
力し、その訂正文字が認識されると、利用者が指定した
位置の入力文字が新たに認識された文字に訂正される。

【００９０】この技術思想は、前記（ａ）〜（ｇ）の全
ての項目が入力し終えた後に、その入力内容の一覧を表
示する画面にも適用でき、その画面内に文字入力領域を
確保しておき、その画面上で利用者が訂正したい文字位
置を指でタッチすることにより、訂正位置を指定して、
正しい文字を手書きすることが可能となる。

【００９１】また、上記の技術思想は、論理的には５０
音表からの文字選択入力にも応用可能である。しかし、
図２からも明らかなように５０音表だけで画面全体を占
有してしまうため、実際には、全ての入力文字を５０音
表入力画面内に指でタッチ可能なサイズで表示すること
は困難であり、実現し難い。このため５０音表からの文
字選択入力では、文字入力結果は５０音表入力画面を切
り替えて表示され、文字入力結果の訂正においては、
［従来の技術］の欄でも述べたように、全て消去して改
めて入力し直すといった、効率の悪い方式を採用せざる
を得ない。

【００９２】また、前記実施例では、銀行名（単語）を
入力するのに、希望する銀行名（単語）の読みの先頭の
１文字を入力し、その１文字から始まる銀行名（単語）
を検索する場合について説明したが、これに限るもので
はない。

【００９３】例えば、希望する銀行名（単語）の読みの
先頭から２文字（複数文字）入力し、その２文字（複数
文字）を頭に持つ銀行名（単語）を検索するようにして
も良い。この場合、選択候補となる銀行名（単語）の数
が絞れるため、その一覧を１枚の銀行名選択画面２２で
表示することが可能となり、入力文字数は増えるものの
選択効率が向上する。

【００９４】ところが、前記実施例のように先頭の１文
字を入力するだけの場合でも、文字によっては、その文
字から始まる銀行名（単語）の数が少ないこともある。
このような場合、固定的に２文字（複数文字）を入力す
ることは無駄である。

【００９５】そこで、特に手書きによる文字入力では、
入力文字数を固定せず、１文字入力される毎に、そこま
での入力文字（文字列）を頭に持つ銀行名（単語）を検
索し、その検索した銀行名（単語）の一覧を含む銀行名
選択画面を表示するようにしても良い。ここで、検索し
た銀行名の数が１画面に表示可能な数（ここでは５）を
越えている場合の扱いは、前記した支店名選択画面の場
合と同様である。但し、この銀行名選択画面は、図３に
示した銀行名選択画面２２と異なって、文字入力画面２
４中の文字入力領域２３（図４乃至図６参照）と同様の
文字入力領域を持つ、いわば銀行名選択・文字入力画面
となっている。

【００９６】利用者は、銀行名選択・文字入力画面中の
銀行名一覧に希望する銀行名はないが、「次頁」ボタン
がある場合（即ち後続の銀行名一覧がある場合）には、
「次頁」ボタンをタッチするか、次の文字（希望の銀行
名の先頭の１文字を書いた後であれば、２文字目）を文
字入力領域に書く。「次頁」ボタンがタッチされた場合
の動作は、図８の支店名選択画面２５で「次頁」ボタン
がタッチされた場合と同様である。これに対し、次の文
字が入力された場合には、そこまでの入力文字列を頭に
持つ銀行名（単語）が検索され、その検索した銀行名
（単語）の一覧と文字入力領域を含む銀行名選択・文字
入力画面が対話管理部１１により表示される。

【００９７】この銀行名選択・文字入力画面を用いる方
式では、希望する銀行名（単語）の読みの先頭文字を入
力した段階で、その銀行名（単語）を含む銀行名（単
語）一覧が表示されたならば、その時点で２文字目以降
の入力を続ける必要がなくなるため、無駄な文字入力が
発生しないで済む。また、銀行名（単語）一覧中に希望
する銀行名（単語）がないならば、希望する銀行名（単
語）を含む銀行名（単語）一覧が表示されるまで後続す
る文字の入力を続けることも可能となる。勿論、「次
頁」ボタンをタッチして、後続の銀行名（単語）一覧を
含む銀行名選択・文字入力画面に切り替え、そこから選
択することも可能である。

【００９８】この技術思想は、５０音表からの文字選択
入力にも応用可能である。しかし、５０音表は文字入力
領域に比べて大きな領域を必要とするため、実際には、
５０音表と検索した銀行名（単語）の一覧とを１つの画
面上に表示することは困難であり、実現し難い。

【００９９】また、前記実施例では、銀行名等を入力す
るために、その読みの先頭の仮名文字を手書き入力する
ものとして説明したが、これに限るものではなく、銀行
名自体の先頭文字（例えば「東北東銀行」であれば
「東」）を入力するようにしても良い。この場合、文字
認識部６での認識の範囲を漢字にまで広げ、文字認識部
６にて例えば「東」が認識されたならば、「東」を頭に
持つ銀行名を単語蓄積部１３から検索すれば良い。

【０１００】また、前記実施例では、本発明のマルチモ
ーダル文字入力装置を自動振込装置に適用した場合につ
いて説明したが、本発明は自動振込装置に限るものでは
なく、金融機器全般、駅務機器、自動化情報システムな
ど、利用者との対話を行うことでタスクを達成する各種
装置の文字入力に適用可能である。

【０１０１】

【発明の効果】以上詳述したように本発明によれば、タ
ッチパネル上に指を触れることにより画面表示されてい
る複数の文字（表示項目）から１つを選択入力できる
他、これと同様の感覚で単にタッチパネル上で文字を書
くだけで、特殊なペンやタブレットを使用することなく
文字を入力できるため、一般の利用者にとって文字入力
が容易となり、使い勝手が向上する。

【０１０２】また、本発明によれば、手書きによる文字
入力の適用により、そのための文字入力画面に文字入力
結果を利用者がタッチし得るサイズで表示する表示領域
を確保することができ、この結果、その入力画面上で文
字入力結果の訂正箇所をタッチ操作で簡単に指定でき
る。

【０１０３】また本発明によれば、タッチパネル上での
タッチ操作による表示文字の選択入力及びタッチパネル
上での手書きによる文字入力の他、音声による文字入力
も利用できるため、一層使い勝手が向上する。

【０１０４】また本発明によれば、手書きによる文字入
力と音声による文字入力を併用し、文字認識結果だけで
なく音声認識結果をも考慮して総合的に入力文字を判断
することにより、認識率を向上することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るマルチモーダル文字入
力装置の概略構成を示すブロック図。

【図２】同実施例において５０音表から銀行名の先頭の
仮名文字を入力するのに用いられる５０音表入力画面２
１を示す図。

【図３】同実施例において入力された１文字を先頭に持
つ銀行名の一覧から目的とする銀行名を選択するのに用
いられる銀行名選択画面２２を示す図。

【図４】同実施例において銀行名の先頭の仮名文字を手
書き入力するのに用いられる文字入力画面２４の一例を
示す図。

【図５】図４の文字入力画面２４の文字入力領域２３に
手書きされた文字の筆跡が表示されている状態を示す
図。

【図６】同実施例において文字入力画面２４では濁音の
ままで文字入力が可能なことを示す図。

【図７】同実施例において濁音「だ」または清音「た」
で入力された仮名文字から始まる銀行名の一覧から目的
とする銀行名を選択するのに用いられる銀行名選択画面
２２を示す図。

【図８】同実施例において選択対象となる全ての支店名
（単語候補）を１枚の画面で表示しきれない場合の、先
頭の支店名選択画面２５の一例を示す図。

【図９】同実施例において選択対象となる全ての支店名
（単語候補）を１枚の画面で表示しきれない場合の、最
終の支店名選択画面２６の一例を示す図。

【図１０】図１中の入力制御部３の動作を説明するため
のフローチャート。

【図１１】図４に示すような文字入力画面が表示されて
いる場合の、文字入力部４の動作を説明するためのフロ
ーチャート。

【図１２】図４に示すような文字入力画面上で文字入力
領域２３以外の領域がタッチされた場合の対話管理部１
１の動作を説明するためのフローチャート。

【図１３】同実施例において入力文字を確定するための
対話管理部１１の動作を説明するためのフローチャー
ト。

【符号の説明】

１…表示装置、２…タッチパネル、３…入力制御部、４
…文字入力部、５…選択部、６…文字認識部、８…音声
入力部、９…音声認識部、１１…対話管理部（第１の表
示手段、第２の表示手段、入力文字決定手段）、１２…
検索部、１３…単語蓄積部、２１…５０音表入力画面
（第１の入力画面）、２２…銀行名選択画面、２３…文
字入力領域、２４…文字入力画面（第２の入力画面）、
２５，２６…支店名選択画面、２７…訂正案内メッセー
ジ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｋ 9/62 Ｇ 9289−5Ｌ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 文字等の表示に用いられる表示装置と、 前記表示装置の表示面に重ねて用いられるタッチパネル
   と、 第１の入力モードでは、入力の対象となる選択候補文字
   の一覧を含む第１の入力画面を前記表示装置に表示し、
   第２の入力モードでは、文字を手書き入力するための文
   字入力領域を持つ第２の入力画面を前記表示装置に表示
   する第１の表示手段と、 前記表示装置に前記第１の入力画面が表示されている状
   態で、前記選択候補文字一覧の中から任意の候補文字が
   前記タッチパネル上でタッチされた場合、そのタッチさ
   れた文字を選択する選択手段と、 前記表示装置に前記第２の入力画面が表示されている状
   態で、当該入力画面の前記文字入力領域に前記タッチパ
   ネル上から文字が手書きされた場合、その文字の筆跡を
   表す位置情報を順次入力する文字入力手段と、 前記文字入力手段により順次入力される位置情報の列の
   示す筆跡を前記表示装置に逐次表示する第２の表示手段
   と、 前記文字入力手段により入力された位置情報の列の示す
   筆跡の文字パターンを文字認識する文字認識手段と、 複数の単語が蓄積される単語蓄積手段と、 前記選択手段により選択された、或いは前記文字認識手
   段により認識された、少なくとも１つの文字を頭に持つ
   単語を前記単語蓄積手段から検索する検索手段と、 前記検索手段の検索結果を前記表示装置に表示する第３
   の表示手段とを具備することを特徴とするマルチモーダ
   ル文字入力装置。
2. 【請求項２】 文字等の表示に用いられる表示装置と、 前記表示装置の表示面に重ねて用いられるタッチパネル
   と、 第１の入力モードでは、入力の対象となる選択候補文字
   の一覧を含む第１の入力画面を前記表示装置に表示し、
   第２の入力モードでは、文字を手書き入力するための文
   字入力領域を持つ第２の入力画面を前記表示装置に表示
   する第１の表示手段と、 前記表示装置に前記第１の入力画面が表示されている状
   態で、前記選択候補文字一覧の中から任意の候補文字が
   前記タッチパネル上でタッチされた場合、そのタッチさ
   れた文字を選択する選択手段と、 前記表示装置に前記第２の入力画面が表示されている状
   態で、当該入力画面の前記文字入力領域に前記タッチパ
   ネル上から文字が手書きされた場合、その文字の筆跡を
   表す位置情報を順次入力する文字入力手段と、 前記文字入力手段により順次入力される位置情報の列の
   示す筆跡を前記表示装置に逐次表示する第２の表示手段
   と、 前記文字入力手段により入力された位置情報の列の示す
   筆跡の文字パターンを文字認識する文字認識手段と、 利用者が発声した音声を入力するための音声入力手段
   と、 前記音声入力手段により入力された音声を分析し、その
   特徴量を抽出して、音声認識を行う音声認識手段と、 複数の単語が蓄積される単語蓄積手段と、 前記選択手段により選択された、或いは前記文字認識手
   段により認識された、或いは前記音声認識手段により認
   識された、少なくとも１つの文字を頭に持つ単語を前記
   単語蓄積手段から検索する検索手段と、 前記検索手段の検索結果を前記表示装置に表示する第３
   の表示手段とを具備することを特徴とするマルチモーダ
   ル文字入力装置。
3. 【請求項３】 文字等の表示に用いられる表示装置と、 前記表示装置の表示面に重ねて用いられるタッチパネル
   と、 第１の入力モードでは、入力の対象となる選択候補文字
   の一覧を含む第１の入力画面を前記表示装置に表示し、
   第２の入力モードでは、文字を手書き入力するための文
   字入力領域を持つ第２の入力画面を前記表示装置に表示
   する第１の表示手段と、 前記表示装置に前記第１の入力画面が表示されている状
   態で、前記選択候補文字一覧の中から任意の候補文字が
   前記タッチパネル上でタッチされた場合、そのタッチさ
   れた文字を選択する選択手段と、 前記表示装置に前記第２の入力画面が表示されている状
   態で、当該入力画面の前記文字入力領域に前記タッチパ
   ネル上から文字が手書きされた場合、その文字の筆跡を
   表す位置情報を順次入力する文字入力手段と、 前記文字入力手段により順次入力される位置情報の列の
   示す筆跡を前記表示装置に逐次表示する第２の表示手段
   と、 前記文字入力手段により入力された位置情報の列の示す
   筆跡の文字パターンを文字認識する文字認識手段と、 利用者が発声した音声を入力するための音声入力手段
   と、 前記第２の入力モードにおいて、前記音声入力手段によ
   り入力された音声を分析し、その特徴量を抽出して、音
   声認識を行う音声認識手段と、 複数の単語が蓄積される単語蓄積手段と、 前記第２の入力モードでは、前記文字認識手段及び前記
   音声認識手段を併用して入力文字を決定する入力文字決
   定手段と、 前記第１の入力モードでは、前記選択手段により選択さ
   れた少なくとも１つの文字を頭に持つ単語を、前記第２
   の入力モードでは、前記入力文字決定手段により決定さ
   れた少なくとも１つの文字を頭に持つ単語を、前記単語
   蓄積手段から検索する検索手段と、 前記検索手段の検索結果を前記表示装置に表示する第３
   の表示手段とを具備することを特徴とするマルチモーダ
   ル文字入力装置。
4. 【請求項４】前記選択手段は、前記第３の表示手段によ
   り前記表示装置に表示された検索結果の中から任意の単
   語が前記タッチパネル上でタッチされた場合、そのタッ
   チされた単語を選択することを特徴とする請求項１乃至
   請求項３のいずれかに記載のマルチモーダル文字入力装
   置。
5. 【請求項５】前記第３の表示手段は、前記検索結果を１
   画面で表示可能な場合には、その画面において、複数画
   面で画面切り替えにより表示する場合には、その最終画
   面において、訂正或いは再入力の仕方を案内するメッセ
   ージを表示することを特徴とする請求項４記載のマルチ
   モーダル文字入力装置。