JP3926220B2 - タッチスクリーン又は音声認識を通じて動作制御される情報端末及びその命令実行方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は情報端末に係り、特に、タッチスクリーン又は音声認識を通じて動作制御される情報端末及びその命令実行方法に関する。
【０００２】
【従来の技術】
一般に、ＩＭＴ−２０００などの携帯情報端末はタッチスクリーンを備えており、これによりユーザがタッチしたスクリーンの座標を認識し、認識された座標による命令を実行する。
【０００３】
図１は、従来の技術による、タッチスクリーンを通じて命令を認識する方法を示すフローチャートである。
図１を参照すれば、携帯情報端末のタッチスクリーンにはユーザが選べる項目が表示される。ユーザはタッチスクリーンに表示された項目の内いずれか一つの項目を選んで押下すれば（第１０段階）、携帯情報端末はタッチスクリーンで押下された所に当たる（ｘ，ｙ）座標を認識し、認識された（ｘ，ｙ）座標に当たる命令語を検索する（第１２段階）。
【０００４】
検索された命令語が一つであれば、検索された命令を実行し（第１８段階）、検索された命令語が２つ以上であれば、検索された命令語をタッチスクリーンにさらに表示し（第１６段階）、第１０〜第１４段階を繰り返し行う。すなわち、携帯情報端末はユーザにより選ばれた項目にサブ命令がある場合にサブ命令を表示し、ユーザにサブ命令の内一つをさらに選ばせる。このように、従来の技術によれば、画面の制約上命令実行を一段階ずつしなければならず、ユーザは所望の動作を実行するために多数回に亘って命令語を選ばなければならないという不具合があった。
【０００５】
一方、携帯情報端末が音声を認識して命令を実行する場合、例えば、最初に”命令語を言って下さい。”という音声案内メッセージが流れれば、与えられた時間内に命令語を話さなければならない。与えられた時間が経てば、携帯情報端末は命令語を認識できず、”もう一度言って下さい。”という音声案内メッセージを流す。もし、ユーザの音声を正常に受け取れなかった場合、”静かな所でもう一度言って下さい。”または”処理できない命令です。”という音声を再生し、命令実行モードを終了する。このように、音声命令を実行する携帯情報端末は、与えられた時間内に所定の音声が認識されなければ、命令実行モードをおのずと終了してしまう。このため、使い勝手が悪かった。
【０００６】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、タッチスクリーン及び音声命令を組合わせてユーザによる制御がより効率良く、しかもより容易に行える情報端末を提供するところにある。
本発明が解決しようとする他の技術的課題は、前記情報端末において行われる命令実行方法を提供するところにある。
本発明が解決しようとするさらに他の技術的課題は、前記命令実行方法を記録した記録媒体を提供するところにある。
【０００７】
【課題を解決するための手段】
前記課題を達成するために、スクリーンをタッチすることにより実行したい命令が入力可能であり、命令実行結果を表示するタッチスクリーンを含む本発明による情報端末は、外部より入力される音声信号を認識する音声認識及び学習部と、タッチスクリーンで所定項目がタッチされて音声認識及び学習部に音声信号が入力されれば、タッチされた項目の座標に当たる命令を認識し、認識された命令に属する多数のサブ命令の内いずれか一つに対応する音声が音声認識及び学習部において認識されれば、該当サブ命令を実行するシステム制御部を含むことが好適である。
【０００８】
前記他の課題を達成するために、タッチスクリーンに表示された項目の内いずれか一つが選ばれれば、選ばれた項目の座標を認識して命令実行を行うか、あるいはユーザの音声を認識して命令実行を行う情報端末において、本発明に係る命令実行方法は、（ａ）タッチスクリーンで一つの項目が選ばれて入力されるユーザの音声を認識する段階と、（ｂ）前記（ａ）段階において選ばれた座標に対応するサブ命令の内いずれか一つに対応する音声が認識されれば、該当命令を実行する段階、及び（ｃ）前記（ｂ）段階においてサブ命令の内いずれか一つにも対応しない音声が認識されれば、サブ命令をタッチスクリーンに表示する段階を含むことが好適である。
【０００９】
前記他の課題を達成するために、タッチスクリーンに表示された項目の内いずれか一つが選ばれれば、選ばれた項目の座標を認識して命令実行を行うか、あるいはユーザの音声を認識して命令実行を行う情報端末装置において、本発明に係る命令実行方法は、（ａ）タッチスクリーンで一つの項目が選ばれれば、選ばれた項目の座標値による命令を認識する段階と、（ｂ）サブ命令の存否を判断し、サブ命令が存在しなければ、認識された命令を実行する段階と、（ｃ）前記（ｂ）段階において２以上のサブ命令が存在すると判断されれば、ユーザの音声入力を待つ段階と、（ｄ）ユーザの音声が入力されれば、入力された音声を認識して該当サブ命令を認識し、（ｂ）段階へ戻る段階と、（ｅ）前記（ｄ）段階においてサブ命令の内いずれか一つにも対応しない音声が認識されれば、サブ命令をタッチスクリーンに表示する段階、及び（ｆ）サブ命令の内いずれか一つが選ばれれば、座標値によるサブ命令を認識して（ｂ）段階へ戻り、選ばれたサブ命令に対する音声学習を行う段階を含むことが好適である。
【００１０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明に係るタッチスクリーン又は音声認識を通じて動作制御される情報端末及びその命令実行方法を下記の通り説明する。
図２は、本発明に係るタッチスクリーン又は音声認識を通じて動作制御される情報端末の一実施の形態を概略的に示すブロック図である。これを参照すれば、本発明に係る情報端末は、タッチスクリーン２０、音声認識及び学習部２２及びシステム制御部２６を含んでなる。
【００１１】
図２を参照すれば、タッチスクリーン２０はユーザがタッチして選んだ命令の実行結果を画面に表示したり、あるいは選んだ項目に関する情報を画面に表示する。音声認識及び学習部２２は外部より入力される音声信号を認識し、認識された結果をシステム制御部２６に提供する。また、システム制御部２６の制御によって音声学習を行う。
【００１２】
システム制御部２６はタッチスクリーン２０で所定項目がタッチされて音声認識及び学習部２２に音声信号が入力されれば、タッチされた項目の座標に当たる命令を認識し、認識された命令に属する多数のサブ命令の内いずれか一つに対応する音声が音声認識及び学習部２２において認識されれば、該当サブ命令を実行する。
【００１３】
一方、システム制御部２６は音声認識及び学習部２２の音声認識の結果、サブ命令に対応する音声が認識されなかったならば、多数のサブ命令をタッチスクリーンに表示する。システム制御部２６はユーザにより多数のサブ命令の内いずれか一つが選ばれれば、選ばれたサブ命令を実行すると同時に、音声認識及び学習部２２を制御して入力された音声信号に対応するサブ命令がユーザにより選ばれたサブ命令であることを学習させる。
【００１４】
図３は、図２に示された情報端末の命令実行過程の一実施の形態を示す図である。説明の便宜のために、ユーザが情報を編集する場合について説明する。
図２及び図３を参照すれば、ユーザは情報端末に貯蔵された誰かの個人情報を編集したいならば、図３に示されたように、個人情報の貯蔵された画面２０ａが表示される。ユーザ５０はその内一つの項目をスタイラスペンなどを用いてタッチしつつ、”編集”と話しかける（１）。音声認識及び学習部２２において”編集”という音声が認識されれば、システム制御部２６は編集命令を実行し、選ばれた項目に関する情報が編集可能な編集画面２０ｂを表示する（２）。一方、システム制御部２６は編集命令を実行する間に”編集”という命令語を点滅させることにより、編集命令が実行中である旨をユーザに知らせることができる。
【００１５】
これに対し、音声認識及び学習部２２が”編集”という音声を認識できなかったならば、例えばユーザが”編集”と話しかけた場合、システム制御部２６は現在の状態で実行可能なサブ命令をタッチスクリーンに表示する（２０ｃ参照）。図３に示されたように、”呼出し”、”表示”、”編集”というサブ命令が表示されれば、ユーザはその内”編集”というサブ命令を選ぶ。このように、タッチスクリーン２０ｃにおいて”編集”というサブ命令が選ばれれば、システム制御部２６は編集命令を実行し、選ばれた項目に関する情報が編集可能な編集画面２０ｂを表示する（４）。これと同時に、システム制御部２６は音声認識及び学習部２２を制御し、ユーザ５０により入力された音声が”編集”というサブ命令に対する音声であることを学習させる（５）。かかる音声認識及び学習部２２の音声学習を通じて、今後ユーザは編集命令を実行する時”編集”と話しかけるだけで編集命令が実行可能になる。結局、ユーザは音声命令を所望の通りに変えることができる。
【００１６】
図４は、図２に示された装置において行われる命令認識過程の他の実施の形態を示すフローチャートである。
以下、図４及び図２を結び付けて本発明に係る命令認識過程について説明する。
先ず、ユーザはタッチスクリーン２０に表示された多数の命令の内いずれか一つをタッチして所望の命令語を選ぶ（第３０段階）。この時、タッチスクリーン２０はタッチされた位置に当たる信号をシステム制御部２６に発する。
【００１７】
システム制御部２６は、タッチスクリーン２０から発せられてきた信号を分析し、その座標を認識して命令語を認識する（第３４段階）。この時、認識された命令語に属するサブ命令語が含まれているか否かを判断し（第３４段階）、サブ命令が含まれていなければ、認識された命令を実行する（第４４段階）。
【００１８】
一方、第３４段階においてサブ命令が含まれていれば、サブ命令に当たる音声入力を待ち（第３６段階）、音声信号が入力されれば、音声認識及び学習部２２は入力された音声信号を認識し、認識結果をシステム制御部２６に提供する。システム制御部２６は音声認識及び学習部２２においてサブ命令の内いずれか一つに対応する音声が認識されたと判断されれば（第３８段階）、第３４段階へ戻る。この時、ユーザの音声が認識されれば、認識されたサブ命令語をタッチスクリーン２０に表示し、正常に命令認識された旨が表示可能になる。
【００１９】
これに対し、システム制御部２６は音声認識及び学習部２２においてサブ命令の内いずれか一つに対応する音声が認識されなかったならば、タッチスクリーン２０に実行可能なサブ命令を表示する（第４０段階）。
【００２０】
タッチスクリーン２０に表示されたサブ命令語の内いずれか一つがユーザにより選ばれれば、第３２段階へ戻り、命令実行を行う。これと同時に、システム制御部２６は音声認識及び学習部２２を制御し、サブ命令を実行するために入力された音声信号がユーザにより選ばれたサブ命令に対する音声命令であることを学習させる（第４２段階）。音声認識及び学習部２２が音声学習を行う間に、入力されたユーザの音声信号を再生することにより、現在音声学習がなされている旨をユーザに知らせることができる。
【００２１】
以上、図面及び明細書において最適の実施形態が開示された。ここで特定の用語が使用されたが、これは単に本発明を説明するために使用されたものであり、意味の限定や特許請求の範囲上に記載された本発明の範囲を制限するために使用されたものではない。従って、この技術分野の当業者であれば、これより各種の変形及び均等な他の実施形態が可能であるという点は理解できるであろう。よって、本発明の真の技術的な保護範囲は特許請求の範囲上の思想によって定まるべきである。
【００２２】
【発明の効果】
以上述べたように、本発明に係るタッチスクリーン又は音声認識を通じて動作制御される情報端末及びその命令実行方法によれば、タッチスクリーン及び音声認識を用いて命令認識及び実行を行うことから、情報端末の使い勝手が良くなる。特に、タッチスクリーンが小さすぎて情報及び命令語が画面に表示し切れない場合であっても、命令語を画面に表示せずともユーザが容易に命令を実行することが可能である。さらに、現在入力された音声がユーザが実行したい命令に対応しない場合、現在入力された音声が現在実行したい命令の音声命令であることを学習させることができることから、使い勝手を一層向上させられる。
【図面の簡単な説明】
【図１】 従来の技術によるタッチスクリーンを通じて命令を認識する方法を示すフローチャートである。
【図２】 本発明に係るタッチスクリーン又は音声認識を通じて動作制御される情報端末の一実施の形態を概略的に示すブロック図である。
【図３】 図２に示された情報端末の命令実行過程の一実施の形態を示す図である。
【図４】 図２に示された装置において行われる命令認識過程の他の実施の形態を示すフローチャートである。
【符号の説明】
２０ タッチスクリーン
２２ 音声認識及び学習部
２６ システム制御部

Claims (5)

1. タッチスクリーンに表示された項目の内いずれか一つが選ばれれば、選ばれた項目の座標を認識して命令実行を行うか、あるいはユーザの音声を認識して命令実行を行う情報端末の命令認識方法において、
   （ａ）前記タッチスクリーンで一つの項目が選ばれて入力されるユーザの音声を認識する段階と、
   （ｂ）前記（ａ）段階において選ばれた座標に対応するサブ命令の内いずれか一つに対応する音声が認識されれば、該当命令を実行する段階と、
   （ｃ）前記（ｂ）段階において、サブ命令の内いずれか一つにも対応しない音声が認識されれば、前記サブ命令を前記タッチスクリーンに表示する段階と、
   （ｄ）前記タッチスクリーンに表示されたサブ命令の内ユーザによりいずれか一つが選ばれれば、選ばれたサブ命令を認識し、ユーザにより入力された音声を再生して音声学習がなされたことを表示する段階とを含むことを特徴とする情報端末における命令実行方法。
2. タッチスクリーンに表示された項目の内いずれか一つが選ばれれば、選ばれた項目の座標を認識して命令実行を行うか、あるいはユーザの音声を認識して命令実行を行う情報端末の命令実行方法において、
   （ａ）タッチスクリーンで一つの項目が選ばれれば、選ばれた項目の座標値による命令を認識する段階と、
   （ｂ）サブ命令の存否を判断し、サブ命令が存在しなければ、認識された命令を実行する段階と、
   （ｃ）前記（ｂ）段階において、２以上のサブ命令が存在すると判断されれば、ユーザの音声入力を待つ段階と、
   （ｄ）ユーザの音声が入力されれば、入力された音声を認識して該当サブ命令を認識し、前記（ｂ）段階へ戻る段階と、
   （ｅ）前記（ｄ）段階において、前記サブ命令の内いずれか一つにも対応しない音声が認識されれば、前記サブ命令を前記タッチスクリーンに表示する段階と、
   （ｆ）サブ命令の内いずれか一つが選ばれれば、座標値によるサブ命令を認識してユーザにより入力された音声を再生して前記（ｂ）段階へ戻り、前記選ばれたサブ命令に対する音声学習を行う段階とを含むことを特徴とする情報端末における命令実行方法。
3. ユーザの音声が認識されれば、前記タッチスクリーンに認識されたサブ命令を表示して正常に認識されたことを表示することを特徴とする請求項１又は２に記載の情報端末における命令実行方法。
4. 請求項１ないし３のいずれか一項に記載の方法をコンピュータにて実行可能なプログラムコードにより記録した記録媒体。
5. スクリーンをタッチすることにより実行したい命令が入力可能であり、命令実行結果を表示するタッチスクリーンを含む情報端末において、
   外部より入力される音声信号を認識する音声認識及び学習部と、
   前記タッチスクリーンで所定項目がタッチされて前記音声認識及び学習部に音声信号が入力されれば、タッチされた項目の座標に当たる命令を認識し、認識された命令に属する多数のサブ命令の内いずれか一つに対応する音声が前記音声認識及び学習部において認識されれば、該当サブ命令を実行し、前記認識された命令の前記サブ命令に相応する音声が認識されなければ、前記多数のサブ命令を前記タッチスクリーンに表示し、前記多数のサブ命令の内いずれか一つが選ばれれば、前記音声認識及び学習部を制御して前記入力された音声信号に対応するサブ命令が前記選ばれたサブ命令であることを学習させ、前記選ばれたサブ命令に対応する音声認識を学習する間に前記入力された音声信号を再生するシステム制御部とを含むことを特徴とする情報端末。

Images