JP5204305B2

JP5204305B2 - 携帯用端末機におけるパターン認識を用いたユーザインターフェース装置及び方法

Info

Publication number: JP5204305B2
Application number: JP2011521046A
Authority: JP
Inventors: ナム−ウン・キム; スク−ソン・キム; ソン−ユン・キム
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2008-07-31
Filing date: 2009-07-31
Publication date: 2013-06-05
Anticipated expiration: 2029-07-31
Also published as: US20100026642A1; JP2011529598A; KR101509245B1; KR20100013539A; WO2010013974A3; CN102112948A; CN102112948B; WO2010013974A2

Description

本発明は、タッチスクリーンを用いる携帯用端末機における命令語入力をより効率的で、かつ簡素化した方式により具現するためにパターン認識技術を用いたユーザインターフェース装置及び方法に関するものである。

ディジタル携帯用端末機の使用が大衆化されるにつれて、情報処理機としての高性能化がなされながらユーザ入力情報を処理する様々な方法が提案されている。これは、ディジタル携帯用端末において具現されたフォンブック、短文メッセージの作成、及び電子手帳機能をユーザがより容易に使用することができるようにするための方法である。そのような方法のうちの１つがタッチスクリーン（または、タッチパネル）を用いた入力方法である。タッチスクリーン方式は、ユーザインターフェースの便利性を図り、携帯用情報端末機（ＰＤＡ）、携帯電話が複合されたスマートフォン、インターネットフォンなどにおいて、フォンブック、スケジューラ、短文メッセージ、個人情報管理、インターネット接続、電子辞典などの機能を遂行する時にたくさん使われている。現在、タッチスクリーンを用いる携帯用端末機では接触式静電容量（Capacitive）方式または抵抗膜（Resistive）方式を最も多く使用している。

タッチスクリーンは新しい方式のユーザインターフェース装置を提供し、スタイラスペンまたは手指が押された位置に電圧または電流信号を発生することで、ユーザが指定する命令またはグラフィック情報を入力するようになる。上記タッチスクリーンは、パターン認識（Pattern Recognition）技術とこれをサポートするソフトウェアの開発に従って提案された文字認識機能により具現することができ、ユーザの希望する情報をペンや手のように自然的に使われる入力手段を通じて便利に入力することができるので、その使用が増加している。

特に、タッチスクリーンは、ユーザがスクリーンを見ながら所望の作業を直接行なうことができ、誰でも容易に操作することができるので、ＧＵＩ（Graphical User Interface）の環境下で最も理想的な入力方法と評価されている。

現在、タッチスクリーン上で文字と図形を認識することができるパターン認識（Pattern Recognition）技術は、単純ストローク（stroke）機能を用いて、確認、前ページ、後ページ、Del、Save、Load、Cancel等の機能をサポートしている。または、命令語の束を用いて短縮命令を具現する形態の技術である。しかしながら、ストローク（stroke）を用いた技術は制限された命令語と具現方式において限界を有している。即ち、ストローク機能の形態を一々記憶しなければならず、必要とされる追加機能が足りない。そして、一連の命令語を括って使用することはユーザの便宜性を落とす。したがって、タッチスクリーンを用いる携帯用端末機におけるユーザインターフェースをより効率的で、かつ簡便に具現することができる方案が切実に求められる。

本発明は、前述した従来技術の問題点を解決するためのものであって、携帯用端末機において、より効率的で、かつ簡便なユーザインターフェースのためにタッチスクリーンにパターン認識技術を用いて命令語を入力及び実行するユーザインターフェース装置及び方法を提供することをその目的とする。

また、本発明の他の目的は、ユーザの便宜性を考慮してパターン認識を用いた命令を単純化することで、実行命令と移動命令などに区分し、それぞれに合う命令語を指定するユーザインターフェース装置及び方法を提供することにある。

また、本発明の更なる他の目的は、タッチスクリーン上に誤った内容が入力された場合、ユーザが簡便で、かつ便利な方法により削除または取消すことができるユーザインターフェース装置及び方法を提供することにある。

本発明は、タッチスクリーンを備える携帯用端末機のユーザインターフェース方法であって、ユーザにより上記タッチスクリーン上に描かれた所定のパターンと上記所定のパターンにより定義される領域の内に書かれた所定の命令語の提供を受けるステップと、上記提供された所定のパターン及び命令語が有効なパターン及び命令語である時、上記所定のパターン及び命令語の組合せに対応する機能を遂行するステップと、を含むユーザインターフェース方法を提案する。

また、本発明は、タッチスクリーンを備える携帯用端末機のユーザインターフェース装置であって、上記タッチスクリーンを備え、上記タッチスクリーンを通じて所定のパターンまたは所定の命令語の入力を受けて、現在入力状態及び動作遂行結果を出力する入／出力部と、上記入／出力部を通じて上記タッチスクリーン上に描かれた所定のパターンと、上記所定のパターンにより定義される領域の内に書かれた所定の命令語の提供を受けて、上記提供された所定のパターン及び命令語が有効なパターン及び命令語である時、上記所定のパターン及び命令語の組合せに対応する機能を遂行するために、上記携帯用端末機の動作を制御する制御部と、を含むユーザインターフェース装置を提案する。

また、本発明は、タッチスクリーンを備える携帯用端末機のユーザインターフェース方法であって、上記タッチスクリーンを通じて情報の入力を受けるステップと、上記入力された情報を上記タッチスクリーン上に表示するステップと、ユーザによる上記携帯用端末機の揺れを感知する時、上記タッチスクリーン上に表示された情報を削除するステップと、を含むユーザインターフェース方法を提案する。

また、本発明は、タッチスクリーンを備える携帯用端末機のユーザインターフェース装置であって、上記タッチスクリーンを通じて情報の入力を受けて、上記入力された情報を上記タッチスクリーン上に表示する入／出力部と、ユーザによる上記携帯用端末機の揺れを感知するジャイロセンサ部と、上記ジャイロセンサ部により上記携帯用端末機の揺れが感知される時、上記タッチスクリーン上に表示された情報を削除するように上記入／出力部を制御する制御部と、を含むユーザインターフェース装置を提案する。

本発明によれば、次世代の移動通信端末機の主要技術として使われるハプティック（haptic）の一種であって、ユーザの立場で幅広い命令語を適用することができ、ユーザの便宜に従う変更が可能である。

また、ユーザの立場で所望の機能を追加または修正して、より自分に適当なユーザインターフェース環境を作っていくことができ、定まったユーザインターフェースを使用しなくても、必要によって動的な活用が可能である。また、多様なアプリケーション（application）の適用が可能である。

本発明の実施形態に従う携帯用端末機の構成を示す図である。本発明の実施形態に従う他の実施形態に従う携帯用端末機の構成を示す図である。本発明の実施形態に従う制御の流れを示す図である。図３での機能設定サブルーチンに従う制御の流れを示す図である。図３での機能遂行サブルーチンに従う制御の流れを示す図である。本発明の実施形態において、ユーザがタッチスクリーンを通じて入力する方式を示す図である。本発明の実施形態に従う実行命令の動作例を示す図である。本発明の実施形態に従う実行命令の動作例を示す図である。本発明の実施形態に従う移動命令の動作例を示す図である。本発明の実施形態に従う移動命令の動作例を示す図である。本発明の実施形態に従う削除動作に対する例を示す図である。本発明の実施形態に従う削除動作に対する例を示す図である。本発明の実施形態に従う取消動作に対する例を示す図である。本発明の実施形態に従う取消動作に対する例を示す図である。

本発明を説明するに当たって、関連した公知機能または構成に対する具体的な説明が本発明の要旨を曖昧にすることができると判断される場合、その詳細な説明を省略する。そして、後述する用語は本発明における機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例などによって変わることがある。したがって、その定義は本明細書の全般に亘る内容に基づいて定義されるべきである。

本発明は、タッチスクリーンを用いる携帯用端末機における命令語の入力をより効率的で、かつ簡素化した方式により具現するためにパターン認識技術を用いたユーザインターフェース装置及び方法を提案する。

後述する本発明の詳細な説明では、移動通信端末機を前提にして説明しているが、タッチスクリーンを使用する携帯用端末機にも本発明で提案する装置及び方法が適用できることは自明である。

以下、本発明の実施形態を添付した図面を参照しつつ詳細に説明する。
図１は、本発明の第１実施形態に従う携帯用端末機の構成を示す。図１を参照すると、上記携帯用端末機は、大別して、制御部１０１、入／出力部１０５、メモリ部１１３から構成される。上記制御部１０１は形状認識装置１０３を含む。上記入／出力部１０５は、タッチパネル１０７、表示部１０９、及び駆動部１１１を含む。

以下の説明において、上記の装置の動作に対し、本発明の内容と関連のない部分は省略する。
まず、ユーザは移動通信端末機のファンクションキー（function key、hot key、図６参照）を通じてパターンを認識するユーザインターフェースモードに一度に進入することができ、既存のユーザインターフェースと連動して使用することができる。

上記パターン認識ユーザインターフェースモードに進入した場合、ユーザは上記タッチパネル１０７（または、タッチスクリーンと称する）を通じてスタイラスペンや手指で所定のパターン及び所定の命令語を入力することができる。本発明において、命令入力ウィンドウとして使われるパターンは、図形またはシンボルとなることができ、その図形及びシンボルの中に入る内容が命令語となる。上記の命令語は、文字にて表現されることが一般的である。

上記タッチパネル１０７は、ユーザから上記パターンの入力を受けてタッチパネルデータを出力する。ここで、上記タッチパネルデータは、上記制御部１０１がパターンを認識するに当たって、必要とされる空間座標データ及び該当文字の画数を表す画データのリソースからなる。

上記表示部１０９は、現在タッチスクリーン上に入力した内容や本発明による命令実行結果を示している。上記駆動部１１１は、上記タッチパネル１０７から出力されたアナログ信号をディジタル形態のタッチパネルデータに変換して、上記制御部１０１に出力する動作を遂行する。また、駆動部１１１は上記制御部１０１から出力されたディジタル信号をアナログ形態の信号に変換して、上記表示部１０９に出力する動作を遂行したり、現在ユーザがタッチスクリーンに入力した内容をユーザが確認することができるように上記表示部１０９に伝達する役割を遂行する。

上記制御部１０１は、ユーザがタッチスクリーン（または、タッチパネル）を通じて入力するパターン及び命令語を認識し、上記メモリ１１３に登録されている動作を遂行する機能を処理する。具体的に、ユーザからタッチパネル１０７を通じて命令パターンが入力される場合、上記制御部１０１は、上記駆動部１１１からディジタル形態のタッチパネルデータを受信する。

上記制御部１０１は、上記受信されたタッチパネルデータを形状認識装置１０３に提供して、入力されたパネルまたは命令語が文字であるかシンボル（図形）であるかを決定する。

上記制御部１０１の内の形状認識装置１０３は、事前にプログラムコード化されたパターン認識プログラムに従って上記タッチパネル１０７に入力された文字またはシンボルパターンの正確な座標データと画データを計算して読出し、上記読出されたデータを上記文字またはシンボルとして認識して該当文字またはシンボル認識動作を遂行する役割をする。ここで、上記認識された文字またはシンボルは、メモリ１１３にコード（列）で格納される。上記形状認識装置１０３がシンボル（図形）を認識する過程で発生する文字との区分は、図形のサイズを用いて区分することができる。即ち、形状のサイズが一定のサイズ（size）以上になる場合、文字でない命令語入力ウィンドウとして使われる図形またはシンボルと認識する。

上記制御部１０１は、上記形状認識装置１０３から出力されたパターンを既に設定されたメモリ部１１３の内に格納されたパターンと一致するパターンを選択した後、上記パターンに対応する動作命令を確認する。

例えば、本発明の実施形態では、命令語入力ウィンドウとして使われる図形として四角形と菱形が主要パターンとなり、その図形の中に入る内容が命令語となる。上記四角形は実行命令を表し、上記菱形は移動命令を表すことと仮定する。上記命令語入力ウィンドウは、他の図形も可能であり、ユーザが機能設定を通じて任意に設定することもできる。

したがって、タッチスクリーンを通じてユーザがスタイラスペンで一定のサイズ以上の四角形を入力する場合、上記形状認識装置１０３は、上記四角形が文字でない図形であることを認識する。上記形状認識装置１０３は、入力されたパターンに対する形状情報を上記制御部１０１に提供する。上記制御部１０１は、上記形状認識装置１０３から提供された情報を用いて上記メモリ部１１３に既に設定されて登録されたパターンと一致するか否かを判断する。

ユーザからタッチパネル１０７を通じて入力されたパターンが上記メモリ１１３に登録された有効なパターンでない場合、動作せず、新たなパターンの再入力が要求される。しかしながら、上記入力されたパターンが有効なパターンの場合、上記制御部１０１は入力されたパターンに対応する動作命令を確認する。上記で仮定した通り、本発明では命令入力ウィンドウとして四角形が入力される場合に、上記制御部１０１は上記四角形を実行命令ウィンドウとして認識し、命令入力ウィンドウとして菱形が入力される場合には、上記制御部１０１は上記菱形を移動命令ウィンドウとして認識する。

上記メモリ部１１３は、初期に既に設定されたパターン及び命令語を格納したり、ユーザが機能設定時、新しいパターン及び命令語を定義し、必要とされる機能及び動作を追加格納することができる。

下記の＜表１＞は、本発明の実施形態を説明するためのメモリテーブルである。＜表１＞は上記メモリ部１１３に格納されたパターン及び命令語の一例を説明しているだけであり、ユーザの定義に従って、何時でも、新しいパターン、命令語、機能の定義、及び追加設定が可能である。

ユーザは、タッチスクリーン（または、タッチパネル）にスタイラスペンで命令入力ウィンドウ（四角形、菱形等）を入力した後、上記命令入力ウィンドウの中に所定の命令語を入力する。上記タッチパネル１０７を通じて入力されたタッチパネルデータは、上記駆動部１１１を通じてアナログ信号からディジタル信号に変換された後、上記制御部１０１に提供される。上記制御部１０１の内の形状認識装置１０３は、上記タッチパネルデータの提供を受けて上記入力された命令語を認識する。上記形状認識装置１０３は、入力された命令語に対する形状情報を上記制御部１０１に提供する。上記制御部１０１は、上記形状認識装置１０３から提供された情報を用いて上記メモリ１１３に登録された命令語と一致するか否かを判断する。ユーザからタッチパネル１０７を通じて入力された命令語が上記メモリ１１３に登録された有効な命令語でない場合、動作せず、エラーメッセージを発生させる。しかしながら、上記入力された命令語が有効な命令語の場合、上記制御部１０１は入力された命令語に対応する機能を確認する。

ユーザによるパターン及び命令語の入力が完了し、ユーザによる実行動作の入力がある場合、上記制御部１０１は上記入力されたパターン及び命令語に対応して上記メモリ１１３に登録された機能を遂行する。

本発明の実施形態において、上記タッチスクリーンを通じて上記動作を実行させる方法は、スタイラスペンで上記命令入力ウィンドウ（パターン）と命令語を入力した後、入力された部分を手指で押さえることである。このように、命令語の入力動作と上記入力された命令語を実行させる動作は、入力方式により区分できるようにする。即ち、入力道具により区分される押圧面積によって命令語の入力であるか、命令語の実行であるかを区分することができる。

しかしながら、動作を実行させる他の方法に、スタイラスペン等で上記入力された部分を２回叩く等の方法が使用できるということは当業者に自明である。

本発明のタッチスクリーンは、抵抗膜方式のタッチパッドセンサ技術を用いることで、手指による入力とスタイラスペンを用いた方式とを区分することができる。抵抗膜方式は、一定の電圧が掛かった上板及び下板をタッチする時、接触位置に電位差が発生し、これをコントローラ（controller）が感知してタッチされた部分を感知する方式である。したがって、抵抗膜方式を用いるタッチスクリーン上でタッチする時、接触される面積によって手指による入力とスタイラスペンを用いた入力とを区分することができる。

このように、本発明の実施形態に従う携帯用端末機を使用することで、制限された命令語と具現方式の限界を克服し、ユーザインターフェースをより効率的で、かつ簡素化した方式により具現することができる。

図２は、本発明の第２実施形態に従う携帯用端末機の構成を示す。
図２を参照すると、図１に図示された制御部２０１、形状認識部２０３、メモリ部２１３、入／出力部２０５、表示部２０９、及び駆動部２１１にセンサ部２１５をさらに追加することで、上記タッチパネル（または、タッチスクリーン）２０７に入力された内容を消すとか命令入力ウィンドウを取消すことができるユーザインターフェース装置を提供する。

本発明では、上記センサ部２１５としてジャイロセンサを用いているが、これと類似な機能をする他のセンサ装置も利用可能である。ユーザがタッチスクリーン上に内容を誤って入力した場合や入力された内容を取消そうとする場合、ユーザは携帯用端末機を上下／左右に振ることによって、上記タッチスクリーン上に入力された内容を消すとか取消すことができる。

上記タッチスクリーン上に内容入力があった後に、ユーザが所定の強さ以上に上記携帯用端末機を振れば、上記ジャイロセンサ２１５は上記揺れを感知して電気的信号を発生させる。上記制御部２０１は、上記ジャイロセンサ２１５から電気的信号を受けて全体消し及び命令入力ウィンドウ取消を遂行する。

上記入／出力部２０５は、上記制御部２０１からの制御により現在表示されている画面全体を消すとか表示された命令入力ウィンドウを取消す。

したがって、本発明は上記タッチスクリーン上に入力された内容や命令入力ウィンドウなどが誤った場合、別途の複雑な動作を取らず、携帯用端末を振ることによって、簡便に削除できるユーザインターフェース装置を提供する。

図３は、本発明の第１実施形態に従うユーザインターフェース方法を説明するための制御の流れを示す。以下に説明するユーザインターフェース方法は、上記制御部で遂行することが一般的である。

図３を参照すると、ステップ３０１で、制御部はユーザから本発明に従う機能登録要請があるかを判断する。ユーザから機能登録要請がない場合には、ステップ３０５に移動してユーザから本発明に従う機能遂行要請があるかを判断する。一方、ユーザから機能登録要請及び機能遂行要請のない場合、上記制御部は本発明に従う手続きを終了する。

仮に、ユーザから機能登録要請のある場合、ステップ３０３に移動して機能登録サブルーチンを遂行する。上記機能登録サブルーチンについては下記に具体的に説明する。

一方、ユーザから機能遂行要請のない場合には、上記手続きを終了する。しかしながら、ユーザから機能遂行要請のある場合には、ステップ３０７に移動して機能遂行サブルーチンを遂行する。上記機能遂行サブルーチンについては下記に具体的に説明する。

図４は、図３での機能登録サブルーチンに従う具体的な制御の流れを示す。
図４を参照すると、機能登録サブルーチンのステップ４０１で、制御部はユーザから命令入力ウィンドウとして使われるパターンの設定要請があるかを判断する。ユーザからパターンの設定要請のある場合、ステップ４０３に移動する。上記ステップ４０３で、上記制御部はユーザが設定しようとするパターンの入力を受ける。ユーザが入力するパターンは予め設定された図形やシンボルの場合もあり、ユーザが直接タッチスクリーン上にスタイラスペンでパターンを描いて任意に設定することもできる。上記パターンの入力が完了した場合、上記制御部はステップ４０５に移動する。上記ステップ４０５で、上記制御部は上記パターンに対応する動作命令、即ち、実行命令や移動命令などが入力されるかを判断する。

上記動作命令が入力されていない場合、上記制御部は上記ステップ４０５に移動し、入力が完了した場合に、上記制御部はステップ４０７に移動する。上記パターンに対応する動作命令もユーザが予め設定された命令を選択したり、任意に設定することができる。本発明の好ましい実施形態において、上記パターンの一例として、四角形は実行命令ウィンドウであり、菱形は移動命令ウィンドウとして説明している。

上記ステップ４０７で、上記制御部は上記パターンに対応する動作命令が決定されれば、上記入力されたパターン及び動作命令をメモリに登録する。上記ステップ４０７が完了する場合と、ユーザから上記パターンの設定要請のない場合、上記制御部はステップ４０９に移動する。

上記ステップ４０９で、上記制御部はユーザから上記命令入力ウィンドウとして使われるパターンの中に使われる命令語の設定要請があるかを判断する。仮に、ユーザから命令語設定要請のない場合、上記制御部は上記機能登録を終了する。しかしながら、ユーザから命令語設定要請のある場合、上記制御部はステップ４１１に移動する。上記ステップ４１１で、上記制御部はユーザが設定しようとする命令語の入力を受ける。上記命令語は予め設定された内容が選択されたり、ユーザが新しい命令語をさらに設定することもできる。上記命令語の入力が完了した場合、上記制御部はステップ４１３に移動する。

上記ステップ４１３で、上記制御部は命令語に対応する機能、例えばＣａｌｌ（または、Ｃ）＝＞電話連結、Ｖｏｃ（または、Ｖ）＝＞辞書移動等が入力されるかを判断する。上記制御部は、上記機能が入力されていない場合、上記ステップ４１１に移動し、入力が完了した場合にはステップ４１５に移動する。上記命令語に対応する機能もユーザが予め設定された機能を選択したり、任意に設定することができる。

ユーザによる上記命令語及び機能の入力が完了すれば、上記制御部はステップ４１５に移動する。上記ステップ４１５で、上記制御部はユーザにより入力された命令語及びこれに対応する機能を上記メモリに登録する。上記メモリに登録が完了すれば、上記機能登録サブルーチンは終了する。

図５は、図３での機能遂行サブルーチンに従う具体的な制御の流れを示す。
図５を参照すると、機能遂行サブルーチンのステップ５０１で、制御部はユーザから所定の命令パターンが入力されるかを判断する。ユーザから上記命令パターンの入力がある場合、上記制御部はステップ５０３に移動する。上記ステップ５０３で、上記制御部は形状認識装置を通じて上記入力されたパターンの形態を認識する。

その後、上記制御部は上記ステップ５０５で入力されたパターンを認識した後、メモリに登録されたパターンと対比して有効なパターンであるかを判断する。仮に、有効なパターンでない場合、上記機能遂行を終了し、新しい命令パターンの入力が要求される。しかしながら、有効なパターンが入力される場合、上記制御部はステップ５０７に移動する。

上記ステップ５０７で、上記制御部はユーザからパターンの中に入る命令語がユーザにより入力されるかを判断する。上記命令語の入力が完了する場合、上記制御部はステップ５０９に移動する。上記ステップ５０９で、上記制御部は上記形状認識装置を通じて上記入力された命令語を認識する。

その後、上記制御部はステップ５１１で、上記認識された命令語をメモリに登録された命令語と対比して上記認識された命令語が有効な命令語であるかを判断する。上記認識された命令語が有効な命令語でない場合、上記制御部はステップ５１３に移動する。上記ステップ５１３で、上記制御部は入力された命令語が有効でないというエラーメッセージを発生させる。しかしながら、上記認識された命令語が有効な命令語の場合、上記制御部はステップ５１５に移動する。

上記ステップ５１５で、上記制御部はユーザから上記入力されたパターンと命令語を実行させる動作が入力されるかを判断する。前述したように、上記実行動作はタッチスクリーン上の入力されたパターン部分を手指で押さえるか、スタイラスペンでストローク（stroke）する等の方法になることができる。即ち、上記実行動作は入力動作と差別化される如何なる入力形態によっても具現可能である。

上記制御部は、ユーザから上記実行動作に対する入力が存在する場合、ステップ５１７に移動する。

上記ステップ５１７で、上記制御部はユーザから入力されたパターンと命令語に対応してメモリに登録された機能または動作を遂行するようになる。上記ステップ５１７が完了すれば、ステップ５１９で、上記制御部は上記機能遂行が完了するかを判断し、上記機能遂行が完了する場合、機能遂行サブルーチンを終了する。

したがって、本発明に従うユーザインターフェース方法を適用した携帯用端末機を使用することで、制限された命令語と具現方式の限界を克服し、ユーザインターフェースをより効率的で、かつ簡素化した方式により具現することができる。

また、タッチスクリーン上に仮想の電卓を描いて活用することができる応用などが可能であるので、ユーザが希望するアプリケーション（application）を製作することもできる。

以下、本発明の実施形態に従う動作例を添付した図面を参照しつつ詳細に説明する。
図６は、本発明に従ってユーザがタッチスクリーン上に命令を入力する方式を説明している。

図６を参照すると、ユーザがタッチスクリーン６０１の上に所定のパターンや命令語を入力する方式は、手指（finger）６０５を用いる方式とスタイラスペン６０３を用いる方式とに分けられる。以下に説明する動作例では、ユーザが利用しようとするパターン及び命令語はスタイラスペン６０３で入力し、動作実行は上記タッチスクリーン６０１の上に入力されたパターン部分を手指６０５で押さえて入力する方式を使用する。

但し、前述したような上記入力方式は、手指またはスタイラスペンのうち、いずれか１つの方式になることは当業者には自明である。また、手指またはスタイラスペンの他の道具を用いて入力する方式も具現可能である。

図６に図示された携帯用端末機の下段のファンクションキー（function key or hot key）６０７は、本発明の実施のためにパターン認識ユーザインターフェースモードに一度に進入するための構成であって、既存のユーザインターフェースと連動して使用することができる。

図７及び図８は、本発明に従う実行命令（例＿発信）を遂行する動作例を説明している。

図７及び図８を参照すると、ユーザは、タッチスクリーン７０１の上にスタイラスペン７０３でかけようとする相対方の電話番号を書く。その後、ユーザはスタイラスペン７０３で上記タッチスクリーン７０１の上の余白に実行命令を意味するパターン、即ち四角形状を描いた後、その中に命令語である“ＣＡＬＬ”やその略語である“Ｃ”を書く。

上記パターン及び命令語の入力が完了すれば、ユーザは手指７０５を“ＣＡＬＬ”と表示された四角形部分を押さえて発信動作を実行させる。

上記の例では、発信動作のみを説明しているが、ＳＭＳ（ＭＭＳ）転送、音＜−＞ベル変更、電源消しなどの実行命令を使用することができ、ユーザの定義により他の機能を追加することができる。

図９及び図１０は、本発明に従う移動命令を遂行する動作例を説明している。
図９及び図１０を参照すると、ユーザは、タッチスクリーン８０１の上にスタイラスペン８０３で菱形を描いた後、その中に移動しようとするメニューの略語（例＿ＶＯＣ）を書く。上記菱形は移動命令を意味するパターンであり、上記メニューの略語である“ＶＯＣ”は命令語である。ユーザが手指８０５を使用して上記菱形部分を押さえれば英語単語検索ウィンドウ８０９へ移動する。ユーザが上記英語検索ウィンドウ８０９にスタイラスペン８０３で希望する英語単語を入力し、手指８０５またはスタイラスペン８０３で確認ボタン８０７を押さえれば希望する英語単語を検索する。

上記の例では、英語辞典メニューに移動する機能を説明しているが、フォンブックウィンドウに移動（Ｐ）、アラームウィンドウに移動（Ａ）、ＭＰ３ウィンドウに移動（Ｍ）、カメラウィンドウに移動（Ｃ）、メモ帳に移動（Ｎ）、電卓ウィンドウに移動（ＣＬ）、設定ウィンドウに移動（Ｓ）などの移動命令を使用することができ、ユーザの定義により新しい機能を追加することができる。

図１１及び図１２は、本発明に従う削除機能を遂行する例を説明している。
図１１及び図１２を参照すると、ユーザがタッチスクリーン９０１の上にスタイラスペン９０３で文字やパターンなどを誤って入力した場合、移動通信端末機を上下／左右／前後に振ることによって、タッチスクリーン９０１の上の入力された内容を削除する。ユーザは、別途の作業を遂行せず、簡便に移動通信端末機を振ることによって、上記タッチスクリーン９０１の上に入力された内容を削除することができる。

図１３及び図１４は、本発明に従う取消機能を遂行する動作例を説明する。
図１３及び図１４を参照すると、ユーザがタッチスクリーン１００１の上にスタイラスペン１００３で命令入力ウィンドウ（パターン）や命令語などを誤って入力した場合、前述した削除機能を使用することができるが、他の方法により取消すこともできる。

ユーザは、スタイラスペン１００３でタッチスクリーン１００１の上の余白に誤って入力された命令実行ウィンドウをまた描き、その中に“Ｘ”表示を入力する。その後、ユーザが上記“Ｘ”表示された命令実行ウィンドウを手指１００５で押さえて実行させれば、上記誤って入力された命令入力ウィンドウは取消される。上記命令入力ウィンドウに入る所定の表示は“Ｘ”表示だけでなく、ユーザが任意に設定することができる。

以上、本発明の具体的な実施形態に関して詳細に説明してきたが、本発明の範囲を逸脱することなく様々な変更が可能であることは当業者には明らかである。したがって、本発明の範囲は、上述の実施形態に限定されず、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。

即ち、前述した発明の詳細な説明では、タッチスクリーンを用いる移動通信端末機におけるパターン認識技術を適用した具現例を示している。しかしながら、本発明は類似な技術的な背景及びタッチスクリーンを用いるその他の携帯用端末機にも本発明の範囲を逸脱しない範囲で適用可能であり、これは本発明の技術分野で熟練した技術的知識を有する者の判断により可能である。

１０１制御部
１０３形状認識装置
１０５入／出力部
１０７タッチパネル
１０９表示部
１１１駆動部
１１３メモリ部

Claims

タッチスクリーンを備える携帯用端末機のユーザインターフェース方法であって、
ユーザにより前記タッチスクリーン上に描かれた所定のパターンと前記所定のパターンにより定義される領域内に書かれた所定の命令語の提供を受けるステップと、
前記提供された所定のパターン及び命令語が有効なパターン及び命令語である時、前記所定のパターン及び命令語の組合せに対応する機能を遂行するステップと、を含み、
前記所定のパターン及び所定の命令語のうち、少なくとも１つが提供された後、ユーザにより携帯用端末機が振動すると、前記提供された所定のパターンまたは所定の命令語を削除する
ことを特徴とする、ユーザインターフェース方法。
前記提供された所定のパターン及び命令語がメモリに登録されている時、前記提供された所定のパターン及び命令語を有効なパターン及び命令語と判断する
ことを特徴とする、請求項１に記載のユーザインターフェース方法。
前記所定のパターンと前記所定の命令語の提供を受けるステップは、
前記ユーザから前記所定のパターン及び命令語に対応する機能の遂行が求められるステップをさらに含む
ことを特徴とする、請求項１に記載のユーザインターフェース方法。
前記機能遂行の要請は、前記所定のパターンと所定の命令語を入力する方式と差別化した方式により入力される
ことを特徴とする、請求項３に記載のユーザインターフェース方法。
前記ユーザにより機能登録が求められる時、
前記所定のパターンまたは命令語と、前記所定のパターンまたは命令語に対応する機能をメモリに登録するステップをさらに含む
ことを特徴とする、請求項１に記載のユーザインターフェース方法。
前記登録するステップは、
前記ユーザにより前記タッチスクリーン上に描かれた所定のパターンと所定の命令語のうち、少なくとも１つの入力を受けるステップと、
入力された所定のパターン、入力された所定の命令語、または入力された所定のパターン及び命令語に対応した機能を選択するステップと、
前記ユーザにより機能登録が求められる時、
前記入力された所定のパターン、前記入力された所定の命令語、または前記入力された所定のパターン及び命令語を前記選択された機能に対応して前記メモリに登録するステップと、を含む
ことを特徴とする、請求項５に記載のユーザインターフェース方法。
前記所定のパターン及び所定の命令語のうち、少なくとも１つが提供された後、ユーザによりタッチスクリーンに取消要請に関連した登録された取消パターンが入力されれば、前記提供された所定のパターンまたは所定の命令語を取消すステップをさらに含む
ことを特徴とする、請求項１に記載のユーザインターフェース方法。
タッチスクリーンを備える携帯用端末機のユーザインターフェース装置であって、
前記タッチスクリーンを備え、前記タッチスクリーンを通じて所定のパターンまたは所定の命令語の入力を受けて、現在入力状態及び動作遂行結果を出力する入／出力部と、
前記入／出力部を通じて前記タッチスクリーン上に描かれた所定のパターンと前記所定のパターンにより定義される領域内に書かれた所定の命令語の提供を受けて、前記提供された所定のパターン及び命令語が有効なパターン及び命令語である時、前記所定のパターン及び命令語の組合に対応する機能を遂行するために、前記携帯用端末機の動作を制御する制御部と、を含み、
前記所定のパターン及び所定の命令語のうち、少なくとも１つが提供された後、ユーザにより携帯用端末機が振動すると、前記提供された所定のパターンまたは所定の命令語を削除する
ことを特徴とする、ユーザインターフェース装置。
少なくとも１つのパターンと少なくとも１つの命令語の組合のそれぞれに相応する機能に関する情報を格納するメモリ部をさらに具備し、
前記制御部は、
前記提供された所定のパターン及び命令語がメモリに登録されている時、前記提供された所定のパターン及び命令語を有効なパターン及び命令語と判断する
ことを特徴とする、請求項８に記載のユーザインターフェース装置。
前記制御部は、
前記入／出力部を通じて前記ユーザの機能遂行要請が提供される時、前記所定のパターン及び命令語の組合に対応する機能のために、前記携帯用端末機の動作を制御する
ことを特徴とする、請求項８に記載のユーザインターフェース装置。
前記機能遂行の要請は、前記所定のパターンと所定の命令語を入力する方式と差別化した方式により入力される
ことを特徴とする、請求項１０に記載のユーザインターフェース装置。
前記制御部は、
前記ユーザにより機能登録が求められる時、前記所定のパターンまたは命令語と、前記所定のパターンまたは命令語に対応する機能を前記メモリ部に登録する
ことを特徴とする、請求項８に記載のユーザインターフェース装置。
前記制御部は、
前記ユーザにより前記タッチスクリーン上に描かれた所定のパターンと所定の命令語のうちの少なくとも１つを前記入／出力部を通じて入力を受けて、
入力された所定のパターン、入力された所定の命令語、または入力された所定のパターン及び命令語に対応した機能を選択し、
前記ユーザにより機能登録が求められる時、前記入力された所定のパターン、前記入力された所定の命令語、または前記入力された所定のパターン及び命令語を前記選択された機能に対応して前記メモリ部に登録する
ことを特徴とする、請求項１２に記載のユーザインターフェース装置。
前記ユーザによる前記携帯用端末機の揺れを感知して、前記制御部に電気的信号を提供するジャイロセンサ部をさらに具備し、
前記制御部は、前記電気的信号の提供を受けて前記タッチスクリーン上に表示された所定のパターンまたは所定の命令語を削除する
ことを特徴とする、請求項８に記載のユーザインターフェース装置。
前記制御部は、
前記所定のパターンまたは前記所定の命令語のうちの少なくとも１つが入力された後、前記ユーザにより取消要請に対応する取消パターンが前記タッチスクリーン上に入力される時、前記入力された所定のパターンまたは前記入力された所定の命令語を取消すように前記入／出力部を制御する
ことを特徴とする、請求項８に記載のユーザインターフェース装置。