以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明に係る情報処理装置として適用可能な携帯電話機1の外観の構成を表している。なお、図1[A]は、携帯電話機1を約180度に見開いたときの正面から見た外観の構成を表しており、図1[B]は、携帯電話機1を見開いたときの側面から見た外観の構成を表している。
図1[A]および[B]に示されるように、携帯電話機1は、中央のヒンジ部11を境に第1の筐体12と第2の筐体13とがヒンジ結合されており、ヒンジ部11を介して矢印X方向に折り畳み可能に形成される。
第1の筐体12には、その表面に「0」乃至「9」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー14(キースイッチ)が設けられており、操作キー14を用いて各種指示を入力することができる。
また、第1の筐体12と第2の筐体13の内部の所定の位置には、携帯電話機1の状態を検知するための磁気センサ19a、19b、19c、および19dが設けられる。さらに、第1の筐体12の内部の所定の位置には、静電センサなどからなる静電パッド20が設けられており、静電パッド20に接触されたユーザの指に帯電する微弱な静電気による電位の変化を検出する。
一方、図2の携帯電話機1の状態は、図1の携帯電話機1の状態から矢印X方向に回動させた状態である。なお、図2[A]は、携帯電話機1を閉じたときの正面から見た外観の構成を表しており、図2[B]は、携帯電話機1を閉じたときの側面から見た外観の構成を表している。第2の筐体13の上部には、CCDカメラ21、サブディスプレイ22、静電パッド23が設けられる。静電パッド23は、見かけ上一枚のパッドになっているが、図示せぬセンサが複数個所に設けられており、ユーザがセンサの付近に指を近づけると、静電気による電位の変化からセンサがそれを検出し、巻戻し機能、早送り機能、音量ダウン動作、音量アップ動作、再生動作、および一時停止動作などが実行される。
図3は、本発明に係る情報処理装置として適用可能な携帯電話機1の内部の構成を表している。
図3に示されるように、携帯電話機1は、携帯電話機1の各部を統括的に制御する主制御部31に対して、静電パッド20、電源回路部32、操作入力制御部33、画像エンコーダ34、カメラインタフェース部35、LCD(Liquid Crystal Display)制御部36、多重分離部38、変復調回路部39、音声コーデック40、記憶部47、および音楽制御部48がメインバス41を介して互いに接続されるとともに、画像エンコーダ34、画像デコーダ37、多重分離部38、変復調回路部39、音声コーデック40、および記録再生部45が同期バス42を介して互いに接続されて構成される。
静電パッド20は、静電パッド20に接触されたユーザの指などに帯電する微弱な静電気による電位の変化を検出して検出信号を生成し、生成された検出信号をメインバス41を介して主制御部31に供給する。この検出信号には、例えばユーザの指などの静電パッド20上における位置情報(X軸方向とY軸方向の座標情報)と、その位置における圧力情報が含まれる。
電源回路部32は、ユーザの操作により終話・電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機1を動作可能な状態に起動する。
主制御部31は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などからなり、CPUは、ROMに記憶されているプログラムまたは記憶部47からRAMにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機1を統括的に制御する。RAMは、CPUが各種の処理を実行する上において必要なデータなどを適宜記憶する。
なお、主制御部31には、現在の日付と時刻を計測するタイマが内蔵されている。
画像エンコーダ34は、CCDカメラ21から供給された画像信号を、例えばMPEG(Moving Picture Experts Group)4などの所定の符号化方式によって圧縮符号化することにより符号化画像信号に変換し、変換された符号化画像信号を多重分離部38に送出する。このとき同時に携帯電話機1は、CCDカメラ21で撮像中にマイクロフォン15で集音した音声を音声コーデック40を介してディジタルの音声信号として多重分離部38に送出する。
多重分離部38は、画像エンコーダ34から供給された符号化画像信号と音声コーデック40から供給された音声信号とを所定の方式で多重化し、その結果得られる多重化信号を変復調回路部39でスペクトラム拡散処理し、送受信回路部43でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ44を介して送信する。
多重分離部38は、多重化信号を分離することにより符号化画像信号と音声信号とに分け、同期バス42を介して符号化画像信号を画像デコーダ37に供給すると共に音声信号を音声コーデック40に供給する。画像デコーダ37は、符号化画像信号をMPEG4などの所定の符号化方式に対応した復号化方式でデコードすることにより再生動画像信号を生成し、生成された再生動画像信号をLCD制御部36を介して液晶ディスプレイ17に供給し、これにより、例えば、Webページなどにリンクされた動画像ファイルに含まれる動画像データが表示される。
このとき同時に音声コーデック40は、音声信号をアナログ音声信号に変換した後、これをスピーカ18に供給し、これにより、例えば、Webページなどにリンクされた動画像ファイルに含まる音声信号が再生される。この場合も電子メールの場合と同様に携帯電話機1は、受信したWebページなどにリンクされたデータをユーザの操作により記録再生部45を介してメモリカード46に記録することが可能である。
記憶部47は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子などからなり、主制御部31のCPUにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。また、記憶部47は、必要に応じて、ユーザの操作に応じて受信した電子メールや、受信したWebページなどにリンクされた動画像ファイルに含まれる動画像データ、あるいはネットワーク(例えば、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)、その他の各種のネットワークを含む)などを介して取得したオーディオデータなどを記憶する。
次に、図4のフローチャートは、図3の携帯電話機1における入力判定処理を示している。この入力判定処理は、ユーザが指を静電パッド20に近づけることで静電気による電位の変化が検出されることにより開始される。
ステップS1において、静電パッド20は、ユーザの指などが近づくことで静電気による電位の変化が検出されたか否かを判定し、静電気による電位の変化が検出されたと判定するまで待機する。
ステップS1において静電パッド20により静電気による電位の変化が検出されたと判定された場合、静電パッド20はステップS2で、静電気による電位の変化を検出したことを示す検出信号を生成し、生成された検出信号をメインバス41を介して主制御部31に供給する。この検出信号には、例えばユーザの指などの静電パッド20上における位置情報(X軸方向とY軸方向の座標情報)と、その位置における圧力情報が含まれる。
ステップS3において、主制御部31は、静電パッド20から供給された検出信号から、ユーザの指などの静電パッド20上における位置情報(X軸方向とY軸方向の座標情報)を逐次取得する。
ステップS4において、主制御部31は、取得された位置情報に基づいて、予め設定された所定の数以上の位置で検出されたか否かを判定する。すなわち、ユーザの指などの検出が連続して行われ、予め設定された所定の数(例えば、5個など)以上の位置で検出されたか否かが判定される。
ステップS4において予め設定された所定の数以上の位置で検出されていないと判定された場合、主制御部31はステップS5で、操作入力制御部33を介して、ユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力があったか否かを判定する。
ステップS5においてユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力があったと判定された場合、主制御部31はステップS6で、ユーザによりキー入力が行われたと認識するとともに、ユーザにより所定の圧力以上で押圧されたいずれかの操作キー14に予め対応付けられたキー入力処理を実行する。具体的には、主制御部31は、LCD制御部36を制御し、ユーザにより所定の圧力以上で押圧されたいずれかの操作キー14に予め対応付けられた数字や文字などを液晶ディスプレイ17に表示させる。液晶ディスプレイ17は、LCD制御部36の制御に従い、ユーザにより所定の圧力以上で押圧されたいずれかの操作キー14に予め対応付けられた数字や文字など表示する。
その後、処理はステップS1に進み、ステップS1以降の処理が繰り返される。
ステップS5においてユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力がないと判定された場合、処理はステップS1に戻り、ステップS1以降の処理が繰り返される。
これにより、静電パッド20でユーザの指などが検出されたが、この検出が連続して行われておらず、キー入力も行われないときに、ユーザによりなぞり入力がなされたと誤検出することを防止することができる。
一方、ステップS4においてユーザの指などの接近による静電気による電位の変化の検出が予め設定された所定の数以上の位置で検出されたと判定された場合、主制御部31はステップS7で、操作入力制御部33を介して、ユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力があったか否かを判定する。
ステップS7においてユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力があったと判定された場合、処理はステップS6に進み、ステップS6においてキー入力処理が実行される。
これにより、静電パッド20で静電気による電位の変化の検出が予め設定された所定の数以上の位置であったと判定された場合であっても、その後、ユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力があったと判定されたとき、キー入力処理を実行することができる。
ステップS7においてユーザにより操作キー14(キースイッチ)が所定の圧力以上で押圧されることによりキー入力がないと判定された場合、主制御部31はステップS8で、取得された位置情報に基づいて、静電パッド20によって検出された各位置がすべていずれか1つのキー配置領域内にあるか否かを判定する。
具体的には、例えば図5に示されるように、第1の筐体12に設けられた操作キー14のうち、斜線領域が各操作キー14のキー配置領域としてそれぞれ予め設定されている。勿論、この入力判定処理の前に、ユーザが好みに応じて、操作キー14のうちのキー配置領域の大きさを設定するようにしてもよいし、タッチパネルのようにキー配置領域自体を動的に変更可能な場合、ユーザは、好みに応じて、キー配置領域を変更するようにしてもよい。そして、ステップS8においては、取得された位置情報に基づいて、静電パッド20によって検出された各位置がすべていずれか1つのキー配置領域内にあるか否かが判定される。
ステップS8において静電パッド20によって検出された各位置がすべていずれか1つのキー配置領域内にあると判定された場合、主制御部31はステップS9で、ユーザによりなぞり入力が行われていないと認識するとともに、取得された位置情報に基づいて、なぞり入力処理において用いるなぞり幅を算出する。すなわち、図6に示されるように、静電パッド20による検出が、ユーザにより1つの操作キー14のキー配置領域内における位置P1(X1、Y1)からP5(X5、Y5)まで行われたことを示している場合、なぞり入力処理において用いるなぞり幅として位置P1からP5までの距離を算出する。
ステップS10において、主制御部31は、算出されたなぞり幅(例えば図6の場合、位置P1からP5までの距離)を記憶部47に記憶させる。記憶部47は、主制御部31の制御に従い、算出されたなぞり幅を記憶する。なお、この入力判定処理により記憶部47にすでになぞり幅が記憶されている場合には、算出されたなぞり幅とすでに記憶されているなぞり幅との合計のなぞり幅が算出されて更新される。
その後、処理はステップS1に進み、ステップS1以降の処理が繰り返される。
これにより、静電パッド20によってユーザの指などの検出が行われた場合であって、キー入力が行われず、いずれか1つのキー配置領域内において行われたとき、ユーザにより静電パッド20上においてなぞり入力が行われていないと認識し、なぞり入力処理を実行しないようにするとともに、静電パッド20によって検出されたなぞり幅を算出し、記憶することができる。
例えば、ユーザがいずれかのキー入力をしようか悩んでいる場合に、静電パッド20による検出が行われた場合でも、静電パッド20上においてなぞり入力が行われていないと認識し、なぞり入力処理を実行しないようにすることができる。一方、ユーザがなぞり入力をしようと考えているが、いずれか1つのキー配置領域内においてのみで検出された場合、なぞり入力処理を実行しないが、静電パッド20の検出結果に基づいてなぞり幅を算出し、記憶することができる。
従って、ユーザが操作キー14(キースイッチ)を用いてキー入力する場合、所要のキースイッチだけでなく、同時に、静電パッド20で局所的に検出されてしまったとき、キー入力となぞり入力が同時に実行されてしまうことを防止することができる。また、その後、静電パッド20がユーザの指などを更に検出することにより、なぞり入力処理が実行される場合、記憶部47にすでに記憶されているなぞり幅を考慮して、なぞり入力処理におけるレスポンスの低下を防止するとともに、なぞり入力処理を高精度に実行することができる。
一方、ステップS8において静電パッド20によって検出されたすべての位置がいずれか1つのキー配置領域内にはないと判定された場合(すなわち、静電パッド20により検出された位置のうち、少なくともいずれか1つ以上が1つのキー配置領域外にあり、その結果、静電パッド20の検出結果が少なくとも2つ以上のキー配置領域にまたがっていると判定された場合)、主制御部31はステップS11で、ユーザによりなぞり入力が行われたと認識するとともに、主制御部31は、なぞり入力処理(例えば、ポインタ制御処理や文字認識処理など)を実行する。
具体的には、なぞり入力処理のうち文字認識処理が実行される場合、静電パッド20によって検出された位置情報の軌跡に従い、文字認識処理が実行される。また、記憶部47になぞり幅が記憶されていない場合においてポインタ制御処理が実行されるとき、ポインタ制御処理におけるなぞり幅が算出され、算出されたなぞり幅に基づいてポインタ制御処理が実行される。
一方、記憶部47になぞり幅が記憶されている場合においてポインタ制御処理が実行されるとき、記憶部47に記憶されているなぞり幅が読み出され、読み出されたなぞり幅を用いて合計のなぞり幅が算出され、算出されたなぞり幅に基づいてポインタ制御処理が実行される。
これにより、静電パッド20による検出が連続して行われた場合であっても、キー入力が行われず、少なくとも2つ以上のキー配置領域にまたがって検出されたときに、ユーザにより静電パッド20上においてなぞり入力が行われたと認識し、なぞり入力処理を実行することができる。
その後、処理はステップS1に進み、ステップS1以降の処理が繰り返される。これにより、静電パッド20を用いたキー入力処理かなぞり入力処理のいずれかが実行される。
図4のフローチャートを用いて説明した入力判定処理においては、ユーザの指などが近づくことで静電パッド20が連続して検出した位置がいずれか1つのキー配置領域内にあるか否かを判定し、静電パッド20による検出位置がいずれか1つのキー配置領域内にあると判定された場合、ユーザによりなぞり入力が行われていないと認識し、なぞり入力処理を実行せず、静電パッド20による検出位置がいずれか1つのキー配置領域内にはないと判定された場合(静電パッド20による検出位置が少なくとも2つ以上のキー配置領域にまたがっていると判定された場合)、ユーザによりなぞり入力が行われたと認識し、なぞり入力処理を実行するようにしたので、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性を低減することができるとともに、キー入力であるか、なぞり入力であるか否かを高精度に判定することができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性を向上させることができる。
なお、静電パッド20によるユーザの指などの検出が行われた場合であって、キー入力が行われず、いずれか1つのキー配置領域内においてのみで検出されたとき、ユーザにより静電パッド20上においてなぞり入力が行われていないと認識し、なぞり入力処理を実行しないようにするとともに、静電パッド20での連続した検出結果に伴うなぞり幅を算出し、記憶するようにしたが、その後、同一または異なる操作キー14がユーザにより押圧されると、記憶部47に記憶されているなぞり幅を消去するようにしてもよい。これにより、入力判定処理における無駄な処理を省くことができる。
なお、図4のフローチャートを用いて説明した入力判定処理においては、いずれか1つのキー配置領域内においてのみで検出された場合、なぞり入力処理を実行せず、静電パッド20での連続した検出結果に伴うなぞり幅を算出し、記憶するとともに、その後、ユーザにより静電パッド20によってユーザの指などの更なる検出が行われることにより、なぞり入力処理が実行されるとき、記憶部47にすでに記憶されているなぞり幅を考慮してなぞり入力処理を実行するようにしたが、いずれか1つのキー配置領域内において、予め設定された所定の時間以上連続してユーザの指などが検出された場合、ユーザによりなぞり入力が行われたと認識し、なぞり入力処理を実行するようにしてもよい。以下、この方法を用いた入力判定処理について説明する。
図7のフローチャートは、図3の携帯電話機1における他の入力判定処理について説明する。なお、図7のステップS21乃至S23、ステップS27乃至S31、およびステップS33乃至S35の処理については、図4のステップS1乃至S11の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS24において、主制御部31は、取得された位置情報に基づいて、静電パッド20の現在の検出位置がいずれか1つのキー配置領域内にあるか否かを判定する。
ステップS24において静電パッド20の現在の検出位置がいずれか1つのキー配置領域内にあると判定された場合、主制御部31はステップS25で、すでに内蔵されたタイマの計時が開始されているか否かを判定する。
ステップS25において内蔵されたタイマの計時がまだ開始されていないと判定された場合、主制御部31はステップS26で、内蔵されたタイマの計時を開始する。これにより、いずれか1つのキー配置領域内にどの程度の時間検出されていたかを計時することができる。
ステップS25においてすでに内蔵されたタイマの計時が開始されていると判定された場合、ステップS26の処理はスキップされる。その後、処理はステップS27に進む。
一方、ステップS24において静電パッド20の現在の検出位置がいずれか1つのキー配置領域内にはないと判定された場合、ステップS25乃至S26の処理はスキップされる。その後、処理はステップS27に進む。
ステップS31において静電パッド20で検出された各位置がすべていずれか1つのキー配置領域内にあると判定された場合、主制御部31はステップS32で、内蔵されたタイマを用いて、いずれか1つのキー配置領域内で計時開始時刻から予め設定された所定の時間以上検出されたか否かを判定する。
ステップS32においていずれか1つのキー配置領域内で計時開始時刻から予め設定された所定の時間以上検出されたと判定された場合、処理はステップS35に進み、ステップS35においてなぞり処理が実行される。
ステップS32においていずれか1つのキー配置領域内で所定の時間以上検出されていないと判定された場合、処理はステップS33に進み、ステップS33以降の処理が実行される。
これにより、いずれか1つのキー配置領域内において、予め設定された所定の時間以上連続して検出された場合、ユーザによりなぞり入力が行われたと認識し、なぞり入力処理を実行することができる。従って、ユーザは、いずれか1つのキー配置領域内において所定の時間以上連続して接触を行うことにより、細かい領域におけるポインタ制御することができる。その結果、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、キー入力であるか、なぞり入力であるか否かをより高精度に判定することができる。これにより、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性を向上させることができる。
なお、図4や図7のフローチャートを用いて説明した入力判定処理においては、携帯電話機1の所定の位置に予め設けられた静電パッド20の全体を用いてなぞり入力処理を実行するようにしたが、ユーザの好みや使い勝手に応じて、携帯電話機1の所定の位置に設けられた静電パッド20のうち、なぞり入力処理に用いられる領域である「なぞり領域」を予め設定し、なぞり領域であると判定された場合のみ、なぞり入力処理を実行するようにしてもよい。以下、この方法を用いた入力判定処理について説明する。
図8のフローチャートを参照して、図3の携帯電話機1における他の入力判定処理について説明する。なお、図8のステップS41乃至S47、およびステップS49乃至S52の処理は、図4のステップS1乃至S11の処理と同様であり、その説明は繰り返しになるので省略する。
例えばなぞり領域を設定する場合、図5の携帯電話機1に設けられた静電パッド20のうち、例えばY−Y´線よりも上方の領域をなぞり領域として設定する。
ステップS48において、主制御部31は、取得された位置情報に基づいて、予め設定されたなぞり領域であるか否かを判定する。
ステップS48において予め設定されたなぞり領域であると判定された場合、処理はステップS49に進み、ステップS49以降の処理が実行される。すなわち、静電パッド20で検出されたすべての位置がいずれか1つのキー配置領域内にあると判定された場合、ユーザによりなぞり入力が行われていないと認識され、なぞり入力処理が実行されず、静電パッド20で検出されたすべての位置がいずれか1つのキー配置領域内にはないと判定された場合(静電パッド20による検出位置が少なくとも2つ以上のキー配置領域にまたがっていると判定された場合)、ユーザによりなぞり入力が行われたと認識され、なぞり入力処理が実行される。
一方、ステップS48において予め設定されたなぞり領域ではないと判定された場合、主制御部31はステップS53で、なぞり入力処理を実行しない。
図8のフローチャートを用いて説明した入力判定処理においては、ユーザの好みや使い勝手に応じて、携帯電話機1の所定の位置に設けられた静電パッド20のうち、なぞり入力処理に用いられる領域である「なぞり領域」を予め設定し、なぞり領域であると判定された場合のみ、なぞり入力処理を実行するようにしたので、携帯電話機1におけるキー入力やなぞり入力の方法をユーザの好みに応じてカスタマイズすることができるとともに、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
なお、携帯電話機1に設けられた操作キー14のうち、予め特別な処理(例えば、ショートカット機能など)が対応付けられている操作キーに応じた静電パッド20の領域である特定静電パッド領域においては、なぞり入力処理は実行せず、キー入力処理のみを実行するようにしてもよい。以下、この方法を用いた入力判定処理について説明する。
図9のフローチャートを参照して、図3の携帯電話機1における他の入力判定処理について説明する。なお、図9のステップS61乃至63、およびステップS65乃至S72の処理は、図4のステップS1乃至11の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS64において、主制御部31は、取得された位置情報に基づいて、特定静電パッド領域であるか否かを判定する。ステップS64において特定静電パッド領域であると判定された場合、処理はステップS65に進み、ステップS65においてキー入力判定処理が実行される。これにより、特定タッチパッド領域においては、なぞり入力処理は実行せず、キー入力処理のみを実行することができる。
ステップS64において特定静電パッド領域ではないと判定された場合、処理はステップS67に進み、ステップS67以降の処理が繰り返される。
図9のフローチャートを用いて説明した入力判定処理においては、予め特別な処理(例えば、ショートカット機能など)が対応付けられている操作キーに応じた静電パッド20の領域である特定静電パッド領域においては、なぞり入力処理は実行せず、キー入力処理のみを実行するようにしたので、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、キー入力であるか、なぞり入力であるか否かを高精度により判定することができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
なお、ユーザが例えば「が」という文字を静電パッド20上においてなぞり入力し、携帯電話機1に文字認識処理を実行させている場合に、ユーザが「が」のうち「か」をなぞり入力した後、さらに濁点「゛」をなぞり入力するとき、濁点「゛」のなぞり入力中に静電パッド20により検出されたすべての位置がいずれか1つのキー配置領域内にあったとしても、なぞり入力処理を実行するようにしてもよい。以下、この方法を用いた入力判定処理について説明する。
図10のフローチャートは、図3の携帯電話機1における他の入力判定処理を示している。なお、図10のステップS81乃至S88、およびステップS91乃至S93の処理は、図4のステップS1乃至S11の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS88において静電パッド20で検出された各位置がすべていずれか1つのキー配置領域内にあると判定された場合、主制御部31はステップS89で、なぞり入力処理のうち、文字認識処理中であるか否かを判定する。
ステップS89においてなぞり入力処理のうち、文字認識処理中であると判定された場合、主制御部31はステップS90で、取得された位置情報に基づいて、文字認識処理により文字認識中の文字を完成させるためにユーザにより更なるなぞり入力が予測される、所定の操作キー14のキー配置領域であるか否かを判定する。例えば、文字認識処理により文字認識中の文字が「が」であり、ユーザが「が」のうち「か」をすでになぞり入力した場合、文字「が」を完成させるためにユーザにより行われる更なるなぞり入力は濁点「゛」のなぞり入力であると文字認識機能により予測され、濁点「゛」のなぞり入力が予測される領域に配置されている所定の操作キー14のキー配置領域(この所定の操作キー14のキー配置領域は、1つのキー配置領域だけでなく、2つ以上のキー配置領域であってもよい)であるか否かが判定される。
ステップS90において文字認識処理により文字認識中の文字を完成させるためにユーザにより更なるなぞり入力が予測される所定の操作キーのキー配置領域であると判定された場合、ユーザによりなぞり入力が行われたと認識され、処理はステップS93に進み、ステップS93においてなぞり入力処理が実行される。
これにより、なぞり入力処理のうち、文字認識処理の実行中に、静電パッド20で検出されたすべての位置がいずれか1つのキー配置領域内にあるようななぞり入力がユーザにより行われたとしても、ユーザによりなぞり入力が行われたと認識するとともに、なぞり入力処理を実行することができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、キー入力であるか、なぞり入力であるか否かをより高精度に判定することができる。その結果、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
ステップS90において文字認識処理により文字認識中の文字を完成させるためにユーザにより更なるなぞり入力が予測される所定の操作キーのキー配置領域ではないと判定された場合、処理はステップS91に進み、ステップS91以降の処理が繰り返される。
一方、ステップS89においてなぞり入力処理のうち、文字認識処理中ではないと判定された場合、ステップS90の処理はスキップされ、処理はステップS91に進み、ステップS91以降の処理が繰り返される。
ところで、静電パッド20を用いてなぞり入力する場合、ユーザは、文字認識が正確に行われるようにするために、予め文字辞書データベースに登録されている文字パターンに近い形で所望の文字パターンをなぞり入力する必要がある。しかし、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域で重ねられて配置された携帯電話機1では、表面上に操作キー14(キースイッチ)により形成される凹凸領域(例えば、図5の凹凸領域M)があり、ユーザが指などによりなぞり入力をしようとすると、指などが凹凸領域に引っかかってしまい、文字認識率が低下してしまう。また、凸凹領域の引っかかりにより、ポインタ操作時にも入力座標のズレが発生する。
そこで、静電パッド20で検出された場合、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域であるか否かを判定し、判定結果に応じてなぞり入力処理(特に文字認識処理)を実行するようにしてもよい。以下、この方法を用いたなぞり入力処理について説明する。
図11のフローチャートは、図3の携帯電話機1におけるなぞり入力処理を示している。このなぞり入力処理は、ユーザがなぞり入力を行う場合に、携帯電話機1に設けられた静電パッド20のいずれかの部分がユーザの指などの接近により、ユーザの指などに帯電している静電気による電位の変化を検出することで開始される。
ステップS101において静電パッド20は、ユーザの指などが近づき静電気による電位の変化が検出されたか否かを判定し、静電気による電位の変化が検出されたと判定するまで待機する。
ステップS101において静電気による電位の変化が検出されたと判定された場合、静電パッド20はステップS102で、静電気による電位の変化を検出したことを示す検出信号を生成し、生成された検出信号をメインバス41を介して主制御部31に供給する。この検出信号には、例えばユーザの指などの静電パッド20上における位置情報(X軸方向とY軸方向の座標情報)と、その位置における圧力情報が含まれる。
ステップS103において、主制御部31は、静電パッド20から供給された検出信号から、ユーザの指などの静電パッド20上における位置情報(X軸方向とY軸方向の座標情報)を逐次取得する。
ステップS104において、主制御部31は、取得された位置情報に基づいて、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域であるか否かを判定する。ステップS104において操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域であると判定された場合、主制御部31はステップS105で、取得された位置情報を廃棄する。すなわち、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域内において取得された位置情報を、なぞり入力処理のうちの文字認識処理において採用しない(用いない)。
ステップS104において操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域ではないと判定された場合(すなわち、操作キー14(キースイッチ)により形成される凹凸領域以外の平面領域に対応する座標領域であると判定された場合)、主制御部31はステップS106で、取得された位置情報を採用する(用いる)。すなわち、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域外において取得された位置情報を、なぞり入力処理のうちの文字認識処理において用いる。
ステップS107において、主制御部31は、取得された位置情報に基づいて、静電パッド20による検出が予め設定された所定の数以上の位置で検出されたか否かを判定する。すなわち、静電パッド20による検出が連続して行われ、予め設定された所定の数(例えば、5個など)以上の位置で検出されたか否かが判定される。
ステップS107において静電パッド20による検出が予め設定された所定の数以上の位置で検出されていないと判定された場合、主制御部31はステップS108で、予め設定された所定の時間(例えば、0.1秒などの位置情報を取得するサンプリング間隔)が経過したか否かを判定し、予め設定された所定の時間が経過したと判定するまで待機する。
ステップS108において予め設定された所定の時間が経過したと判定された場合、処理はステップS101に進み、ステップS101以降の処理が繰り返される。これにより、静電パッド20による検出がユーザにより連続して行われ、予め設定された所定の数(例えば、5個など)以上の位置で検出されるまで位置情報取得処理が行われる。
ステップS107において静電パッド20による検出が予め設定された所定の数以上の位置で検出されたと判定された場合、主制御部31はステップS109で、なぞり入力処理(文字認識処理)を実行する。
その後、処理はステップS101に進み、ステップS101以降の処理が繰り返される。
図11のフローチャートを用いて説明したなぞり入力処理においては、静電パッド20で静電気による電位の変化が検出された場合、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域であるか否かを判定し、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域である場合、取得された位置情報を廃棄し、操作キー14により形成される凹凸領域以外の平面領域に対応する座標領域である場合に取得された位置情報のみを用いて(採用して)なぞり入力処理(特に、文字認識処理)を実行するようにしたので、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性を低減することができるとともに、文字認識処理における認識率を向上させることができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性を向上させることができる。
なお、図11のフローチャートを用いて説明したなぞり入力処理においては、予め設定された所定の時間(例えば、0.1秒などの位置情報を取得するサンプリング間隔)ごとに、静電パッド20により検出された物体(例えばユーザの指など)の位置情報を取得するようにしたが、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域において取得された位置情報をなぞり入力処理において用いない(採用しない)ようにしているため、取得された位置情報に含まれる座標間隔が大きく開いてしまう場合も考えられる。そこで、予め設定された所定の時間が経過しなくても、操作キー14により形成される凹凸領域に対応する座標領域の直前で位置情報を取得するようにしてもよい。以下、この方法を用いたなぞり入力処理について説明する。
図12のフローチャートは、図3の携帯電話機1における他のなぞり入力処理を示している。なお、図12のステップS111乃至118、およびステップS120の処理は、図11のステップS101乃至S109の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS118において予め設定された所定の時間が経過していないと判定された場合、主制御部31はステップS119で、直前に取得された位置情報に基づいて、操作キー14により形成される凹凸領域に対応する座標領域の直前であるか否かを判定する。
ステップS119において操作キー14により形成される凹凸領域に対応する座標領域の直前であると判定された場合、処理はステップS118に戻り、その後、ステップS118以降の処理が繰り返される。
一方、ステップS119において操作キー14により形成される凹凸領域に対応する座標領域の直前であると判定された場合、処理はステップS111に戻り、その後、ステップS111以降の処理が繰り返され、新たな位置情報が取得される。
これにより、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域である場合、取得された位置情報を廃棄しつつ、取得された位置情報に含まれる座標間隔が大きく開き過ぎないようにすることができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、文字認識処理における認識率をより向上させることができる。その結果、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
なお、操作キー14(キースイッチ)により形成される凹凸領域以外においても、ユーザの指が引っかかってしまい、文字認識率が低下してしまう場合がある。一般に、ユーザの指が引っかかってしまうと、直近の2点間の傾きが大きく変化すると考えられることから、取得された位置情報に基づいて直近の2点間の傾きを算出し、予め設定された所定の基準値よりも大きいと判定された場合、取得された位置情報を廃棄するようにしてもよい。以下、この方法を用いたなぞり入力処理について説明する。
図13のフローチャートは、図3の携帯電話機1における他のなぞり入力処理を示している。なお、図13のステップS131乃至S133、ステップS135乃至S136、およびステップS139乃至S142の処理は、図11のステップS101乃至S109の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS134において、主制御部31は、取得された位置情報に基づいて、直近の2点間の傾きを算出する。
ステップS135において操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域ではないと判定された場合、主制御部31はステップS137で、記憶部47に記憶されている予め設定された所定の2点間の傾きに関する基準値を読み出す。ステップS138において、主制御部31は、読み出された予め設定された所定の2点間の傾きに関する基準値よりも、算出された直近の2点間の傾きが大きいか否かを判定する。
ステップS138において予め設定された所定の2点間の傾きに関する基準値よりも、算出された直近の2点間の傾きが大きいと判定された場合、処理はステップS136に進み、ステップS136において取得された位置情報が廃棄される。
ステップS138において予め設定された所定の2点間の傾きに関する基準値よりも、算出された直近の2点間の傾きが小さいと判定された場合、処理はステップS139に進み、その後、ステップS139以降の処理が繰り返される。
これにより、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域だけでなく、ユーザの指が引っかかってしまった場合、このときに取得された位置情報を正確に廃棄することができる。すなわち、実行されるなぞり入力処理において用いないようにすることができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、文字認識処理における認識率をより向上させることができる。その結果、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
なお、ユーザの指が引っかかってしまった場合、静電パッド20に対してのユーザの指による圧力が低下すると考えられることから、なぞり入力中に途切れ(短時間の非接触と接触)として誤検出することが考えられる。例えば文字認識処理の場合、1本線を途切れとして誤検出した場合、著しく文字認識率が低下する。そこで、静電パッド20からの検出信号から取得される圧力情報を用いて、予め設定された所定の割合以上に静電パッド20に対してのユーザの指による圧力が低下したとき、このときに途切れとして取得された位置情報を廃棄するようにし、1本線のなぞり入力として検出してもよい。以下、この方法を用いたなぞり入力処理について説明する。
図14のフローチャートは、図3の携帯電話機1における他のなぞり入力処理について説明する。なお、図14のステップS151乃至S152、ステップS154乃至S155、およびステップS158乃至S161の処理は、図11のステップS101乃至S109の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS153において、主制御部31は、主制御部31は、静電パッド20から供給された検出信号から、ユーザの指などの静電パッド20上における位置情報(X軸方向とY軸方向の座標情報)を逐次取得するとともに、その位置における圧力情報を取得する。
ステップS135において操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域ではないと判定された場合、主制御部31はステップS156で、記憶部47に記憶されている予め設定された、静電パッド20に対してのユーザの指による圧力の低下の割合に関する所定の基準値を読み出す。
ステップS157において、主制御部31は、取得された圧力情報に基づいて、読み出された予め設定された、静電パッド20に対してのユーザの指による圧力の低下の割合に関する所定の基準値以上で低下したか否かを判定する。
ステップS157において予め設定された静電パッド20に対してのユーザの指による圧力の低下の割合に関する所定の基準値以上で低下したと判定された場合、処理はステップS155に進み、ステップS155以降の処理が繰り返される。
一方、ステップS157において予め設定された静電パッド20に対してのユーザの指による圧力の低下の割合に関する所定の基準値(経過時間と圧力の変化率)以上で低下していないと判定された場合、処理はステップS158に進み、ステップS158以降の処理が繰り返される。
これにより、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域だけでなく、ユーザの指が引っかかってしまった場合、このときに取得された位置情報を正確に廃棄することができる。すなわち、実行されるなぞり入力処理において用いないようにすることができる。従って、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、文字認識処理における認識率をより向上させることができる。その結果、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
なお、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域通過後の所定の時間内に取得された位置情報を廃棄して、その後に実行されるなぞり入力処理に用いないようにしてもよい。
また、操作キー14(キースイッチ)により形成される凹凸領域に対応する座標領域において取得された位置情報と、操作キー14(キースイッチ)により形成される凹凸領域以外の平面領域に対応する座標領域において取得された位置情報に関し、前者を後者よりも重視するような重み付けを行い(例えば、前者を3とすると、後者を5とする重み付けを行い)、その重み付け係数を用いてなぞり入力処理(特に、文字認識処理など)を行うようにしてもよい。これにより、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作における不確実性をより低減することができるとともに、文字認識処理における認識率をより向上させることができる。その結果、キー入力が可能なキースイッチと、なぞり入力が可能な静電パッド20が同一領域に重ねて配置された場合の操作性をより向上させることができる。
なお、携帯電話機1の静電パッド20などにより検出されるユーザの指などを「物体」と定義する。
なお、本発明は、携帯電話機1以外にも、PDA(Personal Digital Assistant)、パーソナルコンピュータ、その他の情報処理装置にも適用することができる。
また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
1…携帯電話機、11…ヒンジ部、12…第1の筐体、13…第2の筐体、14…操作キー、15…マイクロフォン、16…サイドキー、17…液晶ディスプレイ、18…スピーカ、19a乃至19d…磁気センサ、20…静電パッド、21…CCDカメラ、22…サブディスプレイ、23…静電パッド、31…主制御部、32…電源回路、33…操作入力制御部、34…画像エンコーダ、35…カメラI/F部、36…LCD制御部、37…画像デコーダ、38…多重分離部、39…変復調回路部、40…音声コーデック、41…メインバス、42…同期バス、43…送受信回路部、44…アンテナ、45…記録再生部、46…メモリカード、47…記憶部、48…音楽制御部。