JP4879089B2 - 携帯端末装置 - Google Patents

Description

本発明は、携帯端末装置に関する。

現在携帯端末装置に対する入力方法としては、ボタンやキーによる操作が一般的である。しかしながら、携帯電話機をはじめとして、携帯端末装置は、小型化・薄型化の傾向にあることから、ボタンやキーを使っての入力操作はしにくくなってきており、操作者が携帯端末を持って所定の身振り手振りなどの動作を行い、その際に携帯端末装置に与えられる運動によって入力を行う入力方法が提案されている。

例えば、特許文献１では、携帯端末装置が運動認識手段（加速度検出手段、磁気方位検出手段、傾斜検出手段）を備え、運動による入力を可能とする。地磁気に対する絶対方位を利用し、携帯端末装置になされる運動を３次元的に、詳細に認識することで、携帯端末装置の入力・操作を可能にしている。

特開２００５−２９２８９３号公報

上記従来の技術では、携帯端末装置に対して与えられる運動を３次元で認識し、携帯端末装置の入力、操作に対応付けるという一連の動作でしか用いることが出来ない点が課題である。一連の動作でしか用いることができない場合、次のような問題が発生する。
・所定の運動パターンによってセキュリティロック操作を行なう場合には、そのような所定の運動パターンを携帯端末装置に与える際の身振り手振り（ジェスチャ）を第三者に見られることにより、セキュリティロックに関する情報が容易に第三者に知られてしまう。
・携帯端末装置に対して与えられる運動は全て認識され、入力・操作という一連の処理が行われることから、本来、認識・入力を意図しないジェスチャによって与えられる運動に対してまで一連の処理が行われるという無駄な処理が発生していた。

本発明は、上記問題を解決の為になされたものであり、自由度のある、運動による入力手段を有する携帯端末装置を提供することを目的とする。

本発明の携帯端末装置は、与えられた運動を検出する検出手段と、検出された運動のパターンに応じて入力操作を行う制御手段と、前記検出手段における運動の検出と非検出とを切り替える、又は、前記検出手段によって検出された運動の有効と無効とを切り替える切替手段とを備えることを特徴とする。このようにすれば、特定の操作を受けた、あるいは受けている間、携帯端末装置の運動の検出および入力操作を止める（あるいは検出／入力する）ことができ、入力操作に関係ない運動を携帯端末装置に与えるフェイクのジェスチャを入れることが可能になる。

前記切替手段は、該携帯端末装置の所定の運動の検出に応じて切り替えを行うようにしてもよい。このようにすれば、新たに切り替え用のボタンやスイッチなどを設けなくてもすむ。

前記切替手段による切り替えが行われたとき、又は、所定の状態に切り替わっている間、その旨を通知する通知手段をさらに備えてもよい。このようにすれば、操作者が、運動による入力が有効な期間を明確に知ることができる。

所定の運動パターンに対応する入力操作に対する結果を通知する通知手段をさらに備えてもよい。このようにすれば、運動入力による入力操作をセキュリティロック等に用いる場合、認証結果を操作者に知らせることができる。

運動の非検出期間又は検出された運動の無効期間の前後の運動を連続した運動として認識するようにしてもよい。このようにすれば、特にセキュリティロック操作に適用した場合など、第三者に運動による入力操作のためのジェスチャを知られる危険性をさらに減らすことができる。

本発明によれば、自由度のある、運動による入力手段を有する携帯端末装置を実現することができる。

以下、図面を参照して本発明の携帯端末装置の実施の形態について詳細に説明する。以下に説明する例においては、携帯端末装置として携帯電話を想定している。本発明の携帯端末装置では、携帯端末装置を把持した操作者のジェスチャ等によって、水平運動、回転運動等の、携帯端末装置の空間的な位置が変化する運動を与えること（運動入力）により入力操作（携帯端末装置の操作やデータ入力等を含む）を行うことができる。

図１は、本発明の携帯端末装置の構成の一例を示す機能ブロック図である。本携帯端末装置は、計測手段１と、計測データ記憶手段２と、モード切替手段３と、モード切替検出手段４と、運動パターン検出手段５と、運動パターン比較手段６と、運動パターン記憶手段７と、運動パターン種別判別手段８と、制御手段９と、通信手段１０と、通知手段１１とを備える。

計測手段１は、携帯端末装置自体の運動をリアルタイムに計測する。計測手段１は、併せて時間の計測も行う。

計測にあたっては、例えば加速度センサによる計測データは、Ｘ軸、Ｙ軸、Ｚ軸の３軸の加速度と、時間情報とにより形成され、移動方向、傾斜角度などを算出する。計測手段は加速度センサに限ったものではなく、ジャイロスコープなどでもよく、あるいは複数の計測センサがあってもよい。

計測データ記憶手段２は、計測手段１での計測データを記憶する。計測データは、時間情報も含む。

モード切替手段３は、計測手段１における運動の検出／非検出、又は、検出された運動の有効／無効を切り替える。ここで、計測手段１において運動を検出する、又は、検出された運動を有効とする場合を有効モード、計測手段１において運動を検出しない、又は、検出された運動を無効とする場合を無効モードとする。携帯端末装置にボタンやスイッチを設け、その操作により切り替えを行うようにしてもよい。携帯端末装置のロックやパスワード入力にジェスチャによる入力を行った時、周囲にいる第三者にジェスチャを読み取られないようにする為、モード切替手段は、第三者から操作していることが分かりにくく、かつジェスチャを実行すると同時に操作でき、モード切り替えを行うことができるという条件を満たす必要がある。

モード切替検出手段４では、モード切替手段３により入力された有効モード／無効モードを検出し、運動パターン検出手段５へ結果を渡す。

運動パターン検出手段５では、計測手段１により入力された計測データを処理し、携帯端末装置の運動との対応を関連付ける。また、有効モード／無効モードにより運動検出や認識の処理の実行を制御する。

運動パターン比較手段６は、運動パターン検出手段５で検出した運動のパターンと、運動パターン記憶手段７に記憶されている運動パターンとの比較を行う。

運動パターン記憶手段７は、運動パターンを記憶したデータベースであり、運動パターンと携帯端末装置への入力操作との対応情報も保存される。入力操作を行うための運動パターンは、予め運動パターン記憶手段７に記憶されていなければならない。このように記録手段７に記憶されている運動パターンを登録運動パターンと呼ぶ。

運動パターン種類判別手段８は、運動パターンが入力操作に対応した運動パターンか、モード切り替えに対応する運動パターン（後述）かを判別する手段である。

制御手段９は、携帯端末装置全体の制御を司る。ここで運動パターンを用いて入力されたデータも処理される。運動パターン種類判別手段８で携帯端末装置への入力操作に対応する運動パターンと判別された場合、この運動パターンに対応付けられた携帯端末装置への入力操作を実行する。
通信手段１０は、無線通信の送受信を制御する。
通知手段１１は、モード切り替えの際や、所定のモードにある間、所定の入力操作に対する応答時等に、振動や音等を発生するものであり、例えば、携帯端末装置に従来備わるバイブレータやスピーカ等であってもよい。

モード切替手段の動作については次の通りである。モード切替手段として携帯端末装置に設けたボタンを用いる場合、第１の方法は、ボタンを押す度にモードが切り替わる方法である。ボタンを一度押すと有効モードがオンとなり、運動検出が開始される。もう一度押すと有効モードがオフとなり（無効モードになり）、運動検出を終了する。これは一つのボタンで行うのではなく、有効モード用ボタンと無効モード用ボタンの二つを設けてもよい。第２の方法は、ボタンが押されている間は有効モードとする方法である。ボタンを押し続けている間は有効モードがオンとされるので、運動入力時には、操作者はボタンを押しながらジェスチャを行う。

図２は、本発明の携帯端末装置の運動入力による入力操作における動作の一例を説明するフローチャートである。ステップＳ１０１において、運動入力により入力操作を行うためのプログラムが開始される。ステップＳ１０２において、モード切替手段３におけるボタンなどの切替スイッチの状態から、有効モードであるか無効モードであるかを判定する。有効モードの場合、ステップＳ１０３に進み、無効モードの場合、ステップＳ１０４に進む。ステップＳ１０４で、モード切替手段３によって無効モードから有効モードに切り替えられたかどうかを判定する。切り替えられた場合、ステップＳ１０３に進み、切り替えられない場合、ステップＳ１０２に戻る。

ステップＳ１０３において、計測手段１によって、携帯端末装置の運動を計測する。続いてステップＳ１０５において、計測データを計測データ記憶手段２に記憶する。ステップＳ１０６において、運動パターン検出手段５によって、計測データ記憶手段２に記憶してある計測データから運動パターンの検出を行う。次にステップＳ１０７において、運動パターン比較手段６よって、検出した運動パターンと、運動パターン記憶手段７に記憶された登録運動パターンとを比較し、ステップＳ１０８において、これらが一致するかどうかを判定する。ここで運動パターンが一致した場合は、ステップＳ１０９において、運動パターン種類判別手段８及び制御手段９を経て所定の入力操作が実行され、ステップＳ１１０において、運動入力動作を終了する。ステップＳ１０８において、運動パターンが一致しない場合、ステップＳ１０２に戻る。

この例では、有効モード時のみ加速度等の運動計測及び運動パターン検出を行い、無効モード時には運動計測及び運動パターン検出を行わない処理を記載したが、無効モード時にも運動計測、あるいは運動パターン検出まで行うものの、その後の処理（記憶されている運動パターンとの比較、入力操作等）を実行しないようにしてもよい。

また、この例では、運動パターンの検出は、有効モードへの切り替え操作がなされてから、無効モードへの切り替え操作がなされるまで、あるいは有効モード継続中の操作がなされている間の一続きの運動を運動パターンとして検出しているが、次のように有効モードであるか無効モードであるかを問わず、すべての運動を計測した後、まとめて処理して運動パターンを検出するようにしてもよい。

モードの切り替えに加えて、運動入力開始と運動入力終了を通知する手段を有する場合には、運動入力開始から運動入力終了までの携帯端末装置の運動を全て計測記録し、運動入力終了と共に、運動の検知以降の処理を実行してもよい。図３は、その場合の例を説明する模式図である。運動入力の有効モードと無効モードをそれぞれ１と０で示したデータを時間情報と共に記録し、マスク用のマスクデータとする。計測データの解析時にこのマスクデータでマスクして無効モード時の計測データを除き、有効モード時の計測データのみを取り出す。

図３では「無効→有効→無効→有効→無効」とモードが切り替わっているので、計測データに対し、時間情報と共にこのマスクデータ「０」「１」「０」「１」「０」でマスクをかける。結果として得られる有効モード時の計測データに対してのみ処理を行う。その結果、無効部分（斜線部分）が削除され、２つの有効モード時の計測データのみが残る。この有効データを登録運動パターンと比較する。図３の例では、それぞれパターンＡとパターンＢと一致した。

また、このように複数の運動パターンがある場合には、パターンＡとパターンＢと別々の入力操作に対応し、パターンＡの入力操作を行った後に、パターンＢの入力操作を行うといったように順に実行するだけでなく、パターンＡとパターンＢを合わせてパターンＣの入力操作を行うというように、組み合わせて利用してもよい。これをセキュリティロックに利用すると、組合せにより、より強固なセキュリティとすることができる。

無効モード時の情報を削除せずに使ってもよい。無効モード時の情報としては、パターンとパターンの間に無効モードが入ったかどうかという情報や、無効モード期間の時間情報がある。無効モード期間の時間情報を使った場合、例えば、図３にあるように「無効時間３秒＋パターンＡ＋無効時間２秒＋パターンＢ＋無効時間３秒」というパターンや、「無効時間３秒＋運動＋無効時間２秒＋運動＋無効時間３秒」のように、無効時間情報と運動パターンとを組み合わせて認識することが考えられる。

計測手段１によって計測したデータの処理について述べる。計測手段として加速度センサと電子コンパスを用いた場合に取得した例を示す。Ｘ、Ｙ、Ｚの３軸のデータと、ロール、ピッチ、ヨーのデータを得ることができる。図４は、計測結果から作成したグラフと時間軸で見た場合の動きを示した図である。

パターンＡは、携帯端末装置を左右に振った時に得られた加速度センサ及び電子コンパスの計測結果である。パターンＢは、携帯端末装置を一回転させた時に得られた計測結果である。これらの結果を用いて運動パターンを作成する。登録運動パターンをテンプレートデータとし、計測データとの類似性を測りマッチングを行う。

運動入力の有効モード／無効モードを切り替える手段として、ボタンやスイッチなどの操作ではなく、モードを切り替える運動パターンを設ける方法について説明する。予めモード切り替えの為の運動パターンを登録する。これをモード切替運動パターンと呼ぶ。モード切替運動パターンとして、有効モード開始を示す有効モード開始運動パターンと、有効モード終了を示す有効モード終了運動パターンとを登録する。有効モード開始はすなわち無効モード終了を意味し、有効モード終了は無効モード開始を意味する。運動入力を行う際には、操作者は、有効モード開始運動パターンを入力するジェスチャをし、入力操作を行うための入力操作運動パターンを入力するジェスチャをし、最後に有効モード終了運動パターンに対応するジェスチャを行う。あるいは、有効モード開始運動パターン、有効モード終了運動パターンの２つを用いずに、モード切替運動パターンを１つのみ登録とし、モード切替運動パターンを入力すると有効モード／無効モードが切り替わるようにしてもよい。

このようにモード切替運動パターンを使用する際には、他の運動パターンと区別する必要がある。この場合、登録されている運動パターンには２種類ある。一つは入力操作と関連付けられた入力操作運動パターン、もう一つは有効モード／無効モードの切り替え操作と関連付けられたモード切替運動パターンである。運動パターン種類判断手段８によって、これら２種類の運動パターンの判別を行う。

このようにすれば、新たにボタンやスイッチを設けることなく、ジェスチャのみで有効モード／無効モードの切り替えを行うことができるようになる。図５は、モード切り替えにこのようなモード切替運動パターン入力を用いる場合の運動入力の動作の一例を説明するフローチャートである。ステップＳ２０１において運動入力のためのプログラムの実行が開始される。ステップＳ２０２において、計測手段１によって携帯端末装置の運動が計測される。ステップＳ２０３において、計測データを計測データ記憶手段２に記憶する。ステップＳ２０４において、運動パターン検出手段５によって、計測データ記憶手段２に記憶してある計測データから運動パターンの検出を行う。

次にステップＳ２０５において、運動パターン比較手段６によって、検出した運動パターンと、運動パターン記憶手段７に記憶されたすべての登録運動パターン（入力操作運動パターン及びモード切替運動パターン）とを比較する。まず、ステップＳ２０６において、入力操作運動パターンと一致するかどうかを判定する。入力操作運動パターンと一致した場合、ステップＳ２０７において、有効モードであるかどうかを判定する。有効モードである場合には、ステップＳ２０８において、一致した運動パターンに対応する入力操作を実行する。有効モードでない場合には、ステップＳ２０２に戻る。

ステップＳ２０６で入力操作運動パターンと一致しなかった場合、ステップＳ２１０において、モード切替運動パターンと一致するかどうかを判定する。モード切替運動パターンと一致した場合、ステップＳ２１１においてモード切り替えを行い、ステップＳ２０２に戻る。入力操作運動パターンともモード切替運動パターンとも一致しない場合、何もせずステップＳ２０２に戻る。

ここまで述べたように、本発明の携帯端末装置は、ボタンが押される、スイッチが入る、モード切替運動パターンが入力されるなどの運動入力の有効モード／無効モードの切り替えを行うが、その際には、携帯端末装置が備えるバイブレータを振動させたり、スピーカから音を発生させるなどの手段を用いて、操作者に運動入力の有効モード／無効モードの切り替えが行われたことを知らせるようにしてもよい。

セキュリティロックに使用する場合など、運動入力のためのジェスチャを第三者に悟られないようにしたい場合、モード切り替えが行われたことも操作者だけに知らせたい。そこで、イヤホン装着の有無を判断して音を発生させてもよい。使用環境が許せば、画面に表示したりライトを点灯させたりといった方法でも構わない。振動時間についてもモード切り替え時のみでなく、有効モード期間中又は無効モード期間中振動を継続してもよい。

また、本発明の方式をセキュリティロックに用いた場合には、認証結果を知らせる手段を備えてもよい。例えば、携帯端末装置のキー操作ロックをかける場合、所定の運動パターンを入力してロックをかける操作をした時、運動パターンが正しく認識され認証がＯＫとなると、その結果を振動のような入力者のみが分かる方法で知らせることで正しく認証されたことが分かる。

また、携帯端末装置の通信機能を用いた場合にも運動入力による入力操作を利用できる。例えば、携帯端末装置から認証の必要なウェブページにアクセスする場合、運動入力によって、認証に必要な情報を入力することができる。携帯端末装置から入力しにくいパスワード入力などの処理を簡単に安全に行うことができる。認証結果を振動のような操作者のみが分かる方法で通知されれば、画面を見ずに操作を行うことも可能となる。

また、認証が要求される場面になったら、振動など所有者のみわかりうる方法で知らせ、振動の持続中に行った運動入力を有効とするようにしてもよい。

上述したように、本発明の携帯端末装置は、操作者が携帯端末装置を把持してジェスチャを行うなどして行った運動入力が有効となる有効モードと、無効となる無効モードとを切り替える切替手段を有する。これにより、以下の効果が得られる。
・たとえジェスチャを見られてもセキュリティロック操作に相当する部分が分りにくい為、簡単な操作で高いセキュリティを確保できる。
・フェイクのジェスチャと正しいジェスチャとを複数組合せることが可能となり、セキュリティを高めることができる。
・ボタン等によるモード切り替えにより、運動入力を有効部分と無効部分に切り分けられるため、認識不要のジェスチャについては認識処理を省くことができ、処理能力の向上が図れる。

本発明は、携帯端末装置における入力操作に利用可能である。

本発明の携帯端末装置の構成の一例を示すブロック図である。 本発明の携帯端末装置の運動入力による入力操作における動作の一例を説明するフローチャートである。 計測データから有効な運動を抽出する方法を説明する模式図である。 所定の運動の計測結果から作成したグラフと時間軸で見た場合の動きを示した図である。 本発明の携帯端末装置の運動入力による入力操作における動作の他の例を説明するフローチャートである。

符号の説明

１ 計測手段
２ 計測データ記憶手段
３ モード切替手段
４ モード切替検出手段
５ 運動パターン検出手段
６ 運動パターン比較手段
７ 運動パターン記憶手段
８ 運動パターン種類判断手段
９ 制御手段
１０ 通信手段
１１ 通知手段

Claims (10)

1. 携帯端末装置であって、
   前記携帯端末装置の運動を検出する検出手段と、
   前記運動のパターンに応じて入力操作を行う制御手段と、
   前記検出手段と異なる入力手段による入力に応じて、前記検出手段における運動の検出と非検出とを切り替える、又は、前記検出手段によって検出された運動の有効と無効とを切り替える切替手段とを備え、
   前記入力操作により、前記携帯端末装置にデータが入力される、前記携帯端末装置がロックされる、又は前記携帯端末装置へパスワードが入力されることを特徴とする携帯端末装置。
2. 前記入力手段は前記検出手段と同一の装置に設けられたことを特徴とする請求項１記載の携帯端末装置。
3. 前記切替手段による切り替えが行われたとき、又は、所定の状態に切り替わっている間の少なくとも一方で、その旨を通知する通知手段を備え、
   前記通知手段は、前記検出手段と同一の装置に設けられたことを特徴とする請求項１又は２に記載の携帯端末装置。
4. 所定の運動パターンに応じた入力操作に対する結果を通知する通知手段を備え、前記通知手段は、前記検出手段と同一の装置に設けられたことを特徴とする請求項１又は２に記載の携帯端末装置。
5. 運動の非検出期間又は検出された運動の無効期間の前後の運動を連続した運動として認識することを特徴とする請求項１乃至４のいずれか１項に記載の携帯端末装置。
6. 運動の非検出期間又は検出された運動の無効期間の時間を測定し、前後の有効期間の運動と組み合わせて一連の運動パターンとして認識することを特徴とする請求項１乃至４のいずれか１項に記載の携帯端末装置。
7. 与えられた運動を検出する検出手段と、
   検出された運動のパターンに応じて入力操作を行う制御手段と、
   前記検出手段における運動の検出と非検出とを切り替える、又は、前記検出手段によって検出された運動の有効と無効とを切り替える切替手段とを備え、
   運動の非検出期間又は検出された運動の無効期間の前後の運動を連続した運動として認識することを特徴とする携帯端末装置。
8. 与えられた運動を検出する検出手段と、
   検出された運動のパターンに応じて入力操作を行う制御手段と、
   前記検出手段における運動の検出と非検出とを切り替える、又は、前記検出手段によって検出された運動の有効と無効とを切り替える切替手段とを備え、
   運動の非検出期間又は検出された運動の無効期間の時間を測定し、前後の有効期間の運動と組み合わせて一連の運動パターンとして認識することを特徴とする携帯端末装置。
9. 携帯端末装置における入力操作方法であって、
   前記携帯端末装置の運動を検出手段により検出する検出ステップと、
   前記運動のパターンに応じて入力操作を行う制御ステップと、
   前記検出手段と異なる入力手段による入力に応じて、前記検出手段における運動の検出と非検出とを切り替える、又は、前記検出ステップによって検出された運動の有効と無効とを切り替える切替ステップとを含み、
   前記入力操作により、前記携帯端末装置にデータが入力される、前記携帯端末装置がロックされる、又は前記携帯端末装置へパスワードが入力されることを特徴とする入力操作方法。
10. 請求項９に記載の入力操作方法をコンピュータに実行させるためのプログラム。

Images