JP5080409B2 - 情報端末装置 - Google Patents

Description

本発明は、情報を表示する情報端末装置に関し、特に、キーパッド操作および撮影部と撮影対象との間の空間的位置関係を変化させることによって表示部に表示される情報の選択を容易に行うことができる情報端末装置に関する。

超高齢化社会と情報化社会を迎え、高齢者はその好むと好まざるとに係わらず様々な情報端末（券売機、ＡＴＭ等）と付き合わざるを得ない状況になってきている。今後ますますその傾向が強まると考えられることから、高齢者が無理なく使いこなせる操作インタフェースを提供することが喫緊の課題となっている。
特に、携帯型情報端末装置において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。その一方、処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。
このような状況下においては、情報端末装置の操作に不慣れな高齢者だけでなく、ゲーム専用機のコントローラに慣れた若年者にとっても、情報端末装置のキーパッドに代わるインタフェースの提案が期待されていた。

情報端末装置における操作を簡単にして情報を入力したり、情報端末装置の表示部に情報を表示させる技術については、種々の手法が提案されている。
例えば、特許文献１には、地図データ提供装置において、画面上に仮想的なキーを装備し、ユーザによるキー操作に応じて画面上に表示される地図の表示領域や縮尺を変化させる技術が開示されている。

特許文献２には、テンキーの使用方法に関して、テンキーを用いてディスプレイに表示させるデータ範囲をスクロールさせる操作方法が開示されている。

特許文献３には、携帯電話機において、撮影部が異なるタイミングで撮影した複数の画像を解析して携帯電話機の向きの変化すなわち表示部（撮影部）の方向の変化を算出し、算出した表示部の方向の変化を表示制御装置（サーバ）に送信し、表示制御装置では、携帯電話機から送信された表示部の方向の変化に基づいて、表示すべき表示画像を選択して携帯電話機に送信し、携帯電話機では表示制御装置から送信された表示画像に更新することにより、表示部の方向によって表示している画像を切り換える画像表示システムが記載されている。

特許文献４には、表示部近傍に３軸加速度センサなどのセンサを内蔵させ、機器本体を持って表示部がその表示画面に対して垂直方向および水平方向へ移動されたときの移動量を検出し、垂直方向への移動量に応じて情報表示サイズを動的に変更させ、水平方向への移動量に応じて情報表示範囲を動的に変更するようにした電子機器が記載されている。

特許文献５には、携帯端末装置に加速度センサを備えることで、手書き文字を認識し表示させる装置が記載されている。

特許文献６には、情報表示装置において加速度センサ等の付加的な装置を搭載することなく、撮影部から入力された画像に対して、連続する画像から複数の局所的な動きを推定し、局所的動き情報を統合した大域的な動きに応じて、表示範囲を変化させる技術が開示されている。

特許文献７には、携帯端末装置において、前景の人物が影になるような逆光の環境下で、人物の位置を推定することで、画面内のカーソルの座標を変化させる技術が開示されている。

特許文献８には、携帯電話に搭載されたカメラにより本体の傾きを検出することで、文字入力を行う技術が開示されている。

特許文献９には、携帯端末装置に内蔵するカメラにより、眼球の動きの回数を検出し、その回数により携帯端末装置に対する操作を行う技術が開示されている。

特許文献１０には、携帯端末装置に内蔵するカメラにより、口唇の形状や動きを検出して文字の入力を行う技術が開示されている。
特開２００２−２７７２７７号 特開２００３−６７１２０号 特開２００５−１２２１００号 特開２００５−２５１７０号 特開２００７−１９４９５８号 特開２００７−９４７０８号 特開２００４−１２０５１４号 特開２００８−９７２２０号 特開２００７−３１０８１５号 特開２００７−８７２９１号

上述した特許文献１及び特許文献２によれば、所望の表示領域に至るまでのキー操作が煩雑であるだけでなく、小さなキーを正しく押下する必要があるため操作性に難があるという問題点がある。

特許文献３によれば、利用者の動作の度にサーバへの通信が発生するためコストが増大するだけでなく、レスポンスが遅くなるという問題点がある。

特許文献４及び特許文献５によれば、直感的かつ容易な操作で表示範囲の変更が実現可能であるが、高価な３軸加速度センサを組み込まなければならないだけでなく、センサの追加に伴う消費電力が増加するという問題点がある。

特許文献６乃至特許文献１０によれば、特別なセンサを必要とせずに、携帯電話に搭載される一般的なカメラだけを用いて直感的な操作を実現できる。ただし、操作性は動き推定や位置推定の精度に依存する。特許文献６では速すぎる動きや大きすぎる動きには正しく動作しない虞があるため、慎重で細やかな操作が求められる。

特許文献７によれば、逆光環境下でしか使用できないという問題点がある。また、自由度が高すぎるため必ずしも正確な操作がしやすいとは限らない。特許文献８では、利用者の顔部画像に基づいて表示部を見ているか否かを認識することで傾き誤検出を防止するため複雑な処理が必要であり、顔検出における検出精度や処理速度が課題になる。また、入力文字種を切り替えるだけで文字入力には従前通りキー入力が必要である。

特許文献９及び特許文献１０によれば、眼球や口唇を忙しなく動かす必要があるため、入力方法として利用できる状況やユーザが限定されるという問題点がある。

本発明は上記実情に鑑みて提案されたもので、付加的なハードウェアを搭載することなく、情報端末装置に対する空間的な動作とキーパッド操作の連携によって、情報端末装置の表示部に表示される情報を制御できる装置を提供することを目的とする。

上記目的を達成するため請求項１の発明は、情報を表示する表示部を有する情報端末装置であって、次の各構成を含むことを特徴としている。
前記表示部に表示する情報を記憶するメモリ。
前記情報端末装置の空間的位置関係の変化を推定する推定部。情報端末装置の空間的位置関係の変化は、カメラ認識や加速度センサにより検出する。
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部。
前記表示部における情報の表示を操作するキーパッド部。
一定間隔で画像を入力する撮影部。
そして、前記推定部は、前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する一方、前記撮影部により入力された画像から検出された特徴量を用いて、前記撮影部と撮影対象との間の空間的位置関係の変化を方向別に推定する機能を備える。
また、前記推定部は、前記キーパッド部から入力されたキーの状態に応じて、前記撮影部から入力された画像から検出された特徴量を選別することで、選別された特徴量のみによって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えている。
例えば、キーパッド部の特定のキーを押下することで、表示部内におけるカーソル位置の移動範囲が横方向のみ又は縦方向のみとすることで検出される特徴量を制限するように構成する。

請求項２は、請求項１の情報端末装置において、前記表示部は、選択可能な情報及び情報選択のためのカーソルを表示する一方、前記キーパッド部は、押下と解放を検知することで前記カーソルの離散的な動きを指定する複数の操作キーを備えて成ることを特徴としている。

請求項３は、請求項１の情報端末装置において、前記推定部は、前記キーパッド部の操作状況に応じて、前記推定部の特徴量算出における認識方向の切替を制御する機能を備えて成ることを特徴としている。
例えば、キーパッド部の特定のキーを押下することで、水平方向のみの特徴量を算出し、キーの押下が解放された段階で水平及び垂直方向の特徴量を算出するように構成する。

請求項４は、請求項１の情報端末装置において、前記推定部は、方向別の特徴量毎に平均値を算出し、予め設定した閾値との大小関係から前記撮影部と撮影対象との間の空間的位置関係の変化の有無を判断する機能を備えて成り、前記閾値は前記キーパッド部により複数の値を設定可能としたことを特徴としている。

請求項５は、請求項１の情報端末装置において、前記推定部は、時間的に異なる複数画像から方向別に算出した各特徴量の極値の座標における二乗誤差和が最小になる移動量をもって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えて成ることを特徴としている。

請求項６は、請求項１の情報端末装置において、前記制御部は、前記推定部で検出された空間的な動作とキーパッド部で入力されたキー情報との組み合わせに応じて、前記表示部に表示される内容が異なるように制御する機能を備えて成ることを特徴としている。
例えば、表示部において地図を表示する場合に、キーパッド部の特定のキー押下がない状態では、推定部で得られた動きに応じて地図の座標を連続的に移動させ、キー押下がある状態では、推定部で得られた動きに応じてカーソルが地図上のランドマークだけを指すように離散的に移動させるようにする。

請求項７は、選択可能な情報及び情報選択のためのカーソルを表示する表示部と、前記情報の情報選択を行うための操作キーとを有する情報端末装置であって、次の各構成を含む。
前記操作キーは複数設けられ、各操作キーの押下と解放を検知することで前記カーソルの移動範囲を指定するキーパッド部。
一定間隔で画像を入力する撮影部。
前記表示部に表示する情報を記憶するメモリ。
前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する推定部。
前記メモリから読み出して前記表示部に表示する情報における前記カーソルの位置を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部。
そして、前記表示部に表示される情報は複数行又は複数列から成る文字行列であり、
前記キーパッド部で指定されたカーソルの移動範囲が前記文字行列の内の一行又は一列であることを特徴としている。

本発明によれば、情報端末装置を動かすことによる空間的位置関係の変化（例えば、撮影部に対する空間的な動作）とキーパッド操作を連携させることにより、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、ユーザは情報端末装置の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。
したがって、情報端末装置の利用者は、情報端末装置の動き及びキー操作に対応づけられた表示部でのカーソル位置の移動について、直感的に行うことが可能となる。

また、撮影部に対する空間的な動作に加えて、キーパッド操作を連携させることにより、空間的な相対的位置関係を推定する場合の処理の簡略化を図ることができる。

情報端末装置の表示部で表示される情報の制御は、撮影部に入力された画像を解析することにより推定される撮影部と撮影対象との間の空間的位置関係の変化を元に行うのでソフトウエアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。

以下、本発明の情報端末装置の一実施形態について、図面を参照しながら説明する。
図１は本発明の情報端末装置の第１の実施形態を示す機能ブロック図である。図２は情報端末装置の外観図であり、通常の携帯電話の外観を有して構成されている。

情報端末装置１は、図１及び図２に示すように、画像を取り込む撮影部１１と、情報入力のためのキーパッド部１２と、撮影部１１からの画像信号とキーパッド部１２からの情報により情報端末装置１の動きを推定する推定部１３と、文字情報や地図情報等の情報を表示するための表示部１４と、表示部１４に表示させるための情報を記録するメモリ１５と、キーパッド部１２・推定部１３・メモリ１５からの信号を受けて表示部１４に表示する情報の制御を行う制御部１６を備えている。

撮影部１１は、情報端末装置１に内蔵されたカメラで構成され、一定間隔で任意の画像を入力し、入力画像を推定部１３に出力するようになっている。撮影部１１は情報端末装置内に備えられているので、利用者が情報端末装置１を撮影部１１の撮影面に対して垂直方向や水平方向などに移動させると、撮影部１１と撮影対象との間の空間的位置関係が移動に応じて同じように変化することになる。
したがって、例えば、入力文字行列や地図が表示部１４に表示されている場合に、表示されている文字や地図の表示位置について、表示部内に表示される画像のスクロール移動に際して、又は、表示部内に表示されたカーソル位置を移動するに際して、利用者が情報端末装置を撮影部の撮影面に対して垂直方向や水平方向などに移動させると、撮影部と撮影対象との間の空間的位置関係に応じて画像がスクロール移動、又は、画像内のカーソル位置が移動するよう構成されている。

キーパッド部１２は、テンキー、十字キー、その他のキーを備えて構成され、他の処理部と並列に動作し、複数のキー毎にユーザによる押下と解放を独立して検出するようになっている。キーパッド部１２におけるキーの種類とキーの状態とから判断されるキー情報は、推定部１３及び制御部１６へ出力され、この情報に基づいて表示部１４における情報の表示を操作する。例えば、複数キーの押下と解放を検知することで表示部１４に表示されるカーソルの離散的な動きを指定する。

推定部１３は、特徴量抽出手段１３１と動き推定手段１３２を有し、撮影部１１により入力された画像を解析して撮影部１１と撮影対象との間の空間的位置関係の変化を推定する。この推定の手法については後述する。

メモリ１５上には表示部１４で表示する表示情報が予め展開されている。
制御部１６は、推定部１３で推定された撮影部１１と撮影対象との間の空間的位置関係の変化およびキーパッド部１２で入力されたキー情報に応じてメモリ上の該当する情報を読み出し、表示部１４に送る。
表示部１４は、制御部１６から送出されてきた表示情報を表示する。

また、制御部１６は、推定部１３による動きの推定結果とキーパッド部１２の２系統から同時に入力を受け付けることで、動き推定手段１３１で推定された動きに対して、ユーザによって押下されたキーの種類毎に異なる動作を割り付ける。したがって、同一の動き推定結果であってもキー入力との組み合わせによって異なる制御を適用する。

例えば、動き推定手段１３１で推定される動きと、ユーザによって押下されたキーパッド部１２のキー操作との組み合わせは、次のようなものが考えられる。
（１）キーパッド部の特定のキー押下がない状態では、推定部で得られた動きに応じて表示部内のカーソル位置を連続的に移動させ、キー押下でカーソル位置を選択する。
（２）キーパッド部の特定のキーを押下することで、表示部内におけるカーソル位置の移動範囲が横方向のみ又は縦方向のみとすることで検出される特徴量を制限し、キー解放でカーソル位置を選択する。
（３）キーパッド部の特定のキーを押下することで、水平方向のみの特徴量を算出し、キーの押下が解放された段階で水平及び垂直方向の特徴量を算出するように構成する。
（４）キーパッド部の特定のキー押下がない状態では、推定部で得られた動きに応じて表示部内の座標を連続的に移動させ、キー押下がある状態では、推定部で得られた動きに応じてカーソルが予め設定された部位だけを指すように離散的に移動させる。
（５）キーパッド部の複数のキーの一つを押下することで、表示部に表示されて各キーに対応する範囲内でのみカーソル位置の移動範囲が限定されて検出される特徴量を制限し、キー解放でカーソル位置を選択する。

上記構成により、利用者が情報端末装置を、例えばその空間的位置を上下左右方向に変化させれば表示画面や画面内のカーソル位置が変化するので、表示部１４に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が情報端末装置の空間的位置を連続的に変化させれば、表示部１４の表示もそれに応じて連続的に変化するように切り替えられる。

上記例では、情報端末装置１の空間的位置関係の変化を推定する推定部として撮影部１１を使用し、入力される画像の変化により情報端末装置１の空間的位置関係の変化をカメラ認識で検出するようにしたが、情報端末装置に加速度センサを搭載して検出するようにしてもよい。すなわち、加速度センサにより情報端末装置１の動きの変化を検知し、空間的位置関係の変化を推定する。加速度センサを使用する場合には、撮影部１１は不要となる。

次に、推定部１３で撮影部１１と撮影対象との間の空間的位置関係の変化を推定し、表示部１４に表示する動作について、図３乃至図５を参照しながら説明する。
撮影部１１と撮影対象との間の空間的位置関係の変化は、利用者が情報端末装置を持ってそれを移動させる動作に基づくので、以下ではそれを利用者の動作として説明する。

利用者の動作は、撮影部１１で入力された画像から動き情報を検出し、検出される動き情報の分布に基づいて推定できる。入力された画像から検出される動き情報は、図３に示したフローチャートの手順で処理される。以下、キーパッド部１２からのキー情報で押下された状態のキーが存在せず、水平方向及び垂直方向の特徴量が算出できる場合について説明する。
例えば、利用者が情報端末装置を左に振った場合、一定の時間間隔で撮影部１１に入力される各画像は、それぞれ図４（ａ）（ｂ）に示すようになり、各画像から水平方向及び垂直方向のついての特徴量を抽出する。
すなわち、撮影部１１で取得された画像およびキーパッド部１２からキー情報が特徴量抽出手段１３１に入力され、入力画像から複数の特徴量を抽出する（ステップ３１）。動き推定手段１３２は特徴量の時間的変化を評価することにより、垂直または水平方向の動きの有無を検出する。

特徴量の算出は、入力時間が異なる複数の画像から差分画像を算出し、差分画像の空間的な方向毎に射影を計算する（図４（ａ）（ｂ））。方向に関しては水平垂直に限らず、斜め方向に対する特徴量を算出しても良い。

続いて、特徴量抽出手段１３１で抽出された特徴量は動き推定手段１３２に入力され、特徴量の時間的変化を評価することで動作を推定する（ステップ３２）。方向別の特徴量はユーザが動かした方向に依存して変化するため、各方向における特徴量の変化を比較（図４（ｃ）（ｄ））することで動きの方向と大きさを推定する。

推定部１３において選択された方向及び移動量については、推定された動き（空間的な位置関係の変化）として制御部１６へ出力される。制御部１６では、推定部１３で推定された撮影部１１と撮影対象との間の空間的位置関係の変化に合わせてメモリ１５上の該当する表示情報を読み出し、表示部１４に送出する。

推定部１３における特徴量からの移動量の推定（算出）及びこれに基づいて制御部１６が行う表示部１４への表示は、図５のフローチャートの手順で処理される。
方向別に特徴量の平均を算出した後、先ず水平方向における平均値|x|が予め設定された閾値ｔ１より大きいか否かを判定する（ステップ５１）。ここで平均値|x|が閾値ｔ１以下の場合は、当該方向の動きはないと判断する。平均値|x|が閾値ｔ１より大きいと判定した場合は、動きが存在すると判断し、後述する方法で移動量を算出し（ステップ５２）、対応する移動方向に前記移動量に対応する画素数だけ水平移動した情報をメモリ１５から読み出す（ステップ５３）。これにより表示部１４の表示情報が移動量に対応する画素数だけ水平移動する。
なお、動きの検出感度を変化させるために、複数の閾値を特定のキーに割り当てておき、キーの押下によって閾値を随時変化させることができるようになっている。

ステップ５３の処理後、あるいは平均値|x|が閾値ｔ１以下であると判定した場合には、垂直方向の平均値|y|が閾値ｔ２より大きいかどうか判定する（ステップ５４）。ここで平均値|y|が閾値ｔ２より大きいと判定した場合、移動量を算出し（ステップ５５）、対応する移動方向に前記移動量に対応する画素数だけ垂直移動した情報をメモリ１５から読み出す（ステップ５６）。これにより表示部１４の表示情報が移動量に対応する画素数だけ垂直移動する。

上記のように、特徴量の水平方向の平均値|x|が閾値ｔ１より大きい、特徴量の垂直方向の平均値|y|が閾値ｔ２より大きい場合だけ表示部１４の情報表示を移動することにより、手振れによる情報表示の過剰な移動を抑制できる。特定のキーの押下によって閾値の値を随時変化させることができるので、手振れに対する感度を調整することができる。

移動前（過去）および移動後（現在）の特徴量について、類似性が最大となる移動量の算出について説明する。相互の特徴量の時間的変化を評価する方法としては、特徴量の極値の移動量を比較する（図４（ｅ））。現在の極値と過去の極値の座標との差を算出し、探索初期値として設定し、特徴量の畳み込みで二乗誤差和が最小となる移動量を求める。過去の特徴量ｆt-1(i)と現在の特徴量ｆt(i)とすると、移動量xを次式で求める。

キーパッド部１２からのキー情報で押下された状態のキーが存在する場合は、予め定めた対応関係に応じて算出する特徴量を限定し、対応する方向の特徴量だけが抽出される。例えば、特定のキーが押下されている間は水平方向のみの特徴量を算出し、解放された段階で水平および垂直方向の特徴量を算出する。他のキーの場合は押下・解放に関わらず水平および垂直方向の特徴量を算出する。
この場合、キーパッド部１２で入力されたキー情報によって特徴量抽出手段１３１が抽出する方向に制限が課せられ、自動的に該方向の特徴量が選択される（水平移動又は垂直移動の単一の制御）。

次に、利用者が情報端末装置を動かすことで撮影部１１に生じる空間的な動きと、キーパッド部１２へのキー操作と、それらにより表示部１４に表示される表示（カーソル位置）の対応関係の具体例として、文字入力を行うインタフェースを例に説明する。
情報端末装置の表示部１４には、図６（ａ）（ｂ）に示すような文字行列６０から構成される各文字行６１又は各文字列６２が表示されている。表示部１４には、各文字行６１又は各文字列６２内の各文字を選択するカーソル６５が表示され、カーソル６５の位置は、推定部１３で得られた動き（空間的な位置関係の変化）に応じて移動することにより、撮影部１１の動き及びキーパッド部１２のキーの操作により、文字が入力できるようになっている。

撮影部１１の動き及びキーパッド部１２のキーの操作による文字の入力は、例えば撮影部１１の空間的な位置関係の変化に応じて表示部１４のカーソル６５の位置が上下左右に動き、キーパッド部１２における特定のキーを押下した時にカーソル６５が指している文字が入力される。
また、キー操作でカーソル６５の動きを制限する場合は、例えば文字行６１又は文字列６２のあ行に対応するキーを押し続ける間はカーソルの移動があ行の範囲（「あ」「い」「う」「え」「お」「１」）に限定されると同時に可動範囲が強調表示されユーザに分かりやすく表示されるようにする。強調表示は、ハイライト表示、拡大表示などが指定できるようにする。また、入力途中の文字列および押下されたキー、入力履歴、入力されようとしている単語を推定し、推定された文字にカーソルの初期位置を設定する。また、推定された単語を選択できるように表示することもできる。キーを離した時点でカーソル６５が指している文字（あ行の文字又は「１」）を入力する。

あ行が横表示された図６（ａ）の例に対応させて説明すると、キー押下の状態が続く間は横方向の特徴量だけを抽出し、左右の動きあるいは左右のひねりの動きを検知してカーソル６５の動きを選択された一つの文字行６１に対応させる。キーが解放された時点でカーソル６５が指している座標の文字（図６（ａ）の場合「せ」）が入力される。
また、あ行が縦表示された図６（ｂ）の場合は、キー押下の状態が続く間は縦方向の特徴量だけを抽出し、上下の動きあるいは上下のひねりの動きを検知してカーソル６５の動きを選択された一つの文字列６２に対応させる。キーが解放された時点でカーソル６５が指している座標の文字を入力する。

上述した文字の入力によれば、小さなキーを何度も押すことなく、直感的かつ素早く文字入力を実現できる。また、意図する方向への動作が正確に反映され、意図しない方向へのぶれを操作に反映しないことが可能となり、入力操作の正確性が確保される。さらに、キー押下によるカーソル可動範囲の設定により、カーソルの移動量が削減することから入力速度の改善と効率化が実現できる。

図７は、表示部１４に表示される画像が地図７０である場合に、撮影部１１に生じる空間的な動きと、キーパッド部１２へのキー操作と、それらにより表示部１４に表示される表示（カーソル位置）の対応関係を示すものである。
表示部１４の地図表示において、キーパッド部１２におけるキー押下がない状態では推定部１３で得られた動きに応じて地図７０の座標を連続的に移動させる。キーパッド部１２におけるキー押下がある状態では、推定部１３で得られた動きに応じて地図上のランドマークＡ，Ｂ，Ｃだけをカーソル７５が指すように離散的に移動させるようにする。

特定のキーに特定のランドマークを割り当てることもできる。例えば、「１」のキーが押下されている間は地図上の飲食店だけに移動でき、「2」のキーが押下されている間は地図上の駅だけに移動できるようにしてもよい。選択された場所が変化するときにはバイブレータを動作させたり、ライトを点滅させることで動作を強調することも可能である。

上述した情報端末装置１によれば、情報端末装置１を動かすことによる撮影部１１に対する空間的な動作とキーパッド部１２のキー操作を連携させることにより、撮影部１１の入力画像から空間的な相対的位置関係を推定し、表示部１４で表示される情報（文字行列６０、地図７０）におけるカーソル６５，７５の位置を、推定部１３により推定された空間位置関係の変化に応じて制御するので、ユーザは情報端末装置１を動かすことで空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。
したがって、情報端末装置１の利用者は、情報端末装置１の動き及びキーパッド部１２でのキー操作に対応づけられた表示部１４でのカーソル６５，７５の位置の移動について、直感的な動作で行うことが可能となる。

本発明の情報端末装置の実施形態の一例を示す機能ブロック図である。 情報端末装置の外観を示す平面説明図である。 推定部の動作の一例を示すフローチャートである。 （ａ）〜（ｅ）は推定部における特徴量の検出・比較・推定を説明するための波形説明図である。 推定部及び制御部による動作の一例を示すフローチャートである。 （ａ）及び（ｂ）は表示部に表示された文字列を説明するための画面説明図である。 表示部に表示された地図画像を説明するための画面説明図である。

符号の説明

１…情報端末装置、 １１…撮影部、 １２…キーパッド部、 １３…推定部、 １４…表示部、 １５…メモリ、 １６…制御部、 ６０…文字行列、 ６１…文字行、 ６２…文字列、 ６５…カーソル、 ７０…地図、 ７５…カーソル、 １３１…特徴量抽出手段、 １３２…動き推定手段。

Claims (7)

1. 情報を表示する表示部を有する情報端末装置であって、
   前記表示部に表示する情報を記憶するメモリと、
   前記情報端末装置の空間的位置関係の変化を推定する推定部と、
   前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部と、
   前記表示部における情報の表示を操作するキーパッド部と、
   一定間隔で画像を入力する撮影部を備え、
   前記推定部は、前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する一方、
   前記撮影部により入力された画像から検出された特徴量を用いて、前記撮影部と撮影対象との間の空間的位置関係の変化を方向別に推定する機能と、前記キーパッド部から入力されたキーの状態に応じて、前記撮影部から入力された画像から検出された特徴量を選別することで、選別された特徴量のみによって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えて成る
   ことを特徴とする情報端末装置。
2. 前記表示部は、選択可能な情報及び情報選択のためのカーソルを表示する一方、
   前記キーパッド部は、押下と解放を検知することで前記カーソルの離散的な動きを指定可能とする複数の操作キーを備えて成る請求項１に記載の情報端末装置。
3. 前記推定部は、前記キーパッド部の操作状況に応じて、前記推定部の特徴量算出における認識方向の切替を制御する機能を備えて成る請求項１に記載の情報端末装置。
4. 前記推定部は、方向別の特徴量毎に平均値を算出し、予め設定した閾値との大小関係から前記撮影部と撮影対象との間の空間的位置関係の変化の有無を判断する機能を備えて成り、
   前記閾値は前記キーパッド部により複数の値を設定可能とした請求項１に記載の情報端末装置。
5. 前記推定部は、時間的に異なる複数画像から方向別に算出した各特徴量の極値の座標における二乗誤差和が最小になる移動量をもって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えて成る請求項１に記載の情報端末装置。
6. 前記制御部は、前記推定部で検出された空間的な動作とキーパッド部で入力されたキー情報との組み合わせに応じて、前記表示部への情報の表示の仕方を変化させるように制御する機能を備えて成る請求項１に記載の情報端末装置。
7. 選択可能な情報及び情報選択のためのカーソルを表示する表示部と、前記情報の情報選択を行うための操作キーとを有する情報端末装置であって、
   前記操作キーは複数設けられ、各操作キーの押下と解放を検知することで前記カーソルの移動範囲を指定するキーパッド部と、
   一定間隔で画像を入力する撮影部と、
   前記表示部に表示する情報を記憶するメモリと、
   前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する推定部と、
   前記メモリから読み出して前記表示部に表示する情報における前記カーソルの位置を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部とを具備し、
   前記表示部に表示される情報は複数行又は複数列から成る文字行列であり、
   前記キーパッド部で指定されたカーソルの移動範囲が前記文字行列の内の一行又は一列であることを特徴とする情報端末装置。

Images