JP5156264B2 - 携帯端末 - Google Patents

Description

本発明は、携帯電話器やＰＨＳ（Personal Handy-phone System）端末等の携帯端末に関する。

下記非特許文献１（シャープ株式会社製の携帯電話機（型番：９０３ｉ）の取扱説明書のｐｄｆファイル）には、パーソナルコンピュータ向けのＷｅｂページを表示することが可能なフルブラウザが搭載された携帯電話機が開示されている。この携帯電話機は、フルブラウザを用いてパーソナルコンピュータ向けのＷｅｂページ、つまり携帯電話機が備えるディスプレイの画面サイズよりも大きな画面を閲覧する場合に、上下左右キーを押下することによってＷｅｂページを上下左右にスクロールさせるものである。
URL:http://www.nttdocomo.co.jp/binary/pdf/support/trouble/manual/download/903i/sh903itv/SH903iTV_J_14.pdf

ところで、上記従来技術には以下のような問題点がある。
すなわち、上記従来技術では、Ｗｅｂページのスクロール量（移動量）が上下左右キーの押下回数によって決まるので、Ｗｅｂページを大幅にスクロールさせたい場合、ユーザは上下左右キーを何度も押下しなければならない。したがって、上記従来技術には、スクロール操作が煩雑であるという問題点がある。
また、上記従来技術は、Ｗｅｂページの表示における拡大/縮小量が所定キーの押下回数によって決まるので、Ｗｅｂページを大幅に拡大/縮小させたい場合、ユーザは所定キーを何度も押下しなければならず、よってＷｅｂページの拡大縮小操作が煩雑であるという問題点もある。

本発明は、上述した事情を鑑みたものであり、画面のスクロール操作及び/あるいは拡大縮小操作に代表されるような画面の変化操作が容易な携帯端末を提供することを目的とする。

上記目的を達成するために、以下の手段を採用した。
本発明の第１の実施態様は、通信媒体又は記憶媒体を介して情報をやりとりする携帯端末であって、撮像部と、表示部と、前記撮像部が撮像した周囲画像の変化に基づいて前記表示部の画面を変化させる制御部と、を具備し、前記制御部は、前記撮像部が撮像した周囲画像が、上、下、左、右のうちの一の方向要素に沿って変化する場合、前記表示部の画面を、上、下、左、右のいずれかにスクロールさせ、前記周囲画像が、上、下、左、右のうちの二つの方向要素に分解できる方向に沿って変化するときには、上、下、左、右のうちの二つの方向要素に分解できる方向にスクロールさせない。
本発明の第２の実施態様は、通信媒体又は記憶媒体を介して情報をやりとりする携帯端末であって、撮像部と、表示部と、前記撮像部が撮像した周囲画像の変化に基づいて前記表示部の画面を変化させる制御部と、を具備し、前記制御部は、前記撮像部が撮像した周囲画像が、上、下、左、右のうちの一の方向要素に沿って変化する場合、前記表示部の画面を、上、下、左、右のいずれかにスクロールさせ、前記撮像部が撮像した周囲画像が拡大変化／縮小変化する場合、前記表示部の画面を拡大／縮小させるとともに、前記周囲画像が、上、下、左、右のうちのいずれか一の方向要素に沿って変化し、且つ前記撮像部が撮像した周囲画像が拡大変化／縮小変化する場合、上、下、左、右のいずれの方向にもスクロールさせず、且つ前記表示部の画面を拡大／縮小させない。

本発明の第３の実施態様は、第１又は第２の実施態様において、前記制御部は、前記撮像部に撮像させた周囲画像を複数の領域に分割し、当該各領域の平均輝度の変化に基づいて前記表示部の画面を変化させる。

本発明の第４の実施態様は、第１〜３の実施態様のいずれかにおいて、前記制御部は、前記表示部にＷｅｂページを表示させている場合に、周囲画像の変化に基づいて前記表示部の画面を変化させる。

本発明の第５の実施態様は、第１〜４の実施態様のいずれかにおいて、操作部を具備し、前記制御部は、前記操作部が特定の操作指示を受け付けると、周囲画像の変化に基づいて前記表示部の画面を変化させる。

本発明によれば、携帯端末は、撮像部が撮像した周囲画像に基づいて、表示部の画面を変化させる為、ユーザは煩雑なキー操作することなく容易にＷｅｂページの上下左右スクロール、文字及び画像の拡大／縮小が可能となる。

以下、図面を参照して、本発明の一実施形態について説明する。本実施形態は、携帯端末の１つであるＰＨＳ（Personal Handy-phone System）端末に関する。
図１は本実施形態に係るＰＨＳ端末Ａの機能ブロック図である。ＰＨＳ端末Ａは、図１に示すように、無線通信部１、カメラ（撮像部）２、液晶ディスプレイ（表示部）３、メモリ４、操作部５、バッテリ６及び制御部７から構成される。

無線通信部１は、制御部７の制御に基づいて、ＰＨＳ基地局等を介して音声信号や制御信号等の各種信号の送受信を外部機器と行う。
カメラ２は、制御部７の制御に基づいて、周囲画像を撮像して制御部７に出力する。このカメラ２は、例えばＣＣＤ（Charge-Coupled Devices）方式またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）方式の撮像素子を備えたデジタルカメラである。

液晶ディスプレイ３は、制御部７の制御に基づいて、画像や文字からなる各種画面を表示する。なお、液晶ディスプレイ３に代えて、有機ＥＬ（Electro Luminescent）ディスプレイを用いても良い。
メモリ４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されている。ＲＯＭは、制御部７が実行する所定の制御プログラム及びブラウザ等の各種アプリケーションプログラム等を記憶し、ＲＡＭは、制御部７が制御プログラムを実行するときのワークエリアである。

操作部５は、電源キー、テンキー及び各種機能キー等の操作キーから構成されており、これらの操作キーに対するユーザの操作指示を受け付けて制御部７に出力する。この操作部５は、機能キーとしてハンドジェスチャーキー５ａを備えている。なお、ハンドジェスチャーキー５ａの押下時のＰＨＳ端末Ａの動作については詳細を後述する。

バッテリ６は、制御部７の制御の下、ＰＨＳ端末Ａの各部が必要とする電力を、制御部７に出力する。
制御部７は、ＣＰＵ（Central Processing Unit）及び各種インタフェース回路から構成されており、メモリ４に予め記憶された制御プログラム、無線通信部１から入力される各種信号及び操作部５が受け付ける操作指示等に基づいて、ＰＨＳ端末Ａの全体動作を統括して制御する。なお、制御部７による制御処理については詳細を後述する。

次に、上記構成のＰＨＳ端末Ａの動作について、図２及び図３に示すフローチャートを参照して詳しく説明する。
図２は、ＰＨＳ端末Ａの動作全体を示すフローチャートである、また、図３は、図２記載のＰＨＳ端末Ａの画面制御処理の詳細を示したフローチャートである。

周知のように、Ｗｅｂサイトのホームページには、パーソナルコンピュータ用のホームページ（ＰＣ用ホームページ）と携帯電話用ホームページとがある。ＰＣ用ホームページとは、パーソナルコンピュータ用のディスプレイのサイズに合わせて作成されたＷｅｂページであり、携帯電話用ホームページとは、携帯電話のディスプレイのサイズに合わせて作成されたＷｅｂページである。
例えばＰＣ用ホームページを本ＰＨＳ端末Ａで閲覧しようとする場合、ユーザは、操作部５に所定の操作指示を行うことにより、アプリケーションプログラムの１つであるフルブラウザを起動させて液晶ディスプレイ３にＰＣ用ホームページを表示させるが、上述したようにＰＣ用ホームページの画像サイズは液晶ディスプレイ３の画面サイズよりも大きいので、液晶ディスプレイ３にはＰＣ用ホームページの一部分が表示される。

ユーザは、このように液晶ディスプレイ３にＰＣ用ホームページの一部分が表示された状態において、ハンドジェスチャーキー５ａを押下することにより、本ＰＨＳ端末Ａを、カメラ２が撮像する周囲画像の動きに連動して液晶ディスプレイ３上のＰＣ用ホームページを変化（スクロールや拡大縮小）させる動作モードに遷移させる。
すなわち、制御部７は、ハンドジェスチャーキー５ａが押下されたか否か判定を行い（ステップＳ１）、ハンドジェスチャーキー５ａが押下されていないと判定した場合（ＮＯ）、ハンドジェスチャーキー５ａが押下されるまで待機し、ハンドジェスチャーキー５ａが押下されていると判定した場合（ＹＥＳ）は、カメラ２を起動させ（ステップＳ２）、カメラ２に周囲画像を撮像させる（ステップＳ３）。カメラ２は、撮像素子が撮像した周囲画像を制御部７に出力する。

ここで、周囲画像の画像サイズが縦３２０ピクセル、横２４０ピクセルであった場合、制御部７は、カメラ２から入力された周囲画像（縦３２０×横２４０）を縦２０×横１０ピクセルの画像領域に分割し、各画像領域について平均輝度を算出し、この平均輝度に応じて各画像領域を輝度ランク１〜１０にランク付けした輝度ランクデータａを作成する（ステップＳ４）。
図４は、周囲画像（縦３２０×横２４０）を各画像領域（縦２０×横１０）に分割した状態を示す図である。図４に示す通り周囲画像（縦３２０×横２４０）は、縦方向に１８個、横方向に２２個（合計３８４個）の画像領域（縦２０×横１０）に分割される。

制御部７は、ステップＳ４の処理から所定の時間間隔を空け、ステップＳ３同様にカメラ２に周囲画像を撮像させる（ステップＳ５）。カメラ２は、撮像素子が撮像した周囲画像を制御部７に出力する。制御部７は、ステップＳ４同様にカメラ２から入力された周囲画像を縦２０×横１０ピクセルの画像領域に分割し、各画像領域について平均輝度を算出し、この平均輝度に応じて各画像領域を輝度ランク１〜１０にランク付けした輝度ランクデータｂを作成する（ステップＳ６）。

制御部７は、このように作成した輝度ランクデータａから、同一の輝度ランクを持ち、かつ隣接し合う画像領域の集合を評価画像要素として抽出し（ステップＳ７）、輝度ランクデータｂからも、同一の輝度ランクを持ち、隣接し合う画像領域の集合を評価画像要素として抽出する（ステップＳ８）。
制御部７は、輝度ランクデータａから抽出した評価画像要素と輝度ランクデータｂから抽出した評価画像要素との位置関係及び大小関係を比較することにより、評価画像要素の動きを検出する。（ステップＳ９）。

ここで、上記評価画像要素の動き（つまり周囲画像の動き）は、ユーザに把持されているＰＨＳ端末Ａの移動によって生じるものである。制御部７は、ユーザがＰＨＳ端末Ａを特定の方向に故意に移動させることによって生じる評価画像要素の動きに基づいて、以下に説明するように液晶ディスプレイ３上に表示されたＰＣ用ホームページのスクロールや拡大／縮小を制御する。

図５は、輝度ランクデータａ，ｂに基づく評価画像要素Ｈ（周囲画像に含まれる１本の樹木）を示す複数の模式図である。これら模式図のうち、図５（ａ）は、輝度ランクデータａに基づく評価画像要素Ｈを示し、図５（ｂ）〜（ｉ）は、輝度ランクデータｂに基づく評価画像要素Ｈを示している。

例えば、図５（ａ）と図５（ｂ）とを比較した場合、図５（ａ）の評価画像要素Ｈが略中央に位置しているのに対して、図５（ｂ）の評価画像要素Ｈは、略中央から右側に移動した位置にある。この図５（ｂ）の評価画像要素Ｈは、輝度ランクデータａに基づく図５（ａ）の評価画像要素Ｈの元となる周囲画像よりも所定時間経過した後にカメラ２で撮影された周囲画像に基づいて生成された輝度ランクデータｂから得られたものなので、両者の評価画像要素Ｈの位置変化は、上記所定時間の前後におけるＰＨＳ端末Ａの移動によって生じたものである。

また、図５（ａ）と図５（ｆ）とを比較した場合、図５（ａ）の評価画像要素Ｈに対して、図５（ｆ）の評価画像要素Ｈは、大きさが小さくなっている。この評価画像要素Ｈの大きさの変化は、カメラ２の撮像面に直行する方向のうち、樹木から遠ざける方向（つまりユーザに近づく方向）にＰＨＳ端末Ａを移動させることによって生じたものである。

制御部７は、このようなＰＨＳ端末Ａの移動に伴なう評価画像要素Ｈの左右方向あるいは上下方向への移動、また評価画像要素Ｈの大きさの変化を評価する。上記図５（ｂ）、（ｆ）以外の図５（ｃ）は評価画像要素Ｈが上側に、図５（ｄ）は評価画像要素Ｈが下側に、図５（ｅ）は評価画像要素Ｈが左側にそれぞれ移動し、また図５（ｇ）は評価画像要素Ｈが大きくなった状態を示している。また、図５（ｈ）は評価画像要素Ｈが右斜め上方向に移動した状態を示し、図５（ｉ）は評価画像要素Ｈが小さく変化すると共に上方に移動する状態を示している。

しかし、図５（ｈ）のように、図５(ａ)と比較して、評価画像要素Ｈが右斜め上方向に位置する場合、つまり評価画像要素Ｈが上方向と右方向の２つの方向要素を含む方向に移動した場合、制御部７は周囲画像の動きとして認識しない。（ｈ）では評価画像要素Ｈが右斜め上方向へ移動する場合を例にあげたが、左斜め上方向、右斜め下方向、及び左斜め下方向に評価画像要素Ｈが移動する場合も、同様に制御部７は周囲画像の動きとして認識しない。

また、図５（ｉ）ように、図５(ａ)と比較して、評価画像要素Ｈが小さくなると共に上方向に移動する、つまり大きさが変化すると共に所定の方向へ移動する場合も、制御部７は周囲画像の動きとして認識しない。（ｉ）では評価画像要素Ｈが小さく変化すると共に上方向に移動する場合を例にあげたが、小さく変化すると共に下、左、または右方向に移動する場合、及び大きく変化すると共に上、下、左、または右方向に移動する場合も、同様に制御部７は周囲画像の動きとして認識しない。

そして、制御部７は、上述したように検出した評価画像要素Ｈの動きに基づいて、周囲画像の動きを検出し、当該動き検出結果に基づいて液晶ディスプレイ３上におけるＰＣ用ホームページの表示を変化させる（ステップＳ１０）。
以下から、図３のフローチャートを参照して、ステップＳ１０の画面制御処理の詳細を説明する。

制御部７は、動き検出結果を判定し（ステップＳ１２）、液晶ディスプレイ３に出力させたＷｅｂページを、動き検出結果が上方向の場合は、上方向にスクロールさせ（ステップＳ１３）、動き検出結果が下方向の場合は、下方向にスクロールさせ（ステップＳ１４）、動き検出結果が左方向の場合は、左方向にスクロールさせ（ステップＳ１５）、動き検出結果が右方向の場合は、右方向にスクロールさせる（ステップＳ１６）。

また、制御部７は、動き検出結果が拡大の場合は、液晶ディスプレイ３に出力させたＷｅｂページの文字及び画像を拡大させ（ステップＳ１７）、動き検出結果が縮小の場合は、液晶ディスプレイ３に出力させたＷｅｂページの文字及び画像を縮小させる（ステップＳ１８）。制御部７は、周囲画像の動きを認識しない場合、液晶ディスプレイ３に出力させたＷｅｂページをスクロール、拡大、及び縮小させない（ステップＳ１９）。

そして、制御部７は、ハンドジェスチャーキー５ａの押下が解放されたか否か判定し（ステップＳ８）、ハンドジェスチャーキー５ａの押下が解放されていないと判定した場合（ＮＯ）、ステップＳ３の処理に戻り、ハンドジェスチャーキー５ａの押下が解放されていると判定した場合（ＹＥＳ）、動作を終了する。

以上説明したように、本実施形態によれば、ＰＨＳ端末Ａの制御部７がカメラ２に撮像させた周囲画像から輝度ランクデータを作成し、この輝度ランクデータから周囲画像の動きを検出し、当該動き検出結果に基づいて液晶ディスプレイ３に出力させたＷｅｂページを上下左右のスクロール、拡大及び縮小を行わせる為、ユーザは煩雑なキー操作を行うことなく、Ｗｅｂページをスクロール、拡大及び縮小させることが可能となる。

また、制御部７は、カメラ２が撮像した周囲画像を縦２０×横１０ピクセルの画像領域に分割し、画像領域の平均輝度に基づいて解像度の低い輝度ランクデータ作成し、この輝度ランクデータより周囲画像の動き検出を行う為、解像度の高い画像を利用して動き検出を行う場合と比較して、制御部７の処理の負荷が軽くなる。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されることなく、例えば以下のような変形が考えられる。
（１）上記実施形態では、Ｗｅｂページを上下左右スクロール、拡大、及び縮小させたが、本発明はこれに限定されない。
例えば、ＰＤＦファイル、ＤＯＣファイル、ＥＸＣＥＬファイル、ＪＰＥＧファイル、及びＧＩＦファイル等の各種ファイルを、を上下左右のスクロール及び拡大／縮小を行わせてもよい。また、メニュー画面を出力させている場合も、メニューリストのカーソル移動に利用してもよい。

（２）上記実施形態では、ステップＳ５のカメラ２による周囲画像の撮像は、ステップＳ４から所定の時間間隔を空け行われてるが、ユーザによってこの時間間隔を設定できるようにしてもよい。
ＰＨＳ端末Ａを使用するユーザの動作の速さに、所定の時間間隔のＰＨＳ端末Ａの移動量は依存する為、例えば、動作の速いユーザの場合は時間間隔を短く、動作の遅いユーザは時間間隔をながく設定することで、ユーザの動作の速さに合わせＷｅｂページを上下左右のスクロール移動量、拡大量及び縮小量を調整することが可能となる。

（３）上記実施形態では、制御部７は、評価画像要素が右斜め上に移動する等の２つの方向要素を含む方向に移動する場合及び、大きさが変化すると共に所定の方向に移動する場合には、周囲画像の動きとして認識せず、液晶ディスプレイ３に出力させたＷｅｂページを上下左右スクロール、拡大、及び縮小させないとしているが、本発明はこれに限定されない。
例えば、制御部７が検出した周囲画像の動きが上下左右方向または、拡大／縮小であったとしても、所定の閾値を越える周囲画像の動きを検出できなかった場合も、液晶ディスプレイ３に出力させたＷｅｂページをスクロール、拡大、及び縮小させないようにしてもよい。

（４）上記実施形態では、動き検出の結果が上方向である場合に、上方向にスクロールさせている、つまり動き検出結果と同じ方向に、Ｗｅｂページをスクロールさせているが、本発明はこれに限定されない。
動き検出結果が上方向である場合、ユーザはＰＨＳ端末Ａを下方向に動かしており、ＰＨＳ端末Ａがユーザに動かされる方向に合わせＷｅｂページをスクロールさせるようにしてもよい。

（５）上記実施形態では、ハンドジェスチャーキー５ａを備えた場合について説明したが、本発明はこれに限定されない。
例えば、ハンドジェスチャーキー５ａを備えない携帯端末であっても、通常備えられているセンターキーやサイドキーに所定の操作を行うことにより、ハンドジェスチャーキーとしての動作を行わせても良い。具体的には、ハンドジェスチャーキー５ａの操作により行われる動作を、メニュー画面からセンターキーの押下により所定のメニューを選択するという操作で行わせてもよい。

（６）上記実施形態では、携帯端末が無線回線を通信媒体としてＷｅｂページ等の情報を取得した場合について説明したが、本発明はこれに限定されない。
例えば、Ｗｅｂページ等の情報をＳＤカード等の着脱可能な記憶装置に記憶させ、この記憶装置を携帯端末へ接続することにより情報を取得させても良い。
また別の例では、携帯端末が、Ｗｅｂページ等の情報を記憶するパーソナルコンピュータ等の記憶装置と、シリアルケーブル等の有線回線を通信媒体として通信を行うことにより、Ｗｅｂページ等の情報を取得してもよい。

本発明の一実施形態に係るＰＨＳ端末Ａの機能ブロック図である。 本発明の一実施形態に係るＰＨＳ端末Ａの動作のフローチャートである。。 本発明の一実施形態に係るＰＨＳ端末Ａの画面聖書処理の詳細を示したフローチャートである。 本発明の一実施形態に係るＰＨＳ端末Ａのカメラ２が撮像した縦３２０×横２４０ピクセルの周囲画像を縦２０×横１０ピクセルの画像領域に分割した状態を示す図である。 本発明の一実施形態に係るＰＨＳ端末Ａの輝度ランクデータａ，ｂに基づく評価画像要素Ｈを示す模式図。

符号の説明

Ａ…ＰＨＳ端末、Ｈ…評価画像要素、１…無線通信部、２…カメラ（撮像部）、３…液晶ディスプレイ（表示部）、４…メモリ、５…操作部、５ａ…ハンドジェスチャーキー、６…バッテリ、７…制御部

Claims (5)

1. 通信媒体又は記憶媒体を介して情報をやりとりする携帯端末であって、
   撮像部と、
   表示部と、
   前記撮像部が撮像した周囲画像の変化に基づいて前記表示部の画面を変化させる制御部と、を具備し、
   前記制御部は、
   前記撮像部が撮像した周囲画像が、上、下、左、右のうちの一の方向要素に沿って変化する場合、前記表示部の画面を、上、下、左、右のいずれかにスクロールさせ、
   前記周囲画像が、上、下、左、右のうちの二つの方向要素に分解できる方向に沿って変化するときには、上、下、左、右のうちの二つの方向要素に分解できる方向にスクロールさせない携帯端末。
2. 通信媒体又は記憶媒体を介して情報をやりとりする携帯端末であって、
   撮像部と、
   表示部と、
   前記撮像部が撮像した周囲画像の変化に基づいて前記表示部の画面を変化させる制御部と、を具備し、
   前記制御部は、
   前記撮像部が撮像した周囲画像が、上、下、左、右のうちの一の方向要素に沿って変化する場合、前記表示部の画面を、上、下、左、右のいずれかにスクロールさせ、前記撮像部が撮像した周囲画像が拡大変化／縮小変化する場合、前記表示部の画面を拡大／縮小させるとともに、
   前記周囲画像が、上、下、左、右のうちのいずれか一の方向要素に沿って変化し、且つ前記撮像部が撮像した周囲画像が拡大変化／縮小変化する場合、上、下、左、右のいずれの方向にもスクロールさせず、且つ前記表示部の画面を拡大／縮小させない携帯端末。
3. 前記制御部は、前記撮像部に撮像させた周囲画像を複数の領域に分割し、当該各領域の平均輝度の変化に基づいて前記表示部の画面を変化させる請求項１又は請求項２に記載の携帯端末。
4. 前記制御部は、前記表示部にＷｅｂページを表示させている場合に、周囲画像の変化に基づいて前記表示部の画面を変化させる請求項１〜３のいずれか一項記載の携帯端末。
5. 操作部を具備し、
   前記制御部は、前記操作部が特定の操作指示を受け付けると、周囲画像の変化に基づいて前記表示部の画面を変化させる請求項１〜４のいずれか一項記載の携帯端末。

Images