WO2019176009A1 - 携帯情報端末 - Google Patents

Abstract

画像表示部とタッチパネル部とを有するタッチスクリーンを備え、タッチスクリーンに対するタッチ操作により指示を行う携帯情報端末であって、画像表示部にタッチ操作の対象となるオブジェクトを表示させる表示制御部と、タッチスクリーンに対してタッチ操作を行う操作指示物の映像を取得する画像入力部と、画像入力部が取得した操作指示物の映像を解析して、携帯情報端末の位置を基準とした操作指示物の相対的なブレ量を算出するブレ検出部と、を備える。表示制御部は、ブレ検出部で算出した操作指示物の相対的なブレ量に基づいて、画像表示部に表示するオブジェクトを相対的なブレ量に追従するようにずらして表示させる。これにより、揺れる車両内で携帯情報端末を使用する際のタッチ位置ずれに伴うに誤操作の発生を低減させる。

Description

携帯情報端末

　本発明は、タッチスクリーンを備えた携帯情報端末における誤操作防止技術に関する。

　スマートホンやタブレット端末等の携帯情報端末の普及が進んでいる。これらの携帯情報端末はタッチスクリーンを備えており、ユーザは、タッチスクリーンにタッチ操作を行うことで、携帯情報端末に対する所望の操作指示を与えることができる。例えば、ユーザは、タッチスクリーン上のアイコン等が表示される領域を指等でタッチすることで、タッチ位置のアイコンに関連付けられたアプリケーションを起動させることができる。

　一般的に、タッチスクリーン上におけるアイコン等のオブジェクトの表示位置と、前記オブジェクトに対してタッチ操作が行われたことを検知する操作検知領域とは、概略一致して設定される。よって、タッチした位置がオブジェクトの表示位置（操作検知領域）からずれた場合、そのタッチ操作は前記オブジェクトに対する操作指示とは判別されず、誤った操作となる。

　これに関し特許文献１には、画面上を動くオブジェクトを選択する際に、誤操作の可能性を低減する技術が開示されている。前記特許文献１によれば、「画面上に表示された表示オブジェクトごとに、前記画面上での表示オブジェクトの移動速度に応じて、入力手段による座標の入力を受け付ける反応領域を当該表示オブジェクトの表示範囲より広く設定する」ことが記載されている。

特開２０１２－２１７１０１号公報

　前記特許文献１では、画面上に表示したオブジェクトが動く場合を取り上げているが、画面上のオブジェクトが静止している場合にも誤操作が生じる場合がある。例えば、ユーザが電車や自動車等に乗車中に携帯情報端末を使用する場合、車両の揺れに起因して誤操作が生じる可能性がある。具体的には、ユーザが左手で携帯情報端末の筐体を把持し、右手の指（または右手で把持したタッチペン等）でタッチスクリーンに対するタッチ操作を行う場合を想定する。車両の揺れに伴い、ユーザの左手と右手は揺れることになるが、両者の揺れ具合は必ずしも一致せず、その結果、タッチスクリーン上の狙った位置とは異なる位置をタッチしてしまうことになる。即ち、揺れる車両内で携帯情報端末を操作する場合、タッチ対象が画面上で静止しているオブジェクトの場合でも、誤操作を生じる可能性がある。このような状況で生じる誤操作については、前記特許文献１では考慮されていない。

　本発明の目的は、タッチスクリーンを備えた携帯情報端末において、揺れる車両内で使用する際に発生する誤操作を低減させることである。

　前記課題を解決するため、代表的な本発明の携帯情報端末は、画像表示部とタッチパネル部とを有するタッチスクリーンを備え、前記タッチスクリーンに対するタッチ操作により指示を行うものであって、前記画像表示部にタッチ操作の対象となるオブジェクトを表示させる表示制御部と、前記タッチスクリーンに対してタッチ操作を行う操作指示物の映像を取得する画像入力部と、前記画像入力部が取得した前記操作指示物の映像を解析して、前記携帯情報端末の位置を基準とした前記操作指示物の相対的なブレ量を算出するブレ検出部と、を備え、前記ブレ検出部で算出した前記操作指示物の相対的なブレ量に基づいて、前記表示制御部は、前記画像表示部に表示するオブジェクトを前記相対的なブレ量に追従するようにずらして表示させる構成とした。

　本発明によれば、タッチスクリーンを備えた携帯情報端末を揺れる車両内で使用する場合において、誤操作が低減してユーザの使い勝手が向上する。

携帯情報端末の一例を示す外観図。 携帯情報端末で表示されるホーム画面の一例を示す図。 携帯情報端末のハードウェア構成の一例を示す図。 携帯情報端末のソフトウェア構成の一例を示す図。 携帯情報端末における誤操作発生を説明する図。 実施例１における誤操作防止処理を説明する図。 携帯情報端末のインカメラの構成図。 実施例１における誤操作防止処理を示すフローチャート。 Ｓ１０６の処理（操作指示物の有無判定）の詳細を説明する図。 実施例２における誤操作防止処理を説明する図。 実施例３における誤操作防止処理を説明する図。 実施例３における誤操作防止処理を示すフローチャート。 実施例４における誤操作防止のための確認画面の図。 実施例４における誤操作防止処理を示すフローチャート。 視聴用装置を介して携帯情報端末を使用する状態を示す図（実施例５）。 実施例５における誤操作防止処理を説明する図。

　以下、本発明の実施形態の例を、図面を用いて説明する。本実施例の携帯情報端末は、携帯電話やスマートホン、タブレット端末等であって良い。ＨＭＤ（Head Mounted Display）等の頭部装着型情報端末であっても良い。また、スマートホンやタブレット端末等をアダプタに固定することにより頭部装着型情報端末の代替としたものであっても良い。その他、ＰＤＡ（Personal Digital Assistants）、ノート型ＰＣ（Personal Computer）、電子ブックリーダ、デジタルスチルカメラ、動画撮影可能なビデオカメラ、携帯型ゲーム機等、タッチスクリーンを備えるデジタル機器であれば対象となる。以下では、主にスマートホンを例に説明する。また、以下の実施例では、ユーザはタッチスクリーンに表示されるアイコン等をタッチ操作する場合を例に説明するが、操作対象はアイコンに限らず、文字、図形、マップなど、任意のオブジェクトが対象となる。

　［携帯情報端末の外観］
  図１Ａは、携帯情報端末１００の一例を示す外観図である。ここでは、携帯情報端末１００がスマートホンの場合について、（ａ）は前面（表面）図、（ｂ）は背面（裏面）図を示す。

　（ａ）において、携帯情報端末１００の前面には、タッチスクリーン１８０の他に、動作インジケータ１２４、第一画像入力部１３３、第二画像入力部１３４、モノラルスピーカ１４２、が備えられる。タッチスクリーン１８０は、後述するタッチパネル１２３と画像表示部１３１で構成され、ユーザがタッチ操作を行うとともに、アイコン等のオブジェクトを表示する画面である。動作インジケータ１２４は、ＬＥＤ（Light Emitting Diode）の点灯／点滅の有無により携帯情報端末１００の動作状態を報知する。第一画像入力部１３３と第二画像入力部１３４は、前面側の被写体を撮影して画像信号を入力する「インカメラ」である。このうち第一画像入力部１３３は、携帯情報端末１００に対するタッチ操作を行うユーザの指などの「操作指示物」の画像を取得するために使用される。第二画像入力部１３４は、ユーザの自撮り画像の取得のために使用される。

　（ｂ）において、携帯情報端末１００の背面には、タッチセンサ１２２、第三画像入力部１３５、補助光発光／赤外線測距器１３６、ステレオスピーカ１４３、が備えられる。第三画像入力部１３５は、背面側の被写体を撮影して画像信号を入力する「アウトカメラ」である。補助光発光／赤外線測距器１３６は、第三画像入力部１３５からの画像入力時に、光量不足を補うための補助光を発光可能である。また、補助光発光／赤外線測距器１３６は、赤外線を用いて対象物までの距離測定を行うことが可能である。

　携帯情報端末１００の上面には、操作キー１２１（後述）の一つである電源キー１２１ｐが備えられる。携帯情報端末１００の下面には、音声入力部１４５、拡張インタフェース部１７０（後述）の一つであるμ－ＵＳＢ入力部１７０ｕが備えられる。

　なお、タッチセンサ１２２は、携帯情報端末１００の背面ではなく、側面や前面下部（タッチスクリーン１８０と重ならない部分）等に配置されても良い。また、タッチスクリーン１８０を構成するタッチパネル１２３がタッチセンサ１２２の機能を併せ持っていても良い。この場合、タッチスクリーン１８０上の任意の位置においてタッチセンサ１２２の機能（例えば、指紋認証機能）を実行することが可能である。

　［携帯情報端末のホーム画面］
  図１Ｂは、携帯情報端末１００で表示されるホーム画面の一例を示す図である。タッチスクリーン１８０に表示されるホーム画面１８０ａは、主機能アイコン表示領域１８０ａ１、一般アイコン表示領域１８０ａ２、その他情報表示領域１８０ａ３、制御キー領域１８０ａ４、通知領域１８０ａ５、で構成される。ホーム画面１８０ａは、携帯情報端末１００の電源オン後やスリープ状態の解除後や任意のアプリケーション実行中にホームキーをタッチした場合等に表示される基本画面である。

　主機能アイコン表示領域１８０ａ１は、携帯情報端末１００で頻繁に使用される主要アプリケーションに関連付けられたアイコンの表示領域である。一般アイコン表示領域１８０ａ２は、その他のアプリケーションに関連付けられたアイコンの表示領域である。その他情報表示領域１８０ａ３は、時刻情報や気象情報等の一般的な情報を表示する領域である。制御キー領域１８０ａ４は、「バックキー」、「ホームキー」、「アプリ履歴キー」を表示する領域である。通知領域１８０ａ５は、電波状態やバッテリ残量等の情報が通知される領域である。

　ユーザは、ホーム画面１８０ａから所定のアプリケーションを起動する場合、主機能アイコン表示領域１８０ａ１または一般アイコン表示領域１８０ｂ２に表示されている目的のアイコン（オブジェクト）をタップ操作することで、起動指示を行うことができる。

　［携帯情報端末のハードウェア構成］
  図２Ａは、携帯情報端末１００のハードウェア構成の一例を示す図である。携帯情報端末１００は、主制御部１０１、システムバス１０２、ＲＯＭ１０３、ＲＡＭ１０４、ストレージ部１１０、操作入力部１２０、画像処理部１３０、音声処理部１４０、センサ部１５０、通信部１６０、拡張インタフェース部１７０、を備えて構成される。

　主制御部１０１は、所定の動作プログラムに従って携帯情報端末１００全体を制御するマイクロプロセッサユニットである。システムバス１０２は、主制御部１０１と携帯情報端末１００内の各動作ブロックとの間で各種コマンドやデータの送受信を行うためのデータ通信路である。

　ＲＯＭ（Read Only Memory）１０３は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラム（アプリケーション、以下同様）が格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。ＲＡＭ（Random Access Memory）１０４は基本動作プログラムやその他の動作プログラム実行時のワークエリアとなる。ＲＯＭ１０３及びＲＡＭ１０４は主制御部１０１と一体構成であっても良い。また、ＲＯＭ１０３は、図２Ａに示したような独立構成とはせず、ストレージ部１１０内の一部記憶領域を使用するようにしても良い。

　ストレージ部１１０は、携帯情報端末１００の動作プログラムや動作設定値、携帯情報端末１００の正規ユーザの個人情報や認証情報等を記憶する。また、ネットワーク上からダウンロードした動作プログラムや該動作プログラムで作成した各種データ等を記憶可能である。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、カメラ機能を使用して撮影した動画や静止画等のデータを記憶可能である。ストレージ部１１０の一部領域を以ってＲＯＭ１０３の機能の全部または一部を代替しても良い。また、ストレージ部１１０は、携帯情報端末１００に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、ＨＤＤ（Hard Disc Drive）などの磁気ディスクドライブ、等のデバイスが用いられる。なお、ＲＯＭ１０３やストレージ部１１０に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。

　操作入力部１２０は、携帯情報端末１００に対する操作指示の入力を行う指示入力部である。操作入力部１２０は、ボタンスイッチ等を並べた操作キー１２１、静電容量の変化に基づいてユーザの手指が触れたことを検出するタッチセンサ１２２、画像表示部１３１に重ねて配置したタッチパネル１２３、で構成される。更に、その他の操作デバイスとして、拡張インタフェース部１７０に接続したキーボード、有線通信または無線通信により接続された別体の携帯端末機器、等を用いても良い。あるいは音声入力により携帯情報端末１００の操作を行っても良い。なお、タッチセンサ１２２はセンサ部に触れた手指の指紋や掌紋を検出する機能を備える。

　画像処理部１３０は、画像表示部１３１、画像信号処理部１３２、第一画像入力部１３３、第二画像入力部１３４、第三画像入力部１３５、で構成される。画像表示部１３１は、例えば液晶パネル等の表示デバイスであり、画像信号処理部１３２で処理した画像データを表示し、携帯情報端末１００のユーザに提供する。画像信号処理部１３２は図示を省略したビデオＲＡＭを備え、入力した画像データに基づいて画像表示部１３１を駆動する。また、画像信号処理部１３２は、必要に応じて、符号化映像信号の復号処理、フォーマット変換処理、メニューやその他のＯＳＤ（On Screen Display）信号の重畳処理等を行う。第一画像入力部１３３と第二画像入力部１３４と第三画像入力部１３５は、インカメラ、アウトカメラなどの撮影ユニットであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換し、被写体の画像データを取り込む。

　音声処理部１４０は、音声出力部１４１、音声信号処理部１４４、音声入力部１４５、で構成される。音声出力部１４１はスピーカであり、音声信号処理部１４４で処理した音声信号を携帯情報端末１００のユーザに提供する。音声出力部１４１は、モノラルスピーカとステレオスピーカで構成される。音声信号処理部１４４は、必要に応じて、符号化音声信号の復号処理等を行う。音声入力部１４５はマイクであり、ユーザの声などを音声データに変換して入力する。

　センサ部１５０は、携帯情報端末１００の状態を検出するための各種センサ群である。センサとして、ＧＰＳ（Global Positioning System）受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、加速度センサ１５４を有し、携帯情報端末１００の位置、傾き、方角、動きを検出する。その他に、照度センサ、近接センサ、気圧センサ等を備え、周囲の明るさ、周囲物の近接状況等を検出しても良い。

　通信部１６０は、ＬＡＮ（Local Area Network）通信部１６１、電話網通信部１６２、ＮＦＣ（Near Field Communication）部１６３、で構成される。ＬＡＮ通信部１６１はアクセスポイント等を介してインターネット等のネットワークと接続され、ネットワーク上の各サーバ装置とデータの送受信を行う。電話網通信部１６２は、移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。ＮＦＣ部１６３は、対応するリーダ／ライタとの近接時に無線通信を行う。更に通信部１６０は、ＢｌｕｅＴｏｏｔｈ（登録商標）通信部や赤外線通信部を備えていても良い。

　拡張インタフェース部１７０は、携帯情報端末１００の機能を拡張するためのインタフェース群であり、映像／音声インタフェース、ＵＳＢ（Universal Serial Bus）インタフェース、メモリインタフェース等で構成される。映像／音声インタフェースは、外部映像／音声機器との間で映像信号／音声信号の入力／出力を行う。ＵＳＢインタフェースは、ＰＣやキーボード、その他のＵＳＢ機器と接続して、データの送受信を行う。メモリインタフェースは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

　なお、図２Ａに示した携帯情報端末１００の構成例は、本実施例の動作に必須ではない構成も多数含んでおり、これらが備えられていない構成であっても本実施例の効果を損なうことはない。

　［携帯情報端末のソフトウェア構成例］
  図２Ｂは、携帯情報端末１００のソフトウェア構成の一例を示す図である。ここには、ストレージ部１１０（或いはＲＯＭ１０３、以下同様）及びＲＡＭ１０４におけるソフトウェアの構成を示す。ストレージ部１１０には、基本動作プログラム１００１、状態検出プログラム１００２、ブレ検出プログラム１００３、表示制御プログラム１００４、領域制御プログラム１００５、その他の動作プログラム１００９、が記憶される。また、ストレージ部１１０は、携帯情報端末１００を識別可能な端末識別情報、携帯情報端末１００のユーザを識別可能なユーザ識別情報、その他の情報を記憶する各種情報記憶領域１０１９を備える。

　ストレージ部１１０に記憶された基本動作プログラム１００１はＲＡＭ１０４に展開され、更に主制御部１０１が前記展開された基本動作プログラムを実行することにより、基本動作部１１０１を構成する。同様に、状態検出プログラム１００２とブレ検出プログラム１００３と表示制御プログラム１００４と領域制御プログラム１００５とその他の動作プログラム１００９は、それぞれＲＡＭ１０４に展開され、更に主制御部１０１が前記展開された各動作プログラムを実行することにより、状態検出部１１０２とブレ検出部１１０３と表示制御部１１０４と領域制御部１１０５とその他の動作部１１０９を構成する。また、ＲＡＭ１０４は、各動作プログラム実行時に作成したデータを一時的に記憶する一時記憶領域１２００を備える。

　なお、以下では動作説明を簡単にするために、主制御部１０１がストレージ部１１０に記憶された基本動作プログラム１００１をＲＡＭ１０４に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作部１１０１が各動作ブロックの制御を行うものとして記述する。他の動作プログラムによる他の機能ブロックの動作に関しても、同様の記述を行う。

　状態検出部１１０２は、センサ部１５０のセンサ群を用いて携帯情報端末１００の動作状態（位置情報や揺れ状況など）を検出する処理を制御する。ブレ検出部１１０３は、第一画像入力部１３３から取得した画像に基づいて、携帯情報端末１００に対する操作指示物（ユーザの指やタッチペンなど）の相対的なブレ量を検出する。表示制御部１１０４は、ブレ検出部１１０３で検出した操作指示物のブレ量に応じて、画像表示部１３１の表示制御を行う。領域制御部１１０５は、ブレ検出部１１０３で検出した操作指示物のブレ量に応じて、タッチパネル１２３の操作検知領域の制御を行う。

　なお、前記各動作プログラムは、製品出荷の時点で、予めストレージ部１１０に記憶された状態とする。あるいは、製品出荷後に、ネットワーク上の各サーバ装置からＬＡＮ通信部１６１または電話網通信部１６２等を介して取得しても良い。また、メモリカードや光ディスク等に格納された前記各動作プログラムを、拡張インタフェース部１７０等を介して取得しても良い。

　［誤操作防止処理］
  以下では、携帯情報端末１００のタッチスクリーン１８０に対してタッチ操作を行う場合の、誤操作の発生と誤操作の防止処理について説明を行う。

　図３Ａは、携帯情報端末１００における誤操作発生を説明する図である。ユーザが電車や自動車等の車両に乗車中に携帯情報端末１００を使用する場合、車両の揺れに起因して誤操作が発生する。図面上段は、ユーザが操作中の携帯情報端末１００の前面（操作面）を、図面下段は携帯情報端末１００の下部側面を示す図である。

　例えば、ユーザが携帯情報端末１００を左手２０１で把持し、右手の指２００でタッチ操作を行う場合を想定する。（ａ）に示すように、タッチスクリーン１８０（画像表示部１３１）にはアイコン類などを含む画面（ホーム画面）１８０ａが表示されており、ユーザが指２００で目的のアイコン１８０ｉ１をタッチしようとする。そのとき車両の揺れがあると、（ｂ）に示すように、携帯情報端末１００を把持した左手が例えば左方向にぶれ、一方、右手の指２００が例えば右方向にぶれたとする。その結果、（ｃ）に示すように、ユーザは目的のアイコン１８０ｉ１ではなく、これに隣接する他のアイコン１８０ｉ２をタッチすることになり、誤操作が生じる。なお、車両の揺れに対して、携帯情報端末１００のブレの方向／大きさと右手の指２００のブレの方向／大きさとが一致していれば、誤操作は生じない。しかし実際には、ユーザの姿勢等によって両者のブレの方向／大きさが一致しない場合が多く、誤操作は避けられない。

　図３Ｂは、本実施例における誤操作防止処理を説明する図である。図３Ａと同じ操作状態において、誤操作防止処理を行う場合である。（ａ）に示すように、前面側にある第一画像入力部（インカメラ）１３３は、目的のアイコン１８０ｉ１をタッチしようとする指２００の画像を取得する。次に（ｂ）に示すように車両の揺れがあると、ブレ検出部１１０３は、第一画像入力部１３３が取得した指２００の画像を解析して、携帯情報端末１００の筐体位置を基準とした指２００の位置の変化、すなわち相対的なブレ量ΔＸを算出する。そして（ｃ）に示すように、表示制御部１１０４は、ブレ検出部１１０３により算出された指２００の相対的なブレ量ΔＸに基づいて、これに追従するように、タッチスクリーン１８０に表示されるアイコン類を含む画面を所定量ΔＸ’だけずらして１８０ｂのように表示させる。このときのずらし量ΔＸ’は、ブレ量ΔＸに等しくする、あるいはこれに所定の係数を乗じた量とする。当然ながら表示画面の移動に連動して、表示画面の各アイコン等に対応するタッチパネル１２３の操作検知領域も移動させる。この結果、ユーザは、乗車中の車両が揺れる状況においても、右手の指２００で目的のアイコン１８０ｉ１を正しくタッチすることが可能となる。

　なお、図３Ａ及び図３Ｂでは、携帯情報端末１００を把持するユーザの左手及びタッチ操作を行うユーザの右手が左右方向にぶれた場合について説明したが、前後方向や斜め方向にぶれた場合においても同様である。

　［インカメラの構成］
  図４は、携帯情報端末１００が備える二つのインカメラ（第一画像入力部１３３及び第二画像入力部１３４）の構成を説明する図であり、携帯情報端末１００の左側面から見た図である（つまり、操作面は図面上側となる）。

　（ａ）は第二画像入力部１３４を示し、自画撮り用インカメラとして用いる。カメラの画角は９０度程度であり、一般のスマートホンの場合と同様である。

　（ｂ）は第一画像入力部１３３を示し、前述の誤操作防止処理のために操作指示物（ユーザの指２００など）を撮影するインカメラとして用いる。この場合、指２００がタッチスクリーン１８０へ近接した状態でも撮影可能なように、第二画像入力部１３４よりも広い画角（例えば１８０度に近い画角）を有するように設定している。

　（ｃ）は第一画像入力部１３３の別の構成を示す。画角は第二画像入力部１３４と同程度（９０度程度）としながら、撮影方向をタッチスクリーン１８０側に傾けて取り付けている。これにより、タッチスクリーン１８０へ近接する指２００の撮影が可能となる。

　なお、本実施例の携帯情報端末１００においては、二つのインカメラ（第一画像入力部１３３及び第二画像入力部１３４）を備える構成としているが、これらを共通化することも可能である。その場合、図４（ｂ）に示す広角の画角を有する第一画像入力部１３３のみとして、誤操作防止用と自画撮り用の双方に用いる。ただし自画撮り用の場合は、取得した撮影画像を適宜トリミングする等の画像処理を行うようにする。

　［誤操作防止処理の動作フロー］
  図５Ａは、本実施例における誤操作防止処理を示すフローチャートである。以下の処理は、主に状態検出部１１０２とブレ検出部１１０３と表示制御部１１０４により制御される。なお、以下の誤操作防止処理を実行するか否かは、ユーザ設定等により選択可能とする。

　先ず、状態検出部１１０２が、センサ部１５０のＧＰＳ受信部１５１やジャイロセンサ１５２や加速度センサ１５４等から、携帯情報端末１００の位置情報や傾き情報や動き情報等を取得する（Ｓ１０１）。次に、状態検出部１１０２は、Ｓ１０１の処理で取得した各情報に基づいて、携帯情報端末１００を持つユーザが電車や自動車等の車両に乗車中であり、かつ車両の揺れが発生しているか否かの判断を行う（Ｓ１０２）。なお、ここで言う車両の揺れとは、単に車両が動いている状態ではなく、センサが検出する速度、または加速度が時間的に所定量以上に変化して、誤操作が生じやすくなる状態を意味する。

　Ｓ１０２の処理で、ユーザが車両に乗車中で、かつ車両の揺れが発生していると判断した場合は（Ｓ１０２：Ｙｅｓ）、Ｓ１０３の処理に進む。ユーザが車両に乗車中ではなく、あるいは乗車中であっても車両の揺れが発生していないと判断した場合は（Ｓ１０２：Ｎｏ）、Ｓ１０９の処理に進む。その場合は、以下に示すＳ１０３からＳ１０８までの誤操作防止処理を行わずに、通常のタッチ操作処理を行う。

　Ｓ１０３の処理では、ブレ検出部１１０３が、操作指示物（ユーザの指やタッチペンなど）を撮影する第一画像入力部（操作指示物撮影カメラ）１３３を起動し（Ｓ１０３）、タッチスクリーン１８０の表面側の画像を取得する（Ｓ１０４）。次に、ブレ検出部１１０３は、第一画像入力部１３３から取得した撮影画像を解析して、操作指示物の識別を行う（Ｓ１０５）。なお、識別処理向上のため、使用する操作指示物を予め登録しておくのが望ましい。Ｓ１０６の処理では、撮影画像の中に、操作指示物が存在するか否かを判定する。なお、この判定では、操作指示物が撮影画像の中に存在しても、ユーザがタッチ操作を行わない場合は除外する必要がある。具体的には、操作指示物がタッチスクリーン１８０から所定量以上離れているときは、操作指示物は存在しないと判定する。これについては、図５Ｂで後述する。

　Ｓ１０６の判定で操作指示物が存在する（識別できた）場合は（Ｓ１０６：Ｙｅｓ）、Ｓ１０７の処理に進む。Ｓ１０６の判定で操作指示物が存在しない（識別できない）場合は（Ｓ１０６：Ｎｏ）、Ｓ１０４の処理に戻り、再度カメラ画像の取得を行う。また、操作指示物が存在しない（識別できない）状態が所定時間以上続いた場合（Ｓ１０６：Time out）、Ｓ１０１の処理に戻る。或いは、ユーザが携帯情報端末１００を操作する意思が無いものと判断して、誤操作防止処理を終了しても良い。

　Ｓ１０７の処理では、ブレ検出部１１０３が、第一画像入力部１３３から取得した撮影画像を解析して、携帯情報端末１００の筐体の位置を基準とした操作指示物の相対的なブレ量を算出する（Ｓ１０７）。また、ブレ検出部１１０３は、前記算出した操作指示物の相対的なブレ量ΔＸを表示制御部１１０４に送る。表示制御部１１０４は、ブレ検出部１１０３から受け取った操作指示物の相対的なブレ量ΔＸに基づいて、これに追従するように、タッチスクリーン１８０（画像表示部１３１）に表示する表示画面をずらす処理を行う（Ｓ１０８）。このとき領域制御部１１０５は、表示制御部１１０４に連動して、表示画面の各アイコン等に対応するタッチパネル１２３の操作検知領域をずらす処理を行う。

　なお、表示画面のずらし量ΔＸ’は、Ｓ１０７の処理で算出した操作指示物の相対的なブレ量ΔＸと略同量としても良いが、前記相対的なブレ量ΔＸに所定の係数ｋ（≦１）を掛け合わせた量だけずらすようにしても良い（ΔＸ’＝ｋΔＸ）。例えば、係数ｋ＝０．５として、相対的なブレ量ΔＸの５０％程度だけ表示画面をずらしても良い。これは、タッチパネル１２３における各アイコンに対応する操作検知領域は所定の面積を有し、タッチ位置のわずかなずれは許容されること、また係数ｋ＜１とすることで表示画面の過敏なずらし処理をなくして、ユーザにとって操作しやすい画面となる効果がある。

　基本動作部１１０１は、前記Ｓ１０１～Ｓ１０８の処理を実行しつつ、タッチスクリーン１８０（タッチパネル１２３）に対する操作指示物のタッチ操作の有無の判定する（Ｓ１０９）。操作指示物のタッチ操作がある場合（Ｓ１０９：Ｙｅｓ）、タッチ操作に応じた各種処理を実行する（Ｓ１１０）。例えば、所定のアプリケーションのアイコンがタップされた場合には、該当するアプリケーションの起動を行う。Ｓ１０９の判定でタッチ操作が無い場合は、２通りに分岐する。Ｓ１０２の判定で車両乗車中（揺れ有り）と判断された場合（Ｓ１０９：Ｎｏ／乗車中）には、Ｓ１０４の処理に戻る。Ｓ１０２の判定で車両乗車中ではなく（また車両の揺れがない）と判断された場合（Ｓ１０９：Ｎｏ／乗車中以外）には、Ｓ１０１の処理に戻る。

　図５Ｂは、Ｓ１０６の処理（操作指示物の有無判定）の詳細を説明する図である。ここでは携帯情報端末１００と操作指示物（ユーザの指２００）の側面図を示し、第一画像入力部１３３で取得した撮影画面には、ユーザの指２００が含まれている。指２００とタッチスクリーン１８０との距離をＬとすると、ユーザがタッチ操作を行う場合には、必然的に距離Ｌは０になるが、距離Ｌが大きい場合は、タッチ操作以前の操作準備状態（例えばタッチ操作する目的のアイコンが定まっていない状態や、目的のアイコンを画面内で探している状態）である。このような距離Ｌが大きい準備状態において前述した誤操作防止処理を実行すると、指２００の動きに追従して表示画面（アイコン）が動くことになり、ユーザは目的のアイコンを選択できないという不都合を生じる。そこで、操作準備状態では前述の誤操作防止処理を行わないよう、言い換えればＳ１０６の処理で、操作指示物が存在しないものと判定するように制御する。

　具体的には、操作指示物とタッチスクリーン１８０との距離Ｌについて閾値Ｌ１を定め、Ｌ≦Ｌ１の場合は操作指示物が存在し、Ｌ＞Ｌ１の場合は操作指示物が存在しないものと判定する。なお、ユーザごとに操作の仕方（タッチ操作開始位置がタッチスクリーン１８０に近いか、遠いか）が異なるので、この閾値Ｌ１はユーザごとに適宜設定できることが好ましい。これにより、タッチ操作の準備期間は誤操作防止処理を無効にすることで、ユーザがタッチ操作する上で不都合が生じることはない。

　以上のように実施例１によれば、揺れる車両に乗車中のユーザが携帯情報端末１００を使用する場合であっても、操作指示部の相対的なブレ量に応じてこれに追従するように表示画面の位置をずらすようにしたので、タッチ操作位置のずれに伴う誤操作を防止することが可能となる。

　実施例２では、誤操作防止処理のため、表示画面の位置はそのままとしタッチ操作の検知領域をずらす処理を行う。なお、携帯情報端末１００の基本的な構成は実施例１と同様であり、以下では、実施例１との相違点に関して主に説明し、共通する部分の重複する説明を省略する。

　図６は、本実施例における誤操作防止処理を説明する図である。（ａ）～（ｃ）は、実施例１、図３Ｂの（ａ）～（ｃ）に対応する。ここで、タッチスクリーン１８０に表示される画面を１８０ａとし、各アイコンに対応するタッチパネル１２３上の操作検知領域を、破線枠１２３ａ、１２３ｂで示す。

　（ａ）に示すように、第一画像入力部（操作指示物撮影カメラ）１３３は、目的のアイコン１８０ｉ１をタッチしようとする指２００の画像を取得する。この状態では、各アイコンの操作検知領域１２３ａは、表示画面１８０ａの各アイコンの表示位置に一致している。次に（ｂ）に示すように車両の揺れがあると、ブレ検出部１１０３は、第一画像入力部１３３が取得した指２００の画像を解析して、携帯情報端末１００の筐体位置を基準とした指２００の位置の変化、すなわち相対的なブレ量ΔＸを算出する。

　（ｃ）においては、タッチスクリーン１８０に表示される画面１８０ａはそのままとし、領域制御部１１０５は、ブレ検出部１１０３により算出された指２００の相対的なブレ量ΔＸに基づいて、これに追従するように、表示される各アイコンに対応するタッチパネル１２３上の操作検知領域を１２３ｂのように所定量ΔＸ’だけずらして設定する。

　例えば、アイコン１８０ｉ１に対応する検知領域は、アイコン１８０ｉ１の表示位置よりも右方向にずれた位置（斜線で示す）に設定する。この結果、相対ブレにより指２００が目的のアイコン１８０ｉ１の表示領域よりも右方向にずれた位置をタッチした場合であっても、検知領域はこれに追従して設定されているので、アイコン１８０ｉ１を正しくタッチ操作したものとして検知される。

　実施例２の動作フローは、図５Ａに示したフローチャートの一部を変更する。すなわち、Ｓ１０８の処理において、領域制御部１１０５は、ブレ検出部１１０３から受け取った操作指示物の相対的なブレ量ΔＸに基づいて、表示画面の各アイコン等に対応するタッチパネル１２３の操作検知領域をΔＸ’だけずらす処理を行う。その際、操作指示物の相対的なブレ量ΔＸと検知領域のずらし量ΔＸ’との関係は、実施例１の場合と同様に、係数ｋ（≦１）を用いてΔＸ’＝ｋΔＸとすれば良い。その他の処理は、図５Ａに示したフローチャートと同様である。

　以上のように実施例２によれば、揺れる車両に乗車中のユーザが携帯情報端末１００を使用する場合であっても、操作指示部の相対的なブレ量に応じて操作検知領域の位置をずらすようにしたので、タッチ操作位置のずれに伴う誤操作を防止することが可能となる。

　実施例３では、誤操作防止処理のため、表示画面において各アイコンの表示間隔を広げるようにした。携帯情報端末１００の基本的な構成は実施例１と同様であり、以下では、実施例１との相違点に関して主に説明する。

　図７Ａは、本実施例における誤操作防止処理を説明する図である。（ａ）は、ユーザが車両に乗車中でなく、または乗車中であっても揺れが発生していない場合の表示画面１８０ａの例を示す。表示制御部１１０４は、表示画面１８０ａ内のアイコンの表示間隔を通常の間隔（画面横方向はｄ１、縦方向はｄ２）に設定している。一方（ｂ）は、ユーザが車両に乗車中で、かつ車両の揺れが発生している場合の表示画面１８０ｃの例を示す。表示制御部１１０４は、表示画面１８０ｃ内のアイコンの表示間隔を広めの間隔（画面横方向はｄ１’、縦方向はｄ２’）に設定している（ｄ１’＞ｄ１、ｄ２’＞ｄ２）。このように、車両が揺れた場合にはアイコン間隔を広げるようにしたので、ユーザの手の位置がぶれてもタッチ操作の誤操作を低減することができる。

　ここでは、誤操作防止処理のためアイコンの間隔を広げるようにしたが、これに連動して領域制御部１１０５が、表示画面の各アイコンに対応するタッチパネル１２３の操作検知領域を拡大させる処理を行うことで、誤操作の更なる低減効果が得られる。

　図７Ｂは、本実施例における誤操作防止処理を示すフローチャートである。以下の処理は、主に状態検出部１１０２と表示制御部１１０４により制御される。

　先ず、状態検出部１１０２が、センサ部１５０から携帯情報端末１００の位置情報や傾き情報や動き情報等を取得する（Ｓ３０１）。次に、状態検出部１１０２は、Ｓ３０１の処理で取得した各情報に基づいて、携帯情報端末１００を持つユーザが車両に乗車中であり、かつ車両の揺れが発生しているか否かの判断を行う。（Ｓ３０２）。

　Ｓ３０２の処理で、ユーザが車両に乗車中ではなく、あるいは乗車中であっても車両の揺れが発生していないと判断した場合は（Ｓ３０２：Ｎｏ）、Ｓ３０３へ進む。ユーザが車両に乗車中で、かつ車両の揺れが発生していると判断した場合は（Ｓ３０２：Ｙｅｓ）、Ｓ３０４へ進む。

　Ｓ３０３の処理では、表示制御部１１０４は、タッチスクリーン１８０上に表示するアイコンの間隔を通常の間隔（ｄ１、ｄ２）に設定して画面表示を行う。一方Ｓ３０４の処理では、タッチスクリーン１８０上に表示するアイコンの間隔を広めの間隔（ｄ１’、ｄ２’）に設定して画面表示を行う。その場合領域制御部１１０５は、表示画面の各アイコンに対応するタッチパネル１２３の操作検知領域を拡大させても良い。

　基本動作部１１０１は、前記Ｓ３０１～Ｓ３０４の処理を実行しつつ、タッチスクリーン１８０（タッチパネル１２３）に対する操作指示物のタッチ操作の有無の確認する（Ｓ３０５）。操作指示物のタッチ操作がある場合（Ｓ３０５：Ｙｅｓ）、タッチ操作に応じた各種処理を実行する（Ｓ３０６）。操作指示物のタッチ操作が無い場合（Ｓ３０５：Ｎｏ）、Ｓ３０１の処理に戻る。

　上記の説明において、車両の揺れが発生したときに設定するアイコンの間隔（ｄ１’、ｄ２’）は１通りとしたが、車両の揺れの大きさに応じて複数通りに設定することも可能である。

　以上のように実施例３によれば、揺れる車両に乗車中のユーザが携帯情報端末１００を使用する場合には、表示画面において各アイコンの表示間隔を広げて表示するようにしたので、タッチ操作位置のずれに伴う誤操作を防止することが可能となる。

　実施例４では、誤操作防止処理のため、ユーザがタッチ操作を行ったとき、そのタッチ操作が正しかったか否かの確認画面を表示するようにした。この処理は、単独でも、あるいは前記実施例１～３の処理と組み合わせても可能である。

　図８Ａは、本実施例における誤操作防止のための確認画面の図である。タッチスクリーン１８０に対して操作指示物（ユーザの指２００）のタッチ操作があった場合に、表示制御部１１０４は、操作確認用メッセージ１８０ｍを表示し、一旦動作を中断して、ユーザの応答を待つ。操作確認用メッセージ１８０ｍには、今行った操作が正しかった場合（正常操作）にユーザが応答する「ＯＫ」ボタンと、正しくなかった場合（誤操作）に応答する「Ｃａｎｃｅｌ」ボタンが表示されている。ユーザは今行ったタッチ位置から操作の正誤を判断し、いずれかのボタンを選択する。

　ユーザが「ＯＫ」ボタンを選択した場合は、今行ったタッチ操作を有効とし、タッチ操作に応じた各種処理を実行する。ユーザが「Ｃａｎｃｅｌ」ボタンを選択した場合は、今行ったタッチ操作を無効とし、再度ユーザのタッチ操作を受け付ける。

　図８Ｂは、本実施例における誤操作防止処理を示すフローチャートである。以下の処理は、主に状態検出部１１０２と表示制御部１１０４により制御される。

　先ず、状態検出部１１０２が、センサ部１５０から携帯情報端末１００の位置情報や傾き情報や動き情報等を取得する（Ｓ４０１）。次に、状態検出部１１０２は、Ｓ４０１の処理で取得した各情報に基づいて、携帯情報端末１００を持つユーザが車両に乗車中であり、かつ車両の揺れが発生しているか否かの判断を行う（Ｓ４０２）。

　Ｓ４０２の処理で、ユーザが車両に乗車中ではなく、あるいは乗車中であっても車両の揺れが発生していないと判断した場合は（Ｓ４０２：Ｎｏ）、Ｓ４０３へ進む。ユーザが車両に乗車中で、かつ車両の揺れが発生していると判断した場合は（Ｓ４０２：Ｙｅｓ）、Ｓ４０５へ進む。

　Ｓ４０３の処理では、基本動作部１１０１は、タッチスクリーン１８０（タッチパネル１２３）に対する操作指示物のタッチ操作の有無を確認する。操作指示物のタッチ操作がある場合（Ｓ４０３：Ｙｅｓ）、タッチ操作に応じた各種処理を実行する（Ｓ４０４）。操作指示物のタッチ操作が無い場合（Ｓ４０３：Ｎｏ）、Ｓ４０１の処理に戻る。

　Ｓ４０５の処理では、基本動作部１１０１は、タッチスクリーン１８０に対する操作指示物のタッチ操作の有無を確認する。操作指示物のタッチ操作がある場合は（Ｓ４０５：Ｙｅｓ）、前記タッチ操作が正しいか否かを確認するための操作確認用メッセージ１８０ｍ（ＯＫ／Ｃａｎｃｅｌボタン）を表示する（Ｓ４０６）。操作指示物のタッチ操作がない場合は（Ｓ４０５：Ｎｏ）、Ｓ４０１の処理に戻る。

　Ｓ４０７の処理では、前記操作確認用メッセージ１８０ｍに対するユーザの応答を受ける。ユーザがＯＫボタン（前記タッチ操作が正常操作）を選択した場合は（Ｓ４０７：ＯＫ）、前記タッチ操作に応じた各種処理を実行する（Ｓ４０８）。ユーザがＣａｎｃｅｌボタン（前記タッチ操作が誤操作）を選択した場合は（Ｓ４０７：Ｃａｎｃｅｌ）、Ｓ４０１の処理に戻る。

　以上のように実施例４によれば、揺れる車両に乗車中のユーザが携帯情報端末１００を使用する場合には、ユーザの行ったタッチ操作が正しかったか否かの確認画面が表示されるので、誤操作を行った場合にはすぐに修正操作に移行でき、ユーザの使い勝手が向上する。

　なお、上記実施例では、誤操作防止のため操作確認用メッセージ１８０ｍを表示するようにしたが、代わりに、タッチ状態の継続時間の長さによりタッチ操作の正誤を判断するようにしても良い。例えば、タッチ状態の継続時間が所定時間以上なら有効、所定時間未満なら無効と判断する。あるいは、ユーザによっては有効／無効の定義を逆に設定しても良い。更には、所定時間以上タッチ状態が継続した場合のみ、前記の操作確認用メッセージを表示するようにしても良い。

　更に、ユーザが誤ったアイコンをタッチしたことに気付いた場合、その操作が確定される前に、タッチスクリーン面に指を接触させたまま目的のアイコン位置まで指をスライドさせ、目的のアイコンを選択し直す操作も可能とする。そして、その状態で前記の操作確認用メッセージの表示を行うようにする。これにより、修正動作と確認動作を連続して行うことができる。なお、タッチ操作の確定待ちの状態で指を接触したままスライドさせる場合は、アイコンの表示位置は固定しておく。また、タッチ操作の確定待ちではない状態で指を接触したままスライドさせる場合は、アイコンの表示位置を動かす、という使い分けもして良く、これにより、更に利便性が向上する。

　実施例５では、携帯情報端末１００の使用形態として、ユーザの頭部に装着してＶＲ（Virtual Reality）等の表示が可能な視聴用装置について説明する。この場合にも同様に誤操作防止処理が有効となる。

　図９Ａは、視聴用装置１０を介して携帯情報端末１００を使用する状態を示す図である。携帯情報端末１００を視聴用装置（アダプタ）１０に挿入し、これをユーザ１が装着して使用する。（ａ）は視聴用装置１０を装着したユーザ１を真上から見た上面図、（ｂ）は視聴用装置１０を装着したユーザ１を正面から見た正面図である。このような視聴用装置１０を用いることで、ＨＭＤ（Head Mounted Display）と同様の機能を実現できる。あるいは視聴用装置１０の代わりに、携帯情報端末１００が眼前に配置されるように、ユーザ１が両手または片手で携帯情報端末１００を把持して使用する形態でも良い。

　視聴用装置１０は、スリット部２０にスマートホンやタブレット端末等の携帯情報端末１００を挿入して支持する構成である。ユーザ１は、携帯情報端末１００が挿入された視聴用装置１０を眼前に配置し、ベルト等を用いて頭部に固定する。携帯情報端末１００の表示画面（画像表示部１３１）は、アウトカメラである第三画像入力部１３５から入力した画像データ（カメラ画像）に、ＣＧ（Computer Graphics）等で作成した人工物を重畳するＶＲ（Virtual Reality）表示やＭＲ（Mixed Reality）表示等を行うことが可能である。また、透過型ディスプレイを備えたＨＭＤの場合、周辺風景にＣＧ等で作成した人工物を重畳するＡＲ（Augmented Reality）表示等を行うことが可能である。

　携帯情報端末１００の表示画面に表示された画像は、視聴用装置１０の内部に配置されたレンズ部１１を介してユーザ１の目に入射する。また、隔壁部１２は、左右それぞれのレンズ部１１を通過した画像の混合を防止する。なお、前述のスリット部２０やレンズ部１１や隔壁部１２等は、視聴用装置１０の内部構造を説明するものであり、通常時は外部に露出しない。また、通常時は、携帯情報端末１００を視聴用装置１０の筐体の一部が蓋のように覆い、ユーザ１の頭部の上下左右動の際にも、携帯情報端末１００の落下やずれを防止する構造とすることが望ましい。また、視聴用装置１０の筐体には窓１３が設けられており、携帯情報端末１００の背面に備えられた第三画像入力部１３５を露呈させる構造となる。

　図９Ｂは、本実施例における誤操作防止処理を説明する図であり、ユーザが携帯情報端末１００を操作する状態を示す。ユーザ１は、携帯情報端末１００の第三画像入力部１３５から入力した画像データを画像表示部１３１を介して視認することにより、仮想視認範囲１８０ｓを得る。また、仮想視認範囲１８０ｓ内には、所定距離前方位置に仮想操作パネル１８０ｔが配置される。ユーザ１は、実体の指２００にて仮想操作パネル１８０ｔ内のアイコン等を操作することにより、携帯情報端末１００に対して操作指示を与えることができる。

　例えば、車両に乗車中のユーザ１が、右手の指２００で仮想操作パネル１８０ｔ上の目的のアイコンをタッチ操作する場合を想定する。車両の揺れにより、例えばユーザの頭部が左方向にぶれることに伴い仮想操作パネル１８０ｔが左方向にぶれ、一方右手の指２００は右方向にぶれることがある。その結果、仮想操作パネル１８０ｔ上の目的のアイコンではなく他のアイコンをタッチしてしまい、誤操作が生じる。

　これに対し、前述の実施例１と同様の誤操作防止処理を適用することができる。携帯情報端末１００の第三画像入力部（アウトカメラ）１３５は、仮想操作パネル１８０ｔ上に対しタッチ操作しようとする指２００の画像を取得する。ブレ検出部１１０３は、第三画像入力部１３５が取得した指２００の画像を解析して、仮想操作パネル１８０ｔの表示位置（或いは、携帯情報端末１００の筐体位置）を基準とした、指２００の相対的なブレ量を算出する。更に、表示制御部１１０４は、前記算出した指２００の相対的なブレ量ΔＸに基づいて、仮想視認範囲１８０ｓ内における仮想操作パネル１８０ｔの表示位置をΔＸ’だけずらして表示させるように制御を行う。

　その場合、図５Ｂで説明した操作指示物（指２００）の有無判定を導入することも可能である。すなわち、携帯情報端末１００から指２００までの距離を補助光発光／赤外線測距器１３６により測定することで、仮想操作パネル１８０ｔから指２００までの距離Ｌを算出できる。そして、距離Ｌが閾値以下の場合のみ誤操作防止処理を有効とすれば良い。また、本実施例の仮想操作パネル１８０ｔの場合は、視線方向も含めて３次元的に表示位置をずらしても良い。この結果、ユーザが視聴用装置１０を介して携帯情報端末１００を使用する場合にも、車両の揺れに伴う誤操作を防止することが可能となる。

　以上、本発明の実施形態を実施例１～５を用いて説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、タッチスクリーン上に表示されるアイコン（オブジェクト）は静止しているものとして説明したが、アイコンが動いている場合についても本発明の誤操作防止処理を適用することが可能であり、同様の効果が得られる。また、オブジェクトはアイコンに限らず、地図などの画像を表示し、ユーザが地図上のある位置をタッチ操作で指定する場合にも有効である。

　各実施例の間では、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予め携帯情報端末１００のＲＯＭ１０３やストレージ部１１０等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。

　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

　１０…視聴用装置、１００…携帯情報端末、１２３…タッチパネル、１２３ａ，ｂ…操作検知領域、１３１…画像表示部、１３３…第一画像入力部（操作指示物撮影カメラ）、１３４…第二画像入力部（インカメラ）、１３５…第三画像入力部（アウトカメラ）、１５０…センサ部、１８０…タッチスクリーン、１８０ａ，ｂ，ｃ…表示画面、１８０ｉ…アイコン、１８０ｍ…操作確認用メッセージ、１８０t…仮想操作パネル、２００…ユーザの指（操作指示物）、１１０１…基本動作部、１１０２…状態検出部、１１０３…ブレ検出部、１１０４…表示制御部、１１０５…領域制御部。

Claims (7)

1. 　画像表示部とタッチパネル部とを有するタッチスクリーンを備え、前記タッチスクリーンに対するタッチ操作により指示を行う携帯情報端末であって、
   　前記画像表示部にタッチ操作の対象となるオブジェクトを表示させる表示制御部と、
   　前記タッチスクリーンに対してタッチ操作を行う操作指示物の映像を取得する画像入力部と、
   　前記画像入力部が取得した前記操作指示物の映像を解析して、前記携帯情報端末の位置を基準とした前記操作指示物の相対的なブレ量を算出するブレ検出部と、を備え、
   　前記ブレ検出部で算出した前記操作指示物の相対的なブレ量に基づいて、前記表示制御部は、前記画像表示部に表示するオブジェクトを前記相対的なブレ量に追従するようにずらして表示させることを特徴とする携帯情報端末。
2. 　請求項１に記載の携帯情報端末であって、
   　前記携帯情報端末の状態を検出する状態検出部を備え、
   　前記状態検出部が、前記携帯情報端末の状態が車両乗車中でなく、または車両乗車中であっても揺れが生じていないと判断した場合には、前記表示制御部は、前記画像表示部に表示するオブジェクトをずらさずに表示させることを特徴とする携帯情報端末。
3. 　請求項２に記載の携帯情報端末であって、
   　前記ブレ検出部は、前記画像入力部が取得した前記操作指示物の映像から前記操作指示物と前記タッチスクリーンとの距離を測定し、該距離が閾値より大きい場合は前記操作指示物が存在しないものと判定し、前記表示制御部は、前記画像表示部に表示するオブジェクトをずらさずに表示させることを特徴とする携帯情報端末。
4. 　請求項２に記載の携帯情報端末であって、
   　前記状態検出部が、前記携帯情報端末の状態が車両乗車中で、かつ揺れが生じていると判断した場合には、前記タッチスクリーンに対しタッチ操作が行われたとき、前記表示制御部は、前記画像表示部にタッチ操作が正しかったか否かの確認画面を表示させることを特徴とする携帯情報端末。
5. 　画像表示部とタッチパネル部とを有するタッチスクリーンを備え、前記タッチスクリーンに対するタッチ操作により指示を行う携帯情報端末であって、
   　前記画像表示部にタッチ操作の対象となるオブジェクトを表示させる表示制御部と、
   　前記タッチパネル部において、前記画像表示部に表示されるオブジェクトに対応するタッチ操作の検知領域を制御する領域制御部と、
   　前記タッチスクリーンに対してタッチ操作を行う操作指示物の映像を取得する画像入力部と、
   　前記画像入力部が取得した前記操作指示物の映像を解析して、前記携帯情報端末の位置を基準とした前記操作指示物の相対的なブレ量を算出するブレ検出部と、を備え、
   　前記ブレ検出部で算出した前記操作指示物の相対的なブレ量に基づいて、前記領域制御部は、前記画像表示部に表示されるオブジェクトに対応するタッチ操作の検知領域を、前記相対的なブレ量に追従するようにずらして設定することを特徴とする携帯情報端末。
6. 　請求項５に記載の携帯情報端末であって、
   　前記携帯情報端末の状態を検出する状態検出部を備え、
   　前記状態検出部が、前記携帯情報端末の状態が車両乗車中でなく、または車両乗車中であっても揺れが生じていないと判断した場合には、前記領域制御部は、前記画像表示部に表示されるオブジェクトに対応するタッチ操作の検知領域をずらさずに設定することを特徴とする携帯情報端末。
7. 　画像表示部とタッチパネル部とを有するタッチスクリーンを備え、前記タッチスクリーンに対するタッチ操作により指示を行う携帯情報端末であって、
   　前記画像表示部にタッチ操作の対象となるオブジェクトを表示させる表示制御部と、
   　前記携帯情報端末の状態を検出する状態検出部を備え、
   　前記状態検出部が、前記携帯情報端末の状態が車両乗車中で、かつ揺れが生じていると判断した場合には、前記表示制御部は、前記画像表示部に表示するオブジェクトの間隔を広げて表示させることを特徴とする携帯情報端末。

Images