JP2024063217A - 操作方法 - Google Patents

Abstract

【課題】指の位置を非接触で検出して入力操作を行う場合、指の動きの無効な動作には反応せず、意図した入力操作に応じて正しく処理を実行する入力端末装置を提供すること。【解決手段】位置入力対象物を介してユーザの操作を入力する入力端末装置において、ユーザが操作する位置入力対象物の位置を非接触で検出する位置検出部と、位置検出部で検出した位置に基づいてカーソルを表示する表示部と、位置検出部で検出した位置に基づいて対応する操作処理を実行させる操作処理制御部を備える。操作処理制御部は、操作処理の実行に関する複数の動作モードを有し、該動作モードの１つには、位置入力対象物の位置に応じたカーソルの移動以外のいずれの操作処理も実行しない状態を含む。操作処理制御部は、ユーザが位置入力対象物を介して特定の操作を行った場合、複数の動作モードを切り替える構成とする。【選択図】図５

Description

本発明は、手首等に装着して使用する小型の入力端末装置および操作入力方法に関する。

近年、通話だけでなく種々の情報の検索やメールの送受信、予定の管理などの処理を行うスマートフォンのような携帯情報端末が急速に普及している。しかし、これらの携帯情報端末は移動の際に鞄やポケットに収納されることが多く、受信したメールの確認等を行うためには、一々鞄やポケットから携帯情報端末を取り出す必要がある。このため、これらの携帯情報端末と無線通信により接続した腕時計のようなより小型の入力用の端末装置が開発されている。

スマートフォンのような携帯情報端末ではタッチパネルにより情報の表示および指による入力を行なえるが、小型の入力端末装置では、タッチパネルも小さくなるため、指のタッチにより細かな操作入力を行うのが困難になる。そのため、ユーザの手の甲を入力面として用いる非接触の入力方式が提案されている。

例えば、特許文献１に記載のリストバンド型入力デバイスでは、本体部に発光部と受光部を設けて、手の甲や手のひら上の指先の位置を非接触で検知することにより、文字を入力可能にする構成となっている。

特開２０１４－１０６７６５公報

従来のタッチパネル等を用いた文字入力方法では、ユーザの指がパネル面に接触しているときは指の動きに従って文字の描画を行い、ユーザの指がパネル面から離れているときは描画を行わないように、入力の有効期間と無効期間を区別して入力できる。これにより、線分や点などの複数の「画」から構成される文字を入力する場合、有効な「画」の部分と、「画」と「画」との間を移動する無効な部分とを区別することで、所望の文字を正しく入力できる。

一方、特許文献１等の非接触入力方法では、指先が通過した手の甲上の複数の格子ポイントを検出し、そのドットマトリクス情報から入力した文字を認識している。しかしながら、指先の通過位置に関し、文字を構成する「画」に対する有効な部分と、「画」と「画」との間を移動する無効な部分とを区別していない。すなわち、「画」とは関係ない無効な部分まで文字の一部として検出することで、入力した文字が誤って認識され易いという課題がある。言い換えれば、文字描画の開始点と終了点が不明確であるということである。この無効部分を予め予想して除外するとしても、入力時に書き順が異なっている場合や、濁点を含む文字や画数が多い文字を入力する場合には、無効部分の軌跡が一定しないことから、誤入力は避けられないと思われる。

本発明の目的は、指の位置を非接触で検出して入力操作を行う場合、指の動きの無効な動作には反応せず、意図した入力操作に応じて正しく処理を実行する入力端末装置を提供することである。

本発明は、位置入力対象物を介してユーザの操作を入力する入力端末装置において、前記ユーザが操作する前記位置入力対象物の位置を非接触で検出する位置検出部と、前記位置検出部で検出した位置に基づいてカーソルを表示する表示部と、前記位置検出部で検出した位置に基づいて対応する操作処理を実行させる操作処理制御部を備え、前記操作処理制御部は、前記操作処理の実行に関する複数の動作モードを有し、該動作モードの１つには、前記位置入力対象物の位置に応じた前記カーソルの移動以外のいずれの操作処理も実行しない状態を含み、前記操作処理制御部は、前記ユーザが前記位置入力対象物を介して特定の操作を行った場合、前記複数の動作モードを切り替える。

また本発明は、位置入力対象物を介してユーザの操作を入力する操作入力方法において、前記ユーザが操作する前記位置入力対象物の位置を非接触で検出する位置検出ステップと、前記位置検出ステップで検出した位置に基づいてカーソルを表示部に表示する表示ステップと、前記位置検出ステップで検出した位置に基づいて対応する操作処理を実行する操作処理ステップを備え、前記操作処理ステップは、前記操作処理の実行に関する複数の動作モードを有し、該動作モードの１つには、前記位置入力対象物の位置に応じた前記カーソルの移動以外のいずれの操作処理も実行しない状態を含み、前記操作処理ステップは、前記ユーザが前記位置入力対象物を介して特定の操作を行った場合、前記複数の動作モードを切り替える。

本発明によれば、指の位置を非接触で検出して入力操作を行う場合、指の動きの無効な動作には反応せず、意図した入力操作に応じて正しく処理を実行する入力端末装置を提供できる。

入力端末装置の構成を示すブロック図（実施例１）。 入力端末装置のソフトウェア構成の一例を示す図。 入力端末装置の外観を示す図。 指操作モードの検出原理を示す図。 手書き文字入力処理における表示部の表示例を示す図。 入力端末装置全体の動作切り替えを示すフローチャート。 動作モードとそれに対応するカーソル表示の例を示す図。 手書き文字入力処理における画面表示の例を示す図。 図７における動作モードと描画位置の時間変化を示す図。 指操作モードによる手書き文字入力処理を示すフローチャート。 図９における動作モードの判定処理Ｓ６０５を示すフローチャート。 キー文字入力処理のための表示部の構成を示す図（実施例２）。 指操作モードによるキー文字入力処理の例を示す図。 指操作モードによるキー文字入力処理を示すフローチャート。 図１３における動作モードの判定処理Ｓ１１０５を示すフローチャート。 マウス操作入力処理で使用する動作モードとカーソル表示の例を示す図（実施例３）。 マウス操作入力処理における画面表示の例を示す図。 指操作モードによるマウス操作入力処理を示すフローチャート。 図１７における動作モードの判定処理Ｓ１５０４を示すフローチャート。 ３Ｄ指操作モードの検出原理を示す図（実施例４）。 ３Ｄ指操作モードにおける画面表示の例を示す図。 ３Ｄ指操作モードによるマウス操作入力処理を示すフローチャート。 キー文字入力処理における画面表示の例を示す図。 レイヤー間に遷移領域を設けた場合の画面表示の例を示す図（実施例５）。 レイヤー間に遷移領域を設けた場合のマウス操作入力処理を示すフローチャート。

以下、本発明の実施形態を、図面を用いて説明する。

実施例１では、入力端末装置の構成と、指位置を検出して手書き文字を入力する場合について説明する。

図１Ａは、実施例１に係る入力端末装置１の構成を示すブロック図であり、その内部構成（ハードウェア構成）を説明する。入力端末装置１はスマートフォン等の携帯情報端末２と接続して使用する。本実施例の入力端末装置１は、操作入力機能として、光反射を用いる指操作モード（非接触検出方式）とタッチ操作モード（接触検出方式）とを備えている。

主制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成され、ＲＯＭ（Read Only Memory）１０２或いはＲＡＭ（Random Access Memory）１０３に記憶された各種の動作プログラム及びデータに従って入力端末装置１の全体を制御する。システムバス１００は制御部１０１と入力端末装置１内の各部との間でデータ送受信を行うためのデータ通信路である。

ＲＯＭ１０２は、入力端末装置１を制御するための各種プログラムが格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭを用いる。ＲＡＭ１０３は、ＲＯＭ１０２に記憶されたプログラムの実行時の一時記憶領域、或いは指位置検出センサ１０６で検出した指の位置情報の一時記憶として使用する。ストレージ部１０４は、入力端末装置１の動作設定値等の情報を記憶し、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）のような不揮発性で書き換え可能なデバイスを用いる。ＲＯＭ１０２及びＲＡＭ１０３は主制御部１０１と一体構成であってもよい。また、ＲＯＭ１０２は独立構成とはせず、ストレージ部１０４内の一部記憶領域を使用する構成でもよい。

加速度センサ１０５は、入力端末装置１の加速度を検出するセンサである。指位置検出センサ１０６は、ユーザの指或いはペンなどの位置入力対象物の位置を反射光により非接触で検出するセンサである。近距離無線通信部１０７は、無線通信により携帯情報端末２と接続し、入力端末装置１に入力された情報を送信する。通信方式としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などが用いられる。

表示制御部１０８は、入力された文字や入力端末装置１の種々の設定画像などを表示部１０９ａに表示するのを制御する。タッチパネル１０９は、表示部１０９ａとタッチ操作入力部１０９ｂとを備える。表示部１０９ａは液晶パネルなどの表示デバイスであり、表示制御部１０８の制御により文字や画像などを表示する。タッチ操作入力部１０９ｂは、表示部１０９ａの表示面に配置される。

タッチ操作入力部１０９ｂは、例えば静電容量式などのタッチパッド方式の入力デバイスであり、指やタッチペンなどによる接触操作を操作入力として検出する。具体的には、例えば、指でタッチパネルにタッチした後にタッチしたまま指を特定の方向に移動させるスワイプと呼ばれるジェスチャー、指でタッチパネルにタッチした後に所定値以上の速度で指を移動させてから指をリリースさせるフリックと呼ばれるジェスチャー、指でタッチパネルにタッチした後に素早くリリースするタップと呼ばれるジェスチャー等を検出する。これによって、入力端末装置１へのタッチ方式での操作入力が可能となる。

計時部１１０は、例えばユーザが設定した日時・時刻からの経過時間をＲＴＣ（Real Time Clock）回路を用いて計測を行い、日時・時刻情報を出力する。主制御部１０１は、計時部１１０から出力される日時・時刻情報を読み込むことでタイマ等の処理を行う。操作入力部１１１は、入力端末装置１に対する操作指示の入力を行う指示入力部であり、電源のオン／オフや操作モードの設定を行うためのボタンを有する。

このように本実施例の入力端末装置１は、ユーザの指の位置を非接触で検出して文字等を入力する指位置検出センサ１０６と、指をタッチパネル１０９に接触することで操作入力するタッチ操作入力部１０９ｂと、文字や画像などを表示する表示部１０９ａを備える構成としている。これにより、指操作モードとタッチ操作モードの２つの操作入力機能を可能にしている。

図１Ｂは、入力端末装置１のソフトウェア構成の一例を示す図であり、ＲＯＭ１０２、ＲＡＭ１０３及びストレージ部１０４におけるソフトウェアの構成を示す。

主制御部１０１は、ＲＯＭ１０２に記憶されたプログラムを実行することにより、基本動作処理制御部１０２１、指位置情報取得部１０２２、タッチ位置情報取得部１０２３を構成する。また、ＲＡＭ１０３は、ＲＯＭ１０２に記憶されたプログラムを実行する際に必要に応じてデータを一時的に保持する一時記憶領域１０３１を備える。ストレージ部１０４には、ＲＯＭ１０２に記憶されたプログラムを実行する際の設定情報１０４１が記憶されている。なお、以下では説明を簡単にするために、主制御部１０１がＲＯＭ１０２に格納されたプログラム実行することにより、各動作ブロックの制御を行うものとして記述する。

基本動作処理制御部１０２１は、入力端末装置１の各種設定や全体の動作を制御する。指位置情報取得部１０２２は、指位置検出センサ１０６の出力に基づいてユーザの指やペンなどの位置入力対象物の位置情報を取得する。タッチ位置情報取得部１０２３は、タッチ操作入力部１０９ｂの出力に基づいて指やタッチペンなどがタッチパネル１０９に接触した位置情報を取得する。

指操作処理制御部１０２４では、指位置情報取得部１０２２から取得した位置入力対象物の位置の情報に基づいて、どのような操作が入力されたかを判定し、判定結果に対応した処理の制御を行う。タッチ操作処理制御部１０２４では、タッチ位置情報取得部１０２３から取得したタッチパネル１０９をタッチした位置の情報に基づいて、どのような操作が入力されたかを判定し、判定結果に対応した処理の制御を行う。

図２は、入力端末装置１の外観を示す図である。腕時計タイプの入力端末装置であり、ユーザの手首に装着して使用する。装置表面側にはタッチパネル１０９（表示部１０９ａ）を配置する。装置側面のユーザの手の甲側には、指位置検出センサ１０６として２個のセンサ１０６ａ，１０６ｂを配置する。これらのセンサは、例えば発光／受光素子からなる。また、装置側面のユーザの腕側には、操作入力部１１１として操作ボタンを配置している。

図３は、指操作モードの検出原理を示す図で、指の位置と表示部の表示位置の関係を示す。ユーザの指（位置入力対象物）ＰＳは、例えばユーザの手の甲側の位置Ａ－Ｂ－Ｃ－Ｄ内で移動する。指位置検出センサ１０６ａ，１０６ｂは、赤外線発光素子と受光素子から構成され、発光素子から出射された赤外光は指ＰＳで反射され、受光素子で反射光を検出する。受光素子での検出信号のレベルは、各センサ１０６ａ，１０６ｂから指ＰＳまでの距離Ｌａ，Ｌｂに対応したものとなる。

指位置検出センサ１０６の出力信号は指位置情報取得部１０２２に送られ、位置Ａ－Ｂ－Ｃ－Ｄで表される位置入力検出範囲Ｐａにおける指ＰＳの位置Ｆを取得する。また、位置入力検出範囲Ｐａの位置Ａ－Ｂ－Ｃ－Ｄは、タッチパネル１０９の表示部１０９ａの表示範囲Ｄａの位置ａ－ｂ－ｃ－ｄにそれぞれ対応している。これより、位置入力検出範囲Ｐａにおける指ＰＳの位置Ｆに対応して、表示範囲Ｄａにおけるカーソル等の表示位置ｆが決定される。

図４は、手書き文字入力処理における表示部１０９ａの表示例を示す図である。領域５０１は、入力された手書き文字を認識した結果を表示し、領域５０２は、指により入力された手書き文字を表示する。文字入力処理のためユーザが選択するボタン５０３として、手書き文字を認識させる処理を選択する認識処理指示ボタン５０３ａ、ひらがなやアルファベット等の入力する文字の種類を切り替える文字種切替処理指示ボタン５０３ｂ、入力した手書き文字の表示を消去する消去処理指示ボタン５０３ｃ、領域５０１に表示された認識結果の文字列を漢字等に変換する処理を選択する文字変換処理指示ボタン５０３ｄ、手書き文字入力処理を終了する終了処理指示ボタン５０３ｅなどを配置している。

図５は、入力端末装置１全体の動作切り替えを示すフローチャートである。ここでは、操作入力部１１１でのボタン押下操作により、電源オン／オフと操作入力モード（指操作モード／タッチ操作モード）の切り替えを行う。

Ｓ３０１では、操作入力部１１１の出力の取り込みを行い、Ｓ３０２では操作入力部１１１が押されている否かを判定する。操作入力部１１１が押されている場合（Ｙｅｓ）にはＳ３０６に分岐する。Ｓ３０６では、操作入力部１１１が押されている時間を判定し、電源オン／オフの切り替えまたは操作入力モードの切り替え処理に進む。

判定処理Ｓ３０６で操作入力部１１１が所定の時間Ｔｐ以上押されている場合（Ｙｅｓ）には、Ｓ３１３に分岐し電源がオン状態か否かによりオン／オフ切り替えの処理を行う。Ｓ３１３で電源がオン状態の場合（Ｙｅｓ）には、Ｓ３１４に分岐し電源をオフしてＳ３０１に戻る。電源をオフした場合には、消費電力を低減するため、主制御部１０１、計時部１１０、および操作入力部１１１などを除く部位への電源の供給を停止する。Ｓ３１３で電源がオフ状態の場合（Ｎｏ）には、Ｓ３１５に分岐し電源をオンしてＳ３０１に戻る。電源をオンした場合には、入力端末装置１を構成する各部に電源を供給する。

判定処理Ｓ３０６で操作入力部１１１が所定の時間Ｔｐ以上押されていない場合（Ｎｏ）には、Ｓ３０７に分岐し電源がオン状態か否かを判定する。電源がオフの場合（Ｎｏ）にはＳ３０１に戻る。電源がオンの場合（Ｙｅｓ）にはＳ３０８に分岐する。

Ｓ３０８では、操作入力モードの切り替え処理を行う。すなわち、現在の操作入力モードが指操作モードに設定されている場合（Ｙｅｓ）には、Ｓ３０９にてタッチ操作モードに切り替え設定し、Ｓ３１０ではタッチパネル１０９の表示部１０９ａにカーソルの表示を行わないように設定する。現在の操作入力モードが指操作モードに設定されていない場合（Ｎｏ）には（すなわちタッチ操作モードに設定されている場合には）、Ｓ３１１にて指操作モードに切り替え設定し、Ｓ３１２ではタッチパネル１０９の表示部１０９ａにカーソルの表示を行うように設定する。

判定処理Ｓ３０２で操作入力部１１１が押されていない場合（Ｎｏ）には、Ｓ３０３に進み、設定されている操作入力モードに従い処理を行う。指操作モードの場合（Ｙｅｓ）にはＳ３０４に進み、指位置情報取得部１０２２から取得した指の位置の情報に基づいてどのような操作が入力されたかを判定し、判定結果に対応した処理を実行する。指操作モードではない場合（Ｎｏ）には（すなわちタッチ操作モードの場合には）Ｓ３０５に進み、タッチ位置情報取得部１０２３から取得したタッチした位置の情報に基づいてどのような操作が入力されたかを判定し、判定結果に対応した処理を実行する。指操作実行処理Ｓ３０４或いはタッチ操作実行処理Ｓ３０５での処理を実行後、Ｓ３０１に戻る。

以下、指操作モードにおける手書き文字入力処理について具体的に説明する。本実施例では、指操作に対して複数の動作状態（動作モード）を与えることで、手書きによる文字入力を正しくかつ容易に行えるようにしている。

図６は、動作モードとそれに対応するカーソル表示の例を示す図である。動作モードＭ０は、指を操作してもカーソル移動以外の文字入力のための描画を行わない状態（描画停止）である。動作モードＭ１は、指を操作するとその位置に応じて文字入力のための描画を実行する状態である。また、現在の動作モードをユーザが容易に識別できるように、動作モードに応じてカーソルの表示（例えば白／黒表示）を切り替える。なお、動作モードの切り替えは、後述するように、操作中の指を操作面内のある位置に所定時間ｔ０以上保持するという特定の操作を行うことで、動作モードをＭ０からＭ１へ、あるいは逆にＭ１からＭ０へ切り替えることができる。

これより、動作モードがＭ１のときのみ描画が可能となる。よって、線分や点などの複数の「画」から構成される文字を入力する場合、有効な「画」の部分に対して動作モードをＭ１に設定し、「画」と「画」との間を移動する無効な部分に対して動作モードをＭ０に設定することで、所望の文字を容易に正しく入力できるようになる。

図７は、手書き文字入力処理における画面表示の例を示す図である。ここではひらがなの「あ」を入力する場合を例とする。文字入力の手順を（Ｓ１）～（Ｓ９）で示し、そのときの動作モード（Ｍ０／Ｍ１）を付記している。

以下の説明で、カーソルをある位置に「保持」すると表現しているが、カーソルの位置が所定の距離ｒ０以内で動き（ブレ）があってもこれを許容し、「保持」状態と見なすものとする。このｒ０はユーザの意図しない動き（手振れなど）によるもので、例えば数ｍｍ程度の値とする。また、「保持」状態と判定するための時間ｔ０は、例えば数ｓｅｃ程度の値とする。これらの閾値は、ユーザや使用環境に応じて設定してもよい。

（Ｓ１)：動作モードがＭ０（描画停止）の状態において、指ＰＳを位置入力検出範囲Ｐａ内で動かすことにより、カーソルを文字入力表示領域５０２の位置７ａに移動させる。
（Ｓ２）：カーソルを位置７ａの位置に所定の時間ｔ０以上保持する。これにより、動作モードがＭ１（描画実行）に切り替わり、またカーソルの表示が変わる。

（Ｓ３）：カーソルの表示が変わったところで指を移動させ、カーソルを文字入力表示領域５０２の位置７ｂに移動させる。これにより、位置７ａから位置７ｂまでの線が描画される。
（Ｓ４）：カーソルを位置７ｂで所定の時間ｔ０以上保持する。これにより、動作モードがＭ０（描画停止）に切り替わり、またカーソルの表示が変わる。

（Ｓ５）：カーソルの表示が変わったところで指を移動させ、カーソルを文字入力表示領域５０２の位置７ｃに移動させる。
（Ｓ６）：位置７ｃで所定の時間ｔ０以上保持する。これにより、動作モードがＭ１に切り替わり、またカーソルの表示が変わる。

以下、同様に描画動作を継続する。すなわち、描画を行う場合には動作モードをＭ１としてカーソルを移動させ、描画を行わない場合には動作モードをＭ０としてカーソルを移動させる。また、カーソルを移動した位置に所定の時間ｔ０以上保持することで動作モードを切り替えることで手書き文字入力を行う。

（Ｓ７)：ひらがなの「あ」の描画が完了すると、位置７ｄに所定の時間ｔ０以上保持する。これにより、動作モードがＭ０に切り替わり、カーソルの表示が変わる。
（Ｓ８）：認識処理指示ボタン５０３ａにカーソルを移動させる。
（Ｓ９）：カーソルを認識処理指示ボタン５０３ａに所定の時間ｔ０以上保持することで認識処理が実行され、認識した結果が表示領域５０１に表示される。

図８は、図７における動作モードと描画位置の時間変化を示す図である。（ａ）は位置入力対象物（ユーザの指）ＰＳの位置、（ｂ）は動作モード、（ｃ）は表示部描画位置を示す。横軸の（Ｓ１）～（Ｓ６）と記号（７ａ）～（７ｃ）は、図７における記号に対応している。このように、描画が行われるのは、動作モードがＭ１の期間のみであり、位置入力対象物ＰＳを同じ位置に時間ｔ０以上保持することで動作モードの切り替えが行われる。

図９は、指操作モードによる手書き文字入力処理を示すフローチャートである。以下、各処理の内容を順に説明する。

Ｓ６０１では、指位置情報取得部１０２２により指ＰＳの位置Ｆを取得し、Ｓ６０２では、取得した指ＰＳの位置Ｆを図３で説明したように表示範囲Ｄａにおける位置ｆに変換する。次にＳ６０３では、位置ｆとＲＡＭ１０３の一時記憶領域に記憶されている前回取得した位置ｆｄとの距離ｒが、所定の距離ｒ０以下か否かを判定する。

判定処理Ｓ６０３において、距離ｒが所定の距離ｒ０以上の場合（Ｎｏ）にはＳ６１７に分岐する。Ｓ６１７では、位置ｆが文字入力表示領域５０２の表示範囲内か否かを判定する。位置ｆが文字入力表示領域５０２の範囲内の場合（Ｙｅｓ）には、Ｓ６１８に分岐する。位置ｆが文字入力表示領域５０２の範囲外の場合（Ｎｏ）には、Ｓ６２０に分岐する。Ｓ６２０では動作モードをＭ０に設定し、Ｓ６１５に進む。

Ｓ６１８では設定されている動作モードを判定する。動作モードがＭ０の場合には、描画処理を行わずＳ６１５に進む。動作モードがＭ１の場合にはＳ６１９に分岐し、表示範囲Ｄａにおける位置ｆｄから位置ｆまでの描画処理を行い、Ｓ６１５に進む。

一方、判定処理Ｓ６０３において、距離ｒが所定の距離ｒ０以下の場合（Ｙｅｓ）にはＳ６０４に分岐する。Ｓ６０４では、位置ｆが表示範囲Ｄａにおいて文字入力を行う所定の領域５０２の表示範囲内、或いは処理指示ボタン５０３の表示範囲内か否かを判定する。位置ｆが文字入力表示領域５０２或いは処理指示ボタン５０３の表示範囲内の場合（Ｙｅｓ）には、Ｓ６０５に進む。位置ｆが文字入力表示領域５０２或いは処理指示ボタン５０３の表示範囲外の場合（Ｎｏ）には、Ｓ６１５に進む。

Ｓ６０５ではタイマにより動作モードを判定する。すなわち、保持時間を所定時間ｔ０と比較し動作モードの切り替えを行う。なお、Ｓ６０５の判定処理の詳細は図１０で説明する。Ｓ６０６では、判定した動作モードに応じて分岐処理を行う。動作モードがＭ０の場合にはＳ６１５に進み、動作モードがＭ１の場合にはＳ６０７に進む。Ｓ６０７では、位置ｆが処理指示ボタン５０３の表示範囲内か否かを判定する。位置ｆが処理指示ボタン５０３の表示範囲内の場合（Ｙｅｓ）にはＳ６０８に進み、位置ｆが処理指示ボタン５０３の表示範囲外の場合（Ｎｏ）にはＳ６１５に進む。

Ｓ６０８では、位置ｆが５０３ａから５０３ｅのどの処理指示ボタンの表示範囲かより分岐処理を行う。位置ｆが認識処理指示ボタン５０３ａの表示範囲内の場合には、Ｓ６０９に進み認識処理を実行する。位置ｆが文字種切替処理指示ボタン５０３ｂの表示範囲内の場合には、Ｓ６１０に進み文字種切り替え処理を実行する。位置ｆが消去処理指示ボタン５０３ｃの表示範囲内の場合には、Ｓ６１１に進み消去処理を実行する。位置ｆが変換処理指示ボタン５０３ｄの表示範囲内の場合には、Ｓ６１２に進み変換処理を実行する。
各々の処理を実行後、Ｓ６１３に進みタイマをリセット・停止し、Ｓ６１４では動作モードをＭ０に設定する。位置ｆが終了処理指示ボタン５０３ｅの表示範囲内の場合には、手書き文字入力処理を終了する。

Ｓ６１５では、設定されている動作モードに応じて、例えば図６に示すようなカーソルを表示範囲Ｄａの位置ｆに表示する。次にＳ６１６では、現在位置ｆを前回位置ｆｄとして置換し、ＲＡＭ１０３の一時記憶領域に記憶し、Ｓ６０１に戻る。

図１０は、図９における動作モードの判定処理Ｓ６０５を示すフローチャートである。

Ｓ７０１では、タイマが起動されているか否かを判定する。タイマが起動されていない場合（Ｎｏ）には、Ｓ７０２に進みタイマを起動し、処理を終了する。タイマが起動されている場合（Ｙｅｓ）には、Ｓ７０３に進む。

Ｓ７０３では、タイマが所定の時間ｔ０を超えたか否かを判定する。所定の時間ｔ０を超えていない場合（Ｎｏ）には処理を終了する。所定の時間ｔ０を超えている場合（Ｙｅｓ）にはＳ７０４に進む。

Ｓ７０４では、動作モードによる分岐処理を行う。動作モードがＭ０の場合にはＳ７０５に進み、動作モードをＭ１に切り替え設定する。動作モードがＭ１の場合にはＳ７０６に進み、動作モードをＭ０に切り替え設定する。その後Ｓ７０７に進み、タイマをリセット・停止して処理を終了する。

以上のように、実施例１では、ユーザの指などの位置入力対象物の表示画面上の位置を所定の距離ｒ０以内で所定の時間ｔ０以上保持することで動作モードを切り替え、描画を行う場合には動作モードをＭ１としてカーソルを移動させ、描画を行わない場合には動作モードをＭ０としてカーソルを移動させる。これにより、複数の画数の文字を入力する場合にも、画と画の間の移動を非描画区間として区別することができ、書き順が違っていても意図した文字を容易に正しく入力することが可能となる。また、漢字等のより複雑な文字も入力することが可能となる。

また、処理指示ボタンが表示された領域にカーソルを移動させ、カーソルを移動した位置から所定の距離ｒ０以内の位置を所定の時間ｔ０以上保持することで処理指示ボタンに対応した処理を行うことができ、処理指示ボタンが表示された位置にマウスなどの入力手段でカーソルを移動させてクリックしたのと同様の操作を行うことができる。

なお、本実施例では処理指示ボタンとして認識処理指示ボタン５０３ａ、文字種切替処理指示ボタン５０３ｂ、消去処理指示ボタン５０３ｃ、文字変換処理指示ボタン５０３ｄ、終了処理指示ボタン５０３ｅで構成された例を示したが、これに限定することなく、他の処理指示ボタンを設けるようにしてもよい。

また、本実施例ではタッチパネル１０９による操作入力モード（タッチ操作モード）と指位置検出センサ１０６による操作入力モード（指操作モード）の切り替えを操作入力部１１１により行うようにしたが、他の方法で切り替えるようにしてもよい。例えば手の甲を指でタップした場合、加速度センサ１０５により振動が検出され、タッチパネル１０９ではタッチの検出がされないことから、タッチパネル１０９の検出結果と加速度センサ１０５の検出結果により手の甲がタップされたことを判断し、手の甲を指でタップした場合には操作入力モードを切り替えるようにしてもよい。

また、本実施例では、動作モードを切り替えるための特定の操作として、ユーザの指などの位置入力対象物の表示画面上の位置を所定の距離ｒ０以内で所定の時間ｔ０以上保持する操作を採用したが、これに限らない。他の特定の操作として、例えば、位置入力対象物を移動させることでカーソルを移動させ、移動した位置で手の甲をタップすることで動作モードを切り替えるようにしてもよい。

実施例２では、キーボードのように画面に表示されたキーを選択することで入力を行う場合について説明する。小型の携帯情報端末では、表示部１０９ａに表示されるキーも小さくなり、タッチパネル１０９を指でタッチすることにより入力するのは困難になる。そこで、指操作モードによりキー文字入力を行う。

図１１は、キー文字入力処理のための表示部１０９ａの構成を示す図である。領域１００１はキー文字入力された文字を表示する部分で、文字入力キー１００２は入力する文字を選択するためのキーである。キー１００３は各種の処理を指示するためのものであり、ひらがなやアルファベット等の入力する文字の種類を切り替える文字種切替処理指示キー１００３ａ、領域１００１に表示されている入力文字を削除する削除処理指示キー１００３ｂ、キー文字入力処理を終了する終了処理指示キー１００３ｃなどで構成される。

図１２は、指操作モードによるキー文字入力処理の例を示す図であり、ここでは、アルファベットの「Ｙ」を入力する場合を例とする。入力の手順を（Ｓ１）～（Ｓ４）で説明する。

（Ｓ１）：動作モードがＭ０の状態において、指ＰＳを位置入力検出範囲Ｐａ内で動かすことにより、カーソルを文字入力キー「ＷＸＹＺ」が表示された位置１２ａに移動させる。
（Ｓ２）：カーソルを位置１２ａに所定の時間ｔ０以上保持する（この場合も、所定の距離ｒ０以内の動きは許容する。以下同様である）。これにより、動作モードがＭ１に切り替え設定され、文字「Ｗ」「Ｘ」「Ｙ」「Ｚ」を選択する表示が行われる。

（Ｓ３）：文字選択表示されたところで、指を移動させ、カーソルを文字「Ｙ」が表示されている位置１２ｂに移動させる。
（Ｓ４）：カーソルを位置１２ｂに所定の時間ｔ０以上保持する。これにより、文字「Ｙ」が入力文字として決定され、入力文字表示領域１００１に文字「Ｙ」が表示される。文字入力が完了すると、動作モードはＭ０に切り替わる。

図１３は、指操作モードによるキー文字入力処理を示すフローチャートである。

Ｓ１１０１では、指位置情報取得部１０２２により指ＰＳの位置Ｆを取得し、Ｓ１１０２では、取得した指ＰＳの位置Ｆを表示範囲Ｄａにおける位置ｆに変換する。次にＳ１１０３では、位置ｆと前回取得した位置ｆｄとの距離ｒが、所定の距離ｒ０以下か否かを判定する。

判定処理Ｓ１１０３において、距離ｒが所定の距離ｒ０以上の場合（Ｎｏ）にはＳ１１１４に分岐する。距離ｒが所定の距離ｒ０以下の場合（Ｙｅｓ）にはＳ１１０４に分岐する。Ｓ１１０４では、位置ｆが文字入力キー１００２或いは処理指示キー１００３の表示領域内か否かを判定する。判定処理Ｓ１１０４において、位置ｆが文字入力キー１００２或いは処理指示キー１００３の表示領域内の場合（Ｙｅｓ）にはＳ１１０５に分岐し、文字入力キー１００２或いは処理指示キー１００３の表示領域外の場合（Ｎｏ）にはＳ１１１４に分岐する。

Ｓ１１０５ではタイマにより動作モードを判定する。すなわち、保持時間を所定時間ｔ０と比較し動作モードの切り替えを行う。なお、Ｓ１１０５の判定処理の詳細は図１４で説明する。Ｓ１１０６では、判定した動作モードに応じて分岐処理を行う。動作モードがＭ０の場合にはＳ１１１４に進み、動作モードがＭ１の場合にはＳ１１０７に進む。Ｓ１１０７では、文字選択表示がオンの状態か否かを判定する。

判定処理Ｓ１１０７において、文字選択表示がオンの場合（Ｙｅｓ）にはＳ１１１６に進み、文字選択表示がオフの場合（Ｎｏ）にはＳ１１０８に進む。Ｓ１１１６では、位置ｆが文字選択表示領域内か否かを判定する。位置ｆが文字選択領域内の場合（Ｙｅｓ）にはＳ１１１７に進み、位置ｆが文字選択表示領域外の場合（Ｎｏ）にはＳ１１１４に進む。Ｓ１１１７では、位置ｆに表示された文字を入力文字として決定し、入力文字表示領域１００１に表示する。Ｓ１１１８では文字選択表示をオフとし、Ｓ１１１２に進む。

Ｓ１１０８では、位置ｆが文字入力キー１００２或いは処理指示キー１００３のいずれのキーの表示領域内か否かにより分岐処理を行う。位置ｆが文字入力キー１００２の表示領域内の場合には、Ｓ１１０９に進み文字選択表示をオンとし、位置ｆに表示されたキーに対応した文字の選択表示を行なう。位置ｆが文字種切替処理指示キー１００３ａの表示領域内の場合には、Ｓ１１１０に進み文字種切替処理を実行する。位置ｆが削除処理指示キー１００３ｂの表示領域内の場合には、Ｓ１１１１に進み削除処理を実行する。各々の処理を実行後、Ｓ１１１２に進みタイマをリセット・停止し、Ｓ１１１３では動作モードをＭ０に設定する。位置ｆが終了処理指示キー１００３ｃの表示領域内の場合にはキー文字入力処理を終了する。

Ｓ１１１４では、設定されている動作モードに応じて、例えば図６に示すようなカーソルを表示範囲Ｄａの位置ｆに表示する。次にＳ１１１５では、現在位置ｆを前回位置ｆｄとして置換し、ＲＡＭ１０３の一時記憶領域に記憶してＳ１１０１に戻る。

図１４は、図１３における動作モードの判定処理Ｓ１１０５を示すフローチャートである。

Ｓ１２０１では、タイマが起動されているか否かを判定する。タイマが起動されていない場合（Ｎｏ）には、Ｓ１２０２に進みタイマを起動し、処理を終了する。タイマが起動されている場合（Ｙｅｓ）には、Ｓ１２０３に進む。

Ｓ１２０３では、タイマが所定の時間ｔ０を超えたか否かを判定する。所定の時間ｔ０を超えていない場合（Ｎｏ）には処理を終了する。所定の時間ｔ０を超えている場合（Ｙｅｓ）にはＳ１２０４に進む。

Ｓ１２０４では、動作モードをＭ１に切り替え設定する。この場合、図１３のＳ１１１３にて、キー文字入力実行後の動作モードはＭ０に切り替わるので、Ｍ１からＭ０への切り替えは不要である。その後Ｓ１２０５に進み、タイマをリセット・停止して処理を終了する。

以上のように実施例２では、文字入力キー或いは処理指示キーを表示した位置にカーソルを移動させ、移動したカーソルの位置から所定の距離ｒ０以内の位置を所定の時間ｔ０以上保持することで入力する文字の選択或いは実行する処理の指示を容易に行うことが可能となる。これにより、文字入力キー或いは処理指示キーが表示された位置にマウスなどの入力手段でカーソルを移動させてクリックしたのと同様の操作を行うことができる。

なお、本実施例では処理指示キーとして文字種切替処理指示キー１００３ａ、削除処理指示キー１００３ｂ、終了処理指示キー１００３ｃで構成された例を示したが、これに限定することなく、他の処理指示に対応したキーを設けるようにしてもよい。また、文字入力キーについても、アルファベットやひらがなの一文字が一つのキーに対応したようなキーボードや、数字の入力に対応したキーボードを表示して入力するようにしてもよい。

実施例３では、マウスによるクリックやダブルクリック、ドラッグ・アンド・ドロップのような操作（以下、マウス操作入力処理と呼ぶ）を指操作モードで実現する。これに対応するため、本実施例では動作モードの種類を増設している。

図１５は、マウス操作入力処理で使用する動作モードとカーソル表示の例を示す図である。ここでは６種類の動作モードＭ０～Ｍ５を使用する。動作モードＭ０は、指を操作してもカーソル移動以外の入力操作を行わない状態である。動作モードＭ１～Ｍ５は、それぞれ、クリック処理（Ｍ１）、ダブルクリック処理（Ｍ２）、ドラッグ処理の開始（Ｍ３）、ドラッグ処理の終了（Ｍ４）、ドロップ処理（Ｍ５）のマウス操作を行う状態である。また各動作モードに応じて、カーソルの表示（形状および／または色表示）を切り替える。なお、動作モードの切り替えは、後述するように、操作中の指を操作面内のある位置に保持する時間の長さを３通りの閾値ｔ０，ｔ１，ｔ２と比較して行う。

図１６は、マウス操作入力処理における画面表示の例を示す図である。表示部１０９ａには、ウィンドウ画面（ホーム画面）としてアプリケーションＡ～Ｄに対応したアイコン群１４０１が表示されている。ユーザは、アイコンをクリックすることで所望のアプリケーションを選択し、ダブルクリックすることでアプリケーションを実行し、ドラッグ・アンド・ドロップすることでアイコンの表示位置の移動を行うことができる。一連の処理の流れを（Ｓ１）～（Ｓ７）で説明する。

（Ｓ１）：動作モードがＭ０の状態において、指を位置入力検出範囲内で動かすことにより、カーソルをアイコン［Ｄ］が表示された位置１４ａに移動させる。
（Ｓ２）：カーソルを位置１４ａに所定の時間（ｔ０～ｔ１の範囲）保持する。これにより、動作モードがＭ１（クリック処理）に切り替わり、マウス操作対象としてアイコン「Ｄ」が選択される。また、カーソルの表示は、図１５のＭ１に対応した表示に変わる。その後、所定の時間ｔ１が経過するまでに指を任意に動かすことで（この場合、カーソルを位置１４ａから所定の距離ｒ０以上離れた位置に移動させる）、選択されたアイコン「Ｄ」に対してクリック処理が実行される。

（Ｓ３）：カーソルを位置１４ａにて所定の時間ｔ１以上保持すると、動作モードがＭ２（ダブルクリック処理）に切り替わり、カーソルが図１５に示すＭ２に対応した表示に変わる。その後、所定の時間ｔ２が経過するまでに指を任意に動かすことで（カーソルを位置１４ａから所定の距離ｒ０以上移動させる）、選択されたアイコン「Ｄ」に対してダブルクリック処理が実行される。

（Ｓ４）：カーソルを位置１４ａに所定の時間ｔ２以上保持すると、動作モードがＭ３（ドラッグ処理開始）に切り替わり、カーソルが図１５に示すＭ３に対応した表示に変わる。
（Ｓ５）：その後、指を動かしカーソルを位置１４ａから所定の距離ｒ０以上離れた位置１４ｂに移動させることで、動作モードがＭ４（ドラッグ処理終了）に切り替わる。これにより、カーソルは図１５に示すＭ４に対応した表示に変わる。また、カーソルを移動させた位置１４ｂにマウス操作対象として選択されたアイコン「Ｄ」が移動して表示され、選択したアイコンの位置を移動させるドラッグ処理が実行される。

（Ｓ６）：さらに指を動かして、カーソル及び選択されたアイコン［Ｄ］を位置１４ｃに移動させ、カーソルを位置１４ｃに所定の時間ｔ０以上保持する。これにより、動作モードがＭ５（ドロップ処理）に切り替わり、位置１４ｃにドロップ処理が実行される。
（Ｓ７）：ドロップ処理により、選択されたアイコン「Ｄ」の表示位置が１４ｃに設定される。その後、動作モードがＭ０に切り替わり、カーソルはＭ０に対応した表示となる。

図１７は、指操作モードによるマウス操作入力処理を示すフローチャートである。

Ｓ１５０１では、指位置情報取得部１０２２により指ＰＳの位置Ｆを取得し、Ｓ１５０２では、取得した指ＰＳの位置Ｆを表示範囲Ｄａにおける位置ｆに変換する。次にＳ１５０３では、位置ｆと前回取得した位置ｆｄとの距離ｒが所定の距離ｒ０以下か否かを判定する。

判定処理Ｓ１５０３において、距離ｒが所定の距離ｒ０以下の場合（Ｙｅｓ）にはＳ１５０４に分岐し、Ｓ１５０４では、タイマにより動作モードを判定する。すなわち、保持時間を所定時間ｔ０、ｔ１、ｔ２と比較し動作モードの切り替えを行う。なお、Ｓ１５０４の判定処理の詳細は、図１８で説明する。その後Ｓ１５０５では、Ｓ１５０４で判定した動作モードがＭ５か否かを判定する。動作モードがＭ５の場合（Ｙｅｓ）には、Ｓ１５０８に分岐し、動作モードがＭ５ではない場合（Ｎｏ）には、Ｓ１５０６に分岐する。Ｓ１５０８では、ドラッグ処理により選択されたアイコンの表示位置を位置ｆに設定するド
ロップ処理を実行し、Ｓ１５０９に進む。

Ｓ１５０６では、位置ｆがアイコンの表示領域内か否かを判定する。位置ｆがアイコンの表示領域内の場合（Ｙｅｓ）にはＳ１５０７に分岐し、アイコンの表示領域外の場合（Ｎｏ）にはＳ１５０９に分岐する。Ｓ１５０７では、位置ｆが表示領域内にあるアイコンをマウス操作対象として選択し、Ｓ１５１８に進む。Ｓ１５０９では動作モードをＭ０に設定し、Ｓ１５１０に進む。Ｓ１５１０ではタイマをリセット・停止して、Ｓ１５１８に進む。

一方、判定処理Ｓ１５０３において、距離ｒが所定の距離ｒ０以上の場合（Ｎｏ）にはＳ１５１１に分岐する。Ｓ１５１１では動作モードに応じて以下の分岐処理を行う。
動作モードがＭ０の場合には処理を行わずにＳ１５１８に進む。
動作モードがＭ１の場合にはＳ１５１５に進み、Ｓ１５０７でマウス操作対象として選択したアイコンに対してクリック処理を行い、Ｓ１５１６に進む。
動作モードがＭ２の場合には、Ｓ１５１４に進み、Ｓ１５０７でマウス操作対象として選択したアイコンに対してダブルクリック処理を行い、Ｓ１５１６に進む。
動作モードがＭ３の場合には、Ｓ１５１３に進み、動作モードをＭ４の設定し、Ｓ１５１７に進む。
動作モードがＭ４の場合には、Ｓ１５１２に進み、Ｓ１５０７でマウス操作対象として選択したアイコンを位置ｆに表示する。これにより、選択したアイコンの位置を移動させるためのドラッグ処理が行われ、次にＳ１５１８に進む。

Ｓ１５１６では動作モードをＭ０に設定し、Ｓ１５１７ではタイマをリセット・停止して、Ｓ１５１８に進む。Ｓ１５１８では、現在の動作モードに応じて、図１５に示すようなカーソルを表示範囲Ｄａの位置ｆに表示する。次にＳ１５１９では、現在位置ｆを前回位置ｆｄとして置換し、ＲＡＭ１０３の一時記憶領域に記憶して、Ｓ１５０１に戻る。

図１８は、図１７における動作モードの判定処理Ｓ１５０４を示すフローチャートである。

Ｓ１６０１では、タイマが起動されているか否かを判定する。タイマが起動されていない場合（Ｎｏ）には、Ｓ１６０２に進みタイマを起動し、処理を終了する。タイマが起動されている場合（Ｙｅｓ）には、Ｓ１６０３に進む。

Ｓ１６０３では、動作モードがＭ４か否かを判定する。動作モードがＭ４の場合（Ｙｅｓ）にはＳ１６０４に進む。Ｓ１６０４では、タイマが所定の時間ｔ０を超えたか否かを判定し、所定の時間ｔ０を超えていない場合（Ｎｏ）には処理を終了する。所定の時間ｔ０を超えている場合（Ｙｅｓ）には、Ｓ１６０５に進み動作モードをＭ５に設定し、処理を終了する。判定処理Ｓ１６０３において、動作モードがＭ４ではない場合（Ｎｏ）にはＳ１６０６に進む。

Ｓ１６０６ではタイマの経過時間に応じて以下の分岐処理を行う。なお、以下の時間閾値は、ｔ０＜ｔ１＜ｔ２の関係とする。
タイマが所定の時間ｔ０を超えていない場合（タイマ≦ｔ０）には、処理を終了する。
タイマが所定の時間ｔ０とｔ１の間の時間の場合（ｔ０＜タイマ≦ｔ１）には、Ｓ１６０９に進み動作モードをＭ１に設定し、処理を終了する。
タイマが所定の時間ｔ１とｔ２の間の時間の場合（ｔ１＜タイマ≦ｔ２）には、Ｓ１６０８に進み動作モードをＭ２に設定し、処理を終了する。
タイマが所定の時間ｔ２を超えている場合（タイマ＞ｔ２）には、Ｓ１６０７に進み動作モードをＭ３に設定し、処理を終了する。

以上のように実施例３では、カーソルを移動した位置から所定の距離ｒ０以内の位置を保持する時間の長さに応じて動作モードをＭ０～Ｍ５に切り替える。そして、動作モードが切り替わった後に、スマートフォンのタッチ操作におけるフリック動作のようにカーソルを所定の距離ｒ０以上離れた位置に移動させることにより、マウスによるクリックやダブルクリック、ドラッグ・アンド・ドロップのような操作を指操作入力モードで実現することが可能となる。また、動作モードが切り替わったことをカーソルの表示の変化により確認することができ、ユーザが意図したマウス操作を容易に行うことが可能となる。

実施例４では、ユーザの指の位置を３次元的に検出して入力操作を行う場合（以下、３Ｄ指操作モードと呼ぶ）について説明する。

図１９は、３Ｄ指操作モードの検出原理を示す図で、指の位置と表示部の表示位置の関係を示す。入力端末装置１の表示部１０９ａに対して平行な方向（ＸＹ軸方向）だけでなく垂直な方向（高さＺ軸方向）の指ＰＳの位置を検出し、入力操作を行う。図では、検出した指（位置入力対象物）ＰＳの位置Ｆと表示部１０９ａの表示位置ｆの関係を示す。

３次元的に指位置を検出するため、３個の指位置検出センサ１０６ａ，１０６ｂ，１０６ｃを設けている。各センサ１０６ａ～１０６ｃは、例えば赤外線発光素子と受光素子からなり、各センサ１０６ａ～１０６ｃからは、指ＰＳまでの距離Ｌａ，Ｌｂ、Ｌｃに対応したレベルの信号が出力される。指位置情報取得部１０２２では各センサ１０６ａ～１０６ｃからの出力信号に基づいて、位置Ａ－Ｂ－Ｃ－Ｄ―Ａ’－Ｂ’－Ｃ’－Ｄ’で囲まれる位置入力検出範囲（空間）Ｐａにおける指ＰＳの位置Ｆを取得する。取得した位置ＦのＸＹ軸方向の位置に対応して、表示部１０９ａの位置ａ－ｂ－ｃ－ｄで囲まれる表示範囲Ｄａにおける位置ｆが決定され、例えばカーソル等が表示される。一方、取得した位置ＦのＺ軸方向の位置に対応して、後述するように複数の表示画面の切り替えを行う。

図２０は、３Ｄ指操作モードにおける画面表示の例を示す図である。ここでは、操作用の画面として、アイコンを配置したウィンドウ画面（ホーム画面）を表示している。表示部１０９ａ対する高さＺ方向の位置をＺ０～Ｚ３を境界として複数のレイヤーＬ０，Ｌ１，Ｌ２に分割する。指ＰＳがどのレイヤーに位置するかに応じて、ウィンドウ画面を切り替えて表示する。各レイヤーにおける表示状態を（Ｓ１）～（Ｓ３）で示す。

（Ｓ１）：指ＰＳの位置Ｆ０が高さ方向Ｚ０～Ｚ１の範囲（レイヤーＬ０）の場合には、ウィンドウ画面にアプリケーションＡ～Ｄに対応したアイコン群１９０１を表示する。
（Ｓ２）：指ＰＳの位置Ｆ１が高さ方向Ｚ１～Ｚ２の範囲（レイヤーＬ１）の場合には、ウィンドウ画面にアプリケーションＥ～Ｈに対応したアイコン群１９０２を表示する。
（Ｓ３）：指ＰＳの位置Ｆ２が高さ方向Ｚ２～Ｚ３の範囲（レイヤーＬ２）の場合には、ウィンドウ画面にアプリケーションＩ～Ｌに対応したアイコン群１９０３を表示する。

その後、実施例３で説明したマウス操作入力処理を実行する。すなわち、表示されたアイコンをクリックすることでアプリケーションを選択し、アイコンをダブルクリックすることでアプリケーションを実行し、アイコンをドラッグ・アンド・ドロップすることでアイコンの表示位置の移動が行われる。

このように、３Ｄ指操作モードによれば、複数のレイヤー毎に走査用の画面表示を切り替えることができるので、多数のアプリケーション（アイコン）に対し容易にマウス操作入力処理を行うことができる。

図２１は、３Ｄ指操作モードによるマウス操作入力処理を示すフローチャートである。実施例３（図１７）と同じ処理については同一符号を付し、繰り返しの説明を省略する。

Ｓ１５０１では、指位置情報取得部１０２２により指ＰＳの３次元位置Ｆを取得し、Ｓ１５０２では、取得した位置ＦのＸＹ方向の位置を図１９で説明したように表示範囲Ｄａにおける位置ｆに変換する。次にＳ１５２０では、取得した位置ＦのＺ方向の位置がどのレイヤーの範囲内かを判別する。Ｓ１５２１では、判別したレイヤーＬＮがＲＡＭ１０３の一時記憶領域に記憶されている前回判別したレイヤーＬＮｄと同じか否かを判定する。
判定の結果、判別したレイヤーＬＮが前回判別したレイヤーＬＮｄと同じ場合（Ｙｅｓ）にはＳ１５０３に進む。Ｓ１５０３以降の処理は図１７と同じであり、説明を省略する。
判定の結果、判別したレイヤーＬＮが前回判別したレイヤーＬＮｄと異なる場合（Ｎｏ）にはＳ１５２２に進む。

Ｓ１５２２では、動作モードがＭ３またはＭ４か否かを判定する。動作モードがＭ３またはＭ４の場合（Ｙｅｓ）にはＳ１５２３に進み、動作モードがＭ３またはＭ４ではない場合（Ｎｏ）、Ｓ１５２５に進む。Ｓ１５２５では動作モードをＭ０に設定し、Ｓ１５２６に進む。Ｓ１５２６ではタイマをリセット・停止して、Ｓ１５２３に進む。

Ｓ１５２３では、判別したレイヤーＬＮを前回判別レイヤーＬＮｄとして置換し、ＲＡＭ１０３の一時記憶領域に記憶してＳ１５２４に進む。Ｓ１５２４では、判別したレイヤーＬＮに対応したウィンドウ画面（ホーム画面）を表示するように表示部１０９ａの画面を更新し、Ｓ１５１１に進む。Ｓ１５１１以降の処理は各動作モードＭ０～Ｍ４に従ったマウス操作入力処理であるが、図１７と同じであり、説明を省略する。

以上のように、ユーザの指の３次元位置を検出して操作入力を行うことで、高さＺ方向の位置に応じて複数のレイヤーに分割し、各レイヤーに対応した操作用のウィンドウ画面（ホーム画面）を表示することが可能となる。また、各レイヤーのウィンドウに表示されたアイコンに対して、クリックやダブルクリック、ドラッグ・アンド・ドロップのようなマウス操作を行うことも可能となる。

上記の例では、複数のレイヤー毎に異なるアプリケーションに対応したアイコンをウィンドウ画面に表示するものであったが、これに限らず、レイヤー毎に異なる操作面の表示を行うことが可能である。

例えば、図２２は、キー文字入力処理における画面表示の例を示す図である。キー文字入力処理において、レイヤー毎に異なる文字種のキーボードを表示部に表示する。

（Ｓ１）：指ＰＳの位置Ｆ０がレイヤーＬ０の範囲内の場合には、アルファベットや記号を入力するキーボードを表示する。
（Ｓ２）：位置Ｆ１がレイヤーＬ１の範囲内の場合には、ひらがなを入力するキーボードを表示する。
（Ｓ３）：位置Ｆ２がレイヤーＬ２の範囲内の場合には、数字を入力するキーボードを表示する。
これにより、ユーザは指ＰＳの高さＺ方向の位置を変えることで、入力する文字種を容易に変更することができる。

このように実施例４によれば、３Ｄ指操作モードにより複数のレイヤー毎に画面表示や操作内容を切り替えることができるので、多種類の操作を容易に実現することができる。なお、使用する操作の種類によりレイヤーの数をユーザが適宜設定するようにしてもよい。

実施例５では、３Ｄ指操作モードにおいて、複数のレイヤー間の切り替えを円滑に行うため、レイヤー間に遷移領域を設けた構成について説明する。

図２３は、レイヤー間に遷移領域を設けた場合の画面表示の例を示す図である。指ＰＳの高さＺ方向の位置を複数のレイヤーＬ０～Ｌ２に分割するとともに、各レイヤーの境界にはレイヤー遷移領域Ｔ０１，Ｔ1２を設けている。実施例４と同様に、各レイヤーＬ０～Ｌ２に対応して異なる操作用のウィンドウ画面（ここではアイコン群）を表示するが、レイヤー遷移領域Ｔ０１，Ｔ1２においては、隣接するいずれかのレイヤーに対応したウィンドウ画面を表示させる。以下、指ＰＳの高さ方向の動きに沿って画面表示の変化を説明する。

まず、指ＰＳの位置をＦ０からＦ４（すなわち、レイヤーＬ０からＬ２）に向かって移動させた場合について、（Ｓ１）～（Ｓ５）で説明する。

（Ｓ１）：指ＰＳの位置Ｆ０はレイヤーＬ０の範囲内にあり、ウィンドウ画面にアプリケーションＡ～Ｄに対応したアイコン群２１０１を表示する。
（Ｓ２）：指ＰＳの位置Ｆ１がレイヤーＬ０とＬ１の間のレイヤー遷移領域Ｔ０１に移動した場合は、直前のレイヤーＬ０で表示したウィンドウ画面（アイコン群２１０１）を継続して表示する。その際、画面背景は遷移領域を示す表示１０９Ｔに変更する。

（Ｓ３）：指ＰＳの位置Ｆ２はレイヤーＬ１の範囲内にあり、ウィンドウ画面にアプリケーションＥ～Ｈに対応したアイコン群２１０２を切り替えて表示する。
（Ｓ４）：指ＰＳの位置Ｆ３がレイヤーＬ１とＬ２の間のレイヤー遷移領域Ｔ１２に移動した場合は、直前のレイヤーＬ１で表示したウィンドウ画面（アイコン群２１０２）を継続して表示する。その際、画面背景は遷移領域を示す表示１０９Ｔに変更する。

（Ｓ５）：指ＰＳの位置Ｆ４はレイヤーＬ２の範囲内にあり、ウィンドウ画面にアプリケーションＩ～Ｌに対応したアイコン群２１０３を切り替えて表示する。

一方、指ＰＳの位置をＦ４からＦ０（すなわち、レイヤーＬ２からＬ０）に向かって移動させた場合について、（Ｓ５’）～（Ｓ１’）で説明する。

（Ｓ５’）：指ＰＳの位置Ｆ４はレイヤーＬ２の範囲内にあり、ウィンドウ画面にアプリケーションＩ～Ｌに対応したアイコン群２１０３を表示する。
（Ｓ４’）：指ＰＳの位置Ｆ３がレイヤーＬ１とＬ２の間のレイヤー遷移領域Ｔ１２に移動した場合は、直前のレイヤーＬ２で表示したウィンドウ画面（アイコン群２１０３）を継続して表示する。その際、画面背景は遷移領域を示す表示１０９Ｔに変更する。

（Ｓ３’）：指ＰＳの位置Ｆ２はレイヤーＬ１の範囲内にあり、ウィンドウ画面にアプリケーションＥ～Ｈに対応したアイコン群２１０２を切り替えて表示する。
（Ｓ２’）：指ＰＳの位置Ｆ１がレイヤーＬ０とＬ１の間のレイヤー遷移領域Ｔ０１に移動した場合は、直前のレイヤーＬ１で表示したウィンドウ画面（アイコン群２１０２）を継続して表示する。その際、画面背景は遷移領域を示す表示１０９Ｔに変更する。

（Ｓ１’）：指ＰＳの位置Ｆ０はレイヤーＬ０の範囲内にあり、ウィンドウ画面にアプリケーションＡ～Ｄに対応したアイコン群２１０１を切り替えて表示する。

以上のように、指ＰＳが各レイヤーの範囲内に位置する場合には各レイヤーに対応したウィンドウ画面を表示し、指ＰＳがレイヤー遷移領域に移動した場合には直前に位置したレイヤーのウィンドウ画面を継続して表示し、その背景を変更して表示する。

このように、各レイヤーの間に遷移領域を設け、指ＰＳが遷移領域に移動したときはウィンドウ画面の背景を変えることで、ユーザに遷移領域に移動したことを知らせるようにした。その際、直前に表示したウィンドウ画面をそのまま継続するので、操作に支障を与えることはない。これにより、ユーザは意図せずに他のレイヤーに移動するのを防止することができる。すなわち、ウィンドウ画面の背景が変わった時には元のレイヤーの方向に指ＰＳを移動させればよい。

図２４は、レイヤー間に遷移領域を設けた場合のマウス操作入力処理を示すフローチャートである。実施例３（図１７）及び実施例４（図２１）と同じ処理については同一符号を付し、繰り返しの説明を省略する。

Ｓ１５０１では、指ＰＳの３次元位置Ｆを取得し、Ｓ１５０２では、位置ＦのＸＹ方向の位置を表示範囲Ｄａにおける位置ｆに変換する。次にＳ１５２０では、位置ＦのＺ方向の位置がどのレイヤーの範囲内か、或いはレイヤー遷移領域内かを判別する。Ｓ１５３０ではレイヤー判別結果に応じて分岐処理を行う。

判定処理Ｓ１５３０において、判別したレイヤーＬＮがレイヤー遷移領域内の場合（ＬＮ＝レイヤー間）にはＳ１５３１に分岐する。Ｓ１５３１ではウィンドウ表示画面の背景をレイヤー遷移領域に対応した表示１０９Ｔとし、Ｓ１５０３に進む。

判定処理Ｓ１５３０において、判別したレイヤーＬＮが前回判別したレイヤーＬＮｄと同じ場合（ＬＮ＝ＬＮｄ）にはＳ１５０３に進む。Ｓ１５０３以降の処理は図１７と同じであり、説明を省略する。

判定処理Ｓ１５３０において、判別したレイヤーＬＮが前回判別したレイヤーＬＮｄと異なる場合（ＬＮ≠ＬＮd）にはＳ１５２２に進む。Ｓ１５２２以降の処理は図２１と同じであり、説明を省略する。

以上のように実施例５によれば、指ＰＳの３次元位置を検出し、高さ方向Ｚの位置に対応して複数のレイヤーに対応したウィンドウを表示するだけでなく、各レイヤーの間に遷移領域を設けるようにした。そして、指ＰＳが遷移領域に移動したときはウィンドウ画面の背景を変えることでユーザに知らせ、ユーザが意図せずに他のレイヤーに移動するのを防止することができる。これにより、各レイヤーの間の切り替えを円滑に行うことができる。

なお、本実施例では指ＰＳがレイヤー遷移領域に移動したときにウィンドウ画面の背景を変えるようにしたが、これに限らない。例えば、アイコンの表示を変える、カーソルの表示を変える、音或いは振動を発生するなど、ユーザが認識可能な方法であればよい。また、遷移領域に位置したときは、元のレイヤーの方向（上／下）を表示するようにしてもよい。

以上の各実施例の説明では、指位置検出センサ１０６を発光／受光素子で構成する例を示したが、これに限らず、超音波を用いたセンサやカメラ等の撮像素子など、ユーザの指やペンなどの位置入力対象物の位置が検出可能なものであればよい。また、腕時計タイプの入力端末装置を例として説明したが、スマートフォンやタブレット、パーソナルコンピュータ等において、ユーザの指やペンなどの位置入力対象物の位置を検出して手書き文字入力やマウス操作等を行うようにしてもよい。

また、以上の各実施例では、動作モードを切り替えるための特定の操作の条件として、ユーザの指などの位置入力対象物の表示画面上の位置が所定の距離以内で所定の時間以上保持されることとしたが、これに限らない。例えば、所定の時間内における位置入力対象物の表示画面上の位置の移動量が所定の距離以内の場合を条件としてもよい。或いは、位置入力対象物の表示画面上の位置の移動速度が所定の速度以下の場合を条件としてもよい。

以上、本発明の実施形態を、いくつかの実施例を用いて説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。

前記した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等が、それぞれの機能等を実現する動作プログラムを解釈して実行することにより、ソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。

また、図面中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１：入力端末装置、２：携帯情報端末、１０１：主制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ストレージ部、１０５：加速度センサ、１０６，１０６ａ，１０６ｂ，１０６ｃ：指位置検出センサ、１０８：表示制御部、１０９：タッチパネル、１０９ａ：表示部、１０９ｂ：タッチ操作入力部、１１０：計時部、１１１：操作入力部、１０２２：指位置情報取得部、１０２３：タッチ位置情報取得部、１０２４：指操作処理制御部、１０２５：タッチ操作処理制御部、ＰＳ：ユーザの指（位置入力対象物）。

Claims (10)

1. 位置入力対象物を介してユーザの操作を入力可能な端末装置であって、
   前記位置入力対象物の３次元位置を非接触で検出する位置検出部と、
   操作対象を表示する表示部と、
   前記位置検出部で検出した３次元位置に基づいて対応する操作処理を実行させる操作処理制御部を備え、
   前記操作処理制御部は、
   前記位置入力対象物が所定時間以上継続して前記表示部に表示される前記操作対象に対応する３次元位置にあると前記位置検出部により検出されると、前記操作対象に対して操作処理を行わない第１動作モードから前記操作対象に対して操作処理を行う第２動作モードに切り替えるように制御し、
   更に、前記表示部に対する前記位置入力対象物の３次元位置のうち前記表示部に対する垂直方向の位置を複数のレイヤーに分割し、前記位置検出部で検出した前記位置入力対象物の垂直方向の位置が前記複数のレイヤーのどのレイヤーの範囲内にあるかに応じて前記表示部の表示内容を変更するように制御し、
   前記複数のレイヤーの境界にさらに遷移領域を設定し、前記位置入力対象物の位置が前記遷移領域内に移動したときは、前記表示部には直前に表示していた操作用の画面を継続して表示しつつ、前記位置入力対象物の位置が前記遷移領域内であることを通知するように制御することを特徴とする端末装置。
2. 請求項１記載の端末装置であって、
   前記操作制御処理部は、前記第２動作モードにおいて前記位置入力対象物の前記表示部に対する垂直方向の位置が所定の第１範囲内にある場合、前記操作対象の表示を変更するように前記表示部を制御することを特徴とする端末装置。
3. 請求項１記載の端末装置であって、
   前記操作制御処理部は、前記表示部に対する前記垂直方向の位置を複数のレイヤーに分割し、前記位置検出部で検出した前記位置入力対象物の垂直方向の位置が前記複数のレイヤーのどのレイヤーの範囲内にあるかに応じて前記表示部の表示内容を変更するように制御することを特徴とする端末装置。
4. 請求項３に記載の端末装置であって、
   前記操作処理制御部は、前記複数のレイヤーの境界にさらに遷移領域を設定し、前記位置入力対象物の位置が前記遷移領域内に移動したときは、前記表示部には直前に表示していた操作用の画面を継続して表示するとともに、画面の背景を変えることを特徴とする端末装置。
5. 請求項１乃至４のいずれかに記載の端末装置であって、
   前記位置検出部は、発光素子及び受光素子を含んで構成されたものであることを特徴とする端末装置。
6. 請求項１乃至４のいずれかに記載の端末装置であって、
   前記位置検出部は、超音波を用いたセンサを含んで構成されたものであることを特徴とする端末装置。
7. 請求項１乃至４のいずれかに記載の端末装置であって、
   前記位置検出部は、カメラを含んで構成されたものであることを特徴とする端末装置。
8. 請求項１記載の端末装置であって、
   更に、タッチ操作を検出するタッチパネルを備え、
   前記タッチパネルへのタッチ操作に基づいて対応する操作処理を実行させる第１操作入力モードと、前記位置検出部で検出した３次元位置に基づいて対応する操作処理を実行させる第２操作入力モードと、を備えることを特徴とする端末装置。
9. 請求項８記載の端末装置であって、
   更に、前記第１操作入力モードから前記第２操作入力モードへ切替可能な操作入力部を備えることを特徴とする端末装置。
10. 請求項８記載の端末装置であって、
    前記位置入力対象物による所定の操作を検知すると、前記第１操作入力モード又は前記第２操作入力モードに切り替えることを特徴とする端末装置。

Images