JP5463934B2

JP5463934B2 - ３次元入力装置

Info

Publication number: JP5463934B2
Application number: JP2010015424A
Authority: JP
Inventors: 洋衣笠
Original assignee: Fujitsu Mobile Communications Ltd
Current assignee: Fujitsu Mobile Communications Ltd
Priority date: 2010-01-27
Filing date: 2010-01-27
Publication date: 2014-04-09
Anticipated expiration: 2030-01-27
Also published as: JP2011154524A

Description

本発明は、入力媒体が画面に近接するのに伴ってその近接位置付近の拡大画像を表示させるとともに、入力媒体が画面に接触した際にその接触位置に基づいてデータを入力する３次元入力装置に関する。

近年、ユーザが指などで画面に触れることによりデータを入力することができるタッチパネルが広く用いられるようになってきた。しかしながら、携帯電話機などの携帯型の情報処理端末では画面が小さく操作対象のオブジェクトを大きく表示できないため、あるいは指などにより画面の一部が覆われてオブジェクトが視認しにくくなるため、入力ミスなどによる誤操作が発生しやすかった。

そこで、利用者が選択対象を選び易いタッチパネル装置が提案されている（特許文献１参照）。このタッチパネル装置は、画面に表示される複数の選択対象のいずれが選択されたかを判定するタッチパネル装置であって、複数の選択対象が表示される画面と、画面の前面に設けられ、利用者により接触された場合に接触された領域を示す情報を出力するタッチパネルと、出力される情報に基づいて接触領域を決定する領域決定部と、複数の選択対象の中から、接触領域と重なる部分を有する選択対象を抽出する抽出部と、抽出された選択対象が複数あるか否かを判定する重複判定部と、複数あると判定された場合に、抽出された選択対象を拡大して画面に表示するための拡大倍率を接触領域の形状に基づいて決定する拡大条件決定部と、拡大倍率で拡大した、抽出された選択対象を画面に再表示させ
る表示制御部とを備えるものである。

特開２００９−３２０２８号公報

タッチパネルを備えた携帯端末において、入力媒体による操作位置の拡大画像を表示する際に、その拡大画像をその操作位置において再表示させる方法では、ユーザが例えば指を入力媒体として入力操作を行っている場合には、拡大画像がユーザの指に覆われてしまい、ユーザが拡大画像を視認できないおそれがあった。また、このような携帯端末においてユーザが両手の指を用いて入力する場合には、各々の拡大画像が相互に重なってしまい、それぞれの入力操作を妨げてしまうおそれもあった。

本発明は、上記課題を鑑みてなされたものであり、指などの入力媒体が画面に近接した際、近接位置の拡大画像を表示させる場合に、拡大画像が入力媒体と重なって画面が視認しにくくなることを防止することができる３次元入力装置を提供することを目的とする。

上記課題を解決するために、本発明に係る３次元入力装置はデータを表示する表示手段と、入力媒体の３次元位置を検出してその３次元位置から前記表示手段の画面における近接位置を特定する特定手段と、前記近接位置から所定距離内の範囲の拡大画像を、前記表示手段の画面における前記近接座標から所定方向に移動させた位置に表示させる表示制御手段と、前記表示手段の画面において接触を検出した際、その接触位置に基づいてデータを入力する入力手段とを備えたことを特徴とする。

本発明に係る３次元入力装置によると、指などの入力媒体が画面に近接した際、近接位置の拡大画像を表示させる場合に、拡大画像が入力媒体と重なって画面が視認しにくくなることを防止することが可能となる。

本発明に係る３次元入力装置（携帯電話機）の斜視図。本発明に係る３次元入力装置（携帯電話機）の機能を示すブロック図。本発明に係る３次元入力装置（携帯電話機）における入力操作を説明するための概略図。本発明に係る３次元入力装置（携帯電話機）が入力制御処理を行う際の手順を示すフローチャート。本発明に係る３次元入力装置（携帯電話機）が拡大画像表示処理を行う際の手順を示すフローチャート。本発明に係る３次元入力装置（携帯電話機）において入力制御処理が行われる際に「７」が入力される直前の状態を示す概略図。本発明に係る３次元入力装置（携帯電話機）において入力制御処理が行われる際に「ｇ」が入力される直前の状態を示す概略図。本発明に係る３次元入力装置（携帯電話機）において入力制御処理が行われる際に「７」の拡大画像が表示されている状態で「ｇ」が入力される直前の状態を示す概略図。

本発明に係る３次元入力装置の実施形態について、添付図面を参照しながら説明する。本発明に係る３次元入力装置として、画面に入力項目が表示されるとともにユーザが指Ｕなどの入力媒体でその画面を触れることよりデータを入力することができる表示装置（タッチスクリーン）を備えた携帯電話機１を例に挙げて説明する。

図１は、携帯電話機１を示す斜視図である。携帯電話機１は、図１に示すように、矩形の板状の筐体１０を備えている。筐体１０の一方の面には、データを表示するとともに入力媒体の接触を検出することによりデータを入力するタッチスクリーン１１、音声を出力するスピーカ１２、音声を入力するマイクロフォン１３及びデータを入力する操作キー１４が設けられている。

タッチスクリーン１１は、画面１１ａにデータを表示する表示機能、及び、ユーザが指Ｕや専用ペンなどの入力媒体を画面１１ａに接触させた際にその接触位置を検出することによりその接触位置に対応するデータを入力する入力機能の双方の機能を備えている。接触を検知する方法は、静電気により検知する方法でも感圧により検知する方法でも良く、または赤外線を用いた方法でも良く、その他の方法でも良い。

またタッチスクリーン１１は、例えば、赤外線を発信する複数の赤外線発信装置と、その発信された赤外線が入力媒体によって反射した際の反射光を検出する複数の赤外線検出装置を備えている。複数の赤外線発信装置及び複数の赤外線検出装置は例えばタッチスクリーン１１の画面１１ａ上に格子状に配列されていて、タッチスクリーン１１は、入力媒体が画面１１ａに接触していない状態でも、反射光を検出した赤外線検出装置の位置に基づいて入力媒体の３次元位置を推測することができる。なお、３次元位置検出の方法はこれに限定されず、任意の方法で良い。

操作キー１４は、ユーザによる物理的な押下によりデータを入力するキーであっても、静電気または感圧により入力媒体の接触を検知してデータを入力するキーであっても良い。操作キー１４は、例えば電源のＯＮ／ＯＦＦを切り替えたり待機状態から復帰したりするための電源キーや、発呼を開始するための発呼キーなどである。

図２は、携帯電話機１の機能を示すブロック図である。携帯電話機１は、図２に示すように、主制御部２０、電源回路部２１、３次元入力検出部２２、表示制御部２３、音声制御部２４、通信制御部２５及び記憶部２６がバスによって相互に通信可能に接続されて構成されている。

主制御部２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を具備し、携帯電話機１の総括的な制御を行うとともに、後述する入力制御処理や、その他の様々な演算処理や制御処理などを行う。また主制御部２０は、いずれかの操作キー１４の入力操作を検知すると、その操作キー１４に対応する処理を行う。電源回路部２１は、電源供給源（バッテリなど）を備え、例えば所定の操作キー１４を介した入力に基づいて携帯電話機１の電源のＯＮ／ＯＦＦ状態を切り替え、電源がＯＮ状態の場合に電力供給源から各部に対して電力を供給して、携帯電話機１を動作可能にする。

３次元入力検出部２２は、タッチスクリーン１１の画面１１ａにおいて入力媒体の接触を検出した際にその接触位置を示す信号を生成して主制御部２０に伝送する。また３次元入力検出部２２は、例えばユーザ操作に基づいて、または一定時間毎に、タッチスクリーン１１の各々の赤外線発信装置から赤外線を発信させ、各々の赤外線検出装置にその赤外線の反射光を検出させる。３次元入力検出部２２は、その検出値を示す信号を生成して主制御部２０に伝送する。信号を受信した主制御部２０は、それらの信号に基づいて入力媒体の３次元位置を推測して、その３次元位置に対応する処理を行う。

表示制御部２３は、主制御部２０の制御に基づいて画面表示用のデータを生成して、タッチスクリーン１１の画面１１ａに表示させる。

音声制御部２４は、主制御部２０の制御に基づいて、マイクロフォン１３で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声制御部２４は、デジタル音声信号を取得すると、主制御部２０の制御に基づいて、このデジタル音声信号をアナログ音声信号に変換し、スピーカ１２から音声として出力する。

通信制御部２５はアンテナ２５ａを備えていて、主制御部２０の制御に基づいて、基地局からアンテナ２５ａを介して受信した受信信号を復号化処理してデータを復元する。このデータは、主制御部２０の指示により、音声制御部２４に伝送されてスピーカ１２から出力されたり、または記憶部２６に記録されたりする。また通信制御部２５は、主制御部２０の制御に基づいて、マイクロフォン１３で集音された音声データや、記憶部２６に記憶されたデータを取得すると、これらのデータに対して符号化処理を行い、基地局に対してアンテナ２５ａを介して送信する。

記憶部２６は、主制御部２０が行う処理について、処理プログラムや処理に必要なデータなどを格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やハードディスク、不揮発性メモリ、主制御部２０が処理を行う際に使用されるデータを一時的に記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などから構成される。また、主制御部２０が後述する入力制御処理を行う際の処理プログラムは、例えばＲＯＭに記憶されているものとする。

図３は、ユーザがタッチスクリーン１１を用いて入力操作を行う様子を示す概略図である。図３に示すように、タッチスクリーン１１に例えば格子状に配列された各々の赤外線出力装置は、画面１１ａに対してほぼ垂直に赤外線を出力している。そして、ユーザが指Ｕをタッチスクリーン１１の画面１１ａに近接させると、赤外線が指Ｕにより反射されて、その反射光が、タッチスクリーン１１に同様に格子状に配列された赤外線検出装置のいずれかにより検出される。携帯電話機１は、反射光を検出した赤外線検出装置の位置に基づいて、指Ｕの近接位置（３次元位置）を推測する。

携帯電話機１は、指Ｕの近接位置に基づいて、指Ｕの画面１１ａにおける近接座標を特定して、その近接座標の周辺（例えば近接座標から所定距離内の範囲）を拡大表示させる。そして、更に指Ｕが画面１１ａに近接して、タッチスクリーン１１の画面１１ａに指Ｕが接触した場合、タッチスクリーン１１により指Ｕの接触が検知され、接触位置に対応する入力処理が実行される。

携帯電話機１は、タッチスクリーン１１における指Ｕの近接操作により近接位置の周辺を拡大表示する際、その拡大画像が近接操作を行なっている指Ｕに重ならないように拡大画像の表示位置を調整する。携帯電話機１が拡大画像の表示位置を調整する際、例えば、指Ｕの近接位置から２０ｍｍ上方（Ｙ軸プラス方向）に移動させた位置を拡大画像の中心位置として半径１０ｍｍの拡大画像を表示する。また、例えばユーザが両手で入力を行っている場合などにおいて、拡大画像の表示位置に別の拡大画像が表示されていた場合、あるいは、拡大画像の表示位置が指Ｕにより近接操作が行なわれている位置と重なる場合には、携帯電話機１は拡大画像の表示位置をさらに横方向（Ｘ軸のいずれかの方向）に移動させる。これらにより、拡大画像により入力操作が妨げられることが防止される。

上述したように、ユーザが入力操作を行うために指Ｕをタッチスクリーン１１の画面１１ａに近接させた際に、携帯電話機１が指Ｕの近接位置に基づいて拡大画像を表示させるとともに、ユーザが指Ｕをタッチスクリーン１１の画面１１ａに接触させた際に、指Ｕの接触位置に基づいてデータを入力する入力制御処理を行う際の手順について、図４、図５に示すフローチャートに基づいて説明する。

図４に示すように、始めに主制御部２０は、指Ｕの近接が検出されたかを判断する（Ｓ１０１）。この際、主制御部２０は、例えば３次元入力検出部２２が指Ｕなどの３次元位置を検出し、その３次元位置がタッチスクリーン１１の画面１１ａから所定距離内であった場合に、指Ｕの近接を検出したものと判断する。指Ｕの近接が検出されていない場合（Ｓ１０１のＮｏ）は、主制御部２０はそのまま待機する。

指Ｕの近接が検出された場合（Ｓ１０１のＹｅｓ）は、主制御部２０は、近接位置付近を拡大させて表示させる拡大表示処理を行う。図５は、携帯電話機１がこの拡大表示処理を行う際の手順を示すフローチャートである。図５に示すように、主制御部２０は、拡大位置（拡大画像の表示位置）の中心を、例えば指Ｕの近接位置からＹ方向上方（Ｙ軸プラス方向）に２０ｍｍずらした位置として、この中心から例えば半径１０ｍｍの領域内を拡大位置とする（Ｓ２０１）。

主制御部２０は、拡大位置に既に拡大画像が表示されているか否かを判断する（Ｓ２０３）。例えばユーザが両手の指Ｕを用いて入力を行っている場合などには、複数の拡大画像が表示される。その場合には、各々の拡大画像が相互に重ならないように表示させる必要がある。そこで、拡大位置に既に拡大画像が表示されていた場合（Ｓ２０３のＹｅｓ）は、主制御部２０は、新たに表示される拡大画像を、他の拡大画像と重ならないように拡大位置をＸ方向のいずれかに移動させる（Ｓ２０５）。

主制御部２０は、拡大位置の近接に入力操作を行っている範囲があるか否かを判断する（Ｓ２０７）。例えばユーザが両手の指Ｕを用いて入力を行っている場合などに、一方の指Ｕで入力操作をしようとしている位置に新たな拡大表示をしてしまうと、その指Ｕでの入力操作ができなくなってしまう。そこで、拡大位置の近接に入力操作を行っている範囲があった場合（Ｓ２０７のＹｅｓ）は、主制御部２０は、入力操作を行っている範囲に重ならないように拡大位置をＸ方向に移動させる（Ｓ２０９）。

主制御部２０は、拡大位置を中心にして、例えば半径１０ｍｍの拡大画像を表示させる（Ｓ２１１）。

このようにして主制御部２０は、指Ｕがタッチスクリーン１１の画面１１ａに近接した際に、その近接位置の拡大画像を適切な位置に表示させる。そして主制御部２０は、拡大画像内に、指Ｕの近接位置を示す十字（「＋」）マークを表示させる（Ｓ１０５）。なお、このマークは「＋」マークに限定されず、任意の形状のマークで良い。

拡大画像の具体的な表示例を、図６乃至図８に基づいて説明する。図６は、携帯電話機１において入力制御処理が行われる際に、指Ｕによるユーザ操作により「７」が入力される直前の状態を示す概略図であり、図７は、指Ｕによるユーザ操作により「ｇ」が入力される直前の状態を示す概略図である。また、図８は、携帯電話機１において入力制御処理が行われる際に、「７」の表示の近辺の拡大画像が表示されている状態で「ｇ」が入力される直前の状態を示す概略図である。

図６に示すように、ユーザが携帯電話機１に「７」を入力したい場合には、指Ｕの近接位置３０を画面１１ａ上の「７」が表示されている位置に近接させる。その場合、指Ｕの近接位置３０をＹ軸プラス方向に移動させた位置に拡大画像３１が表示され、その拡大画像３１において近接位置３０に対応する位置に「＋」マーク３２が表示される。なお、近接位置３０の周囲の点線の円は、近接位置３０を中心とした所定半径（例えば５ｍｍ）の円であり、拡大表示を行う領域を示している。

同様に、図７に示すように、ユーザが携帯電話機１に「ｇ」を入力したい場合には、指Ｕの近接位置３０ａを画面１１ａ上の「ｇ」が表示されている位置近辺に位置させる。その場合、指Ｕの近接位置３０をＹ軸プラス方向に移動させた位置に拡大画像３１が表示され、その拡大画像３１において近接位置３０に対応する位置に「＋」マーク３２が表示される。

また、例えばユーザが右手の指Ｕで「７」を入力しようとしている最中に、左手の指Ｕで「ｇ」を入力しようとした場合などに、図８に示すように、画面１１ａにおいて「ｇ」が表示されている周辺の範囲について、Ｙ軸プラス方向に移動させて拡大画像３１ａを表示させようとすると、「７」の周辺の拡大画像３１と、「ｇ」の周辺の拡大画像３１ａとが重なり合ってしまう。なお、双方の拡大画像３１、３１ａの各々の外周の円が交差する場合に、拡大画像３１、３１ａが重なっているものと判定されると良い。拡大画像３１、３１ａが重なっていた場合には、図８に示すように、携帯電話機１は、ステップＳ２０５にて「ｇ」の周辺の拡大画像３１ａをＸ軸のいずれかの方向に移動させて表示させる。

また主制御部２０は、画面１１ａに指Ｕが近接した状態で、指Ｕが水平方向（画面１１ａに対して平行な方向）に移動したか否かを判断する（Ｓ１０７）。指Ｕが水平方向に移動した場合（Ｓ１０７のＹｅｓ）は、ステップＳ１０３に戻って、主制御部２０は再びステップＳ１０３乃至Ｓ１０７の処理を行う。

指Ｕが水平方向に移動していない場合（Ｓ１０７のＮｏ）は、主制御部２０は指がタッチスクリーン１１の画面１１ａから離れたか否かを判断する（Ｓ１０９）。この際、主制御部２０は、ステップＳ１０１と同様の方法で、例えば３次元入力検出部２２が指Ｕなどの３次元位置を検出し、その３次元位置がタッチスクリーン１１の画面１１ａから所定距離外であった場合に、指Ｕが離れたものと判断する。

指Ｕが画面１１ａから離れていない場合（Ｓ１０９のＮｏ）は、主制御部２０は指Ｕがタッチスクリーン１１の画面１１ａに接触したか否かを判断する（Ｓ１１１）。指Ｕが画面１１ａに接触していない場合（Ｓ１１１のＮｏ）は、主制御部２０はユーザにより入力指示が行われていないものとして、ステップＳ１０３に戻って、再びステップＳ１０３乃至Ｓ１０７の処理を行う。

指Ｕが画面１１ａに接触した場合（Ｓ１１１のＹｅｓ）は、主制御部２０はユーザにより入力指示が行われたものとして、接触位置の拡大画像を表示させる（Ｓ１１３）。拡大画像の表示位置は、ステップＳ２１１における表示位置と同様とする。そして主制御部２０は、接触位置に対応する処理を実行する（Ｓ１１５）。接触位置に対応する処理は指Ｕの接触後に行われる処理全般であり、指Ｕが画面１１ａに対して非接触になるまで待機する処理なども含む。

主制御部２０は、指Ｕがタッチスクリーン１１の画面１１ａから離れたか否かを判断する（Ｓ１１７）。この際、主制御部２０は、ステップＳ１０１と同様の方法で、例えば３次元入力検出部２２が指Ｕなどの３次元位置を検出し、その３次元位置がタッチスクリーン１１の画面１１ａから所定距離外であった場合に、指Ｕが離れたものと判断する。

指Ｕが画面１１ａから離れていない場合（Ｓ１１７のＮｏ）は、ステップＳ１０３に戻って、主制御部２０は再びＳ１０３乃至Ｓ１１７の処理を行う。指Ｕが画面１１ａから離れた場合（Ｓ１０９のＹｅｓ、Ｓ１１７のＹｅｓ）は、主制御部２０は、ステップＳ２１１またはＳ１１３にて表示された拡大画像を非表示にして、入力制御処理を終了させる。

このようにして携帯電話機１は、指Ｕのタッチスクリーン１１の画面１１ａへの近接を検出すると、近接位置の周囲の拡大画像を、その近接位置からずらした位置に画面１１ａに表示させるとともに、拡大画像内において指の近接位置を示す「＋」マークを表示させる。そして携帯電話機１は、指Ｕが画面１１ａに近接した状態で移動した場合には、指Ｕの移動に伴って拡大範囲も更新して表示させる。

携帯電話機１は、指Ｕがタッチスクリーン１１の画面１１ａに接触すると接触位置に対応する入力処理を実行する。この接触中においては、指Ｕが画面１１ａに近接しているときと同様に、拡大画像が表示されている。画面１１ａでの接触後に指Ｕが画面１１ａに対して所定距離内にある場合、拡大画像の表示が継続される。一方で携帯電話機１は、ユーザが指Ｕをタッチスクリーン１１の画面１１ａに対して所定距離外に移動させると、拡大画像の表示を停止させる。

本発明に係る３次元入力装置（携帯電話機１）によると、指Ｕなどの入力媒体が画面１１ａに近接した際、近接位置の拡大画像を入力媒体の近接位置から移動させて表示させることにより、拡大画像が入力媒体と重なって画面１１ａが視認しにくくなることが防止されるとともに、複数の入力媒体により入力が行われた場合であっても、各々の拡大画像が重なり合って入力操作が妨げられることを防止することが可能となる。

本発明の説明として、携帯電話機１について説明したが、これに限らず、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、ＭＩＤ（ＭｏｂｉｌｅＩｎｔｅｒｎｅｔＤｅｖｉｃｅ）、携帯音楽プレイヤー、携帯ビデオカメラ、携帯ゲーム機など、３次元入力機能を備えている情報処理端末であれば、任意の情報処理端末であっても良い。

１…携帯電話機，１０…筐体，１１…タッチスクリーン，１１ａ…画面，１２…スピーカ，１３…マイクロフォン，１４…操作キー，２０…主制御部，２１…電源回路部，２２…３次元入力検出部，２３…表示制御部，２４…音声制御部，２５…通信制御部，２５ａ…アンテナ，２６…記憶部，３０、３０ａ…近接位置，３１、３１ａ…拡大画像，３２、３２ａ…十字（「＋」）マーク。

Claims

データを表示する表示手段と、
入力媒体の３次元位置を検出してその３次元位置から前記表示手段の画面における近接位置を特定する特定手段と、
前記近接位置から所定距離内の範囲の拡大画像を、前記表示手段の画面における前記近接座標から所定方向に移動させた位置に表示させる表示制御手段と、
前記表示手段の画面において接触を検出した際、その接触位置に基づいてデータを入力する入力手段とを備え、
前記表示制御手段は、前記拡大画像を表示させる際、前記拡大画像内に前記近接位置を示すマークを表示させ、前記入力媒体が複数存在した場合、各々の入力媒体による拡大画像が相互に重ならないように各々の拡大画像の位置を調整して表示させることを特徴とする３次元入力装置。
前記特定手段は、前記入力媒体の３次元位置の移動に併せて近接位置を逐次更新し、
前記表示制御手段は、前記特定手段により更新された近接位置に併せて拡大画像の範囲を逐次更新することを特徴とする請求項１記載の３次元入力装置。
前記表示制御手段は、入力媒体が前記表示手段の画面に対して所定距離内にある場合に拡大画像を表示させることを特徴とする請求項１記載の３次元入力装置。