本発明は、情報端末装置、その制御方法、およびプログラムに関し、特に指など操作入力のための物体を検出する情報端末装置、その制御方法、およびプログラムに関する。
近年、スマートフォンおよびタブレット端末などのモバイル情報端末が一般的に普及している。このようなモバイル情報端末の操作方法は、例えばタッチ操作やジェスチャー操作などであり、ユーザーにとって直感的なインターフェイス(操作方法)であるとして注目を集めている。ここで、例えばジェスチャー操作とは、手や指など操作入力のための物体(以下では検出対象物とも記載)の空間位置座標および動きを検出することによって、ユーザーの意図する操作を認識し、モバイル情報端末の制御を行うことである。
このジェスチャー操作を実現するには、操作入力のための物体(検出対象物)の空間位置座標を精度良く検出することが求められる。検出対象物の空間位置座標を精度良く検出する技術として、超音波や赤外光の送受信の時間差を基に検出対象物の空間位置座標を検出する技術がある(例えば、特許文献1および特許文献2)。
特開2006−127342号公報
特開昭61−067121号公報
しかしながら、上記従来の技術では、検出対象物の空間位置座標を検出できない場合があるという問題点については考慮されていない。
本発明は、かかる問題に鑑みてなされたものであって、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置等を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る情報端末装置は、情報端末装置であって、少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御部とを備える。
本発明によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置等を実現することができる。
図1は、実施の形態1に係る情報端末装置の外観の一例を示す図である。
図2は、実施の形態1に係る情報端末装置の構成の一例を示すブロック図である。
図3Aは、実施の形態1に係る第一センサ手段の構成の一例を示すブロック図である。
図3Bは、実施の形態1に係る第二センサ手段の構成の一例を示すブロック図である。
図4Aは、実施の形態1に係る情報端末装置を使用している様子の一例を示した図である。
図4Bは、実施の形態1に係る情報端末装置を使用している様子の一例を示した図である。
図5は、実施の形態1に係る情報端末装置の処理の一例を説明するためのフローチャートである。
図6は、実施の形態1に係る情報端末装置の外観の別の一例を示す図である。
図7は、実施の形態2に係る情報端末装置の外観の一例を示す図である。
図8は、実施の形態2に係る情報端末装置の構成の一例を示すブロック図である。
図9は、実施の形態2に係る情報端末装置の処理の一例を説明するためのフローチャートである。
図10は、実施の形態2における持ち手検出部が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。
図11は、実施の形態2における持ち手検出部が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。
図12は、本発明に係る情報端末装置の使用場面の一例を示す図である。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した特許文献1および特許文献2に開示される技術に関し、以下のような問題が生じることを見出した。
すなわち、特許文献1には、超音波センサを用いて位置座標検出を行う際、温度変化による音速の変化に対し、温度センサを用いずにこれを補正し、位置検出精度を向上させる技術について記載されている。また、特許文献2には、光電方式を用いて位置検出を行う際、光授受対の増加なしに分解能を向上させる技術について記載されている。
しかしながら、特許文献1および特許文献2に記載の技術では、モバイル情報端末を把持するための持ち手や、情報端末装置をテーブルなどにおいて使用する際の添え腕すなわちモバイル情報端末を保持する保持体によって、超音波送信器の発する超音波やLEDの発する赤外光が遮断されたりすることにより、検出対象物の空間位置座標を検出できない場合があるという問題点については考慮されていない。
特に、スマートフォンやタブレット端末などのモバイル情報端末においては、ユーザーがモバイル情報端末を把持してこれを使用する場合が多く、モバイル情報端末を把持するための持ち手が超音波や赤外光を用いての空間位置座標検出に影響を与えやすいという問題がある。
そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置を提供することを目的とする。
上記問題を解決するために、本発明の第1の態様に係る情報端末装置は、情報端末装置であって、少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御部とを備える。
この構成により、ユーザーが情報端末装置を把持(保持)するための持ち手の位置や、情報端末装置をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象の空間位置座標の検出を行うことができる。それにより、ユーザーが超音波送信器や赤外線LEDなどのセンサ手段の位置を意識することなく情報端末装置を使用することができる。
また、本発明の第2の態様に係る情報端末装置は、第1の態様において、例えば、前記制御部は、前記少なくとも1つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にあるセンサ手段を選択するとしてもよい。
また、本発明の第3の態様に係る情報端末装置は、第1の態様または第2の態様において、例えば、前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にあるセンサ手段の動作を停止するとしてもよい。
また、本発明の第4の態様に係る情報端末装置は、第1の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備えるとしてもよい。
ここで、本発明の第5の態様に係る情報端末装置は、第2の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、前記制御部は、前記少なくとも1つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にある送信部を含むセンサ手段を選択するとしてもよい。
また、本発明の第6の態様に係る情報端末装置は、第3の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部を含むセンサ手段の動作を停止するとしてもよい。
また、本発明の第7の態様に係る情報端末装置は、第6の態様において、例えば、前記制御部は、前記保持位置に最も近い位置にあるセンサ手段の動作として、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部のみの動作を停止するとしてもよい。
また、本発明の第8の態様に係る情報端末装置は、第4の態様〜第7の態様のいずれかにおいて、例えば、前記複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用されるとしてもよい。
また、本発明の第9の態様に係る情報端末装置は、第1の態様〜第8の態様のいずれかにおいて、例えば、さらに、前記制御部により選択された複数のセンサ手段のうち少なくとも1つのセンサ手段を用いて、前記操作入力のための物体を検出する物体検出部を備えるとしてもよい。
また、本発明の第10の態様に係る情報端末装置は、第1の態様〜第9の態様のいずれかにおいて、例えば、前記複数のセンサ手段は、さらに、前記情報端末装置が保持されている位置を検出するために用いられ、前記保持位置検出部は、前記複数のセンサ手段を用いて、前記保持位置を検出するとしてもよい。
また、本発明の第11の態様に係る情報端末装置は、第1の態様〜第10の態様のいずれかにおいて、例えば、前記保持位置検出部は、前記情報端末装置を保持する保持体の前記情報端末装置の表示面からの距離が閾値以下の場合に、前記保持体の位置を、前記保持位置として検出するとしてもよい。
また、上記問題を解決するために、本発明の情報端末装置に係る情報端末装置の制御方法は、前記情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御ステップを含む。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
(実施の形態1)
空間位置座標の検出対象物(操作入力のための物体)としてユーザーの指を例に挙げて以下説明する。また、情報端末装置を保持する保持体として、ユーザーが情報端末装置を把持(保持)する持ち手または情報端末装置をテーブルなどにおいて使用する際の添え腕を例に挙げて以下説明する。なお、説明の便宜のため、以下では添え腕も含めて持ち手と呼ぶことがある。
図1は、実施の形態1に係る情報端末装置100の外観の一例を示す図である。
図1に示す情報端末装置100は、表示部101と、第一送信部102、第二送信部103と、第一受信部104と、第二受信部105と、第三受信部106と、第四受信部107と、を備える。
情報端末装置100は、例えば、スマートフォンやタブレット端末などタッチ操作やジェスチャー操作などで操作することのできるモバイル情報端末や空間位置センシング装置である。
表示部101は、例えば、液晶ディスプレイや有機ELディスプレイ、プラズマディスプレイである。本実施の形態では、表示部101は、ユーザーが触れることで操作できるタッチパネルを兼ねているとして以下説明する。なお、表示部101は、上記以外の表示方式のパネルを用いてもよい。
第一送信部102および第二送信部103は、信号を送信する送信部の一例であり、検出対象物の空間位置座標を検出するために用いられる。ここで、第一送信部102および第二送信部103は、例えば、超音波送信器であり、超音波信号を送信する。
第一受信部104〜第四受信部107は、送信部から送信された信号を受信する複数の受信部の一例であり、第一送信部102または第二送信部103から送信された信号を受信する。第一受信部104〜第四受信部107は、例えば、超音波受信センサであり、第一送信部102または第二送信部103から送信された超音波信号を受信する。
ここで、操作入力のための物体であるユーザーの指の空間位置座標を検出する方法について説明する。
第一送信部102または第二送信部103から送信された信号(例えば超音波)は、情報端末装置100の操作のために表示部101の近傍の空間におかれたユーザーの指によって反射する。反射した信号(超音波)は複数の受信部(第一受信部104、第二受信部105、第三受信部106、第四受信部107)によって受信され、それぞれの受信のタイミングから、三点測量の要領で検出対象であるユーザーの指の空間位置座標を検出することができる。これは、例えば超音波パルス反射法による三点測量であり、超音波を使用した空間位置座標検出技術として一般的なものである。
なお、一般的に超音波送信器が1個、超音波受信センサが3個あれば、三点測量の要領で検出対象の空間位置座標を検出可能である。本実施の形態においては、一例として上記の組み合わせ(送信部が1個、受信部が3個)に送信部をさらに1個、受信部をさらに1個追加し、三点測量が可能な送信部と受信部の組み合わせを増やしている。これにより、持ち手の位置に応じて使用する送信部を切り替えて、ユーザーの指の空間位置座標を検出することが可能になる。
図2は、実施の形態1に係る情報端末装置100の詳細構成の一例を示すブロック図である。図3Aは、実施の形態1に係る第一センサ手段の構成の一例を示すブロック図である。図3Bは、実施の形態1に係る第二センサ手段の構成の一例を示すブロック図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
情報端末装置100は、図2に示すように、さらに、表示部101と、第一センサ手段200と、第二センサ手段201と、指検出部202と、制御部203と、メモリ205と、持ち手検出部206とを備える。また、制御部203は、内部にセンサ選択部2030と表示制御部2031とを備える。
第一センサ手段200と第二センサ手段201とは、複数のセンサ手段の一例であり、少なくとも情報端末装置100に対する操作入力のための物体(ここではユーザの指)を検出するために用いられる。ここで、複数のセンサ手段はそれぞれ、信号を送信する送信部と、その送信部から送信された信号を受信する複数の受信部とを備える。本実施の形態では、これら複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用される。
具体的には、第一センサ手段200は、例えば図3Aに示すように、第一送信部102と、第一受信部104と、第二受信部105と、第三受信部106と、第四受信部107との組み合わせから構成される。また、第二センサ手段201は、例えば図3Bに示すように、第二送信部103、第一受信部104と、第二受信部105と、第三受信部106と、第四受信部107との組み合わせから構成される。なお、以下では、第一センサ手段200と第二センサ手段201とをまとめて複数のセンサ手段とも呼ぶ。
メモリ205は、例えば、ユーザーの指の空間位置座標の変化から情報端末装置100に対するユーザーの操作を認識するために、ユーザーの指の空間位置座標を一時的に蓄える。また、メモリ205は、その他、必要に応じて、適宜、制御部203のデータを蓄積する。
持ち手検出部206は、保持位置検出部の一例であり、情報端末装置100が保持(把持)されている持ち手の位置(保持位置)を検出する。
本実施の形態では、持ち手検出部206は、タッチパネルを兼用する(タッチパネル部を有する)表示部101を用いて持ち手を検出する。すなわち、持ち手検出部206は、表示部101を用いて、表示部101のタッチパネル部分に接触している持ち手の位置座標を検出する。より具体的には、持ち手検出部206は、図1に示すように表示部101の辺縁であって情報端末装置100を操作するための画面部品(アイコンやボタンなど)が表示されていない場所において接触を検出し、かつその接触が所定の時間以上継続しているのを検出したとする。その場合、持ち手検出部206は、その接触が持ち手によるものであると判断して、その持ち手の位置座標を検出する。
なお、持ち手検出部206は、情報端末装置100を保持する保持体の前記情報端末装置の表示面から距離が閾値以下の場合に、その保持体の位置を、持ち手の位置座標(保持位置)として検出するとしてもよい。
制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)に基づいて、複数のセンサ手段のうちからユーザーの指を検出するために用いる少なくとも1つのセンサ手段を選択する。例えば、制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)から最も遠い位置にあるセンサ手段を選択するとしてもよい。このとき、例えば、制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)から最も近い位置にあるセンサ手段の動作を停止するとしてもよい。
このように、制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)に基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。
より具体的には、センサ選択部2030は、持ち手検出部206によって検出された持ち手の位置座標を基に、上記のようにして最も持ち手の影響を受けにくいセンサ手段を選択する。表示制御部2031は、指検出部202により得られたユーザーの指の空間位置座標の変化が情報端末装置100に対する所定の操作に該当すると判断すると、その操作に割り当てられた動作を行うように表示部101などを制御する。
指検出部202は、物体検出部の一例であり、制御部203により選択された複数のセンサ手段のうち少なくとも1つのセンサ手段を用いて、情報端末装置100に対する操作入力のための物体(ここではユーザの指)を検出する。
具体的には、指検出部202は、センサ選択部2030によって選択されたセンサ手段を用いて、ユーザーの指を検出し、超音波パルス反射法などによる距離測量を行うことで、第一受信部104〜第四受信部107それぞれからユーザーの指までの距離を測量する。そして、指検出部202は、選択されたセンサ手段を用いて検出された、第一受信部104〜第四受信部107それぞれからユーザーの指までの距離を用いて三点測量の要領でユーザーの指の空間位置座標を算出する。
図4Aおよび図4Bは、実施の形態1に係る情報端末装置100を使用している様子の一例を示した図である。図4Aは、スマートフォンのような比較的小さな情報端末装置100Aを使用しているときの様子を示しており、図4Bは、テーブルトップパソコンのような比較的大きな情報端末装置100Aを使用しているときの様子を示している。
例えば、第一センサ手段200を用いてユーザーの指の検出を行うとする。その場合、図4Aに示すユーザーの持ち手109aや図4Bに示すユーザーの添え腕109bが第一送信部102から送信される信号(例えば超音波)の妨げとなり、第一センサ手段200では信号の送受信がうまく行われない。換言すると、第一センサ手段200では、情報端末装置100Aを操作するために使用しているユーザーの指110aまたは情報端末装置100Bを操作するために使用しているユーザーの指110bを検出できない場合がある。なお、検出対象物であるユーザーの指が検出できなくなったか否かは、第一受信部104、第二受信部105、第三受信部106および第四受信部107のうち少なくとも二つの受信部が第一送信部102から送信された信号(例えば超音波)を有意に受信できなくなったか否かによって判断する。
一方、第二センサ手段201を用いてユーザーの指の検出を行うとする。その場合、図4Aに示すユーザーの持ち手109aや図4Bに示すユーザーの添え腕109bは第二送信部103から遠い位置にあるため、第二送信部103から送信される信号はこれらの影響を受けにくい。
そのため、本実施の形態では、持ち手検出部206によって持ち手の位置座標を検出し、センサ選択部2030によって、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する。
より具体的には、図4Aまたは図4Bに示す場合であれば、センサ選択部2030によって、ユーザーの指の空間位置座標を検出するための適切なセンサ手段として、ユーザーの持ち手109aやユーザーの添え腕109bの位置座標から遠い第二送信部103を有する第二センサ手段201が選択される。
そして、第二センサ手段201を用いて得た、それぞれの受信部からユーザーの指までの距離を基づいて、指検出部202でユーザーの指の空間位置座標を算出する。制御部203は、このようにして得られたユーザーの指の空間位置座標の変化が情報端末装置100に対する所定の操作に該当すると判断すると、その操作に割り当てられた動作を行うように表示部101などを制御する。
次に、上記のように構成された情報端末装置100の処理について説明する。
図5は、実施の形態1に係る情報端末装置100の処理の一例を説明するためのフローチャートである。
まず、情報端末装置100は、持ち手検出条件を満たしているか否かを判定する(S100)。ここで、持ち手検出条件とは、実際にユーザーの持ち手がユーザーの指の検出を妨げているか否かを判断するための条件ではなく、ユーザーの持ち手がユーザーの指の検出を妨げているか否かの判断を行うか否かの条件である。
例えば、持ち手検出条件を、一定時間が経過した場合とする。その場合、例えば、情報端末装置100の電源が起動した状態で一定時間が経過するごとに、持ち手検出条件を満たすと判定し、S101に進む。また、例えば、検出対象物であるユーザーの指が、検出できなくなった場合に持ち手検出条件を満たすとしてもよい。また、例えば、一定時間、ユーザーが情報端末装置100の操作を行わなかった後に、新たな操作を行った場合に持ち手検出条件を満たすとしてもよい。さらに、表示部101がオンになったタイミングに持ち手検出条件を満たすとしてもよい。また、情報端末装置100が情報端末装置100の動きを検出できるジャイロセンサなどのセンサを備えているならば、そのセンサによって情報端末装置100が大きく動いたことが検出されたときに持ち手検出条件を満たすとしてもよい。なお、持ち手検出条件には上記例に限られず様々な条件が考えられ、それらを単独で、もしくは、組み合わせて用いてもよい。
次に、持ち手検出条件を満たすと判定した場合(S100でYES)、持ち手検出部206は、実際に持ち手検出を行う(S101)。具体的には、持ち手検出部206は、タッチパネルを兼ねる表示部101を用いて持ち手とタッチパネルが接触している位置座標を検出する。例えば、持ち手検出部206は、表示部101の辺縁であって情報端末装置100を操作するための画面部品(アイコンやボタンなど)が表示されていない場所において接触を検出し、かつその接触が所定の時間以上継続しているのを検出したとする。その場合、持ち手検出部206は、その接触が持ち手によるものであると判断して、その持ち手の位置座標を検出する。なお、持ち手検出条件を満たさない場合(S100でNO)、情報端末装置100は、再度S100の処理を行う。
次に、情報端末装置100は、ユーザーの持ち手の影響を受けにくいセンサ手段を判断し、指検出するために用いるセンサ手段の変更が必要か否かを判定する(S102)。
例えば、S101で検出された持ち手の位置座標が現在使用しているセンサ手段の送信部に近いとする。その場合、制御部203は、検出対象物であるユーザーの指の検出に与える影響が大きいため、指検出するためのセンサ手段の変更が必要であると判定(S102でYES)し、S103へ移行する。なお、例えば、S101で検出された持ち手の位置座標が現在使用しているセンサ手段の送信部から遠いとする。その場合、制御部203は、検出対象物であるユーザーの指の検出に与える影響が小さいため、指検出するためのセンサ手段の変更は必要ないと判定(S102でNO)し、S100へ戻る。
次に、制御部203は、実際に指検出するためのセンサ手段を変更する(S103)。
例えば、第一センサ手段200を用いている状態で、S103の処理を行う場合には、制御部203(センサ選択部2030)は、第二センサ手段201を用いるようにセンサ手段を選択する処理(変更処理)を行う。
次に、指検出部202は、選択されたセンサ手段を用いて、実際にユーザーの指を検出する(S104)。そして、S104の終了後は、S100へ戻る。
このようにして、情報端末装置100は、送信部から送信される信号(例えば超音波)に対する持ち手の影響を軽減する処理として、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する処理を行い、選択したセンサ手段を用いてユーザーの指を検出する。
以上、本実施の形態の情報端末装置およびその制御方法によれば、情報端末装置を保持する保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。
具体的には、本実施の形態の情報端末装置およびその制御方法によれば、ユーザーが情報端末装置100を把持(保持)する持ち手または情報端末装置100をテーブルなどにおいて使用する際の添え腕の検出結果に基づき、異なるセンサ手段(第一センサ手段200または第二センサ手段201)を選択する。そして選択したセンサ手段を用いて、持ち手検出部206で空間位置座標の検出対象であるユーザーの指の検出を行う。それにより、ユーザーが端末を把持するための持ち手や、端末をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。
なお、上記では、表示部101がタッチパネルを兼ねる場合について説明したがそれに限られない。以下、その一例について説明する。
図6は、実施の形態1に係る情報端末装置の外観の別の一例を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図6に示す情報端末装置150は、第一送信部102および第二送信部103の近傍に圧力センサ151および圧力センサ152が設けられている。圧力センサ151および圧力センサ152は、例えば圧電センサや静電センサなどで構成される。それにより、持ち手検出部206は、表示部101がタッチパネルを兼ねていなくても、圧力センサ151および圧力センサ152を用いて、持ち手の位置を検出することができる。
なお、持ち手検出部206が持ち手の接触もしくはセンサ周辺部に持ち手があることを検出することができる持ち手検出用センサであれば、圧力センサ151および圧力センサ152、タッチパネルに限られない。
また、上記では、複数のセンサ手段は、例として第一センサ手段200と第二センサ手段201の二つである場合について説明したがそれに限られない。複数のセンサ手段は二つ以上あればよく、特に二つに限定するものではない。また、情報端末装置が大型であり、複数のユーザーにより取り囲まれて使用される場合には、複数のセンサ手段は情報端末装置の四辺に設けられるとしてもよい。
(実施の形態2)
実施の形態1では、持ち手(情報端末装置を保持する保持体)の検出は、ユーザーの指の検出(操作入力のための物体)と異なる手段を用いる場合について説明したがそれに限らない。持ち手の検出にも、ユーザーの指の検出で用いられるセンサ手段を用いてもよい。実施の形態では、その場合について説明する。
図7は、実施の形態2に係る情報端末装置260の外観の一例を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図7に示す情報端末装置260は、実施の形態1に係る情報端末装置100に対して、表示部の構成が異なる。すなわち、表示部261はタッチパネル部を備えていない点で実施の形態1に係る表示部101と異なる。
図8は、実施の形態2に係る情報端末装置260の構成の一例を示すブロック図である。なお、図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図8に示す情報端末装置260は、実施の形態1に係る情報端末装置100に対して、表示部261と制御部263と構成が異なる。
具体的には、制御部263は、実施の形態1における制御部203に対してさらに持ち手検出部2632を含み、第一センサ手段200、第二センサ手段201の出力が持ち手検出部2632に入力されている。
換言すると、第一センサ手段200、第二センサ手段201は、複数のセンサ手段の一例であり、この複数のセンサ手段(第一センサ手段200、第二センサ手段201)は、さらに、情報端末装置260が保持されている位置を検出するために用いられる。
また、持ち手検出部2632は、保持位置検出部の一例であり、複数のセンサ手段を用いて、持ち手の位置(保持位置)を検出する。本実施の形態では、持ち手検出部2632は、まず、第一センサ手段200または第二センサ手段201を一定時間ずつ交互に切り替えながら用いて、持ち手の位置座標を検出する。なお、持ち手の位置座標の具体的な検出方法については、後述するため説明を省略する。
そして、センサ選択部2030は、持ち手検出部2632によって検出された持ち手の位置座標に基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。センサ選択部2030は、例えば上述したように、最も持ち手から遠い位置にある送信部で構成されるセンサ手段を選択する。
なお、第一センサ手段200および第二センサ手段201を一定時間ずつ交互に切り替えながら用いても持ち手を検出できなかった場合、第一センサ手段200および第二センサ手段201のいずれに対しても持ち手の影響が小さいことを示している。そのため、センサ選択部2030は、ユーザーの指の検出に用いるセンサ手段としてどちらのセンサ手段を選択してもよい。
図9は、実施の形態2における係る情報端末装置260の処理の一例を説明するためのフローチャートである。なお、図5と同様の要素には同一の符号を付しており、詳細な説明は省略する。つまり、S100、S103の動作に関しては、実施の形態1の図5で説明したのと同様のためここでの説明を省略する。
以下、S201およびS202を中心に動作を説明する。
S201において、持ち手検出部2632は、第一センサ手段200および第二センサ手段201を一定時間ずつ交互に切り替えながら用いて、持ち手(持ち手の位置座標)を検出する。
ここで、持ち手の検出方法の一例について説明する。
図10および図11は、本実施の形態における持ち手検出部2632が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。
以下、複数の送信部のうち例えば第一送信部102が信号としてパルス状の超音波を一定の間隔で繰り返し送信していると仮定して説明する。
図10には、第一受信部104が異なるタイミング(例えば時刻T1と時刻T2)で第一送信部102から送信された超音波を受信したときの受信波形(受信波形400と受信波形401)が示されている。図10に示すグラフの原点はいずれも第一送信部102がパルス状の超音波を送信したタイミングを示している。また、図10では、第一送信部102は異なるタイミングでパルス状の超音波を送信した場合を示している。
図10に示すように、二つの受信波形(受信波形400と受信波形401)のうち受信波形400のピーク位置は移動している。そのため、受信波形400は、ユーザーの指による超音波の反射波を第一受信部104が受信した受信波形であると推定できる。これは、検出対象物であるユーザーの指は、情報端末装置260に対する操作のために表示部261の近傍の空間を移動すると考えられるからである。なお、図10に示す例では、ユーザーの指が第一受信部104に近づいている動作を行った場合を例示している。
一方、二つの受信波形(受信波形400と受信波形401)のうち受信波形401のピーク位置は移動していない。つまり、第一送信部102がパルス状の超音波を送信したタイミングに対して第一受信部104が受信するタイミングが一定であり動いていない。そのため、受信波形401は、持ち手による超音波の反射波を第一受信部104が受信した受信波形であると推定できる。
次に、図11には、複数の受信部(第一受信部104、第二受信部105、第三受信部106および第四受信部107)のそれぞれがあるタイミング(例えば時刻T2)で第一送信部102から送信された超音波を受信したときの受信波形(受信波形400と受信波形401)が示されている。ここで、受信波形400は、検出対象物であるユーザーの指からの受信波形であると推定済みであり、受信波形401は持ち手からの受信波形であると推定済みである。
持ち手検出部2632は、第一送信部102からパルス状の超音波が送信された送信時刻(既知)と受信波形400および受信波形401のピーク位置の受信時刻とを用いて、複数の受信部それぞれから検出対象物(持ち手)までの距離を測定する。具体的には、持ち手検出部2632は、複数の受信部が受信した受信波形401のピーク位置から算出した複数の受信部それぞれから検出対象物(持ち手)までの距離のうち三つを用いて三点測量により検出対象物(持ち手)の空間位置座標を検出する。ここで、同じ受信波形401を用いて、指検出部202も対象物(ユーザの指)までの距離を検出するとしてもよい。つまり、指検出部202も、第一送信部102からパルス状の超音波が送信された送信時刻(既知)と受信波形400および受信波形401のピーク位置の受信時刻とを用いて、複数の受信部それぞれから対象物(ユーザの指)までの距離を測定するとしてもよい。
なお、持ち手検出部2632は、さらに、情報端末装置260の表示部261の表面(所定面)を基準平面とした垂直方向における、情報端末装置260を保持する保持体(ここでは持ち手)の距離が閾値以下の場合に、その保持体(持ち手)の位置が、検出対象物(持ち手)の位置座標(保持位置)として検出するとしてもよい。換言すると、持ち手検出部2632は、図10で説明した持ち手の検出の際、受信波形401から算出される検出対象物(持ち手)の空間位置座標が表示部261の表面近傍の空間位置座標である場合、その受信波形401が持ち手による受信波形であると推定し、複数の受信部がそれぞれ受信した受信波形401を用いて持ち手の空間位置座標を検出してもよい。
なお、持ち手とユーザーの指とが同時に検出される場合について特に効果を奏するため、上記のように説明したが、それに限られない。例えばユーザーの指が表示部261の近傍の空間になく、持ち手のみが存在するとしてもよい。その場合には、例えば、検出された空間位置座標が一定時間以上動かないことのみをもって持ち手であると判断するとしてもよい。また、検出された空間位置座標が表示部261の表面近傍の空間位置座標であることのみをもって持ち手であると判断するとしてもよい。
このように、持ち手の空間位置座標を検出後、S202へ移行する。
次に、S202において、センサ選択部2030は、持ち手検出部2632によって検出された持ち手の位置座標を基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。例えば、センサ選択部2030は、最も持ち手の影響を受けにくいセンサ手段として、持ち手の位置座標から遠い位置にあるセンサ手段を選択する。このように、センサ選択部2030は、持ち手がユーザーの指の検出の妨げとならないセンサ手段を選択する。
次に、指検出部202は、選択されたセンサ手段を用いて、実際にユーザーの指を検出し(S104)、その後、S100へ戻る。
このようにして、情報端末装置260は、送信部から送信される信号(例えば超音波)に対する持ち手の影響を軽減する処理として、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する処理を行い、選択したセンサ手段を用いてユーザーの指を検出する。
なお、S201において、指検出部202がユーザーの指による受信波形と持ち手による受信波形を区別できるよう、持ち手検出部2632は、検出した持ち手の空間位置座標をメモリ205に記憶するとしてもよい。その場合、指検出部202は、メモリ205に記憶される持ち手の空間位置座標をさらに用いて、持ち手による受信波形401のピークと実際に受信した受信波形400のピークの差分を取ることによって、ユーザーの指の検出精度を向上させることができる。
以上、本実施の形態の情報端末装置およびその制御方法によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。
なお、上記では、表示部261がタッチパネル部を有さない場合について説明したがそれに限られない。実施の形態1と同様に表示部261がタッチパネル部を有していてもよい。
以上、本発明によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置およびその制御方法を実現することができる。
それにより、情報端末装置を把持(保持)するための持ち手の位置や、情報端末装置をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象物であるユーザーの指の空間位置座標の検出を行うことができる。したがって、ユーザーは空間位置座標検出用に用いられるセンサ手段の位置を意識することなく情報端末装置を操作できる。
ここで、例えば、図12は、本発明に係る情報端末装置の使用場面の一例を示す図である。図12に示すように、表示部261(101)の表示画面から飛出すように表示される3Dオブジェクト300に指で触って操作する場合でも、ユーザーは空間位置座標検出用に用いられるセンサ手段の位置を意識することなく情報端末装置を操作できる。なお、図12では、持ち手109cで情報端末装置260(100)を保持し、3Dオブジェクト300に指110cで触りながら、指110dに移動させる操作により3Dオブジェクト300を移動させる操作を行う例を示している。
以上、本発明の一つまたは複数の態様に係る情報端末装置およびその制御方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記では、複数のセンサ手段が受信部を共用する場合を例に挙げて説明したがそれに限らない。複数のセンサ手段それぞれが別個に、送信部と複数の受信部とで構成されているとしてもよい。その場合には、センサ手段の停止とは、センサ手段を構成する送信部と複数の受信部すべてを停止する場合だけでなく、センサ手段を構成する送信部だけの停止も含む。
また、例えば、上記では、複数のセンサ手段の例としてセンサ手段が二つ(第一センサ手段200と第二センサ手段201)の場合について説明したがそれに限られない。つまり、複数のセンサ手段の数を二つに限定するものではなく、三つ以上存在してもかまわない。
例えば、情報端末装置が大型である場合には、これら複数のセンサ手段が情報端末装置の四辺に設けられるとしてもよいし、さらにそれに加えて複数のセンサ手段が設けられとしてもよい。その場合、持ち手や添え腕に近い位置に存在するセンサ手段を使用しない、すなわち使用しないセンサ手段を構成する送信部による信号(例えば超音波)の発信を停止させるか、使用しないセンサ手段を構成する送信部から発信された信号を検出対象であるユーザーの指の検出に使用しないようにすればよい。前者であれば消費電力を削減することが可能になり、後者であれば電源制御を簡易化することが可能になる。
このとき、三つ以上存在するセンサ手段のうち、いくつを使用し、いくつを使用しないようにするかは、持ち手や添え腕からそれぞれのセンサ手段を構成する送信部までの距離を考慮して決定してもよい。また、実際にそれぞれのセンサ手段を構成する送信部から発信された信号を受信する複数の受信部による受信状況を考慮して決定してもよい。
さらに、持ち手や添え腕に近い位置に存在する少なくとも1以上の受信部を使用しないようにしてもよい。すなわち使用するセンサ手段に構成される送信部に対して、持ち手や添え腕を挟んで反対側に存在する少なくとも1以上の受信部を使用しないようにする。このとき、受信部による信号の受信を停止させるか、使用しない受信部によって受信された信号をユーザーの指の検出に使用しないようにすればよい。前者であれば消費電力を削減することが可能になり、後者であれば電源制御を簡易化することが可能になる。
また、複数のセンサ手段を構成する送信部と受信部とが用いる信号は超音波に限られず、光信号でもよく、赤外線や赤外線LEDでも構わない。
また、複数のセンサ手段はそれぞれ、上記のような送信部と受信部とで構成されている場合に限らず、カメラであってもよい。その場合には、複数のセンサ手段は3つ以上であることが好ましい。
また、上記では、情報端末装置を保持する保持体の例として、ユーザーの持ち手や添え腕を例に挙げて説明したが、それに限らない。保持体は、スタンド等であってもよく、一定の体積を有し、情報端末装置を保持する物であればよい。
また、上記では、空間位置座標の検出対象物(操作入力のための物体)の例として、ユーザーの指を例に挙げて説明したが、それに限られない。操作入力のための物体は、指し指、拳、ペン先、ポインタ等、空間位置座標を用いて操作入力できる物体であればよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御ステップと、を実行させる。
本発明は、情報端末装置およびその制御方法に利用でき、特に、スマートフォンおよびタブレット端末などタッチ操作やジェスチャー操作などで操作することのできるモバイル情報端末や空間位置センシング装置に組み込まれて利用することができる。
100、100A、100B、150、260 情報端末装置
101、261 表示部
102 第一送信部
103 第二送信部
104 第一受信部
105 第二受信部
106 第三受信部
107 第四受信部
109a、109c 持ち手
109b 添え腕
110a、110b、110c、110d 指
151、152 圧力センサ
200 第一センサ手段
201 第二センサ手段
202 指検出部
203、263 制御部
205 メモリ
206、2632 持ち手検出部
300 3Dオブジェクト
400、401 受信波形
2030 センサ選択部
2031 表示制御部
本発明は、情報端末装置、その制御方法、およびプログラムに関し、特に指など操作入力のための物体を検出する情報端末装置、その制御方法、およびプログラムに関する。
近年、スマートフォンおよびタブレット端末などのモバイル情報端末が一般的に普及している。このようなモバイル情報端末の操作方法は、例えばタッチ操作やジェスチャー操作などであり、ユーザーにとって直感的なインターフェイス(操作方法)であるとして注目を集めている。ここで、例えばジェスチャー操作とは、手や指など操作入力のための物体(以下では検出対象物とも記載)の空間位置座標および動きを検出することによって、ユーザーの意図する操作を認識し、モバイル情報端末の制御を行うことである。
このジェスチャー操作を実現するには、操作入力のための物体(検出対象物)の空間位置座標を精度良く検出することが求められる。検出対象物の空間位置座標を精度良く検出する技術として、超音波や赤外光の送受信の時間差を基に検出対象物の空間位置座標を検出する技術がある(例えば、特許文献1および特許文献2)。
特開2006−127342号公報
特開昭61−067121号公報
しかしながら、上記従来の技術では、検出対象物の空間位置座標を検出できない場合があるという問題点については考慮されていない。
本発明は、かかる問題に鑑みてなされたものであって、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置等を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る情報端末装置は、情報端末装置であって、少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御部とを備える。
本発明によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置等を実現することができる。
図1は、実施の形態1に係る情報端末装置の外観の一例を示す図である。
図2は、実施の形態1に係る情報端末装置の構成の一例を示すブロック図である。
図3Aは、実施の形態1に係る第一センサ手段の構成の一例を示すブロック図である。
図3Bは、実施の形態1に係る第二センサ手段の構成の一例を示すブロック図である。
図4Aは、実施の形態1に係る情報端末装置を使用している様子の一例を示した図である。
図4Bは、実施の形態1に係る情報端末装置を使用している様子の一例を示した図である。
図5は、実施の形態1に係る情報端末装置の処理の一例を説明するためのフローチャートである。
図6は、実施の形態1に係る情報端末装置の外観の別の一例を示す図である。
図7は、実施の形態2に係る情報端末装置の外観の一例を示す図である。
図8は、実施の形態2に係る情報端末装置の構成の一例を示すブロック図である。
図9は、実施の形態2に係る情報端末装置の処理の一例を説明するためのフローチャートである。
図10は、実施の形態2における持ち手検出部が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。
図11は、実施の形態2における持ち手検出部が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。
図12は、本発明に係る情報端末装置の使用場面の一例を示す図である。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した特許文献1および特許文献2に開示される技術に関し、以下のような問題が生じることを見出した。
すなわち、特許文献1には、超音波センサを用いて位置座標検出を行う際、温度変化による音速の変化に対し、温度センサを用いずにこれを補正し、位置検出精度を向上させる技術について記載されている。また、特許文献2には、光電方式を用いて位置検出を行う際、光授受対の増加なしに分解能を向上させる技術について記載されている。
しかしながら、特許文献1および特許文献2に記載の技術では、モバイル情報端末を把持するための持ち手や、情報端末装置をテーブルなどにおいて使用する際の添え腕すなわちモバイル情報端末を保持する保持体によって、超音波送信器の発する超音波やLEDの発する赤外光が遮断されたりすることにより、検出対象物の空間位置座標を検出できない場合があるという問題点については考慮されていない。
特に、スマートフォンやタブレット端末などのモバイル情報端末においては、ユーザーがモバイル情報端末を把持してこれを使用する場合が多く、モバイル情報端末を把持するための持ち手が超音波や赤外光を用いての空間位置座標検出に影響を与えやすいという問題がある。
そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置を提供することを目的とする。
上記問題を解決するために、本発明の第1の態様に係る情報端末装置は、情報端末装置であって、少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御部とを備える。
この構成により、ユーザーが情報端末装置を把持(保持)するための持ち手の位置や、情報端末装置をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象の空間位置座標の検出を行うことができる。それにより、ユーザーが超音波送信器や赤外線LEDなどのセンサ手段の位置を意識することなく情報端末装置を使用することができる。
また、本発明の第2の態様に係る情報端末装置は、第1の態様において、例えば、前記制御部は、前記少なくとも1つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にあるセンサ手段を選択するとしてもよい。
また、本発明の第3の態様に係る情報端末装置は、第1の態様または第2の態様において、例えば、前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にあるセンサ手段の動作を停止するとしてもよい。
また、本発明の第4の態様に係る情報端末装置は、第1の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備えるとしてもよい。
ここで、本発明の第5の態様に係る情報端末装置は、第2の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、前記制御部は、前記少なくとも1つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にある送信部を含むセンサ手段を選択するとしてもよい。
また、本発明の第6の態様に係る情報端末装置は、第3の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部を含むセンサ手段の動作を停止するとしてもよい。
また、本発明の第7の態様に係る情報端末装置は、第6の態様において、例えば、前記制御部は、前記保持位置に最も近い位置にあるセンサ手段の動作として、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部のみの動作を停止するとしてもよい。
また、本発明の第8の態様に係る情報端末装置は、第4の態様〜第7の態様のいずれかにおいて、例えば、前記複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用されるとしてもよい。
また、本発明の第9の態様に係る情報端末装置は、第1の態様〜第8の態様のいずれかにおいて、例えば、さらに、前記制御部により選択された複数のセンサ手段のうち少なくとも1つのセンサ手段を用いて、前記操作入力のための物体を検出する物体検出部を備えるとしてもよい。
また、本発明の第10の態様に係る情報端末装置は、第1の態様〜第9の態様のいずれかにおいて、例えば、前記複数のセンサ手段は、さらに、前記情報端末装置が保持されている位置を検出するために用いられ、前記保持位置検出部は、前記複数のセンサ手段を用いて、前記保持位置を検出するとしてもよい。
また、本発明の第11の態様に係る情報端末装置は、第1の態様〜第10の態様のいずれかにおいて、例えば、前記保持位置検出部は、前記情報端末装置を保持する保持体の前記情報端末装置の表示面からの距離が閾値以下の場合に、前記保持体の位置を、前記保持位置として検出するとしてもよい。
また、上記問題を解決するために、本発明の情報端末装置に係る情報端末装置の制御方法は、前記情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御ステップを含む。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
(実施の形態1)
空間位置座標の検出対象物(操作入力のための物体)としてユーザーの指を例に挙げて以下説明する。また、情報端末装置を保持する保持体として、ユーザーが情報端末装置を把持(保持)する持ち手または情報端末装置をテーブルなどにおいて使用する際の添え腕を例に挙げて以下説明する。なお、説明の便宜のため、以下では添え腕も含めて持ち手と呼ぶことがある。
図1は、実施の形態1に係る情報端末装置100の外観の一例を示す図である。
図1に示す情報端末装置100は、表示部101と、第一送信部102、第二送信部103と、第一受信部104と、第二受信部105と、第三受信部106と、第四受信部107と、を備える。
情報端末装置100は、例えば、スマートフォンやタブレット端末などタッチ操作やジェスチャー操作などで操作することのできるモバイル情報端末や空間位置センシング装置である。
表示部101は、例えば、液晶ディスプレイや有機ELディスプレイ、プラズマディスプレイである。本実施の形態では、表示部101は、ユーザーが触れることで操作できるタッチパネルを兼ねているとして以下説明する。なお、表示部101は、上記以外の表示方式のパネルを用いてもよい。
第一送信部102および第二送信部103は、信号を送信する送信部の一例であり、検出対象物の空間位置座標を検出するために用いられる。ここで、第一送信部102および第二送信部103は、例えば、超音波送信器であり、超音波信号を送信する。
第一受信部104〜第四受信部107は、送信部から送信された信号を受信する複数の受信部の一例であり、第一送信部102または第二送信部103から送信された信号を受信する。第一受信部104〜第四受信部107は、例えば、超音波受信センサであり、第一送信部102または第二送信部103から送信された超音波信号を受信する。
ここで、操作入力のための物体であるユーザーの指の空間位置座標を検出する方法について説明する。
第一送信部102または第二送信部103から送信された信号(例えば超音波)は、情報端末装置100の操作のために表示部101の近傍の空間におかれたユーザーの指によって反射する。反射した信号(超音波)は複数の受信部(第一受信部104、第二受信部105、第三受信部106、第四受信部107)によって受信され、それぞれの受信のタイミングから、三点測量の要領で検出対象であるユーザーの指の空間位置座標を検出することができる。これは、例えば超音波パルス反射法による三点測量であり、超音波を使用した空間位置座標検出技術として一般的なものである。
なお、一般的に超音波送信器が1個、超音波受信センサが3個あれば、三点測量の要領で検出対象の空間位置座標を検出可能である。本実施の形態においては、一例として上記の組み合わせ(送信部が1個、受信部が3個)に送信部をさらに1個、受信部をさらに1個追加し、三点測量が可能な送信部と受信部の組み合わせを増やしている。これにより、持ち手の位置に応じて使用する送信部を切り替えて、ユーザーの指の空間位置座標を検出することが可能になる。
図2は、実施の形態1に係る情報端末装置100の詳細構成の一例を示すブロック図である。図3Aは、実施の形態1に係る第一センサ手段の構成の一例を示すブロック図である。図3Bは、実施の形態1に係る第二センサ手段の構成の一例を示すブロック図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
情報端末装置100は、図2に示すように、さらに、表示部101と、第一センサ手段200と、第二センサ手段201と、指検出部202と、制御部203と、メモリ205と、持ち手検出部206とを備える。また、制御部203は、内部にセンサ選択部2030と表示制御部2031とを備える。
第一センサ手段200と第二センサ手段201とは、複数のセンサ手段の一例であり、少なくとも情報端末装置100に対する操作入力のための物体(ここではユーザの指)を検出するために用いられる。ここで、複数のセンサ手段はそれぞれ、信号を送信する送信部と、その送信部から送信された信号を受信する複数の受信部とを備える。本実施の形態では、これら複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用される。
具体的には、第一センサ手段200は、例えば図3Aに示すように、第一送信部102と、第一受信部104と、第二受信部105と、第三受信部106と、第四受信部107との組み合わせから構成される。また、第二センサ手段201は、例えば図3Bに示すように、第二送信部103、第一受信部104と、第二受信部105と、第三受信部106と、第四受信部107との組み合わせから構成される。なお、以下では、第一センサ手段200と第二センサ手段201とをまとめて複数のセンサ手段とも呼ぶ。
メモリ205は、例えば、ユーザーの指の空間位置座標の変化から情報端末装置100に対するユーザーの操作を認識するために、ユーザーの指の空間位置座標を一時的に蓄える。また、メモリ205は、その他、必要に応じて、適宜、制御部203のデータを蓄積する。
持ち手検出部206は、保持位置検出部の一例であり、情報端末装置100が保持(把持)されている持ち手の位置(保持位置)を検出する。
本実施の形態では、持ち手検出部206は、タッチパネルを兼用する(タッチパネル部を有する)表示部101を用いて持ち手を検出する。すなわち、持ち手検出部206は、表示部101を用いて、表示部101のタッチパネル部分に接触している持ち手の位置座標を検出する。より具体的には、持ち手検出部206は、図1に示すように表示部101の辺縁であって情報端末装置100を操作するための画面部品(アイコンやボタンなど)が表示されていない場所において接触を検出し、かつその接触が所定の時間以上継続しているのを検出したとする。その場合、持ち手検出部206は、その接触が持ち手によるものであると判断して、その持ち手の位置座標を検出する。
なお、持ち手検出部206は、情報端末装置100を保持する保持体の前記情報端末装置の表示面から距離が閾値以下の場合に、その保持体の位置を、持ち手の位置座標(保持位置)として検出するとしてもよい。
制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)に基づいて、複数のセンサ手段のうちからユーザーの指を検出するために用いる少なくとも1つのセンサ手段を選択する。例えば、制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)から最も遠い位置にあるセンサ手段を選択するとしてもよい。このとき、例えば、制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)から最も近い位置にあるセンサ手段の動作を停止するとしてもよい。
このように、制御部203は、持ち手検出部206により検出された持ち手の位置座標(保持位置)に基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。
より具体的には、センサ選択部2030は、持ち手検出部206によって検出された持ち手の位置座標を基に、上記のようにして最も持ち手の影響を受けにくいセンサ手段を選択する。表示制御部2031は、指検出部202により得られたユーザーの指の空間位置座標の変化が情報端末装置100に対する所定の操作に該当すると判断すると、その操作に割り当てられた動作を行うように表示部101などを制御する。
指検出部202は、物体検出部の一例であり、制御部203により選択された複数のセンサ手段のうち少なくとも1つのセンサ手段を用いて、情報端末装置100に対する操作入力のための物体(ここではユーザの指)を検出する。
具体的には、指検出部202は、センサ選択部2030によって選択されたセンサ手段を用いて、ユーザーの指を検出し、超音波パルス反射法などによる距離測量を行うことで、第一受信部104〜第四受信部107それぞれからユーザーの指までの距離を測量する。そして、指検出部202は、選択されたセンサ手段を用いて検出された、第一受信部104〜第四受信部107それぞれからユーザーの指までの距離を用いて三点測量の要領でユーザーの指の空間位置座標を算出する。
図4Aおよび図4Bは、実施の形態1に係る情報端末装置100を使用している様子の一例を示した図である。図4Aは、スマートフォンのような比較的小さな情報端末装置100Aを使用しているときの様子を示しており、図4Bは、テーブルトップパソコンのような比較的大きな情報端末装置100Aを使用しているときの様子を示している。
例えば、第一センサ手段200を用いてユーザーの指の検出を行うとする。その場合、図4Aに示すユーザーの持ち手109aや図4Bに示すユーザーの添え腕109bが第一送信部102から送信される信号(例えば超音波)の妨げとなり、第一センサ手段200では信号の送受信がうまく行われない。換言すると、第一センサ手段200では、情報端末装置100Aを操作するために使用しているユーザーの指110aまたは情報端末装置100Bを操作するために使用しているユーザーの指110bを検出できない場合がある。なお、検出対象物であるユーザーの指が検出できなくなったか否かは、第一受信部104、第二受信部105、第三受信部106および第四受信部107のうち少なくとも二つの受信部が第一送信部102から送信された信号(例えば超音波)を有意に受信できなくなったか否かによって判断する。
一方、第二センサ手段201を用いてユーザーの指の検出を行うとする。その場合、図4Aに示すユーザーの持ち手109aや図4Bに示すユーザーの添え腕109bは第二送信部103から遠い位置にあるため、第二送信部103から送信される信号はこれらの影響を受けにくい。
そのため、本実施の形態では、持ち手検出部206によって持ち手の位置座標を検出し、センサ選択部2030によって、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する。
より具体的には、図4Aまたは図4Bに示す場合であれば、センサ選択部2030によって、ユーザーの指の空間位置座標を検出するための適切なセンサ手段として、ユーザーの持ち手109aやユーザーの添え腕109bの位置座標から遠い第二送信部103を有する第二センサ手段201が選択される。
そして、第二センサ手段201を用いて得た、それぞれの受信部からユーザーの指までの距離を基づいて、指検出部202でユーザーの指の空間位置座標を算出する。制御部203は、このようにして得られたユーザーの指の空間位置座標の変化が情報端末装置100に対する所定の操作に該当すると判断すると、その操作に割り当てられた動作を行うように表示部101などを制御する。
次に、上記のように構成された情報端末装置100の処理について説明する。
図5は、実施の形態1に係る情報端末装置100の処理の一例を説明するためのフローチャートである。
まず、情報端末装置100は、持ち手検出条件を満たしているか否かを判定する(S100)。ここで、持ち手検出条件とは、実際にユーザーの持ち手がユーザーの指の検出を妨げているか否かを判断するための条件ではなく、ユーザーの持ち手がユーザーの指の検出を妨げているか否かの判断を行うか否かの条件である。
例えば、持ち手検出条件を、一定時間が経過した場合とする。その場合、例えば、情報端末装置100の電源が起動した状態で一定時間が経過するごとに、持ち手検出条件を満たすと判定し、S101に進む。また、例えば、検出対象物であるユーザーの指が、検出できなくなった場合に持ち手検出条件を満たすとしてもよい。また、例えば、一定時間、ユーザーが情報端末装置100の操作を行わなかった後に、新たな操作を行った場合に持ち手検出条件を満たすとしてもよい。さらに、表示部101がオンになったタイミングに持ち手検出条件を満たすとしてもよい。また、情報端末装置100が情報端末装置100の動きを検出できるジャイロセンサなどのセンサを備えているならば、そのセンサによって情報端末装置100が大きく動いたことが検出されたときに持ち手検出条件を満たすとしてもよい。なお、持ち手検出条件には上記例に限られず様々な条件が考えられ、それらを単独で、もしくは、組み合わせて用いてもよい。
次に、持ち手検出条件を満たすと判定した場合(S100でYES)、持ち手検出部206は、実際に持ち手検出を行う(S101)。具体的には、持ち手検出部206は、タッチパネルを兼ねる表示部101を用いて持ち手とタッチパネルが接触している位置座標を検出する。例えば、持ち手検出部206は、表示部101の辺縁であって情報端末装置100を操作するための画面部品(アイコンやボタンなど)が表示されていない場所において接触を検出し、かつその接触が所定の時間以上継続しているのを検出したとする。その場合、持ち手検出部206は、その接触が持ち手によるものであると判断して、その持ち手の位置座標を検出する。なお、持ち手検出条件を満たさない場合(S100でNO)、情報端末装置100は、再度S100の処理を行う。
次に、情報端末装置100は、ユーザーの持ち手の影響を受けにくいセンサ手段を判断し、指検出するために用いるセンサ手段の変更が必要か否かを判定する(S102)。
例えば、S101で検出された持ち手の位置座標が現在使用しているセンサ手段の送信部に近いとする。その場合、制御部203は、検出対象物であるユーザーの指の検出に与える影響が大きいため、指検出するためのセンサ手段の変更が必要であると判定(S102でYES)し、S103へ移行する。なお、例えば、S101で検出された持ち手の位置座標が現在使用しているセンサ手段の送信部から遠いとする。その場合、制御部203は、検出対象物であるユーザーの指の検出に与える影響が小さいため、指検出するためのセンサ手段の変更は必要ないと判定(S102でNO)し、S100へ戻る。
次に、制御部203は、実際に指検出するためのセンサ手段を変更する(S103)。
例えば、第一センサ手段200を用いている状態で、S103の処理を行う場合には、制御部203(センサ選択部2030)は、第二センサ手段201を用いるようにセンサ手段を選択する処理(変更処理)を行う。
次に、指検出部202は、選択されたセンサ手段を用いて、実際にユーザーの指を検出する(S104)。そして、S104の終了後は、S100へ戻る。
このようにして、情報端末装置100は、送信部から送信される信号(例えば超音波)に対する持ち手の影響を軽減する処理として、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する処理を行い、選択したセンサ手段を用いてユーザーの指を検出する。
以上、本実施の形態の情報端末装置およびその制御方法によれば、情報端末装置を保持する保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。
具体的には、本実施の形態の情報端末装置およびその制御方法によれば、ユーザーが情報端末装置100を把持(保持)する持ち手または情報端末装置100をテーブルなどにおいて使用する際の添え腕の検出結果に基づき、異なるセンサ手段(第一センサ手段200または第二センサ手段201)を選択する。そして選択したセンサ手段を用いて、持ち手検出部206で空間位置座標の検出対象であるユーザーの指の検出を行う。それにより、ユーザーが端末を把持するための持ち手や、端末をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。
なお、上記では、表示部101がタッチパネルを兼ねる場合について説明したがそれに限られない。以下、その一例について説明する。
図6は、実施の形態1に係る情報端末装置の外観の別の一例を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図6に示す情報端末装置150は、第一送信部102および第二送信部103の近傍に圧力センサ151および圧力センサ152が設けられている。圧力センサ151および圧力センサ152は、例えば圧電センサや静電センサなどで構成される。それにより、持ち手検出部206は、表示部101がタッチパネルを兼ねていなくても、圧力センサ151および圧力センサ152を用いて、持ち手の位置を検出することができる。
なお、持ち手検出部206が持ち手の接触もしくはセンサ周辺部に持ち手があることを検出することができる持ち手検出用センサであれば、圧力センサ151および圧力センサ152、タッチパネルに限られない。
また、上記では、複数のセンサ手段は、例として第一センサ手段200と第二センサ手段201の二つである場合について説明したがそれに限られない。複数のセンサ手段は二つ以上あればよく、特に二つに限定するものではない。また、情報端末装置が大型であり、複数のユーザーにより取り囲まれて使用される場合には、複数のセンサ手段は情報端末装置の四辺に設けられるとしてもよい。
(実施の形態2)
実施の形態1では、持ち手(情報端末装置を保持する保持体)の検出は、ユーザーの指の検出(操作入力のための物体)と異なる手段を用いる場合について説明したがそれに限らない。持ち手の検出にも、ユーザーの指の検出で用いられるセンサ手段を用いてもよい。実施の形態では、その場合について説明する。
図7は、実施の形態2に係る情報端末装置260の外観の一例を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図7に示す情報端末装置260は、実施の形態1に係る情報端末装置100に対して、表示部の構成が異なる。すなわち、表示部261はタッチパネル部を備えていない点で実施の形態1に係る表示部101と異なる。
図8は、実施の形態2に係る情報端末装置260の構成の一例を示すブロック図である。なお、図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図8に示す情報端末装置260は、実施の形態1に係る情報端末装置100に対して、表示部261と制御部263と構成が異なる。
具体的には、制御部263は、実施の形態1における制御部203に対してさらに持ち手検出部2632を含み、第一センサ手段200、第二センサ手段201の出力が持ち手検出部2632に入力されている。
換言すると、第一センサ手段200、第二センサ手段201は、複数のセンサ手段の一例であり、この複数のセンサ手段(第一センサ手段200、第二センサ手段201)は、さらに、情報端末装置260が保持されている位置を検出するために用いられる。
また、持ち手検出部2632は、保持位置検出部の一例であり、複数のセンサ手段を用いて、持ち手の位置(保持位置)を検出する。本実施の形態では、持ち手検出部2632は、まず、第一センサ手段200または第二センサ手段201を一定時間ずつ交互に切り替えながら用いて、持ち手の位置座標を検出する。なお、持ち手の位置座標の具体的な検出方法については、後述するため説明を省略する。
そして、センサ選択部2030は、持ち手検出部2632によって検出された持ち手の位置座標に基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。センサ選択部2030は、例えば上述したように、最も持ち手から遠い位置にある送信部で構成されるセンサ手段を選択する。
なお、第一センサ手段200および第二センサ手段201を一定時間ずつ交互に切り替えながら用いても持ち手を検出できなかった場合、第一センサ手段200および第二センサ手段201のいずれに対しても持ち手の影響が小さいことを示している。そのため、センサ選択部2030は、ユーザーの指の検出に用いるセンサ手段としてどちらのセンサ手段を選択してもよい。
図9は、実施の形態2における係る情報端末装置260の処理の一例を説明するためのフローチャートである。なお、図5と同様の要素には同一の符号を付しており、詳細な説明は省略する。つまり、S100、S103の動作に関しては、実施の形態1の図5で説明したのと同様のためここでの説明を省略する。
以下、S201およびS202を中心に動作を説明する。
S201において、持ち手検出部2632は、第一センサ手段200および第二センサ手段201を一定時間ずつ交互に切り替えながら用いて、持ち手(持ち手の位置座標)を検出する。
ここで、持ち手の検出方法の一例について説明する。
図10および図11は、本実施の形態における持ち手検出部2632が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。
以下、複数の送信部のうち例えば第一送信部102が信号としてパルス状の超音波を一定の間隔で繰り返し送信していると仮定して説明する。
図10には、第一受信部104が異なるタイミング(例えば時刻T1と時刻T2)で第一送信部102から送信された超音波を受信したときの受信波形(受信波形400と受信波形401)が示されている。図10に示すグラフの原点はいずれも第一送信部102がパルス状の超音波を送信したタイミングを示している。また、図10では、第一送信部102は異なるタイミングでパルス状の超音波を送信した場合を示している。
図10に示すように、二つの受信波形(受信波形400と受信波形401)のうち受信波形400のピーク位置は移動している。そのため、受信波形400は、ユーザーの指による超音波の反射波を第一受信部104が受信した受信波形であると推定できる。これは、検出対象物であるユーザーの指は、情報端末装置260に対する操作のために表示部261の近傍の空間を移動すると考えられるからである。なお、図10に示す例では、ユーザーの指が第一受信部104に近づいている動作を行った場合を例示している。
一方、二つの受信波形(受信波形400と受信波形401)のうち受信波形401のピーク位置は移動していない。つまり、第一送信部102がパルス状の超音波を送信したタイミングに対して第一受信部104が受信するタイミングが一定であり動いていない。そのため、受信波形401は、持ち手による超音波の反射波を第一受信部104が受信した受信波形であると推定できる。
次に、図11には、複数の受信部(第一受信部104、第二受信部105、第三受信部106および第四受信部107)のそれぞれがあるタイミング(例えば時刻T2)で第一送信部102から送信された超音波を受信したときの受信波形(受信波形400と受信波形401)が示されている。ここで、受信波形400は、検出対象物であるユーザーの指からの受信波形であると推定済みであり、受信波形401は持ち手からの受信波形であると推定済みである。
持ち手検出部2632は、第一送信部102からパルス状の超音波が送信された送信時刻(既知)と受信波形400および受信波形401のピーク位置の受信時刻とを用いて、複数の受信部それぞれから検出対象物(持ち手)までの距離を測定する。具体的には、持ち手検出部2632は、複数の受信部が受信した受信波形401のピーク位置から算出した複数の受信部それぞれから検出対象物(持ち手)までの距離のうち三つを用いて三点測量により検出対象物(持ち手)の空間位置座標を検出する。ここで、同じ受信波形401を用いて、指検出部202も対象物(ユーザの指)までの距離を検出するとしてもよい。つまり、指検出部202も、第一送信部102からパルス状の超音波が送信された送信時刻(既知)と受信波形400および受信波形401のピーク位置の受信時刻とを用いて、複数の受信部それぞれから対象物(ユーザの指)までの距離を測定するとしてもよい。
なお、持ち手検出部2632は、さらに、情報端末装置260の表示部261の表面(所定面)を基準平面とした垂直方向における、情報端末装置260を保持する保持体(ここでは持ち手)の距離が閾値以下の場合に、その保持体(持ち手)の位置が、検出対象物(持ち手)の位置座標(保持位置)として検出するとしてもよい。換言すると、持ち手検出部2632は、図10で説明した持ち手の検出の際、受信波形401から算出される検出対象物(持ち手)の空間位置座標が表示部261の表面近傍の空間位置座標である場合、その受信波形401が持ち手による受信波形であると推定し、複数の受信部がそれぞれ受信した受信波形401を用いて持ち手の空間位置座標を検出してもよい。
なお、持ち手とユーザーの指とが同時に検出される場合について特に効果を奏するため、上記のように説明したが、それに限られない。例えばユーザーの指が表示部261の近傍の空間になく、持ち手のみが存在するとしてもよい。その場合には、例えば、検出された空間位置座標が一定時間以上動かないことのみをもって持ち手であると判断するとしてもよい。また、検出された空間位置座標が表示部261の表面近傍の空間位置座標であることのみをもって持ち手であると判断するとしてもよい。
このように、持ち手の空間位置座標を検出後、S202へ移行する。
次に、S202において、センサ選択部2030は、持ち手検出部2632によって検出された持ち手の位置座標を基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。例えば、センサ選択部2030は、最も持ち手の影響を受けにくいセンサ手段として、持ち手の位置座標から遠い位置にあるセンサ手段を選択する。このように、センサ選択部2030は、持ち手がユーザーの指の検出の妨げとならないセンサ手段を選択する。
次に、指検出部202は、選択されたセンサ手段を用いて、実際にユーザーの指を検出し(S104)、その後、S100へ戻る。
このようにして、情報端末装置260は、送信部から送信される信号(例えば超音波)に対する持ち手の影響を軽減する処理として、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する処理を行い、選択したセンサ手段を用いてユーザーの指を検出する。
なお、S201において、指検出部202がユーザーの指による受信波形と持ち手による受信波形を区別できるよう、持ち手検出部2632は、検出した持ち手の空間位置座標をメモリ205に記憶するとしてもよい。その場合、指検出部202は、メモリ205に記憶される持ち手の空間位置座標をさらに用いて、持ち手による受信波形401のピークと実際に受信した受信波形400のピークの差分を取ることによって、ユーザーの指の検出精度を向上させることができる。
以上、本実施の形態の情報端末装置およびその制御方法によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。
なお、上記では、表示部261がタッチパネル部を有さない場合について説明したがそれに限られない。実施の形態1と同様に表示部261がタッチパネル部を有していてもよい。
以上、本発明によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置およびその制御方法を実現することができる。
それにより、情報端末装置を把持(保持)するための持ち手の位置や、情報端末装置をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象物であるユーザーの指の空間位置座標の検出を行うことができる。したがって、ユーザーは空間位置座標検出用に用いられるセンサ手段の位置を意識することなく情報端末装置を操作できる。
ここで、例えば、図12は、本発明に係る情報端末装置の使用場面の一例を示す図である。図12に示すように、表示部261(101)の表示画面から飛出すように表示される3Dオブジェクト300に指で触って操作する場合でも、ユーザーは空間位置座標検出用に用いられるセンサ手段の位置を意識することなく情報端末装置を操作できる。なお、図12では、持ち手109cで情報端末装置260(100)を保持し、3Dオブジェクト300に指110cで触りながら、指110dに移動させる操作により3Dオブジェクト300を移動させる操作を行う例を示している。
以上、本発明の一つまたは複数の態様に係る情報端末装置およびその制御方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記では、複数のセンサ手段が受信部を共用する場合を例に挙げて説明したがそれに限らない。複数のセンサ手段それぞれが別個に、送信部と複数の受信部とで構成されているとしてもよい。その場合には、センサ手段の停止とは、センサ手段を構成する送信部と複数の受信部すべてを停止する場合だけでなく、センサ手段を構成する送信部だけの停止も含む。
また、例えば、上記では、複数のセンサ手段の例としてセンサ手段が二つ(第一センサ手段200と第二センサ手段201)の場合について説明したがそれに限られない。つまり、複数のセンサ手段の数を二つに限定するものではなく、三つ以上存在してもかまわない。
例えば、情報端末装置が大型である場合には、これら複数のセンサ手段が情報端末装置の四辺に設けられるとしてもよいし、さらにそれに加えて複数のセンサ手段が設けられとしてもよい。その場合、持ち手や添え腕に近い位置に存在するセンサ手段を使用しない、すなわち使用しないセンサ手段を構成する送信部による信号(例えば超音波)の発信を停止させるか、使用しないセンサ手段を構成する送信部から発信された信号を検出対象であるユーザーの指の検出に使用しないようにすればよい。前者であれば消費電力を削減することが可能になり、後者であれば電源制御を簡易化することが可能になる。
このとき、三つ以上存在するセンサ手段のうち、いくつを使用し、いくつを使用しないようにするかは、持ち手や添え腕からそれぞれのセンサ手段を構成する送信部までの距離を考慮して決定してもよい。また、実際にそれぞれのセンサ手段を構成する送信部から発信された信号を受信する複数の受信部による受信状況を考慮して決定してもよい。
さらに、持ち手や添え腕に近い位置に存在する少なくとも1以上の受信部を使用しないようにしてもよい。すなわち使用するセンサ手段に構成される送信部に対して、持ち手や添え腕を挟んで反対側に存在する少なくとも1以上の受信部を使用しないようにする。このとき、受信部による信号の受信を停止させるか、使用しない受信部によって受信された信号をユーザーの指の検出に使用しないようにすればよい。前者であれば消費電力を削減することが可能になり、後者であれば電源制御を簡易化することが可能になる。
また、複数のセンサ手段を構成する送信部と受信部とが用いる信号は超音波に限られず、光信号でもよく、赤外線や赤外線LEDでも構わない。
また、複数のセンサ手段はそれぞれ、上記のような送信部と受信部とで構成されている場合に限らず、カメラであってもよい。その場合には、複数のセンサ手段は3つ以上であることが好ましい。
また、上記では、情報端末装置を保持する保持体の例として、ユーザーの持ち手や添え腕を例に挙げて説明したが、それに限らない。保持体は、スタンド等であってもよく、一定の体積を有し、情報端末装置を保持する物であればよい。
また、上記では、空間位置座標の検出対象物(操作入力のための物体)の例として、ユーザーの指を例に挙げて説明したが、それに限られない。操作入力のための物体は、指し指、拳、ペン先、ポインタ等、空間位置座標を用いて操作入力できる物体であればよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも1つのセンサ手段を選択する制御ステップと、を実行させる。
本発明は、情報端末装置およびその制御方法に利用でき、特に、スマートフォンおよびタブレット端末などタッチ操作やジェスチャー操作などで操作することのできるモバイル情報端末や空間位置センシング装置に組み込まれて利用することができる。
100、100A、100B、150、260 情報端末装置
101、261 表示部
102 第一送信部
103 第二送信部
104 第一受信部
105 第二受信部
106 第三受信部
107 第四受信部
109a、109c 持ち手
109b 添え腕
110a、110b、110c、110d 指
151、152 圧力センサ
200 第一センサ手段
201 第二センサ手段
202 指検出部
203、263 制御部
205 メモリ
206、2632 持ち手検出部
300 3Dオブジェクト
400、401 受信波形
2030 センサ選択部
2031 表示制御部