JP5087723B1 - 情報端末装置、その制御方法、およびプログラム - Google Patents

Abstract

本発明の情報端末装置（１００）は、少なくとも情報端末装置（１００）に対する操作入力のための指を検出するために用いられる複数のセンサ手段（２００、２０１）と、情報端末装置（１００）が保持されている持ち手位置を検出する持ち手検出部（２０６）と、持ち手検出部（２０６）により検出された持ち手位置に基づいて、複数のセンサ手段（２００、２０１）のうちから指を検出するために用いる少なくとも１つのセンサ手段を選択する制御部（２０３）とを備える。
【選択図】図２

Description

本発明は、情報端末装置、その制御方法、およびプログラムに関し、特に指など操作入力のための物体を検出する情報端末装置、その制御方法、およびプログラムに関する。

近年、スマートフォンおよびタブレット端末などのモバイル情報端末が一般的に普及している。このようなモバイル情報端末の操作方法は、例えばタッチ操作やジェスチャー操作などであり、ユーザーにとって直感的なインターフェイス（操作方法）であるとして注目を集めている。ここで、例えばジェスチャー操作とは、手や指など操作入力のための物体（以下では検出対象物とも記載）の空間位置座標および動きを検出することによって、ユーザーの意図する操作を認識し、モバイル情報端末の制御を行うことである。

このジェスチャー操作を実現するには、操作入力のための物体（検出対象物）の空間位置座標を精度良く検出することが求められる。検出対象物の空間位置座標を精度良く検出する技術として、超音波や赤外光の送受信の時間差を基に検出対象物の空間位置座標を検出する技術がある（例えば、特許文献１および特許文献２）。

特開２００６−１２７３４２号公報 特開昭６１−０６７１２１号公報

しかしながら、上記従来の技術では、検出対象物の空間位置座標を検出できない場合があるという問題点については考慮されていない。

本発明は、かかる問題に鑑みてなされたものであって、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置等を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る情報端末装置は、情報端末装置であって、少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御部とを備える。

本発明によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置等を実現することができる。

図１は、実施の形態１に係る情報端末装置の外観の一例を示す図である。 図２は、実施の形態１に係る情報端末装置の構成の一例を示すブロック図である。 図３Ａは、実施の形態１に係る第一センサ手段の構成の一例を示すブロック図である。 図３Ｂは、実施の形態１に係る第二センサ手段の構成の一例を示すブロック図である。 図４Ａは、実施の形態１に係る情報端末装置を使用している様子の一例を示した図である。 図４Ｂは、実施の形態１に係る情報端末装置を使用している様子の一例を示した図である。 図５は、実施の形態１に係る情報端末装置の処理の一例を説明するためのフローチャートである。 図６は、実施の形態１に係る情報端末装置の外観の別の一例を示す図である。 図７は、実施の形態２に係る情報端末装置の外観の一例を示す図である。 図８は、実施の形態２に係る情報端末装置の構成の一例を示すブロック図である。 図９は、実施の形態２に係る情報端末装置の処理の一例を説明するためのフローチャートである。 図１０は、実施の形態２における持ち手検出部が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。 図１１は、実施の形態２における持ち手検出部が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。 図１２は、本発明に係る情報端末装置の使用場面の一例を示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した特許文献１および特許文献２に開示される技術に関し、以下のような問題が生じることを見出した。

すなわち、特許文献１には、超音波センサを用いて位置座標検出を行う際、温度変化による音速の変化に対し、温度センサを用いずにこれを補正し、位置検出精度を向上させる技術について記載されている。また、特許文献２には、光電方式を用いて位置検出を行う際、光授受対の増加なしに分解能を向上させる技術について記載されている。

しかしながら、特許文献１および特許文献２に記載の技術では、モバイル情報端末を把持するための持ち手や、情報端末装置をテーブルなどにおいて使用する際の添え腕すなわちモバイル情報端末を保持する保持体によって、超音波送信器の発する超音波やＬＥＤの発する赤外光が遮断されたりすることにより、検出対象物の空間位置座標を検出できない場合があるという問題点については考慮されていない。

特に、スマートフォンやタブレット端末などのモバイル情報端末においては、ユーザーがモバイル情報端末を把持してこれを使用する場合が多く、モバイル情報端末を把持するための持ち手が超音波や赤外光を用いての空間位置座標検出に影響を与えやすいという問題がある。

そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置を提供することを目的とする。

上記問題を解決するために、本発明の第１の態様に係る情報端末装置は、情報端末装置であって、少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御部とを備える。

この構成により、ユーザーが情報端末装置を把持（保持）するための持ち手の位置や、情報端末装置をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象の空間位置座標の検出を行うことができる。それにより、ユーザーが超音波送信器や赤外線ＬＥＤなどのセンサ手段の位置を意識することなく情報端末装置を使用することができる。

また、本発明の第２の態様に係る情報端末装置は、第１の態様において、例えば、前記制御部は、前記少なくとも１つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にあるセンサ手段を選択するとしてもよい。

また、本発明の第３の態様に係る情報端末装置は、第１の態様または第２の態様において、例えば、前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にあるセンサ手段の動作を停止するとしてもよい。

また、本発明の第４の態様に係る情報端末装置は、第１の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備えるとしてもよい。

ここで、本発明の第５の態様に係る情報端末装置は、第２の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、前記制御部は、前記少なくとも１つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にある送信部を含むセンサ手段を選択するとしてもよい。

また、本発明の第６の態様に係る情報端末装置は、第３の態様において、例えば、前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部を含むセンサ手段の動作を停止するとしてもよい。

また、本発明の第７の態様に係る情報端末装置は、第６の態様において、例えば、前記制御部は、前記保持位置に最も近い位置にあるセンサ手段の動作として、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部のみの動作を停止するとしてもよい。

また、本発明の第８の態様に係る情報端末装置は、第４の態様〜第７の態様のいずれかにおいて、例えば、前記複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用されるとしてもよい。

また、本発明の第９の態様に係る情報端末装置は、第１の態様〜第８の態様のいずれかにおいて、例えば、さらに、前記制御部により選択された複数のセンサ手段のうち少なくとも１つのセンサ手段を用いて、前記操作入力のための物体を検出する物体検出部を備えるとしてもよい。

また、本発明の第１０の態様に係る情報端末装置は、第１の態様〜第９の態様のいずれかにおいて、例えば、前記複数のセンサ手段は、さらに、前記情報端末装置が保持されている位置を検出するために用いられ、前記保持位置検出部は、前記複数のセンサ手段を用いて、前記保持位置を検出するとしてもよい。

また、本発明の第１１の態様に係る情報端末装置は、第１の態様〜第１０の態様のいずれかにおいて、例えば、前記保持位置検出部は、前記情報端末装置を保持する保持体の前記情報端末装置の表示面からの距離が閾値以下の場合に、前記保持体の位置を、前記保持位置として検出するとしてもよい。

また、上記問題を解決するために、本発明の情報端末装置に係る情報端末装置の制御方法は、前記情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御ステップを含む。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

（実施の形態１）
空間位置座標の検出対象物（操作入力のための物体）としてユーザーの指を例に挙げて以下説明する。また、情報端末装置を保持する保持体として、ユーザーが情報端末装置を把持（保持）する持ち手または情報端末装置をテーブルなどにおいて使用する際の添え腕を例に挙げて以下説明する。なお、説明の便宜のため、以下では添え腕も含めて持ち手と呼ぶことがある。

図１は、実施の形態１に係る情報端末装置１００の外観の一例を示す図である。

図１に示す情報端末装置１００は、表示部１０１と、第一送信部１０２、第二送信部１０３と、第一受信部１０４と、第二受信部１０５と、第三受信部１０６と、第四受信部１０７と、を備える。

情報端末装置１００は、例えば、スマートフォンやタブレット端末などタッチ操作やジェスチャー操作などで操作することのできるモバイル情報端末や空間位置センシング装置である。

表示部１０１は、例えば、液晶ディスプレイや有機ＥＬディスプレイ、プラズマディスプレイである。本実施の形態では、表示部１０１は、ユーザーが触れることで操作できるタッチパネルを兼ねているとして以下説明する。なお、表示部１０１は、上記以外の表示方式のパネルを用いてもよい。

第一送信部１０２および第二送信部１０３は、信号を送信する送信部の一例であり、検出対象物の空間位置座標を検出するために用いられる。ここで、第一送信部１０２および第二送信部１０３は、例えば、超音波送信器であり、超音波信号を送信する。

第一受信部１０４〜第四受信部１０７は、送信部から送信された信号を受信する複数の受信部の一例であり、第一送信部１０２または第二送信部１０３から送信された信号を受信する。第一受信部１０４〜第四受信部１０７は、例えば、超音波受信センサであり、第一送信部１０２または第二送信部１０３から送信された超音波信号を受信する。

ここで、操作入力のための物体であるユーザーの指の空間位置座標を検出する方法について説明する。

第一送信部１０２または第二送信部１０３から送信された信号（例えば超音波）は、情報端末装置１００の操作のために表示部１０１の近傍の空間におかれたユーザーの指によって反射する。反射した信号（超音波）は複数の受信部（第一受信部１０４、第二受信部１０５、第三受信部１０６、第四受信部１０７）によって受信され、それぞれの受信のタイミングから、三点測量の要領で検出対象であるユーザーの指の空間位置座標を検出することができる。これは、例えば超音波パルス反射法による三点測量であり、超音波を使用した空間位置座標検出技術として一般的なものである。

なお、一般的に超音波送信器が１個、超音波受信センサが３個あれば、三点測量の要領で検出対象の空間位置座標を検出可能である。本実施の形態においては、一例として上記の組み合わせ（送信部が１個、受信部が３個）に送信部をさらに１個、受信部をさらに１個追加し、三点測量が可能な送信部と受信部の組み合わせを増やしている。これにより、持ち手の位置に応じて使用する送信部を切り替えて、ユーザーの指の空間位置座標を検出することが可能になる。

図２は、実施の形態１に係る情報端末装置１００の詳細構成の一例を示すブロック図である。図３Ａは、実施の形態１に係る第一センサ手段の構成の一例を示すブロック図である。図３Ｂは、実施の形態１に係る第二センサ手段の構成の一例を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

情報端末装置１００は、図２に示すように、さらに、表示部１０１と、第一センサ手段２００と、第二センサ手段２０１と、指検出部２０２と、制御部２０３と、メモリ２０５と、持ち手検出部２０６とを備える。また、制御部２０３は、内部にセンサ選択部２０３０と表示制御部２０３１とを備える。

第一センサ手段２００と第二センサ手段２０１とは、複数のセンサ手段の一例であり、少なくとも情報端末装置１００に対する操作入力のための物体（ここではユーザの指）を検出するために用いられる。ここで、複数のセンサ手段はそれぞれ、信号を送信する送信部と、その送信部から送信された信号を受信する複数の受信部とを備える。本実施の形態では、これら複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用される。

具体的には、第一センサ手段２００は、例えば図３Ａに示すように、第一送信部１０２と、第一受信部１０４と、第二受信部１０５と、第三受信部１０６と、第四受信部１０７との組み合わせから構成される。また、第二センサ手段２０１は、例えば図３Ｂに示すように、第二送信部１０３、第一受信部１０４と、第二受信部１０５と、第三受信部１０６と、第四受信部１０７との組み合わせから構成される。なお、以下では、第一センサ手段２００と第二センサ手段２０１とをまとめて複数のセンサ手段とも呼ぶ。

メモリ２０５は、例えば、ユーザーの指の空間位置座標の変化から情報端末装置１００に対するユーザーの操作を認識するために、ユーザーの指の空間位置座標を一時的に蓄える。また、メモリ２０５は、その他、必要に応じて、適宜、制御部２０３のデータを蓄積する。

持ち手検出部２０６は、保持位置検出部の一例であり、情報端末装置１００が保持（把持）されている持ち手の位置（保持位置）を検出する。

本実施の形態では、持ち手検出部２０６は、タッチパネルを兼用する（タッチパネル部を有する）表示部１０１を用いて持ち手を検出する。すなわち、持ち手検出部２０６は、表示部１０１を用いて、表示部１０１のタッチパネル部分に接触している持ち手の位置座標を検出する。より具体的には、持ち手検出部２０６は、図１に示すように表示部１０１の辺縁であって情報端末装置１００を操作するための画面部品（アイコンやボタンなど）が表示されていない場所において接触を検出し、かつその接触が所定の時間以上継続しているのを検出したとする。その場合、持ち手検出部２０６は、その接触が持ち手によるものであると判断して、その持ち手の位置座標を検出する。

なお、持ち手検出部２０６は、情報端末装置１００を保持する保持体の前記情報端末装置の表示面から距離が閾値以下の場合に、その保持体の位置を、持ち手の位置座標（保持位置）として検出するとしてもよい。

制御部２０３は、持ち手検出部２０６により検出された持ち手の位置座標（保持位置）に基づいて、複数のセンサ手段のうちからユーザーの指を検出するために用いる少なくとも１つのセンサ手段を選択する。例えば、制御部２０３は、持ち手検出部２０６により検出された持ち手の位置座標（保持位置）から最も遠い位置にあるセンサ手段を選択するとしてもよい。このとき、例えば、制御部２０３は、持ち手検出部２０６により検出された持ち手の位置座標（保持位置）から最も近い位置にあるセンサ手段の動作を停止するとしてもよい。

このように、制御部２０３は、持ち手検出部２０６により検出された持ち手の位置座標（保持位置）に基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。

より具体的には、センサ選択部２０３０は、持ち手検出部２０６によって検出された持ち手の位置座標を基に、上記のようにして最も持ち手の影響を受けにくいセンサ手段を選択する。表示制御部２０３１は、指検出部２０２により得られたユーザーの指の空間位置座標の変化が情報端末装置１００に対する所定の操作に該当すると判断すると、その操作に割り当てられた動作を行うように表示部１０１などを制御する。

指検出部２０２は、物体検出部の一例であり、制御部２０３により選択された複数のセンサ手段のうち少なくとも１つのセンサ手段を用いて、情報端末装置１００に対する操作入力のための物体（ここではユーザの指）を検出する。

具体的には、指検出部２０２は、センサ選択部２０３０によって選択されたセンサ手段を用いて、ユーザーの指を検出し、超音波パルス反射法などによる距離測量を行うことで、第一受信部１０４〜第四受信部１０７それぞれからユーザーの指までの距離を測量する。そして、指検出部２０２は、選択されたセンサ手段を用いて検出された、第一受信部１０４〜第四受信部１０７それぞれからユーザーの指までの距離を用いて三点測量の要領でユーザーの指の空間位置座標を算出する。

図４Ａおよび図４Ｂは、実施の形態１に係る情報端末装置１００を使用している様子の一例を示した図である。図４Ａは、スマートフォンのような比較的小さな情報端末装置１００Ａを使用しているときの様子を示しており、図４Ｂは、テーブルトップパソコンのような比較的大きな情報端末装置１００Ａを使用しているときの様子を示している。

例えば、第一センサ手段２００を用いてユーザーの指の検出を行うとする。その場合、図４Ａに示すユーザーの持ち手１０９ａや図４Ｂに示すユーザーの添え腕１０９ｂが第一送信部１０２から送信される信号（例えば超音波）の妨げとなり、第一センサ手段２００では信号の送受信がうまく行われない。換言すると、第一センサ手段２００では、情報端末装置１００Ａを操作するために使用しているユーザーの指１１０ａまたは情報端末装置１００Ｂを操作するために使用しているユーザーの指１１０ｂを検出できない場合がある。なお、検出対象物であるユーザーの指が検出できなくなったか否かは、第一受信部１０４、第二受信部１０５、第三受信部１０６および第四受信部１０７のうち少なくとも二つの受信部が第一送信部１０２から送信された信号（例えば超音波）を有意に受信できなくなったか否かによって判断する。

一方、第二センサ手段２０１を用いてユーザーの指の検出を行うとする。その場合、図４Ａに示すユーザーの持ち手１０９ａや図４Ｂに示すユーザーの添え腕１０９ｂは第二送信部１０３から遠い位置にあるため、第二送信部１０３から送信される信号はこれらの影響を受けにくい。

そのため、本実施の形態では、持ち手検出部２０６によって持ち手の位置座標を検出し、センサ選択部２０３０によって、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する。

より具体的には、図４Ａまたは図４Ｂに示す場合であれば、センサ選択部２０３０によって、ユーザーの指の空間位置座標を検出するための適切なセンサ手段として、ユーザーの持ち手１０９ａやユーザーの添え腕１０９ｂの位置座標から遠い第二送信部１０３を有する第二センサ手段２０１が選択される。

そして、第二センサ手段２０１を用いて得た、それぞれの受信部からユーザーの指までの距離を基づいて、指検出部２０２でユーザーの指の空間位置座標を算出する。制御部２０３は、このようにして得られたユーザーの指の空間位置座標の変化が情報端末装置１００に対する所定の操作に該当すると判断すると、その操作に割り当てられた動作を行うように表示部１０１などを制御する。

次に、上記のように構成された情報端末装置１００の処理について説明する。

図５は、実施の形態１に係る情報端末装置１００の処理の一例を説明するためのフローチャートである。

まず、情報端末装置１００は、持ち手検出条件を満たしているか否かを判定する（Ｓ１００）。ここで、持ち手検出条件とは、実際にユーザーの持ち手がユーザーの指の検出を妨げているか否かを判断するための条件ではなく、ユーザーの持ち手がユーザーの指の検出を妨げているか否かの判断を行うか否かの条件である。

例えば、持ち手検出条件を、一定時間が経過した場合とする。その場合、例えば、情報端末装置１００の電源が起動した状態で一定時間が経過するごとに、持ち手検出条件を満たすと判定し、Ｓ１０１に進む。また、例えば、検出対象物であるユーザーの指が、検出できなくなった場合に持ち手検出条件を満たすとしてもよい。また、例えば、一定時間、ユーザーが情報端末装置１００の操作を行わなかった後に、新たな操作を行った場合に持ち手検出条件を満たすとしてもよい。さらに、表示部１０１がオンになったタイミングに持ち手検出条件を満たすとしてもよい。また、情報端末装置１００が情報端末装置１００の動きを検出できるジャイロセンサなどのセンサを備えているならば、そのセンサによって情報端末装置１００が大きく動いたことが検出されたときに持ち手検出条件を満たすとしてもよい。なお、持ち手検出条件には上記例に限られず様々な条件が考えられ、それらを単独で、もしくは、組み合わせて用いてもよい。

次に、持ち手検出条件を満たすと判定した場合（Ｓ１００でＹＥＳ）、持ち手検出部２０６は、実際に持ち手検出を行う（Ｓ１０１）。具体的には、持ち手検出部２０６は、タッチパネルを兼ねる表示部１０１を用いて持ち手とタッチパネルが接触している位置座標を検出する。例えば、持ち手検出部２０６は、表示部１０１の辺縁であって情報端末装置１００を操作するための画面部品（アイコンやボタンなど）が表示されていない場所において接触を検出し、かつその接触が所定の時間以上継続しているのを検出したとする。その場合、持ち手検出部２０６は、その接触が持ち手によるものであると判断して、その持ち手の位置座標を検出する。なお、持ち手検出条件を満たさない場合（Ｓ１００でＮＯ）、情報端末装置１００は、再度Ｓ１００の処理を行う。

次に、情報端末装置１００は、ユーザーの持ち手の影響を受けにくいセンサ手段を判断し、指検出するために用いるセンサ手段の変更が必要か否かを判定する（Ｓ１０２）。

例えば、Ｓ１０１で検出された持ち手の位置座標が現在使用しているセンサ手段の送信部に近いとする。その場合、制御部２０３は、検出対象物であるユーザーの指の検出に与える影響が大きいため、指検出するためのセンサ手段の変更が必要であると判定（Ｓ１０２でＹＥＳ）し、Ｓ１０３へ移行する。なお、例えば、Ｓ１０１で検出された持ち手の位置座標が現在使用しているセンサ手段の送信部から遠いとする。その場合、制御部２０３は、検出対象物であるユーザーの指の検出に与える影響が小さいため、指検出するためのセンサ手段の変更は必要ないと判定（Ｓ１０２でＮＯ）し、Ｓ１００へ戻る。

次に、制御部２０３は、実際に指検出するためのセンサ手段を変更する（Ｓ１０３）。

例えば、第一センサ手段２００を用いている状態で、Ｓ１０３の処理を行う場合には、制御部２０３（センサ選択部２０３０）は、第二センサ手段２０１を用いるようにセンサ手段を選択する処理（変更処理）を行う。

次に、指検出部２０２は、選択されたセンサ手段を用いて、実際にユーザーの指を検出する（Ｓ１０４）。そして、Ｓ１０４の終了後は、Ｓ１００へ戻る。

このようにして、情報端末装置１００は、送信部から送信される信号（例えば超音波）に対する持ち手の影響を軽減する処理として、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する処理を行い、選択したセンサ手段を用いてユーザーの指を検出する。

以上、本実施の形態の情報端末装置およびその制御方法によれば、情報端末装置を保持する保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。

具体的には、本実施の形態の情報端末装置およびその制御方法によれば、ユーザーが情報端末装置１００を把持（保持）する持ち手または情報端末装置１００をテーブルなどにおいて使用する際の添え腕の検出結果に基づき、異なるセンサ手段（第一センサ手段２００または第二センサ手段２０１）を選択する。そして選択したセンサ手段を用いて、持ち手検出部２０６で空間位置座標の検出対象であるユーザーの指の検出を行う。それにより、ユーザーが端末を把持するための持ち手や、端末をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。

なお、上記では、表示部１０１がタッチパネルを兼ねる場合について説明したがそれに限られない。以下、その一例について説明する。

図６は、実施の形態１に係る情報端末装置の外観の別の一例を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図６に示す情報端末装置１５０は、第一送信部１０２および第二送信部１０３の近傍に圧力センサ１５１および圧力センサ１５２が設けられている。圧力センサ１５１および圧力センサ１５２は、例えば圧電センサや静電センサなどで構成される。それにより、持ち手検出部２０６は、表示部１０１がタッチパネルを兼ねていなくても、圧力センサ１５１および圧力センサ１５２を用いて、持ち手の位置を検出することができる。

なお、持ち手検出部２０６が持ち手の接触もしくはセンサ周辺部に持ち手があることを検出することができる持ち手検出用センサであれば、圧力センサ１５１および圧力センサ１５２、タッチパネルに限られない。

また、上記では、複数のセンサ手段は、例として第一センサ手段２００と第二センサ手段２０１の二つである場合について説明したがそれに限られない。複数のセンサ手段は二つ以上あればよく、特に二つに限定するものではない。また、情報端末装置が大型であり、複数のユーザーにより取り囲まれて使用される場合には、複数のセンサ手段は情報端末装置の四辺に設けられるとしてもよい。

（実施の形態２）
実施の形態１では、持ち手（情報端末装置を保持する保持体）の検出は、ユーザーの指の検出（操作入力のための物体）と異なる手段を用いる場合について説明したがそれに限らない。持ち手の検出にも、ユーザーの指の検出で用いられるセンサ手段を用いてもよい。実施の形態では、その場合について説明する。

図７は、実施の形態２に係る情報端末装置２６０の外観の一例を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図７に示す情報端末装置２６０は、実施の形態１に係る情報端末装置１００に対して、表示部の構成が異なる。すなわち、表示部２６１はタッチパネル部を備えていない点で実施の形態１に係る表示部１０１と異なる。

図８は、実施の形態２に係る情報端末装置２６０の構成の一例を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図８に示す情報端末装置２６０は、実施の形態１に係る情報端末装置１００に対して、表示部２６１と制御部２６３と構成が異なる。

具体的には、制御部２６３は、実施の形態１における制御部２０３に対してさらに持ち手検出部２６３２を含み、第一センサ手段２００、第二センサ手段２０１の出力が持ち手検出部２６３２に入力されている。

換言すると、第一センサ手段２００、第二センサ手段２０１は、複数のセンサ手段の一例であり、この複数のセンサ手段（第一センサ手段２００、第二センサ手段２０１）は、さらに、情報端末装置２６０が保持されている位置を検出するために用いられる。

また、持ち手検出部２６３２は、保持位置検出部の一例であり、複数のセンサ手段を用いて、持ち手の位置（保持位置）を検出する。本実施の形態では、持ち手検出部２６３２は、まず、第一センサ手段２００または第二センサ手段２０１を一定時間ずつ交互に切り替えながら用いて、持ち手の位置座標を検出する。なお、持ち手の位置座標の具体的な検出方法については、後述するため説明を省略する。

そして、センサ選択部２０３０は、持ち手検出部２６３２によって検出された持ち手の位置座標に基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。センサ選択部２０３０は、例えば上述したように、最も持ち手から遠い位置にある送信部で構成されるセンサ手段を選択する。

なお、第一センサ手段２００および第二センサ手段２０１を一定時間ずつ交互に切り替えながら用いても持ち手を検出できなかった場合、第一センサ手段２００および第二センサ手段２０１のいずれに対しても持ち手の影響が小さいことを示している。そのため、センサ選択部２０３０は、ユーザーの指の検出に用いるセンサ手段としてどちらのセンサ手段を選択してもよい。

図９は、実施の形態２における係る情報端末装置２６０の処理の一例を説明するためのフローチャートである。なお、図５と同様の要素には同一の符号を付しており、詳細な説明は省略する。つまり、Ｓ１００、Ｓ１０３の動作に関しては、実施の形態１の図５で説明したのと同様のためここでの説明を省略する。

以下、Ｓ２０１およびＳ２０２を中心に動作を説明する。

Ｓ２０１において、持ち手検出部２６３２は、第一センサ手段２００および第二センサ手段２０１を一定時間ずつ交互に切り替えながら用いて、持ち手（持ち手の位置座標）を検出する。

ここで、持ち手の検出方法の一例について説明する。

図１０および図１１は、本実施の形態における持ち手検出部２６３２が複数のセンサ手段を用いて持ち手を検出する方法の一例を説明するための図である。

以下、複数の送信部のうち例えば第一送信部１０２が信号としてパルス状の超音波を一定の間隔で繰り返し送信していると仮定して説明する。

図１０には、第一受信部１０４が異なるタイミング（例えば時刻Ｔ１と時刻Ｔ２）で第一送信部１０２から送信された超音波を受信したときの受信波形（受信波形４００と受信波形４０１）が示されている。図１０に示すグラフの原点はいずれも第一送信部１０２がパルス状の超音波を送信したタイミングを示している。また、図１０では、第一送信部１０２は異なるタイミングでパルス状の超音波を送信した場合を示している。

図１０に示すように、二つの受信波形（受信波形４００と受信波形４０１）のうち受信波形４００のピーク位置は移動している。そのため、受信波形４００は、ユーザーの指による超音波の反射波を第一受信部１０４が受信した受信波形であると推定できる。これは、検出対象物であるユーザーの指は、情報端末装置２６０に対する操作のために表示部２６１の近傍の空間を移動すると考えられるからである。なお、図１０に示す例では、ユーザーの指が第一受信部１０４に近づいている動作を行った場合を例示している。

一方、二つの受信波形（受信波形４００と受信波形４０１）のうち受信波形４０１のピーク位置は移動していない。つまり、第一送信部１０２がパルス状の超音波を送信したタイミングに対して第一受信部１０４が受信するタイミングが一定であり動いていない。そのため、受信波形４０１は、持ち手による超音波の反射波を第一受信部１０４が受信した受信波形であると推定できる。

次に、図１１には、複数の受信部（第一受信部１０４、第二受信部１０５、第三受信部１０６および第四受信部１０７）のそれぞれがあるタイミング（例えば時刻Ｔ２）で第一送信部１０２から送信された超音波を受信したときの受信波形（受信波形４００と受信波形４０１）が示されている。ここで、受信波形４００は、検出対象物であるユーザーの指からの受信波形であると推定済みであり、受信波形４０１は持ち手からの受信波形であると推定済みである。

持ち手検出部２６３２は、第一送信部１０２からパルス状の超音波が送信された送信時刻（既知）と受信波形４００および受信波形４０１のピーク位置の受信時刻とを用いて、複数の受信部それぞれから検出対象物（持ち手）までの距離を測定する。具体的には、持ち手検出部２６３２は、複数の受信部が受信した受信波形４０１のピーク位置から算出した複数の受信部それぞれから検出対象物（持ち手）までの距離のうち三つを用いて三点測量により検出対象物（持ち手）の空間位置座標を検出する。ここで、同じ受信波形４０１を用いて、指検出部２０２も対象物（ユーザの指）までの距離を検出するとしてもよい。つまり、指検出部２０２も、第一送信部１０２からパルス状の超音波が送信された送信時刻（既知）と受信波形４００および受信波形４０１のピーク位置の受信時刻とを用いて、複数の受信部それぞれから対象物（ユーザの指）までの距離を測定するとしてもよい。

なお、持ち手検出部２６３２は、さらに、情報端末装置２６０の表示部２６１の表面（所定面）を基準平面とした垂直方向における、情報端末装置２６０を保持する保持体（ここでは持ち手）の距離が閾値以下の場合に、その保持体（持ち手）の位置が、検出対象物（持ち手）の位置座標（保持位置）として検出するとしてもよい。換言すると、持ち手検出部２６３２は、図１０で説明した持ち手の検出の際、受信波形４０１から算出される検出対象物（持ち手）の空間位置座標が表示部２６１の表面近傍の空間位置座標である場合、その受信波形４０１が持ち手による受信波形であると推定し、複数の受信部がそれぞれ受信した受信波形４０１を用いて持ち手の空間位置座標を検出してもよい。

なお、持ち手とユーザーの指とが同時に検出される場合について特に効果を奏するため、上記のように説明したが、それに限られない。例えばユーザーの指が表示部２６１の近傍の空間になく、持ち手のみが存在するとしてもよい。その場合には、例えば、検出された空間位置座標が一定時間以上動かないことのみをもって持ち手であると判断するとしてもよい。また、検出された空間位置座標が表示部２６１の表面近傍の空間位置座標であることのみをもって持ち手であると判断するとしてもよい。

このように、持ち手の空間位置座標を検出後、Ｓ２０２へ移行する。

次に、Ｓ２０２において、センサ選択部２０３０は、持ち手検出部２６３２によって検出された持ち手の位置座標を基づいて、最も持ち手の影響を受けにくいセンサ手段を選択する。例えば、センサ選択部２０３０は、最も持ち手の影響を受けにくいセンサ手段として、持ち手の位置座標から遠い位置にあるセンサ手段を選択する。このように、センサ選択部２０３０は、持ち手がユーザーの指の検出の妨げとならないセンサ手段を選択する。

次に、指検出部２０２は、選択されたセンサ手段を用いて、実際にユーザーの指を検出し（Ｓ１０４）、その後、Ｓ１００へ戻る。

このようにして、情報端末装置２６０は、送信部から送信される信号（例えば超音波）に対する持ち手の影響を軽減する処理として、ユーザーの指の空間位置座標を検出するための適切なセンサ手段を選択する処理を行い、選択したセンサ手段を用いてユーザーの指を検出する。

なお、Ｓ２０１において、指検出部２０２がユーザーの指による受信波形と持ち手による受信波形を区別できるよう、持ち手検出部２６３２は、検出した持ち手の空間位置座標をメモリ２０５に記憶するとしてもよい。その場合、指検出部２０２は、メモリ２０５に記憶される持ち手の空間位置座標をさらに用いて、持ち手による受信波形４０１のピークと実際に受信した受信波形４００のピークの差分を取ることによって、ユーザーの指の検出精度を向上させることができる。

以上、本実施の形態の情報端末装置およびその制御方法によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる。

なお、上記では、表示部２６１がタッチパネル部を有さない場合について説明したがそれに限られない。実施の形態１と同様に表示部２６１がタッチパネル部を有していてもよい。

以上、本発明によれば、保持体の位置に関わらず、検出対象物の空間位置座標の検出を行うことができる情報端末装置およびその制御方法を実現することができる。

それにより、情報端末装置を把持（保持）するための持ち手の位置や、情報端末装置をテーブルなどにおいて使用する際の添え腕の位置に関わらず、検出対象物であるユーザーの指の空間位置座標の検出を行うことができる。したがって、ユーザーは空間位置座標検出用に用いられるセンサ手段の位置を意識することなく情報端末装置を操作できる。

ここで、例えば、図１２は、本発明に係る情報端末装置の使用場面の一例を示す図である。図１２に示すように、表示部２６１（１０１）の表示画面から飛出すように表示される３Ｄオブジェクト３００に指で触って操作する場合でも、ユーザーは空間位置座標検出用に用いられるセンサ手段の位置を意識することなく情報端末装置を操作できる。なお、図１２では、持ち手１０９ｃで情報端末装置２６０（１００）を保持し、３Ｄオブジェクト３００に指１１０ｃで触りながら、指１１０ｄに移動させる操作により３Ｄオブジェクト３００を移動させる操作を行う例を示している。

以上、本発明の一つまたは複数の態様に係る情報端末装置およびその制御方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記では、複数のセンサ手段が受信部を共用する場合を例に挙げて説明したがそれに限らない。複数のセンサ手段それぞれが別個に、送信部と複数の受信部とで構成されているとしてもよい。その場合には、センサ手段の停止とは、センサ手段を構成する送信部と複数の受信部すべてを停止する場合だけでなく、センサ手段を構成する送信部だけの停止も含む。

また、例えば、上記では、複数のセンサ手段の例としてセンサ手段が二つ（第一センサ手段２００と第二センサ手段２０１）の場合について説明したがそれに限られない。つまり、複数のセンサ手段の数を二つに限定するものではなく、三つ以上存在してもかまわない。

例えば、情報端末装置が大型である場合には、これら複数のセンサ手段が情報端末装置の四辺に設けられるとしてもよいし、さらにそれに加えて複数のセンサ手段が設けられとしてもよい。その場合、持ち手や添え腕に近い位置に存在するセンサ手段を使用しない、すなわち使用しないセンサ手段を構成する送信部による信号（例えば超音波）の発信を停止させるか、使用しないセンサ手段を構成する送信部から発信された信号を検出対象であるユーザーの指の検出に使用しないようにすればよい。前者であれば消費電力を削減することが可能になり、後者であれば電源制御を簡易化することが可能になる。

このとき、三つ以上存在するセンサ手段のうち、いくつを使用し、いくつを使用しないようにするかは、持ち手や添え腕からそれぞれのセンサ手段を構成する送信部までの距離を考慮して決定してもよい。また、実際にそれぞれのセンサ手段を構成する送信部から発信された信号を受信する複数の受信部による受信状況を考慮して決定してもよい。

さらに、持ち手や添え腕に近い位置に存在する少なくとも１以上の受信部を使用しないようにしてもよい。すなわち使用するセンサ手段に構成される送信部に対して、持ち手や添え腕を挟んで反対側に存在する少なくとも１以上の受信部を使用しないようにする。このとき、受信部による信号の受信を停止させるか、使用しない受信部によって受信された信号をユーザーの指の検出に使用しないようにすればよい。前者であれば消費電力を削減することが可能になり、後者であれば電源制御を簡易化することが可能になる。

また、複数のセンサ手段を構成する送信部と受信部とが用いる信号は超音波に限られず、光信号でもよく、赤外線や赤外線ＬＥＤでも構わない。

また、複数のセンサ手段はそれぞれ、上記のような送信部と受信部とで構成されている場合に限らず、カメラであってもよい。その場合には、複数のセンサ手段は３つ以上であることが好ましい。

また、上記では、情報端末装置を保持する保持体の例として、ユーザーの持ち手や添え腕を例に挙げて説明したが、それに限らない。保持体は、スタンド等であってもよく、一定の体積を有し、情報端末装置を保持する物であればよい。

また、上記では、空間位置座標の検出対象物（操作入力のための物体）の例として、ユーザーの指を例に挙げて説明したが、それに限られない。操作入力のための物体は、指し指、拳、ペン先、ポインタ等、空間位置座標を用いて操作入力できる物体であればよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御ステップと、を実行させる。

本発明は、情報端末装置およびその制御方法に利用でき、特に、スマートフォンおよびタブレット端末などタッチ操作やジェスチャー操作などで操作することのできるモバイル情報端末や空間位置センシング装置に組み込まれて利用することができる。

１００、１００Ａ、１００Ｂ、１５０、２６０ 情報端末装置
１０１、２６１ 表示部
１０２ 第一送信部
１０３ 第二送信部
１０４ 第一受信部
１０５ 第二受信部
１０６ 第三受信部
１０７ 第四受信部
１０９ａ、１０９ｃ 持ち手
１０９ｂ 添え腕
１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ 指
１５１、１５２ 圧力センサ
２００ 第一センサ手段
２０１ 第二センサ手段
２０２ 指検出部
２０３、２６３ 制御部
２０５ メモリ
２０６、２６３２ 持ち手検出部
３００ ３Ｄオブジェクト
４００、４０１ 受信波形
２０３０ センサ選択部
２０３１ 表示制御部

Claims (15)

1. 情報端末装置であって、
   少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、
   前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、
   前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御部とを備える、
   情報端末装置。
2. 前記制御部は、前記少なくとも１つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にあるセンサ手段を選択する、
   請求項１に記載の情報端末装置。
3. 前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にあるセンサ手段の動作を停止する、
   請求項１または２に記載の情報端末装置。
4. 前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備える、
   請求項１に記載の情報端末装置。
5. 前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、
   前記制御部は、前記少なくとも１つのセンサ手段として、前記保持位置検出部により検出された前記保持位置から最も遠い位置にある送信部を含むセンサ手段を選択する、
   請求項２に記載の情報端末装置。
6. 前記複数のセンサ手段はそれぞれ、信号を送信する送信部と、前記送信部から送信された信号を受信する複数の受信部とを備え、
   前記制御部は、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部を含むセンサ手段の動作を停止する、
   請求項３に記載の情報端末装置。
7. 前記制御部は、前記保持位置に最も近い位置にあるセンサ手段の動作として、前記保持位置検出部により検出された前記保持位置に最も近い位置にある送信部のみの動作を停止する、
   請求項６に記載の情報端末装置。
8. 前記複数の受信部は、複数のセンサ手段のそれぞれで共通であり、共用される、
   請求項４〜７のいずれか１項に記載の情報端末装置。
9. さらに、前記制御部により選択された複数のセンサ手段のうち少なくとも１つのセンサ手段を用いて、前記操作入力のための物体を検出する物体検出部を備える、
   請求項１〜８のいずれか１項に記載の情報端末装置。
10. 前記複数のセンサ手段は、さらに、前記情報端末装置が保持されている位置を検出するために用いられ、
    前記保持位置検出部は、前記複数のセンサ手段を用いて、前記保持位置を検出する、
    請求項１〜９のいずれか１項に記載の情報端末装置。
11. 前記保持位置検出部は、前記情報端末装置を保持する保持体の前記情報端末装置の表示面からの距離が閾値以下の場合に、前記保持体の位置を、前記保持位置として検出する、
    請求項１〜１０のいずれか１項に記載の情報端末装置。
12. 情報端末装置の制御方法であって、
    前記情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、
    前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御ステップを含む、
    制御方法。
13. 情報端末装置の制御をコンピュータに実行させるためのプログラムであって、
    情報端末装置が保持されている保持位置を検出する保持位置検出ステップと、
    前記保持位置検出ステップにおいて検出された前記保持位置に基づいて、複数のセンサ手段のうちから少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御ステップと、を含む、
    プログラム。
14. 情報端末装置であって、
    少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、
    前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、
    前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御部と、
    前記制御部により選択された複数のセンサ手段のうち少なくとも１つのセンサ手段を用いて、前記操作入力のための物体を検出する物体検出部とを備える、
    情報端末装置。
15. 情報端末装置であって、
    少なくとも前記情報端末装置に対する操作入力のための物体を検出するために用いられる複数のセンサ手段と、
    前記複数のセンサ手段を用いて、前記情報端末装置が保持されている保持位置を検出する保持位置検出部と、
    前記保持位置検出部により検出された前記保持位置に基づいて、前記複数のセンサ手段のうちから前記物体を検出するために用いる少なくとも１つのセンサ手段を選択する制御部と、
    前記制御部により選択された複数のセンサ手段のうち少なくとも１つのセンサ手段を用いて、前記操作入力のための物体を検出する物体検出部とを備える、
    情報端末装置。

Images