JP5595312B2 - 表示装置、表示装置の制御方法、及びプログラム - Google Patents

Description

本発明は、表示装置における表示内容を操作に応じて制御する技術に関する。

表示面にタッチセンサを備えた表示装置において、ユーザがその表示面をどちらの方向から触れたかを判定し、その判定方向に応じて表示内容を制御する技術が提案されている。特許文献１には、カーナビゲーション装置の表示面に設けた静電容量型の近接センサにより、ユーザの指がどちらの方向から移動してきて表示面に近づいたかを判定し、その判定結果に基づいて、例えばユーザが助手席側にいる場合には全ての操作を可能とする一方、ユーザが運転席側にいる場合には運転動作に危険が生じる可能性があるような操作を制限するといった仕組みが開示されている。

特開２０１０−１９１６９２号公報

しかしながら特許文献１に記載の技術では、ユーザの指の移動状態に基づいてユーザの所在方向を判定しているため、例えば表示面の右側に居るユーザが、表示面の或る位置に触れ、次に、その位置よりも右側に指を移動させて表示面に触れた場合、指の移動方向は左から右になるため、表示面の左側に居るユーザが操作したという誤った判定となるおそれがある。また、特許文献１に記載の技術は、操作主体として複数のユーザが居ることを前提としたものであり、各ユーザの所在方向に応じて表示内容を制御するという発想に留まっているため、単一のユーザの操作に対して用いるのは適当ではない。
本発明は上述の背景に鑑みてなされたものであり、１又は複数のユーザが表示面に対する操作を行ったときの方向をより正確に特定し、特定した方向に応じて表示内容を制御することを目的とする。

上記課題を解決するために、本発明は、 画像が表示される多角形の表示面と、ユーザの指又は操作具により前記表示面に対して指定された位置を検出する指定位置検出手段と、前記指定位置検出手段によって検出された前記位置と前記表示面の各頂点とを結ぶ線分に基づいて、前記表示面における複数の方向の範囲を決定する範囲決定手段と、前記範囲決定手段によって決定された複数の方向の範囲と、前記表示面における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶手段と、前記指定位置検出手段によって前記位置が検出されたときに当該位置から前記指又は前記操作具が延びる方向を検出する方向検出手段と、前記記憶手段に記憶されている複数の方向の範囲のうち、前記方向検出手段によって検出された方向が属する範囲を特定する特定手段と、前記指定位置検出手段によって検出された前記位置及び前記特定手段によって特定された前記方向の範囲に対応付けて前記記憶手段に記憶されている内容の処理を実行して、前記表示面における表示内容を制御する表示制御手段を備えることを特徴とする表示装置を提供する。

前記範囲決定手段は、前記複数の方向の範囲として、前記表示面からみて各々のユーザが所在するユーザ所在方向の範囲を決定し、
前記特定手段は、前記方向検出手段によって検出された方向が属する、前記ユーザ所在方向の範囲を特定するようにしてもよい。

さらに、前記範囲決定手段は、前記複数の方向の範囲として、前記表示面からみて各々のユーザの右手がある方向の範囲と左手がある方向の範囲とをそれぞれ決定し、前記特定手段は、前記方向検出手段によって検出された方向が、前記記憶手段に記憶されている右手がある方向の範囲と左手がある方向の範囲とのどちらに属するかを特定するようにしてもよい。

また、前記方向検出手段は、前記指又は前記操作具の各部位のうち、前記表示面に対して位置を指定したときに当該表示面から決められた距離の範囲内にある部位を検出し、前記指定位置検出手段によって検出された前記位置から前記検出された部位がある方向を、前記指又は前記操作具が延びる方向として検出するようにしてもよい。

また、前記特定手段は、前記指定位置検出手段によって、同一属性の領域に属する位置に対する複数回の指定が閾値未満の時間間隔で連続して検出された場合、２回目以降の検出時には、指定された位置から前記指又は前記操作具が延びる方向を調べずに、最初の検出時において特定した前記方向の範囲を、２回目以降の検出時における前記方向の範囲として特定するようにしてもよい。

また、前記特定手段は、前記指定位置検出手段によって前記指定された位置が閾値未満の時間間隔で連続して検出された場合、最初の検出時においてのみ前記指又は前記操作具の延びる方向を調べ、以降の検出においては前記指又は前記操作具の延びる方向を調べずに、前記最初の検出時において特定した前記方向の範囲を、以降の検出時における前記方向の範囲として特定するようにしてもよい。

また、本発明は、画像が表示される多角形の表示面を備えた表示装置の制御方法であって、ユーザの指又は操作具により前記表示面に対して指定された位置を検出する指定位置検出工程と、前記指定位置検出工程により検出された前記位置と前記表示面の各頂点とを結ぶ線分に基づいて、前記表示面における複数の方向の範囲を決定する範囲決定工程と、前記範囲決定工程において決定された複数の方向の範囲と、前記表示面における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶工程と前記指定位置検出工程によって前記位置が検出されたときに当該位置から前記指又は前記操作具が延びる方向を検出する方向検出工程と、前記記憶工程において記憶された複数の方向の範囲のうち、前記方向検出工程において検出された方向が属する範囲を特定する特定工程と、前記指定位置検出工程において検出された前記位置及び前記特定工程において特定された前記方向の範囲に対応付けて前記記憶工程において記憶された内容の処理を実行して、前記表示面における表示内容を制御する表示制御工程とを備えることを特徴とする制御方法を提供する。

また、本発明は、画像が表示される多角形の表示面と、ユーザの指又は操作具により前記表示面に対して指定された位置を検出する指定位置検出手段とを備えたコンピュータを、前記指定位置検出手段によって検出された前記位置と前記表示面の各頂点とを結ぶ線分に基づいて、前記表示面における複数の方向の範囲を決定する範囲決定手段と、前記範囲決定手段によって決定された複数の方向の範囲と、前記表示面における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶手段と、前記指定位置検出手段によって前記位置が検出されたときに当該位置から前記指又は前記操作具が延びる方向を検出する方向検出手段と、前記記憶手段に記憶されている複数の方向の範囲のうち、前記方向検出手段によって検出された方向が属する範囲を特定する特定手段と、前記指定位置検出手段によって検出された前記位置及び前記特定手段によって特定された前記方向の範囲に対応付けて前記記憶手段に記憶されている内容の処理を実行して、前記表示面における表示内容を制御する表示制御手段として機能させるためのプログラムを提供する。

本発明によれば、１又は複数のユーザが表示面に対する操作を行ったときの方向をより正確に特定し、特定した方向に応じて表示内容を制御することが可能となる。

表示装置の外観を表す正面図 表示装置のハードウェア構成を表すブロック図 ユーザ判別テーブルの内容を表す図 処理テーブルの内容を表す図 表示装置における処理の流れを示すフローチャート 近接センサによる検出内容を表す模式図 近接センサの検出結果を取得する処理を説明するための模式図 近接物の延びる方向を特定する処理を説明するための模式図 ユーザ所在方向を特定する処理を説明するための模式図 ユーザ所在方向を特定する処理を説明するための模式図 制御部の機能的構成を表すブロック図 変形例１における区分領域を説明するための模式図 変形例２における区分領域を説明するための模式図 変形例３におけるユーザ判別テーブルの内容を表す図 変形例３における処理テーブルの内容を表す図 変形例８における近接検出可能範囲を説明するための模式図

以下、本発明の実施形態について説明する。
＜実施形態＞
＜構成＞
図１は、表示装置１００の外観を表す正面図である。表示装置１００は、長方形の操作表示面２００と、操作表示面２００の周囲に設けられた操作子３１とを有するコンピュータであり、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、無線ＬＡＮ（Local Area Network）端末、ゲーム機及びパーソナルコンピュータなどの電子機器である。操作表示面２００は、液晶ディスプレイ、タッチセンサ、及び近接センサで構成されている。ユーザは、操作表示面２００及び操作子３１を指で触れたり押したりすることで表示装置１００を操作することができるようになっている。液晶ディスプレイ、タッチセンサ及び近接センサは、一般的に、ユーザから見て奥側から手前側に向かって重ねられている。ユーザから見て最も奥側に配置されているのが液晶ディスプレイで、それよりも１つ手前に配置されているのがタッチセンサで、最も手前側に配置されているのが近接センサである。なお、タッチセンサに相当する機能と近接センサに相当する機能を１つのセンサが有する態様や、液晶ディスプレイ自体にタッチセンサと近接センサの機能が組み込まれて構成される態様もあり、本発明はこれらの態様も含むものであるが、本実施形態では上述したように液晶ディスプレイ、タッチセンサ及び近接センサが、それぞれ分離している構成を例に挙げて説明を行う。

図２は、表示装置１００のハードウェア構成を表すブロック図である。表示装置１００は、制御部１０、記憶部２０、操作部３０、表示部４０、検出部５０、及び通信部６０を有し、これらの各部はバス７０を介して接続されている。制御部１０は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリを有している。制御部１０において、ＣＰＵが、ＲＯＭや記憶部２０に記憶されているコンピュータプログラムを読み出しＲＡＭにロードして実行することにより、表示装置１００の各部を制御する。操作部３０は、操作子３１を備え、ユーザによる操作内容を表す操作信号を制御部１０に出力する。

表示部４０は、液晶ディスプレイ４１を備え、制御部１０による制御の下で、ユーザの操作に応じた画像やメニュー画像等の各種画像を表示する。この液晶ディスプレイ４１は、長方形の形状であり、ＸＹ直交座標系が設定されている。このＸＹ直交座標系の原点Ｐは、液晶ディスプレイ４１の４隅のうちのいずれか（図１においては左下隅）に位置している。この原点Ｐを含む、液晶ディスプレイ４１の２辺のうち、一方の辺（ここでは液晶ディスプレイ４１の長手方向の辺）がＸ軸に対応し、他方の辺（ここでは液晶ディスプレイ４１の短手方向の辺）がＹ軸に対応している。これらＸ軸及びＹ軸と直交する直線をＺ軸とする。つまり、Ｘ軸及びＹ軸で表される平面に対して、Ｚ軸は高さ方向の座標軸に相当する。図１に示す座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう矢印を表している。つまり、Ｚ軸は、手前側が正方向であり、奥側が負方向である。液晶ディスプレイ４１の表示面は、画像が表示される表示面に相当する。

検出部５０は、タッチセンサ５１及び近接センサ５２を備えており、各センサが検出した結果を表す検出信号を制御部１０に出力する。タッチセンサ５１は、図１における操作表示面２００において、液晶ディスプレイ４１の上に積層され、且つ、液晶ディスプレイ４１の全体を覆うように重ねられた状態で配置されており、その大きさ及び形状は前述した液晶ディスプレイ４１の大きさ及び形状とほぼ同じである。このタッチセンサ５１は、光を透過する材料で構成されており、液晶ディスプレイ４１に表示された画像はタッチセンサ５１を透過してユーザに視認されるようになっている。前述した液晶ディスプレイ４１と同様に、このタッチセンサ５１にも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、タッチセンサ５１の４隅のうちのいずれか（ここでは図１の左下隅）に位置している。この原点Ｐを含む、タッチセンサ５１の２辺のうち、一方の辺（ここではタッチセンサ５１の長手方向の辺）がＸ軸に対応し、他方の辺（ここではタッチセンサ５１の短手方向の辺）がＹ軸に対応している。タッチセンサ５１は、指又はスタイラスペンなどの操作具が接触したか否かを所定のサンプリング周期で検出し、その接触位置（操作点という）を示す座標値を検出結果として制御部１０へ出力する。タッチセンサ５１は、ユーザの指又は操作具により表示面に対して指定された位置を検出する指定位置検出手段に相当する。

近接センサ５２は、図１における操作表示面２００において、タッチセンサ５１の上に積層され、且つ、タッチセンサ５１の全体を覆うように重ねられた状態で配置されており、その大きさ及び形状は、前述したタッチセンサ５１及び液晶ディスプレイ４１の大きさ及び形状とほぼ同じである。前述した液晶ディスプレイ４１及びタッチセンサ５１と同様に、この近接センサ５２にも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、近接センサ５２の４隅のうちのいずれか（ここでは図１の左下隅）に位置している。この原点Ｐを含む、近接センサ５２の２辺のうち、一方の辺（ここでは近接センサ５２の長手方向の辺）がＸ軸に対応し、他方の辺（ここでは近接センサ５２の短手方向の辺）がＹ軸に対応している。近接センサ５２は、赤外線型のセンサであり、赤外線を発する複数の発光素子と、光を受けとって電気信号に変換する複数の受光素子を備えており、これらがＸＹ直交座標系に従って配置されている。発光素子から発せられた赤外線が、距離の測定対象物に当たって反射してくると、受光素子は、反射した赤外線を受光する。測定対象物が近いほど反射光の強度が増すため、近接センサ５２は、受光素子の受光強度に基づいて表示装置１００と対象物との距離、つまりＺ座標値を測ると、Ｘ座標、Ｙ座標及びＺ座標の各座標値を検出結果として制御部１０に出力する。以下、ユーザが操作表示面２００（より正確にはユーザから見て最も手前側に設けられている近接センサ５２）に触れて行う操作のことを、タッチ操作という。このタッチ操作は、ユーザが操作表示面２００上の任意の位置を指定する操作である。

通信部６０は、ネットワークを介して通信ノード（図示せず）とデータ通信を行う。記憶部２０は、例えばフラッシュメモリやハードディスク等の不揮発性の記憶手段であり、各種のデータを記憶している。記憶部２０に記憶されているデータには、制御部１０が実行するプログラムに加え、ユーザ判別テーブル２１、処理テーブル２２及び各種の閾値が含まれる。ユーザ判別テーブル２１は、操作表示面２００をユーザがタッチしたときのそのユーザが居る方向（ユーザ所在方向という）と、そのユーザに割り当てられたユーザ識別情報とが対応付けて記述されたものである。処理テーブル２２は、操作表示面２００に対してタッチ操作がなされた操作点を表す座標（すなわち操作表示面２００における位置）と、制御部１０がユーザ別に行う処理の内容とが対応付けて記述されたものである。制御部１０は、近接センサ５２の検出結果とユーザ判別テーブル２１の内容とに基づいて、タッチ操作を行ったユーザのユーザ識別情報を特定する。つまりタッチ操作を行ったユーザを判別する。そして、制御部１０は、特定したユーザ識別情報及びタッチ操作がなされた操作点をキーにして処理テーブル２２を検索することで、表示装置１００における表示内容を制御する処理の内容を決定し、それを実行する。

図３は、ユーザ判別テーブル２１の内容を表す模式図である。ユーザ判別テーブル２１には、前述した「ユーザ所在方向」と「ユーザ識別情報」とが対応付けられて記述されている。図３において、「ユーザ所在方向」の左、右、上、下とは、図１における各方向を意味しており、例えばユーザ所在方向が左とは、ユーザが操作表示面２００に対してＸ軸負方向の側に居ることを意味している。同様に、ユーザ所在方向が右とは、ユーザが操作表示面２００に対してＸ軸正方向の側に、ユーザ所在方向が上とは、ユーザが操作表示面２００に対してＹ軸正方向の側に、ユーザ所在方向が下とは、ユーザが操作表示面２００に対してＹ軸負方向の側に居ることを意味している。例えば、操作表示面２００が、その左側（図１におけるＸ軸負方向）に居るユーザによりタッチされたとき、制御部１０は、近接センサ５２の検出結果とユーザ判別テーブル２１の内容とを参照して、タッチ操作を行ったユーザが「ユーザＡ」である、と判別する。このユーザ所在方向は、実際には、図示のように左、右、上、下といった表現ではなく、或る基準方向からの角度によって表現されているが、詳しくは後述する。

図４は、処理テーブル２２の内容を表す模式図である。処理テーブル２２には、操作表示面２００において操作を受け付ける領域の「座標」と、ユーザごとの「処理内容」とが対応付けられて記述されている。操作表示面２００において操作を受け付ける領域の座標とは、例えば操作表示面２００においてユーザのタッチ操作を受け付けるソフトボタンが表示されている領域や、ユーザの自由な描画操作を受け付ける領域などである。なお、図４では、操作表示面２００において操作を受け付ける１つの領域の座標として、１つの点の座標のみを例示しているが、実際には、複数の座標の集合である。また、「処理１」から「処理６」として例示された処理の内容は、いずれも操作表示面２００に表示される内容の制御に関するものである。表示装置１００の周りに居るユーザにより操作表示面２００の同一の領域がタッチ操作されたとしても、そのタッチ操作を行ったユーザごとに処理の内容が異なる。このユーザごとの処理の内容という意味には、ユーザＡが或る領域に対してタッチ操作をするとその操作に応じた処理がなされるのに対し、ユーザＢが同じ領域に対してタッチ操作をしても何も処理が行われない、といった態様も含まれる。例えば、ユーザＡが、操作表示面２００において座標（Ｘ１，Ｙ１）の領域をタッチしたとき、制御部１０は、処理テーブル２２を参照して、「ユーザＡ」に対応する「処理１」の内容の処理を行う。同様に、ユーザＢが、操作表示面２００において座標（Ｘ２，Ｙ３）からなる座標をタッチしたとき、制御部１０は、処理テーブル２２を参照して、「ユーザＢ」に対応する「処理６」の内容の処理を行う。

＜動作＞
次に、図５〜図８を用いて、制御部１０による処理内容について説明を行う。
図５は、制御部１０が行う処理の流れを示すフローチャートである。まず最初に、制御部１０は、ユーザ判別テーブル２１にユーザ所在方向及びユーザ識別情報が登録されているか否かを判定し（ステップＳ１０）、登録されている場合には（ステップＳ１０；ＹＥＳ）、操作表示面２００に対してタッチ操作が行われたか否かを判定する（ステップＳ３０）。ユーザ判別テーブル２１にユーザ所在方向及びユーザ識別情報が登録されている場合とは、例えば、４人のユーザが、表示装置１００を用いて相互に対戦型のゲームを行う際に、図３のような内容をユーザ判別テーブル２１に予め登録しているような場合である。この登録は、ユーザによって登録される場合に限らず、ゲームの起動時に制御部１０がそのゲームのアプリケーションプログラムに記述された手順に従って決定して登録するようにしてもよい。

一方、ユーザ判別テーブル２１にユーザ所在方向及びユーザ識別情報が登録されていない場合（ステップＳ１０；ＮＯ）、制御部１０は、ユーザに対して、ユーザ判別テーブル２１へのユーザ所在方向及びユーザ識別情報の登録を促す内容を、操作表示面２００に表示させる。そして、この表示内容を見たユーザの操作に従って、制御部１０は、ユーザ所在方向及びユーザ識別情報をユーザ判別テーブル２１に登録する（ステップＳ２０）。このときユーザは、例えば表示装置１００によって起動されるアプリケーションプログラムが２人の利用者を想定している場合には、ユーザ所在方向を２種類指定し、各々のユーザ識別情報を入力し、また、そのアプリケーションプログラムが４人の利用者を想定している場合には、ユーザ所在方向を４種類指定して各々のユーザ識別情報を入力する。制御部１０は、この指定に応じた内容をユーザ判別テーブル２１に登録する。

さて、上記のような登録を経た後、ユーザによるタッチ操作があった場合には（ステップＳ３０；ＹＥＳ）、制御部１０は、タッチ操作がなされた操作点を特定する（ステップＳ４０）。具体的には、制御部１０は、ステップＳ３０で、タッチセンサ５１の検出結果によって表示装置１００にタッチ操作がなされたと判断すると、ステップＳ４０で、そのタッチセンサ５１の検出結果から、操作点の座標（Ｘ座標，Ｙ座標）を特定し、ＲＡＭに記憶させる。

次に制御部１０は、近接センサ５２の検出結果に基づいて、操作点の付近に近接する物体（近接物という）が存在するか否かを判定する（ステップＳ５０）。ここでいう近接物とは、操作表示面２００に触れている指先以外の指の部分のことであるが、この近接物がない場合には、制御部１０はユーザ所在方向を特定できないことになる。

ここで、図６を用いて、近接物を検出するときの様子を説明する。図６は、近接センサによる検出内容を表す模式図である。図６（ａ）の上段は、ユーザが操作表示面２００に対して指３００ａをほぼ垂直の状態でタッチした場合を表している。図６（ｂ）の上段は、ユーザが操作表示面２００に対して指３００ｂをＸ軸正方向に傾斜させた状態でタッチした場合を表している。図６（ａ）及び図６（ｂ）の下段は、操作表示面２００におけるタッチセンサ５１及び近接センサ５２の検出内容を表しており、それぞれ図６（ａ）、図６（ｂ）の上段の図と対応している。図６（ａ）及び図６（ｂ）において、円４００ａ，４００ｂはそれぞれ操作点を表しており、ハッチングされた円５００ａ，楕円５００ｂは、それぞれ近接センサ５２の検出結果を表している。さらに、破線で表された円は、操作点４００ａ及び４００ｂに対して近接物が存在するか否かを制御部１０が判定するために、予め決められた近接判定エリアＪＡを表している。近接判定エリアＪＡの大きさは、多数のユーザの指によるタッチの状態をサンプルとして予め実験的に求められており、記憶部２０に記憶されている。

制御部１０は、タッチセンサ５１の検出結果に含まれるＸ座標，Ｙ座標を中心とした近接判定エリアＪＡ外に、そのタッチセンサ５１の検出時期と同じ時期に近接センサ５２によって検出された結果に含まれるＸ座標，Ｙ座標が存在する場合には、近接物が存在すると判定する。ここでは両者の差が閾値以内のときは同じ時期とみなす。例えば図６（ａ）で表されるように、ユーザが指３００ａを操作表示面２００に対してほぼ垂直の状態でタッチした場合、検出結果５００ａは、操作点４００ａを中心としたほぼ円形の形状となり、近接判定エリアＪＡ内に収まっている。一方、図６（ｂ）で表されるように、ユーザが指３００ｂを操作表示面２００に対してＸ軸正方向に傾斜させた状態でタッチした場合、検出結果５００ｂは、操作点４００ｂの位置からＸ軸正方向側に延びるような楕円状の形状となり、近接判定エリアＪＡ内に収まりきらず、そのエリア外にはみ出している。図６（ａ）においては、検出結果５００ａが近接判定エリアＪＡ内に全て収まっているため、制御部１０は、操作点４００ａの付近に近接物が存在しない、と判定する。つまり、このとき、制御部１０は、ユーザの所在方向を判定できないということになる。一方、図６（ｂ）においては、検出結果５００ａが近接判定エリアＪＡ内からＸ軸正方向側にはみ出しているため、制御部１０は、操作点４００ｂの付近に近接物が存在する、と判定する。この場合、制御部１０はユーザの所在方向を判定することができる。

図５において、近接物が存在しない場合には（ステップＳ５０；ＮＯ）、制御部１０は、操作表示面２００に表示されている内容及び操作点の位置等に基づいて予め決められた対応処理を行い（ステップＳ６０）、ステップＳ１０の処理に戻る。ここで、制御部１０が行う対応処理の内容には、例えば、ユーザを特定できないといった旨のエラーメッセージを操作表示面２００に表示させたり、或いは、どのユーザが操作したかに関係なく操作点の位置に表示されている項目を選択したり、さらには何も処理を行わない、といったものが含まれる。操作点の付近に近接物が存在しないときとは、ユーザが指をほぼ垂直の状態で操作表示面２００にタッチしたときであるから、ユーザ所在方向を特定できず、よって、制御部１０は、ユーザ所在方向に拠らない処理を行う。

一方、制御部１０は、特定した操作点付近に近接物が存在すると判定した場合（ステップＳ５０；ＹＥＳ）、近接センサの検出結果を取得する（ステップＳ７０）。図７は、近接センサの検出結果を取得する処理を説明するための模式図であり、操作表示面２００をその面に平行な方向から見たときの図である。図７では、操作表示面２００をユーザが指３００ｃでタッチすることで、操作点４００ｃが特定されている。一点鎖線は、近接センサの検出領域の限界Ｃを表している。この検出領域の限界Ｃと操作表示面２００との間の領域が、近接センサ５２が操作表示面２００から対象物までの距離（Ｚ座標値）を検出可能な近接検出可能範囲ＤＰＲである。近接検出可能範囲ＤＰＲの大きさは、近接センサ５２の発光素子及び受光素子の性能に依るものであり、多数のユーザによるタッチをサンプルとして実験的に求められた結果（すなわち、検出可能であるべき高さ方向の距離）を満たすような性能となるように、本実施形態の発光素子及び受光素子が設計されている。図７において白い円は操作点４００ｃを表し、黒い円の各々は、近接センサ５２による操作点以外の検出結果の一例を表している。

図７の下段には、縦軸をＺ方向とし、横軸をＸ方向とした座標系に対して、近接センサ５２による検出結果をプロットしたときの様子を表している。図７下段において、距離Ｚ１〜Ｚ４は、近接センサ５２による検出結果に含まれるＺ座標値、すなわち、対象物（ここでは指３００ｃ）と操作表示面２００との距離を表している。また、操作点４００ｃのＸ座標を中心とした半径ｒの円領域は、近接センサ５２が操作表示面２００に対する対象物の近接を検出結果として取得する近接取得領域ＡＡを表している。この半径ｒは、多数のユーザによるタッチをサンプルとして実験的に求めたものであるが、例えば、成人男性における人差し指の指先から第二関節までの長さの平均値などである。

図５のステップＳ７０において、近接センサ５２は、近接取得領域ＡＡの領域内に存在する検出結果を制御部１０に出力すると、制御部１０は、この検出結果を取得する。次に、制御部１０は、ステップＳ４０にて特定した操作点の座標と、ステップＳ７０で取得した検出結果とに基づいて、指（近接物）が延びる方向を特定する（ステップＳ８０）。図８は、指が延びる方向を特定する処理を説明するための模式図である。図８上段には、縦軸をＺ方向とし、横軸をＸ方向とし、奥行きをＹ軸方向とした三次元の座標系が示されている。また、指３００ｄによってタッチされたときの操作点４００ｄ、及び指３００ｅによってタッチされたときの操作点４００ｅが表されている。白い円で表された操作点に対し、黒い円は、近接センサ５２による操作点以外の検出結果を表しており、各々が（Ｘ，Ｙ，Ｚ）で表される三次元の座標値を持っている。つまり、図８上段におけるＮ１〜Ｎ４は、近接センサ５２による操作点以外の検出結果（近接検出結果という）である。

ステップＳ８０において、制御部１０は、ステップＳ７０で取得した検出結果に含まれる三次元の座標値を三次元の座標系にプロットすると、ＸＹ座標系において、操作点と、取得した検出結果のうちＸ，Ｙ座標とを検出時期に従って線分で結ぶことで、線分の延びる方向、すなわち近接物の延びる方向を特定する。ここで、検出時期に従って線分を結ぶとは、より小さいＺ座標値を持つ座標から、より大きいＺ座標値を持つ座標に向かって順番に座標を線分で結ぶことを意味する。これは、近接物において、座標におけるＺ座標値がより小さいほど、Ｚ座標値がより大きい場合と比較して、時系列においてより早く操作表示面２００に近づいた部位を表しているためである。

図８下段には、縦軸をＹ方向とし、横軸をＸ方向とした座標系において、近接センサ５２による検出結果に含まれるＹ，Ｚ座標をプロットしたときの様子を表している。図８下段は、図８上段に示された近接センサ５２の検出結果に含まれるＸ，Ｙ座標を結んだ線分Ｌ１ａ〜Ｌ１ｄ，Ｌ２ａ〜Ｌ２ｄ、及びこれらの線分から求められる半直線Ｌ１，Ｌ２をＸＹ座標系に表したものである。操作点４００ｄを始点とした半直線Ｌ１及び操作点４００ｅを始点とした半直線Ｌ２は、ＸＹ座標系において指（近接物）が延びる方向に相当する。操作点４００ｄを始点とした半直線Ｌ１を例に挙げると、その求め方は、以下のとおりである。上述したように、制御部１０は、操作点４００ｄを始点として、より小さいＺ座標値を持つ座標から、より大きいＺ座標値を持つ座標に向かって順番に座標を線分で結ぶ。つまり、図８上段において制御部１０は、操作点４００ｄ、近接検出結果Ｎ１、近接検出結果Ｎ２、近接検出結果Ｎ３、近接検出結果Ｎ４という順番で各座標を結ぶことになる。このとき、各座標間には、線分Ｌ１ａ〜Ｌ１ｄが存在する。ここで、制御部１０は、例えば、これらの線分Ｌ１ａ〜Ｌ１ｄにおける各々の傾き求め、その平均の傾きを持つように操作点４００ｄを始点とした半直線L１を求める。また、制御部１０は、操作点４００ｄを始点として、近接取得領域ＡＡの領域内の最終点Ｎ４を通るように半直線Ｌ１を求めてもよいし、操作点４００ｄを始点として、近接検出結果Ｎ１〜Ｎ４の各々に対してほぼ均等な距離を持つ半直線Ｌ１の傾きを、最小二乗法を用いて求めてもよい。この半直線Ｌ１の傾きが、操作点から指又は操作具が延びる方向に相当する。操作点４００ｄを始点とした半直線Ｌ１は、ユーザ所在方向として左を意味し、操作点４００ｅを始点とした半直線Ｌ２は、ユーザ所在方向として右を意味している。制御部１０は、操作点の座標と、指が延びる方向とを対応付けてＲＡＭに記憶させると、処理をステップＳ９０へ進める。

図５のステップＳ９０において、制御部１０は、図９（ａ），（ｂ）に示すようにしてユーザ所在方向を特定する。図９（ａ）は、表示装置１００をＺ軸における正方向から負方向に向かって見たときの図である。表示装置１００の左側（Ｘ軸負方向）にはユーザＡがおり、右側（Ｘ軸正方向）にはユーザＢがいる。指３００ｆはユーザＡの指であり、指３００ｇはユーザＢの指である。操作表示面２００に表示された２つの円形は、それぞれユーザＡとユーザＢとがタッチ操作を行ったときのユーザ所在方向を判別するために仮想的に設けられた円（判別円６００ａ１及び６００ｂという）を表している。黒い円４００ｆ，４００ｇは、ユーザＡによる操作点及びユーザＢによる操作点をそれぞれ表している。操作点４００ｆ及び操作点４００ｇから延びる矢印は、それぞれユーザＡの指の方向Ｖａ１及びユーザＢの指の方向Ｖｂを表している。

図９（ｂ）は、判別円６００Ａにおけるユーザ所在方向の範囲を表している。判別円６００Ａの中心を通るように引かれた１本の線分を境目として、「Ｒ」と示された領域は、操作点からみて表示装置１００の右側であることを表し、「Ｌ」と示された領域は、操作点からみて表示装置１００の左側であることを表している。ここで、「Ｒ」及び「Ｌ」と示された領域は、判別円６００Ａが左右に均等に２分割されたものである。

制御部１０は、判別円６００Ａにおいて操作点から延びる指の方向が領域Ｒ，Ｌのどちらの方向に属するかによってユーザ所在方向を特定する。例えば指の方向Ｖａ１は判別円６００Ａの「Ｌ」と示された領域に向かって延びているため、制御部１０は、これを表示装置１００の左側に居るユーザからの操作であると特定する。同様に、指の方向Ｖｂは判別円６００Ａの「Ｒ」と示された領域に向かって延びているため、制御部１０は、これを表示装置１００の右側に居るユーザからの操作であると特定する。図３で示したユーザ所在方向は、図３の説明において述べたように、判別円において或る基準方向からの角度によって表現されている。例えば図９のようにユーザが２人だけの場合、ユーザ所在方向が右とは、Ｙ軸正方向を基準として０°から１８０°の範囲であり、ユーザ所在方向が左とは、Ｙ軸正方向を基準として１８０°から３６０°の範囲である。つまり、ユーザ判別テーブル２１に記述されているユーザ所在方向とは、操作表示面からみて各々のユーザが所在する方向の範囲で表されるものであり、基準方向からの「０°〜１８０°」又は「１８０°〜３６０°」といった数値で表される。

図９はユーザが２人の場合を表していたが、次に、ユーザが４人である場合について図１０（ａ）、（ｂ）を参照して説明する。図１０（ａ）は、表示装置１００をＺ軸における正方向から負方向に向かって見た状態を表す。表示装置１００の左側（Ｘ軸負方向）にはユーザＡがおり、右側（Ｘ軸正方向）にはユーザＢがおり、上側（Ｙ軸正方向）にはユーザＣがおり、下側（Ｙ軸負方向）にはユーザＤがいる。指３００ｈはユーザＡの指であり、指３００ｉはユーザＤの指である。操作表示面２００に表示された２つの円形は、それぞれユーザＡとユーザＤに対応する判別円６００ａ２及び６００ｄを表している。判別円の上に示される、黒い円は、ユーザＡによる操作点４００ｈ及びユーザＤによる操作点４００ｉを表している。操作点４００ｈ及び操作点４００ｉから延びる矢印は、それぞれユーザＡによる操作の指の方向Ｖａ２とユーザＤによる操作の指の方向Ｖｄとを表している。

図１０（ｂ）は、判別円６００Ｂにおけるユーザ所在方向の範囲を表している。判別円６００Ｂの中心を通るように引かれた２本の線分を境目として、「Ｒ」と示された領域は、操作点からみて表示装置１００の右側であることを表し、「Ｌ」と示された領域は、操作点からみて表示装置１００の左側であることを表し、「Ｕ」と示された領域は、操作点からみて表示装置１００の上側であることを表し、「Ｄ」と示された領域は、操作点からみて表示装置１００の下側であることを表している。ここで、「Ｒ」、「Ｌ」、「Ｕ」、及び「Ｄ」と示された領域は、判別円６００Ａが上下左右に４等分に４分割されたものである。

ここで、制御部１０は、判別円６００Ｂにおいて操作点から延びる指の方向が領域Ｒ，Ｌ，Ｕ及びＤのいずれの方向に属するかによってユーザ所在方向を特定する。例えば指の方向Ｖａ２は、判別円６００Ｂの「Ｌ」と示された領域に向かって延びているため、制御部１０は、これを表示装置１００の左側に居るユーザからの操作であると特定する。また、指の方向Ｖｄは、判別円６００Ｂの「Ｄ」と示された領域に向かって延びているため、制御部１０は、これを表示装置１００の下側に居るユーザからの操作であると特定する。同様にして制御部１０は、判別円６００Ｂの「Ｕ」と示された領域に向かって指の方向が延びている場合、これを表示装置１００の上側に居るユーザからの操作であると特定し、また、判別円６００Ｂの「Ｒ」と示された領域に向かって指の方向が延びている場合、これを表示装置１００の右側に居るユーザからの操作であると特定する。例えば図１０のようにユーザが４人の場合、ユーザの所在方向が右とは、Ｙ軸正方向を基準として４５°から１３５°の範囲であり、ユーザの所在方向が下とは、Ｙ軸正方向を基準として１３５°から２２５°の範囲であり、ユーザの所在方向が左とは、Ｙ軸正方向を基準として２２５°から３１５°の範囲であり、ユーザの所在方向が上とは、Ｙ軸正方向を基準として３１５°から４５°の範囲である。

図５の説明に戻る。制御部１０は、ステップＳ９０において、操作点の座標と、特定したユーザ所在方向とを対応付けてＲＡＭに記憶させると、処理をステップＳ１００へ進める。ステップＳ１００において、制御部１０は、タッチ操作を行ったユーザを判別する。具体的には、ステップＳ１００において、制御部１０は、ＲＡＭに記憶されたユーザ所在方向に基づいてユーザ判別テーブル２１を参照し、タッチ操作を行ったユーザのユーザ識別情報を特定する。例えば図９の操作点４００ｆについては、ユーザ所在方向が左側と特定されているから、制御部１０は、図３のユーザ判別テーブル２１から、ユーザを「ユーザＡ」である、と判別する。制御部１０は、判別したユーザのユーザ識別情報を、前述した操作点及びユーザ所在方向と対応付けてＲＡＭに記憶させると、処理をステップＳ１１０へ進める。

ステップＳ１１０において、制御部１０は、操作点及びユーザ識別情報に基づいて、操作表示面２００に表示する内容を制御する処理を行う。具体的には、ステップＳ１１０において、制御部１０は、ＲＡＭに記憶された、操作点及びユーザ識別情報に基づいて処理テーブル２２を参照し、行うべき処理の内容を特定する。例えば、ＲＡＭに記憶された操作点の座標が（Ｘ１，Ｙ１）であり、ユーザが「ユーザＡ」である場合、制御部１０は、図４の処理テーブル２２を参照し、行うべき処理を「処理１」である、と特定する。そして制御部１０は、特定した「処理１」の処理を行い、ステップＳ１０の処理に戻る。このようにして、表示装置１００は、操作表示面２００に対してタッチ操作を行ったユーザを特定し、特定したユーザに応じた処理を行うわけである。

図１１は、制御部１０及び記憶部２０の機能的構成を表すブロック図である。図１１に表されるように、制御部１０は、プログラムを実行することにより、方向検出手段１１、特定手段１２、及び表示制御手段１３として機能する。方向検出手段１１は、タッチセンサ５１によって位置が検出されたときに当該位置から指又は操作具が延びる方向を検出する。具体的には方向検出手段１１は、指又は操作具の各部位のうち、操作表示面２００に対して位置を指定したときに操作表示面２００から決められた距離の範囲内にある部位を近接センサ５２によって検出させ、タッチセンサ５１によって検出された操作点から検出された部位がある方向を、指又は操作具が延びる方向として検出する。特定手段１２は、記憶部２０に記憶されている、表示面において複数決められた方向の範囲のうち、方向検出手段１１によって検出された方向が属する範囲を特定する。具体的には、特定手段１２は、方向検出手段１１によって検出された方向が属する、ユーザ所在方向の範囲を特定する。表示制御手段１３は、タッチセンサによって検出された位置及び特定手段１２によって特定された方向の範囲に対応付けて記憶部２０に記憶されている処理の内容を実行して、操作表示面における表示内容を制御する。記憶部２０は、ユーザ判別テーブル２１及び処理テーブル２２を記憶することで、操作表示面２００において複数決められた方向の範囲と、操作表示面２００における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶手段として機能する。

このように、本実施形態によれば、制御部１０が、指が操作表示面２００にタッチした時点の指の向きからユーザの所在方向を特定しているため、指の移動方向から指の向きを特定するときのように、右側から操作表示面２００をタッチしたのに左側からタッチした、と誤判定が行われるようなこともない。つまり、ユーザが操作表示面２００に対する操作を行ったときの方向が正確に特定されることとなる。そして特定された方向に基づいてユーザが判別され、判別されたユーザに応じた表示内容の制御が行われるため、誤判定によりユーザの意図しない内容が表示される、ということを防ぐことが可能となる。

＜変形例＞
以上の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。

＜変形例１＞（画面アスペクト比に対応した領域区分）
実施例１及び２においては、判別円における、ユーザによるユーザ所在方向を特定するための区分けされた領域（以降、区分領域という）は、ユーザの数に応じて均等に分割されていた。区分領域の決定の仕方は、これに限らず、次のようにしてもよい。図１２（ａ）は、変形例１における区分領域を説明するための模式図であり、表示装置１００をＺ軸における正方向から負方向に向かって見た状態を表している。表示装置１００の左側（Ｘ軸負方向）にはユーザＡがおり、右側（Ｘ軸正方向）にはユーザＢがおり、上側（Ｙ軸正方向）にはユーザＣがおり、下側（Ｙ軸負方向）にはユーザＤがいる。操作表示面２００には判別円６００Ｃが表示されている。変形例１における区分領域は、操作表示面２００におけるアスペクト比に基づいたものとなっている。具体的には、操作表示面２００が四角形である場合に、制御部１０は、操作表示面２００の頂点どうしを結ぶ対角線に基づいて判別円６００Ｃの区分領域を分割する。この分割された区分領域に基づいてユーザ所在方向が決められる。つまり、制御部１０は、区分領域、すなわち上述した複数の方向の範囲を決める範囲決定手段として機能する。

図１２（ａ）においては、表示装置１００のＸ軸方向の幅が、Ｙ軸方向の幅よりも長いため、結果として、判別円６００Ｃにおける、区分領域は均等なものではなく、「Ｕ」及び「Ｄ」と示された領域が、「Ｌ」及び「Ｒ」と示された領域よりも広くなっている。つまり、判別円において、ユーザ所在方向からユーザＣ及びユーザＤが判別される領域は、ユーザＡ及びユーザＢが判別される領域よりも広くなっている。図１２（ｂ）は、図１２（ａ）の表示装置を、ユーザの位置はそのままに、反時計回りに９０度回転させた状態であって、表示装置１００をＺ軸における正方向から負方向に向かって見た様子を表した図である。この場合、判別円６００Ｃにおける区分領域は、「Ｌ」及び「Ｒ」と示された領域が「Ｕ」及び「Ｄ」と示された領域よりも広くなっている。つまり、ユーザ所在方向からユーザＡ及びユーザＢが判別される領域は、ユーザＣ及びユーザＤが判別される領域よりも広くなっている。ここで、操作表示面２００の長辺の側に位置するユーザは、短辺の側に位置するユーザよりも、表示装置１００を操作するときに、操作が受け付けられる領域が広い方が、操作性が高いといえる。一方、操作表示面２００の短辺の側に位置するユーザは、長辺の側に位置するユーザよりも、表示装置１００を操作するときに、操作が受け付けられる領域が狭くても、操作性に支障は無いといえる。このように、制御部１０は、判別円における区分領域をアスペクト比に応じたものとすることで、区分領域が均等に分割されている場合と比較して、より正確にユーザを判別することが可能となる。なお、図においては、判別円６００が操作表示面２００の中央にある例を示したが、判別円が中央に無い場合であっても、その判別円における区分領域は、図示した判別円６００と同じように、操作表示面２００におけるアスペクト比に基づいたものとなる。

＜変形例２＞（操作点を基準とした領域区分）
また、制御部１０は、区分領域を次のようにして決定してもよい。図１３は、変形例２における区分領域を説明するための模式図である。図１３は、表示装置１００をＺ軸における正方向から負方向に向かって見た状態を表す。表示装置１００の左側（Ｘ軸負方向）にはユーザＡがおり、右側（Ｘ軸正方向）にはユーザＢがおり、上側（Ｙ軸正方向）にはユーザＣがおり、下側（Ｙ軸負方向）にはユーザＤがいる。操作表示面２００には判別円６００Ｄ及び６００Ｅが表示されている。各々の判別円の中心にある黒い円は操作点である。判別円６００Ｄ及び６００Ｅは、ユーザによるタッチ操作に基づいて変動的に制御部１０によって決定される。制御部１０は、このような決定を図５におけるステップＳ９０において行う。変形例２における区分領域は、判別円６００Ｄ及び判別円６００Ｅの中心と操作表示面２００における四隅の各々の角とを結んだ線分で分割されている。具体的には、操作表示面２００が多角形である場合に、制御部１０は、タッチセンサ５１によって検出された操作点と、操作表示面２００の各頂点とを結ぶ線分に基づいて判別円６００Ｄ及び判別円６００Ｅの区分領域を分割する。この分割された区分領域に基づいてユーザ所在方向が決められる。例えば、判別円６００Ｄにおいては、「Ｕ」と示された区分領域が、最も広いものとなっており、「Ｒ」と示された区分領域が、最も狭いものとなっている。また、例えば、判別円６００Ｅにおいては、「Ｄ」と示された区分領域が、最も広いものとなっており、「Ｕ」と示された区分領域が、最も狭いものとなっている。図示した判別円は１つの例に過ぎず、判別円における区分領域は、操作表示面２００における操作点の位置によって変動する。

変形例２において、判別円における区分領域を上述のようなものとしているのは、以下のような考え方に基づく。一般的に、ユーザがタッチする操作点がユーザ自身から遠ざかるほど、タッチする指の向きは、ユーザのいる場所と操作点を結ぶ直線に平行な向きに近づく。つまり、ユーザのいる場所から操作点が遠いほど、判別円における当該ユーザに関する区分領域は狭くてもよいといえる。逆に、ユーザのいる場所から操作点が近い場合は、ユーザが操作点に対して指の向きを変えやすいので、この場合、判別円における当該ユーザに関する区分領域は広いほうがよいといえる。従って、特にユーザが居る場所（具体的には操作表示面２００の端部）から操作点までの距離が閾値以上である場合には、区分領域を上述のようなものとすると、制御部１０によるユーザ判別の精度が高まることとなる。

＜変形例３＞（一人利用時の右手左手領域区分）
実施形態及び変形例１，２においては、複数のユーザが表示装置１００を操作することを前提としていたが、表示装置１００を操作するユーザが１人であることが分かっている場合、次のようにしてもよい。図１４は、変形例３におけるユーザ判別テーブル２１ｂの内容を表す図である。図１４において図３と異なる点は、「ユーザ識別情報」の代わりに「操作した手」という項目があり、その内容が「左手」又は「右手」といったように、操作を行った手がどちらであるかを示していることである。従って、変形例３では、図５のステップＳ１００において、操作点を原点とした指の方向が判別円の右側に向いている場合、制御部１０は、これを「右手」による操作である、と判別するわけである。左手についても同様である。図１６は、変形例３における処理テーブル２２ｂを表す模式図である。図１６において図４と異なる点は、「ユーザ識別情報」の代わりに「操作した手」という項目があり、その内容が「左手」又は「右手」といったように、操作を行った手がどちらであるかを示していることである。従って、変形例３では、図５のステップＳ１１０において制御部１０は、「左手」によって座標（Ｘ１，Ｙ１）がタッチされたときには、「処理１１」を行い、「右手」によって座標（Ｘ２，Ｙ２）がタッチされたときには「処理１４」を行う。他の組み合わせについても同様である。このように、変形例３においてユーザ判別テーブル２１ｂには、上述した複数の方向の範囲として、操作表示面２００からみて各々のユーザの右手がある方向の範囲と左手がある方向の範囲とがそれぞれ記述されている。そして、変形例３において特定手段１２として機能する制御部１０は、タッチセンサ５１によって検出された方向が、記憶部２０に記憶されている、右手がある方向の範囲と左手がある方向の範囲とのどちらに属するかを特定するわけである。

また、変形例３においては、処理テーブル２２に記載される処理内容は次のようなものにしてもよい。例えば、表示装置１００が、操作表示面２００に描画を行わせる描画モードとなっており、或る領域に対してユーザが描画した内容をそのまま表示するような場合、制御部１０は、右手によってタッチ操作がおこなわれると、操作点の軌跡上に実線を描画する処理を行う。一方、制御部１０は、左手によってタッチ操作が行われると、操作点の軌跡上に点線を描画する、或いは、既に描画された線のうち操作点の軌跡上にあるもの消去する、といった処理を行う。このようにすることで、制御部１０は、右手による操作と左手による操作とに、別々の処理を割り当てることが可能となる。

＜変形例４＞（ユーザ判別処理領域の指定）
実施形態では、ユーザによるタッチ操作があるとその操作点に対するユーザ所在方向を判別していたが、このとき、制御部１０が、表示装置１００の領域毎にこのような判別を行うか否かを決めてもよい。例えば、ユーザが、表示装置１００を用いてゲームを行う場合、ゲームの内容によっては、特定の領域におけるタッチ操作のみに対して上記のようなユーザの判別が行われる必要があり、それ以外の領域についてはユーザの判別が必要とされないこともある。具体例として、トランプを用いた「スピード」というゲームを考える。「スピード」では，２人のユーザが表示装置１００の両サイドに各々位置し、操作表示面２００の中央においてカードが捨てられる領域と、各ユーザ側においてそれぞれカードが並べられた領域（カード領域という）という、２つの領域がある。このゲームのルール上、一方のユーザ側のカード領域に対しては、他方のユーザによるタッチ操作は無いと言えるため、カード領域におけるタッチ操作は、カードが配置されている側に所在しているユーザによるタッチ操作として判断することができる。つまり、カード領域では、制御部１０はユーザ判別を必要とせず、よって、このカード領域のことをユーザ特定領域という。一方、操作表示面２００の中央においてカードが捨てられる領域は、２人のユーザ双方によるタッチ操作が考えられるため、この領域においてタッチ操作があった際には、制御部１０は、どちらのユーザによる操作であるかを判別する必要がある。よって、このカードが捨てられる領域をユーザ変動領域という。このように、ゲームなどのアプリケーションプログラム或いはユーザによって、ユーザ特定領域とユーザ変動領域とが明確に区別して指定されている場合には、制御部１０は、ユーザ特定領域におけるタッチ操作の際にはユーザ判別処理（ステップＳ５０からステップＳ９０）を省略することができる。

＜変形例５＞（連続動作時のユーザ判別処理省略）
操作点に対する瞬間的なタッチ操作だけでなく、連続的なタッチ操作に対して、次のようにしてもよい。例えば、ユーザが、表示装置１００を用いてゲームを行う場合、ゲームの内容によっては、特定の範囲を短い時間の間に連続してタッチすることがある。具体例として、特定の番号を当てる「ルーレット」というゲームを考える。「ルーレット」は、例えば０〜３６の番号が書かれた穴を持つルーレット台において、この玉がどの番号の穴に入るかを当てるゲームであり、ユーザが所持しているコインを０〜３６の番号が書かれたテーブル上の任意の番号にベットすることで、ゲームが開始される。「ルーレット」は、通常は複数人でプレイするゲームであるため、操作表示面２００上でルーレットを実現する場合には、制御部１０は、どのユーザがどの番号にベットしたかを都度判別する必要ある。ユーザは同じ番号に複数のコインをベットすることがあり、この場合、ユーザは、テーブル上の同じ番号が書かれた領域を、短時間の間に連続して複数回タッチすることになる。ここではタッチ１回がコイン１枚に相当する。このようなときに、ユーザによるタッチの都度、図５におけるステップＳ７０からステップＳ１１０までの処理を制御部１０が行っていては、処理に時間を要し、操作表示面２００における表示処理等にも支障をきたすことがある。このような場合には、ユーザのいる位置が固定的であって、操作表示面２００において連続的にタッチされる範囲が予め決まっているのであるから、制御部１０は、次のようにする。

制御部１０は、或る領域に対する複数回のタッチ操作が、予め決められた閾値未満の時間間隔で連続して検出された場合、２回目以降の検出時には、操作点から指又は操作具が延びる方向を調べずに、最初の検出時において特定したユーザ所在方向を、２回目以降の検出時におけるユーザ所在方向として特定する。ここで、制御部１０は、上記最初の検出時において特定したユーザ所在方向をＲＡＭに記憶させる。そして制御部１０は、上記領域に対して複数回のタッチ操作が予め決められた閾値未満の時間間隔で連続して検出された場合、２回目以降の検出時には、タッチ操作が行われてもステップＳ５０〜ステップＳ９０までの処理を省略し、ステップＳ１００において、上記領域と対応付けてＲＡＭに記憶されたユーザ所在方向を用いてユーザを判別する。このようにすれば、冗長な演算処理を省略し、制御部１０の処理能力に余裕を持たせることで、処理がスムーズに行われるようになる。なお、「ルーレット」の例では，指定された閾値以上の時間が過ぎればＲＡＭに記憶されたユーザ所在方向は廃棄されるため、廃棄後は、別のユーザが同じ番号にベットすることが可能である。

＜変形例６＞（ドラッグ動作時のユーザ判別処理省略）
ユーザが指又は操作具を操作表示面２００に接着した状態を保ちながら、この指又は操作具をスライドさせる操作（いわゆるドラッグ動作）に対して、次のようにしてもよい。ここで、制御部１０は、タッチセンサ５１が所定のサンプリング周期ごとに接触点を継続的に検出し、かつ、サンプリング周期ごとの接触点におけるＸＹ座標の変化が一定の閾値内において起きている場合に、ドラッグ動作であると判断する。例えば、変形例３で上述した例のように、ユーザが１人の場合に、制御部１０が、右手によるタッチ操作の場合は操作点の軌跡上に実線を描画し、左手によるタッチ操作の場合は操作点の軌跡上に点線を描画する絵描き機能を考える。この機能においては、ユーザは、絵を書くために瞬間的なタッチを繰り返し行うのではなく、タッチをしながら操作表示面２００上を動かすドラッグ動作が必要とされる。つまり、ユーザはドラッグ操作による操作表示面２００上の操作点の軌跡によって線を描くことができる。しかしながら、近接センサ５２のサンプリング周期毎に図５におけるステップＳ１０からステップＳ１１０までの処理を制御部１０が行っていては、処理に時間を要し、操作表示面２００における描画処理等にも支障をきたすことがある。このような場合には、ユーザのいる位置が固定的であって、操作表示面２００において連続的にタッチされる範囲が予め決まっているのであるから、制御部１０は、次のようにする。

制御部１０は、ドラッグ操作の開始時にステップＳ１０からステップＳ１１０までの処理を行い、右手左手のどちらの手による操作であるかを判別すると、その判別結果をＲＡＭに記憶させる。ここで、その後のドラッグ操作は、指が操作表示面２００にタッチしたまま行われる操作であるため、ドラッグ操作中に手が変わることは無い。すなわち、制御部１０は、ドラッグ開始時にＲＡＭに記憶された、操作を行った手がどちらの手かという判別結果を使用することで、ドラッグ操作中においてはステップＳ１０からステップＳ１１０までの処理を省略することが出来る。このように、ドラッグ操作が用いられる場合、制御部１０は、指又は操作具が操作表示面２００にタッチした瞬間の、操作点から指又は操作具が延びる方向によって求められた操作を行った手の判別結果を、指又は操作具が操作表示面２００から離れるまでの間継続して使用してもよい。

なお，前述のようにドラッグ操作の開始時の指又は操作具が延びる方向のみを用いると、ドラッグ操作の開始時に操作を行った手が誤って判別された場合は、ドラッグ操作の継続中において誤った描画処理が行われ続ける可能性がある。そこで、制御部１０は、描画機能を実現するアプリケーションプログラム又はユーザによって予め指定された一定時間毎に、あるいは指又は操作具が操作表示面２００上の予め決められた領域を通過する度に、指又は操作具が延びる方向を取得して、ＲＡＭに記憶されている操作を行った手の情報を更新するようにしてもよい。

なお、指又は操作具が操作表示面２００上の決められた領域を通過する度に、指又は操作具が延びる方向を取得する際には、操作表示面２００上において操作を行った手、すなわち右手と左手との誤判別が起きにくい領域を予め指定するのが良い。例えば、操作を行った手が、ＲＡＭに右手として記憶されている場合は、操作表示面２００の左下領域が、最も誤判別が起きにくい領域であると考えられる。なお、上記のドラッグ操作中における処理の省略は、ユーザが１人の場合のみに適用されるものではなく、複数のユーザが操作を行う場合も同様である。この場合、制御部１０は、ドラッグ操作の継続中においては、この操作をドラッグ操作の開始時に判別されたユーザによる操作と判断することで、ステップＳ１０からステップＳ１１０の処理を省略することができる。

＜変形例７＞（指向きからのユーザ方向判別）
表示装置１００の向きが変更された場合、表示装置１００に加速度センサが備えられていれば、制御部１０は、この加速度センサの出力値に基づいて表示装置１００の向きを判断し、ユーザが操作を行いやすいように操作表示面２００に表示させる内容を回転させることが可能である。しかし、表示装置１００が机などの平面上に固定的に設置された場合などは、加速度センサによる出力値が得られないため、ユーザの位置が変更された場合に、制御部１０は、操作表示面２００に表示させる内容を回転させてユーザが操作を行いやすい状態とすることが不可能である。このような場合に対して、次のようにしてもよい。

制御部１０は、図５のステップＳ９０においてユーザ所在方向を特定し、ステップＳ１００でユーザを判別する。その後のタッチ操作において、制御部１０は、予め決められた時間内に同一のユーザ所在方向を閾値以上連続して特定すると、特定したユーザ所在方向にユーザがいると判定し、操作表示面２００における表示内容の向きを、ユーザのいる方向に合わせて回転させて表示する。ここで、上記の時間および閾値は、ユーザにとって操作性がより快適に感じられるかという観点から、多数のユーザによるタッチ操作をサンプルとして実験的に求めてもよいし、設定画面から操作部３０を介してユーザにより任意に設定可能としてもよい。このようにすれば、表示装置１００を固定的に設置した場合であっても、ユーザのいる位置に合わせて制御部１０が操作表示面における表示内容の向きを変更するため、表示装置１００を、ユーザにとって操作性がよいものとすることができる。

＜変形例８＞（特定方向ユーザの操作禁止）
また、カーナビゲーションシステム（カーナビという）のような機器に本発明を適用する場合、次のようにしてもよい。一般的に、カーナビは、運転席と助手席の間の中央位置に設置されることが多い。運転手が運転を行いながらカーナビを操作するのは、危険である。そこで、助手席に他のユーザが同伴することが予め分かっている場合、以下のように設定を変更可能としてもよい。この場合、一般的な日本の国産車であれば、運転席が右側で、助手席が左側であるから、処理テーブル２２において、右側にいるユーザに応じた処理は、「何も処理を行わない」内容とすればよい。このようにすれば、運転席にいるユーザが操作表示面２００をタッチし、右側からの操作であるため、運転席のユーザによるタッチである、とユーザの判別が行われても、処理テーブル２２の内容に基づいて制御部１０は何も処理を行わないようになる。一方、このとき、助手席にいるユーザは通常通りの操作を行うことが可能である。このようにすれば、運転の安全性を高めることが可能となる。また、このような変形例は、カーナビに限らず、ある方向にいるユーザによる操作を禁止したい場合に有効である。

＜変形例９＞（多指向性ディスプレイへの適用）
表示装置１００において、表示部４０の備えるディスプレイに、見られる方向によって異なった映像を表示させる多指向性ディスプレイを採用する場合、以下のようにしてもよい。なお、多指向性ディスプレイは、視差バリアやレンチキュラーレンズを用いることで実現可能である。例えば、表示装置１００の左側にいるユーザには、テキストメモのアプリケーションの画像とともに、仮想的なキーボードの画像が表示されて見えており、右側にいるユーザには、デスクトップにアイコンが並んだ画像が表示されて見えているとする。制御部１０は、ユーザ所在方向を特定するとともにユーザを判別して、ユーザに応じた処理を行うことが可能であるから、左側のユーザがタッチ操作を行った場合には、例えば、テキストメモのアプリケーションに対する操作及びキーボードへの入力受付等の処理を行う。一方右側のユーザがタッチ操作を行った場合には、制御部１０は、例えば、アプリケーションの起動や終了、アイコンの選択及び決定等の処理を行う。このようにすれば、多指向性ディスプレイを備えた１つの表示装置１００に対して複数のユーザが操作を行う場合に、各ユーザが同時に異なる操作を行えるため、操作表示面２００における表示スペースを効率的に活用することが可能となる。

＜変形例１０＞（ＤＰＲの変動によるユーザ判別精度向上）
近接検出可能範囲ＤＰＲの大きさは、近接センサの性能に依るものであるが、ユーザ所在方向を特定するために使用する近接検出範囲は、近接検出可能範囲ＤＰＲの範囲内において図１６上段のＤＰＲ１、ＤＰＲ２のように変動させてもよい。図１６は、変形例８における近接検出範囲を説明するための模式図である。図１６上段には、縦軸をＺ方向とし、横軸をＸ方向とし、奥行きをＹ軸方向とした三次元の座標系が示されている。また、指３００ｊによってタッチされたときの操作点４００ｊ、及び指３００ｋによってタッチされたときの操作点４００ｋが表されている。白い円で表された操作点に対し、黒い円は、近接センサ５２による操作点以外の検出結果を表しており、各々が（Ｘ，Ｙ，Ｚ）で表される三次元の座標値を持っている。

制御部１０は、取得した三次元の座標値を三次元の座標系にプロットし、各座標に基づいて半直線を求めると、この半直線の傾きを算出する。図１６における半直線Ｌ３は、操作点４００ｊに対するタッチから求められたものであり、半直線Ｌ４は、操作点４００ｋに対するタッチから求められたものである。制御部１０は、半直線Ｌ３及び半直線Ｌ４について、各々の傾き及び指の方向を算出する。ここで、図１６上段に示されるように、指３００ｊは指３００ｋと比較して、操作表示面２００に対する傾きが小さい、すなわち操作表示面２００に対して、指がより「寝た」状態となっている。一方、指３００ｋは指３００ｊと比較して、操作表示面２００に対する傾きが大きい、すなわち操作表示面２００に対して、指がより「立った」状態となっている。つまり、指３００ｊ及び指３００ｋにおいて、近接検出範囲がＤＰＲ２で同一であった場合、指３００ｊは、指３００ｋよりも、より広い領域において近接したことが検出されることとなる。

図１６下段は、図１６上段で算出された指の方向をＸ座標、Ｙ座標からなる平面上に表したものである。図１６下段に示されるように、指３００ｊに対する検出結果の方が、指３００ｋに対する検出結果よりも、より多くの個数が検出されている。制御部１０は、検出結果を結んだ線分によって指の方向を算出するため、より多くの個数の近接が検出された方が、指の方向算出の精度が高いものとなる。これに対して、近接検出範囲がＤＰＲ２の範囲で固定されていると、指３００ｋのように「立った」状態で操作表示面２００にタッチした場合、近接を検出する個数が少なくなるため、指の方向算出の精度があまり高くないものとなってしまう。従って制御部１０は、操作表示面２００に対する指の傾きが予め決められた閾値より大きい場合、（換言すると、近接の検出結果の個数が予め決められた閾値よりも少ない個数であった場合）、ＤＰＲ１のように近接検出可能範囲を拡張してもよい。この場合、図１６上段で示されるように、近接検出範囲がＤＰＲ２であったときには、指３００ｋに対する検出結果の個数が３つであったのに対して、近接検出可能範囲がＤＰＲ１であるときには、指３００ｋに対する検出結果の個数が５つとなる。従って、制御部１０が、検出結果に基づいて求めた半直線から指の方向を算出するときの精度が高いものとなる。このようにすれば、ユーザが操作表示面２００をタッチするときの指の状態が「寝た」状態であるか「立った」状態であるかに関わらず、ユーザのタッチ操作における指の方向を精度高く算出することができ、結果としてユーザ所在方向を精度高く特定することが可能となる。

図１６上段に示すように、近接検出範囲がＤＰＲ２であった場合は、指３００ｊ、指３００ｋ共に、ＤＰＲ１の場合に比べて検出される近接の検出結果の個数が少ないため、制御部１０が指の方向を算出する精度は低くなる。しかしながら、近接の検出結果の個数の少なさに応じて、制御部１０の処理量の低減も可能となるため、結果として、より高速にユーザ所在方向を特定することが可能となる。従って、制御部１０は、近接検出可能範囲ＤＰＲの範囲内において実際に検出が行われる際に用いられる近接検出範囲を変動させることで、ユーザ所在方向特定の際に精度を重視することも速度を重視することもできる。この近接検出範囲は、操作部３０を介してユーザによって、あるいはアプリケーションプログラムによって指定されるものであってもよいし、また、特に指定がない場合は、制御部１０によって予め決められた近接検出可能範囲ＤＰＲが適用される。

＜変形例１１＞（他方式での近接状態取得）
指又は操作具が延びる方向を検出するために用いるセンサは、近接センサ５２に限らない。例えば、表面にタッチされる操作表示面の裏面側に赤外光の撮像カメラを備え、制御部１０は、タッチ操作がなされたときの撮像画像を解析して指又は操作具が延びる方向を検出してもよい。具体的には、指先は赤外光が反射して輝度が高くなり、指先以外は影になって輝度が低くなるから、制御部１０は、この輝度差に基づいて指又は操作具が延びる方向を検出することができる。

＜変形例１２＞
本発明は、表示装置以外にも、これらを実現するための方法、及びコンピュータに表示機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。

１０…制御部、２０…記憶部、２１，２１ｂ…ユーザ判別テーブル、２２，２２ｂ…処理テーブル、３０…操作部、３１…操作子、４０…表示部、４１…液晶ディスプレイ、５０…検出部、５１…タッチセンサ、５２…近接センサ、６０…通信部、７０…バス、１００…表示装置、２００…操作表示面、３００，３００ａ〜ｋ…指、４００ａ〜４００ｋ…操作点、５００ａ，５００ｂ…検出結果、６００ａ１，６００ａ２，６００ｂ，６００ｄ，６００Ａ〜６００Ｅ…判別円、ＡＡ…近接取得領域、Ｃ…検出領域の限界、ＤＯａ１，ＤＯａ２，ＤＯｂ，ＤＯｄ…ユーザ所在方向、ＤＰＲ…近接検出可能範囲、ＤＰＲ１，ＤＰＲ２…近接検出範囲、ＪＡ…近接判定エリア、Ｌ１〜Ｌ４…半直線、Ｌ１ａ〜Ｌ１ｄ，L２ａ〜L２ｄ…線分、N１〜N４…近接検出結果、ｒ…半径、Ｖａ１，Ｖａ２，Ｖｂ，Ｖｄ…指の方向、Ｚ１〜Ｚ４…距離、

Claims (8)

1. 画像が表示される多角形の表示面と、
   ユーザの指又は操作具により前記表示面に対して指定された位置を検出する指定位置検出手段と、
   前記指定位置検出手段によって検出された前記位置と前記表示面の各頂点とを結ぶ線分に基づいて、前記表示面における複数の方向の範囲を決定する範囲決定手段と、
   前記範囲決定手段によって決定された複数の方向の範囲と、前記表示面における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶手段と、
   前記指定位置検出手段によって前記位置が検出されたときに当該位置から前記指又は前記操作具が延びる方向を検出する方向検出手段と、
   前記記憶手段に記憶されている複数の方向の範囲のうち、前記方向検出手段によって検出された方向が属する範囲を特定する特定手段と、
   前記指定位置検出手段によって検出された前記位置及び前記特定手段によって特定された前記方向の範囲に対応付けて前記記憶手段に記憶されている内容の処理を実行して、前記表示面における表示内容を制御する表示制御手段
   を備えることを特徴とする表示装置。
2. 前記範囲決定手段は、前記複数の方向の範囲として、前記表示面からみて各々のユーザが所在するユーザ所在方向の範囲を決定し、
   前記特定手段は、前記方向検出手段によって検出された方向が属する、前記ユーザ所在方向の範囲を特定する
   ことを特徴とする請求項１記載の表示装置。
3. 前記範囲決定手段は、前記複数の方向の範囲として、前記表示面からみて各々のユーザの右手がある方向の範囲と左手がある方向の範囲とをそれぞれ決定し、
   前記特定手段は、前記方向検出手段によって検出された方向が、前記記憶手段に記憶されている右手がある方向の範囲と左手がある方向の範囲とのどちらに属するかを特定する
   ことを特徴とする請求項１記載の表示装置。
4. 前記方向検出手段は、
   前記指又は前記操作具の各部位のうち、前記表示面に対して位置を指定したときに当該表示面から決められた距離の範囲内にある部位を検出し、前記指定位置検出手段によって検出された前記位置から前記検出された部位がある方向を、前記指又は前記操作具が延びる方向として検出する
   ことを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
5. 前記特定手段は、
   前記指定位置検出手段によって、同一属性の領域に属する位置に対する複数回の指定が閾値未満の時間間隔で連続して検出された場合、２回目以降の検出時には、指定された位置から前記指又は前記操作具が延びる方向を調べずに、最初の検出時において特定した前記方向の範囲を、２回目以降の検出時における前記方向の範囲として特定する
   ことを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
6. 前記特定手段は、
   前記指定位置検出手段によって前記指定された位置が閾値未満の時間間隔で連続して検出された場合、最初の検出時においてのみ前記指又は前記操作具の延びる方向を調べ、以降の検出においては前記指又は前記操作具の延びる方向を調べずに、前記最初の検出時において特定した前記方向の範囲を、以降の検出時における前記方向の範囲として特定する
   ことを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
7. 画像が表示される多角形の表示面を備えた表示装置の制御方法であって、
   ユーザの指又は操作具により前記表示面に対して指定された位置を検出する指定位置検出工程と、
   前記指定位置検出工程により検出された前記位置と前記表示面の各頂点とを結ぶ線分に基づいて、前記表示面における複数の方向の範囲を決定する範囲決定工程と、
   前記範囲決定工程において決定された複数の方向の範囲と、前記表示面における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶工程と
   前記指定位置検出工程によって前記位置が検出されたときに当該位置から前記指又は前記操作具が延びる方向を検出する方向検出工程と、
   前記記憶工程において記憶された複数の方向の範囲のうち、前記方向検出工程において検出された方向が属する範囲を特定する特定工程と、
   前記指定位置検出工程において検出された前記位置及び前記特定工程において特定された前記方向の範囲に対応付けて前記記憶工程において記憶された内容の処理を実行して、前記表示面における表示内容を制御する表示制御工程と
   を備えることを特徴とする制御方法。
8. 画像が表示される多角形の表示面と、ユーザの指又は操作具により前記表示面に対して指定された位置を検出する指定位置検出手段とを備えたコンピュータを、
   前記指定位置検出手段によって検出された前記位置と前記表示面の各頂点とを結ぶ線分に基づいて、前記表示面における複数の方向の範囲を決定する範囲決定手段と、
   前記範囲決定手段によって決定された複数の方向の範囲と、前記表示面における位置と、表示に関する処理の内容とを、互いに対応付けて記憶する記憶手段と、
   前記指定位置検出手段によって前記位置が検出されたときに当該位置から前記指又は前記操作具が延びる方向を検出する方向検出手段と、
   前記記憶手段に記憶されている複数の方向の範囲のうち、前記方向検出手段によって検出された方向が属する範囲を特定する特定手段と、
   前記指定位置検出手段によって検出された前記位置及び前記特定手段によって特定された前記方向の範囲に対応付けて前記記憶手段に記憶されている内容の処理を実行して、前記表示面における表示内容を制御する表示制御手段と
   として機能させるためのプログラム。

Images