JP5618554B2 - 情報入力装置、情報入力方法及びプログラム - Google Patents

Description

本発明は情報入力装置、情報入力方法及びプログラムに関し、特に、タッチパネルディスプレイ等の表示装置から情報を入力するために用いて好適な技術に関する。

従来、タッチスクリーン機能を搭載したディスプレイ上に、独立に操作可能な領域を生成する技術が提案されている（例えば、特許文献１参照）。この技術によれば、ユーザによりディスプレイ面上へ操作されることによって領域を生成したりレイアウトを生成したりすることができる。

特開２００６−６５５５８号公報

タッチスクリーン機能を搭載した１つの大型のディスプレイを複数のユーザが共有して操作すると、ディスプレイ上で複数の操作が同時に行われる。この場合に特許文献１に記載の装置では、例えば、あるユーザがコピー・ペースト等を連続して操作したいときに、途中で他のユーザがコピーする操作を行うとバッファの情報が上書きされ、ユーザがコピーしようと思っていた対象が変わってしまうことがある。また、単にカーソルを合わせるだけの作業についても、他のユーザがポインティングした場合にカーソルが意図していない方向に移動してしまうことがある。このように、個々の操作が同じユーザによって行われたのか否かをディスプレイ側で把握できないため、ユーザの意図したものとは異なる動作を行ってしまうという問題点がある。

本発明は前述の問題点に鑑み、表示装置の画面上で複数のユーザが共有して操作する場合に、ユーザごとに操作を認識できるようにすることを目的としている。

本発明の情報入力装置は、複数のユーザを検出するユーザ検出手段と、前記ユーザ検出手段によって検出された複数のユーザにそれぞれ対応する表示装置の画面上の領域を決定する領域決定手段と、前記ユーザ検出手段によって検出された複数のユーザによる前記表示装置の画面上の操作を検出する操作検出手段と、を備え、前記領域決定手段は、前記操作検出手段によって所定時間操作が検出されていないユーザに対応する前記表示装置の画面上の領域を縮小することを特徴とする。

本発明によれば、ユーザがわざわざ操作領域を確保するために特別な措置を行うことを不要にして、個々のユーザの操作が他のユーザに影響を及ぼすことを防止することができる。

実施形態に係る表示型入力装置の機能構成例を示すブロック図である。 実施形態に係る表示型入力装置のハード構成例を示すブロック図である。 入力取得部が取得する入力情報のデータ構造例を示す図である。 ユーザの操作領域を割り当てる手順の一例を示すフローチャートである。 ユーザの操作領域を割り当てる手順の一例を示すフローチャートである。 ユーザを検知する様子を示す図である。

（第１の実施形態）
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図１は、本実施形態において、情報入力装置の一例として表示型入力装置１００の機能構成例を示すブロック図である。
本実施形態における表示型入力装置１００は、入力取得部１０１、ユーザ検出部１０２、領域決定部１０３、入力制御部１０４、コンテンツアクセス部１０５、コンテンツデータベース１０６、及びコンテンツ表示制御部１０７を備えている。

入力取得部１０１は、表示装置１０８の画面上に対するユーザからの指またはペン等によるポインティングデバイスを表す接触操作を検出し、図３に示す入力情報３０１を出力する。図３は、入力情報３０１のデータ構造例を示す図である。入力情報３０１は複数の単一入力情報３０２から構成され、個々の単一入力情報３０２はポインティング情報３０３と操作情報３０４とから構成されている。さらに、ポインティング情報３０３は、ポインティングの発生した時刻３０５と表示装置１０８上の座標３０６との情報からなり、操作情報３０４は、カット（切り取り）又はペースト（貼り付け）のうち、いずれかを示す情報である。なお、入力取得部１０１は、複数の入力情報３０１を同時に取得できる機能を有する。このような機能は、例えばマルチタッチ型入力デバイス等の従来技術で実現可能である。

ユーザ検出部１０２は、表示型入力装置１００の近傍に位置するユーザを検出し、その位置を領域決定部１０３に通知する。ユーザ検出部１０２がユーザを検出する具体的な方法としては、カメラで撮影した撮像画像から人物を検出する方法や、赤外線センサーによって検出する方法、表示型入力装置１００の周囲に巡らした圧力を検出する方法などである。

領域決定部１０３は、ユーザ検出部１０２により検出したユーザの位置から、当該ユーザから決められた範囲内に独立で操作可能な領域を割り当てる。入力制御部１０４は、入力取得部１０１から入力された入力情報３０１を領域決定部１０３で決定した領域ごとの操作に振り分ける。コンテンツアクセス部１０５は、コンテンツそのものへカット及びペーストの操作を行ったり、描画もしくはポインティング等の操作を行ったりする。コンテンツ表示制御部は、コンテンツアクセス部１０５により操作されたコンテンツデータをレイアウトして、画像データ（イメージデータ）をそれぞれ生成して表示装置１０８に表示する。

図２は、本実施形態に係る表示型入力装置１００の主要部の物理的なハード構成例を示すブロック図である。
図２において、タッチパネルディスプレイ２００は入力取得部１０１及び表示装置１０８の機能を備え無線通信装置２０１及びＩＯコントローラ２０３はユーザ検出部１０２の機能を備えている。また、ＨＤＤ（Hard Disk Drive）２０５はコンテンツデータベース１０６として機能し、ディスクコントローラ２０４によりコンテンツデータ等が読み出される。さらに、バス２０９を介してＣＰＵ２０６、ＲＯＭ２０７及びＲＡＭ２０８上で実行可能なプログラムにより図１のその他の構成がそれぞれ実現される。

次に、図４のフローチャートを参照しながら、ユーザを検出して当該ユーザに対しての操作領域を割り当てる処理の流れを説明する。図４は、本実施形態におけるユーザの操作領域を割り当てる処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、ユーザ検出部１０２は、表示型入力装置１００付近にいるユーザを検出するまで待機し、ユーザを検出すると、ステップＳ４０２において、検出したユーザの位置情報を取得する。

次に、ステップＳ４０３において、領域決定部１０３は、検出したユーザの位置から一定の範囲の、表示型入力装置１００の表示装置１０８上にユーザが操作可能な領域を確保する。このとき、複数のユーザを検出して各々の位置から一定の範囲で領域を区切る際に領域が重なる場合は、検出した各々のユーザ間の垂直二等分線で領域を切り分けるようにする。そして、処理を終了する。この結果、入力取得部１０１によりユーザの操作を検出すると、入力制御部１０４は、領域決定部１０３により決定された領域ごとに各ユーザの独立した操作として振り分ける。

さらに、以上のように図４に示した処理の流れを一定時間の間隔で更新することにより、ユーザの位置が変化した場合でも、検出したユーザ付近に操作可能な領域を移動させることができる。また、本実施形態では、ユーザの位置から一定の範囲で領域を割り当てるようにしたが、割り当てる領域は表示装置１０８の画面を区画で分割したり、予め決められた形の領域をユーザの位置を中心に割り当てたりしてもよい。このように、ユーザの位置から一定の範囲に限られたものではない。

以上のように本実施形態によれば、表示装置１０８の近傍に位置するユーザを認識し、ユーザの位置からある範囲に操作領域を割り当てるようにしたので、個々のユーザの操作が他のユーザに影響を及ぼすことを防止することができる。

（第２の実施形態）
次に、図面を参照しながら本発明に係る第２の実施形態について詳細に説明する。なお、第２の実施形態における表示型入力装置の構成は、図１及び図２に示す第１の実施形態と同様であり、その説明は省略する。以下では、第１の実施形態との差分について説明する。

本実施形態においては、ユーザ検出部１０２は表示型入力装置１００付近のユーザの位置の変化のみならず、ジェスチャーをも検出する。そして、領域決定部１０３は、そのユーザのジェスチャーによって、検出したユーザ各々に対応する領域を変更する。これにより、操作領域があまり必要ではないユーザや表示型入力装置１００の近傍にいるだけで操作していないようなユーザの操作領域を小さくすることができ、広い操作領域が必要なユーザにはより広い操作領域を割り当てることができる。

次に、図５のフローチャートを参照しながら、ユーザのジェスチャーに応じて操作領域を変更する処理の流れを説明する。図５は、本実施形態におけるユーザの操作領域を割り当てる処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、ユーザ検出部１０２は、表示型入力装置１００付近にいるユーザを検出するまで待機し、ユーザを検出すると、ステップＳ５０２において、検出したユーザの位置情報を取得する。

次に、ステップＳ５０３において、領域決定部１０３は、検出したユーザの位置から一定の範囲の、表示型入力装置１００の表示装置１０８上にユーザが操作可能な領域を確保する。なお、検出したユーザが複数の場合は、第１の実施形態と同様に振り分ける。そして、ステップＳ５０４において、ユーザ検出部１０２は、ユーザのジェスチャー等を識別する。なお、ユーザのジェスチャー等を識別する方法については後述する。

次に、ステップＳ５０５において、ユーザ検出部１０２は、ユーザのジェスチャー等が操作領域のサイズを変更する対象のジェスチャー等と一致するか否かを判断する。この判断の結果、変更する対象のジェスチャー等と一致しない場合は、そのまま処理を終了する。一方、ステップＳ５０５の判断の結果、変更する対象のジェスチャー等と一致する場合は、ステップＳ５０６に進み、領域決定部１０３は、操作領域のサイズを変更し、処理を終了する。なお、第１の実施形態と同様に、これらの処理を一定時間の間隔で更新することにより、ユーザの位置やジェスチャー等が変化した場合も対応することができる。

次に、図５のステップＳ５０４に係るユーザの位置の変化やジェスチャーを識別する方法について説明する。ユーザの位置の変化やジェスチャーを識別する方法としては、例えば図６に示すように、撮像装置等を用いて画像認識を行う。具体的には、操作領域を拡張または縮小する対象となるジェスチャーや形態を予め登録しておき、ユーザ検出部１０２は、撮像装置等から表示型入力装置１００周辺についての画像データを入力する。そして、画像認識により、ユーザの動作と登録したジェスチャー等とが一致した場合に操作領域の変更処理を行う。

例えば、ユーザが表示型入力装置１００の方を向いていない場合には、そのユーザは作業をしていないものと識別し、ステップＳ５０６において、操作領域を縮小または無くすようにする。また、ユーザが表示型入力装置１００の方を向いているが、一定時間以上操作が無い場合や動きが無い場合は、ステップＳ５０６において、操作領域を縮小または無くすようにする。一方、入力取得部１０１が、ユーザの領域外であって他のユーザに割り当てられていない領域のコンテンツにユーザが手を伸ばしたことを検出した場合は、一時的に領域を拡大するようにする。なお、これらの画像認識技術については、従来技術により実現可能である。

以上のように本実施形態によれば、表示装置１０８の近傍に位置するユーザのジェスチャーをも認識するようにしたので、ユーザごとに効率よく操作領域を振り分けることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 入力取得部、１０２ ユーザ検出部、１０３ 領域決定部、１０４ 入力制御部、１０８ 表示装置

Claims (11)

1. 複数のユーザを検出するユーザ検出手段と、
   前記ユーザ検出手段によって検出された複数のユーザにそれぞれ対応する表示装置の画面上の領域を決定する領域決定手段と、
   前記ユーザ検出手段によって検出された複数のユーザによる前記表示装置の画面上の操作を検出する操作検出手段と、を備え、
   前記領域決定手段は、前記操作検出手段によって所定時間操作が検出されていないユーザに対応する前記表示装置の画面上の領域を縮小することを特徴とする情報入力装置。
2. 前記ユーザによる操作がされていない状態は、前記操作検出手段によって検出された操作からの経過時間に基づくことを特徴とする請求項１に記載の情報入力装置。
3. 前記領域決定手段は、前記ユーザ検出手段によって第１のユーザと第２のユーザとが検出された場合に、前記操作検出手段によって前記第１のユーザによる操作が所定時間以内に検出されなかった場合の前記第１のユーザに対応する第１の領域を、前記操作検出手段によって前記第１のユーザによる操作が前記所定時間以内に検出された場合の前記第１の領域よりも縮小した領域に決定することを特徴とする請求項１又は請求項２に記載の情報入力装置。
4. 前記ユーザ検出手段は、ユーザの位置の変化をも検出し、
   前記領域決定手段は、前記検出した位置の変化に応じて前記各ユーザに対応する領域を移動させることを特徴とする請求項１乃至請求項３の何れか一項に記載の情報入力装置。
5. 前記ユーザ検出手段は、ユーザのジェスチャーをも検出し、
   前記領域決定手段は、前記検出したジェスチャーに応じて前記各ユーザに対応する領域を拡大または縮小することを特徴とする請求項１乃至請求項４の何れか一項に記載の情報入力装置。
6. 前記ユーザ検出手段は、撮像画像から識別することにより前記ユーザのジェスチャーを検出することを特徴とする請求項５に記載の情報入力装置。
7. 前記領域決定手段は、決定した領域外から前記操作検出手段により操作を検出した場合であって、前記検出した操作があった領域が他のユーザに振り分けられていない領域である場合に、前記操作があった領域を含むように前記操作を行ったユーザに対応する領域を拡大することを特徴とする請求項１乃至請求項６の何れか一項に記載の情報入力装置。
8. 前記領域決定手段は、前記ユーザ検出手段により検出されたユーザの位置と前記ユーザの向きとによって、前記ユーザに対応する領域を拡大または縮小することを特徴とする請求項１乃至請求項７の何れか一項に記載の情報入力装置。
9. 前記ユーザ検出手段は、一定時間の間隔でユーザを検出することを特徴とする請求項１乃至請求項８の何れか一項に記載の情報入力装置。
10. 複数のユーザを検出するユーザ検出工程と、
    前記ユーザ検出工程によって検出された複数のユーザにそれぞれ対応する表示装置の画面上の領域を決定する領域決定工程と、
    前記ユーザ検出工程によって検出された複数のユーザによる前記表示装置の画面上の操作を検出する操作検出工程と、を備え、
    前記領域決定工程においては、前記操作検出工程によって所定時間操作が検出されていないユーザに対応する前記表示装置の画面上の領域を縮小することを特徴とする情報入力方法。
11. 請求項１０に記載の情報入力方法の各工程をコンピュータに実行させるためのプログラム。

Images