JP6373541B2 - ユーザインタフェース装置及びユーザインタフェース方法 - Google Patents

Description

この発明は、操作者のジェスチャーに対応する操作内容を実行するユーザインタフェース装置及びユーザインタフェース方法に関するものである。

以下の特許文献１には、パソコンなどのユーザインタフェース装置として、タッチデバイスとペンデバイスを備えているユーザインタフェース装置が開示されている。
このユーザインタフェース装置では、タッチデバイスで指示された画面上の位置情報と、ペンデバイスで指示された画面上の位置情報とから、操作内容であるイベントを決定している。

特開２０１４−８９５９２号公報

従来のユーザインタフェース装置は以上のように構成されているので、タッチデバイスとペンデバイスを用いて、パソコンなどを操作することができる。しかし、タッチデバイス及びペンデバイスの機能は、マウスの機能と大きく変わらないため、タッチデバイス及びペンデバイスで操作が可能な内容は、マウスで操作が可能な内容とほとんど変わらない。このため、入力デバイスとして、マウスの代わりに、タッチデバイス及びペンデバイスを備えても、操作が可能な内容を増やすことができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、操作が可能な内容を増やすことができるユーザインタフェース装置及びユーザインタフェース方法を得ることを目的とする。

この発明に係るユーザインタフェース装置は、操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、操作者を撮影するカメラと、カメラにより撮影された操作者の映像から、操作者のジェスチャーを検知するジェスチャー検知部と、ポインティングデバイスによるオブジェクトの選択受付状況とジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部とを設け、操作内容実行部が、操作内容決定部により決定された操作内容を実行し、操作内容決定部は、ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールする操作内容を決定するようにしたものである。

この発明によれば、ポインティングデバイスによるオブジェクトの選択受付状況とジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部を設け、操作内容実行部が、操作内容決定部により決定された操作内容を実行するように構成したので、操作が可能な内容を増やすことができる効果がある。

この発明の実施の形態１によるユーザインタフェース装置を示す構成図である。 この発明の実施の形態１によるユーザインタフェース装置における操作制御部１０のハードウェア構成図である。 ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。 操作内容記憶部１６に記憶されている対応関係の一例を示す説明図である。 図５の操作内容Ａが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールしている様子を示す説明図である。 図５の操作内容Ｂが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動している様子を示す説明図である。 図５の操作内容Ｃが実行されることで、現在開いているウィンドウを画面左右方向に移動している様子を示す説明図である。 図９Ａは図５の操作内容Ｄが実行される前の状態を示す説明図、図９Ｂは図５の操作内容Ｄが実行された後の状態を示す説明図である。 図５の操作内容Ｅが実行されることで、現在開いているウィンドウのサイズを変更している様子を示す説明図である。 図５の操作内容Ｆが実行されることで、選択が受け付けられたオブジェクトのサイズを変更している様子を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。

実施の形態１．
図１はこの発明の実施の形態１によるユーザインタフェース装置を示す構成図であり、図２はこの発明の実施の形態１によるユーザインタフェース装置における操作制御部１０のハードウェア構成図である。
図１において、マウス１は操作対象のオブジェクトの選択を受け付けるポインティングデバイスである。
この実施の形態１では、ポインティングデバイスがマウス１である例を示しているが、ポインティングデバイスはマウス１に限るものではなく、例えば、タッチペンやジョイスティックなどであってもよい。

カメラ２は操作者を撮影する空間デバイスである。
操作制御部１０はジェスチャー検知部１１、操作内容決定部１５及び操作内容実行部１８を備えている。
ジェスチャー検知部１１は手形状記憶部１２、手検出部１３及びジェスチャー判定部１４を備えており、カメラ２により撮影された操作者の映像から、操作者のジェスチャーを検知する処理を実施する。

手形状記憶部１２は例えば図２の手形状記憶回路２１で実現されるものであり、各種の方向から撮影されている手の形状を示す映像（以下、「手映像」と称する）を記憶している。
手の形状は、指を開いている状態や、指を閉じている状態など、様々な状態で撮影されている。このため、手形状記憶部１２は様々な状態で各種の方向から撮影されている手映像を記憶している。
手検出部１３は例えば図２の手検出回路２２で実現されるものであり、カメラ２により撮影された映像と手形状記憶部１２により記憶された手映像とを比較することで、カメラ２により撮影された映像内に操作者の手が映っているか否かを判定し、操作者の手が映っていれば、手が映っている３次元座標を示す位置情報を出力する処理を実施する。

ジェスチャー判定部１４は例えば図２のジェスチャー判定回路２３で実現されるものであり、手検出部１３から出力された位置情報が示す３次元座標の変化から、操作者のジェスチャーを検知する処理を実施する。
即ち、ジェスチャー判定部１４は手検出部１３から出力された位置情報が示す３次元座標の変化から手の移動方向を判定する処理を実施する。
また、ジェスチャー判定部１４は手の移動方向が画面上下方向であれば、画面上下方向の移動動作を表現するジェスチャーを検知した旨を示す検知情報を出力し、手の移動方向が画面左右方向であれば、画面左右方向の移動動作を表現するジェスチャーを検知した旨を示す検知情報を出力し、手の移動方向が画面垂直方向であれば、画面垂直方向の移動動作を表現するジェスチャーを検知した旨を示す検知情報を出力する処理を実施する。

操作内容決定部１５は操作内容記憶部１６及び操作内容決定処理部１７を備えており、マウス１によるオブジェクトの選択受付状況とジェスチャー検知部１１により検知されたジェスチャーとから操作内容を決定する処理を実施する。
操作内容記憶部１６は例えば図２の操作内容記憶回路２４で実現されるものであり、マウス１によるオブジェクトの選択受付状況及びジェスチャーと操作内容の対応関係を記憶している。
操作内容決定処理部１７は例えば図２の操作内容決定処理回路２５で実現されるものであり、操作内容記憶部１６を参照して、マウス１によるオブジェクトの選択受付状況とジェスチャー判定部１４から出力された検知情報が示すジェスチャーとから操作内容を決定する処理を実施する。

操作内容実行部１８は例えば図２の操作内容実行回路２６で実現されるものであり、操作内容決定部１５により決定された操作内容を実行する処理を実施する。
表示部３は例えばパソコンのディスプレイであり、操作内容実行部１８により実行された操作内容等を表示する。

図１では、ユーザインタフェース装置における操作制御部１０の構成要素である手形状記憶部１２、手検出部１３、ジェスチャー判定部１４、操作内容記憶部１６、操作内容決定処理部１７及び操作内容実行部１８のそれぞれが、図２に示すような専用のハードウェア、即ち、手形状記憶回路２１、手検出回路２２、ジェスチャー判定回路２３、操作内容記憶回路２４、操作内容決定処理回路２５及び操作内容実行回路２６で実現されるものを想定している。
ここで、手形状記憶回路２１及び操作内容記憶回路２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、手検出回路２２、ジェスチャー判定回路２３、操作内容決定処理回路２５及び操作内容実行回路２６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

ただし、ユーザインタフェース装置における操作制御部１０は専用のハードウェアで実現されるものに限るものではなく、操作制御部１０がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。
図３はユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合、手形状記憶部１２及び操作内容記憶部１６をコンピュータのメモリ３１上に構成するとともに、手検出部１３、ジェスチャー判定部１４、操作内容決定処理部１７及び操作内容実行部１８の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
図４はユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。

また、図２ではユーザインタフェース装置における操作制御部１０の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される例を示しているが、操作制御部１０における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
カメラ２は、操作者を撮影して、操作者の映像をジェスチャー検知部１１の手検出部１３に出力する。
ジェスチャー検知部１１の手検出部１３は、カメラ２から操作者の映像を受けると、その映像と手形状記憶部１２により記憶されている手映像とを比較することで、カメラ２により撮影された映像内に操作者の手が映っているか否かを判定する。

即ち、手検出部１３は、カメラ２から出力された映像内に存在している物体の切り出し処理を実施し（図４のステップＳＴ１）、切り出した物体の形状と手形状記憶部１２により記憶されている手映像が示す形状とのパターンマッチングを実施することで、切り出した物体の形状が手の形状であるか否かを判定する。
手検出部１３は、切り出した物体の形状が手の形状であれば（ステップＳＴ２：ＹＥＳの場合）、カメラ２により撮影された映像内に操作者の手が映っていると判定する（ステップＳＴ３）。
手検出部１３は、切り出した物体の形状が手の形状でなければ（ステップＳＴ２：ＮＯの場合）、カメラ２により撮影された映像内に操作者の手が映っていないと判定し（ステップＳＴ４）、操作者の手が映っていない旨をジェスチャー判定部１４に知らせる。

手形状記憶部１２には、各種の方向から撮影されている手映像や、様々な状態で撮影されている手映像が記憶されているので、手検出部１３は、それらの手映像のうち、いずれかの手映像が示す形状が、切り出した物体の形状との一致度が高ければ、切り出した物体の形状が手の形状であると判定する。
映像内に存在している物体の切り出し処理や、パターンマッチングの処理自体は公知の技術であるため詳細な説明を省略する。
手検出部１３は、カメラ２により撮影された映像内に操作者の手が映っていると判定すると、切り出した物体の３次元座標を示す位置情報（ｘ，ｙ，ｚ）をジェスチャー判定部１４に出力する（ステップＳＴ５）。
ｘは表示部３に表示される画面の左右方向の座標、ｙは表示部３に表示される画面の上下方向の座標、ｚは表示部３に表示される画面に対する垂直方向の座標であり、操作者の手の位置が画面から遠いほど、大きな値となる。
また、物体の位置情報（ｘ，ｙ，ｚ）として、その物体における複数の特徴点の位置情報を出力するようにしてもよいが、例えば、その物体の重心点を計算して、その重心点の位置情報を出力するようにしてもよい。

ジェスチャー判定部１４は、手検出部１３から位置情報（ｘ，ｙ，ｚ）を受けると、その位置情報（ｘ，ｙ，ｚ）を内部のメモリに格納し、そのメモリに格納している位置情報（ｘ，ｙ，ｚ）の履歴から、操作者の手の移動方向を判定する（ステップＳＴ６）。
即ち、ジェスチャー判定部１４は、画面左右方向の座標ｘが変化していれば、手の移動方向が画面左右方向であると判定し、画面上下方向の座標ｙが変化していれば、手の移動方向が画面上下方向であると判定する。
また、ジェスチャー判定部１４は、画面に対する垂直方向の座標ｚが変化していれば、手の移動方向が画面垂直方向であると判定する。
なお、画面左右方向の座標ｘ、画面上下方向の座標ｙ及び画面垂直方向の座標ｚの全てが変化している場合、変化が最も大きい座標に対応する方向が、手の移動方向であると判定する。
したがって、例えば、画面左右方向の座標ｘの変化が最も大きければ、手の移動方向が画面左右方向、画面上下方向の座標ｙの変化が最も大きければ、手の移動方向が画面上下方向、画面垂直方向の座標ｚの変化が最も大きければ、手の移動方向が画面垂直方向であると判定する。

ジェスチャー判定部１４は、手の移動方向が画面上下方向であれば、画面上下方向の移動動作を表現するジェスチャーが行われていると判断して、当該ジェスチャーを検知した旨を示す検知情報を操作内容決定部１５に出力し、手の移動方向が画面左右方向であれば、画面左右方向の移動動作を表現するジェスチャーが行われていると判断して、当該ジェスチャーを検知した旨を示す検知情報を操作内容決定部１５に出力する（ステップＳＴ７）。
また、ジェスチャー判定部１４は、手の移動方向が画面垂直方向であれば、画面垂直方向の移動動作を表現するジェスチャーが行われていると判断して、当該ジェスチャーを検知した旨を示す検知情報を操作内容決定部１５に出力する（ステップＳＴ７）。
ジェスチャー判定部１４は、手検出部１３から操作者の手が映っていない旨の知らせを受けると、ジェスチャーを検知していない旨を示す非検知情報を操作内容決定部１５に出力する（ステップＳＴ８）。
マウス１は、操作対象のオブジェクトの選択を受け付ける処理を実施し、操作者がマウス１を用いて、操作対象のオブジェクトを選択した場合には、マウス１が、操作者により選択されたオブジェクトを示す選択情報を操作内容決定部１５に出力する。

操作内容決定部１５の操作内容記憶部１６には、マウス１によるオブジェクトの選択受付状況及びジェスチャーと操作内容の対応関係を記憶している。
図５は操作内容記憶部１６に記憶されている対応関係の一例を示す説明図である。
図５に記憶されている操作内容Ａは、操作対象のオブジェクトが選択されていない状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールする操作内容である。
図５に記憶されている操作内容Ｂは、操作対象のオブジェクトが選択されている状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動する操作内容である。

図５に記憶されている操作内容Ｃは、操作対象のオブジェクトが選択されているか否かにかかわらず、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウを画面左右方向に移動する操作内容である。
図５に記憶されている操作内容Ｄは、操作対象のオブジェクトが選択されているか否かにかかわらず、複数のウィンドウが開いている場合において、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いている複数のウィンドウを一緒に画面左右方向に移動する操作内容である。

図５に記憶されている操作内容Ｅは、操作対象のオブジェクトが選択されていない状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウのサイズを変更する操作内容である。
図５に記憶されている操作内容Ｆは、操作対象のオブジェクトが選択されている状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、選択が受け付けられたオブジェクトのサイズを変更する操作内容である。

操作内容決定部１５の操作内容決定処理部１７は、ジェスチャー判定部１４から検知情報を受けると、マウス１から選択情報を受けている場合（図４のステップＳＴ９：ＹＥＳの場合）、その選択情報を考慮して、その検知情報が示すジェスチャーから操作内容を決定し、その操作内容を操作内容実行部１８に出力する（ステップＳＴ１０）。
操作内容決定処理部１７は、マウス１から選択情報を受けていない場合（ステップＳＴ９：ＮＯの場合）、その検知情報が示すジェスチャーのみから操作内容を決定し、その操作内容を操作内容実行部１８に出力する（ステップＳＴ１１）。

例えば、操作対象のオブジェクトが選択されていない状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールする図５の操作内容Ａを決定する。
例えば、操作対象のオブジェクトが選択されている状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動する図５の操作内容Ｂを決定する。

例えば、操作対象のオブジェクトが選択されているか否かにかかわらず、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウを画面左右方向に移動する図５の操作内容Ｃを決定する。
例えば、操作対象のオブジェクトが選択されているか否かにかかわらず、複数のウィンドウが開いている場合において、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いている複数のウィンドウを一緒に画面左右方向に移動する図５の操作内容Ｄを決定する。

例えば、操作対象のオブジェクトが選択されていない状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウのサイズを変更する図５の操作内容Ｅを決定する。
例えば、操作対象のオブジェクトが選択されている状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、選択が受け付けられたオブジェクトのサイズを変更する図５の操作内容Ｆを決定する。

操作内容決定処理部１７は、ジェスチャー判定部１４から非検知情報を受けると、マウス１から選択情報を受けている場合（図４のステップＳＴ１２：ＹＥＳの場合）、操作者により操作対象のオブジェクトが選択された操作以降のマウス１の操作内容を操作内容実行部１８に出力する（ステップＳＴ１３）。
操作内容決定処理部１７は、マウス１から選択情報を受けていない場合（図４のステップＳＴ１２：ＮＯの場合）、操作内容を決定せずに、一連の処理を終了する。

操作内容実行部１８は、操作内容決定部１５から操作内容を受けると、その操作内容を実行する（図４のステップＳＴ１４）。
表示部３は、操作内容実行部１８により実行された操作内容を表示する。
図６は図５の操作内容Ａが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールしている様子を示す説明図である。
図６の例では、移動動作が画面上方向であるため、現在開いているウィンドウ内の画面が上方向にスクロールしている。

図７は図５の操作内容Ｂが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動している様子を示す説明図である。
図７の例では、移動動作が画面上方向であるため、現在開いているウィンドウ内の画面が上方向にスクロールしている。また、選択が受け付けられたオブジェクトは、スクロール後の画面上に存在している１つのフォルダ内に格納されている様子を示している。

図８は図５の操作内容Ｃが実行されることで、現在開いているウィンドウを画面左右方向に移動している様子を示す説明図である。
図８の例では、移動動作が画面右方向であるため、現在開いているウィンドウが画面右方向に移動している
図９は図５の操作内容Ｄが実行されることで、現在開いている複数のウィンドウを一緒に画面左右方向に移動している様子を示す説明図である。
図９Ａは図５の操作内容Ｄが実行される前の状態を示し、図９Ｂは図５の操作内容Ｄが実行された後の状態を示している。図９Ｂでは、複数のウィンドウが画面右方向に移動されたことで、ウィンドウに隠れていた目的のフォルダが見つかっている状態を示している。
図９の例では、移動動作が画面右方向であるため、現在開いている複数のウィンドウが一緒に画面右方向に移動している。
マウス、タッチデバイス及びペンデバイスなどのポインティングデバイスでは、複数のウィンドウを一緒に移動させる操作を行うことは困難である。

図１０は図５の操作内容Ｅが実行されることで、現在開いているウィンドウのサイズを変更している様子を示す説明図である。
図１０の例では、移動動作が画面に近づく方向であるため、現在開いているウィンドウが拡大されている。移動動作が画面から遠ざかる方向であれば、現在開いているウィンドウが縮小される。
図１１は図５の操作内容Ｆが実行されることで、選択が受け付けられたオブジェクトのサイズを変更している様子を示す説明図である。
図１１の例では、移動動作が画面に近づく方向であるため、選択が受け付けられたオブジェクトが拡大されている。移動動作が画面から遠ざかる方向であれば、選択が受け付けられたオブジェクトが縮小される。

以上で明らかなように、この実施の形態１によれば、操作対象のオブジェクトの選択を受け付けるマウス１と、操作者を撮影するカメラ２と、カメラ２により撮影された操作者の映像から、操作者のジェスチャーを検知するジェスチャー検知部１１と、マウス１によるオブジェクトの選択受付状況とジェスチャー検知部１１により検知されたジェスチャーとから操作内容を決定する操作内容決定部１５とを設け、操作内容実行部１８が、操作内容決定部１５により決定された操作内容を実行するように構成したので、操作が可能な内容を増やすことができる効果を奏する。
即ち、マウス、タッチデバイス及びペンデバイスなどのポインティングデバイスでは困難な操作を実現することができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明は、操作者のジェスチャーに対応する操作内容を実行するユーザインタフェース装置及びユーザインタフェース方法に適している。

１ マウス（ポインティングデバイス）、２ カメラ、３ 表示部、１０ 操作制御部、１１ ジェスチャー検知部、１２ 手形状記憶部、１３ 手検出部、１４ ジェスチャー判定部、１５ 操作内容決定部、１６ 操作内容記憶部、１７ 操作内容決定処理部、１８ 操作内容実行部、２１ 手形状記憶回路、２２ 手検出回路、２３ ジェスチャー判定回路、２４ 操作内容記憶回路、２５ 操作内容決定処理回路、２６ 操作内容実行回路、３１ メモリ、３２ プロセッサ。

Claims (11)

1. 操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、
   操作者を撮影するカメラと、
   前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知するジェスチャー検知部と、
   前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部と、
   前記操作内容決定部により決定された操作内容を実行する操作内容実行部と
   を備え、
   前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、前記ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールする操作内容を決定することを特徴とするユーザインタフェース装置。
2. 操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、
   操作者を撮影するカメラと、
   前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知するジェスチャー検知部と、
   前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部と、
   前記操作内容決定部により決定された操作内容を実行する操作内容実行部と
   を備え、
   前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられた後に、前記ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールして、前記選択が受け付けられたオブジェクトを前記スクロール後の画面上に移動する操作内容を決定するユーザインタフェース装置。
3. 操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、
   操作者を撮影するカメラと、
   前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知するジェスチャー検知部と、
   前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部と、
   前記操作内容決定部により決定された操作内容を実行する操作内容実行部と
   を備え、
   前記操作内容決定部は、前記ジェスチャー検知部により検知されたジェスチャーが画面左右方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウを画面左右方向に移動する操作内容を決定するユーザインタフェース装置。
4. 前記操作内容決定部は、複数のウィンドウが開いている場合、前記複数のウィンドウを一緒に画面左右方向に移動する操作内容を決定することを特徴とする請求項３記載のユーザインタフェース装置。
5. 操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、
   操作者を撮影するカメラと、
   前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知するジェスチャー検知部と、
   前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部と、
   前記操作内容決定部により決定された操作内容を実行する操作内容実行部と
   を備え、
   前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、前記ジェスチャー検知部により検知されたジェスチャーが画面垂直方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウのサイズを変更する操作内容を決定するユーザインタフェース装置。
6. 操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、
   操作者を撮影するカメラと、
   前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知するジェスチャー検知部と、
   前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部と、
   前記操作内容決定部により決定された操作内容を実行する操作内容実行部と
   を備え、
   前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられた後に、前記ジェスチャー検知部により検知されたジェスチャーが画面垂直方向の移動動作を表現するジェスチャーであれば、前記選択が受け付けられたオブジェクトのサイズを変更する操作内容を決定するユーザインタフェース装置。
7. ポインティングデバイスが操作対象のオブジェクトの選択を受け付ける処理を実施し、
   カメラが、操作者を撮影し、
   ジェスチャー検知部が、前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知し、
   操作内容決定部が、前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定し、
   操作内容実行部が、前記操作内容決定部により決定された操作内容を実行し、
   前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、前記ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールする操作内容を決定するユーザインタフェース方法。
8. ポインティングデバイスが操作対象のオブジェクトの選択を受け付ける処理を実施し、
   カメラが、操作者を撮影し、
   ジェスチャー検知部が、前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知し、
   操作内容決定部が、前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定し、
   操作内容実行部が、前記操作内容決定部により決定された操作内容を実行し、
   前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられた後に、前記ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールして、前記選択が受け付けられたオブジェクトを前記スクロール後の画面上に移動する操作内容を決定するユーザインタフェース方法。
9. ポインティングデバイスが操作対象のオブジェクトの選択を受け付ける処理を実施し、
   カメラが、操作者を撮影し、
   ジェスチャー検知部が、前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知し、
   操作内容決定部が、前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定し、
   操作内容実行部が、前記操作内容決定部により決定された操作内容を実行し、
   前記操作内容決定部は、前記ジェスチャー検知部により検知されたジェスチャーが画面左右方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウを画面左右方向に移動する操作内容を決定するユーザインタフェース方法。
10. ポインティングデバイスが操作対象のオブジェクトの選択を受け付ける処理を実施し、
    カメラが、操作者を撮影し、
    ジェスチャー検知部が、前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知し、
    操作内容決定部が、前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定し、
    操作内容実行部が、前記操作内容決定部により決定された操作内容を実行し、
    前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、前記ジェスチャー検知部により検知されたジェスチャーが画面垂直方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウのサイズを変更する操作内容を決定するユーザインタフェース方法。
11. ポインティングデバイスが操作対象のオブジェクトの選択を受け付ける処理を実施し、
    カメラが、操作者を撮影し、
    ジェスチャー検知部が、前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知し、
    操作内容決定部が、前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定し、
    操作内容実行部が、前記操作内容決定部により決定された操作内容を実行し、
    前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられた後に、前記ジェスチャー検知部により検知されたジェスチャーが画面垂直方向の移動動作を表現するジェスチャーであれば、前記選択が受け付けられたオブジェクトのサイズを変更する操作内容を決定するユーザインタフェース方法。

Images