JPWO2015108112A1 - 操作判定装置、操作判定方法、および、プログラム - Google Patents

Abstract

身体の動きを伴う操作において操作性を向上させることができる、操作判定装置、操作判定方法、および、プログラムを提供することを目的とする。利用者の生体の状態を認識し、認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当て、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件として、前記生体の動きに応じた操作を判定する。

Description

本発明は、操作判定装置、操作判定方法、および、プログラムに関する。

従来、利用者の身体の動きに応じて、コンピュータを操作する方法が開発されている。

例えば、マイクロソフト社製ＫＩＮＥＣＴ ｆｏｒ ＷＩＮＤＯＷＳ（登録商標）では、ＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｅｒ’ｓ Ｋｉｔ）にて、空中にかかげた手を上下左右に動かすことによりカーソルを画面平面上で動かし、手を画面に向かって押す動作を行うことによりカーソル位置のクリック操作を行う方法が開発されている。

また、特許文献１に記載の入力装置では、機器に接触することなく手または指の動作により情報入力を行うために、ディスプレイに対して指し示された入力者の手または指を撮像し、撮像された像に基づいて、ディスプレイに対して手または指が指し示す方向を算出し、算出された方向に対応するディスプレイ上の位置をカーソルによりディスプレイ上に表示し、手または指のクリック動作が検出された場合に、カーソルが位置する部分の情報を入力者が指示した情報として選択することが開示されている。

特開平５−３２４１８１号公報

しかしながら、従来における機器に接触しない操作方法では、利用者の日常的な身体活動によって、利用者が意図せぬ操作を行ってしまい易いという問題があった。特に、近年開発される、腕時計型ウェアラブル端末などディスプレイが小さいか無かったり、メガネ型ウェアラブル端末やヘッドアップディスプレイなどで表示装置があっても一時的に非表示状態にしていた場合には、利用者は自分の体の動きに応じた視覚的なフィードバックが得られ難いので、一層、誤動作を招き易いという問題があった。

本発明は、上記に鑑みてなされたもので、身体の動きを伴う操作において操作性を向上させることができる、操作判定装置、操作判定方法、および、プログラムを提供することを目的とする。

本発明の操作判定装置は、利用者の生体の状態を認識する生体認識手段と、認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、コンピュータ空間上に割り当てられた第２の領域を第１の領域が通過し難くなるように、生体に連動した第１の領域の動きを変化させる変更手段と、第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定手段と、を備えたことを特徴とする。

また、本発明の操作判定装置は、利用者の生体の状態を認識する生体認識手段と、認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、コンピュータ空間上に割り当てられた第２の領域が、移動してきた第１の領域を避けるように移動させる変更手段と、第１の領域と第２の領域が所定の関係になった場合
に、当該第２の領域に対応する操作と判定する操作判定手段と、を備えたことを特徴とする。

本発明の操作判定装置は、利用者の生体の状態を認識する生体認識手段と、認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当てる割り当て手段と、前記生体の動きに応じた操作を判定する場合に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件とする操作判定手段と、を備えたことを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記生体は、前記利用者の頭、口、足、脚、腕、手、指、瞼、および／または、眼球であることを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記生体同士の接触動作とは、少なくとも２本の指の先ないし腹をくっつける動作、少なくとも２本の指同士を寄り添い触れ合わせる動作、開いた手を閉じる動作、親指を立てた状態から寝かせる動作、手または指を体の一部に接触させる動作、両手または両足を接触させる動作、開いた口を閉じる動作、または、瞼を閉じる動作、であることを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記生体同士の非接触動作とは、接触した少なくとも２本の指の先ないし腹を引き離す動作、側面で接触した２本の指を引き離す動作、閉じた手を開く動作、親指を寝かせた状態から立てる動作、体の一部に接触した手または指を離す動作、接触した両手または両足を引き離す動作、閉じた口を開く動作、または、閉じた瞼を開く動作、であることを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過した先の側で、前記接触動作または前記非接触動作が行われることを必要条件として、前記生体の動きに応じた操作を判定すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を横断した状態で、前記接触動作または前記非接触動作が行われることを必要条件として、前記生体の動きに応じた操作を判定すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線の境界内側で、前記接触動作または前記非接触動作が行われたことを必要条件として、前記生体の動きに応じた操作を判定すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、更に、前記境界内側での前記接触動作または前記非接触動作が行われた後、当該境界の外側方向への前記生体の動きがあることを必要条件として、前記生体の動きに応じた操作を判定すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過する際に、前記接触動作による接触状態または前記非接触動作による非接触状態が継続していることを必要条件として、前記生体の動きに応じた操作を判定すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を一方から他方へ通過する際は非接触状態であること、かつ、他方から一方へ再通過する際は接触状態であることを必要条件として、前記生体の動きに応じた操作を判定すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記コンピュータ空間上の境界面または境界線の全体または一部は、前記利用者が現実空間において認識可能な境界面または境界線に合わせて設定されたものであること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記コンピュータ空間上の境界面または境界線の全体または一部は、表示手段に表示された面または線であること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記コンピュータ空間上の境界線または境界面の全体または一部は、表示手段の表示枠の線であることを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記割り当て手段は、前記利用者の頭の動き、眼球の動き、足もしくは脚の動き、腕の動き、手もしくは指の動き、または、眼球の動きに応じて、前記コンピュータ空間上に位置または領域を割り当てること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記割り当て手段は、前記眼球の状態に基づく視線方向に応じて、前記コンピュータ空間において対応する、点または線領域を割り当てること、および／または、前記頭、足、脚、腕、手、指の位置または関節曲げ角度に基づいて、前記コンピュータ空間において対応する、点、線領域、面領域、または三次元領域を割り当てること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記割り当て手段により割り当てられた、前記コンピュータ空間上の位置または領域を、表示手段に表示させることを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、前記接触動作による接触状態または前記非接触動作による非接触状態が継続している間、当該接触動作または当該非接触動作の開始時点における前記位置または前記領域に応じた操作判定の対象が解除されないように制御することを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作判定手段は、（１）表示要素の全部または一部を前記生体の動きに連動させること、（２）前記接触動作または前記非接触動作の開始時点における前記コンピュータ空間上の位置または領域を履歴として保存すること、（３）前記操作判定の対象が解除される方向への、前記位置または前記領域の変動を無効化すること、および／または、（４）当該接触動作または当該非接触動作の開始時の操作判定対象を保持し続けることにより、前記操作判定の対象が解除されないよう制御すること、を特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記操作は、表示手段のメニュー表示操作もしくは非表示操作、表示画面の表示操作もしくは非表示操作、選択可能な要素の選択操作もしくは非選択操作、表示画面の輝度アップ操作もしくは輝度ダウ
ン操作、音声出力手段の音量アップ操作もしくは音量ダウン操作、ミュート操作もしくはミュート解除操作、前記コンピュータが制御可能な装置のオン操作、オフ操作、開閉操作、もしくは、設定温度などのパラメータの設定操作、であることを特徴とする。

本発明の操作判定装置は、上記に記載の操作判定装置において、前記生体認識手段は、利用者の静電エネルギーの変化を検出することによって、前記生体同士の接触状態と非接触状態との間の変化を検出すること、を特徴とする。

本発明の操作判定方法は、利用者の生体の状態を認識する生体認識ステップと、認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当てステップと、コンピュータ空間上に割り当てられた第２の領域を第１の領域が通過し難くなるように、生体に連動した第１の領域の動きを変化させる変更ステップと、第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、を含むことを特徴とする。

本発明の操作判定方法は、利用者の生体の状態を認識する生体認識ステップと、認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、コンピュータ空間上に割り当てられた第２の領域が、移動してきた第１の領域を避けるように移動させる変更ステップと、第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、を含むことを特徴とする。

本発明の操作判定方法は、利用者の生体の状態を認識する生体認識ステップと、認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当てる割り当てステップと、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件として、前記生体の動きに応じた操作を判定する操作判定ステップと、を含むことを特徴とする。

本発明のプログラムは、利用者の生体の状態を認識する生体認識ステップと、認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当てステップと、コンピュータ空間上に割り当てられた第２の領域を第１の領域が通過し難くなるように、生体に連動した第１の領域の動きを変化させる変更ステップと、第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、をコンピュータに実行させることを特徴とする。

本発明のプログラムは、利用者の生体の状態を認識する生体認識ステップと、認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、コンピュータ空間上に割り当てられた第２の領域が、移動してきた第１の領域を避けるように移動させる変更ステップと、第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、をコンピュータに実行させることを特徴とする。

また、本発明のプログラムは、利用者の生体の状態を認識する生体認識ステップと、認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当てる割り当てステップと、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件として、前記生体の動きに応じた操作を判定する操作判定ス
テップと、をコンピュータに実行させることを特徴とする。

また、本発明のコンピュータ読み取り可能な記録媒体は、上記に記載のプログラムをコンピュータに読み取り可能に記録した記録媒体であることを特徴とする。

図１は、メガネの縁に対応する線分を境界線として、（１）利用者の現実の手や指がメガネの縁から外側に出た状態で、（２）利用者の２本の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その１）である。 図２は、メガネの縁に対応する線分を境界線として、（１）利用者の現実の手や指がメガネの縁から外側に出た状態で、（２）利用者の２本の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その２）である。 図３は、メガネの縁に対応する線分を境界線として、（１）利用者の現実の手や指がメガネの縁から外側に出た状態で、（２）利用者の２本の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その３）である。 図４は、左手に巻きつけられた腕時計型のウェアラブル端末に対して、（１）利用者の右手がリストバンドの境界面を中枢側に超えて、（２）右手の指の接触動作があったことを必要条件として、操作判定を行う場合を模式的に示した図（その１）である。 図５は、左手に巻きつけられた腕時計型のウェアラブル端末に対して、（１）利用者の右手がリストバンドの境界面を中枢側に超えて、（２）右手の指の接触動作があったことを必要条件として、操作判定を行う場合を模式的に示した図（その２）である。 図６は、左手に巻きつけられた腕時計型のウェアラブル端末に対して、（１）利用者の右手がリストバンドの境界面を中枢側に超えて、（２）右手の指の接触動作があったことを必要条件として、操作判定を行う場合を模式的に示した図（その３）である。 図７は、テレビ画面の表示枠を境界線として設定し、（１）表示される手や指が表示枠から外側に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その１）である。 図８は、テレビ画面の表示枠を境界線として設定し、（１）表示される手や指が表示枠から外側に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その２）である。 図９は、テレビ画面の表示枠を境界線として設定し、（１）表示される手や指が表示枠から外側に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その２）である。 図１０は、モニタ画面に境界面と手の３次元画像を表示し、（１）表示される３次元画像が境界面の奥行き方向に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図（その１）である。 図１１は、モニタ画面に境界面と手の３次元画像を表示し、（１）表示される３次元画像が境界面の奥行き方向に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その２）である。 図１２は、モニタ画面に境界面と手の３次元画像を表示し、（１）表示される３次元画像が境界面の奥行き方向に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その３）である。 図１３は、点を取り囲むように２本の指でつかめば（１）点を含む任意の境界線を超え（２）接触動作があったと判定可能であることを模式的に示すための図（その１）である。 図１４は、点を取り囲むように２本の指でつかめば（１）点を含む任意の境界線を超え（２）接触動作があったと判定可能であることを模式的に示すための図（その１）である。 図１５は、３次元的トポロジー判定の例を示す図である。 図１６は、３次元的トポロジー判定の例を示す図である。 図１７は、表示画面の枠に対応する線分を境界線として、（１）利用者の注視点が表示画面から外側に外れた状態で、（２）利用者の片目を閉じる接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その１）である。 図１８は、表示画面の枠に対応する線分を境界線として、（１）利用者の注視点が表示画面から外側に外れた状態で、（２）利用者の片目を閉じる接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その２）である。 図１９は、表示画面の枠に対応する線分を境界線として、（１）利用者の注視点が表示画面から外側に外れた状態で、（２）利用者の片目を閉じる接触動作があったことを必要条件として、操作判定を行った場合を模式的に示した図（その３）である。 図２０は、瞼と眼球の境を境界線として、（２）利用者の瞼を閉じる接触動作があった状態で、（１）瞼の内側で、所定の眼球運動があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。 図２１は、瞼と眼球の境を境界線として、（２）利用者の瞼を閉じる接触動作があった状態で、（１）瞼の内側で、所定の眼球運動があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。 図２２は、瞼と眼球の境を境界線として、（２）利用者の瞼を閉じる接触動作があった状態で、（１）瞼の内側で、所定の眼球運動があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。 図２３は、条件（３−３）を更に含む操作判定方法を模式的に示した図である。 図２４は、条件（３−３）を更に含む操作判定方法を模式的に示した図である。 図２５は、条件（３−３）を更に含む操作判定方法を模式的に示した図である。 図２６は、本実施の形態が適用される操作判定装置１００の構成の一例を示すブロック図である。 図２７は、本実施の形態における操作判定装置１００の表示情報処理の一例を示すフローチャートである。 図２８は、境界設定部１０２ａの制御による表示された表示画面を含む表示装置１１４の外観の一例を示す図である。 図２９は、図２８の初期画面において、利用者の像が重畳表示されて表示画面の一例を示す図である。 図３０は、位置変更部１０２ｂにより排他的に移動制御されたポイントＰ２の一例を示す表示画面例である。 図３１は、第１の排他的移動制御を伴う第１の領域と第２の領域の遷移を模式的に示した遷移図の一つである。 図３２は、第１の排他的移動制御を伴う第１の領域と第２の領域の遷移を模式的に示した遷移図の一つである。 図３３は、第１の排他的移動制御を伴う第１の領域と第２の領域の遷移を模式的に示した遷移図の一つである。 図３４は、第１の排他的移動制御を伴う第１の領域と第２の領域の遷移を模式的に示した遷移図の一つである。

以下に、本発明の本実施の形態にかかる操作判定装置、操作判定方法、および、プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［本実施の形態の概要］
以下、本発明にかかる本実施の形態の概要について説明し、その後、本実施の形態の構成および処理等について詳細に説明する。なお、本概要の説明によって、以降で説明する本実施の形態の構成および処理が限定されるものではない。

利用者の身体の動きや生体の状態を、コンピュータに入力するためのセンサや装置が開発されている。たとえば、マイクロソフト社製のＫＩＮＥＣＴセンサでは、利用者の各種の骨格（スケルトン）の位置情報や速度・加速度情報などジェスチャー入力を行うことができる。また、ＬｅａｐＭｏｔｉｏｎ社製のＬｅａｐ Ｍｏｔｉｏｎセンサでは、利用者の指の位置情報を入力することができる。また、インテル社製のリアル技術を用いた３Ｄカメラでは、人間の体や指先の動きを入力することができる。また、Ｔｏｂｉｉ社製のアイトラッキング技術センサでは、目線（視線）や注視点を入力することができる。また、眼電位を読み取ることにより、眼球運動の検出や瞼の開閉、注視点を検出することができる。

このように、利用者の自然な身体の動きを、コンピュータの入力として扱えるセンサ等が開発されている。しかしながら、身体の動きは本来アナログで連続的であるため、不用意な入力を行ってしまう可能性がある。たとえば、上述したＬｅａｐ Ｍｏｔｉｏｎセンサを介して指の動きをコンピュータに入力して、コンピュータ空間上の仮想キーボードを押下する場合を考えてみる。操作画面上に利用者の手に連動する画像が表示され、利用者が仮想キーボードに対する入力に集中している場合は、比較的誤動作は少ないが、利用者が操作画面から目を離している場合や操作画面が一時的に非表示になっている場合は、利用者の不用意な手の動きによって、意図せぬ入力を行ってしまう場合がある。

特に、近年開発されているようなメガネ型ないしは腕時計型のウェアラブル端末等では、表示領域が限られていたり表示手段が存在しなかったり一時的に非表示となっていたりする場合がある等のために、利用者の日常的な動きによって意図せぬ操作を行ってしまう傾向は一層顕著になることが考えられる。

本発明者は、上記のような問題点を鋭意検討した結果、本発明を開発するに至った。本発明の実施の形態の一つ目の条件（１）は、身体の動きに応じた連続的な位置や領域の変化に対して、境界面や境界線などの閾を設け、操作可能な範囲を制限することにある。また、本発明の実施の形態のもう一つの条件（２）は、生体同士の接触状態から非接触状態への動作（本実施の形態において「非接触動作」と呼ぶ。）、または、生体同士の非接触状態から接触状態への動作（本実施の形態において「接触動作」と呼ぶ。）という、バイナリー（二値的）で、ハプティック（触感的）な変化を必要とすることである。本発明の実施の形態は、これら（１）および（２）の条件を組み合わせることによって、利用者が意図しない操作を行ってしまう可能性を低減させることを特徴とする。

本実施の形態において、身体の動きに応じた連続的な位置や領域は、コンピュータ空間上に割り当てられ、利用者の動きに連動する。ここで、コンピュータ空間は、２次元としてもよく３次元としてもよい。なお、境界線や境界面はコンピュータ空間上にあらかじめ固定で設定されていることに限られず、上述したような各種のセンサ等で、利用者の動きを検出する際に、現実空間中で境界線や境界面となるものを読み込んでもよい。たとえば、検出した利用者の身体を基準にして境界線や境界面を設定してもよく、一例として、右手で操作する場合には、背骨の体軸に境界線または境界面を設定して左半身側で右手を動かさなければ、操作判定されないように制限してもよい。このほか、利用者が身に着けているもの（ウェアラブル端末やメガネなど）を基準にして境界線や境界面を設定してもよい。

なお、コンピュータ空間上に割り当てた位置や領域、境界線や境界面は、表示画面上に表示してもよく表示させなくともよい。たとえば、Ｇｏｏｇｌｅ社製のＧｏｏｇｌｅＧｌａｓｓやＭｅｔａ社製のＭｅｔａグラスでは、利用者の現実の手や指などの光が表示画面を透過して目に届き、利用者が識別できるので、利用者の手や指に連動する画像を敢えて表示させなくともよい。このようなメガネ型ウェアラブル端末において、一例として、図１〜３に示すように、本実施の形態は、メガネの縁に対応する線分を境界線として設定しておき、（１）利用者の現実の手や指がメガネの縁から外側に出た状態で、（２）利用者の２本の指の接触動作があったことを必要条件として、操作判定を行ってもよい。

ここで、図１〜図３は、メガネの縁に対応する線分を境界線として、（１）利用者の現実の手や指がメガネの縁から外側に出た状態で、（２）利用者の２本の指の接触動作があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。なお、各図は、メガネ型端末をかけた利用者の目線で見た様子を示している。この例では、図１に示すように、メガネの縁を境界線としている。なお、実際には、境界線は、コンピュータ空間上の当該縁に対応する線を境界線としている。また、コンピュータ空間上で手や指の２次元領域に対して判定する場合には境界線でよいが、手や指の３次元領域に対して判定する場合には、当該境界線を含み目線方向に拡張した境界面としてもよい。図２に示すように、利用者が、（１）メガネを介した視界から外側に手指を外側に掲げて、（２）つまむ接触動作を行った場合、メガネ型端末の操作を行う意図がある動きであると判定する。この例では、図３に示すように、利用者が指先の接触点をメガネの視界内側にまで移動させることにより、メニュー表示操作が可能となっている。

他の例として、腕時計型のウェアラブル端末で、腕に巻きつけられたリング状の輪の平面を境界面として設定してもよい。より具体的には、図４〜図６に示すように、腕時計型のウェアラブル端末が、左手に巻きつけられている場合、（１）利用者の右手が、リングの平面（境界面）を超えて、手の末梢側から中枢側に移動した場合であって、（２）右手の指の接触動作があったことを必要条件として、操作判定を行ってもよい。

図４〜図６は、左手に巻きつけられた腕時計型のウェアラブル端末に対して、（１）利用者の右手がリストバンドの境界面を中枢側に超えて、（２）右手の指の接触動作があったことを必要条件として、操作判定を行う場合を時系列で模式的に示した図である。この例では、図４に示すように、腕時計型端末のリストバンドの円を含む平面で円の中心から所定の半径の範囲を境界面として設定している。図５に示すように、（１）利用者の右手が境界面を、左腕の抹消側から中枢側に超えて、かつ、（２）右手の親指を人差し指側面にくっつける接触動作があった場合、利用者が当該端末を操作しようとする意図のある動作であると判定する。この例では、図６に示すように、接触動作の接触を保ったまま、左手の腕の周りで、右手を回転させることにより、連続的に時刻調整操作を行うことができる。たとえば、左手の腕の周りで、接触状態の右手を６度動かすたびに、アラーム等の設定時刻が１分進み、左手の腕の周りで半周させると３０分進める操作を行うことができる（逆周りで設定時刻を逆行させる操作も可能）。利用者は、所望の位置で、右手の指先の接触を離すか境界面を抹消側に離脱することにより、設定した時刻を固定することができる。

なお、境界線や境界面は、無限に続く数学上の線や面である必要はなく、曲線や線分や、ある領域をもつ面であってもよい。また、本実施の形態において、境界線と記載している場合であっても、扱う位置または領域の空間次元等に応じて、境界面として判定してもよく、境界面と記載している場合であっても境界線として判定してもよい。たとえば、表示枠やメガネの枠に境界線を設定すると記載している場合であっても、コンピュータ空間上の手や指等が影絵のような２次元領域ではなく、３次元領域で割り当てられる場合、表示枠やメガネの枠を含む平面（たとえば、枠の線分と視線を含む平面）を境界面として判定してもよい。

さらに他の例として、マイクロソフト社製のＫｉｎｅｃｔセンサやＬｅａｐＭｏｔｉｏｎ社製のＬｅａｐセンサ等のモーションセンサを用いて、利用者の手や指に連動する画像がテレビやモニタなどの表示画面に表示される場合について例示する。この場合、図７〜図９に示すように、テレビやモニタの表示枠を境界線として設定し、（１）表示される手や指が表示枠から外側に出た状態で（たとえば、指先などが表示されなくなった状態）、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行ってもよい。

ここで、図７〜図９は、テレビ画面の表示枠を境界線として設定し、（１）表示される手や指が表示枠から外側に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。この例では、図７に示すように、テレビ画面の枠を境界線に設定しており、テレビ画面には、モーションセンサを介して読み取られた利用者のスケルトンが表示される。図８に示すように、利用者が、（１）スケルトンがテレビ表示画面から外側に外れるように右手を動かし、（２）右手を握る接触動作を行った場合、装置操作を行う意図がある動きであると判定する。なお、この場合、右手のスケルトンはテレビ画面に表示されていないが、モーションセンサの検出範囲内にあるので、上記（１）および（２）の判定を行うことができる。この例では、図９に示すように、利用者が右手を握った接触点をテレビ画面の内側にまで移動させることにより、検索画面の表示操作を行っている。

あるいは、モーションセンサを用いて、利用者の手や指に連動する３次元的画像がテレビやモニタなどの表示画面に表示される場合、表示画面に表示される仮想キーボード等の仮想的物体の表面を境界面として設定し、（１）表示される手や指が仮想キーボード等の仮想的物体の内部に入った状態で、（２）利用者の２本の指の接触動作があったことを必要条件として、操作判定を行ってもよい。

ここで、図１０〜図１２は、モニタ画面に境界面と手の３次元画像を表示し、（１）表示される３次元画像が境界面の奥行き方向に出た状態で、（２）利用者の指の接触動作があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。図１０に示すように、この例では、境界面がモニタに３次元仮想的物体の表面として表示されるとともに、手や指の動きに連動する３次元画像も表示されている。図１１に示すように、（１）手の三次元画像が境界面を通って仮想的物体の内側に入り、かつ、（２）指先の接触動作があった場合に、操作意図がある動きであると判定する。図１２に示すように、この例では、表示ＧＵＩ画面に対するクリック操作相当の操作として構成することができ、一例として、外部接続機器のスイッチのＯＮ／ＯＦＦ操作や、ウェブページ等のリンク表示押下操作等を行うことができる。図示しないが、同様に仮想キーボードの表面を境界面と設定すれば、上記（１）および（２）が満たされた仮想キーボードの位置に応じたキーボード操作を行うことも可能である。

なお、境界線や境界面は線や面として表示画面上に表示されることに限られず、点として表示されてもよい。たとえば、図１３および図１４に示すように、利用者の手や指が影絵のように２次元領域としてコンピュータ空間上に割り当てられ表示され、２次元平面上に境界線を代表する点が表示される場合、利用者およびコンピュータは、点を取り囲むように２本の指でつかめば（たとえば、親指と人差し指の指先をくっつけたときの閉じた環の内側に点を位置づければ）、（１）点を含む任意の境界線を超え（２）接触動作があったと判定できるので、必ずしも境界線を線として表示画面上に表示させる必要はなく点として表示させてもよい。このように、点を含む任意の線分として境界線を考え、トポロジー的に（１）および（２）の操作判定を行ってもよい。親指と人差し指でつくる開環状態が点などの図形を内側に含む閉環状態になった場合の他の例として、２本の腕でつくる開環状態が点などの図形を内側に含む閉環状態になった場合に、（１）および（２）が満たされたと判定してもよい。

同様に、利用者の手や指が３次元領域としてコンピュータ空間上に割り当てられる場合に、境界面を代表する線分を表示させた場合、利用者およびコンピュータは、３次元的に表示された手や指の画像が、線分を取り囲むように掴めば（たとえば、線分を、表示上の手のスケルトンで握れば）、（１）線分を含む任意の境界面を超え（２）接触動作があったと判定可能であるので、必ずしも境界面を面として表示画面上に表示させる必要はなく線分として認識可能であればよい。なお、図１３および図１４を当該線分方向から見た図として考えれば、このような３次元的トポロジー判定の例として参照可能である。ここで、図１５および図１６は、３次元的トポロジー判定の例を示す図である。すなわち、線分を通る任意の境界面があると考える。

図１５に示すように、利用者が線分に対して手を伸ばし、図１６に示すように、手や指の画像が、線分を取り囲むように掴めば、（１）線分を含む任意の境界面を超え（２）接触動作があったとして、操作判定とする。なお、利用者の手や指が３次元領域としてコンピュータ空間上に割り当てられる場合、認識された利用者の手を必ずしも表示する必要はない。すなわち、利用者は、自らの手の実像を見ながら、操作を行うことができるからである。同様に、線分も表示上の線分であってもよく、現実世界にある棒などであってもよい。コンピュータがコンピュータ空間上で、利用者の手と線分との位置関係を正しく把握できていれば、操作判定が可能となるからである。このように、一例として、親指と人差し指でつくる３次元スケルトンが、開環状態から線分等などの図形を含む閉環状態になった場合に、（１）および（２）が満たされたと判定してもよい。

［排他的移動制御］
ここで、操作性向上のために、境界線を代表する点や、境界面を代表する境界線、境界面、線分などは、手や指などの体の一部の領域に対して、排他的に移動させてもよい。これについて、以下に説明する。

現在、ヘッドマウントディスプレイやスマートテレビ等に関する開発が進んでいる。例えば、特許文献１に記載の入力装置では、リモートコントローラを用いずに、ディスプレイに対して指し示された入力者の手または指を撮像し、ディスプレイに対して手または指が指し示す方向から、対応するディスプレイ上の位置をカーソルによりディスプレイ上に表示し、手または指のクリック動作が検出された場合に、カーソルが位置する部分の情報を入力者が指示した情報として選択することが開示されている。

ここで、リモートコントローラを用いずに、従来（特許文献１等）のように画面上の要素を選択する場合には、マウスやタッチパッドを用いる方法とは次の点で決定的に性質が異なる。

すなわち、従来、画面上に実現したグラフィックユーザインタフェース（ＧＵＩ）を用いてマウスやタッチパッドで操作する場合には、＜ｉ＞まず、利用者は、画面上の要素にカーソルを合わせる位置決めを行い、＜ｉｉ＞つづいて、位置の確認後にクリック等の決定操作を行って、画面上の要素を選択している。

マウスやタッチパッド等で操作する場合には、動摩擦力や静止摩擦力がはたらくので、＜ｉ＞の位置決めを行ってから＜ｉｉ＞の決定操作を行うまでに、位置がずれて誤操作を行うことが少ない。

この＜ｉ＞および＜ｉｉ＞の操作手法を、そのままリモートコントローラレステレビ等に応用したとすると、特許文献１に記載のように、＜ｉ＞利用者は、空中に浮かせた指や手で画面上のカーソルを動かす位置決め操作を行い、＜ｉｉ＞所定のアクションで指や手を動かすことで決定操作を行わなければならない。

空中に浮かせた指や手は摩擦がはたらかないので、＜ｉ＞の位置決め操作から＜ｉｉ＞の決定操作までの間に浮遊して位置がずれるため誤操作を招きやすく、特に、＜ｉｉ＞の決定操作のためのアクションを行おうとする場合に位置がずれる可能性が高いという問題点が考えられる。

そのため、本願の発明者は上記に鑑みて、鋭意検討を行った結果、本発明のもう一つの側面を完成させるに至った。本発明のもう一つの側面の実施の形態は、次の特徴を有する。

すなわち、本実施の形態は、利用者の生体の状態を認識する。例えば、検出部を介して撮像した人物の像（２次元か３次元かを問わない）を取得してもよい。

そして、本実施の形態は、認識された生体の状態に連動させて、コンピュータ空間上に位置または領域（この位置または領域を便宜的に「第１の領域」と呼ぶ。）を割り当てる。ここで、本実施の形態は、コンピュータ空間上の位置または領域を利用者に表示してもよい。例えば、利用者の各指先に対応する位置に円を表示させてもよく、利用者の手のスケルトンを表示してもよい。

そして、本実施の形態は、コンピュータ空間上に、選択可能な要素に対応する位置や領域（この位置または領域を便宜的に「第２の領域」と呼ぶ。）を割り当てる。第１の領域は、１次元であっても、２次元であっても、３次元であってもよく、第２の領域は、０次元であっても、１次元であっても、２次元であっても、３次元であってもよい。一例として、第２の領域は、境界線を代表する点や、境界面を代表する境界線、境界面、線分などである。ここで、本実施の形態は、第２の領域を表示してもよいが、上述したメガネの縁などのように現実空間で第２の領域が利用者に識別可能な場合、第２の領域を表示させる必要はない。

そして、本実施の形態は、移動してきた第１の領域が第２の領域に近づいたり接触したりした場合に、第１の領域が第２の領域を通過しにくくなるように、生体に連動した第１の領域の動きを変化させる（「第１の排他的移動制御」と呼ぶ）。例えば、連動する動きが鈍るようにタイムラグを発生させたり、速度を落とす、連動した動き幅を小さくする。例えば、生体の動きに連動する第１の領域が、第２の領域と接触した場合、生体の動きとは関係なく、第１の領域の動きを所定時間、停止させてもよい。そして、所定時間が経過すると、本実施の形態は、再び生体の動きと連動させて第１の領域を割り当ててもよい。なお、第２の領域を固定して、第１の領域の動きを変化させる第１の排他的移動制御とは反対に、本実施の形態は、第２の領域を動かし、移動してきた第１の領域を第２の領域が避けるように排他的に移動制御してもよい（「第２の排他的移動制御」と呼ぶ）。なお、排他的移動制御としては、領域同士が接しながら移動させる場合と、領域同士がある程度重なりながら移動させる場合と、（磁石のＳ極同士のように）領域同士が離れてある程度距離を保ちながら移動させる場合があるが、いずれを採用してもよい。また、第１の領域の動きを変化させる第１の移動制御を行いながら、第２の排他的移動制御を行わせて、第１の領域と第２の領域を相互作用させてもよい。その際、第１の排他的移動制御と第２の排他的移動移動制御を行う割合、すなわち、第１の排他的移動制御において、生体の動きに反して第１の領域を相対的に動かす移動量と、第２の排他的移動制御において第２の領域を第１の領域から逃れるように移動させる移動量の割合は、任意に設定してもよい。第１の排他的移動制御も第２の排他的移動制御も同様に、生体に連動した第１の領域が第２の領域をすりぬけることを防止し、操作性の向上に寄与する。

そして、本実施の形態は、第１の領域および／または第２の領域が所定の状態（例えば、所定の移動状態（所定の移動度，所定の移動位置など）になった場合に、利用者の意図した操作と判定する。ここで、本実施の形態は、移動状態に基づいて操作を判定することに限られず、アクションに基づいて操作を判定してもよい。一例として、本実施の形態は、開かれた手が閉じられた場合などのように所定のアクションがあった場合に、所定の状態になったと判定して、操作判定してもよい。

これにより、本実施の形態は、従来の＜ｉ＞のマウスポインタやカーソル等による位置決めを行わずに、＜ｉ＞と＜ｉｉ＞と同様の操作選択と決定を行うことができる。すなわち、利用者は、自己の体（第１の領域）をつかって、現実空間または仮想空間上の物体（第２の領域）に対して、感覚的に、つかむ／把持する／ひっかける／押す／つまむ／当てる等の操作を行うことで、＜ｉ＞と同様に操作を選択したことを確認することができる。そして、利用者は、確認後、感覚的に、つかんで引っ張る／把持したまま一定時間おく／ひっかけて引き下げる／押し上げる／つまんで引く／当てて飛ばす等の操作を行うことで状態（移動度や移動位置など）を制御し、＜ｉｉ＞と同様に操作の選択を決定することができる。ここで、移動状態によらずアクションにより操作の選択を決定させる場合は、利用者は、確認後、感覚的に、つかんで握りつぶす／把持したまま握る／ひっかけてから加速度をつけて手を払う／押し上げて投げる／つまんでから二本の指をくっつける／当てて弾く等のアクション操作を行うことで状態を制御し、＜ｉｉ＞と同様に操作の選択を決定することができる。

したがって、空中にかかげた手や指等の動きで操作することに伴う位置決めの不確実性を抑制することができ、大幅な操作性の向上に寄与する。

［目に関する実施の形態］
つづいて、（１）コンピュータ空間上に割り当てられた位置または領域の全部もしくは一部が境界面または境界線を通過すること、かつ、（２）生体同士の接触動作または非接触動作があること、を必要条件とする操作判定方法の実施の形態として、眼球運動について以下に説明する。

眼球に関する例として、Ｔｏｂｉｉ社製などのアイトラッキング技術センサを用いて、注視点がコンピュータに入力される場合において、表示画面の枠を境界線として設定してもよい。たとえば、本実施の形態は、（１）利用者が表示画面から目を離した状態で、（２）片目を閉じた場合に、操作判定を行ってもよい。

ここで、図１７〜図１９は、表示画面の枠に対応する線分を境界線として、（１）利用者の注視点が表示画面から外側に外れた状態で、（２）利用者の片目を閉じる接触動作があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。なお、目のマークは、表示画面に対する注視点の位置を現している。この例では、図１７に示すように、表示画面の枠を境界線としている。なお、注視点を示す目のマークは、表示画面に表示しても表示しなくてもいずれでもよい。図１８に示すように、利用者が、（１）画面から視線を離した状態で、（２）いわゆるウィンクと呼ばれる片目を閉じる接触動作を行った場合、端末の操作を行う意図がある動きであると判定する。この例では、図１９に示すように、利用者が注視点を表示画面に戻すことにより、メニュー表示操作を行える。

眼球に関する別の例として、ＪＩＮＳ社製ＭＥＭＥなどの眼電位センサを用いて、注視点がトラッキングされる場合において、利用者から主観的に見たときの外界可視領域と外界不可視領域（瞼の裏側など）の境界を境界線として設定してもよい。たとえば、本実施の形態は、（１）利用者が瞼を閉じた状態で、（２）所定の眼球ジェスチャー（例えば、目玉をぐるぐる回す）を行った場合に、操作判定を行ってもよい。

ここで、図２０〜図２２は、瞼と眼球の境を境界線として、（２）利用者の瞼を閉じる接触動作があった状態で、（１）瞼の内側で、所定の眼球運動があったことを必要条件として、操作判定を行った場合を時系列で模式的に示した図である。なお、瞼を閉じればカメラ等による眼球センシングは難しくなるが、ＪＩＮＳ社製ＭＥＭＥなどの眼電位センサを用いれば、利用者の瞼の開閉運動や、眼球運動を検出することが可能である。人間は活動時（非睡眠時）には、まばたきを瞬間的に行い、目を閉じている間に、眼球を動かすことが少ない。そのため、目を閉じた状態での眼球運動を、操作のトリガーとすることにより、意図しない操作を防ぐことができる。ここでは、図２１および図２２に示すように、利用者が、（２）目を閉じた状態で、（１）目玉を右回りにぐるぐる回転させた場合、端末の操作を行う意図がある動きであると判定する。端末を音楽プレーヤーとした場合の操作の一例として、目を閉じた状態で右回りにぐるぐる回転させた場合は、回転数に応じたボリュームアップ操作を判定し、目を閉じた状態で左回りにぐるぐる回転させた場合は、回転数に応じたボリュームダウンを判定してもよい。

上記のように、本実施の形態において、（１）利用者が識別可能な境界線や境界面を通過することと、（２）利用者の生体同士の接触動作または非接触動作があることを必要条件として操作判定を行う。なお、上記に列挙した例では、生体同士の接触動作は、２本の指の接触動作や瞼の接触動作を主に説明したが、これに限られず、少なくとも２本の指の先ないし腹をくっつける動作のほか、少なくとも２本の指同士を寄り添い触れ合わせる動作（はさみが開いたような形のチョキから、はさみが閉じた形のチョキへの動作等）、開いた手を閉じる動作（手を握る動作等）、親指を立てた状態から寝かせる動作、手または指を体の一部に接触させる動作、両手または両足を接触させる動作、開いた口を閉じる動作であってもよい。

また、上述した実施の形態では、非接触状態からの接触状態への接触動作を例として挙げたがこれに限られず、接触状態から非接触状態への非接触動作を判定してもよい。たとえば、生体同士の非接触動作とは、接触した少なくとも２本の指の先ないし腹を引き離す動作、側面で接触した２本の指を引き離す動作、閉じた手を開く動作、親指を寝かせた状態から立てる動作、体の一部に接触した手または指を離す動作、接触した両手または両足を引き離す動作、閉じた口を開く動作、または、閉じた瞼を開く動作等であってもよい。

ここで、上述したような条件（１）および（２）に加えて、誤動作を一層軽減するために、更なる必要条件（３）を追加してもよい。

たとえば、本実施の形態は、（３−１）割り当てられた位置または領域の全部もしくは一部がコンピュータ空間上の境界面または境界線を通過した側または境界内部あるいは境界を横断した状態で、接触動作または非接触動作が行われることを必要条件としてもよい。なお、境界面または境界線で分断される一方と他方のいずれを、操作可能な範囲（境界内部等）とするかは任意に設定してもよい。通常は、利用者の自然な動きでは近づきにくい方を操作可能な範囲（境界内部等）とする方が誤動作が少ない。また、本実施の形態は、（３−２）境界内側での接触動作または非接触動作が行われた後、当該境界の外側方向への生体の動きがあることを必要条件としてもよい。また、本実施の形態は、（３−３）割り当てられた位置または領域の全部もしくは一部がコンピュータ空間上の境界面または境界線を通過する際に、接触動作による接触状態または非接触動作による非接触状態が継続していることを必要条件としてもよい。また、本位実施の形態は、（３−３）割り当てられた位置または領域の全部もしくは一部がコンピュータ空間上の境界面または境界線を一方から他方へ通過する際は非接触状態であること、かつ、他方から一方へ再通過する際は接触状態であることを必要条件としてもよい。ここで、図２３〜図２５は、条件（３−３）を更に含む操作判定方法を模式的に示した図である。

図２３に示すように、本実施形態は、手指の生体状態（例えば、指スケルトン、指接触状態など）を認識する。そして、図２４に示すように、本実施形態は、薬指と小指の間に、条件（２）の境界線を設定する。図２３および図２４に示すように、利用者が親指を小指の方へ境界線を超えて移動したとき、条件（３−３）は、親指が他の指に接触していないことを、かつ、図２４および図２５に示すように、親指が小指から境界線を超えて人差し指に移動したとき、条件（３−３）は、親指が他の指と接触していることを要件とする。このように、境界を一方から他方へ通過する際は非接触状態であること、かつ、他方から一方へ再通過する際は接触状態であることを操作判定の必要条件とすることで、一層誤動作を減らすことができる。

以上で、本発明の本実施の形態の概要の説明を終える。上述した本実施の形態の概要をコンピュータにおいて実現する例について、より具体的に構成と処理例を以下に説明する。

［操作判定装置１００の構成］
まず、本実施の形態にかかるコンピュータの一例である操作判定装置１００の構成について説明する。なお、以下の説明では、マイクロソフト社製のＫＩＮＥＣＴセンサやインテル社製のＲｅａｌＳｅｎｓｅ３ＤカメラやＬｅａｐＭｏｔｉｏｎ社製のＬｅａｐセンサ等のモーションセンサ等を用いて、利用者の手や指等の動きと連動する第１の領域を画像（２次元画像、３次元画像、スケルトン等）として表示画面に映し出す例について主に説明するが、上述したように本発明は、利用者の手や指等の動きと連動する画像を表示することに限られず表示しなくともよい。たとえば、Ｍｅｔａ社製ＭｅｔａグラスやＧｏｏｇｌｅ社製ＧｏｏｇｌｅＧｌａｓｓでは、利用者は自己の実像を直接またはグラスを介して見ることができるので、利用者の手や指等の動きと連動する画像を表示させる必要がない。同様に以下の例では、境界線を代表する点（ポイント）を表示させることを前提として説明するが、現実空間上で利用者が認識可能な点や線や面（たとえば、表示画面の枠、メガネの枠、腕時計の環、身体の関節（肘、膝、指の関節など））があれば、必ずしも境界線や境界面やこれらを代表する点等を表示させることに限られず、表示させなくともよい。すなわち、利用者が現実空間で、自己の身体と境界（操作可能な範囲と操作不能な範囲との境界）との位置関係が認識可能であり、３Ｄカメラやモーションセンサ等を介して当該位置関係がコンピュータに判別可能であれば、表示する必要はなく、そのため表示手段を設ける必要はない。また、以下の実施の形態では、手や指の動きと指先の接触動作について主に説明するが、公知の注視点検出手段や公知の瞼開閉検出手段等を用いて、眼球の動きと瞼の接触動作について同様に適用することも可能である。たとえば、画面上に境界線として矩形を表示しておき、（１）利用者の注視点が矩形内部に入り（２）片目を閉じた場合に、当該矩形に対応する要素の操作と判定してもよい。

ここで、図２６は、本実施の形態が適用される操作判定装置１００の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。

図２６において操作判定装置１００は、概略的に、操作判定装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、生体認識装置１１２や表示装置１１４等に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。一例として、操作判定装置１００は、スマートフォン、タブレット、ノートブックパソコン等のコンピュータであってもよく、これらを頭に装着するヘッドマウントディスプレイ（ＨＭＤ）として構成してもよい。たとえば、Ｇｏｏｇｌｅ社製ＧｏｏｇｌｅＣａｒｄｂｏａｒｄ、ハコスコ、Ｓａｍｓｕｎｇ社製ＧｅａｒＶＲなどのように、スマートフォンやタブレットを頭に固定する部材を用いてもよい。３次元カメラを搭載したＨＭＤとして構成する場合、頭に装着できるよう部材（レンズ、ヘッドバンド等）を用いて、一例として、Ｉｎｔｅｌ社製ＲｅａｌＳｅｎｓｅ３Ｄカメラが搭載されたＤｅｌｌ社製Ｖｅｎｕｅ８タブレットを顔の前に固定させてもよい。なお、眼球の動きや注視点を検出可能なＨＭＤとして、ＦＯＶＥ社製ＦＯＶＥを用いてもよい。

記憶部１０６に格納される各種のデータベースやテーブル（要素ファイル１０６ａ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

これら記憶部１０６の各構成要素のうち、要素ファイル１０６ａは、データを記憶するデータ記憶手段である。要素ファイル１０６ａは、一例として、表示画面の表示要素として表示可能なデータを記憶する。例えば、要素ファイル１０６ａは、アイコンや、ゲームキャラクタ、文字、記号、図形、立体オブジェクト、仮想キーボードなどのオブジェクトのように、第２の領域となるデータを記憶してもよい。また、要素ファイル１０６ａは、クリック等の操作が行われた場合に、所定の動作（リンク先を表示、キー操作、メニュー表示、電源オン／オフ、チャンネル切り替え、ミュート、録画予約等）が行われるようにプログラム等に関連付けられてもよい。なお、これら表示要素となるデータのデータ形式は、画像データや、文字データ等に限られず、任意のデータ形式であってもよい。また、後述する制御部１０２の処理により、操作判定が行われた結果は、要素ファイル１０６ａに反映されてもよい。例えば、要素ファイル１０６ａの仮想キーボードの表面（境界面）を（１）超えて（２）つまむ動作があった場合は、当該仮想キーボードのキー位置に対応する文字や記号や数字を、要素ファイル１０６ａに格納して文字列等を形成させてもよい。また、操作対象のオブジェクトＡ（または、その要素画像）が、操作判定された場合、要素ファイル１０６ａは、制御部１０２の制御により、オブジェクトＡの関連データを０（例えば機能オフモード）から１（例えば機能オンモード）に変更させて保存してもよい。一例として、要素ファイル１０６ａは、ｈｔｍｌ言語等のウェブページを表示させるためのデータを記憶してもよく、このデータのうち、操作可能な要素とは、例えば、ウェブページにおけるリンク表示部分である。通常、ｈｔｍｌ言語のデータ上では、開始タグと終了タグの間にはさまれたテキスト部分や画像部分等であって、この部分は、表示画面上において選択可能（クリック操作可能）な領域として強調表示（例えば下線付与）される。本実施の形態の一例として、ＧＵＩボタン表面を境界面として設定してもよく、リンクの下線を境界線として設定してもよい。また、クリック操作可能な境界線や境界面の代わりに、これらを代表する点等の要素画像（ポイント等）を表示させてもよい。例えば、通常のＧＵＩにおいて選択可能な領域が、表示画面上の矩形で、左下座標（Ｘ１，Ｙ１）〜右上座標（Ｘ２，Ｙ２）の領域である場合に、後述する境界設定部１０２ａは、境界線を代表する点（ポイント）の初期位置を、当該矩形領域の中心点（（Ｘ１＋Ｘ２）／２，（Ｙ１＋Ｙ２）／２）に設定してもよく、当該矩形領域の右上の点（Ｘ２，Ｙ２）に設定してもよい。他の例として、境界設定部１０２ａは、境界線を、（Ｘ１，Ｙ１）から（Ｘ２，Ｙ１）への線分（リンク表示部分の下線等）として設定してもよい。

また、図２６において、入出力制御インターフェース部１０８は、モーションセンサや３Ｄカメラ、眼電位センサ等の生体認識装置１１２や、表示装置１１４の制御を行う。例えば、表示装置１１４は、液晶パネルや有機ＥＬパネル等の表示手段である。ここで、操作判定装置１００は、図示しないスピーカ等の音声出力手段を備えてもよく、入出力制御インターフェース部１０８は、当該音声出力手段の制御を行ってもよい。以下の実施の形態においては、表示装置１１４をモニタ（家庭用テレビ等を含む）として説明する場合があるが、本発明はこれに限定されるものではない。

また、生体認識装置１１２は、２Ｄカメラ等の撮像手段、モーションセンサや３Ｄカメラ、眼電位センサ等の生体の状態を検出する生体認識手段である。例えば、生体認識装置１１２は、ＣＭＯＳセンサやＣＣＤセンサ等の検出手段であってもよい。なお、生体認識装置１１２は、所定の周波数の光（赤外線）を検出する光検出手段であってもよい。生体認識装置１１２として赤外線カメラを用いると、画像において人物の領域（発熱領域）が判定しやすくなり、人物の温度分布等によって例えば手の領域のみを判定することも可能になる。このほか、生体認識装置１１２としては、超音波や電磁波式の距離測定器（奥行きの検出手段等）や、近接センサ等を用いることができ、例えば、奥行きの検出手段と撮像手段とを組み合わせて、所定の距離（奥行き）にいる物体の画像（例えば人物の像）のみを判定してもよい。また、生体認識装置１１２としては、ｋｉｎｅｃｔ（商標）等の公知のセンサや領域判定技術や制御手段を用いてもよい。また、生体認識装置１１２は、人物の生体情報（肌の色や、熱、赤外線等）を読み取ることに限られず、撮像手段の代わりに人物の動きを検出する位置検出手段として、利用者が手に持ったり腕等に装着したりした光源等の位置を検出してもよい。生体認識装置１１２は、公知のオブジェクトトラッキングや画像認識技術を用いて、瞼や口や掌が閉じているか開いているか等の接触／非接触の生体状態を検出してもよい。また、生体認識装置１１２は、２次元像を撮像することに限られず、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式や赤外パターン方式等により奥行きの情報を得て、３次元像を取得してもよい。

このほか撮像手段に限られず、任意の検出手段によって、人物の動き、特に、人物の手の動きや、人物の指の動きを認識してもよい。その際、公知の非接触操作技術や、公知の画像認識技術を用いて手の動きを検出してもよい。例えば、かざした手の上下左右の動きやジェスチャーを認識してもよい。ジェスチャーは、物理空間における利用者の位置および動きから得ることができ、指を動かす、または静止姿勢というような、動的または静的な、任意の利用者の動きを含むことができる。一実施形態例によれば、生体認識装置１１２のカメラのようなキャプチャー・デバイスが、ユーザー画像データを取り込むことができ、このユーザー画像データは、利用者のジェスチャー（１つまたは複数）を表すデータを含む。利用者の三次元物理空間において利用者によって行われたジェスチャーを認識および分析して、利用者のジェスチャーを解釈してシステムまたはアプリケーション空間の態様を制御するために、コンピューター環境を使用することができる。このコンピューター環境は、利用者のジェスチャー（１つまたは複数）を画面上のアバター等にマッピングすることによって、ユーザー・フィードバックを表示することができる（ＷＯ２０１１／０８４２４５参照）。一例として、手や指の動きを認識する公知の手段として、リープ・モーション・コントローラ（ＬＥＡＰ ＭＯＴＩＯＮ社製）や、非接触で操作可能な手段として、Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標）（マイクロソフト社製）とＷｉｎｄｏｗｓ（登録商標） ＯＳの組合せを用いてもよい。なお、マイクロソフト社製Ｘｂｏｘ ＯｎｅのＫｉｎｅｃｔセンサによれば、手や指のスケルトン情報を得ることができ、また、ＬｅａｐＭｏｔｉｏｎセンサを用いれば、指の一本一本の動きを追跡することができる。その際、各センサに内臓された制御手段を用いて、手や指の動きが解析されるか、接続されたコンピュータの制御手段を用いて、手や指の動きが解析されるが、これら制御手段は、本実施の形態の機能概念的な検出手段と考えてもよく、本実施の形態の機能概念的な制御手段（例えば操作判定部１０２ｄ）と考えてもよく、いずれか又は両方であってもよい。

ここで、検出手段と表示手段の位置関係や人物の手や指の像などの表示との関係について説明する。説明のため、表示画面の平面の横軸と縦軸をＸ軸とＹ軸とし、表示画面に対する奥行き方向をＺ軸と呼ぶことにする。通常、利用者は、表示画面に対して、Ｚ軸の方向に離れて位置している。検出手段は、表示画面側に設置して、人物の方向に向けられてもよく、人物の背後に設置して表示画面側に向けられてもよく、また、人物がかざす手の下側（地面側）に設置して人物の手の方向（天井側）に向けてられてもよい。上述のように、検出手段は、２次元の人物の像を読み取る撮像手段に限られす、３次元の人物を検出してもよい。すなわち、検出手段は、人物の３次元形状を読み取り、後述する割り当て部１０２ｃは、検出手段により読み取られた３次元形状を、２次元画像に置き換えて表示装置１１４に表示してもよい。その際、割り当て部１０２ｃは、ＸＹ平面の２次元画像に置き換えてもよいが、厳密に、このＸＹ平面で切り出さなくともよい。例えば、表示画面側からＺ軸方向に人物の指の像を見た場合には、二本の指（親指と人差し指など）がくっついているように見える場合でも、３次元的にはくっついていない場合がある。このように、Ｚ軸方向からの見え方（影のでき方）と、利用者にとっての指の感覚とは、ズレが生じている場合があるので、厳密に、割り当て部１０２ｃは、ＸＹ平面に投影することに限られない。例えば、割り当て部１０２ｃは、人物の手の三次元形状を、二本の指の離間方向に切断して２次元画像を取得してもよい。あるいは、割り当て部１０２ｃは、ＸＹ平面に投影するものの、操作判定部１０２ｄは、検出手段により読み取られた三次元形状から、二本の指がくっついているか離れているかを判定して、利用者の感覚と一致するように制御してもよい。なお、後述する操作判定部１０２ｄは、利用者の触感と一致させるために、Ｚ軸方向からの見え方（影のでき方）では指がくっついて見える状態であっても、３次元的には離れている場合は、非接触状態と判定することが望ましい。なお、撮像手段により接触／非接触の状態を検出することに限られず、生体電流や生体の静電気等の電気的特性などを読み取ることにより接触／非接触状態を検出してもよい。

また、図２６において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、境界設定部１０２ａ、位置変更部１０２ｂ、割り当て部１０２ｃ、および、操作判定部１０２ｄを備えて構成されている。

このうち、境界設定部１０２ａは、利用者が境界線や境界面を超えたか否かや、境界線を代表す点や境界面を代表する線分を、生体の閉環内に収めることができたか否か等を認識できるように、操作可能な境界を設定する境界設定手段である。本実施の形態において、一例として、境界設定部１０２ａは、要素ファイル１０２ａに記憶された要素データに基づいて、境界線や境界面等が認識可能となるよう表示装置１１４の表示制御を行う。たとえば、境界設定部１０２ａは、リンク表示部分の下線を境界と設定してもよく、リンク表示部分に対応付けて境界線を代表する点等の要素画像（以下、「ポイント」と呼ぶ場合がある。）が表示されるように制御する。なお、境界設定部１０２ａは、当初、ポイントを非表示としておき、所定の場合（表示画面上で、像または表示体が表示要素上に重畳した場合等）に表示してもよい。ここで、境界設定部１０２ａは、図２６に示すように、本実施形態において、操作性を向上させるために、位置変更部１０２ｂを備えてもよい。位置変更部１０２ｂの第２の排他的移動制御により第２の領域が移動した場合は、それに応じて境界設定部１０２ａが当初設定した境界位置を変更してもよい。なお、要素データは、要素ファイル１０６ａを制御することにより読み込むことに限られず、ネットワーク３００を介して、外部システム２００の記憶部（要素データベース等）からダウンロードすることにより取り入れてもよく、また、図示しない受信装置を介して、放送電波等を受信することにより取得してもよい。なお、要素に対応付けたポイントの初期表示位置は任意の位置でよいが、要素との対応関係が分かるように表示した要素の中心（要素としての図形の中心）や要素の右上（要素としての文字列の右上隅）等に、赤点等をポイントとして表示させてもよい。また、境界設定部１０２ａは、Ｉｎｔｅｌ社製ゲームＨｏｐｌｉｔｅｓのように手の輪郭で操作できるキャラクタ領域を、境界となる第２の領域として設定してもよい。

また、位置変更部１０２ｂは、第１の排他的移動制御や第２の排他的移動制御等の処理を行う変更手段である。たとえば、位置変更部１０２ｂは、割り当て部１０２ｃにより表示される第１の画像（像または表示体等の第１の領域を示す画像）から排除されるように、第２の画像（選択可能な表示要素または要素画像等の第２の領域を示す画像）の表示位置を変更させる第２の排他的移動制御を行ってもよい。例えば、割り当て部１０２ｃの制御により、第１の画像（像または表示体）が近づいてきて、第２の画像（表示要素やポイント等）と輪郭同士が接触すると、第１の画像が向きを変えて遠ざからない限り、位置変更部１０２ｂの制御により、第２の画像は第１の画像の輪郭に接しながらつられて移動する。本実施の形態の一例として位置変更部１０２ｂは、割り当て部１０２ｃにより表示された表示画面上の像または表示体が、表示要素またはポイントの位置を排他的に移動させるように制御する。なお、位置変更部１０２ｂは、第２の画像（表示要素や代表点等のポイントや境界線等）が移動する方向や範囲等を限定してもよい。また、位置変更部１０２ｂは、生体認識装置１１２等により接触動作が検出されない場合は、移動制御ができないようにしてもよい。また、位置変更部１０２ｂは、第１の画像（像や表示体等）から第２の画像（表示要素やポイント等）が排除されるように移動させる制御を優先的に行うとともに、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。すなわち、位置変更部１０２ｂは、優先条件として、像または表示体から表示要素またはポイントを排除するように制御し、劣後条件として、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。例えば、位置変更部１０２ｂは、表示要素（またはポイント）が像（または表示体）に接触していない場合、当該表示要素（またはポイント）を、移動前の元の表示位置に戻るように移動させてもよい。他の例として、表示要素（またはポイント）に重力がはたらいているような感覚を利用者に引き起こすように、位置変更部１０２ｂは、表示要素（またはポイント）が像（または表示体）に近接していない場合、画面下方向に移動させてもよい。ここで、以下の説明の便宜上、表示要素およびポイントを代表して表示要素またはポイントについて説明し、像および表示体を代表して像または表示体について説明する場合があるが、表示要素およびポイントの一方に限定されるものではなく、また、像および表示体の一方に限定されるものではない。例えば、表示要素と記載されている箇所をポイントと読み替えて適用してもよく、像と記載されている箇所を表示体と読み替えて適用してもよいものである。反対に、ポイントと記載されている箇所を表示要素と読み替えて適用してもよく、表示体と記載されている箇所を像と読み替えて適用してもよいものである。

また、位置変更部１０２ｂは、第１の領域が第２の領域に近づいたり接触したりした場合等に、第１の領域の全部又は一部が、第２の領域を通過しにくくなるように、生体に連動した第１の領域の動きを変化させる第１の排他的移動制御を行ってもよい。例えば、位置変更部１０２ｂは、第１の領域が第２の領域に近づいたり接触したりした場合等に、第１の領域が第２の領域を通過しにくくなるように、生体に連動する第１の領域の動きが鈍るように、タイムラグを発生させたり、速度を落としたり、生体の動きに対して連動した第１の領域の動き幅を小さくしてもよい。より具体的には、位置変更部１０２ｂは、生体の動きに連動する第１の領域が、第２の領域と接触した場合、接触した状態で第１の領域の移動を所定時間、停止させてもよい。なお、位置変更部１０２ｂの第１の排他的移動制御による第１の領域の移動量の変化にかかわらず、領域割当部１０２ｃによる第１の領域自体の形状変化は可能である。すなわち、第１の領域の移動が停止中であっても、３次元コンピュータ空間上で、第２の領域（線分など）に第１の領域（３次元手領域など）を接触させながら、第１の領域の形状変化させて、感覚的に容易に線分を手でつかむことができる。

ここで、位置変更部１０２ｂは、第１の排他的移動制御とともに、第２の排他的移動制御を行ってもよい。すなわち、位置変更部１０２ｂは、第１の領域の動きを変化させる第１の移動制御を行いながら、第２の排他的移動制御を行わせて、第１の領域の動きと第２の領域の動きを相互に作用させてもよい。その際、第１の排他的移動制御と第２の排他的移動移動制御を行う割合、すなわち、第１の排他的移動制御において、生体の動きに反して第１の領域を相対的に動かす移動量と、第２の排他的移動制御において第２の領域を第１の領域から逃れるように移動させる移動量の割合は、任意に設定してもよい。位置変更部１０２ｂによる第１の排他的移動制御も第２の排他的移動制御も同様に、生体に連動した第１の領域が第２の領域をすりぬけることを防止し、操作性の向上に寄与する。

ここで、表示要素が像から排他的に運動する態様としては種々の形態がある。例えば、位置変更部１０２ｂは、表示要素の代表点（中心点、重心等）が、像の輪郭から排除されるように移動させてもよい。また、位置変更部１０２ｂは、表示要素の輪郭が、像の輪郭から排除されるように移動させてもよい。また、表示要素変更部１０２ｂは、表示要素の輪郭が、像の代表線（中心線等）や像の代表点（重心、中心点等）から排除されるように移動させてもよい。表示要素と像が接触状態において排除運動を制御することに限られず、磁石のＳ極同士が反発するように非接触状態で、表示要素変更部１０２ｂは、表示要素が、像から遠ざかるように移動させてもよい。すなわち、第１の排他的移動制御あるいは第２の排他的移動制御としては、第１の領域と第２の領域とが、表面で接しながら移動させる場合と、ある程度重なりながら移動させる場合と、（磁石のＳ極同士のように）領域同士が離れてある程度距離を保ちながら移動させる場合があるが、位置変更部１０２ｂは、いずれの排他的移動制御を行ってもよい。

また、表示要素が像から排他的に運動する例外として、表示要素が像を横断するように移動させてもよい。例えば、位置変更部１０２ｂは、表示要素の代表点が、像の輪郭の変曲点付近にない場合は、像を横断して通り抜けるように移動させてもよい。より具体的には、表示要素と元の位置との間には、張力がはたらいているかのような移動制御を行っている場合において、表示要素が指と指の間や指の股に入り込んでいない場合は、所定以上の張力となると、手の像を横断するように表示要素を移動させて、元の位置に戻してもよい。また、位置変更部１０２ｂは、表示要素の代表点が、像の輪郭線のローカルミニマムに陥った場合には、曲線の接点や変曲点に位置する場合を除いて、当該像（手の領域等）を横断可能に制御してもよい。また、位置変更部１０２ｂは、第１の排他的移動制御から復元して、通常の生体に連動させた第１の領域の動きに戻す場合に、第２の領域を通過させてもよい。

また、割り当て部１０２ｃは、生体認識装置１１２を介して撮像した人物の２次元ないし３次元の像（または、当該人物の動きに連動する表示体）をコンピュータ空間上に割り当てる割り当て手段である。本実施の形態において、割り当て部１０２ｃは、割り当てた人物の２次元像ないし３次元像を、第１の画像として、表示装置１１４に表示させてもよい。なお、割り当て部１０２ｃは、生体認識装置１１２を介して検出された身体の動きに応じた連続的な位置や領域の変化は、コンピュータ空間上に反映され、利用者の動きに連動する。ここで、コンピュータ空間は、１次元としてもよく２次元としてもよく３次元としてもよい。また、コンピュータ空間を３次元とした場合であっても、この３次元座標上に人物の２次元像や境界線や境界面、境界線を代表する点や境界面を代表する線分を割り当ててもよい。なお、境界線や境界面はコンピュータ空間上にあらかじめ固定で設定されていることに限られず、例えば、割り当て部１０２ｃは、生体認識装置１１２を介して、人物とともに撮像した、境界線や境界面の基準となるもの（利用者の骨格の関節や利用者が見につけているメガネや腕時計、利用者が見ている表示画面の表示枠等）を、人物の像とともに取り込んで、コンピュータ空間上に、人物の像と境界線ないし境界面を割り当ててもよい。たとえば、割り当て部１０２ｃは、検出した利用者の身体を基準にして境界線や境界面を設定してもよく、一例として、右手で操作する場合には、背骨の体軸に境界線または境界面を設定してもよく、腕時計の輪を基準に境界面を設定してもよく、メガネの縁を基準に境界線を設定してもよい。

ここで、割り当て部１０２ｃは、利用者からみて画面が鏡であるかのように、鏡像を画面上に表示してもよい。例えば、割り当て部１０２ｃは、表示装置１１４の表示画面から人物に向けた生体認識装置１１２を介して撮像した人物の像を、左右反転させて表示画面に表示させてもよい。なお、生体認識装置１１２が人物の後ろから表示装置１１４の表示画面に向けて設置している場合は、像を左右反転させる必要はない。このように、割り当て部１０２ｃが鏡のように像を表示させることによって、利用者（人物）は、鏡に映し出された自分の像の位置を変えるように、自己の像を操作しやすくなる。すなわち、利用者は、自己の影絵を動かすように、表示画面上の像（または人物の動きに連動する表示体）を制御することができ、操作性向上に寄与する。なお、割り当て部１０２ｃは、人物の像
の輪郭線のみを表示させてもよく、表示体の輪郭線のみを表示させてもよい。すなわち、人物の像の領域を塗りつぶさないので、輪郭の内側を透明にして、内側の表示要素をも表示させることができ、視認性に優れるという効果を奏する。このように、表示装置１１４に表示される像または表示体は、鏡に映るように表示されてもよい。

ここで、割り当て部１０２ｃは、生体認識装置１１２を介して撮像した人物の腕、手もしくは指の像を、表示装置１１２の表示画面に表示させてもよい。ここで、割り当て部１０２ｃは、撮像した人物の像のうちの、腕や手や指等の領域を、赤外線領域や肌の色等により判別して、当該腕や手や指等の領域のみを切り出して表示させてもよい。このほか、割り当て部１０２ｃは、腕や手や指等の領域を、公知の領域判定手法を用いて判定してもよい。

また、割り当て部１０２ｃは、人物の腕、手もしくは指の動きに連動する表示体（工具等の絵やポリゴン等）を、画面上に表示させてもよい。ここで、割り当て部１０２ｃは、上記のごとく判定した腕や手や指等の領域の位置に対応付けて、表示体を表示させてもよく、別の手法で腕や手や指の位置を検出して、当該位置に対応付けて表示体を表示させてもよい。後者の例として、割り当て部１０２ｃは、腕に装着した光源の位置を、撮像装置１１４を介して検出して当該検出された位置に連動させて表示体を表示させてもよい。また、割り当て部１０２ｃは、利用者が手に持った光源の位置を検出して、当該検出された位置に連動させて表示体を表示させてもよい。ここで、割り当て部１０２ｃは、表示体の種類（表示体として表示するツールであって、はさみや千枚通しやステープラーやハンマー等の工具を模した絵やポリゴン等の種類）を、利用者により図示しない入力部や手の像をつかって選択させてもよい。これにより、利用者は、自己の像をつかって操作しにくい場合にも、操作しやすいツールを選択して、要素選択に用いることができる。また、例えば、割り当て部１０２ｃは、手の５本の指先（第一関節より先）の位置に連動させて、それぞれ５つの表示体（例えば、丸い円や球体などの第２の領域）を表示させてもよい。ここで、本実施の形態において、割り当て部１０２ｃが表示するとした記載を、非表示と読み替えて実施してもよく、割り当て部１０２ｃが非表示とするとした記載を、表示と読み替えて実施してもよいものである。

また、操作判定部１０２ｄは、第１の領域と第２の領域が所定の関係になった場合に、操作判定を行う操作判定手段である。一例として、操作判定部１０２ｄは、（１）割り当て部１０２ｃにより割り当てられた人物の領域の全部または一部が境界面や境界線などの閾を超えて操作可能な範囲に入っていること、（２）生体認識装置１１２等により、人物の生体同士の接触動作ないし非接触動作があること、を必要条件として、操作判定を行ってもよい。操作判定部１０２ｄは、これら（１）および（２）の条件を組み合わされた場合にのみ、操作意図のある動作であると判定し、操作を実行する。（２）の接触動作の判定として、操作判定部１０２ｄは、第１の画像に接触して移動された第２の画像（要素画像やポイント等）について、第１の画像が所定のアクション（例えば、開いていた手を閉じることや、非接触状態だった２本の指を接触させるなど）を行った場合に、当該要素の選択を判定してもよい。例えば、操作判定部１０２ｄは、検出手段によって読み取られた人物の手の３次元形状の変化に基づいて、掌を開いているか閉じているかを判定してもよく、親指と人差し指の二本の指が離れているかくっついているかを判定してもよい。そして、操作判定部１０２ｄは、所定のアクションを判定した場合に、条件（２）を満たすと判定してもよい。

ここで、操作判定部１０２ｄは、上述したような条件（１）および（２）に加えて、誤動作を一層軽減するために、更なる必要条件（３）を追加してもよい。たとえば、操作判定部１０２ｄは、（３−１）割り当てられた位置または領域の全部もしくは一部がコンピュータ空間上の境界面または境界線を通過した側または境界内部あるいは境界を横断した状態で、接触動作または非接触動作が行われることを必要条件としてもよい。なお、境界面または境界線で分断される一方と他方のいずれを、操作可能な範囲（境界内部等）とするかは任意に設定できる。通常は、利用者の自然な動きでは近づきにくい方を操作対象の範囲（境界内部等）とする方が誤動作が少ない。また、操作判定部１０２ｄは、（３−２）境界内側での接触動作または非接触動作が行われた後、当該境界の外側方向への生体の動きがあることを必要条件としてもよい。また、操作判定部１０２ｄは、（３−３）割り当てられた位置または領域の全部もしくは一部がコンピュータ空間上の境界面または境界線を通過する際に、接触動作による接触状態または非接触動作による非接触状態が継続していることを必要条件としてもよい。また、操作判定部１０２ｄは、（３−３）割り当てられた位置または領域の全部もしくは一部がコンピュータ空間上の境界面または境界線を一方から他方へ通過する際は非接触状態であること、かつ、他方から一方へ再通過する際は接触状態であることを必要条件としてもよい。

本実施の形態において、一例として、操作判定部１０２ｄは、上記（１）および（２）が満たされた状態で、境界設定部１０２ａの位置変更部１０２ｂにより移動された第２の画像の状態（移動度または移動位置などの移動状態やアクション等）に基づいて、当該要素の選択操作の契機を判定してもよい。例えば、操作判定部１０２ｄは、表示要素（またはポイント）が所定の位置に到達した場合や、所定の位置にとどまった場合に、当該表示要素の選択を判定してもよい。また、一例として、移動度は、移動した距離、または、元の位置を離れてからの経過時間であってもよい。例えば、操作判定部１０２ｄは、表示要素（またはポイント）が所定の距離移動した場合に、当該要素の選択を判定してもよい。また、操作判定部１０２ｄは、表示要素（またはポイント）が元の表示位置から移動して所定の時間経過した場合に、当該要素の選択を判定してもよい。より具体的には、位置変更部１０２ｂにより劣後条件として元の位置に戻るように表示要素（またはポイント）が移動制御される場合に、操作判定部１０２ｄは、表示要素（またはポイント）が元の表示位置から移動して所定の時間経過した場合に、当該要素の選択を判定してもよい。なお、ポイントが移動の対象である場合は、操作判定部１０２ｄは、当該ポイントに対応付けられた要素の選択を判定する。

ここで、選択の決定とは、例えば、マウス操作におけるクリックや、キーボード操作におけるＥＮＴＥＲキーの押下や、タッチパネル操作における対象のタッチ操作等に相当する操作である。一例として、第２の画像に対応する選択可能な要素がリンク先であった場合、操作判定部１０２ｄは、要素の選択を決定すると、当該リンク先に表示が遷移するように制御する。このほか、操作判定部１０２ｄは、上述したＫｉｎｅｃｔセンサやＬｅａｐＭｏｔｉｏｎセンサから読み取られた人物の動きを認識するために用いられているような、公知のアクション認識手段や、公知のモーション認識機能等を用いて、利用者のアクションを判定してもよい。

また、図２６において、通信制御インターフェース部１０４は、操作判定装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御や、要素選択装置１００と図示しない受信装置との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。また、ここで、受信装置は、放送局等から電波等を受信する受信手段であり、例えばアンテナ等である。

すなわち、操作判定装置１００は、画像データに関する外部データベースや本発明にかかるプログラム等の外部プログラム等を提供する外部システム２００と、ネットワーク３００を介して通信可能に接続して構成されていてもよく、また、操作判定装置１００は、画像データ等を発信する放送局等と、受信装置を介して受信可能に接続して構成されていてもよい。また、この操作判定装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。

ここで、図２６において、ネットワーク３００は、操作判定装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。

また、図２６において、外部システム２００は、ネットワーク３００を介して、操作判定装置１００と相互に接続され、利用者に対して画像データに関する外部データベースやプログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。

ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

［処理例］
次に、このように構成された本実施の形態における操作判定装置１００の表示情報処理の一例について、以下に図２７を参照して詳細に説明する。図２７は、本実施の形態における操作判定装置１００の表示情報処理の一例を示すフローチャートである。

なお、以下の処理を始めるにあたって、ここでは、表示装置１１４には、境界設定部１０２ａの制御により、何らかの表示要素が表示されているかことを前提としている。ここで、図２８は、境界設定部１０２ａ等の制御部１０２の制御による表示された表示画面を含む表示装置１１４の外観の一例を示す図である。図２８に示すように、操作判定装置１００は、矩形で示す領域の表示画面を有する表示装置１１４を備えている。そして、図２８に示すように、この例では、境界設定部１０２ａは、表示画面上に、リンク表示が選択可能な要素に対応付けて、リンク可能な文字列の左上に、境界線の代表点として黒丸のポイントを表示させている。すなわち、ポイントＰ１は、ＵＲＬ１のリンク（ｗｗｗ．ａａａ．ｂｂｂ．ｃｃｃ／）に対応付けられており、ポイントＰ２は、ＵＲＬ２のリンク（ｗｗｗ．ｄｄｄ．ｅｅｅ．ｆｆｆ／）に対応付けられており、ポイントＰ３は、ＵＲＬ３のリンク（ｗｗｗ．ｇｇｇ．ｈｈｈ．ｉｉｉ／）に対応付けられている。そして、一般的なウェブサイトと同様に、これらの要素を選択することによって、リンク先が表示されるようにプログラムされている。なお、ポイントは、第１の排他的移動制御を行う場合は、移動可能に制御しなくてもよいが、本処理の説明においては、ポイントの排他的移動制御（第２の排他的移動制御）を行う例について例示する。

図２７に示すように、まず、割り当て部１０２ｃは、生体認識装置１１２を介して撮像した人物の像などの第１の領域を、コンピュータ空間上に割り当て、表示装置１１４の画面上に第１の画像として表示させる（ステップＳＡ−１）。ここでは、説明の容易のために、コンピュータ空間は平面として扱い、人物の像やポイントも、この平面のコンピュータ空間内を移動するものとして説明するが、これに限られず、コンピュータ空間は３次元として、人物の３次元ポリゴンやスケルトンを割り当て、３次元座標上に設定された境界線や境界面等との通過／横断、境界面を代表する線分に対する開環／閉環等を判定してもよい。なお、透過型ヘッドマウントディスプレイ（スマートグラス等）のようにＡＲに適用とする場合、自分の手指等が実像として見えるので、コンピュータ空間上で第１の領域を扱えれば、第１の領域に対応する第１の画像を表示させる必要はない。ここで、割り当て部１０２ｃは、利用者からみて鏡に自己の像が写るように、表示装置１１４に像を表示させてもよい。ここで、図２９は、図２８の初期画面において、利用者の像が重畳表示さ
れて表示画面の一例を示す図である。

図２９に示すように、割り当て部１０２ｃは、生体認識装置１１２を介して撮像した人物の像から、腕、手もしくは指の像のみを、表示装置１１２の表示画面に表示させてもよい。例えば、割り当て部１０２ｃは、撮像した人物の像のうちの、腕や手や指等の領域を、赤外線領域や肌の色等の公知の領域判定手法により判別して、当該腕や手や指等の領域のみを切り出して表示させてもよい。また、割り当て部１０２ｃは、人物の像の輪郭線のみを表示させて、像の輪郭線の内側を透明化してもよい。これにより、人物の像の領域が塗りつぶされず、輪郭内側の表示要素が表示されるので、操作性の向上および視認性の向上に寄与する。また、割り当て部１０２ｃは、手指のスケルトンをコンピュータ空間上に割り当て、５本の指の指先または第１関節に対応する位置に、５つの第１の領域（円形や球形など）を割り当ててもよい。そして、後述する位置変更部１０２ｂは、それぞれの指に対応する５つの第１の領域について、第１の排他的移動制御および／または第２の排他的移動制御を実行してもよいものである。

再び図２７に戻り、位置変更部１０２ｂは、割り当て部１０２ｃにより表示された像から排除されるように、選択可能な要素に対応付けられたポイントの表示位置を変更させる（ステップＳＡ−２）。なお、位置変更部１０２ｂは、割り当て部１０２ｃにより指の接触動作があったときにのみ、ポイントの移動制御を行ってもよい。この場合、ポイント（境界線を代表する点）を移動させることができれば（１）および（２）の必要条件を満たすことになる。また、位置変更部１０２ｂは、割り当て部１０２ｃにより指の接触動作がない場合には、所定の距離だけポイントの移動制御を行うが、接触動作がないまま所定の距離を超えると元の位置にポイントを戻してもよい。なお、この場合でも、ポイントをつまんで動かせれば、ポイントを含む任意の境界線を超えているので条件（１）を満たしているので、後述する操作判定部１０２ｄは、（２）接触動作があれば操作を判定してもよい。図３０は、位置変更部１０２ｂにより表示位置が移動されたポイントＰ２の一例を示す表示画面例である。図において、破線の丸は、ポイントＰ２の元の表示位置を表示しており、破線の直線は、元の表示位置と移動された表示位置の間の距離ｄを表している。なお、破線は、表示画面に表示されなくともよい。

図３０に示すように、ポイントが像から排他的に運動するように、位置変更部１０２ｂは、ポイントが、像の輪郭から排除されるように移動させてもよい。なお、図示の例は、ポイントの輪郭が像の輪郭から排除されるように移動制御される例であるが、これに限られず、位置変更部１０２ｂは、ポイントの輪郭が像の代表線（中心線等）から排除されるように移動制御してもよく、表示要素が非接触状態で像から遠ざかるように移動させてもよい。また、このような第２の排他的移動制御を行うことに限られず、位置変更部１０２ｂは、第１の排他的移動制御をおこなってもよい。

なお、位置変更部１０２ｂは、像または表示体から表示要素またはポイントが排除されるように移動させる制御を優先的に行うとともに、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。例えば、位置変更部１０２ｂは、ポイントが像に接触していない場合、当該ポイントを、移動前の元の表示位置に戻るように移動させてもよい。

再び図２７に戻り、操作判定部１０２ｄは、操作判定のための所定の条件を満たすか否かを判定する（ステップＳＡ−３）。例えば、操作判定部１０２ｄは、（１）利用者の像または表示体の領域の全部もしくは一部が境界線を通過すること、かつ、（２）生体同士の接触動作があるか否かを判定する（ステップＳＡ−３）。なお、この例では、これら（１）および（２）の条件に加えて、条件（３）として、位置変更部１０２ｂによりポイントが所定の移動があったことを契機に、当該ポイントに対応する要素の選択操作を判定し
ている（ステップＳＡ−３）。例えば、操作判定部１０２ｄは、ポイントＰ２が所定の位置に到達した場合や、元の位置からの移動距離ｄが所定閾値以上の場合や、元の位置から移動を開始してから一定の時間が経過した場合などのように、所定の移動度となった場合（所定の閾値以上の移動度となった場合等）に、当該ポイントＰ２に対応する要素の選択（ＵＲＬ２のリンク表示選択）を判定してもよい。

操作判定部１０２ｄにより所定の条件を満たさないと判定された場合（ステップＳＡ−３，Ｎｏ）、操作判定装置１００は、ステップＳＡ−１に処理を戻し、上述した処理が繰り返されるよう制御する。すなわち、割り当て部１０２ｃによる像の表示の更新（ステップＳＡ−１）と、それに続く位置変更部１０２ｂによる表示位置の移動制御（ステップＳＡ−２）とを行い、再び、操作判定部１０２ｄは、移動度の判定を行う（ステップＳＡ−３）。

操作判定部１０２ｄは、所定の条件を満たすと判定した場合（ステップＳＡ−３，Ｙｅｓ）、当該ポイントに対応する要素の選択操作を決定し（ステップＳＡ−４）、操作判定装置１００の制御部１０２は、選択された操作処理（クリックやスクロール等）を実行する。例えば、図３０の例で、操作判定部１０２ｄは、条件（１）および（２）に加え、条件（３）として、ポイントＰ２の元の位置と移動した表示位置との距離ｄが、所定の閾値以上である場合に、当該ポイントＰ２に対応づけられた要素（ＵＲＬ２のリンク）の選択を決定し、操作判定装置１００は、選択された操作としてＵＲＬ２のリンク表示を行ってもよい。

以上が本実施形態における操作判定装置１００の処理の一例である。なお、本実施の形態においては、操作ポイントを１点としたが、１点ではなく２点にしてもよい。これにより、棒の向きや立体の向きを左右の手で変化させたり、マルチタッチ操作における拡大縮小等の操作が可能になる。

［第１の排他的移動制御の処理例］
また、上述の処理例では、第２の排他的移動制御を行う例について説明したが、第１の排他的移動制御を行ってもよいものである。ここで、図３１〜図３４は、第１の排他的移動制御を伴う第１の領域と第２の領域の遷移を模式的に示した遷移図である。ここで、図中の六角形は、第２の領域を示し、図中の円形は、各指に先対応する第１の領域を示す。また、円の中の番号１，２，３，４，５は、それぞれ、第１指（親指）、第２指（人差し指）、第３指（中指）、第４指（薬指）、第５指（小指）を示している。

図３１および図３２に示すように、利用者が、ボタン等の第２の領域に対して、開いた手を閉じようとした場合、割り当て部１０２ｃは、各指先に対応する５つの第１の領域１〜５を、生体認識装置１１２により認識された指先の動きに応じて、コンピュータ空間上で移動させる。

そして、図３２〜図３３に示すように、利用者が、ボタンを掴むように更に掌を閉じた場合、割り当て部１０２ｃは、５つの第１の領域１〜５を、生体認識装置１１２により認識された指先の動きに応じて更に移動させ、図３３の破線の円で示すように、親指に対応する第１の領域１と、薬指に対応する第１の領域３は、第２の領域の内側に割り当てたとする。このとき、位置変更部１０２ｂは、第１の領域が第２の領域を通過しないように移動を制御する。すなわち、図３３に示すように、位置変更部１０２ｂは、破線の円で示す第１の領域１を、実線の円で示す第１の領域１へオフセットし、同様に、破線の円で示す第１の領域４を、実線の円で示す第１の領域４へオフセットする。

さらに、図３３〜図３４に示すように、利用者が、指先同士を接触させて摘む動作をした場合、割り当て部１０２ｃは、生体認識装置１１２により認識された指先の動きに応じて更に移動させ、図３４の破線の円で示す第１の領域１〜５に割り当てられたとする。このとき、上記と同様に、図３４で示すように、位置変更部１０２ｂは、破線の円で示す第１の領域１〜５を、第２の領域の外側に位置するように、実線の円で示す第１の領域１〜５へオフセットする。

なお、操作判定部１０２ｄは、位置変更部１０２ｂにより第１の排他的移動制御がなされた第１の領域の状態にかかわらず、生体認識装置１１２により認識された本来の生体の状態に基づいて、操作判定を行ってもよい。すなわち、操作判定部１０２ｄは、割り当て部１０２ｃにより割り当てられた当初の第１の領域（図３４では、破線の円で示す第１の領域１〜５）に基づいて、（１）指先の接触があること、かつ（２）第２の領域の境界（この例では、六角形の外郭）を超えていること、を条件として、操作判定を行ってもよい。この例では、図３３から図３４に移行した段階で、操作判定部１０２ｄは、（１）指先の接触があり、かつ（２）第２の領域の境界を超えたと判定できるので、ボタン操作を実行することができる。

上述した例で、図３２から図３３に遷移したときに、第１指（親指）が最初に第２の領域内に入ったとする。このとき、上述の例では、第１指（親指）のみを第２の領域に接触するように移動させているが、第１の排他的移動制御はこの例に限られず、可能な限り、５本の指の位置関係を維持しながら、第１の排他的移動制御を実施しても良いものである。すなわち、本来の第１指（親指）の位置（第１の領域１）から図の左下方向へオフセット移動した移動量と同じ移動量を、他の４本の指の第１の領域２〜５に与えても良い。これにより、複数の第１の領域の位置関係を維持したまま、第１の排他的移動制御を実施することができる。また、図３２から図３３に遷移する場合に、第１指（親指）に対応する第１の領域１が最初に第２の領域に接触した場合、位置変更部１０２ｂは、第２の領域（六角形）を、近づいてきた親指とは反対方向（この例では図の右上方向）に移動させる第２の排他的移動制御を行ってもよい。こように、第１の領域に対して第２の領域の移動を制御するか、第２の領域に対して第１の領域の移動を制御するかは、相対的な関係であり、その効果も本質的に共通する。また、第１の領域から排除されるように第２の領域を移動制御する第２の排他的移動制御の移動制御量（例えば、ボタンの移動量）と、第２の領域から排除されるように第１の領域を移動制御する第１の排他的移動制御の移動制御量（例えば、指先画像のオフセット量）は、移動制御量の割合を任意に設定することができ、二種類の排他的移動制御を並行して行ってもよいものである。より具体的には、図３２から図３３に遷移する場合に、第１指（親指）に対応する第１の領域１が最初に第２の領域に接触した場合、位置変更部１０２ｂは、第２の領域（六角形）を、近づいてきた親指とは反対方向（この例では図の右上方向）に移動させる第２の排他的移動制御を行ってもよい。

そして、 第２の領域（六角形）が第１指（親指）に対して排他的に移動しながら更に第４指に対応する第１の領域４に接触した際に、位置変更部１０２ｂは、第１指と第４指にはさまれて第２の領域をもはや排他的に移動させること（第２の排他的移動制御）ができなくなるので、はじめて、上述の第１の排他的移動制御を行ってもよいものである。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、操作判定装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、操作判定装置１００は、クライアント端末（操作判定装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、操作判定装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、操作判定装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、操作判定装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

記憶部１０６に格納される各種のデータベース等（要素ファイル１０６ａ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、操作判定装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、操作判定装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合
わせて実施してもよく、実施形態を選択的に実施してもよい。

なお、以下に、本発明にかかるクレームの他の例を列挙する。

（請求項１−１：第２の排他的移動制御）
手または指の動きを認識する手段と、認識された手または指の動きに連動するコンピュータ空間上の第１の領域を割り当てる手段と、選択可能な要素に対応する第２の領域を割り当て、移動してきたコンピュータ空間上の第１の領域から逃れるように移動制御する手段と、第１の領域と第２の領域の関係が所定の状態になった場合に、当該第２の領域に対応する選択可能な要素の選択を決定する手段と、を備えたことを特徴とする装置。

（請求項１−２：第１の排他的移動制御）
手または指の動きを認識する手段と、認識された手または指の動きに連動するコンピュータ空間上の第１の領域を割り当てる手段と、選択可能な要素に対応する第２の領域を割り当て、移動してきたコンピュータ空間上の第１の領域による第２の領域の横断を妨げるように移動制御する手段と、第１の領域と第２の領域の関係が所定の状態になった場合に、当該第２の領域に対応する選択可能な要素の選択を決定する手段と、を備えたことを特徴とする装置。

（請求項２−１：第２の排他的移動制御）
少なくとも検出部と制御部を備えた操作判定装置であって、前記制御部は、前記検出部を介して撮像した人物の領域、または、当該人物の動きに連動する領域、である第１の領域を、コンピュータ空間上に割り当てる割り当て手段と、選択可能な要素に対応付けた第２の領域を割り当て、前記第１の領域から排除されるように、当該第２の領域を移動させる移動制御手段と、前記移動制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定手段、を備えたことを特徴とする装置。
（請求項２−２：第１の排他的移動制御）
少なくとも検出部と制御部を備えた操作判定装置であって、前記制御部は、前記検出部を介して撮像した人物の領域、または、当該人物の動きに連動する領域、である第１の領域を、コンピュータ空間上に割り当てる割り当て手段と、選択可能な要素に対応付けた第２の領域を割り当て、当該第２の領域を横断しにくくなるように前記第１の領域の移動を制限する移動制御手段と、前記移動制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定手段、を備えたことを特徴とする装置。

（請求項３）
請求項１または２に記載の装置において、
前記第２の領域は、
前記第１の領域に対応する手または指の動きないし人物の動きが認識可能に透過的に或いは重畳的に表示部に表示されること、を特徴とする装置。

（請求項４）
請求項１乃至３のいずれか一つに記載の装置において、
前記移動制御手段は、前記第１の領域から排除されるように移動させる制御を優先的に行うとともに、前記第２の領域を、所定の位置または方向に向かって移動させること、を特徴とする。

（請求項５）
請求項１乃至４のいずれか一つに記載の装置において、前記割り当て手段は、前記検出
部を介して撮像した人物の腕、手もしくは指の像、または、当該人物の腕、手もしくは指の動きに連動する領域を、コンピュータ空間上に割り当てること、を特徴とする。

（請求項６）
請求項１乃至５のいずれか一つに記載の装置において、前記移動制御手段は、第１の領域の輪郭または中心線から排除されるように、前記要素または前記要素画像を移動させること、を特徴とする。

（請求項７）
請求項１乃至６のいずれか一つに記載の装置において、前記移動度は、移動した距離、または、元の位置を離れてからの経過時間であること、を特徴とする。

（請求項８−１：第２の排他的移動制御）
手または指の動きを認識するステップと、認識された手または指の動きに連動するコンピュータ空間上の第１の領域を割り当てるステップと、選択可能な要素に対応する第２の領域をコンピュータ空間上に割り当て、移動してきた第１の領域から逃れるように移動制御するステップと、第１の領域と第２の領域の関係が所定の状態になった場合に、当該第２の領域に対応する選択可能な要素の選択を決定するステップと、をコンピュータにおいて実行する方法。

（請求項８−２：第１の排他的移動制御）
手または指の動きを認識するステップと、認識された手または指の動きに連動するコンピュータ空間上の第１の領域を割り当てるステップと、選択可能な要素に対応する第２の領域をコンピュータ空間上に割り当て、第１の領域が第２の領域の横断することを妨げるように第１の領域の移動を制限するステップと、第１の領域と第２の領域の関係が所定の状態になった場合に、当該第２の領域に対応する選択可能な要素の選択を決定するステップと、をコンピュータにおいて実行する方法。

（請求項９）
少なくとも検出部と制御部を備えたコンピュータにおいて実行する方法であって、前記制御部は、前記検出部を介して撮像した人物の領域、または、当該人物の動きに連動する領域、である第１の領域を、コンピュータ空間上に割り当てるステップと、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた第２の領域を表示させ、前記第１の領域から排除されるように、当該第２の領域を移動させるステップと、移動された第２の領域の移動度もしくは移動位置、または、第１の領域のアクションに基づいて、当該要素の選択を判定するステップ、とを含むことを特徴とする方法。

（請求項１０−１：第２の排他的移動制御）
手または指の動きを認識するステップと、認識された手または指の動きに連動するコンピュータ空間上の第１の領域を割り当てるステップと、選択可能な要素に対応する第２の領域をコンピュータ空間上に割り当て、移動してきた第１の領域から逃れるように移動制御するステップと、第１の領域と第２の領域の関係が所定の状態になった場合に、当該第２の領域に対応する選択可能な要素の選択を決定するステップと、をコンピュータに実行させるためのプログラム。

（請求項８−２：第１の排他的移動制御）
手または指の動きを認識するステップと、認識された手または指の動きに連動するコンピュータ空間上の第１の領域を割り当てるステップと、選択可能な要素に対応する第２の領域をコンピュータ空間上に割り当て、第１の領域が第２の領域の横断することを妨げるように第１の領域の移動を制限するステップと、第１の領域と第２の領域の関係が所定の
状態になった場合に、当該第２の領域に対応する選択可能な要素の選択を決定するステップと、をコンピュータに実行させるためのプログラム。

（請求項１１）
少なくとも検出部と制御部を備えたコンピュータに実行させるためのプログラムであって、前記制御部は、前記検出部を介して撮像した人物の領域、または、当該人物の動きに連動する領域、である第１の領域を、コンピュータ空間上に割り当てるステップと、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた領域、である第２の領域を割り当て、前記第１の領域から排除されるように当該第２の領域を移動させる、あるいは、第２の領域の横断を妨げるように第１の領域の移動を制限するステップと、第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する要素の選択を判定するステップ、とをコンピュータに実行させるためのプログラム。

（請求項１２）
請求項１１または１２に記載のプログラムをコンピュータに読み取り可能に記録した記録媒体。

クレーム０
少なくとも表示部と撮像部と制御部を備えた操作判定装置であって、
前記制御部は、
前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御手段と、
前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、
を備え、
前記要素表示制御手段は、
前記像表示制御手段により表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御手段、
を備え、
前記制御部は、
前記移動制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定手段、
を更に備えたことを特徴とする操作判定装置。

クレーム１
表示手段と撮像手段と制御部とを少なくとも備えた操作判定装置において、
前記制御部は、
撮像手段により利用者を撮像して、少なくとも利用者の手または指の領域であるユーザ領域が判別できるように前記表示手段に表示する手領域表示制御手段と、
前記手領域表示制御手段により表示される前記ユーザ領域から排除されるように、選択可能な表示要素を移動させて表示する表示要素移動手段と、
前記表示要素移動手段により移動された前記表示要素の移動度に基づいて、当該表示要素の選択を判定する選択判定手段と、
を備えたことを特徴とする操作判定装置。

クレーム２（表示要素の移動態様：元に戻る）
クレーム１に記載の操作判定装置において、
前記表示要素移動手段は、
前記表示要素に元の位置に戻るような力がはたらいているかのように当該表示要素の移動を制御すること
を特徴とする操作判定装置。

クレーム３（表示要素の移動態様：重力）
クレーム１または２に記載の操作判定装置において、
前記表示要素移動手段は、
前記表示要素に画面の下方向に重力がはたらいているかのように当該表示要素の移動を制御すること
を特徴とする操作判定装置。

クレーム４（表示要素の移動態様：磁石）
クレーム１乃至３のいずれか一つに記載の表示選択装置において、
前記表示要素移動手段は、
前記ユーザ領域と前記表示要素の間に引力がはたらいているかのように当該表示要素の移動を制御すること
を特徴とする操作判定装置。

クレーム５（選択判定１：距離）
クレーム１乃至４のいずれか一つに記載の操作判定装置において、
前記移動度とは、前記表示要素が移動された距離であって、
前記選択判定手段は、
前記表示要素が所定閾値以上の距離を移動した場合に、当該表示要素の選択を判定すること
を特徴とする操作判定装置。

クレーム６（選択判定２：時間）
クレーム１乃至５のいずれか一つに記載の操作判定装置において、
前記移動度とは、前記表示要素の移動が継続された時間であって、
前記選択判定手段は、
前記表示要素が移動を開始してから所定閾値以上の時間経過した場合に、当該表示要素の選択を判定すること
を特徴とする操作判定装置。

クレーム７（排除：表示要素の代表点）
クレーム１乃至６のいずれか一つに記載の操作判定装置において、
前記表示要素移動手段は、
前記表示要素の代表点が前記ユーザ領域から排除されるように、当該表示要素を移動させて表示すること
を特徴とする操作判定装置。

クレーム８（表示要素の移動態様：張力）
クレーム２に記載の表示選択装置において、
前記表示要素移動手段は、
前記表示要素の代表点の元の位置と移動した位置との間に、前記移動度に応じた張力がはたらいているかのように当該表示要素の移動を制御し、
前記表示要素の前記代表点が、前記ユーザ領域の輪郭線のローカルミニマムに陥った場合には、曲線の接点に位置する場合を除いて、当該ユーザ領域を横断可能に制御すること
を特徴とする操作判定装置。

クレーム９
表示手段と撮像手段と制御部とを少なくとも備えた情報処理装置に実行させるためのプ
ログラムであって、
前記制御部において、
撮像手段により利用者を撮像して、少なくとも利用者のユーザ領域が判別できるように前記表示手段に表示する手領域表示制御ステップと、
前記手領域表示制御ステップにて表示される前記ユーザ領域から排除されるように、選択可能な表示要素を移動させて表示する表示要素移動ステップと、
前記表示要素移動ステップにて移動された前記表示要素の移動度に基づいて、当該表示要素の選択を判定する選択判定ステップと、
を実行させることを特徴とするプログラム。

クレーム１０
表示部と撮像部と制御部とを少なくとも備えたコンピュータにおいて実行される操作判定方法であって、
前記制御部において実行される、
前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御ステップと、
前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御ステップと、
前記移動制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定ステップと、
を含むことを特徴とする操作判定方法。

クレーム１１
表示部と撮像部と制御部とを少なくとも備えたコンピュータに実行させるためのプログラムであって、
前記制御部において、
前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御ステップと、
前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御ステップと、
前記移動制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定ステップと、
を実行させるプログラム。

以上詳述に説明したように、本発明によれば、身体の動きを伴う操作において操作性を向上させることができる、操作判定装置、操作判定方法、および、プログラム、ならびに、記録媒体を提供することができる。

１００ 操作判定装置
１０２ 制御部
１０２ａ 境界設定部
１０２ｂ 位置変更部
１０２ｃ 割り当て部
１０２ｄ 操作判定部
１０４ 通信制御インターフェース部
１０６ 記憶部
１０６ａ 要素ファイル
１０８ 入出力制御インターフェース部
１１２ 生体認識装置
１１４ 表示装置
２００ 外部システム
３００ ネットワーク

Claims (28)

1. 利用者の生体の状態を認識する生体認識手段と、
   認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、
   コンピュータ空間上に割り当てられた第２の領域を第１の領域が通過し難くなるように、生体に連動した第１の領域の動きを変化させる変更手段と、
   第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定手段と、
   を備えたことを特徴とする操作判定装置。
2. 利用者の生体の状態を認識する生体認識手段と、
   認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、
   コンピュータ空間上に割り当てられた第２の領域が、移動してきた第１の領域を避けるように移動させる変更手段と、
   第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定手段と、
   を備えたことを特徴とする操作判定装置。
3. 利用者の生体の状態を認識する生体認識手段と、
   認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当てる割り当て手段と、
   前記生体の動きに応じた操作を判定する場合に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件とする操作判定手段と、
   を備えたことを特徴とする操作判定装置。
4. 請求項３に記載の操作判定装置において、
   前記生体は、前記利用者の頭、口、足、脚、腕、手、指、瞼、および／または、眼球であること
   を特徴とする操作判定装置。
5. 請求項３または４に記載の操作判定装置において、
   前記生体同士の接触動作とは、
   少なくとも２本の指の先ないし腹をくっつける動作、少なくとも２本の指同士を寄り添い触れ合わせる動作、開いた手を閉じる動作、親指を立てた状態から寝かせる動作、手または指を体の一部に接触させる動作、両手または両足を接触させる動作、開いた口を閉じる動作、または、瞼を閉じる動作、
   であることを特徴とする操作判定装置。
6. 請求項３乃至５のいずれか一つに記載の操作判定装置において、
   前記生体同士の非接触動作とは、
   接触した少なくとも２本の指の先ないし腹を引き離す動作、側面で接触した２本の指を引き離す動作、閉じた手を開く動作、親指を寝かせた状態から立てる動作、体の一部に接触した手または指を離す動作、接触した両手または両足を引き離す動作、閉じた口を開く動作、または、閉じた瞼を開く動作、
   であることを特徴とする操作判定装置。
7. 請求項３乃至６のいずれか一つに記載の操作判定装置において、
   前記操作判定手段は、
   更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過した先の側で、前記接触動作または前記非接触動作が行われることを必要条件として、前記生体の動きに応じた操作を判定すること、
   を特徴とする操作判定装置。
8. 請求項３乃至７のいずれか一つに記載の操作判定装置において、
   前記操作判定手段は、
   更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を横断した状態で、前記接触動作または前記非接触動作が行われることを必要条件として、前記生体の動きに応じた操作を判定すること、
   を特徴とする操作判定装置。
9. 請求項３乃至８のいずれか一つに記載の操作判定装置において、
   前記操作判定手段は、
   更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線の境界内側で、前記接触動作または前記非接触動作が行われたことを必要条件として、前記生体の動きに応じた操作を判定すること、
   を特徴とする操作判定装置。
10. 請求項９に記載の操作判定装置において、
    前記操作判定手段は、
    更に、前記境界内側での前記接触動作または前記非接触動作が行われた後、当該境界の外側方向への前記生体の動きがあることを必要条件として、前記生体の動きに応じた操作を判定すること、
    を特徴とする操作判定装置。
11. 請求項３乃至１０のいずれか一つに記載の操作判定装置において、
    前記操作判定手段は、
    更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過する際に、前記接触動作による接触状態または前記非接触動作による非接触状態が継続していることを必要条件として、前記生体の動きに応じた操作を判定すること、
    を特徴とする操作判定装置。
12. 請求項３乃至１１のいずれか一つに記載の操作判定装置において、
    前記操作判定手段は、
    更に、前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を一方から他方へ通過する際は非接触状態であること、かつ、他方から一方へ再通過する際は接触状態であることを必要条件として、前記生体の動きに応じた操作を判定すること、
    を特徴とする操作判定装置。
13. 請求項３乃至１２のいずれか一つに記載の操作判定装置において、
    前記コンピュータ空間上の境界面または境界線の全体または一部は、
    前記利用者が現実空間において認識可能な境界面または境界線であること、
    を特徴とする操作判定装置。
14. 請求項１３に記載の操作判定装置において、
    前記コンピュータ空間上の境界面または境界線の全体または一部は、
    表示手段に表示された面または線であること、
    を特徴とする操作判定装置。
15. 請求項１３に記載の操作判定装置において、
    前記コンピュータ空間上の境界線または境界面の全体または一部は、
    表示手段の表示枠の線であること
    を特徴とする操作判定装置。
16. 請求項３乃至１５のいずれか一つに記載の操作判定装置において、
    前記割り当て手段は、
    前記利用者の頭の動き、眼球の動き、足もしくは脚の動き、腕の動き、手もしくは指の動き、または、眼球の動きに応じて、前記コンピュータ空間上に位置または領域を割り当てること、
    を特徴とする操作判定装置。
17. 請求項１６に記載の操作判定装置において、
    前記割り当て手段は、
    前記眼球の状態に基づく視線方向に応じて、前記コンピュータ空間において対応する、点または線領域を割り当てること、および／または、
    前記頭、足、脚、腕、手、指の位置または関節曲げ角度に基づいて、前記コンピュータ空間において対応する、点、線領域、面領域、または三次元領域を割り当てること、
    を特徴とする操作判定装置。
18. 請求項３乃至１７のいずれか一つに記載の操作判定装置において、
    前記割り当て手段により割り当てられた、前記コンピュータ空間上の位置または領域を、表示手段に表示させること
    を特徴とする操作判定装置。
19. 請求項３乃至１８のいずれか一つに記載の操作判定装置において、
    前記操作判定手段は、
    前記接触動作による接触状態または前記非接触動作による非接触状態が継続している間、当該接触動作または当該非接触動作の開始時点における前記位置または前記領域に応じた操作判定の対象が解除されないように制御することを
    特徴とする操作判定装置。
20. 請求項１９に記載の操作判定装置において、
    前記操作判定手段は、
    （１）表示要素の全部または一部を前記生体の動きに連動させること、
    （２）前記接触動作または前記非接触動作の開始時点における前記コンピュータ空間上の位置または領域を履歴として保存すること、
    （３）前記操作判定の対象が解除される方向への、前記位置または前記領域の変動を無効化すること、
    および／または、
    （４）当該接触動作または当該非接触動作の開始時の操作判定対象を保持し続けることにより、
    前記操作判定の対象が解除されないよう制御すること、
    を特徴とする操作判定装置。
21. 請求項３乃至２０のいずれか一つに記載の操作判定装置において、
    前記操作は、
    表示手段のメニュー表示操作もしくは非表示操作、表示画面の表示操作もしくは非表示操作、選択可能な要素の選択操作もしくは非選択操作、表示画面の輝度アップ操作もしくは輝度ダウン操作、音声出力手段の音量アップ操作もしくは音量ダウン操作、ミュート操作もしくはミュート解除操作、
    前記コンピュータが制御可能な装置のオン操作、オフ操作、開閉操作、もしくは、設定温度などのパラーメータの設定操作、
    であることを特徴とする操作判定装置。
22. 請求項３乃至２１のいずれか一つに記載の操作判定装置において、
    前記生体認識手段は、
    利用者の静電エネルギーの変化を検出することによって、前記生体同士の接触状態と非接触状態との間の変化を検出すること、
    を特徴とする操作判定装置。
23. 利用者の生体の状態を認識する生体認識ステップと、
    認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当てステップと、
    コンピュータ空間上に割り当てられた第２の領域を第１の領域が通過し難くなるように、生体に連動した第１の領域の動きを変化させる変更ステップと、
    第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、
    を含むことを特徴とする操作判定方法。
24. 利用者の生体の状態を認識する生体認識ステップと、
    認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、
    コンピュータ空間上に割り当てられた第２の領域が、移動してきた第１の領域を避けるように移動させる変更ステップと、
    第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、
    を含むことを特徴とする操作判定方法。
25. 利用者の生体の状態を認識する生体認識ステップと、
    認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当てる割り当てステップと、
    前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件として、前記生体の動きに応じた操作を判定する操作判定ステップと、
    を含むことを特徴とする操作判定方法。
26. 利用者の生体の状態を認識する生体認識ステップと、
    認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当てステップと、
    コンピュータ空間上に割り当てられた第２の領域を第１の領域が通過し難くなるように、生体に連動した第１の領域の動きを変化させる変更ステップと、
    第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、
    をコンピュータに実行させるためのプログラム。
27. 利用者の生体の状態を認識する生体認識ステップと、
    認識された生体の状態に連動させて、コンピュータ空間上に第１の領域を割り当てる割り当て手段と、
    コンピュータ空間上に割り当てられた第２の領域が、移動してきた第１の領域を避けるように移動させる変更ステップと、
    第１の領域と第２の領域が所定の関係になった場合に、当該第２の領域に対応する操作と判定する操作判定ステップと、
    をコンピュータに実行させるためのプログラム。
28. 利用者の生体の状態を認識する生体認識ステップと、
    認識された前記生体の状態に連動させて、コンピュータ空間上に位置または領域を割り当てる割り当てステップと、
    前記位置または前記領域の全部もしくは一部が前記コンピュータ空間上の境界面または境界線を通過すること、かつ、前記生体同士の接触動作または非接触動作があることを必要条件として、前記生体の動きに応じた操作を判定する操作判定ステップと、
    をコンピュータに実行させるためのプログラム。