WO2004055726A1

WO2004055726A1 - インタフェース装置

Info

Publication number: WO2004055726A1
Application number: PCT/JP2003/016171
Authority: WO
Inventors: Ikushi Yoda; Katsuhiko Sakaue
Original assignee: National Institute Of Advanced Industrial Science And Technology
Priority date: 2002-12-18
Filing date: 2003-12-17
Publication date: 2004-07-01
Also published as: AU2003289395A1; US20060168523A1; JP4035610B2; JP2004246856A; US7821531B2

Abstract

　室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作の実現、ならびに立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置を提供する。インタフェース装置において、室内空間５において複数のステレオカメラ１−１から１−ｎにより室内を撮像し、各ステレオカメラ単位で視野内の撮像画像と室内空間５の座標系に基づいた距離画像を生成する画像処理手段と、前記各ステレオカメラ１−１～１−ｎからの距離情報に基づきユーザ４の体勢と腕指しを抽出する手段と、前記腕指しが識別された場合に、腕が指し示している方向、その動きから、意図して出されたサインであるかどうかを識別する手段とを具備する。

Description

明細書インタフェース装置技術分野

本発明は、イン夕フェース装置に係り、特に、ユーザの腕指しによる指示動作を判定して、対応する機能を持つ、身振りによる室内空間におけるインタフエ一ス装置に関するものである。背景技術

これまでに、第 2 8図に示すようなカメラ 8 1— 1 , 8 1— 2付きのディスプレイ 8 2の前にユーザ 8 4が位置し、そのュ一ザ 8 4の指さし等によりマウスなどを操作するシステムは存在するが、それらは 2、 3台の少ないカメラ画像から、そのユーザ 8 4の位置を測定し、マウスなどを操作させている。

それゆえ、認識対象領域 8 3はディスプレイ 8 2前の特定の空間程度であり、非常に狭い場所でしか使えず、かつ一度に 1人しか使えないといった問題点がある。

さらに、第 2 9図に示すようなハンドサインの認識システムも、カメラ 9 1の前の固定的な環境でユーザ 9 4の手のみの画像を取得して認識することで、イン夕フェース装置として使われているため、同様の問題点を有する。なお、この図において、 9 2はディスプレイ、 9 3は認識対象領域である。

【特許文献 1】特開平 1 1一 3 2 7 7 5 3号公報第 5— 1 0頁第 1図【特許文献 2】特開 2 0 0 0— 2 1 6号公報第 4— 5頁第 1図【特許文献 3】特開 2 0 0 2— 2 5 1 2 3 5号公報第 4— 7頁第 1図発明の開示

上述したように、かかる従来の装置では、特定の狭い固定的な環境のみでしかイン夕フヱ一ス装置が動作しないといった問題点がある。

本発明は、上記状況に鑑みて、室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作の実現、ならびに立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によつて室内空間の室内機器の操作を容易になし得るィン夕フェース装置を提供することを目的としている。本発明は、上記目的を達成するために、

〔 1〕イン夕フェース装置において、室内空間において複数のステレオカメラにより該室内を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、前記各ステレオカメラからの距離情報に基づき、ユーザの位置姿勢と腕指しを抽出する位置姿勢 ·腕指し認識手段と、前記ユーザの腕指しが識別された場合に、該腕が指し示している方向、その動きから、指示動作であるかどうかを認識する指示動作認識手段と、を具備することを特徴とする。

〔2〕上記〔 1〕記載のイン夕フヱ一ス装置において、前記指示動作認識手段の動作に基づき、予め登録された室内機器を操作するコマンドを送出し、その結果を受信する操作コマンド送受信装置を具備することを特徴とする。

〔3〕上記〔1〕又は〔2〕記載のインタフェース装置において、前記位置姿勢 ·腕指し認識手段は、集められた 3次元情報から前記距離データを室内空間座檫系に沿って、段違い引き出し法により取り出し、デ一夕を 2次元平面に投影することで複数のユーザの姿勢認識処理をする位置姿勢認識部と、該得られた複数のユーザの 2次元投影図から腕指しの方向を識別する腕指し認識部とを有することを特徴とする。

〔4〕上記〔 1〕又は〔2〕記載のインタフヱ一ス装置において、前記指示動作認識手段は、前記得られた腕指しの方向の時系列デ一夕からその指示動作を認識する指示動作認識部を有し、更に、腕指し操作の対象となる操作対象機器の情報や操作方法を保存する操作機器データベースと、前記操作対象機器の基本情報、位置、操作方法を記憶する操作機器登録部とを具備することを特徴とする。

〔5〕上記〔 1〕記載のインタフェース装置において、前記腕指しを抽出する位置姿勢'腕指し認識手段は、各ステレオカメラから得られた 3次元距離情報を、室内座標系に基づいて、 2 0 c mごとに階層的に区切って情報を切り出す段違い引き出し法により、各引き出し内に入った点列を 2次元平面に投影した後、二値ィ匕して、 2次元の二値画像となし、各階層単位でラベリングを行った後で各クラス夕の全体重心を求め、 2次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げて、 3次元点列として利用し、 Z軸に沿って各階層ごとの重心をプロットして、最上部（頭部）より 8階層分（上半身）までを X Y 平面上にプロットし、全体重心と比較して大きな外れ値があった場合を腕指し動作が行われたとするとともに、最上部より 8階層分までの二値画像と等価の矩形形状である画像モーメン卜を求めて得られた 8組のデ一夕のうち面積が一定の範囲にあり、かつ画像モーメントの長辺と短辺の差が最も大きい階層の長辺の垂直方向を体の向きとし、前記した腕指し動作が認識された場合、最も全体重心からプレート重心が離れた階層の二値画像の重心と全体重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り、腕部分のみを残し、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺、重心、腕先端位置、全体重心を計算することで腕指しの X Y平面上での向きを決定し、身長、目の高さ、腕長係数から腕指しの Z方向の向きを決定して腕指しの方向を求め、指示動作を認識することを特徴とする。

〔6〕上記〔5〕記載のイン夕フェース装置において、頭の高さ及び座高に相当する高さから腕指し判定の下限を設定して、該下限より下にある疑似腕指しの場合は、腕指しではないと判定することを特徴とする。

〔7〕上記〔6〕記載のイン夕フエ一ス装置において、前記下限より下にある疑似腕指しの場合が脚を投げ出した場合である。

〔8〕上記〔5〕記載のインタフヱ一ス装置において、前記画像モーメントの長辺と身長との比が一定に達していない場合は、腕指しでないと判定することを特徴とする。

〔9〕上記〔5〕記載のイン夕フェース装置において、平均重心から腕指し先端までの距離を I- 1、前記平均重心から腕指し末端までの距離を r 2とすると、 r 1 / r 2が身長から設定された値以下である場合は、腕指しでないと判定することを特徴とする。

〔1 0〕上記〔8〕又は〔9〕記載のイン夕フェース装置において、該当する場合が、小さい腕指しであることを特徴とする。〔1 1〕上記〔5〕記載のインタフェース装置において、前記画像モーメントの長辺 L 1 、短辺 L 2 より面積 Sを求め、この面積 Sに上限を、前記画像モ —メントの長辺 L 1 に下限を設定し、この限度から外れる場合は、腕指しでないと判定することを特徴とする。

〔1 2〕上記〔5〕記載のインタフェース装置において、腕指し先端と平均重心間距離と、腕指し末端と平均重心間距離の比が設定値以上の場合は、腕指しでないと判定することを特徴とする。

〔1 3〕上記〔1 1〕又は〔1 2〕記載のインタフヱース装置において、前記限度から外れる場合は、両手を広げた場合であることを特徴とする。

〔1 4〕上記〔5〕記載のイン夕フェース装置において、ユーザの腕指し先端を中心に、所定の半径内に相手の平均重心を発見した場合は、腕指しでないと判定することを特徴とする。

〔 1 5〕上記〔 1〕又は〔2〕記載のインタフェース装置において、前記室内空間のうち特定エリアを予め登録しておき、その特定エリアにュ一ザがいる場合にそのユーザの腕指しを識別することを特徴とする。

〔 1 6〕上記〔 1 5〕記載のィン夕フヱ一ス装置において、前記特定ェリァを介護ベッドの頭部サイドとし、その特定エリア内にュ一ザがいる場合は、その特定エリア用の腕指し識別を行うことを特徴とする。

〔1 7〕上記〔 1 6〕記載のイン夕フェース装置において、前記特定エリアを介護ベッドの頭部サイドとし、その特定エリア内にュ一ザがいない場合は、ユーザが立位、座位又は伏位かどうか判定し、それそれの姿勢での腕指しを識別することを特徴とする。

本発明によれば、室内空間にいる各ユーザの姿勢をカメラからの距離情報によつて識別しながら各ユーザの室内の位置を特定する。また、予め登録された室内機器を直接腕で指し示す指示動作（腕指し）を行うことで、その室内機器を操作するコマンドを送出する。

更に、本発明では、指示動作（腕指し）によって操作する室内機器とその操作内容を登録する手段を提供する。及び、同時に室内機器に対応したコマンドを登録する手段を与える。また、腕指しを的確に検出するととともに、一見、腕指しのように見える挙動 (疑似腕指し）を腕指しから確実に除外して、正確な腕指しの判定を行うことができる。図面の簡単な説明

第 1図は、本発明の一実施形態のシステム構成を示す図である。

第 2図は、本発明の一実施形態のシステム構成を示す図である。

第 3図は、第 1図及び第 2図に示した倩報統合認識装置のプロック図である。第 4図は、本発明の一実施形態の動作を説明するためのフローチャートである。第 5図は、本発明に用いられる段違い引き出し法の説明図である。

第 6図は、本発明に用いられる姿勢認識処理方法の説明図（その 1 ) である。第 7図は、本発明に用いられる姿勢認識処理方法の説明図（その 2 ) である。第 8図は、本発明に用いられる姿勢認識処理方法の説明図（その 3 ) である。第 9図は、本発明に用いられる姿勢認識処理方法の説明図（その 4 ) である。第 1 0図は、本発明の一実施形態の動作を説明するための説明図〔腕指し図（その 1 ) 〕である。

第 1 1図は、本発明の一実施形態の動作を説明するための説明図〔腕指し図（その 2 ) 〕である。

第 1 2図は、本発明の一実施形態の動作を説明するための説明図（脚を投げ出した場合）である。

第 1 3図は、本発明の一実施形態の動作を説明するための説明図〔小さな腕指し（その 1 ) の場合〕である。

第 1 4図は、本発明の一実施形態の動作を説明するための説明図〔小さな腕指し（その 2 ) の場合〕である。

第 1 5図は、本発明の一実施形態の動作を説明するための説明図〔両腕を広げた場合（その 1 ) 〕である。

第 1 6図は、本発明の一実施形態の動作を説明するための説明図〔両腕を広げた場合（その 2 ) 〕である。

第 1 7図は、本発明の一実施形態の動作を説明するための説明図（握手など相手が側にいた場合）である。

第 1 8図は、本発明の一実施形態の動作の区別を説明するためのフローチヤ一トである。

第 1 9図は、第 1 8図における伏位での腕指し認識部の動作の一部を詳細化したフローチャートである。

第 2 0図は、本発明における特定エリアでの腕指し認識部の動作の一部を詳細ィ匕したフローチヤートである。

第 2 1図は、べッドの起き上げ角度を計算するためのべッドの底辺の画像である。

第 2 2図は、本発明における操作機器デ一夕ベースの登録を説明するためのフローチヤ—トである。

第 2 3図は、本発明における指示動作の 3つの基本様式を説明するための説明図である。

第 2 4図は、本発明における十字操作を説明するためのフローチャートである。第 2 5図は、本発明におけるパネル夕ツチ操作を説明するためのフローチヤ一トである。

第 2 6図は、本発明におけるパネルジエスチヤ操作を説明するためのフローチャ一トである。

第 2 7図は、本発明の一実施形態の動作を説明するための説明図である。

第 2 8図は、従来の技術を示す図である。

第 2 9図は、従来の技術を示す図である。

発明を実施するための最良の形態

以下、本発明の実施の形態について詳細に説明する。

第 1図及び第 2図は本発明の一実施形態のシステム構成を示す図であり、第 3 図は第 1図及び第 2図に示した情報統合認識装置のプロック図である。

第 1図において、複数のステレオカメラ 1— 1から 1—nによって死角がないように室内空間 5が撮影され、ユーザ 4— 1 , 4— 2， …， 4— nは室内空間 5 の中を自由に移動する。各ステレオカメラ 1は 2台以上のカメラの撮像素子が平行に固定されていて、ステレオカメラ 1— 1から 1一 IIの撮像出力は画像処理装置 2に与えられる。ステレオカメラ 1自体は既に公知のものであり、たとえばポイントグレイ社のデジク口ップスやサ一ノフ研究所のァケ一ディァのようなものが用いられる。

画像処理装置 2は各ステレオカメラ 1からの映像を入力として毎秒 1 0枚〜 3 0枚程度の画像を処理し、そこから得られた距離画像とカラー画像の結果を情報統合認識装置 3に与える。なお、 6は操作対象機器であり、ここではエアコン 6 — Aやテレビジョン 6—Bが示されている。 8は表示装置である。

第 1図には室内空間を全て認識対象領域（操作可能空間） 5としてカバーする例を示しているが、第 2図では説明を簡単にするために、ステレオカメラ 1の 1 台のみを下向きに設置し、その下の室内空間のみを認識対象領域（操作可能空間） 5として示した。この第 2図の操作可能空間 5では、一人のュ一ザ 4のみが対象として示されているが、基本的な仕組みは全て第 1図に示されているものと同様である。

第 3図に示すように、情報統合認識装置 3は、位置姿勢認識部 3 1、腕指し認識部 3 2、指示動作認識部 3 3、操作機器デ一夕ベース 3 4、操作機器登録部 3 5とを含む。位置姿勢認識部 3 1は画像処理装置 2によって集められた 3次元情報からその距離デ一夕を室内空間座標系（第 1図、第 2図の X， Υ , Z軸）に沿つて、第 5図に示す段違い引き出し法により取り出し、データを 2次元平面に投影することで複数のユーザの姿勢認識処理をする。腕指し認識部 3 2はその得られた複数のユーザの 2次元投影図から腕指しの方向を識別する。指示動作認識部 3 3は、得られた腕指しの方向の時系列デ一夕からその指示動作を認識する。操作機器デ一夕ベース 3 4には腕指し操作の対象となる操作対象機器 6の情報や操作方法を保存する。操作機器登録部 3 5には操作対象機器 6の基本情報、位置、操作方法を保存する。

第 1図、第 2図及び第 3図に示すように、操作コマンド送受信装置 9は、情報統合認識装置 3で決定された操作対象機器 6に操作コマンドを送信し、操作対象機器 6でこれを受信して、操作対象機器 6を操作する。同時に操作コマンド送受信装置 9は操作対象機器 6から必要情報を受信する。操作コマンドの ¾受信方法としては、指向性を持たない微弱電波による通信方法であるプル一トゥース（B lue t o ot h) ゃェコネット（ECHONET) などを用いる。

'第 1図と第 2図は室内におけるこのインタフエース装置の実施形態であるが、本発明はこの実施形態に限定されるものではなく、例えば室内空間を工場や公共の空間などに置き換えて、指示動作を利用するあらゆる場面にも適用できる。第 4図は本発明の一実施形態の動作を説明するためのフローチャートであり、第 3図を部分的に詳細化したものである。

第 1図の室内空間 5に出入りする全てのユーザ 4— 1から 4—nはステレオ力メラ 1— 1から 1—nによって撮影され、この撮像出力は画像処理装置 2に与えられる。すなわちこの室内空間 5に出入りする人は、第 4図の流れに従って、この室内に入ってから出るまでの全てを撮影され、その行動が監視される。

画像処理装置 2は、各カメラ単位でその視野内のカラー画像と室内の座標系に基づいた距離情報を生成して情報統合認識装置 3に与える。各ステレオカメラ 1 — 1から 1—n間の共通する座標系 X、 Y、 Ζ (第 1図，第 2図）は予め設定しておく。

こうして、各ステレオカメラ 1— 1から 1—ηにより、室内空間 5の 3次元距離情報が獲得される（ステップ S 41) 。

このステップ S 41おいて各ステレオカメラ 1一 1から 1一 ηにより得られた 3次元距離情報（Χ、 Υ、 Ζ) は、全体として扱うのではなく、室内座標系に基づいて、第 5図に示すように、 20 cmごとに階層的に区切って 3次元距離の点列を切り出して使う。境界面において失ってしまう情報をなくすために、切り出しを 10 cmずらして再度行うことによって情報を失わず連続的に 3次元距離の点列を切り出す（ステップ S 42) 。

次に、第 6図に示すように、各引き出し（第 5図における 0〜15) 内に入つた点列を 2次元平面に投影した後、二値化する。これにより、各引き出し内の情報は 2次元の二値画像となる。そしてこの各階層単位でラベリングを行った後で (第 6図では 2人のユーザを A、 Bとラベリング）、各クラス夕の全体重心（第 6図における T ot a 1中の☆) を求める（ステップ 43) 。このように、最初にラベリングすることで複数人物に対応する。次いで、第 7図に示すように、 2次元平面において求めた重心をラベリングされた対傾象単位で再び階層的に積み上げ、 3次元点列として利用する（ステップ S き

44) o

さらに、第 8図（a) に示すように Z軸（高さ方向）に沿って各階層ごとの重心をプロットして、最上部（頭部）より 8階層分（上半身に相当）までを XY平面上にプロットし、大きな外れ値があった場合を腕指し動作が起こったときとする。このとき同時に体の向きを計測するため、第 8図（b) に示すように、最上部より 8階層分〔第 8図（b) では 6階層分のみ記載〕までの二値画像の画像モ —メントを計算する。画像モーメントとは、第 9図に示すような 2値画像と等価の矩形のことを指し、式（1) によって、その矩形の重心（xg , yg： ) 、傾き、長辺 L1 、短辺 L2 が求められる。

¾心盧心 V

L

そこで得られた 8組のデ一夕のうち面積が一定の範囲にあり、かつ長辺 L 1 と短辺 L2 の差が最も大きい階層の、長辺 L1 の垂直方向を体の向きとする（ステツプ S 45 ) 。

腕指し動作が認識された場合（ステップ S46における YESの場合）は、最も全体重心からプレート重心が離れた階層の二値画像〔第 8図（c) 〕を用いてその腕指しの方向を決定する。具体的には、後述するが、全体重心と腕指し相当階層の重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り〔第 8図（d) 〕、腕部分の画像のみを残す。そして、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺 L 1 、短辺 L2 、重心（xc , yc ) _s 傾き 6>を計算し、その XY平面上での向きを決定する。高さ方向を示す Z方向は、 3次元距離情報から得られる腕の角度ひは水平面に射影されたものであり、垂直方向の情報は含まれていない。そこで、腕の垂直方向の角度 αν を、身長 h, 目の高さ] leye , 腕の高さ harm , 腕長係数 1より式（2) を用いて求める。

, / heye "- harm ) ". /りヽ

V ~~ sm - ^

V 1 h i ここで方向の基点を肩の付け根の高さではなく目の高さ heye とした。これは第 1 0図に示すように、実際の観察の結果、人が何かに向かって腕指しをする場合、腕そのものの方向 1 04で対象物を指すのではなく、目と指先を結んだ線の方向で指し示すことがより多く観察されたからである。目の高さ heye 1 02は得られた頭の高さ（身長 h) 1 03から 1 0 cmを減じた値とした。腕長係数 1として日本人成人の平均である 0. 4を利用した。なお、第 1 0図において、 1 0 1は肩の高さ、 1 0 5は腕指しの方向を示している。 3

そして、腕指し水平方向も目の位置と腕先の位置関係に基づいた上で求める。第 1 1図に示すように、人の平均重心 1 1 1位置（xg , yg ) を g、腕重心 1 1 2位置（xc , yc ) を0、腕先端 1 1 3位置（xp , yp ) を p、腕水平方向 1 1 5を ah 、第 8図（d) で得られた画像モーメント（腕本体） 1 1 4の長辺を L1 する。このとき、腕指し水平方向ひ h 1 1 5は式（3 ) に基づき求められる。

XP ― Xc cos

γ p― y _c + s

なお、第 1 1図において、 1 1 6は腕指しの方向を示している。この方法により、腕指しの 3次元方向が確定され、指示動作が認識される（ステヅプ S 4 7) 。腕指しの方向を決定する手法については、左右の腕に対して別モデルを用意するのではなく、共通に使えるアルゴリズムとする。

腕指し認識においては、意図した腕指しを正確に認識すること以上に、利用者が腕指しを意図していない腕指し（疑似腕指し）の誤認識を抑制することが重要になる。

その手法として次の 3つを設定する。

a. 腕指し判定を行う高さの制限

b. 画像モーメントの大きさによる判定

c . 人物の動作の履歴からの判定

ここでは利用者が腕指しを意図していない（疑似腕指し）にも関わらずシステムが腕指しであると判定し易い主な状況を例に、その対応手法について述べる。

(i) 脚を投げ出した場合（疑似腕指し）

第 1 2図は脚を投げ出した場合の模式図であり、 1 2 1は椅子、 1 2 2は前方に投げ出された脚、 1 2 3は腕指し認識下限、 1 24は頭の高さ、 1 2 5は座高を示している。

第 1 2図に示すように、椅子 1 2 1に座っていて前方に脚 1 22を投げ出したとき、その投げ出された脚 1 22の 3次元点列が腕指し時のものと似たものになり、システムによる腕指し検出が行われることが考えられる。これを防く、ために人体形状による拘束を利用する。立位、座位に関わらず、腕指し時の腕部が腰の高さよりも高く位置することは明らかである。そこで頭の高さ hhead 1 2 4 及ぴ座高 12 5に相当する高さ hsit から腕指し判定の下限 hmin 1 2 3を下記式（4) によって求め、それ以下の高さでの腕指し検出を無視する。

hhead ' sit (4/ (ii) 小さな腕指しの場合（疑似腕指し）

第 1 3図は小さな腕指しの場合の模式図であり、第 1 3図（ a)はその上面図、第 1 3図（b) はその正面図である。ここで、 1 3 1は小さな腕指し、 1 3 2は画像モーメント、 1 33は画像モーメント 1 3 2の長辺 Ll、 1 34は長辺 1 の下限である。第 13図に示すような小さな腕指し 13 1の場合は、画像モーメント 132の長辺 L 1 と身長との比が一定に達していない場合は腕指しでないと判定する。また、第 14図に示すように、平均重心 14 1から腕指し先端 144までの距離を: Γ 1、平均重心 14 1から腕指し末端 142までの距離を r 2とすると、 r 1/r 2が身長から設定された値以下である場合は同様に腕指しでないと判定する。なお、 143は腕重心を示している。

(iii)両腕を広げた場合（疑似腕指し）

第 1 5図は両腕を広げた場合の模式図（その 1) であり、第 15図（a) はその斜視図、第 1 5図（b) はその上面図である。ここで、 15 1は広げた両腕、 152は両腕を拡げた場合の画像モーメントを示している。

第 1 5図に示すように両腕を拡げた場合は、両腕を広げた部分の画像モーメント 152の長辺 L1 、短辺 L2 より面積 Sを下記式（5) から求め、面積 S に上限を、また、長辺 L1 に下限を設定し、その面積 Sが上限を越えた場合、または長辺 L1 が下限を下回った場合は、腕指しではないとして無視する。

第 1 6図は両腕を広げた場合の模式図（その 2) であり、 1 6 1は平均重心、 162は腕指し末端、 1 63は腕指し先端、 164はその画像モーメントを示している。

第 1 6図に示すように、画像モ一メント 164より、腕指し先端 1 63から平均重心 16 1の距離 r 3と腕指し末端 1 62から平均重心 1 6 1の距離 r 4の比が設定された値以上である疑似腕指しの場合、小さな腕指し同様に腕指しでないと判定する。

(iv) 握手など相手が側にいた場合（疑似腕指し）

第 1 7図は握手など相手が側にいた場合の模式図であり、第 1 7図（a) はその上面図、第 17図（b) はその斜視図であり、 17 1は握手相手の小さな腕指し、 1 72は腕指しの方向、 1 Ί 3は腕指し先端、 1 Ί 4は握手相手の平均重心である。

第 1 7図に示すように、握手をしているなど、すく、側に相手がいる場合は、腕指し先端 1 73を中心に所定半径 r内に相手の平均重心 1 74を発見した場合、腕指しでないと判定する。

( V ) 深いお辞儀をした場合（疑似腕指し）

上記式（5 ) の面積 Sの上限設定を利用して腕でないと判定するとともに、腕指し動作検出時の頭の高さの変化から頭を下げたことを判定する。

さらに利用者の意図しない誤操作を避けるために、操作前に予備動作（トリガ動作）を設定する。トリガ動作は操作対象に対し一定時間腕を差し伸べる動作とし、この動作によって操作対象を決定してから、以降の腕指しジヱスチヤを利用してこの操作対象の制御を行う。腕指し対象を決定するとき、トリガ動作中の時間を利用して腕指しの方向の判定を行うことで精度向上を図る。ただし腕が操作対象を指す前に判定が行われると精度損失を招く。よってこれを考慮し、腕指し検出から数フレームの間は判定を行わない。その後、腕指しが継続している間、毎フレームごとに腕重心と腕方向から腕指し先を特定して腕指し先の対象物の判定を行う。上記に適合し、設定した閾値 sに達したものを操作対象とする。この閾値 sはトリガとして認めるまでの時間！¹、腕指し移行時間 T t ran s 、システムのフレームレート fおよび実際のシステムのターンアラウンドタイム T t a t から下記式（6 ) によって求める。

— Γ trans― ^ tat ) , _p、

S = "~ ~ … i b ) 本発明では、室内空間 5のうちの予め特定されたェリァ内でユーザ 4が腕指し動作を行うことにより、その特定エリア用の腕指し認識を行い、特定の機器操作を行うことができる。例えば、介護べッドの位置の頭部サイドを特定ェリアとし、そこでの動作を室内空間の他のエリァでの動作と区別することができる。

第 1 8図はそのような動作の区別を説明するためのフローチャートである。まず、室内空間 5のうち特定エリアを予め登録しておく（ステップ S 9 1 ) 。そして、ユーザ 4がその特定エリア内にいるかどうかをチェックする（ステップ S 9 2 ) 。第 5図〜第 8図で示した手順で、再 3次元化されたユーザ 4の一連の時系列情報から、そのユーザ 4が予め特定されたエリア内にいる場合（ステヅプ S 9 2における Y E Sの場合）は、その特定エリア用の腕指し認識をステップ S 9 7において行う。また、特定エリア外にいる場合（ステップ S 9 2における Ν 0の場合）は、そのスライスの高さ方向の情報を判断（判定）して、ュ一ザ 4が立位かもしくは座位であるかをチヱヅクする（ステップ S 9 3 ) 。立位 '座位の場合（ステップ S 9 3における Y E Sの場合）は、ステップ S 9 6において立位 · 座位の一般的な腕指し認識を行う。立位でも座位でもない場合（ステップ S 9 3 における N Oの場合）は、ステップ S 9 4で伏位かどうか判定する。距離画像の連なりからステップ S 9 4で伏位と判定された場合（ステップ S 9 4における Y E Sの場合）は、ステップ S 9 5において、伏位の腕指し認識を行う。ここでのステップ S 9 5〜9 7は腕指し認識部 3 2に相当する。特定エリア外で、かつ姿勢が、立位 ·座位、伏位どちらとも判定されない場合（ステップ S 9 4における N Oの場合）は、ステップ S 9 3に戻り姿勢認識を継続する。

第 1 9図は伏位での腕指し認識部 3 2の動作の一部を詳細化したフローチヤ一トである。

ステップ S 1 0 1において、頭部の位置の時系列情報から、ユーザ 4の姿勢が伏位になったときに、その頭部位置情報を取得する。そして、その頭部位置情報を基準点として、ステップ S 1 0 2において、手が出せる範囲のプレートを切り出し、その各プレートの重心位置を取得する。その後、ステップ S 1 0 3において、基準点と各プレート重心の距離を測定し、基準点からの最遠点を手先位置と仮定する。ステップ S 1 0 4において、その手先位置とそのプレートの高さから腕の位置を算出し、基準点から手先位置までの距離が長い場合は腕指しがあり、短い場合は腕指しがないと判断（判定）する（ステップ S 1 0 5 ) 。その後ステヅプ S 1 0 5で、腕指しがある場合（Y E S ) のみ指示動作認識を行う（ステヅプ S 1 0 6 ) 。

第 2 0図は特定ェリァでの腕指し認識部 3 2の動作の一部を詳細化したフローチャートである。ここでの対象は、介護ベッド（リクライニングべヅド）とし、ベッド上において、一般的な姿勢での座位や伏位時に、リクライニング機能の使用の有無の影響を受けずに、腕指し認識を可能にする。

特定エリアを介護べッドの位置とする場合は、ステップ S 1 1 0 1で予めその室内空間 5におけるベッド位置や、ベッドの大きさ、高さ、折れ線位置を操作機器デ一夕べ一ス 3 4に登録しておく。次に、ステップ S 1 1 0 2で、べヅド底辺のスライス画像から、ベッドの起き上げ角度を計算する。ベッドの起き上げ角度は、第 2 1図に示すように、ベッドの底辺の画像を見ることで、ベッドの大きさとその稼動部分（写真では白っぽく表示される部分）の大きさから求めることが出来る。

次に、ステップ S 1 1 0 3において、ステップ S 1 1 0 2で得られた起き上げ角度から判断（判定）して、角度が小さい場合は、伏位の腕指し認識をステップ S 1 1 0 4において行った後、ステップ S 1 1 1 4の指示動作認識を行う。起き上げ角度が大きい場合は、介護べッド特有の腕指し認識を継続する。まず、ステヅプ S 1 1 0 5において、背もたれ部分を除いたべッド面上の距離画像全体から、ュ一ザ 4の仮重心を取得する。次に、ステップ S 1 1 0 6において、ュ一ザ 4の仮重心が、第 2 1図に示すようなべッド折り曲げ位置より頭部サイドにある場合は、ベッドによりかかっている（ステップ S 1 1 0 7 ) と判定する。一方、逆に仮重心が脚部サイドに近い場合はべッドの背もたれから離れている (ステップ S 1 1 0 8 ) と判定し、ステヅプ S 1 1 1 3で、普通に座っている場合と同様に、立位 ·座位での腕指し認識を行う。

背もたれに寄りかかっている場合（ステップ S 1 1 0 7 ) は、ステップ S 1 1 0 9において、ュ一ザ 4の仮重心周りの背もたれ部分を除いた一定領域を切り出し、その各プレート単位での重心とそれらの平均重心を求める。そして、ステツプ S 1 1 1 0において、各プレート重心と平均重心との距離が最も離れているプレートを決定する。ステップ S 1 1 1 1において、その平均重心と最遠点との距離が大きい場合は、腕指しが行われていると判定し、ステップ S 1 1 1 2において、そのプレートから腕指しの 3次元方向を特定する。ステップ S 1 1 1 1において、平均重心と最遠点との距離が小さい場合は腕指しが行われていないと判定し、ステップ S 1 1 0 5に戻り介護べッドでの腕指し判定を継続する。

次に、第 2 3図に指示動作の 3つの基本様式を示した。位置姿勢認識、腕指し認識によって、腕指しをしている状態が正確に把握できている場合は、第 2 3図に示す指示動作者 4 1が一定時間操作対象機器 6に腕指しを続けると、その腕指しの先にある操作対象機器 6に夕一ゲヅトロヅクされる。夕ーゲヅトロヅク後の指示動作は十字操作〔第 2 3図（a )〕、パネルタツチ操作〔第 2 3図（b ) ；) 、パネルジヱスチヤ操作〔第 2 3図（c ) 〕の 3手法を提供する。

第 2 4図には十字操作のフローチャートを示した。第 2 4図のステップ S 1 5 1において、指示動作者 4 1が夕一ゲットロヅクを行った際の腕の 3次元方向を取得し、それを十字操作の原点とする。続けて、ターゲットロック後も腕指し動作が続いているかをステヅプ S 1 5 2で判断（判定）した後、腕指しが継続している場合（Y E S ) は、ステップ S 1 5 3で腕指し 3次元方向を取得し、その腕指しの方向が十字の指示動作範囲内にあるかどうかをステップ S 1 5 4で判断 (判定）し、範囲内にある場合（Y E S ) は、ステップ S 1 5 5において、その方向に対応するコマンドを連続して送信する。ステップ S 1 5 2において、一定時間腕指しがなかった場合（N O ) は、腕指し判定を終了する。この十字動作は特にスイッチのオン ·オフ、ボリュームやチャンネルの変更など、簡単な操作に適している。

第 2 5図にはパネル夕ヅチ操作のフローチャートを示した。第 2 5図のステヅプ S 1 6 1において、指示動作者 4 1が夕一ゲヅトロヅクを行った後の、体の方向（肩の向き）を取得し、それをパネル夕ツチ操作の基点とする。パネル夕ツチ操作では、指示を行うためのパネル（操作パネル 4 2 ) が指示動作者 4 1の前にあると仮想して行われる。第 2 3図の指示動作者 4 1のように、夕一ゲットロック後の操作パネル 4 2は、常に指示動作者 4 1の真正面に設定される。この操作パネル 4 2に対して、指示動作者 4 1はその操作パネル 4 2の一部（第 2 3図の例では 9力所に分割）に夕ツチすることで、操作対象機器 6を制御する。

次に、夕一ゲットロヅク後も腕指し動作が続いているかをステップ S 1 6 2で判断（判定）した後、腕指しが継続している場合（Y E S ) は、肩の高さと腕指しの方向をステップ S 1 6 3で取得する。そして、体の正面に設定された操作パネル 4 2の範囲内に腕指しがあるがどうかをステップ S 1 6 4で判断（判定）し、操作パネル 4 2の範囲内にある場合（Y E S ) は、どのパネルを指しているか判定し、その場所に対応するコマンドをステップ S 1 6 5において送信する。また、ステップ S 1 6 2において腕指しをしておらず（N O ) 、さらにステップ S 1 6 6において、夕一ゲヅトロックから一定時間腕指しがなかつた場合（ Y E S )は、腕指し判定を終了する。このパネル夕ツチ操作は、操作対象機器 6のスィッチに上記のような直接触れるような操作をいくつか組み合わせることもできる。第 2 6図にはパネルジエスチヤ操作のフローチヤ一トを示した。第 2 6図のステヅプ S 1 7 0 1において、指示動作者 4 1が夕一ゲヅトロヅクを行った後の、体の方向（肩の向き）を取得し、それをパネルジヱスチヤ操作の基点とする。パネルジヱスチヤ操作では、第 2 3図に示す指示動作者 4 1のように、夕一ゲヅトロック後の操作パネル 4 2は、常に指示動作者 4 1の真正面に設定される。この操作パネル 4 2に対して、指示動作者 4 1が行うそのパネル内の範囲（第 2 3図の例では 9力所に分割）の腕指し軌跡を判別することで、操作対象機器 6を制御する。つまり同じ円のような軌跡でも、その通過順序によって操作コマンドを別々に作ることができる。これらは全て操作機器登録部 3 5によって自由に設定できる。

具体的には、まず、ステップ S 1 7 0 1で体の方向を取得した後、ステップ S 1 7 0 2において、夕一ゲヅトロヅク後も腕指し動作が続いているかを判断（判定）する。腕指しが継続している場合（Y E S ) は、肩の高さと腕指しの 3次元方向をステップ S 1 7 0 3で取得する。そして、その腕指しの方向が体の正面に設定された操作パネル 4 2の範囲内にあるかどうかをステップ S 1 7 0 4で判断 (判定）し、操作パネル 4 2の範囲内にある場合（Y E S ) は、その腕指しされたパネルは既に指示動作者 4 1の腕が通過済みか否かをステヅプ S 1 7 0 5にて判断（判定）する。未通過の場合（N O ) は、ステップ S 1 7 0 6において、腕指し軌跡にそのパネル位置を追加する。そして、ステップ S 1 7 0 7でその腕指し軌跡に対応する操作コマンドがあるかどうかを判定し、対応するコマンドがぁる場合（Y E S )は、その操作コマンドをステップ S 1 7 0 8において送信する。ステップ S 1 7 0 2において、腕指しがされていない場合（N O ) は、腕指し軌跡の初期化を行い、ステップ S 1 7 1 0で夕一ゲヅトロヅクから一定時間腕指しなしで経過したかを判断（判定）して Y E Sの場合は腕指し判定を終了する。このパネルジヱスチヤ操作は、その腕指し軌跡の順序を変えることで、様々な操作コマンドに対応させることができる。

ここまでに示した十字操作、パネル夕ツチ操作、パネルジエスチヤ操作は、基本的に操作対象機器 6に対して、腕指しで夕一ゲットロックを行った後、続けて、その操作対象機器 6に向かって指示動作を行うことを基本としている。そこで、第 1図及び第 2図に示した表示装置 8を用いることで、複雑な操作をより容易に行えることを示す実施形態を第 2 7図に示した。

第 2 7図は、パネル夕ツチ操作やパネルジエスチヤ操作と表示装置 8との組み合わせによる指示操作実施形態を示している。第 1段階として、夕一ゲットロックの実施形態 5 1では、指示動作者 4 1は操作対象機器 6に対して腕指しをする意図を示している。このとき、指示動作者 4 1は操作対象機器 6に向かって腕指しを行い、表示装置 8は別方向に存在する。

次に、第 2段階として、表示装置 8を使った操作パネル 4 2の利用形態 5 2では、ターゲットロック直後に、指示動作者 4 1の体の向きとは関係なしに、別方向にある表示装置 8と指示動作者 4 1とを結ぷ直線上に操作パネル 4 2が設定される。これは指示動作者 4 1がどの位置に移動しても一定時間は指示動作者 4 1 と表示装置 8を結ぶ直線上に常に設定され、その操作パネル 4 2と操作コマンドなどが表示装置 8に表示される。

第 3段階として、表示装置 8を使ったパネル操作実施形態 5 3では、指示動作者 4 1は、操作対象機器 6を一切気にすることなしに、表示装置 8に表示される操作パネル 4 2や情報を見ながら実際に操作対象機器 6を制御することができる。このような方法で、覚えられないコマンドや複雑な操作を行う場合でも、指示動作者 4 1は表示装置 8の助けを借りて容易に操作対象機器 6を制御することが可能になる。

さらに、このような表示装置 8を使ったパネル操作実施形態 5 3の別な実施形態として、最初から夕一ゲットロックをしない方法もある。この方法では、操作対象機器 6などをメニューとして表示装置 8に表示しておき、指示動作者 4 1は表示装置 8のみに向かって室内のどの位置からでも全ての機器の制御を行う。この方法は、特に身体障害者など動き回ることが少なく、常時一方向を向いていることが多い人には便利なィンタフェースとなる。

第 3図の操作機器登録部 3 5では、操作対象機器 6の情報やその操作のための各種指示動作やその組み合わせなどを操作機器デ一夕ベース 3 4に登録することができる。このときの実施形態を第 2 2図のフローチャートに示した。ステップ S 141では、最初に対象となる操作対象機器 6の種別、個別情報などを登録する。続いてステップ S 142では、その操作対象機器 6の位置を登録する。さらにステップ S 143では、指示動作とそれに対応するコマンドの登録を行う。そしてステップ S 144では、さらに複雑な場合として、指示動作の組み合わせ、指示動作時の表示装置利用の有無などを登録し、これらの一連の動作を必要数だけ繰り返す。

また、これら一連の操作機器登録時には、操作コマンド送受信装置 9を使って、 Bluet o o t hや E C H 0 N E Tなどを有する情報家電などとの間で通信を行う。これは操作機器登録部 35と操作コマンド送受信装置 9との間で必要情報を相互に通信して、必要な情報を獲得する。

ステップ S 142においては、操作機器に LEDなどのランプを取り付け、それを B 1 u e.t o o t hや E CHONE Tなどを経由した命令で点灯させることによって、それがステレオカメラ 1の視野範囲にある場合は、その 3次元位置を自動的に取得することが可能である。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。

(Α) 室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作を実現させることができる。

(Β) 上記（Α) を受けて、ユーザの聘指しによる指示動作によって室内空間の操作対象機器の操作を容易にすることができる。

(C) 特定エリアの設定により、ユーザの腕指しによる目標を確実に設定することができる。

(D) 特定エリアが介護べッドの頭部サイドである場合、特定エリアを基準にして、立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によつて室内空間の操作対象機器の操作をアシストすることができる。

(Ε) 疑似腕指しを的確に検出する。つまり、一見、腕指しのように見える挙動を腕指しから確実に除外して、正確な腕指しの判定を行うことができる。

Claims

請求の範囲

1 . ( a ) 室内空間において複数のステレオカメラにより該室内を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、

( b ) 前記各ステレオカメラからの距離情報に基づき、ユーザの位置姿勢と腕指しを抽出する位置姿勢 ·腕指し認識手段と、 '

( c ) 前記ユーザの腕指しが識別された場合に、該腕が指し示している方向、その動きから、指示動作であるかどうかを認識する指示動作認識手段と、

を具備することを特徴とするイン夕フェース装置。

2 . 請求の範囲第 1項に記載のイン夕フェース装置において、前記指示動作認識手段の動作に基づき、予め登録された室内機器を操作するマンドを送出し、その結果を受信する操作コマンド送受信装置を具備することを特徴とするィン夕フェース装置。

3 . 請求の範囲第 1項に記載のイン夕フェース装置において、前記位置姿勢 ' 腕指し認識手段は、集められた 3次元倩報から前記距離デ一夕を室内空間座標系に沿って、段違い引き出し法により取り出し、デ一夕を 2次元平面に投影することで複数のユーザの姿勢認識処理をする位置姿勢認識部と、該得られた複数のュ —ザの 2次元投影図から腕指しの方向を識別する腕指し認識部とを有することを特徴とするインタフェース装置。

4 . 請求の範囲第 1項に記載のイン夕フェース装置において、前記指示動作認識手段は、前記得られた腕指しの方向の時系列デ一夕からその指示動作を認識する指示動作認識部を有し、更に、腕指し操作の対象となる操作対象機器の情報や操作方法を保存する操作機器データベースと、前記操作対象機器の基本情報、位置、操作方法を記憶する操作機器登録部とを具備することを特徴とするイン夕フヱ一ス装置。

5 . 請求の範囲第 1項に記載のイン夕フェース装置において、前記腕指しを抽出する位置姿勢 ·腕指し認識手段は、各ステレオカメラから得られた 3次元距離情報を、室内座標系に基づいて、 2 0 c mごとに階層的に区切って情報を切り出す段違い引き出し法により、各引き出し内に入った点列を 2次元平面に投影した後、二値化して、 2次元の二値画像となし、各階層単位でラベリングを行った後で各クラス夕の全体重心を求め、 2次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げて、 3次元点列として利用し、 Z軸に沿つて各階層ごとの重心をプロットして、最上部（頭部）より 8階層分（上半身）までを X Y平面上にプロットし、全体重心と比較して大きな外れ値があった場合を腕指し動作が行われたとするとともに、最上部より 8階層分までの二値画像と等価の矩形形状である画像モーメントを求めて得られた 8組のデータのうち面積が一定の範囲にあり、かつ画像モーメントの長辺と短辺の差が最も大きい階層の長辺の垂直方向を体の向きとし、前記した腕指し動作が認識された場合、最も全体重心からプレー卜重心が離れた階層の二値画像の重心と全体重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り、腕部分のみを残し、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺、重心、腕先端位置、全体重心を計算することで腕指しの X Y平面上での向きを決定し、身長、目の高さ、腕長係数から腕指しの Z方向の向きを決定して腕指しの方向を求め、指示動作を認識することを特徴とするイン夕フェース装置。

6 . 請求の範囲第 5項に記載のイン夕フェース装置において、頭の高さ及び座高に相当する高さから腕指し判定の下限を設定して、該下限より下にある疑似腕指しの場合は、腕指しではないと判定することを特徴とするィン夕フェース装置。

7 . 請求の範囲第 6項に記載のイン夕フェース装置において、前記下限より下にある疑似腕指しの場合が脚を投げ出した場合であるインタフェース装置。

8 . 請求の範囲第 5項に記載のインタフヱース装置において、前記画像モーメントの長辺の身長との比が一定に達していない場合は、腕指しでないと判定することを特徴とするィン夕フヱ一ス装置。

9 .請求の範囲第 8項に記載のィン夕フェース装置において、該当する場合が、小さい腕指しであることを特徴とするィン夕フヱ一ス装置。

1 0 . 請求の範囲第 5項に記載のイン夕フェース装置において、平均重心から腕指し先端までの距離を r 1、前記平均重心から腕指し末端までの距離を r 2とすると、； r 1 / r 2が身長から設定された値以下である場合は、腕指しでないと判定することを特徴とするィン夕フェース装置。

1 1 . 請求の範囲第 1 0項に記載のインタフェース装置において、該当する場合が、小さい腕指しであることを特徴とするインタフエ一ス装置。

1 2 . 請求の範囲第 5項に記載のインタフェース装置において、前記画像モーメントの長辺 L 1 、短辺 L 2 より面積 Sを求め、該面積 Sに上限を、前記画像モーメントの長辺 L 1 に下限を設定し、この限度から外れる場合は、腕指しでないと判定することを特徴とするインタフエース装置。

1 3 . 請求の範囲第 1 2項に記載のイン夕フェース装置において、前記限度から外れる場合は、両手を広げた場合であることを特徴とするィン夕フエ一ス装置。

1 4 . 請求の範囲第 5項に記載のイン夕フェース装置において、腕指し先端と平均重心間距離と、腕指し末端と平均重心間距離の比が設定値以上の場合は、腕指しでないと判定することを特徴とするィン夕フエ一ス装置。

1 5 . 請求の範囲第 1 4項に記載のイン夕フェース装置において、前記限度から外れる場合は、両手を広げた場合であることを特徴とするィン夕フエース装置。

1 6 . 請求の範囲第 5項に記載のインタフヱース装置において、ユーザの腕指し先端を中心に、所定の半径内に相手の平均重心を発見した場合は、腕指しでないと判定することを特徴とするィン夕フエ一ス装置。

1 7 . 請求の範囲第 1項に記載のインタフェース装置において、前記室内空間のうち特定エリァを予め登録しておき、その特定エリァにユーザがいる場合にそのユーザの腕指しを識別することを特徴とするィン夕フェース装置。

1 8 . 請求の範囲第 1 7項に記載のイン夕フェース装置において、前記特定ェリアを介護ベッドの頭部サイドとし、その特定エリア内にュ一ザがいる場合は、その特定ェリァ用の腕指し識別を行うことを特徴とするインタフエース装置。

1 9 . 請求の範囲第 1 8項に記載のイン夕フェース装置において、前記特定ェリアを介護べッドの頭部サイドとし、その特定エリア内にュ一ザがいない場合は、ユーザが立位、座位又は伏位かどうか判定し、それぞれの姿勢での腕指しを識別することを特徴とするィン夕フェース装置。