JP7489048B2 - ジェスチャ認識装置、システム及びそのプログラム - Google Patents

Description

本発明は、インターフェース操作に使用したいジェスチャをカメラの最近接で行うようにすることで、そのジェスチャをパーソナルコンピュータなどのインターフェース制御を行うことを可能とするジェスチャ認識装置、システム及びそのプログラムに関するものである。

従来から、特に身体が不自由な障害者が、自身が動かせる範囲で自由にコンピュータが使えるよう、様々なインターフェースが開発されている。たとえば、指先が動く人用のスイッチや、呼気で使う呼気スイッチ、音声入力ソフトなどである。しかし、個々人によって可動できる身体部位、可動域が異なるうえ、日々状態が異なるため、個々人の状態に合わせたオーダーメードでインターフェースを開発することが必要となる場合も多く、必ずしも多くの障害者が快適に使えるインターフェースが十分に提供できていないという問題があった。

また、画像データによるジェスチャ認識においては、距離画像データを利用したジェスチャ認識システムによるジェスチャ検出が提案されている。非特許文献１においては、ジェスチャの大きさや動作に個人差があることから、個人差が最小化できるようなジェスチャを検討し、誰もが自然で直観的なジェスチャとすることで、確実にジェスチャ検出による照明制御を行うための技術が開示されている。

三木光範 外３名著、「Kinectを用いたジェスチャ検出による照明の制御」、２０１２年度人工知能学会全国大会（第２６回）、２０１２年６月１２日、p.1-3

しかし、非特許文献１に開示された技術では、システム側が認識しやすいジェスチャであるため、システム側の仕様に従ったジェスチャを行う必要がある。従って、個々人によって異なるジェスチャを記憶させてインターフェース制御に使うことができなかった。

本発明は、上述した従来技術の課題に鑑みてなされたもので、ジェスチャをカメラの最近接で行うようにすることでインターフェース制御に使用するジェスチャを計測、登録し、インターフェース制御に用いることが可能な、ジェスチャ認識装置を提供することを目的とする。

上記目的に鑑み、本発明はユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置であって、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置を提供する。

なお、ジェスチャ計測部は、さらに、距離画像データのうち、最近接点が存在しうる範囲を追跡領域として判定する追跡領域判定部を有し、追跡領域判定部は、複数の距離画像データから検出した最近接点を包含する追跡領域を判定し、ジェスチャ認識時には、最近接点検出部は、前記追跡領域判定部が判定した追跡領域内において最近接点を検出するよう構成してもよい。追跡領域を設定することで、距離画像データ全体から最近接点を探索する必要がなくなり、誤検出を防止でき、また処理時間を低減することができる。

前記ジェスチャ認識部は、入力のオン側で最近接点を検出する時間が所定時間以上であることを検出すると、前記インターフェース制御部は、所定のインターフェースを長押しするよう制御するよう構成してもよい。これにより、ジェスチャによる長押し入力が可能となり、長押し入力が難しい障がい者であっても、容易にキーボード入力が自在に行えるようになる。

さらに、ジェスチャとジェスチャに対応するインターフェースとを記憶する対応ジェスチャ記憶部を有し、ジェスチャ認識部は、複数のジェスチャが記憶されている場合、最近接点が検出されると、いずれのジェスチャに対応するかを前記入力切替境界と比較してジェスチャ認識を行うよう構成してもよい。

また、ジェスチャ計測部は、検出した最近接点の軌跡に基づき、ジェスチャガイドラインを算出し、ジェスチャ認識部は、前記ジェスチャガイドラインを表示部へ表示させるよう構成することで、認識が容易なジェスチャをユーザが行いやすくなる。

ジェスチャ計測部は、入力のオフ側となる原点を検出し、ジェスチャ認識部は、検出された最近接点が入力切替境界に対して原点と同じ空間にあるかどうかを判定することで、入力のオン、オフを判定するよう構成してもよい。

ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うためのジェスチャ認識プログラムであって、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置としてコンピュータを機能させることを特徴とする、ジェスチャ認識プログラムを提供する。

距離画像データを撮像する撮像装置と、ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置と、を有するジェスチャ認識システムであって、撮像装置は、ユーザの身体を撮像し、ジェスチャ認識装置は、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部とを有するジェスチャ認識システムを提供する。

本発明によれば、ユーザにジェスチャをカメラの最近接で行わせ、その軌跡をジェスチャ認識に用いることで、身体部位を意識することなく、ユーザがインターフェースに使用したいジェスチャを簡便にインターフェース制御に利用することができる。

また、ユーザは使用したいジェスチャを複数回行ってジェスチャ計測するだけでそのジェスチャをインターフェース制御に用いることができるため、可動域に制限があるユーザであっても個々人の可動域にあわせたジェスチャを登録し、インターフェース制御に用いることができる。

図１は本発明におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。 図２は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ計測段階におけるユーザのジェスチャを計測する処理の流れの一例を示すフロー図である。 図３は、記憶部２６０に記憶されている設定情報記憶部２６４のデータ記憶内容の一例を示す図面である。 図４は、本発明の記憶部２６０に記憶されている対応ジェスチャ記憶部２６６のデータ記憶内容の一例を示す図面である。 図５は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ認識段階におけるユーザのジェスチャを認識する処理の流れの一例を示すフロー図である。 図６は、ジェスチャ計測段階において、複数の距離画像データから検出した最近接点の軌跡と現在撮像されている距離画像データとが表示装置４０に表示された画面の一例である。 図７は、ジェスチャ認識中において表示装置４０に表示される表示画面の一例である 図８は、ジェスチャ認識段階において入力オンとなるジェスチャ動作と入力オフとなる距離画像データの一例である。 図９は、ジェスチャ認識装置２０のハードウェア構成図の一例である。

ジェスチャに対応するインターフェース制御を行うためには、インターフェース制御を行うためのジェスチャを計測して記憶するジェスチャ計測段階と、ジェスチャが行われたかどうかを認識し、ジェスチャが行われたと判定されたときにそのジェスチャに対応するインターフェース制御を行うジェスチャ認識段階とにわかれる。複数のインターフェース制御を行う場合は、インターフェース制御に対応するジェスチャを個別に計測して記憶し、ジェスチャ認識段階においては、記憶されている複数のジェスチャのうちのいずれに対応するジェスチャかを認識する。以下、本発明における実施の形態を、図面を用いて説明する。

図１は本発明におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。図１において、ジェスチャ認識装置２０は、撮像装置１０、インターフェース３０、表示装置４０と接続されている。撮像装置１０は、３次元距離画像を撮像するカメラであり、例えば２つのカメラを有するいわゆるステレオカメラでもよく、またカメラと距離画像センサとで構成した３次元距離画像を取得できるカメラであってもよい。たとえば、撮像装置１０は、指を動かすジェスチャなど、インターフェース制御に利用するジェスチャを行っているユーザを撮像する。撮像装置１０は、撮影により動画像データを取得し、ジェスチャ認識装置２０へと送る。インターフェース３０は、ジェスチャ認識装置２０によって制御されるインターフェースであって、例えば、ボタン３１０、キー３２０、スイッチ３３０、アラーム３４０などであるが、これに限らず、マウス、キーボード、タッチパネルなどであってもよい。表示装置４０は、ディスプレイであって、撮像装置１０が撮像した画像等を表示する。

ジェスチャ認識装置２０は、画像取込部２１０、最近接点検出部２２０、ジェスチャ計測部２３０、ジェスチャ認識部２４０、インターフェース制御部２５０、記憶部２６０を有する。

画像取込部２１０は、たとえば撮像装置１０が撮像したユーザを撮像した距離画像データを取り込む。取り込んだ距離画像データは動画像データであり、２以上のフレーム画像データであるとともに、視差又は距離データを有する。つまり、ステレオカメラである撮像装置１０から２つの画像データを取り込み、画像取込部２１０で視差を算出してもよい。また、視差データとしているが、撮像装置がステレオカメラではなく、距離計を有するカメラである場合には、画像データ及び距離データを取り込んでもよい。ここでいう「距離画像データ」は、時系列画像である動画像データのうちの各時点の画像データ（一フレーム画像）である。画像取込部２１０は、入力される画像データ及び距離データを最近接点検出部２２０へと出力する。また、画像取込部２１０が取り込んだ距離画像データは、距離画像記憶部２６２へ記憶される。

最近接点検出部２２０は、画像取込部２１０が取り込んだ距離画像データから、ジェスチャを計測又は認識するため、撮像装置１０からの最近接点を検出する。最近接点検出部２２０は、距離画像データの位置フレーム画像データ各々において、距離画像データに含まれている距離データ等に基づいて、撮像装置１０から最も近い距離データを有する点を探索し、最近接点として検出する。

ユーザは、認識させたジェスチャを行う身体部位が撮像装置１０に対して最も近い位置においてジェスチャを行うようにする。例えば、指差しのジェスチャのように人差し指だけを立てて、手の人差し指の先端が最近接点となるような位置とする。そして、人差し指を上下に数回動かすことで、人差し指による上下動作を第一のジェスチャとして計測する。なお、同じ人差し指または異なる手の人差し指で左右に振る動作を第二のジェスチャとして計測、記憶するなどすることで、異なるジェスチャを登録し、異なるインターフェース制御に用いることができる。最近接点検出部２２０は、人差し指の先端を最近接点として検出するため、ジェスチャの動きを検出できる。なお、ここでは人差し指による上下動作、左右動作を例に説明したが、これに限らず、肘を前に出して腕を動かす動作、足の指を動かす動作等であってもよい。

最近接点検出部２２０は、距離画像データ全体から最も近い距離データを有する点を最近接点として検出してもよい。また、誤検出防止、処理時間低減のために、最初のフレーム画像についてのみ距離画像データ全体を探索して検出し、次フレーム画像以降は、前フレームで最近接点を検出した座標近傍のみを探索して検出するよう構成してもよい。さらに、ジェスチャ認識段階においては、ユーザのジェスチャが存在しうる範囲、つまり最近接点が存在しうる範囲として追跡領域が設定情報記憶部２６４に記憶されている場合、追跡領域において最近接点を検出するよう構成してもよい。

最近接点検出部２２０は、ジェスチャ計測時の追跡領域判定においては、設定情報記憶部２６４に記憶されている追跡領域判定フレーム数分、最近接点の検出を行う。また、ジェスチャ計測により追跡領域や最近接点の撮像装置１０からの最小距離の値である最近傍点や最大距離の値である最遠点が記憶される。このため、最近接点検出部２２０は、ジェスチャ認識時には、設定情報記憶部２６４から追跡領域、最近傍点、最遠点、マージン値を読みだして、最近接点を検出する、追跡領域により探索範囲を小さくすることができ、また最近傍点と最遠点にマージン値を加えて算出された範囲の距離において最近接点を検出するため、誤検出を防止することができる。

ジェスチャ計測部２３０は、ジェスチャを計測するため、ユーザのジェスチャ動作により複数の距離画像データから検出された、最近接点の集まりである軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出する。ジェスチャ計測時に最近接点検出部２２０が過去に検出した各距離画像データにおける最近接点の座標点を現在の距離画像データにおける最近接点とともに並べて表示することで、ジェスチャ動作による軌跡が取得できる。ジェスチャ計測部２３０は、例えば、ユーザが複数回同じジェスチャ動作を行うことにより取得した複数フレーム分の距離画像データによる最近接点の軌跡に基づき、最も距離が大きくなる２点を算出し、その二点を結ぶ線分の中点を通り、垂直な平面を算出することで、入力切替境界を算出するように構成してもよい。なお、これに限らず、ジェスチャ動作による軌跡を取得し、軌跡を近似する直線を算出し、その垂直二等分平面を算出するように構成してもよい。また、ジェスチャ計測部２３０は、ジェスチャ動作の開始点を原点とし、入力切替境界を算出後、原点が存在する側の空間を入力オフと設定するよう構成してもよい。

ジェスチャ計測部２３０は、算出した入力切替境界とジェスチャガイドライン、原点とを、所定のインターフェースに対応付けて対応ジェスチャ記憶部２６６に記憶する。

ジェスチャ計測部２３０は、追跡領域判定部２３２を有する。追跡領域判定部２３２は、ジェスチャ計測時に複数の距離画像データから検出した最近接点を包含する追跡領域を判定する。追跡領域とは、最近接点が存在しうる範囲であり、最近接点を検出するために距離画像データ全体を探索することは処理時間がかかり、また誤検出の可能性も大きくなる。このため、ジェスチャ計測時に、追跡領域の判定を行うことで、ジェスチャ認識時には追跡領域範囲内のみを探索できるようにすることで処理時間の低減を図るものである。

追跡領域判定部２３２は、ジェスチャ計測時に距離画像データのうち、最近接点が存在しうる範囲を追跡領域として判定を行う。追跡領域判定部２３２は、例えば、設定情報記憶部２６４に記憶された追跡領域判定フレーム数において、フレーム間差分の総和を求めることにより追跡領域を判定してもよい。例えば、距離画像データについて、前フレームとのフレーム間差分を計算し、モルフォロジー演算でノイズを削減後、所定フレーム数分のフレーム間差分の総和から輪郭を抽出し、その輪郭群を包括する矩形を計算することで追跡領域を算出してもよい。

なお、追跡領域判定を手動で行うようにしてもよい。たとえば、ジェスチャ計測時に取得された最近接点の集合である最近接点の軌跡を表示させ、ユーザが表示装置４０の表示画面上において、最近接点の軌跡を包含する矩形をタッチパネル又はマウス等で指定し、追跡領域判定部２３２がその指定を受け付けることで追跡領域を設定してもよい。追跡領域判定部２３２が判定した追跡領域は、設定情報記憶部２６４に、例えば矩形の四隅の座標値で記憶される。

ジェスチャ認識部２４０は、ジェスチャ計測部２３０が算出した入力切替境界に従って、入力のオンまたはオフの判定を行う。具体的には、ジェスチャ認識部２４０は、ジェスチャ認識段階において、最近接点検出部２２０が検出した最近接点と、対応ジェスチャ記憶部２６６に記憶されている入力切替境界に基づき、複数のジェスチャが登録されている場合は、どのジェスチャに対応するかを複数の前記入力切替境界と比較してジェスチャ認識を行う。たとえば、ジェスチャ認識部２４０は、最近接点の座標点を複数フレーム分取得し、どの入力切替境界平面に対応する座標点かを判定することでどのジェスチャかを認識するよう構成してもよい。また、入力オン側の空間にあると判定する場合に、複数フレーム連続して入力オン側にあると判定した場合に入力オンとするよう構成してもよい。また、入力オフ側の空間にあると判定する場合は、オフ側にあると判定した場合にすぐ入力オフとするよう構成してもよい。また、入力の原点となる点を設定しておき、入力切替境界平面に対して原点がある側の空間を入力のオフとして、ジェスチャ認識部２４０は認識するよう構成してもよい。また、入力切替境界で行き来するように最近接点が検出された場合、頻繁なオン・オフ入力となることを防止するため、入力オンが検出されたあと、所定時間は、入力しないよう構成してもよい。

ジェスチャ認識部２４０は、ジェスチャ認識開始時にジェスチャ計測部２３０が算出したジェスチャガイドラインを対応ジェスチャ記憶部２６６から読み出して表示装置４０に表示させる。ジェスチャガイドラインを表示させることで、ユーザが所望のインターフェース制御を行うためのジェスチャを容易に行うことができる。

ジェスチャ認識部２４０は、対応インターフェースとして長押し入力が記憶されている場合、オン・オフの入力切替境界に基づいて入力のオン側の空間で最近接点を検出する時間が所定時間以上であることを検出すると、インターフェース制御部２５０は所定のインターフェースを長押し制御するよう構成してもよい。なお、ジェスチャ認識部２４０は、一つのジェスチャに対して対応インターフェースとして長押しと長押しでない場合とが対応ジェスチャ記憶部２６６に記憶されている場合、最近接点が入力切替境界のオン側の空間で検出される時間を計測し、所定時間以上である場合は長押し、所定時間未満の場合は長押しではない通常の入力として所定のインターフェースを制御するよう構成してもよい。

インターフェース制御部２５０は、ジェスチャ認識部２４０が、認識したジェスチャに関連づけられたインターフェース制御を行う。具体的には、記憶部２６０の対応ジェスチャ記憶部２６６を読み出し、所定のジェスチャ内容に対応するインターフェース制御を読み出し、インターフェース３０を制御する。例えば、チャンネル１に該当するジェスチャが認識された場合、インターフェース制御部２５０は、対応ジェスチャ記憶部２６６を読み出し、チャンネルのジェスチャに対応するインターフェース制御、例えば、スイッチをオンする。また、対応ジェスチャ記憶部２６６に記憶されているインターフェースが長押しの場合、ジェスチャ認識部２４０が所定時間以上オン側にあると判定した場合、長押しに対応するインターフェース制御を行う。

記憶部２６０は、距離画像記憶部２６２、設定情報記憶部２６４、対応ジェスチャ記憶部２６６を有している。距離画像記憶部２６２は、撮像装置１０から、画像取込部２１０が取り込んだ距離画像データを記憶している。距離画像記憶部２６２に記憶されている距離画像は、適宜、ジェスチャ計測部２３０又はジェスチャ認識部２４０によって読み出される。

設定情報記憶部２６４は、追跡領域判定フレーム数、深度フィルタの最小値、最大値、ジェスチャ手前マージンと奥マージン、追跡領域を記憶する。追跡領域判定フレーム数とは、追跡領域の判定に必要なフレーム数である。また深度フィルタとは、撮像装置１０が認識可能な距離であり、その最小値、最大値を記憶している。ジェスチャマージンとは、計測したジェスチャに対するマージンであり、手前側のマージン値と、奥側のマージン値とを記憶する。また、設定情報記憶部２６４は、追跡領域を記憶する。追跡領域判定部２３２が判定した追跡領域をジェスチャ毎に記憶しており、例えば、追跡領域として、矩形の四隅の画面座標と、ジェスチャ計測時に最近接点を計測したなかでの距離の最小値である最近傍点と最大値である最遠点を記憶している。

対応ジェスチャ記憶部２６６は、ジェスチャの動作に関連付けられたインターフェース制御の内容を対応づけて記憶している記憶部である。インターフェース制御部２５０は、ジェスチャ認識部２４０が所定のジェスチャがされたことを認識すると、対応ジェスチャ記憶部２６６を読み出し、認識されたジェスチャに対応するインターフェース制御を行う。対応ジェスチャ記憶部２６６は、ジェスチャ毎にジェスチャ計測部２３０が計測したジェスチャに対応するジェスチャ入力切替境界、原点、ジェスチャガイドラインと対応するインターフェース制御の内容を記憶する。

図２は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ計測段階におけるユーザのジェスチャを計測する処理の流れの一例を示すフロー図である。ジェスチャ計測段階においては、インターフェース制御に用いたいジェスチャを、撮像装置１０に対して最近接となるような位置で複数回行うことで、ジェスチャを計測する。

最近接点検出部２２０は、ジェスチャ計測が開始されると、画像取込部２１０が取り込んだ距離画像データから最近接点を検出する（ステップＳ２０１）。最近接点検出部２２０は、距離画像データから撮像装置１０に最も近い距離を有する最近接点を検出する。最近接点検出部２２０は、距離画像データであるフレーム画像が取り込まれるごとにそのフレーム画像における最近接点を検出する。

最近接点検出部２２０は、設定情報記憶部２６４に記憶されている深度フィルタの最小値及び最大値を参照し、記憶されている最小値と最大値の範囲内で最近接点を検出する。最近接点の検出方法として、画像データ全体を順に探索してもよいが、例えば、最初のフレーム画像についてのみ、距離画像データ全体を探索して最近接点を検出し、次フレーム画像以降は、前フレーム画像の最近接点を検出した座標近傍から探索を開始し、さらに、前フレーム画像の最近接点と現フレーム画像の最近接点とのベクトルを計算し、ベクトルに基づいて次フレーム画像の最近接点を探索するよう構成してもよい。

ジェスチャ計測部２３０は、ジェスチャ計測が開始されるとジェスチャ開始時の最近接点である始点を検出する（ステップＳ２０２）。始点はユーザがジェスチャを開始する時の最近接点であり、通常は、始点が原点となり、インターフェース入力のオフ側に位置することとなる。検出した始点は、対応ジェスチャ記憶部２６６に記憶する。

ジェスチャ計測部２３０は、ジェスチャ計測が開始され、ユーザがジェスチャ動作を行うと、追跡領域判定と最近接点の軌跡を検出する（ステップＳ２０３）。ジェスチャ計測部２３０の追跡領域判定部２３２が追跡領域判定を行う。追跡領域は、距離画像データすべてを最近接点の検出のために探索することは処理時間がかかることから、処理を高速化するために、最近接点が存在しうる範囲を追跡領域として判定することで、ジェスチャ認識段階において、容易に最近接点を検出できるように設定するものである。

追跡領域判定部２３２は、順次受信するフレーム画像である各距離画像データの最近接点を包含する矩形を追跡領域として判定する。追跡領域判定部２３２は、設定情報記憶部２６４から基本設定情報として記憶されている追跡領域判定フレーム数を読み出し、そのフレーム数分の距離画像データを収集する。追跡領域判定部２３２は、収集したフレーム数分、前フレームと現フレームとのフレーム間差分を計算し、モルフォロジー演算でノイズを削減後、フレーム間差分の総和を計算し、総和の画像において輪郭の集合を抽出し、その輪郭の集合を包括する矩形を計算することで追跡領域を判定する。なお、これに限らず、追跡領域判定部２３２は、各フレーム画像から検出した最近接点の軌跡を収集し、軌跡を包含する矩形を計算する方法があれば、他の方法でもよい。なお、手動で最近接点の軌跡を包含する矩形をユーザが指定することで追跡領域を設定してもよい。算出された追跡領域は、設定情報記憶部２６４へ記憶される。

ジェスチャ計測部２３０は、所定のフレーム数分の距離画像データから最近接点の軌跡を検出する。検出した最近接点のうち撮像装置１０からの距離が最も近い点を最近傍点、最も遠い点を最遠点として設定情報記憶部２６４へ記憶する。ジェスチャ動作を行う際に常に撮像装置１０から同じ距離に最近接点があるとは限らないからである。記憶した最小値及び最大値は、基本設定情報のマージンの値とともに最近接点検出部２２０がジェスチャ認識時に最近接点を探索する際に用いられる。

ジェスチャ計測部２３０は、ジェスチャガイドラインとインターフェース入力のオンとオフの入力切替境界を生成し算出する（ステップＳ２０４）。ジェスチャ計測部２３０は、ジェスチャ計測によって得られた所定のフレーム数分の距離画像データから取得した最近接点の集合である軌跡から最も距離が大きくなる２点を求め、この２点を結ぶ線分をジェスチャガイドラインし、対応ジェスチャ記憶部２６６へ記憶する。このとき、ステップＳ２０２で検出した始点が２点を結ぶ線分の中点に近い場合、２点のうち、始点に近い点を原点とするよう補正してもよい。

ジェスチャ計測部２３０は、２点の中点を通る垂直二等分平面を算出することで、インターフェース入力のオン・オフを切り替える入力切替境界である平面を算出する。補正された原点、ジェスチャガイドライン、入力切替境界は、対応ジェスチャ記憶部２６６にインターフェースに対応づけて記憶される。

図３は、記憶部２６０に記憶されている設定情報記憶部２６４のデータ記憶内容の一例を示す図面である。

設定情報記憶部２６４には、基本設定情報と追跡領域情報とが記憶されている。基本設定情報として、追跡領域判定フレーム数、深度フィルタ、ジェスチャマージンが記憶される。追跡領域判定に必要なフレーム数である追跡領域判定フレーム数、撮像装置１０が認識可能な距離である深度フィルタの最小値と最大値である。ジェスチャマージンとは、ジェスチャ計測時に計測された最近接点の最近傍点の値と最遠点の値に加えるマージン値である。

追跡領域情報として、追跡領域判定部２３２が判定した追跡領域の矩形の四隅の画面座標とジェスチャ計測時に検出した最近接点の最近傍点の値と最遠点の値とを記憶する。ここでは、四隅の座標値を記憶しているが、例えば、一点の座標値と縦横の長さを記憶するよう構成してもよい。また、最近傍点とは、ジェスチャ計測部２３０が計測した最近接点のうち最も撮像装置１０に近い点の距離値である。同様に、最遠点は、計測した最近接点のうち最も撮像装置１０に遠い点の距離値である。これらは、ジェスチャ認識時に、追跡領域情報を読み出して最近接点の検出に用いる。

図４は、記憶部２６０に記憶されている対応ジェスチャ記憶部２６６のデータ記憶内容の一例を示す図面である。

対応ジェスチャ記憶部２６６は、ジェスチャとインターフェースとを対応付けて記憶する。複数のジェスチャとインターフェースとを登録することができるよう、各ジェスチャは、チャンネルごとに記憶する。各ジェスチャは、ジェスチャガイドライン、入力切替境界平面、原点を記憶することで特定する。また、インターフェースとして、長押しを記憶してもよい。また、インターフェースとして、一つのジェスチャに対して通常の場合と長押しの場合とを記憶してもよい。ジェスチャガイドラインは、ジェスチャ計測段階で計測されたジェスチャに近似したガイドラインであり、ジェスチャ認識段階に表示させることで、所望のジェスチャをユーザが行いやすくする。ここでは、ジェスチャガイドラインの線分を特定するための二点の三次元座標が記憶される。

入力切替境界は、インターフェース入力のオン・オフを切り替える境界となる平面である。入力切替境界は、ジェスチャガイドラインの中点を通る垂直二等分平面であり、例えば、ジェスチャガイドラインを規定する２点の三次元座標を垂直二等分する平面の式が記憶される。また、原点は、入力オフ側に存在するジェスチャ開始点であり、原則としてジェスチャ認識時の始点の座標が原点として記憶される。

図５は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ認識段階におけるユーザのジェスチャを認識する処理の流れの一例を示すフロー図である。ジェスチャ認識段階においては、ジェスチャ認識装置２０は、撮像装置１０に対して最近接となる位置で行われたジェスチャが記憶されているジェスチャのいずれに該当するかをジェスチャ認識部２４０が認識し、認識されたジェスチャに対応するインターフェース制御を行う。

ジェスチャ認識が開始されると、ジェスチャ認識部２４０は、全チャンネルのジェスチャガイドラインと原点、入力切替境界を表示する（ステップＳ５０１）。ジェスチャ認識部２４０は、対応ジェスチャ記憶部２６６から記憶されているすべてのジェスチャガイドラインと原点、入力切替境界を読み出し、表示装置４０へ表示させる。

最近接点検出部２２０は、いずれかの追跡領域内で最近接点を探索、検出する（ステップＳ５０２）。最近接点検出部２２０は、設定情報記憶部２６４から各チャンネルに記憶されている追跡領域と最近接点の距離の最小値と最大値、マージン値を読み出し、画像取込部２１０が取り込んだ距離画像データから追跡領域の範囲内において、最近接点の距離の最小値、最大値、マージン値に基づいて最近接点を探索、検出する。なお、このとき、最初のフレーム画像については、追跡領域の範囲内において、最近接点の距離の最小値、最大値、マージン値に基づいて最近接点を探索、検出し、次フレーム画像以降は、追跡領域の範囲内において、最近接点の距離の最小値、最大値、マージン値の範囲内において、前フレーム画像の最近接点を検出した座標近傍から探索を開始し、さらに、前フレーム画像の最近接点と現フレーム画像の最近接点とのベクトルを計算し、ベクトルに基づいて次フレームでは前フレームでの最近接点の近傍で画像の最近接点を探索するよう構成してもよい。

ジェスチャ認識部２４０は、検出された最近接点がどの入力切替境界平面上にあるか判定する（ステップＳ５０３）。ジェスチャ認識部２４０は、対応ジェスチャ記憶部２６６に記憶されている１又は２以上の入力切替境界平面を読み出し、最近接点検出部２２０が検出した最近接点がどの入力切替境界平面上にあるか判定する。この判定において、誤判定を避けるため、連続する複数フレーム分の最近接点においてどの入力切替境界平面上にあるか判定を行い、すべて同じ入力切替境界平面上にあると判定された場合にその入力切替境界平面にあると判定してもよい。

ジェスチャ認識部２４０は、どの入力切替境界平面であるか決定すると、その入力切替境界平面において最近接点が入力のオン側かどうかを判定する（ステップＳ５０４）。より具体的には、ジェスチャ認識部２４０は、最近接点が入力切替境界平面に対して原点側の空間にあるかどうかを判定し、入力切替境界平面に対して原点側の空間にある場合は、入力オフ、原点側ではない場合は、入力オンと判定してもよい。オン側ではない場合（Ｎｏ）、引き続き、最近接点が入力のオン側かどうかの判定を継続する。

オン側である場合（Ｙｅｓ）、ジェスチャ認識部２４０は対応ジェスチャ記憶部２６６からジェスチャに対応するインターフェースを読み出し、インターフェース制御を行う（ステップＳ５０５）。例えば、対応ジェスチャ記憶部２６６に、スイッチを押すと記憶されている場合は、オン側であると判定された場合、スイッチを押すようインターフェース制御がされる。対応ジェスチャ記憶部２６６に、長押しが記憶されている場合、ジェスチャ認識部２４０は、入力オン側で所定時間以上、最近接点を検出した場合に、長押しのインターフェース制御を行うように構成してもよい。なお、これに限らず、入力オン側で最近接点を検出し、長押しがインターフェースとして対応づけられている場合に、所定時間未満の入力でも長押し制御するように構成してもよい。さらに、一つのジェスチャに対して通常のインターフェースと長押しのインターフェースとを対応づけて対応ジェスチャ記憶部２６６に記憶している場合、ジェスチャ認識部２４０は、入力オン側の空間に最近接点が所定時間以上あるかどうかを判定し、所定時間未満の場合は、通常の入力、所定時間以上の場合は長押し入力に対応するインターフェース制御を行うように構成してもよい。

図６は、ジェスチャ計測段階において、複数の距離画像データから検出した最近接点の軌跡と現在撮像されている距離画像データとが表示装置４０に表示された画面の一例である。ジェスチャ計測段階においてジェスチャ計測部２３０は、最近接点検出部２２０により検出された過去の最近接点を現在撮像されている距離画像データとともに最近接点の軌跡として表示させる。

図７は、ジェスチャ認識中において表示装置４０に表示される表示画面の一例である。ジェスチャ認識段階においては、現在撮像されている距離画像データとともに、対応ジェスチャ記憶部２６６に記憶された認識可能なジェスチャに対応するすべての追跡領域、ジェスチャガイドライン、原点、入力切替境界が、現在検出されている最近接点とともに表示装置４０に表示される。

図８は、ジェスチャ認識段階において入力オンとなるジェスチャ動作と入力オフとなる距離画像データの一例である。（ａ）は、現在の距離画像データから検出される最近接点がジェスチャガイドライン上であり、かつ入力切替境界の原点側の空間にあるため、ジェスチャ認識部２４０は入力オフと判定する。（ｂ）は、現在の距離画像データから検出される最近接点がジェスチャガイドライン上にあり、かつ原点とは入力切替境界を挟んで反対側の空間にあるため、ジェスチャ認識部２４０は、入力オンと判定する。

図９は、ジェスチャ認識装置２０のハードウェア構成図の一例である。ジェスチャ認識装置２０は、システム使用者の所有するパーソナルコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。

パーソナルコンピュータは、ＣＰＵ（中央演算装置）９０１と、ＣＰＵ９０１にバスを介して接続されているＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０５、ハードディスクドライブなどのコンピュータ読み取り可能な記録媒体である外部記憶装置９０７、Ｉ／Ｏインターフェース９０９、通信ネットワーク回線に接続するための通信インターフェース９１１などとを備え、Ｉ／Ｏインターフェース９０９には、撮像装置であるカメラ１０、インターフェース３０であるボタン、キー、スイッチ、アラームと、表示装置であるディスプレイ４０が接続されている。この場合、例えば、ジェスチャ認識装置２０の画像取込部２１０、最近接点検出部２２０、ジェスチャ計測部２３０、ジェスチャ認識部２４０、インターフェース制御部２５０の機能が、パーソナルコンピュータ上で実行されるプログラムによって実現され、記憶部２６０の機能が外部記憶装置９０７によって実現される。各種機能を実現するプログラムは、外部記憶装置９０７に記憶され、ＲＡＭ９０３に読みだされた後に、ＣＰＵ９０１によって実行される。

１０ 撮像装置
２０ ジェスチャ認識装置
３０ インターフェース
４０ 表示装置
２１０ 画像取込部
２２０ 最近接点抽出部
２３０ ジェスチャ計測部
２４０ ジェスチャ認識部
２５０ インターフェース制御部
２６０ 記憶部

Claims (8)

1. ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置であって、
   撮像装置が撮像した距離画像データを順次取り込む画像取込部と、
   前記距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、
   ジェスチャ計測段階において、複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡から最も距離が大きくなる２点を結ぶ線分であるジェスチャガイドラインと、インターフェース入力のオン・オフを切り替える垂直二等分平面であって前記２点の中点を通る入力切替境界とを算出するジェスチャ計測部と、
   前記ジェスチャ計測部が算出した前記ジェスチャガイドラインと前記入力切替境界とをインターフェースに対応付けて記憶する対応ジェスチャ記憶部と、
   ジェスチャ認識段階において、前記距離画像データから前記最近接点を検出すると、前記対応ジェスチャ記憶部に記憶された前記入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、
   前記ジェスチャ認識部において入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置。
2. 前記ジェスチャ計測部は、さらに、前記距離画像データのうち、最近接点が存在しうる範囲を追跡領域として判定する追跡領域判定部を有し、
   前記追跡領域判定部は、複数の距離画像データから検出した最近接点を包含する追跡領域を判定し、
   ジェスチャ認識時には、前記最近接点検出部は、前記追跡領域判定部が判定した追跡領域内において最近接点を検出する、
   請求項１記載のジェスチャ認識装置。
3. 前記ジェスチャ認識部は、入力のオン側で最近接点を検出する時間が所定時間以上であることを検出すると、前記インターフェース制御部は、所定のインターフェースを長押しするよう制御する、請求項１～２記載のジェスチャ認識装置。
4. 前記ジェスチャ認識部は、複数のジェスチャが記憶されている場合、最近接点が検出されると、いずれのジェスチャに対応するかを前記入力切替境界と比較してジェスチャ認識を行う、請求項１～３記載のジェスチャ認識装置。
5. 前記ジェスチャ認識部は、前記ジェスチャガイドラインを表示部へ表示させる、請求項１～４記載のジェスチャ認識装置。
6. 前記ジェスチャ計測部は、入力のオフ側となる原点を検出し、
   前記ジェスチャ認識部は、検出された最近接点が入力切替境界に対して原点と同じ空間にあるかどうかを判定することで、入力のオン、オフを判定する、請求項１～５記載のジェスチャ認識装置。
7. ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うためのジェスチャ認識プログラムであって、
   撮像装置が撮像した距離画像データを順次取り込む画像取込部と、
   前記距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、
   ジェスチャ計測段階において、複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡から最も距離が大きくなる２点を結ぶ線分であるジェスチャガイドラインと、インターフェース入力のオン・オフを切り替える垂直二等分平面であって前記２点の中点を通る入力切替境界とを算出するジェスチャ計測部と、
   前記ジェスチャ計測部が算出した前記ジェスチャガイドラインと前記入力切替境界とをインターフェースに対応付けて記憶する対応ジェスチャ記憶部と、
   ジェスチャ認識段階において、前記距離画像データから前記最近接点を検出すると、前記対応ジェスチャ記憶部に記憶された前記入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、
   前記ジェスチャ認識部において入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置としてコンピュータを機能させることを特徴とする、ジェスチャ認識プログラム。
8. 距離画像データを撮像する撮像装置と、
   ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置と、を有するジェスチャ認識システムであって、
   前記撮像装置は、ユーザの身体を撮像し、
   前記ジェスチャ認識装置は、
   撮像装置が撮像した距離画像データを順次取り込む画像取込部と、
   前記距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、
   ジェスチャ計測段階において、複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡から最も距離が大きくなる２点を結ぶ線分であるジェスチャガイドラインと、インターフェース入力のオン・オフを切り替える垂直二等分平面であって前記２点の中点を通る入力切替境界とを算出するジェスチャ計測部と、
   前記ジェスチャ計測部が算出した前記ジェスチャガイドラインと前記入力切替境界とをインターフェースに対応付けて記憶する対応ジェスチャ記憶部と、
   ジェスチャ認識段階において、前記距離画像データから前記最近接点を検出すると、前記対応ジェスチャ記憶部に記憶された前記入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、
   前記ジェスチャ認識部において入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部とを有するジェスチャ認識システム。

Images