JP7295046B2 - 装置操作システムおよび装置制御方法 - Google Patents

Description

特許法第３０条第２項適用 平成３０年（２０１８年）５月２３日～２５日にパシフィコ横浜（神奈川県横浜市西区みなとみらい１－１－１）で開催された自動車技術展「人とくるまのテクノロジー展」で発表

本発明は、装置操作者のジェスチャ動作（身振り、手振り等の身体の動き）により当該装置のスイッチ操作が可能な装置操作システムに関し、特に、自動車等の車両における窓ガラスの開閉等に適用して有効な技術に関する。

通常、自動車側部の窓（ドアウインド）は開閉できるようになっており、昨今の自動車では、ドアウインドを自動で開閉するパワーウインド装置を備えたものが一般的となっている。このパワーウインド装置は、ドアパネル内に収容された電動モータ（以下、モータと略記する）を駆動源としており、運転者や同乗者によるスイッチ操作によりモータが作動し窓の開閉が行われる。この場合、窓の開閉動作は、ドアパネルやセンターコンソール等に取り付けられた開閉スイッチの操作によって行われるが、ドアパネルに配したスイッチによるものが主流となっている。

実開平６－５１４６２号公報

ところが、パワーウインドの開閉スイッチは、その取り付け位置や形状、操作方法がメーカーや車種によって異なる場合が多い。このため、慣れてない車や、夜間でスイッチが見えにくいときなどは、スイッチがどこにあるかわからず、思うように窓の開閉ができない場合があった。特に、レンタカーやカーシェアリングが普及した今日では、特定の車両以外を運転する機会が増えており、ユーザが車種によって異なるスイッチを探したり、その操作に手間取ってしまったりするという問題があった。さらに、ロック機能等、スイッチが複数設けられている場合などは、開閉スイッチを見つけること自体が難しくなってしまうことも多かった。

本発明の目的は、スイッチの位置や形状等が分からなくても、スイッチに触れることなく、窓の開閉操作等が可能な装置操作システムおよび装置制御方法を提供することにある。

本発明の装置操作システムは、装置使用者によるスイッチ操作に基づいて作動する被作動装置の操作システムであって、前記被作動装置を作動させるための駆動部と、前記装置使用者のジェスチャを撮影する撮影部と、前記撮影部にて撮影された画像データを解析し、該ジェスチャによる前記装置使用者の指示を認識するジェスチャ認識部と、前記ジェスチャ認識部における認識結果に基づき、前記装置使用者の指示に従って前記駆動部の動作を制御する制御部と、を有し、前記ジェスチャ認識部は、前記画像データから、複数個の特徴点を選び出す特徴点抽出部と、前記各特徴点に付随する特徴ベクトルを算出する特徴ベクトル算出部と、撮影時点を異にする複数の前記画像データの前記特徴ベクトルを比較し、前記特徴ベクトルが近似する前記特徴点を検出し、該特徴点の時間的な動きを把握する特徴ベクトルトラッキング部と、前記特徴ベクトルトラッキング部にて把握した前記特徴点の動きを該特徴点の動きベクトルとして算出する動きベクトル算出部と、複数の前記動きベクトルから、前記動きベクトルの時間的な変化を示す時系列データを作成する動きベクトル処理部と、前記動きベクトル処理部にて得られた前記時系列データを所定の判別閾値を用いて解析する動きベクトル解析部と、前記動きベクトル解析部の解析結果に基づいて、前記装置使用者のジェスチャによる指示を判別するジェスチャ判別部と、を有することを特徴とする

本発明にあっては、カメラ等の撮影部によって装置使用者のジェスチャ（例えば、手の動きなどの身体の動作）を撮影し、ジェスチャ認識部により、撮影された画像データを解析して、該ジェスチャによる装置使用者の指示を認識する。そして、ジェスチャ認識部における認識結果に基づき、装置使用者の指示に従って被作動装置の駆動部の動作を制御する。これにより、装置使用者のジェスチャにより、ドアウインドなどの被作動装置のスイッチ操作をスイッチに触れることなく行うことができる。したがって、スイッチの位置や形状等が分からなくても、装置使用者の意思通りに被作動装置の操作を行うことが可能となる。

前記装置操作システムにおいて、前記ジェスチャは前記装置使用者の身体（例えば、手）の動きであり、前記装置使用者は前記身体の動きにより前記被作動装置の動作を指示し、前記撮影部は、前記装置使用者の前記身体の動きを撮影し、前記ジェスチャ認識部は、前記身体の動きから前記装置使用者の指示を認識し、前記制御部は、前記装置使用者の前記身体の動きによる指示に基づいて前記駆動部の動作を制御するようにしても良い。また、前記制御部は、前記ジェスチャの運動方向に基づいて、前記被作動装置の動作形態を制御するようにしても良い。

この場合、前記動きベクトル解析部は、前記時系列データのそれぞれについてＦＦＴ解析を行い、前記動きベクトルの周波数ごとの振幅値を取得し、前記ジェスチャ判別部は、前記振幅値から、周波数の範囲と振幅の大きさについての所定の閾値に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別するようにしてもよい。また、前記動きベクトル解析部は、前記時系列データのそれぞれについてＦＦＴ解析を行い、前記ジェスチャ判別部は、最大振幅となる周波数の位相差に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別するようにしても良い。

さらに、前記被作動装置が自動車のパワーウインド装置であっても良く、この場合、前記撮影部は、前記自動車の乗員によるジェスチャを撮影し、前記ジェスチャ認識部は、前記乗員のジェスチャから前記乗員からの窓の開閉についての指示を認識し、前記制御部は、前記乗員の前記ジェスチャによる窓の開閉指示に基づいて前記駆動部の動作を制御し、前記窓の開閉を行う。また、前記ジェスチャが前記乗員の手の動きであっても良く、前記乗員は前記手の動きにより前記自動車の窓の開閉動作を指示し、前記撮影部は、前記装置使用者の前記手の動きを撮影し、前記ジェスチャ認識部は、前記手の動きから前記乗員による前記窓の開閉についての指示を認識し、前記制御部は、前記乗員の前記手の運動方向により、前記窓の開閉動作を制御する。さらに、前記制御部により、前記乗員の手が第１の方向に回転運動したときは前記窓を開放するよう前記駆動部を作動させ、前記乗員の手が第２の方向に回転運動したときは前記窓を閉鎖するよう前記駆動部を作動させるようにしても良い。

一方、本発明による装置制御方法は、装置使用者によるスイッチ操作に基づいて作動する被作動装置の制御方法であって、前記装置使用者のジェスチャを撮影し、撮影された画像データから、複数個の特徴点を選び出し、前記各特徴点に付随する特徴ベクトルを算出し、撮影時点を異にする複数の前記画像データの前記特徴ベクトルを比較し、前記特徴ベクトルが近似する前記特徴点を検出し、該特徴点の時間的な動きを把握し、前記特徴点の動きを該特徴点の動きベクトルとして算出し、複数の前記動きベクトルから、前記動きベクトルの時間的な変化を示す時系列データを作成し、前記時系列データを所定の判別閾値を用いて解析し、前記時系列データの解析結果に基づいて、前記装置使用者のジェスチャによる指示を判別することにより、該ジェスチャによる前記装置使用者の指示を認識し、前記ジェスチャの認識結果に基づき、前記装置使用者の指示に従って前記被作動装置を動作させることを特徴とする。

本発明にあっては、装置使用者のジェスチャを撮影し、撮影された画像データを解析して、該ジェスチャによる装置使用者の指示を認識する。そして、ジェスチャの認識結果に基づき、装置使用者の指示に従って被作動装置を動作させる。これにより、装置使用者のジェスチャ（例えば、手の動きなど）により、ドアウインドなどの被作動装置のスイッチ操作をスイッチに触れることなく行うことができる。したがって、スイッチの位置や形状等が分からなくても、装置使用者の意思通りに被作動装置の操作を行うことが可能となる。

前記装置制御方法において、前記ジェスチャが前記装置使用者の手の動きであっても良く、この場合、前記装置使用者は前記手の動きにより前記被作動装置の動作を指示し、前記手の動きを撮影した画像データを解析することにより、前記手の動きから前記装置使用者の指示を認識し、前記手の動きから認識された前記装置使用者の指示に基づいて、前記被作動装置を動作させる。

この場合、前記時系列データのそれぞれについてＦＦＴ解析を行い、前記動きベクトルの周波数ごとの振幅値を取得し、前記振幅値から、周波数の範囲と振幅の大きさについての所定の閾値に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別するようにしても良い。また、前記時系列データのそれぞれについてＦＦＴ解析を行い、最大振幅となる周波数の位相差に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別するようにしても良い。

さらに、前記被作動装置が自動車のパワーウインド装置であり、前記ジェスチャが前記自動車の乗員の手の動きであっても良く、この場合、前記乗員は手の動きにより前記自動車の窓の開閉動作を指示し、前記乗員の手の動きを撮影した画像データを解析することにより、前記手の動きから前記乗員の指示を認識し、前記手の動きから認識された前記乗員の指示に基づいて、前記パワーウインド装置を動作させ、前記窓の開閉を行う。

本発明の装置操作システムによれば、装置使用者によるスイッチ操作に基づいて作動する被作動装置の操作システムにおいて、装置使用者のジェスチャを撮影する撮影部と、撮影部にて撮影された画像データを解析し、該ジェスチャによる装置使用者の指示を認識するジェスチャ認識部と、ジェスチャ認識部における認識結果に基づき、装置使用者の指示に従って被作動装置の駆動部の動作を制御する制御部と、を設けたので、装置使用者のジェスチャにより、被作動装置のスイッチ操作をスイッチに触れることなく行うことができる。したがって、スイッチの位置や形状等が分からなくても、装置使用者の意思通りに被作動装置の操作を行うことが可能となる。

本発明の装置制御方法によれば、装置使用者によるスイッチ操作に基づいて作動する被作動装置における装置制御方法において、装置使用者のジェスチャを撮影し、撮影された画像データを解析することにより、該ジェスチャによる装置使用者の指示を認識し、このジェスチャの認識結果に基づき、装置使用者の指示に従って被作動装置を動作させるようにしたので、装置使用者のジェスチャにより、被作動装置のスイッチ操作をスイッチに触れることなく行うことができる。したがって、スイッチの位置や形状等が分からなくても、装置使用者の意思通りに被作動装置の操作を行うことが可能となる。

本発明の実施の形態１である装置操作システムを用いたパワーウインド装置の構成を示す説明図である。 本発明の実施の形態１である装置操作システムの構成を示すブロック図である。 カメラの設置位置の一例を示す説明図である。 ジェスチャ認識装置の構成を示すブロック図である。 ジェスチャ認識装置における解析処理の流れを示す説明図である。 図５の処理における解析データの流れを示すデータフローダイアグラムである。 特徴点の抽出処理を示す説明図である。 特徴点とそのトラッキング処理に関する説明図である。 動きベクトルの時系列データ(図９（ｂ)）をＦＦＴ解析した結果(同（ａ）)の一例を示す説明図である。 本発明の実施の形態２である装置操作システムの構成を示すブロック図である。 ジェスチャ停止認識装置の構成を示すブロック図である。 ジェスチャ停止認識装置における特徴点のトラッキング処理およびその後のジェスチャ停止判定に関する説明図である。 図１０の装置操作システムにおけるジェスチャ判定装置における解析処理の流れを示す説明図である。 カメラの設置位置の他の一例を示す説明図である。

（実施の形態１）
以下、本発明の実施の形態を図面に基づいて詳細に説明する。図１は、本発明の実施の形態１である装置操作システムを用いたパワーウインド装置（被作動装置）の構成を示す説明図であり、本発明の方法も図１のパワーウインド装置にて実施される。図１のパワーウインド装置１は、自動車の側面に設けられたドア２の窓（ドアウインド）３を開閉するための装置であり、窓開閉用のモータ（駆動部）４によって駆動される。なお、以下の記載では、運転席側のドアウインドを例に取って説明するが、助手席側の窓や後部座席の窓にも当該システムは適用可能である。

パワーウインド装置１では、ドアウインド３とモータ４の間にＸアーム式のウインドレギュレータ５が配されており、モータ４を作動させると、ウインドレギュレータ５によりドアウインド３が昇降し、窓開口部６が開閉される。この場合、ドアウインド３の動作は、通常の自動車と同様に、ドアパネル７に配したパワーウインド開閉スイッチ８によって操作可能であるが、当該パワーウインド装置１では、乗員（ユーザ：装置使用者）のジェスチャ動作（手の動きなどの身体の動作）によりドアウインド３を開閉できるようになっている。ここでは、車内の乗員が車両前方方向を見たとき左側に位置するドアの場合、ユーザが、指で左周り（反時計回り）に円を描いた場合はドアウインド３が開き、右周り（時計回り）に円を描いた場合はドアウインド３が閉じるよう設定されている。

図２は、パワーウインド装置１に使用される装置操作システム１０（以下、適宜システム１０と略記する）の構成を示すブロック図である。前述のように、システム１０では、乗員（ここでは運転者）の手の動き（ジェスチャ）によってドアウインド３の動きをコントロールできる。そのために、当該システム１０は、図２に示すように、運転者の手の動きを撮影するカメラ（撮影部）１１と、カメラ１１の映像を用いて運転者のジェスチャを認識・解析するジェスチャ認識装置（ジェスチャ認識部）１２とを備えている。ジェスチャ認識装置１２における解析結果は、窓の開閉動作に関するユーザの意思を示すユーザ操作データとして窓開閉制御装置（制御部）１３に送られる。

一方、パワーウインド装置１には、従来同様、パワーウインド開閉スイッチ８（以下、スイッチ８と略記する）が設けられており、ユーザによるスイッチ操作に基づいて作動する。このスイッチ８の状態（窓開け・窓閉め）も、ユーザ操作データとして窓開閉制御装置１３に送られる。窓開閉制御装置１３は、ジェスチャ認識装置１２あるいはスイッチ８から入力されたユーザ操作データに基づいて、モータ４を作動させ、ドアウインド３を昇降させる。

システム１０のカメラ１１は、乗員の動作を常時モニタしており、乗員が窓を開閉したい旨のサインを発したときは、そのジェスチャを捉えてジェスチャ認識装置１２に送出する。システム１０では、カメラ１１は、乗員のジェスチャを確実に把握できるように、撮影対象（ここでは乗員の手）がある場所を常時撮影可能な位置に設置され、手から３００～５００ｍｍ程度離れた場所にて、概ね直径６００～８００ｍｍ程度の範囲を撮影できるようになっている。

図３は、カメラの設置位置の一例を示す説明図である。図３に示すように、本実施形態では、カメラ１１は、ドア２の前端部（カーオーディオのツイータ等が配される窓開口部６の前方側）に設置されており、乗員の手が存在する可能性の高い、ハンドル９とドア２との間を撮影する。また、カメラ１１は、ジェスチャを認識するために必要なフレームレート（３０ｆｐｓ～６０ｆｐｓ程度）にて撮影を行い、その画像データはジェスチャ認識装置１２に送出される。

ジェスチャ認識装置１２は、カメラ１１からの画像データに基づいて、乗員のジェスチャを認識する。ジェスチャ認識装置１２には、カメラ１１からは乗員の手の画像データが逐次入力され、入力された画像からトラッキングしやすい「特徴点」と呼ばれる点が抽出される。そして、この特徴点の動きを解析することにより乗員の手の動きを判別し、その動きが意味するユーザの意思をユーザ操作データとして窓開閉制御装置１３に送出する。図４は、このような認識・解析処理を行うジェスチャ認識装置１２の構成を示すブロック図である。

図４に示すように、ジェスチャ認識装置１２には、画像データから「特徴点」を選び出す特徴点抽出部２１と、各特徴点に付随する特徴ベクトルを算出する特徴ベクトル算出部２２が設けられている。また、特徴ベクトル算出部２２の後段には、特徴ベクトルを比較し特徴点の動きを検出する特徴ベクトルトラッキング部２３と、特徴ベクトルトラッキング部２３にて検出された特徴点の動き（位置の変化）を各特徴点の動きベクトルとして算出する動きベクトル算出部２４が設けられている。

さらに、ジェスチャ認識装置１２には、動きベクトルの時間的な変化に関する時系列データを算出する動きベクトル処理部２５と、動きベクトル処理部２５にて得られた時系列データを所定の判別閾値を用いて解析する動きベクトル解析部２６、動きベクトル解析部２６の解析結果に基づいて乗員のジェスチャの意味（窓開・窓閉）を判別するジェスチャ判別部２７が設けられている。なお、ジェスチャ認識装置１２には、各特徴点の特徴ベクトルや動きベクトル、動きベクトルの時系列データなどを格納するＲＡＭ２８と、ジェスチャ認識装置１２における各処理に関するプログラムや時系列データの解析処理に用いられる判別閾値等が格納されたＲＯＭ２９も設けられている。

このような装置操作システム１０では、次のようにしてユーザのジェスチャを把握してドアウインド３を作動させる。図５は、ジェスチャ認識装置１２における解析処理の流れを示す説明図、図６は、ジェスチャ認識装置１２における解析データの流れを示すデータフローダイアグラムである。図５に示すように、ジェスチャ認識装置１２ではまず、カメラ１１から送られて来た画像データから、特徴点抽出部２１により「特徴点」Ｐを抽出する（ステップＳ１）。特徴点Ｐは、画像内におけるコントラスト（明暗）差に基づき、画像のエッジ部分やコーナ部分などが、特徴らしさの指標に沿って選別される。その際、特徴らしさの指標として、明暗差などについて所定の選別閾値を、図７に示すように、手の輪郭部分や指先などに特徴点Ｐが３００～５００個程度抽出される（図７では、簡単のため代表的な点のみを示す）ように設定する。

特徴点抽出部２１にて抽出された特徴点Ｐには、それぞれに固有の「特徴ベクトル」が付随しており、特徴ベクトル算出部２２は各特徴点Ｐのデータから特徴ベクトルを算出する（ステップＳ２）。この場合、特徴ベクトルとは、その特徴点の特徴量をベクトルの形で表現したものであり、例えば、文献［JRM Vol.28 No.6 pp. 887-898「Autonomous Mobile Robot Navigation Using Scene Matching with Local Features」］に記載されているような、各特徴点が持つ元々の情報をできるだけ失わないようにしたベクトルである。ここでは、明→暗に変化する方向を基準方向とし、１つの特徴点を４×４の領域に分け、それぞれの領域におけるＸ,Ｙ方向の明度変化の総和（Σdx,Σdy）と、変化量の絶対値の総和（Σ｜dx｜,Σ｜dy｜）をベクトル化しており、各特徴点には４×４×４＝６４個の特徴ベクトルが存在する。特徴ベクトル算出部２２は、各特徴点の６４個の特徴ベクトルを算出し、これらはＲＡＭ２８に格納される（ステップＳ３）。

特徴ベクトルを算出しそれをＲＡＭ２８に格納した後、今度は、次にカメラ１１から送られて来た画像データについて、特徴点Ｐの抽出と特徴ベクトルの算出を行い、それをＲＡＭ２８に格納する（ステップＳ１→Ｓ３）。このようにして撮影時点の異なる複数の画像データについて特徴ベクトルを得た後、特徴ベクトルトラッキング部２３にて、前フレームの画像データ（図８（ａ））と、今フレームの画像データ（図８（ｂ））を比較する。特徴ベクトルトラッキング部２３は、前フレームと今フレームの各画像データから抽出された特徴点Ｐを相互に比較し、最も特徴ベクトルが近似している組を探索し、組み合わせる（トラッキング処理：ステップＳ４）。この際、前フレーム画像内の特徴点それぞれについて、それらが備える各特徴ベクトルと、今フレーム画像内の全ての特徴点の特徴ベクトルとが比較される。すなわち、図８（ｃ）に示すように、図８（ａ）の点Ｐ１は、図８（ｂ）の全ての特徴点と比較され、このとき、図８（ｂ）の特徴点のうち特徴ベクトルが最も近い点Ｐ２が検出され、両者が組み合わされる。これにより、各特徴点Ｐの時間的な動き（前フレーム→今フレーム）が把握される。特徴ベクトルトラッキング部２３は、このようにして時々刻々と画像データの解析を行い、特徴ベクトルのトラッキング処理を実施する。これにより、ユーザのジェスチャが逐次解析され、ジェスチャの認識精度向上が図られる。

前後の画像でトラッキングが成功したときは、組み合わされた特徴点Ｐは、動きベクトル算出部２４により、各組ごとに位置変化が算出され「動きベクトル」（動きベクトル列）が作成される（図８（ｄ）：ステップＳ５）。このようにして得た動きベクトルは、動きベクトル処理部２５にて、統計的な処理が行われ、それらの中から、動きの小さいものや、極端に大きいものを、閾値を設けて取り除く。そして、残った動きベクトルの平均を取り、その時点の動きベクトルの代表値とし（ステップＳ６）、これを平均ベクトルとしてＲＡＭ２８に逐次蓄積する（ステップＳ７）。

ステップＳ６の処理を逐次画像が入力されるごとに実行すると、動きベクトルの時間的な変化が分かる。そこで、動きベクトル処理部２５は、ＲＡＭ２８に蓄積された平均ベクトルから、図８（ｅ）に示すような動きベクトル（平均ベクトル）の時間的な変化データ（時系列データ）を作成する。その際、カメラ１１が３０ｆｐｓのフレームレートで撮影を行っている場合には、１秒間の平均ベクトルを集めた場合、３０個の平均ベクトルによる時系列データが得られる。

このようにして、動きベクトルの時系列データを作成した後、動きベクトル解析部２６にて、所定時間分（例えば、１秒）の時系列データ（図９（ｂ））について周波数解析（例えば、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）解析）を行う（ステップＳ８）。ＦＦＴ解析により、図９（ａ）に示すような、時間とサンプル数に応じた周波数ごとの振幅値が得られる。なお、円を描くように手を動かすと、動きベクトルのＸ成分とＹ成分が、図９（ｂ）のように、位相が９０°ずれた正弦波状になり動きが判別しやすい。このため、当該システム１０では、ユーザの指示に円運動のジェスチャ（手回し動作）を採用している。

動きベクトル解析部２６による解析の後、ジェスチャ判別部２７では、その解析結果から、動きベクトルの振幅の大きさや、周波数の範囲、Ｘ成分とＹ成分の位相差などの各項目について、所定の閾値と比較を行い、ジェスチャ動作の意味（ユーザの意図）を判断する（ステップＳ９）。この場合、（１）振幅、（２）周波数の範囲、（３）位相差の各項目については、次のような判別閾値が設定されており、ジェスチャ判定はポイント制となっている。ジェスチャ判別部２７は、各閾値に設定されたポイントを加算し、それが所定の基準値を超えたとき、ユーザから開・閉のサインが発せられたと判別する。これらの閾値やポイントはＲＯＭ２９に格納されている。

《判別閾値の例》
（１）振幅
・振幅の大きさ第１下限：１５０［ｐｉｘ／ｄｔ］→２ｐｔ
・振幅の大きさ第２下限：１００［ｐｉｘ／ｄｔ］→１ｐｔ
（２）周波数範囲
・周波数の下限：０.５［Ｈｚ］
・周波数の上限：３.１［Ｈｚ］
→上限～下限の範囲に入り、かつＸ成分とＹ成分の周波数が同値であれば２ｐｔ
→Ｘ成分とＹ成分の周波数が共に上限～下限の範囲に入れば１ｐｔ
（３）位相差（Ｘ成分とＹ成分）
・位相差の第１範囲：６０－１２０［ｄｅｇ］→２ｐｔ
・位相差の第２範囲：３０－１５０［ｄｅｇ］→１ｐｔ

（１）振幅
前記判別閾値では、振幅の大きさは、ユーザの手の動きの範囲に対応しており、手回し動作の場合、Ｘ成分とＹ成分共にピーク値が存在する（手をスライド動作させた場合には、スライド動作方向と異なる成分のピーク値が出にくい）。また、振幅の値は円の直径に相当する。この場合、振幅が１００［ｐｉｘ／ｄｔ］未満の状態は、ユーザの動きが小さいことを意味しており、ノイズも多くなるため、ユーザのサインはなし、と判断する。振幅の大きさが１００～１５０の場合は、ユーザの手の動きはある程度大きく、円運動の可能性はあるがサインではない可能性もある。一方、１５０を超えた場合には、サインとしての円運動と判断できる。したがって、評価ポイントして、振幅が１００～１５０の場合は１ｐｔ、１５０を超えた場合は２ｐｔを付与する。

（２）周波数範囲
次に、周波数範囲は、ユーザの手の動きの速さに対応しており、振幅がピーク値を示す周波数が上限以上ではサインとしては動きが早すぎ、下限以下では動きが遅すぎる。このため、上限・下限を外れた場合は、ユーザのサインである可能性が低い。これに対し、上限～下限の範囲に入ればユーザのサインである可能性が高い。そこで、周波数が上限～下限に入った場合は１ｐｔを付与する。また、手回し動作の場合、理想的な円運動であれば、Ｘ成分とＹ成分共に同じ周波数になる可能性が高い。したがって、周波数が上限～下限に入り、かつＸ成分とＹ成分で同値となった場合は２ｐｔを付与する。図９（ａ）では、２Ｈｚ付近に振幅のピーク値があり、これは、１秒間に２回転程度の円運動のサインをユーザが発している状態を示している。

（３）位相差
図９（ｂ）に示したＸ成分とＹ成分の位相差は、ユーザのサインが完全な円運動であれば９０度となる。このため、第１範囲ならば円運動と判断し２ｐｔ、第２範囲ならば疑いの余地が残るため１ｐｔとし、それ以外の範囲の場合には円運動ではないと判断しポイントは付与しない。そして、ジェスチャ判別部２７は、各項目のポイントを加算し、３要素をどれだけ満たしているかによって判別する。すなわち、５ｐｔを取得した場合は、「ジェスチャあり：円運動」と判断する。一方、５ｐｔに満たない場合は、ジェスチャがあったものの窓開閉を求めるユーザのサインではない、として「操作なし」と判断する。なお、位相差の判定に際しては、位相差算出の容易性から、最大振幅となる周波数（図９（ａ）では２Ｈｚ）の動きベクトルの位相差を用いることが好適である。

ジェスチャ判別部２７は、動きベクトルの解析結果から、ユーザの手の動きを円運動と判断した場合には、さらに位相差に基づいて運動方向を判別する。そして、開・閉何れのサインであるかを見極め、ユーザ操作データとして窓開閉制御装置１３に送出する。すなわち、ジェスチャ判別部２７は、ユーザの手の動きを左回転（第１方向）と判断した場合には、「窓開け」のユーザ操作データを、右回転（第２方向）と判断した場合には、「窓閉め」のユーザ操作データを窓開閉制御装置１３に出力する。なお、「操作なし」の場合には、スイッチ８を操作しない場合と同様に、特に信号は出力されない。

このようにして、ジェスチャ認識装置１２は、カメラ１１にて撮影された画像データを解析してユーザの指示を認識し、ユーザ操作データを出力する。そして、これを受けた窓開閉制御装置１３は、ジェスチャ認識装置１２の認識結果に基づいてモータ４を駆動する。これにより、ユーザのジェスチャ指示に沿ってドアウインド３が昇降され、窓の開放・閉鎖動作が行われる。

以上のように、本発明の装置操作システム１０では、ユーザのジェスチャ（ここでは手の動き）により、ドアウインド３の開閉を自在に行うことができる。具体的には、概ね直径１５ｃｍ程度の円を描くように指を１周回すことにより、窓の開閉を行うことができる。このため、パワーウインド開閉スイッチの位置や形状等が分からなくても、スイッチに触れることなく、ユーザの意思通りに窓の開閉操作を行うことができる。したがって、レンタカーやカーシェアリングなど、メーカーや車種の異なる自動車を運転する場合でも、一定のジェスチャにて窓の開閉を行うことができ、慣れない車や暗いときでも容易に窓の開閉を行うことができる。また、例えば、助手席で食事をするなどして手が汚れている人でも、窓の開閉操作を行うことができる。

さらに、例えば、手指に障害があるなど、従来の操作スイッチでは操作が困難な人でも、窓の開閉操作を行うことができる。加えて、スイッチ操作が単純かつ簡便なため、ドライバーの注意を削ぐことなく窓の開閉を行うことができ、運転時の安全性向上も図られる。なお、ユーザのジェスチャは手の動きに限定されず、例えば、頭や足、腕など、ユーザの他の部位の身体の動きに応じて機器を作動させることも可能である。その場合、手や足が不自由な人でも各種機器の操作ができるようになることから、本発明の装置操作システムは、福祉機器の操作インターフェースとしても応用可能である。

（実施の形態２）
次に、本発明の実施の形態２として、ユーザが窓を開閉したいサインを発している間だけ窓の開閉を行い、ドアウインドを任意の位置で止められるようにしたシステムについて説明する。図１０は、本発明の実施の形態２である装置操作システムの構成を示すブロック図である。なお、実施の形態２では、実施の形態１と同様の部分や部材、処理等については、実施の形態１と同一の番号を付しその説明は省略する。

図１０に示すように、実施の形態２の装置操作システム３０（以下、適宜システム３０と略記する）では、カメラ１１と窓開閉制御装置１３との間に、ジェスチャ認識装置１２とジェスチャ停止認識装置３１を備えたジェスチャ判定装置３２が設けられている。図１１は、ジェスチャ停止認識装置３１の構成を示すブロック図であり、ジェスチャ認識装置１２におけるジェスチャ判別部２７（図４参照）に代えて、ジェスチャ停止動作判別部３３が設けられている。なお、ジェスチャ停止認識装置３１とジェスチャ認識装置１２は、ジェスチャ停止動作判別部３３とジェスチャ判別部２７を除く部分を共用しており、ジェスチャ判定装置３２では、ジェスチャ停止とジェスチャ認識は同時に処理される。

ジェスチャ停止認識装置３１は、動きベクトル処理部２５によって統計処理された動きベクトルを、動きベクトル解析部２６とジェスチャ停止動作判別部３３にて解析処理し、ユーザの開閉サインが止まっている（ユーザの手の動きが止まっている）と判別したとき、窓開閉制御装置１３に対し操作停止データを出力する。窓開閉制御装置１３は、ジェスチャ認識装置１２から入力される操作データとジェスチャー停止認識装置３１から入力される操作停止データとに基づいて窓の動作を決定し、モータ４に供給する電力を制御し、ドアウインド３を作動あるいは停止させる。

このようなシステム３０では、次のようにしてジェスチャの停止が判断される。この場合、システム３０においても、実施の形態１のシステム１０と同様の処理により、カメラ１１の画像データからユーザの手の特徴点Ｐを抽出してトラッキング処理を行い、動きベクトルを作成する。そして、この動きベクトルを統計処理した後、動きベクトルの絶対値総和を取り、所定の閾値と比較し、総和が閾値未満の場合は開閉サインが止まったと判断する。図１２は、その際のジェスチャ停止認識装置３１における特徴点とそのトラッキング処理およびその後のジェスチャ停止判定に関する説明図、図１３は、ジェスチャ判定装置３２における解析処理の流れを示す説明図である。

システム３０では、ジェスチャ停止認識装置３１もジェスチャ認識装置１２と同様に、カメラ１１から送られて来た画像データから、特徴点抽出部２１により「特徴点」Ｐを抽出する（ステップＳ１）。特徴点抽出部２１にて特徴点Ｐを抽出した後、特徴ベクトル算出部２２により、各特徴点Ｐに固有の「特徴ベクトル」を各特徴点Ｐのデータから算出する（ステップＳ２）。算出された特徴ベクトルは、ＲＡＭ２８に格納される（ステップＳ３）。現時点の特徴ベクトルをＲＡＭ２８に格納した後、次の画像データについて、特徴点Ｐの抽出と特徴ベクトルの算出を行い、それをＲＡＭ２８に格納する（ステップＳ１→Ｓ３）。

撮影時点の異なる複数の画像データについて特徴ベクトルを得た後、特徴ベクトルトラッキング部２３にて、前フレームの画像データ（図１２（ａ））と、今フレームの画像データ（図１２（ｂ））を比較し、図１２（ｃ）に示すように、最も特徴ベクトルが近似している組を探索し（例えば、点Ｐ１と点Ｐ２）、組み合わせる（トラッキング処理：ステップＳ４）。この際、先の実施の形態１と同様に、全ての特徴点の特徴ベクトルが比較される。これにより、各特徴点Ｐの時間的な動き（前フレーム→今フレーム）が把握される。特徴ベクトルトラッキング部２３は、このようにして時々刻々と画像データの解析を行い、特徴ベクトルのトラッキング処理を実施する。

前後の画像でトラッキングが成功したときは、組み合わされた特徴点Ｐは、動きベクトル算出部２４により、各組ごとに位置変化が算出され「動きベクトル」（動きベクトル列）が作成される（図１２（ｄ）：ステップＳ５）。動きベクトルは、動きベクトル処理部２５にて、統計的な処理が行われ、それらの中から、動きの小さいものや、極端に大きいものを、閾値を設けて取り除く（ステップＳ６）。

ジェスチャ停止認識装置３１では、このようにして統計処理され残った動きベクトルについて、動きベクトル解析部２６にて、各ベクトルのＸ成分とＹ成分を求め、両者の総和（絶対値の和ΣＶ＝Σ｜ｄＸ｜＋Σ｜ｄＹ｜）を求める（図１２（ｅ）：ステップＳ１１）。これにより、ユーザの手の動きの大きさが数値として把握される。そして、ジェスチャ停止動作判別部３３により、この総和ΣＶを所定の閾値Ｔｈと比較し（図１２（ｆ）：ステップＳ１２）、総和ΣＶが閾値Ｔｈ未満の場合（ΣＶ＜Ｔｈ）、ユーザのジェスチャが止まっている、すなわち、ユーザの開閉サインが止まったと判断し、操作停止データを窓開閉制御装置１３に送出する。窓開閉制御装置１３は、操作停止データが入力されると、モータ４を停止させ、これにより、ドアウインド３の開閉動作が停止する。

一方、ステップＳ１２にて、総和ΣＶが閾値Ｔｈ以上（ΣＶ≧Ｔｈ）の場合は、ユーザのジェスチャは止まっていないと判断し、ステップＳ７に進む。その場合、ステップＳ７以下の処理は、実施の形態１のシステム１０と同様に、ジェスチャ認識装置１２にて実施され、窓開閉制御装置１３には操作データが送出される。

このように、実施の形態２のシステム３０では、ジェスチャ停止認識装置３１により、ユーザのジェスチャが停止したことを認識できる。このため、ユーザがジェスチャを行っている間だけ窓の開閉動作を行うことができる。この点、実施の形態１のシステム１０は、ジェスチャの認識結果に基づきパワーウインド装置を動作させると、窓が全開閉するまで動作するが、当該システム３０では、開閉動作の途中で窓を止めることができ、窓の開閉位置の微調整も可能となる。また、窓の全開閉位置に加えて、その途中の位置であっても窓を開閉させることが可能となる。

本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
前述の実施形態では、予めＲＯＭ２９に格納した閾値によって、ＦＦＴ解析後のデータを判定しているが、教師付学習のＡＩ（Artificial Intelligence）によるニューラルネットワーク判定を行っても良い。この場合、例えば、複数人分（５０人分など）の開閉ジェスチャ動作の画像データやＦＦＴ解析結果、開閉ジェスチャではない画像データやＦＦＴ解析結果をＲＯＭ２９に格納し、ジェスチャ判別部２７にパターン学習させてジェスチャ判定を行わせる。

また、カメラ１１の設置位置は、図３のようなドア２の前端部には限定されず、乗員のジェスチャを検知できる位置であれば、窓開口部６の下端部（図１４）やドアパネル７の上縁部、アームレスト、インストルメントパネルなどに設置することも可能である。さらに、パワーウインド装置１の構成も図１のようなＸアーム式のものには限定されない。

一方、ユーザのジェスチャ動作も、手回し動作ではなく、上下や左右などの往復動作としても良く、この場合もＦＦＴを用いた解析・判別が可能である。また、手回し速度により開閉状態を変化させることも可能であり、例えば、ユーザが手を早く回しているときは全開・全閉（オート）モードとなるようにしても良い。さらに、ユーザが指し示す位置に窓を停止させる機能を付加することも可能である。加えて、ジェスチャ動作以外に、音声認識による指示を併用することも可能である。

本発明による装置操作システムは、自動車のパワーウインド装置以外にも適用可能であり、スイッチ操作に基づいて作動する被作動装置として、エアコンやカーオーディオにも適用できる。この場合、エアコンやカーオーディオのスイッチ類をモータ駆動可能な構成とし、ジェスチャにより、温度やボリュームのアップ・ダウン（例えば、右回転の手回しはアップ、左回転はダウン）などを指示するような設定も可能である。また、電動サンルーフ装置や電動スライドドア、電動リアゲート、電動リクライニング装置、ワイパ装置などを被作動装置とし、それらの操作に本発明を適用することも可能である。

１ パワーウインド装置
２ ドア
３ ドアウインド
４ モータ
５ ウインドレギュレータ
６ 窓開口部
７ ドアパネル
８ パワーウインド開閉スイッチ
９ ハンドル
１０ 装置操作システム
１１ カメラ
１２ ジェスチャ認識装置
１３ 窓開閉制御装置
２１ 特徴点抽出部
２２ 特徴ベクトル算出部
２３ 特徴ベクトルトラッキング部
２４ 動きベクトル算出部
２５ 動きベクトル処理部
２６ 動きベクトル解析部
２７ ジェスチャ判別部
２８ ＲＡＭ
２９ ＲＯＭ
３０ 装置操作システム
３１ ジェスチャ停止認識装置
３２ ジェスチャ判定装置
３３ ジェスチャ停止動作判別部
Ｐ 特徴点

Claims (13)

1. 装置使用者によるスイッチ操作に基づいて作動する被作動装置の操作システムであって、
   前記被作動装置を作動させるための駆動部と、
   前記装置使用者のジェスチャを撮影する撮影部と、
   前記撮影部にて撮影された画像データを解析し、該ジェスチャによる前記装置使用者の指示を認識するジェスチャ認識部と、
   前記ジェスチャ認識部における認識結果に基づき、前記装置使用者の指示に従って前記駆動部の動作を制御する制御部と、を有し、
   前記ジェスチャ認識部は、
   前記画像データから、複数個の特徴点を選び出す特徴点抽出部と、
   前記各特徴点に付随する特徴ベクトルを算出する特徴ベクトル算出部と、
   撮影時点を異にする複数の前記画像データの前記特徴ベクトルを比較し、前記特徴ベクトルが近似する前記特徴点を検出し、該特徴点の時間的な動きを把握する特徴ベクトルトラッキング部と、
   前記特徴ベクトルトラッキング部にて把握した前記特徴点の動きを該特徴点の動きベクトルとして算出する動きベクトル算出部と、
   複数の前記動きベクトルから、前記動きベクトルの時間的な変化を示す時系列データを作成する動きベクトル処理部と、
   前記動きベクトル処理部にて得られた前記時系列データを所定の判別閾値を用いて解析する動きベクトル解析部と、
   前記動きベクトル解析部の解析結果に基づいて、前記装置使用者のジェスチャによる指示を判別するジェスチャ判別部と、を有することを特徴とする装置操作システム。
2. 請求項１記載の装置操作システムにおいて、
   前記ジェスチャは前記装置使用者の身体の動きであり、前記装置使用者は前記身体の動きにより前記被作動装置の動作を指示し、
   前記撮影部は、前記装置使用者の前記身体の動きを撮影し、
   前記ジェスチャ認識部は、前記身体の動きから前記装置使用者の指示を認識し、
   前記制御部は、前記装置使用者の前記身体の動きによる指示に基づいて前記駆動部の動作を制御することを特徴とする装置操作システム。
3. 請求項１又は２記載の装置操作システムにおいて、
   前記制御部は、前記ジェスチャの運動方向に基づいて、前記被作動装置の動作形態を制御することを特徴とする装置操作システム。
4. 請求項１～３の何れか１項に記載の装置操作システムにおいて、
   前記動きベクトル解析部は、前記時系列データのそれぞれについてＦＦＴ解析を行い、前記動きベクトルの周波数ごとの振幅値を取得し、
   前記ジェスチャ判別部は、前記振幅値から、周波数の範囲と振幅の大きさについての所定の閾値に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置操作システム。
5. 請求項１～３の何れか１項に記載の装置操作システムにおいて、
   前記動きベクトル解析部は、前記時系列データのそれぞれについてＦＦＴ解析を行い、
   前記ジェスチャ判別部は、最大振幅となる周波数の位相差に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置操作システム。
6. 請求項１～５の何れか１項に記載の装置操作システムにおいて、
   前記被作動装置は自動車のパワーウインド装置であり、
   前記撮影部は、前記自動車の乗員によるジェスチャを撮影し、
   前記ジェスチャ認識部は、前記乗員のジェスチャから前記乗員からの窓の開閉についての指示を認識し、
   前記制御部は、前記乗員の前記ジェスチャによる窓の開閉指示に基づいて前記駆動部の動作を制御し、前記窓の開閉を行うことを特徴とする装置操作システム。
7. 請求項６記載の装置操作システムにおいて、
   前記ジェスチャは前記乗員の手の動きであり、前記乗員は前記手の動きにより前記自動車の窓の開閉動作を指示し、
   前記撮影部は、前記装置使用者の前記手の動きを撮影し、
   前記ジェスチャ認識部は、前記手の動きから前記乗員による前記窓の開閉についての指示を認識し、
   前記制御部は、前記乗員の前記手の運動方向により、前記窓の開閉動作を制御することを特徴とする装置操作システム。
8. 請求項７記載の装置操作システムにおいて、
   前記制御部は、前記乗員の手が第１の方向に回転運動したときは前記窓を開放するよう前記駆動部を作動させ、前記乗員の手が第２の方向に回転運動したときは前記窓を閉鎖するよう前記駆動部を作動させることを特徴とする装置操作システム。
9. 装置使用者によるスイッチ操作に基づいて作動する被作動装置の制御方法であって、
   前記装置使用者のジェスチャを撮影し、
   撮影された画像データから、複数個の特徴点を選び出し、
   前記各特徴点に付随する特徴ベクトルを算出し、
   撮影時点を異にする複数の前記画像データの前記特徴ベクトルを比較し、前記特徴ベクトルが近似する前記特徴点を検出し、該特徴点の時間的な動きを把握し、
   前記特徴点の動きを該特徴点の動きベクトルとして算出し、
   複数の前記動きベクトルから、前記動きベクトルの時間的な変化を示す時系列データを作成し、
   前記時系列データを所定の判別閾値を用いて解析し、
   前記時系列データの解析結果に基づいて、前記装置使用者のジェスチャによる指示を判別することにより、該ジェスチャによる前記装置使用者の指示を認識し、
   前記ジェスチャの認識結果に基づき、前記装置使用者の指示に従って前記被作動装置を動作させることを特徴とする装置制御方法。
10. 請求項９記載の装置制御方法において、
    前記ジェスチャは前記装置使用者の身体の動きであり、前記装置使用者は前記身体の動きにより前記被作動装置の動作を指示し、
    前記身体の動きを撮影した画像データを解析することにより、前記身体の動きから前記装置使用者の指示を認識し、
    前記身体の動きから認識された前記装置使用者の指示に基づいて、前記被作動装置を動作させることを特徴とする装置制御方法。
11. 請求項９又は１０記載の装置制御方法において、
    前記時系列データのそれぞれについてＦＦＴ解析を行い、前記動きベクトルの周波数ごとの振幅値を取得し、
    前記振幅値から、周波数の範囲と振幅の大きさについての所定の閾値に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置制御方法。
12. 請求項９又は１０記載の装置制御方法において、
    前記時系列データのそれぞれについてＦＦＴ解析を行い、
    最大振幅となる周波数の位相差に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置制御方法。
13. 請求項９～１２の何れか１項に記載の装置制御方法において、
    前記被作動装置は自動車のパワーウインド装置であり、
    前記ジェスチャは前記自動車の乗員の手の動きであって、前記乗員は手の動きにより前記自動車の窓の開閉動作を指示し、
    前記乗員の手の動きを撮影した画像データを解析することにより、前記手の動きから前記乗員の指示を認識し、
    前記手の動きから認識された前記乗員の指示に基づいて、前記パワーウインド装置を動作させ、前記窓の開閉を行うことを特徴とする装置制御方法。

Images