JP3752246B2

JP3752246B2 - ハンドパターンスイッチ装置

Info

Publication number: JP3752246B2
Application number: JP2003291380A
Authority: JP
Inventors: 恵一山本; 広充佐藤; 愼治小澤; 英雄斎藤; 弘也五十嵐
Original assignee: Mitsubishi Fuso Truck and Bus Corp; Keio University
Current assignee: Mitsubishi Fuso Truck and Bus Corp; Keio University
Priority date: 2003-08-11
Filing date: 2003-08-11
Publication date: 2006-03-08
Anticipated expiration: 2023-08-11
Also published as: JP2005063091A; CN1595336A; DE102004038965A1; CN1313905C; KR20050019036A; DE102004038965B4; KR100575504B1; US20050063564A1

Description

本発明は、空調機器やオーディオ機器等の車両搭載機器やサイドミラー等の車両付帯機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。

空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部（例えば左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば特許文献１を参照）。また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば特許文献２を参照）。

この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した手の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ここでは便宜上、ハンドパターンスイッチ等と称する。
特開平１１−１３４０９０号公報特開２００１−２１６０６９号公報

しかしながら上述したハンドパターンスイッチ装置を用いて車両搭載機器の動作を操作する場合、運転員（操作者）の手指形状やその動きを確実に、しかも正確に検出することが必要である。この為には、先ず運転員（操作者）の手指や掌を撮像した画像中のどの部分が手指や掌であるかを正確に認識することが必要である。しかしながら運転員（操作者）が長袖シャツを着用していたり、腕時計等を装着しているような場合、例えば入力画像中の手首部分が異常に太く検出されたり、或いは腕時計等の画像成分によって手首部分で途切れが生じたりするので、認識処理に必要な掌部分を確実に検出することができなくなる虞がある。しかも従来一般的には、領域分割等の複雑な画像処理技術を用いたり、更には予め設定した標準的な手指形状と照合する等して手指形状を認識しているので、その処理負担が大きいと言う問題があった。

本発明はこのような事情を考慮してなされたもので、その目的は、各種車両搭載機器や車両付帯機器の動作を操作する運転員（操作者）の手指形状や掌の動きを簡易に、しかも確実に検出して的確にその操作情報を入力することのできるハンドパターンスイッチ装置を提供することにある。

上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた腕先を撮像する撮像手段により撮像された撮像画像から手指形状を検出して所定のスイッチ操作情報を得るものであって、
(ａ) 前記撮像画像に基づいて腕の中心を通る中心軸を求める第１の画像処理手段と、
(ｂ) 上記中心軸に対して直交する第１走査線および前記中心軸と所定の角度をなし、開いた親指と略直交する第２走査線を設定する走査線設定手段と、
(ｃ) この走査線設定手段により設定された上記第１走査線および第２走査線により前記手指の有無を判定する判定手段と
を具備したことを特徴としている。

好ましくは前記第１の画像処理手段は、前記撮像画像を２値化処理する２値化処理手段と、この２値化処理された撮像画像の重心を求める重心検出手段とを含み、前記腕の中心を通る中心軸を、上記重心を通る軸線として求めることを特徴とする。
また本発明に係るハンドパターンスイッチ装置は、更に
(ｄ) 前記腕先側から上記重心側に向かって前記第１走査線を順に走査し、２値化処理された上記腕先の幅が最大となる走査線を求めて、この走査線と前記中心軸との交点を掌中心として求める第２の画像処理手段を備え、この２の画像処理手段により求められた掌中心の動きを検出して所定のスイッチ操作情報を得ることを特徴としている。

好ましくは前記判定手段においては、前記第１走査線を用いて人差し指の有無を判定し、前記第２走査線を用いて親指の有無を判定することを特徴とする。
また前記判定手段においては、所定幅以上の指幅が検出される走査線の本数が所定本数以上あるとき、手指が掌から延びていると判定するようにすれば良い。更に前記判定手段においては、所定幅以上の指幅として掌中心を通る走査線幅の［１／７〜１／４］以上の指幅が検出される走査線の本数が所定本数以上であるとき、手指が掌から伸びているとして判定するようにすれば良い。

具体的には撮像画像を２値化処理した２値化画像中における腕部分から指先に向かう手指軸を中心軸として求め、この中心軸に対して直交する第１走査線を指先側から手首側へと変位させて所定幅以上の指幅が検出される走査線の本数から人差し指を検出すると共に、前記中心軸方向に延びる第２走査線を指先側から手首側へと変位させて所定幅以上の指幅が検出される走査線の本数から親指を検出するようにしたことを特徴としている。

このように構成されたハンドパターンスイッチ装置によれば、撮像画像を２値化した画像中における腕部分から指先に向かう中心軸（手指軸）に対して直角に設定した第１走査線および中心軸と所定の角度をなし、開いた親指と略直交する第２走査線を用いて手指を検出するので、操作者が長袖シャツを着用していても、或いは腕時計等を装着していても、これらの画像成分に拘わることなしに手指の有無を確実に検出することができる。従ってその手指形状を正確に判定することができる。特に中心軸を掌中心を通るように求めており、この掌中心を通る走査線幅の［１／７〜１／４］以上の指幅が検出される走査線の本数から人差し指や親指の有無を判定しているので、その指形状を簡単にしかも確実に認識（検出）することができる。

従って手指形状を検出して各種制御対象に対するスイッチ操作情報を与える上で、その認識処理負担を軽減しながら手指形状やその動きを確実に認識することが可能となる。

以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現されるハンドパターンスイッチ装置の機能を示している。運転席の前方には運転員（ドライバ）によって操舵されるステアリングホイール１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。また運転席上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像する為のビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものからなる。尚、カメラ３については所定の照度下（日中）において可視光領域の像を得るものであっても良いが、夜間のように撮像領域の照度が不足するような場合には、該撮像領域に近赤外光を照射して赤外線像を求める、いわゆる赤外線カメラを用いることも勿論可能である。尚、ハンドパターンスイッチ装置に対する操作は、上記撮像領域に掌の平を略水平にして位置付けて状態で指を選択的に屈曲させることで手指形状を変化させる共に、掌の位置を前後左右に変位させる（動かす）ことで行われる。尚、カメラ３にて撮像されるのは手の甲側であるが、ここでは撮像された手の甲を掌として説明する。

さてハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手指形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上述した操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。具体的にはハンドパターンスイッチ装置は、カメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、腕の先端側、主に掌と手指の画像成分を抽出する２値化処理部１１と、２値化処理によって抽出された掌と手指の画像からその重心位置を求める重心検出部１２、および手指の形状を認識する形状認識部１３を備える。

更にハンドパターンスイッチ装置は、上記形状認識部１３による認識結果、および重心検出部１２により検出された手指の重心位置に従って、運転員の手指形状や掌の動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的にはメモリ１５に予め登録された特定の手指形状パターンとその役割との関係を参照して、前述した如く認識された手指形状が意図する操作の種別を判定（識別）する機能判定部１６、特定の指先形状をした掌の重心位置の移動、或いは指先の動きを追跡してその基準位置から変位量を検出する変位量検出部１７、および上記掌または指先の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指形状と掌の動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を、例えば前述したオーディオ機器や空調機器等に対して出力するように構成される。

尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンスを行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作（操作量）を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。この操作指示認識部１４における具体的な動作形態、即ち、オーディオ機器や空調機器等の複数の制御対象に対するスイッチ操作情報の出力制御については後述する。

さて前記カメラ３による撮像領域Ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定される。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置として設定されている。ちなみにこの撮像領域Ａは、ステアリングホイール１の側方に腕を伸ばした運転員の手の指先方向に略６００ｍｍ、また手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。

即ち、この撮像領域Ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域であって、しかも運転員が大きく腕を動かすことなく手指を移動させ得る領域として設定されている。これにより運転操作に伴う手指の動きを、誤ってスイッチ操作情報として検出することが防止されている。またオーディオ機器等の操作部２を直接操作する手指についても、これを検出することがないように設定されている。

尚、このように設定された撮像領域Ａにギヤシフトレバー（図示せず）が配置されているような場合には、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域Ａに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ３としてステレオ（立体視）カメラを用いて手指の高さ位置（カメラ３からの距離）を検出し、これによって撮像領域Ａに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。

上述した如く設定される撮像領域Ａは、運転員が肘掛け（アームレスト）５に腕（肘）を乗せたまま、その運転姿勢を崩すことなく自然に腕を伸ばすことができ、しかも仮想的にスイッチ操作する際に運転員が無理なく自然に動かし得る腕や手指の動きの範囲（変位幅）を基準として設定される。特に掌の大きさが一般的に手首から指先までの長さが２００ｍｍ程度であり、その幅が１２０ｍｍ程度であることを考慮し、前述したように、例えば長さ６００ｍｍ、幅３５０ｍｍの略矩形領域として定められている。

このように設定された撮像領域Ａによれば、運転操作に伴う手指・腕の動きを検出することなく、ステアリングホイール１から離れた手指の違和感のない自然な動きの下で、その掌や手指を確実に撮像することができる。しかもスイッチ操作に伴って手指の位置が動いても、その動きを上記撮像領域Ａ内に確実に捉えることができるので、手指の形状認識やその移動量（変位量）の検出を比較的簡易な画像処理の下で容易に行うことができる。

また逆に運転員からすれば、その運転姿勢を崩すことなくステアリングホイール１の側方に腕を伸ばすだけで良く、オーディオ機器等の操作部２に直接触れることなく、予め設定された手指形状を形作って手指を動かすだけで所望とするスイッチ操作を行い得る。従って運転員の操作負担を軽くすることができる。また運転操作に伴う手指や腕の動きがスイッチ操作指示として検出されることがないので、ハンドパターンスイッチ装置を意識することなく運転操作に集中することができ、必要に応じて手（掌）を撮像領域Ａに移動させるだけで、簡易にスイッチ操作指示を与えることが可能となる等の利点がある。

ここで本発明の特徴的な前述した２値画像からの手指の認識処理について説明する。
この認識処理は、図３に示す処理手順に従って、先ずカメラ３により撮像された撮像領域Ａの入力画像を所定の閾値に従って、例えば背景部を黒、画像中の腕と掌に相当する部位を白として２値化処理することから開始される〈ステップＳ１〉。この２値化処理によって、例えば図４に示す如き撮像領域Ａの２値化画像が求められる。次いで２値化画像中の腕と掌の画像成分に相当する白領域の重心Ｇを求め、この重心Ｇと、該重心Ｇを通る白画素の連なり方向を解析することで求められる長手方向のモーメントとから手指軸Ｂを求める〈ステップＳ２〉。このようにして手指軸Ｂが白領域の重心Ｇを通るように求めることで、手指軸Ｂの位置をより正確に設定することができる。

しかる後、上記手指軸Ｂに対して直角な第１の走査線Ｓ１を、その指先側である２値画像の上側から上記重心Ｇに至るまでの間に等間隔に複数本設定する〈ステップＳ３〉。そして前記２値画像の上側から順に上記各走査線Ｓ１上での白画像の幅Ｗをそれぞれ求め、白画像幅ｗが最大となる走査線Ｓ１を検出する〈ステップＳ４〉。この場合、前記手指軸Ｂを跨って連続する白画像だけを検出対象として、各走査線Ｓ１上での白画像の幅Ｗを検出することが望ましい。また画像の上側から検出される白画像の幅Ｗが、その直前の走査線Ｓ１において検出された白画像の幅Ｗよりも大きいか否かを逐次判定しながら、その検出幅がピークとなった走査線Ｓ１を白画像の幅Ｗが最大となる走査線Ｓ１として検出するようにすれば良い。

そして上述した如くして検出された白画像の幅Ｗが最大値となる走査線Ｓ１と前記手指軸Ｂとの交点を、掌の中心位置Ｃとして検出する〈ステップＳ５〉。このような処理によって掌の中心位置Ｃを求めることで、例えば手首に装着した時計やリストバンドに起因して、その２値化画像が図５(ａ)に示すように腕から掌に至る部位（手首部分）で途切れるような場合や、或いは長袖の衣服を着用していることに起因して手首が隠れ、例えば図５(ｂ)に示すように腕の太さ（幅）が、特に手首部分が異常に太く検出される場合であっても、概して掌の中央部分の幅に比較して手首側の幅が狭いことから、掌の中心位置Ｃを正確に検出することが可能となる。

しかる後、上述した如く求めた掌の中心位置Ｃと掌の幅Ｗとを基準として、２値画像の上側から上記中心位置Ｃに至るまでの走査線Ｓ１において、所定の幅ｗ以上の幅が検出された走査線Ｓ１の数を調べる〈ステップＳ３〉。具体的には各走査線Ｓ１において検出される白画像の幅が前述した掌の中心位置Ｃを通る最大幅Ｗの［１／７〜１／４］として設定される幅ｗ以上であるか否かを調べる。そして幅ｗ以上の白画像が検出された走査線Ｓ１の数が、前述した走査線Ｓ１の間隔に応じて予め設定された値以上であるか否かを判定することで、手指軸Ｂの方向に延びる所定の長さ以上の白画像領域を掌から突き出された指（例えば人差し指）であるとして検出する。例えば上述した如く走査線Ｓ１の本数として検出される掌の中心位置Ｃからの長さが１０ｃｍ以上であるとき、これを人差し指であるとして検出する。

また同様にして親指を検出する。この親指の検出に際しては、ここでは左手を検出対象として、また人差し指の向きと異なることから、例えば前述した手指軸Ｂに対して１０°程度傾いた第２の走査線Ｓ２を掌の中心位置Ｃから右側に設定する〈ステップＳ７〉。これは、親指を最大に開いたとしても、親指の向きが手指軸Ｂに対して若干斜めとなることに着目し、親指を最大に開いたときに親指と走査線Ｓ２とが略直交するようにして親指の検出を確実に行い得るようにした為である。

そして２値画像の右側から上記中心位置Ｃに至るまでの走査線Ｓ２において、所定の幅ｗ以上の幅が検出された走査線Ｓ２の数を調べる〈ステップＳ８〉。この場合にも、前述した人差し指の検出の場合と同様に、掌の中心位置Ｃを通る最大幅Ｗの［１／７〜１／４］として設定される幅ｗ以上の白画像が検出された走査線Ｓ２の数が、所定値以上であるか否かを判定する。そして所定数以上の走査線Ｓ２が検出されたたとき、これを掌から右側に突き出された親指であるとして検出する。

以上のような認識処理により、撮像領域Ａに翳された掌の手指形状を示す情報と、掌の中心位置Ｃとが求められる。そして人差し指が検出されるか否か、また親指が検出されるか否かをそれぞれ判定することにより、例えば図６(ａ)〜(ｄ)にそれぞれ示すように、掌が全ての指を握りしめた「握り拳」形状（手指形状１）であるか、人差し指だけを突き出した「指差し」形状（手指形状２）であるか、また親指だけを突き出した「了解（ＯＫ）」形状（手指形状３）であるか、更には人差し指と親指とを突き出した「Ｌ字形」形状（手指形状４）であるかがそれぞれ判定される。

ちなみにこの実施形態においては、上述した人差し指と親指とを突き出した「Ｌ字形」形状（手指形状４）は、ハンドパターンスイッチ装置に対する操作開始を指示に用いられる。また親指だけを突き出した「了解（ＯＫ）」形状（手指形状３）は、押し釦スイッチを把持し、親指によりその押し釦スイッチを押圧操作する形態を模したもの看做して、複数の制御対象の選択指定に用いられる。特にこの手指形状は、「握り拳」形状（手指形状１）と対をなして用いられて、親指の出し入れ（屈伸）による手指形状の変化により上記押し釦スイッチの押圧操作を模して、複数の制御対象の選択情報の入力に用いられる。そして人差し指だけを突き出した「指差し」形状（手指形状２）は、アナログメータの指針を模したものと看做し、指先（または掌）の位置を変化によって制御対象に対する操作量の指示に用いられる。尚、前記「握り拳」形状（手指形状１）は、ハンドパターンスイッチ装置の操作終了を指示するためにも用いられる。

そして前述した操作指示認識部１４においては、上述した如く認識される手指形状と掌の位置変化を、例えば図７に示す手順に従って認識処理し、これによって運転員（スイッチ操作者）の手指によるスイッチ操作を解釈して複数の制御対象に対するスイッチ操作情報を出力する。
具体的には操作指示認識部１４は、前述した形状認識部１３による認識結果と掌の中心位置Ｃの情報をデータ入力する〈ステップＳ１１〉。そして先ず、スイッチ操作が指示されているか否かを識別する為のフラグＦを調べ〈ステップＳ１２〉、フラグＦがセットされていない場合［Ｆ＝０］には、手指形状が前述した操作開始を指示する「Ｌ字形」形状（手指形状４）であるか否かを判定する〈ステップＳ１３〉。そして手指形状４が検出された場合には上記フラグＦをセットし〈ステップＳ１４〉、スイッチ操作情報の入力を開始する。尚、手指形状４が検出されない場合には、手指形状４が検出されるまで上述した処理を繰り返し実行する。

一方、上記フラグＦがセットされている場合［Ｆ＝１］には、スイッチ操作の入力処理が開始されているとして〈ステップＳ１２〉、今度は制御対象を指定する機能選択モードが設定されているか否かを識別する為のフラグＭを判定する〈ステップＳ１５〉。そしてフラグＭがセットされていない場合［Ｍ＝０］には、手指形状が前述した制御対象を選択する為の「了解（ＯＫ）」形状（手指形状３）であるか否かを判定する〈ステップＳ１６〉。手指形状３である場合には上記フラグＭをセット[Ｍ＝１]し、制御対象選択モードを設定する〈ステップＳ１７〉。尚、手指形状３でない場合には、既に制御対象が指定されているとして、後述するスイッチ操作量の入力処理を実行する。

さて上述したように手指形状３を検出して制御対象選択モードが設定されている場合には、次に手指形状が制御対象の切り替えを指示する「握り拳」形状（手指形状１）であるか否かを判定する〈ステップＳ１８〉。そして手指形状１が検出された場合には、前回検出された手指形状が前述した「了解（ＯＫ）」形状（手指形状３）であったか否かを判定し〈ステップＳ１９〉、手指形状３から手指形状１への変化が検出されたとき、これを制御対象の切り替え指示であると判断して、制御対象を変更する〈ステップＳ２０〉。この制御対象の変更については、例えば複数の制御対象がオーディオ機器に対する「音量」、エアコン（空調機）に対する「温度」、およびエアコン（空調機）に対する「風量」の３つである場合、後述するようにこれらの制御対象を巡回的に切り替えるようにしておけば良い。

尚、今回、手指形状１が検出されるも前回の手指形状が手指形状３でなかった場合には〈ステップＳ１９〉、この制御対象選択モードにおいて手指形状３から手指形状１への変更がなされていないとしてステップＳ１１からの処理に戻る。また上述したステップＳ１８において手指形状１が検出されなかった場合には、次にその手指形状が前述した手指形状３であるか否かを判定する〈ステップＳ２１〉。そして手指形状３である場合には、制御対象選択モードにおいて手指形状３の状態が維持され、その変更がなされていないとして前述したステップＳ１１からの処理に戻る。また手指形状１および手指形状３でもない場合には〈ステップＳ１８,Ｓ２１〉、前述したフラグＭをリセット［Ｍ＝０］し、前述した如く設定した制御対象選択モードを解除する。

一方、制御対象選択モードが設定されていない状態において、手指形状３が検出されない場合〈ステップＳ１６〉、或いは制御対象選択モードが解除された場合には〈ステップＳ２２〉、次にその手指形状が前述した人差し指だけを突き出した「指差し」形状（手指形状２）であるか否かを判定する〈ステップＳ２３〉。そして手指形状２が検出された場合には、以下に説明するスイッチ操作量の検出処理を実行する〈ステップＳ２４〉。尚、ステップＳ２３において手指形状２が検出されなかった場合には、その手指形状が「握り拳」形状（手指形状１）であるか否かを判定する〈ステップＳ２５〉。そして手指形状１である場合には、タイマーｔをカウントアップし〈ステップＳ２６〉、カウントアップしたタイマーｔが所定時間Ｔを経過したか否かを判定する〈ステップＳ２７〉。そして所定時間Ｔ以上に亘って手指形状１が維持されている場合、前述したフラグＦ,Ｍをそれぞれリセット［Ｆ＝０,Ｍ＝０］し、スイッチ操作の終了指示されたとして上述した一連の処理を終了する〈ステップＳ２８〉。しかし手指形状２および手指形状１でない場合には〈ステップＳ２３,Ｓ２５〉、前述したステップＳ１１からの処理に戻って次の指示入力を待つ。また所定時間Ｔ以上に亘って手指形状１が維持されない場合、つまり所定時間Ｔ内に再度手指形状２に変更されたような場合には〈ステップＳ２７〉、前述したステップＳ１１からの処理に戻って再操作を可能とする。

ここで前述した「指差し」形状（手指形状２）によるスイッチ操作量の検出処理について具体的に説明すると、この処理は概略的には図８に示す処理手順に従って実行される。即ち、このスイッチ操作量の検出処理は、先ず操作量設定モードが設定されているか否かを識別する為のフラグＫがセットされている否かを判定することから開始される〈ステップＳ３１〉。そして操作量設定モードが設定されていない場合［Ｋ＝０］には、先ず前述した如く求められる掌の中心位置Ｃを操作量検出の為の基準位置Ｃoとして設定し〈ステップＳ３２〉、次いで上記フラグＫをセット［Ｋ＝１］して操作量設定モードを設定すると共に〈ステップＳ３３〉、この操作量設定モードにおいて用いるタイマー値ｔを零［０］にリセットする〈ステップＳ３４〉。

しかる後、その後に入力されるデータに対しては、既にフラグＫがセットされていることから〈ステップＳ３１〉、このときに求められる掌の中心位置Ｃと前述した如く設定した基準位置Ｃoとの変位距離、具体的には基準位置Ｃoからの移動距離Ｄを求める〈ステップＳ３５〉。この移動距離Ｄの算出については、入力画像上での画素間距離として求めれば十分である。そして上述した如く求めた移動距離に従い、例えば予め設定された操作量の検出モードに応じて〈ステップＳ３６〉、時間モードでの操作量の検出処理〈ステップＳ３７〉、或いは距離・時間モードでの操作量の検出処理〈ステップＳ３８〉を選択的に実行する。

ちなみに時間モードは、基準位置Ｃoから変位させた手指や掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を調節する場合等に好適である。また距離・時間モードは、手指や掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、掌が所定距離以上移動した場合には、その移動位置での停止時間に応じたスイッチ操作情報を出力するモードである。この距離・時間モードは制御対象を粗調整したり、微調整したりする場合等に好適なものである。

尚、この実施形態においては人差し指形状（手指形状２）でのスイッチ操作量の指示入力は、肘掛け５に載せた腕を中心にして掌を左右に移動させることによって、或いは手首を支点としてその手指を左右に移動させることによって行われる。掌や手指の左右への移動は、前述した撮像領域Ａを外れることのない範囲で、例えば角度的に略±４５°の範囲で行われる。特にこの実施形態においては、手指形状２とした掌の動き量をそれぞれｎ段階に分けて検出する。

ここで時間モードによる操作量の検出は、例えば図９にその処理手順を示すように、先ず掌の基準位置Ｃoからの移動量がその最大移動量を判定する設定値（閾値）Ｈ,−Ｈを越えているか否かを判定して行われる〈ステップＳ４０〉。この際、移動距離Ｄが上記設定値（閾値）Ｈ,−Ｈに至っていない場合には、タイマー値ｔを零［０］とし〈ステップＳ４１〉、前述したステップＳ１１からの処理に復帰する。

これに対して移動距離Ｄが設定値（閾値）Ｈを越えている場合には〈ステップＳ４０〉、タイマー値ｔをカウントアップする〈ステップＳ４２〉。そしてカウントアップされたタイマー値ｔが基準時間Ｔに至ったとき〈ステップＳ４３〉、そのときの設定値（スイッチ操作情報）を１段階増加させる〈ステップＳ４４〉。そしてタイマー値ｔを零［０］にリセットした後〈ステップＳ４５〉、前述したステップＳ１１からの処理に復帰する。

また移動距離Ｄが逆向きであって、その閾値−Ｈを越えている場合には〈ステップＳ４０〉、同様にしてタイマー値ｔをカウントアップする〈ステップＳ４６〉。そしてカウントアップされたタイマー値ｔが基準時間Ｔに至ったとき〈ステップＳ４７〉、そのときの設定（スイッチ操作情報）を１段階減少させる〈ステップＳ４８〉。そしてタイマー値ｔを零［０］にリセットした後〈ステップＳ４９〉、前述したステップＳ１１からの処理に復帰する。このような一連の処理によって、人差し指を立てた掌が左右に所定の距離を移動して停止したとき、その停止時間に応じて制御対象に対する操作情報（設定値）が１段ずつ増加または低減されて、そのスイッチ操作情報が出力される。

これに対して距離・時間モードによる操作量の検出は、例えば図１０にその処理手順を示すように、先ず掌の基準位置Ｃoからの移動距離Ｄがその最大移動量を判定する設定値（閾値）Ｈ,−Ｈを越えているか否かを判定して行われる〈ステップＳ５０〉。そしてその判定閾値Ｈ,−Ｈを越えている場合には、ステップＳ４２ａ,〜Ｓ４５ａ、およびステップＳ４６ａ,〜Ｓ４９ａにそれぞれ示すように、前述した時間モードの場合と同様にその最大移動位置での人差し指を立てた掌の停止時間に応じて制御対象に対する操作情報（設定値）を可変設定する。

しかし掌の基準位置Ｃoからの移動距離Ｄがその最大移動量に達しない場合には〈ステップＳ５０〉、今回検出された移動距離Ｄと前回検出されている移動距離Ｄ’とを比較して人差し指を立てた掌の移動の向きを判定する〈ステップＳ５１〉。そしてその移動の向きに応じて前述した基準位置Ｃoからの移動距離Ｄが、所定の検出単位距離ｈの整数倍として規定される検出距離［ｈ＊(ｎ−１)］を越えて変化したか否かを判定する〈ステップＳ５２,Ｓ５３〉。但し、上記ｎは検出距離を設定するパラメータである。そして上記判定用の検出距離［ｈ＊(ｎ−１)］を越えて掌が移動した場合には、上記パラメータｎをインクリメントして次の判定用の検出距離を設定し、制御対象に対する操作情報（設定値）が１段階増加または１段階低減する〈ステップＳ５６,Ｓ５７〉。

このような距離・時間モードによる操作量の検出処理によれば、基準位置Ｃoからの人差し指を立てた掌の移動距離Ｄに応じてスイッチ操作量を略連続的に与えることができる。そして人差し指を立てた掌を大きく移動させたときには、その停止位置での停止時間に応じてスイッチ操作量を連続的に変化させることが可能となる。これらの掌や手指の動きによってスイッチ操作量を、速やかに、しかも必要に応じて細かく設定することが可能となる。

かくして上述した如く手指の形状および掌の移動を検出して運転員（スイッチ操作者）のスイッチ操作意図を識別する操作指示認識部１４によれば、例えば図１１に示すように予め設定された手指形状を作り、手指および／または掌を動かすだけで、オーディオ機器や空調機器等の操作部２に触れることなく、簡易に各種制御対象に対するスイッチ情報を入力することができる。

即ち、運転員がステアリングホイール１を握って車両を操舵している場合には、初期状態Ｐ１に示すように運転員の手指は撮像領域Ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけである。従ってこの場合には、ハンドパターンスイッチ装置が作動することはない。これに対して運転員の手指がステアリングホイール１を外れて操作状態Ｐ２に示すように撮像領域Ａ内に入り込み、その手指形状が「Ｌ字形」形状（手指形状４）である場合には、前述したようにハンドパターンスイッチ装置の操作開始が指示されたと判定され、例えば「ピッ」なる確認音を発して装置を待機（スタンバイ）状態に競っている。

次いで手指形状が動作状態Ｐ３に示すように前述した親指だけを突き出した「了解（ＯＫ）」形状（手指形状３）に設定されると、これを検出して機能切り替えモード（制御対象選択モード）を設定する。そしてこの場合には、機能切り替えモードが設定されている旨を運転員（操作者）に提示するべく、例えば音声メッセージを発したり、オルゴールを鳴らす。そしてこの期間において親指が折り曲げられて拳形状（手指形状１）に変更されたとき、これを押し釦スイッチ操作であると判定して、制御対象を切り替える。この制御対象の切り替え時には、例えば前述したように「音量」,「温度」,「風量」と言う具合にスイッチ操作が検出される都度、例えば「音量調整モードが設定されました」,「温度調整モードが設定されました」,「風量調整モードが設定されました」等の音声ガイダンス（音声メッセージ）を通知することもできる。また簡略的には「音量」,「温度」,「風量」等の単語を音声メッセージとして発するようにしても良い。このようなガイダンスにより運転員は、その操作状態を目で確認することなく認識することが可能となるので運転操作に専念することが可能となる。

しかる後、所望とする制御対象が設定されたならば、動作状態Ｐ４に示すように手指形状を「指差し」形状（手指形状２）に設定する。するとこの手指形状２を認識することで、前述した操作量の設定モードが設定される。そして予め設定されている操作モードに応じて、動作状態Ｐ５ａ或いは動作状態Ｐ５ｂに示すように「指差し」形状（手指形状２）として掌を左右に動かし、これによって前述した如く設定した制御対象に対するスイッチ操作量の情報入力を行う。そして所望とするスイッチ操作が完了したならば、手指形状を動作状態Ｐ６に示すように「握り拳」形状（手指形状１）とすることで、その操作終了がその装置に対して指示される。

尚、前述した「指差し」形状（手指形状２）の拳を左右に動かしてスイッチ操作量の情報を入力している途中において、再度、親指だけを突き出した「了解（ＯＫ）」形状（手指形状３）が設定された場合には、その時点でスイッチ操作情報の入力処理を終了し、改めて制御対象の選択切り替えからの処理を実行すればよい。従って複数の制御対象を順次操作した場合であっても、その認識処理自体を中断することなく、連続的に複数の制御対象を繰り返し操作することが可能となり、その使い勝手を高めることが可能となる。

かくして上述した如く構成されたハンドパターンスイッチ装置によれば、簡易にして効果的に、しかも運転操作に伴う手指や腕の動きの影響を受けることなしに、予め設定された手指形状とその動きによるスイッチ操作指示を的確に検出することができる。そしてその検出結果に応じて、所定の車両搭載機器に対して適切にスイッチ操作情報を与えることが可能となる。またスイッチ操作を指示する手指を撮像する領域（撮像領域Ａ）が、ステアリングホイール１の側方の位置であって、運転員がその運転姿勢を崩すことなく自然に腕を伸ばし得る範囲に設定されているので、運転員に操作負担を掛けることがない。従ってオーディオ機器等の操作部２を直接操作する感覚を維持しながら、容易にハンドパターンスイッチ装置を介してスイッチ操作情報を指示入力することが可能となる等の実用上多大なる効果が奏せられる。

特にこのハンドパターンスイッチ装置によれば、掌を撮像した画像を２値化した画像中から指先に向かう手指軸を求め、この手指軸と略直角な走査線上での手指幅を指先側から順次求めながら、最大幅となる走査線と前記手指軸との交点を掌中心として求めているので、２値化画像中における掌部分を確実に検出することができる。従って操作者が長袖シャツを着用していても、或いは腕時計等を装着していても、これらの画像成分に拘わることなしに掌の中止、ひいては掌部分を確実に検出することができる。

その上で上記掌中心を基準とし、検出対象とする指の向きと略直角に指検出用の走査線を設定し、これらの走査線上で検出される所定幅以上の画像成分を指の幅として捉えながら、その走査線の本数から指が掌部分から突出しているか否かを判定するので、その指形状を簡単にしかも確実に認識（検出）することができる。特に人差し指と親指の向きの違いを積極的に利用してこれらの各指の掌部分からの突出状態を判定するので、前述した複数の手指形状の特徴を確実に捉えて、その手指形状を認識することが可能となる。従って負担の少ない簡単な画像処理によって手指形状と掌の動き（位置変化）を確実に認識することができるので、その操作自体も簡素化することが可能となる等の効果が奏せられる。

尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。その制御対象についても、例えば図１２に示すようにワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。この場合、その制御対象を系統立ててツリー状に分類しておき、これらの制御対象を段階的に選択していくようにすれば良い。

具体的には複数の制御対象を「走行装置系」と「快適装備系」とに大分類し、「走行装置系」については更に「方向指示器」,「ワイパー」,「ライト」,「ミラー」のように中分類する。そしてこれらの中分類された各制御対象毎に、その複数の機能を小分類しておけばよい。同様に「快適装備系」についても「オーディオ」と「エアコン」とに中分類し、更に「オーディオ」については「ラジオ」,「ＣＤ」,「テープ」,「ＭＤ」等の機器種別毎に分類し、これらの機器種別毎にその操作形態や音量等を機能分類しておくようにすれば良い。但し、徒に分類項目を設定した場合、その選択処理自体が複雑化するので、実際的には必要最小限の制御対象だけを選択し得るように設定しておくことが、その操作性の点で好ましい。

また情報入力に用いる手指の形状については、上述した例に限定されないことも言うまでもない。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。

本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図。図１に示すハンドパターンスイッチ装置における手指の撮像領域を示す図。手指形状と掌中心の認識処理手順の一例を示す図。図３に示す手指形状と掌中心の認識処理を説明する為の概念図。従来一般的な手指形状の認識処理における不具合を説明する為の図。本発明の実施形態で用いられる手指形状の例を示す図。図１に示すハンドパターンスイッチ装置における操作指示認識部での手指形状の認識処理手順の一例を示す図。操作量の検出処理手順の一例を示す図。時間モードによる操作量の検出処理例を示す図。距離・時間モードでの操作量の検出処理例を示す図。本装置に対する手指によるスイッチ操作情報の入力形態を示す図。複数の制御対象を選択する上での体系化の例を示す図。

符号の説明

１ステアリングホイール
２オーディオ機器等の操作部
３カメラ
１１２値化処理部
１２重心位置検出部
１３形状認識部
１４操作指示認識部
１５メモリ
１６形状判定部
１７変位量検出部
１８タイマ
１９ガイド部

Claims

所定の撮像領域におかれた腕先を撮像する撮像手段と、この撮像手段により撮像された撮像画像から手指形状を検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置において、
前記撮像画像に基づいて上記腕の中心を通る中心軸を求める第１の画像処理手段と、
上記中心軸に対して直交する第１走査線および前記中心軸と所定の角度をなし、開いた親指と略直交する第２走査線を設定する走査線設定手段と、
この走査線設定手段により設定された上記第１および第２走査線により前記手指の有無を判定する判定手段と
を具備したことを特徴とするハンドパターンスイッチ装置。
前記第１の画像処理手段は、前記撮像画像を２値化処理する２値化処理手段と、この２値化処理された撮像画像の重心を求める重心検出手段とを含み、
前記腕の中心を通る中心軸は、上記重心を通る軸線として求められるものであることを特徴とする請求項１に記載のハンドパターンスイッチ装置。
前記腕先側から上記重心側に向かって前記第１走査線を走査し、２値化処理された上記腕先の幅が最大となる走査線を求め、この走査線と前記中心軸との交点を掌中心として求める第２の画像処理手段を備え、この第２の画像処理手段により求められた掌中心の動きを検出して所定のスイッチ操作情報を得ることを特徴とする請求項２に記載のハンドパターンスイッチ装置。
前記判定手段は、前記第１走査線を用いて人差し指の有無を判定し、前記第２走査線を用いて親指の有無を判定するものであることを特徴とする請求項１〜３のいずれか１項に記載のハンドパターンスイッチ装置。
前記判定手段は、所定幅以上の指幅が検出される走査線の本数が所定本数以上あるとき、手指が掌から延びていると判定することを特徴とする請求項１〜４のいずれか１項に記載のハンドパターンスイッチ装置。
前記判定手段は、前記掌中心を通る走査線幅の［１／７〜１／４］以上の指幅が検出される走査線の本数が所定本数以上であるとき、手指が掌から伸びていると判定するものである請求項３に記載のハンドパターンスイッチ装置。