JP5593339B2 - 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム - Google Patents

Description

本発明は、自動車のステアリングハンドルを用いるジェスチャー（操作）を車内に設置された撮像機器によりステアリングハンドルを撮像し、画像データよりステアリングハンドルにおける人の手の位置を認識するジェスチャー認識装置に関する。

従来、車のステアリングハンドルを用いるジェスチャー、即ちステアリングハンドル上の乗員の手の位置をカメラにより読み取り、読み取った手の位置と動きに基づく操作処理を行うジェスチャーリモコン式操作装置が知られている。ジェスチャーリモコン式装置に用いられるジェスチャー認識装置は、ステアリングハンドル上の乗員の手の位置をカメラにより撮像し、その画像データを処理して手を認識する。

例えば、特許文献１には、操作者のジェスチャー、即ち手の位置や手の動きに基づいて車載機器に対する操作コマンドを出力するものが記載されている。

また、特許文献２には、背景に濃淡むらのある画像を二値化し、二値画像からより鮮明な検出対象物を抽出するものが記載されている。

特許第３９４１７８６号公報 特開２００７−１２２２７４号公報

しかしながら、特許文献１に記載されたものは、操作者の手の位置や動きを正確に読み取ることが難しく、例えば、操作者の違いによるジェスチャーの微妙な違いも明確には識別できない。

また、特許文献２に記載されたものは、背景に濃淡むらがある画像から対象物を検出しているため、自動車に適用した場合、背景となるステアリングハンドルには濃淡むらがなく、太陽光があたる環境下で撮像される画像データから対象物である手の位置を検出することが難しい。

ステアリングハンドル上の手をカメラにより撮像した画像データを二値化して二値画像より手を認識する場合、太陽光が手の前方から当たっているときは、光が当たっている部分が白、光が当たっていない部分が黒に二値化され、二値画像上で手が分離してしまう。また、光が手の右側後方から当たっているときは、手の上に光が当たっている部分と、光が当たらずに陰になる部分ができ、二値画像上で手が分離してしまう。このように手が分離した場合、手であると認識できないことがある。

そこで、本発明はどの方向から光が当たっても二値画像より手を認識することができるジェスチャー認識装置を提供することを目的とする。

前記課題を解決するために創案された本発明のジェスチャー認識装置は、ステアリングハンドルを撮像できる位置に設けられる撮像手段と、撮像手段から出力される撮像データに基づいてステアリングハンドルにおける人の手の位置を認識する認識手段とを備える、自動車のステアリングハンドルを用いるジェスチャー認識装置において、ステアリングハンドルには基準マークが設けられ、認識手段は、撮像手段から出力される撮像データを所定の方法により二値化処理し、第１の二値画像を作成する二値化処理手段と、撮像データにおいて、基準マークの位置に基づいて、ジェスチャー時に手が写っているであろう第１の領域と、ジェスチャー時にも背景が写っているであろう第２の領域とを決定し、第１の領域と第２の領域を1つの画像として所定の方法により新たな閾値を決定し、撮像データの所定の領域を再二値化して第２の二値画像を作成する再二値化処理手段と、第１の二値画像と第２の二値画像のうちいずれか一方または両方で手を認識できる場合、手を認識できると判定する判定手段と、を有する。

また、本発明の自動車のステアリングハンドルを用いるジェスチャー認識装置は、第２の二値画像に対して収縮処理を行う収縮処理手段を更に備えることができる。

ここで、二値化処理手段における所定の方法は、判別分析法または適応的二値化処理によることが好ましい。また、再二値化処理手段における所定の方法は、判別分析法であることが好ましい。

本発明の手認識方法は、自動車のステアリングハンドルを用いるジェスチャー時に、ステアリングハンドルを撮像できる位置に設けられる撮像手段から出力される撮像データに基づいて、ステアリングハンドルにおける人の手の位置を認識する手認識方法において、ステアリングハンドルには基準マークが設けられ、撮像手段から出力される撮像データを所定の方法により二値化処理を行い、第１の二値画像を作成するステップと、撮像データにおいて、基準マークの位置に基づいて、ジェスチャー時に手が写っているであろう第１の領域と、ジェスチャー時にも背景が写っているであろう第２の領域とを決定し、第１の領域と第２の領域を1つの画像として所定の方法により新たな閾値を決定し、撮像データの所定の領域を再二値化して第２の二値画像を作成するステップと、第１の二値画像と第２の二値画像のうちいずれか一方または両方で手を認識できる場合、手を認識できると判定するステップとを備える。

また、第２の二値画像に対し収縮処理を行うステップを更に備えることができる。

ここで、第１の二値画像を作成するステップにおける所定の方法は、判別分析法または適応的二値化処理によることが好ましい。また、第２の二値画像を作成するステップにおける所定の方法は、判別分析法であることが好ましい。

本発明のプログラムは、上記の手認識方法をコンピュータに実行させるプログラムである。

本発明の自動車のステアリングハンドルを用いるジェスチャー認識装置によれば、撮像データの二値化による二値画像を更に所定の領域のみ異なる閾値で再二値化を行うので、最初の二値画像では光の当たり具合により手の甲や指の一部が黒に分類された部分を白く分類することになり、二値画像において手の甲と指を結合することができる。これにより、二値画像において手の認識が可能となる。

また、本発明では再二値化された二値画像に対し収縮処理をしている。再二値化の際に背景の一部が白く分類される場合があり、背景と手の甲と指が結合する可能性があるが、収縮処理を行うことにより結合の可能性を低減することができる。

更に、本発明では再二値化を行う領域を画像全体ではなく所定の領域のみとしているので、装置の処理負担を軽減することができる。

本発明のステアリングハンドルにおける人の手の位置を認識する手認識方法によれば、撮像データの二値化による二値画像を更に所定の領域のみ異なる閾値で再二値化を行うので、最初の二値画像では光の当たり具合により手の甲や指の一部が黒に分類された部分を白く分類することになり、二値画像において手の甲と指を結合することができる。これにより、二値画像において手の認識が可能となる。

本発明の自動車のステアリングハンドルを用いるジェスチャー認識装置の一実施形態に係る自動車の車室内を示す概略図である。 インストルメントパネル付近を運転者側から見た正面図である。 ジェスチャー認識装置の手認識部の構成を示すブロック図である。 手の認識処理方法を示すフローチャートである。 手の認識処理における画像処理の一例を示す図である。 手の認識処理における画像処理の一例を示す図である。 手の認識処理における画像処理の一例を示す図である。

本発明の自動車のステアリングハンドルを用いるジェスチャー認識装置は、車のステアリングハンドルをカメラ等の撮像手段により撮像し、撮像データを二値化して二値画像よりステアリングハンドル上の運転手の手を認識する装置である。本発明の自動車のステアリングハンドルを用いるジェスチャー認識装置の操作装置の実施形態について添付図面を参照して以下に詳細に説明する。

図１及び図２に本発明の自動車のステアリングハンドルを用いるジェスチャー認識装置を搭載した自動車の車室内を示す。図１、２に示すように、撮像機器であるカメラ１が運転者の斜め後方の天井部に、ステアリングハンドルＳを撮像できるように設置される。また、カメラ１の近傍には、車内が暗い場合にステアリングハンドルＳ周辺を照射する赤外線照射手段ＵＲが設けられる。

撮像手段として用いられるカメラは、可視光の画像と赤外線の画像を撮像できるカメラであり、カメラの設置位置は図１の例に限らず、車室内のステアリングハンドルＳを撮像可能な位置であればよい。

撮像対象であるステアリングハンドルＳは、操向軸（図示せず）に連結された中央ハブ部Ｓａと、その中央ハブ部Ｓａを円環状に取り囲むリム部Ｓｍと、そのリム部Ｓｍおよび中央ハブ部Ｓａ間を連結する３本のスポーク部Ｓｂ１〜Ｓｂ３とを備える。中央ハブＳａの外面にはホーンカバー２が着脱可能に被着され、そのホーンカバー２の中央外面には、デザイン処理されたＨ字状のマークＭ１が装着される。また、スポーク部Ｓｂ１〜Ｓｂ３には、これらの外面を体裁よく覆うスポークカバー３が着脱可能に装着される。

ステアリングハンドルＳがまっすぐな位置であるとき、スポーク部Ｓｂ１とＳｂ３には左右対称にＬ字状マークの基準マークＭｓが設けられ、スポーク部Ｓｂ１にはマークＭ２〜Ｍ４が設けられ、スポーク部Ｓｂ３にはマークＭ５〜Ｍ７が設けられる。本実施形態では、基準マークＭｓの位置に基づいて、カメラからの入力画像に対して行う二値化処理の閾値を求める画像領域を決定する。

なお、基準マークとマークを設けて撮像装置の撮像データに基づいて、基準マークの位置を認識し、基準マークの位置からマークの位置を特定する車載機器の操作装置は、本願出願人により特許出願されている（未公開）。

閾値を求める画像領域を決定する方法は、基準マークを利用する方法に限ることなく、他の認識可能なものに基づいてもよく、或いは、予め閾値を求める画像領域を決定していてもよい。

次に、カメラ１により撮像された画像データを二値化して二値画像より手を認識する手認識部について説明する。図３にジェスチャー認識装置の手認識部１０を示す。図３に示すように、カメラ１により撮像された画像データを受信する画像受信部１１と、画像受信部１１から受信した入力画像を所定の方法で二値化処理して、第１の二値画像を作成する二値化処理部１２と、入力画像の所定の領域を他の閾値により再二値化して第２の二値画像を作成する再二値化処理部１３と、再二値化処理部１３により作成された第２の二値画像を収縮処理する収縮処理部１４と、第１の二値画像と収縮処理された第２の二値画像において手を認識可能か否かを判定する判定部１５とを備える。

画像受信部１１は、カメラ１から画像データを受け取る機能を有する。具体的には、カメラが生成した所定の形式の画像データを受信し、受信した入力画像を二値化処理部１２に送信する。

二値化処理部１２は、画像受信部１１から送信された入力画像を二値画像に変換する機能を有する。本実施の形態では、画像を二値化する閾値を決定する方法として判別分析法を用いる。判別分析法については公知の技術であるため詳しい説明は省略するが、判別分析法の文献として、「大津展之：“判別および最小２乗基準に基づく自動しきい値選定法，”電子通信学会論文誌Ｄ，Ｊ−６３，４，ｐ．３４９，１９８０」がある。

二値化処理部１２は、入力画像から基準マークＭｓに基づいて閾値を求める領域を決定し判別分析を行ったものを閾値として、入力画像の二値化処理を行い、第１の二値画像を作成する。この入力画像の二値化処理により、第１の二値画像において、ステアリングハンドルと手を分離することが可能となる。作成された第１の二値画像は判定部１５により手を認識できるか否かを判定される。

次に、再二値化処理部１３は、画像受信部１１から送信された入力画像の所定の領域のみに対して二値化を行う他の閾値を決定して、二値化処理部１２により作成された二値画像の所定の領域に対して再二値化を行い、第２の二値画像を作成する。ここで、再二値化を行う目的は、二値化処理部１２による二値画像においてステアリングハンドルと手を分離したが、光の当たり方によっては、手の各指も手の甲から分離してしまう場合があり、手の甲と手の各指とを結合する目的で再二値化処理を行う。

再二値化処理部１３における他の閾値の決定方法は、入力画像から基準マークＭｓに基づいて、ジェスチャー（操作）時に恐らく手が入るであろう領域と、ジェスチャー（操作）時にも背景が写っているであろう領域を決定する。そして、これら領域を１つの画像として判別分析法により閾値を決定する。

また、再二値化を行う所定の領域とは、再二値化を行う必要最低限な領域であることが好ましく、その決定方法は、入力画像から基準マークMｓに基づいて決定することができる。例えば、他の閾値の決定に用いた上述の領域は、手と背景の境目が写っている領域であると推測できるので、これらの領域のみを再二値化すれば手の甲と手の各指とを結合できる可能性が高い。必要最低限な領域のみを再二値化することにより、処理負担を軽減することができる。

収縮処理部１４は、再二値化処理部１３により作成された第２の二値画像に対して収縮処理を行う。再二値化された二値画像に対して収縮処理を行うのは、再二値化した際に、背景となるステアリングハンドルと結合しやすくなるため、結合を緩和するためである。なお、収縮処理の一例として、特許第３０２５３６５号公報の段落００１４に記載がある。

判定処理部１５は、第１の二値画像と収縮処理部１４により収縮された第２の二値画像とにおいて手を認識できるかどうかを判定し、どちらか一方またはその両方に手を認識できた場合、手を認識できると判定する。

次に、ジェスチャー認識装置の手の認識処理方法を説明する。図４に手の認識処理方法のフローチャートを示す。手の認識処理方法は、入力画像に対して判別分析法により二値化処理を行って第１の二値画像を作成し、次に所定の領域のみを再二値化して第２の二値画像を作成する方法である。

最初に第１の二値画像を作成する。カメラにより撮像された入力画像に対して判別分析法により二値化処理を行う閾値を決定する（Ｓ１００）。

図５に第１の二値画像を作成する画像処理の一例を示す。図５において、（ａ）はカメラ入力画像、（ｂ）は二値化を行う閾値決定のブロック、（ｃ）は二値化処理後の二値画像である。図５（ｂ）に示すように、カメラ入力画像を任意のサイズのブロックに分割し、ブロックごとに判別分析法で分析して閾値を決定する。

次に、決定された閾値により入力画像を二値化し二値画像を作成する(Ｓ１０１)。図５の例では、（ａ）の入力画像を二値化したものが（ｃ）の二値画像である。図５（ｃ）に示す二値画像では、手の甲が黒くなり背景として分類されている。

次に第２の二値画像を作成する。第１の二値画像を作成した際の入力画像に対して、ジェスチャー（操作）時に恐らく手が入るであろう領域１点と、ジェスチャー（操作）時にも背景が写っているであろう領域を２点決定する（Ｓ１０２）。これら３点の領域は図２の基準マークＭｓを基準として決定することができる。本実施の形態では、恐らく手が入るであろう領域を１点と、背景が写っているであろう領域を２点決定しているが、これら領域を何個所用いてもよく、適宜決定することができる。

図６に再二値化処理を行い第２の二値画像を形成する画像処理の一例を示す。図６において、（ａ）はカメラ入力画像、（ｂ）再二値化を行う閾値決定のブロック、（ｃ）閾値決定のブロックの画像を１つの画像とした場合、（ｄ）は二値化処理後の二値画像である。図６（ｂ）に示すように、決定される３点の領域は、手が入る（写る）であろう領域を中央ハブ部Ｓａの中心のブロックとし、操作時にも背景が写っているであろう領域を中央ハブ部Ｓａの基準マークＭｓの近傍のブロックとしている。

図６（ｃ）に示すように、３点のブロックの画像を１つの画像として判別分析法を行って新たな閾値を決定する（Ｓ１０３）。そして、入力画像の所定の領域を新たな閾値により再二値化処理して、第２の二値画像を作成する（Ｓ１０４）。図６（ｄ）に示すように、再二値化後の第２の二値画像では、手の甲が白く分類されている。次に、第２の二値画像に対して、収縮処理を行う（Ｓ１０５）。そして次に、第１の二値画像と収縮処理された第２の二値画像において手を認識できるかどうかを判定する（Ｓ１０６）。第１の二値画像と第２の二値画像のいずれかで手を認識できる場合、手を認識できると判定される（Ｓ１０７）。

図５（ｃ）の第１の二値画像では手の甲が黒くなり、手を認識できないと判定されるが、図６（ｄ）の再二値化された画像の例では、手が白く分類されているため、手であると認識される。従って、一方で手を認識できるので、手を認識できると判定されることになる。

図７に手の認識処理における画像処理の他の例を示す。図７（ａ）は、カメラからの入力画像であり、手の右側後方から光が当たっている。（ｂ）は、判別分析法による第１の二値画像、（ｃ）は必要最低限の領域を再二値化し、収縮処理を行った第２の二値画像である。

図７（ｂ）に示すように、手は白く分類され、ステアリングＳの部分は黒に分類される。つまり（ｂ）の第１の二値画像において手を認識できると判断される。一方（ｃ）の第２の二値画像では、再二値化処理によりホーン部２が白に分類されてしまい、指とエアバック面が結合してしまうが、収縮処理を行うことにより、人さし指が細くなり、人さし指とホーン部２の結合を解除することができる。

上述の実施形態では二値化の閾値の決定方法に判別分析法を用いたが、他の二値化の閾値を決定する方法を用いて、同様の処理手順により二値画像を作成して手の認識を行うことができる。また、最初の二値化を行う閾値と再二値化を行う閾値をどちらも判別分析法により決定したが、それぞれ異なる方法を用いて閾値を決定することができる。例えば、最初の閾値を適応的二値化処理(adaptive threshold)により決定し、再二値化を行う閾値を判別分析法により決定しても上述の実施形態と同様の処理手順により同様な効果を得ることができる。なお、適応的二値化処理の一例として、特許第４４０５９４２号公報の段落００３７に記載がある。

以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。

１ カメラ
１０ 手認識部
１１ 画像受信部
１２ 二値化処理部
１３ 再二値化処理部
１４ 収縮処理部
１５ 判定部

Claims (9)

1. ステアリングハンドルを撮像できる位置に設けられる撮像手段と、前記撮像手段から出力される撮像データに基づいて前記ステアリングハンドルにおける人の手の位置を認識する認識手段とを備える、自動車のステアリングハンドルを用いるジェスチャー認識装置において、
   前記ステアリングハンドルは基準マークが設けられ、
   前記認識手段は、
   前記撮像手段から出力される撮像データを所定の方法により二値化処理し、第１の二値画像を作成する二値化処理手段と、
   前記撮像データにおいて、前記基準マークの位置に基づいて、ジェスチャー時に手が写っているであろう第１の領域と、ジェスチャー時にも背景が写っているであろう第２の領域とを決定し、第１の領域と第２の領域を1つの画像として所定の方法により新たな閾値を決定し、前記撮像データの所定の領域を再二値化して第２の二値画像を作成する再二値化処理手段と、
   前記第１の二値画像と前記第２の二値画像のうちいずれか一方または両方で手を認識できる場合、手を認識できると判定する判定手段と、を有することを特徴とする自動車のステアリングハンドルを用いるジェスチャー認識装置。
2. 前記第２の二値画像に対して収縮処理を行う収縮処理手段を更に備えることを特徴とする請求項１記載の自動車のステアリングハンドルを用いるジェスチャー認識装置。
3. 前記二値化処理手段における所定の方法は、判別分析法または適応的二値化処理であることを特徴とする請求項１又は請求項２記載の自動車のステアリングハンドルを用いるジェスチャー認識装置。
4. 前記再二値化処理手段における所定の方法は、判別分析法により決定することを特徴とする請求項１乃至請求項３記載の自動車のステアリングハンドルを用いるジェスチャー認識装置。
5. 自動車のステアリングハンドルを用いるジェスチャー時に、前記ステアリングハンドルを撮像できる位置に設けられる撮像手段から出力される撮像データに基づいて、前記ステアリングハンドルにおける人の手の位置を認識する手認識方法において、
   前記ステアリングハンドルは基準マークが設けられ、
   前記撮像手段から出力される撮像データを所定の方法により二値化処理を行い、第１の二値画像を作成するステップと、
   前記撮像データにおいて、前記基準マークの位置に基づいて、ジェスチャー時に手が写っているであろう第１の領域と、ジェスチャー時にも背景が写っているであろう第２の領域とを決定し、第１の領域と第２の領域を1つの画像として所定の方法により新たな閾値を決定し、前記撮像データの所定の領域を再二値化して第２の二値画像を作成するステップと、
   前記第１の二値画像と前記第２の二値画像のうちいずれか一方または両方で手を認識できる場合、手を認識できると判定するステップと、を備えることを特徴とする手認識方法。
6. 前記第２の二値画像に対し収縮処理行うステップを更に備えることを特徴とする請求項５記載の自動車における手認識方法。
7. 前記第１の二値画像を作成するステップにおける所定の方法は、判別分析法または適応的二値化処理により決定することを特徴とする請求項５又は請求項６記載の手認識方法。
8. 前記第２の二値画像を作成するステップにおける所定の方法は、判別分析法であることを特徴とする請求項５乃至請求項７記載の手認識方法
9. 請求項５乃至請求項８記載の手認識方法をコンピュータに実行させるプログラム。