JP7325625B2 - ジェスチャ検出装置およびジェスチャ検出方法 - Google Patents

Description

本開示は、ジェスチャ検出装置およびジェスチャ検出方法に関する。

車両の乗員による車載機器の操作に関して、乗員の手のジェスチャを検出することにより、乗員がその車載機器に接触することなく、その車載機器を操作するシステムが提案されている。例えば、ジェスチャ検出装置は、車内に設けられたカメラ等によって撮影された映像に基づいて乗員の手を検出する。車載機器は乗員の手のジェスチャに従って動作することから、ジェスチャ検出装置における乗員の手の検出には正確性が求められる。例えば、特許文献１には、画像データに含まれる人物の手を含む注目領域の検出精度を向上させる画像処理装置が提案されている。

特開２００６－３５０５７６号公報

ジェスチャ検出装置は、映像に基づいて乗員の手を検出する。そのため、映像の状態によっては、乗員の手として検出された検出物が、真の手ではない場合がある。

本開示は、上記の課題を解決するためのものであり、映像に基づいて検出された手が真の手であるか否か正確に判定するジェスチャ検出装置の提供を目的とする。

本開示に係るジェスチャ検出装置は、検出情報取得部、判定部および棄却部を含む。検出情報取得部は、車両の乗員の手のジェスチャにおける手の検出結果と、手が検出された映像における手の情報と、を取得する。その車両の乗員の手は、車両に設けられた撮像装置によって撮影された映像に基づいて検出される。判定部は、映像における手の情報についての少なくとも１つの予め定められた条件に基づいて、手が真の手であるか否かを判定する。棄却部は、手が真の手でない場合に、映像に基づいて検出された手の検出結果を棄却する。手の情報は、輝度の明暗による模様である手のテクスチャの情報を含む。手の情報についての少なくとも１つの予め定められた条件は、映像が近赤外像である場合に、手のテクスチャに関する条件を含む。

本開示によれば、映像に基づいて検出された手が真の手であるか否か正確に判定するジェスチャ検出装置が提供される。

本開示の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。

実施の形態１におけるジェスチャ検出装置の構成を示す機能ブロック図である。 ジェスチャ検出装置が含む処理回路の構成の一例を示す図である。 ジェスチャ検出装置が含む処理回路の構成の別の一例を示す図である。 実施の形態１におけるジェスチャ検出方法を示すフローチャートである。 実施の形態２におけるジェスチャ検出装置の構成を示す機能ブロック図である。 手が検出された映像における手の情報および予め定められた条件の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された閉じた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された閉じた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された閉じた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された閉じた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された開いた状態の手の一例を示す図である。 検出部にて検出された閉じた状態の手の一例を示す図である。 検出部にて検出された閉じた状態の手の一例を示す図である。 実施の形態２におけるジェスチャ検出方法を示すフローチャートである。 実施の形態３におけるジェスチャ検出装置およびそれに関連して動作する装置の構成を示す機能ブロック図である。

＜実施の形態１＞
図１は、実施の形態１におけるジェスチャ検出装置１００の構成を示す機能ブロック図である。また、図１には、ジェスチャ検出装置１００と関連して動作する装置として、撮像装置１１０が示されている。撮像装置１１０は、車両に設けられている。撮像装置１１０は、車両の内部の乗員の映像を撮像する。ジェスチャ検出装置１００は、その映像に基づいて、車両の乗員の手のジェスチャを検出する。

ジェスチャ検出装置１００は、検出部１０、検出情報取得部２０、判定部３０および棄却部４０を含む。

検出部１０は、撮像装置１１０によって撮影された映像に基づいて、車両の乗員の手を検出する。

検出情報取得部２０は、手の検出結果と、手が検出された映像における手の情報と、を取得する。手の検出結果は、例えば、その映像における乗員の手の位置座標（検出位置）、手の輪郭、手を囲む領域等の情報を含む。手の検出結果は、車両に搭載された機器（車載機器）を手のジェスチャによって操作するための情報である。映像における手の情報とは、例えば、映像における手の輝度、手の位置、手の大きさ、手の移動量、手の角度、手のテクスチャ（輝度の明暗による模様）、手の形状等の情報を含む。手の情報は、検出された手が真の手か否かの判定に使用される情報である。

判定部３０は、映像における手の情報についての少なくとも１つの予め定められた条件に基づいて、その映像に基づいて検出された手が真の手であるか否かを判定する。

棄却部４０は、映像に基づいて検出された手が真の手でない場合に、その手の検出結果を棄却する。ジェスチャ検出装置１００は、棄却部４０で棄却された手の検出結果をその後の処理において使用しない、または、外部にその棄却された手の検出結果を出力しない。

図２は、ジェスチャ検出装置１００が含む処理回路９０の構成の一例を示す図である。検出部１０、検出情報取得部２０、判定部３０および棄却部４０の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、検出部１０、検出情報取得部２０、判定部３０および棄却部４０を有する。

処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。検出部１０、検出情報取得部２０、判定部３０および棄却部４０の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。

図３は、ジェスチャ検出装置１００が含む処理回路の構成の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを有する。プロセッサ９１がメモリ９２に格納されたプログラムを実行することにより、検出部１０、検出情報取得部２０、判定部３０および棄却部４０の各機能が実現される。例えば、プログラムとして記載されたソフトウェアまたはファームウェアが、プロセッサ９１によって実行されることにより各機能が実現される。このように、ジェスチャ検出装置１００は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを有する。

プログラムには、ジェスチャ検出装置１００が、車両の乗員の手のジェスチャにおける手の検出結果と、手が検出された映像における手の情報と、を取得する機能が記載されている。その手の検出結果は、車両に設けられた撮像装置１１０によって撮影された映像に基づいて検出される。また、そのプログラムには、その映像における手の情報についての少なくとも１つの予め定められた条件に基づいて、手が真の手であるか否かを判定する機能が記載されている。さらに、そのプログラムには、手が真の手でない場合に、映像に基づいて検出された手の検出結果を棄却する機能が記載されている。プログラムは、検出部１０、検出情報取得部２０、判定部３０および棄却部４０の手順または方法をコンピュータに実行させるものである。

プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。

上記の検出部１０、検出情報取得部２０、判定部３０および棄却部４０の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上記の各機能を実現する。

図４は、実施の形態１におけるジェスチャ検出方法を示すフローチャートである。

ステップＳ１にて、検出部１０は、撮像装置１１０によって撮影された映像に基づいて、車両の乗員の手を検出する。

ステップＳ２にて、検出情報取得部２０は、手の検出結果と、手が検出された映像における手の情報と、を取得する。

ステップＳ３にて、判定部３０は、映像における手の情報についての少なくとも１つの予め定められた条件に基づいて、映像に基づいて検出された手が真の手であるか否かを判定する。

ステップＳ４にて、棄却部４０は、映像に基づいて検出された手が真の手でない場合に、その手の検出結果を棄却する。以上で、ジェスチャ検出方法は終了する。

まとめると、実施の形態１におけるジェスチャ検出装置１００は、検出情報取得部２０、判定部３０および棄却部４０を含む。検出情報取得部２０は、車両の乗員の手のジェスチャにおける手の検出結果と、その手が検出された映像における手の情報と、を取得する。その車両の乗員の手は、車両に設けられた撮像装置１１０によって撮影された映像に基づいて検出される。判定部３０は、映像における手の情報についての少なくとも１つの予め定められた条件に基づいて、手が真の手であるか否かを判定する。棄却部４０は、手が真の手でない場合に、映像に基づいて検出された手の検出結果を棄却する。

このようなジェスチャ検出装置１００は、映像に基づいて検出された手が真の手であるか否か正確に判定する。

また、実施の形態１におけるジェスチャ検出方法は、車両の乗員の手のジェスチャにおける手の検出結果と、手が検出された映像における手の情報と、を取得する。車両の乗員の手は、車両に設けられた撮像装置１１０によって撮影された映像に基づいて検出される。さらに、ジェスチャ検出方法は、映像における手の情報についての少なくとも１つの予め定められた条件に基づいて、手が真の手であるか否かを判定し、手が真の手でない場合に、映像に基づいて検出された手の検出結果を棄却する。

このようなジェスチャ検出方法によれば、映像に基づいて検出された手が真の手であるか否か正確に判定される。

＜実施の形態２＞
実施の形態２におけるジェスチャ検出装置およびジェスチャ検出方法を説明する。実施の形態２は実施の形態１の下位概念であり、実施の形態２におけるジェスチャ検出装置は、実施の形態１におけるジェスチャ検出装置１００の各構成を含む。なお、実施の形態１と同様の構成および動作については説明を省略する。

図５は、実施の形態２におけるジェスチャ検出装置１０１の構成を示す機能ブロック図である。

撮像装置１１０は、車両の室内の前方中央に設けられている。撮像装置１１０は、車両の室内を広角で撮影し、運転席および助手席の両方を一度に撮影する。撮像装置１１０は、例えば、赤外線を撮影するカメラ、可視光を撮影するカメラ等である。実施の形態２におけるジェスチャ検出装置１０１は、撮像装置１１０によって撮影される映像に基づいて、車両の乗員の手のジェスチャを検出する。そのジェスチャは、車両に搭載された機器（車載機器）を操作するためのジェスチャである。車載機器とは、例えば、エアコン、オーディオ等である。ジェスチャ検出装置１０１によって検出されたジェスチャによって、エアコンの温度調節、オーディオの音量調節等が実行される。

ジェスチャ検出装置１０１は、映像情報取得部５０、検出部１０、検出情報取得部２０、判定部３０および棄却部４０を含む。

映像情報取得部５０は、撮像装置１１０によって撮影された映像を取得する。

検出部１０は、その映像に基づいて、車両の乗員の手を検出する。検出部１０は、例えばその映像に写った情報と予め定められた手の形状とのマッチングにより、乗員の手を検出する。より詳細には、検出部１０は、その映像における乗員の手の位置座標（検出位置）を検出する。検出部１０は、その乗員の手の輪郭または手を囲む領域を検出してもよい。手を囲む領域とは、例えば、手の輪郭を含む矩形の枠領域である。実施の形態２における手の検出結果は、それら手の検出位置、手の輪郭および手を囲む領域のうち少なくとも１つを含む。

検出情報取得部２０は、手の検出結果と、その手が検出された映像における手の情報と、を取得する。手の情報の詳細は、後述する。検出情報取得部２０は、例えば、手の情報を検出部１０から取得する。または、検出情報取得部２０は、その手が検出された映像に基づいて、自身で手の情報を求めることによって取得してもよい。

判定部３０は、映像における手の情報についての予め定められた条件に基づいて、検出部１０で検出された手が真の手であるか否かを判定する。

図６は、手が検出された映像における手の情報およびその手の情報についての予め定められた条件の一例を示す図である。実施の形態２における判定部３０は、以下に示されるいずれか１つ以上の予め定められた条件に基づいて、検出部１０で検出された手が真の手であるか否かを判定する。以下において、検出部１０で検出される手は、開いた状態の手（パーの手）および閉じた状態の手（サムズアップの手）を一例として示すが、それらの状態の手に限定されるものではない。検出部１０で検出される手は、数を示す状態の手、方向を示す状態の手等であってもよい。

検出情報取得部２０は、例えば、手の情報として、手が検出された映像における検出輝度差の情報を取得する。検出輝度差とは、手の輝度と手の周辺の輝度との輝度差である。図７および図８は、検出部１０にて検出された開いた状態の手（パーの手）および閉じた状態の手（サムズアップの手）の一例をそれぞれ示す図である。検出輝度差は、映像における手２と背景３との境界近傍における手２の輝度とその境界近傍の背景３の輝度との輝度差に対応する。判定部３０は、検出輝度差が、予め定められた輝度差以上である場合、映像に基づいて検出された手が真の手であると判定する。すなわち、上記の手の情報についての予め定められた条件とは、手の輝度とその手の周辺の輝度との輝度差に関する条件である。

検出情報取得部２０は、例えば、手の情報として、映像内の手の位置の情報を取得する。判定部３０は、手の位置が、予め定められた範囲に含まれている場合、検出された手が真の手であると判定する。予め定められた範囲とは、例えば、検出部１０が映像に基づいて手の検出を行う範囲である。すなわち、上記の手の情報についての予め定められた条件とは、手の位置に関する条件である。また、検出情報取得部２０は、手の位置に加えて手の大きさの情報を取得してもよい。それにより、判定部３０は、手全体が検出範囲に含まれているか否かを判定する。例えば、検出部１０にて検出される手が開いた状態の手であり、かつ、その手のひら全体が検出範囲に含まれている場合、判定部３０はその手が真の手であると判定する。検出部１０にて検出される手が閉じた状態の手であり、かつ、そのサムズアップの手全体が検出範囲に含まれている場合に、判定部３０はその手が真の手であると判定する。

検出情報取得部２０は、例えば、手の情報として、手が検出された映像における手の輝度および手の大きさの情報を取得する。判定部３０は、手の輝度が予め定められた輝度範囲内である場合に、以下に示される手の大きさに関する判定を行う。例えば、手の輝度が白飛びしている場合には、手の大きさに関する判定は行われない。判定部３０は、手の大きさが、予め定められた大きさ以内である場合、映像に基づいて検出された手が真の手であると判定する。すなわち、上記の手の情報についての予め定められた条件とは、手の輝度および手の大きさに関する条件である。図９および図１０は、検出部１０にて検出された開いた状態の手および閉じた状態の手の一例をそれぞれ示す図である。手の大きさは、例えば、映像における手の縦方向（各図においてＡ方向）の画素数または手の横方向（各図においてＢ方向）の画素数で定義される。判定部３０は、その画素数が、予め定められた画素数以内である場合、その手が真の手であると判定する。

検出情報取得部２０は、例えば、手の情報として、手が検出された映像における手の中心の移動量の情報を取得する。判定部３０は、その手の中心の移動量が、予め定められた移動量以内である場合、映像に基づいて検出された手が真の手であると判定する。すなわち、上記の手の情報についての予め定められた条件とは、手の移動量に関する条件である。移動量は、例えば、単位時間あたりの画素数である。図１１および図１２は、検出部１０にて検出された開いた状態の手および閉じた状態の手の一例をそれぞれ示す図である。検出部１０にて検出される手が開いた状態の手である場合、判定部３０は手のひらの中心の移動量に対応する画素数が、予め定められた画素数の範囲内である場合、その手が真の手であると判定する。検出部１０にて検出される手が閉じた状態の手である場合、判定部３０はサムズアップの手の中心の移動量に対応する画素数が、予め定められた画素数の範囲内である場合、その手が真の手であると判定する。

検出情報取得部２０は、例えば、手の情報として、手が検出された映像における手の角度の情報を取得する。判定部３０は、その角度が、予め定められた角度範囲内である場合、映像に基づいて検出された手が真の手であると判定する。すなわち、上記の手の情報についての予め定められた条件とは、手の角度に関する条件である。手の角度は、例えば、検出部１０が映像内の手の形状と予め定められた手の形状とのマッチングを行うことにより算出される。手の角度は、手のひらと、撮像装置１１０の正面（撮像面を含む面）とのなす角度に対応する。手のひらは手の甲に読み替えてもよい。図１３および図１４は、検出部１０にて検出された開いた状態の手および閉じた状態の手の一例をそれぞれ示す図である。手の角度は、ロール（Roll）角、ピッチ（Pitch）角およびヨー（Yaw）角を含む。

検出情報取得部２０は、例えば、手の情報として、手が検出された映像における手のテクスチャ（輝度の明暗による模様）の情報を取得する。手のテクスチャの情報は、例えば、映像内の手における輝度分布に基づいて求められる。判定部３０は、そのテクスチャが、予め定められたテクスチャと一致するまたは類似している場合、映像に基づいて検出された手が真の手であると判定する。すなわち、上記の手の情報についての予め定められた条件とは、手のテクスチャに関する条件である。

検出情報取得部２０は、例えば、手の情報として、手が検出された映像における手の形状の情報を取得する。判定部３０は、その手の形状に基づいて、手が真の手であると判定する。すなわち、上記の手の情報についての予め定められた条件とは、手の形状に関する条件である。図１５および図１６は、検出部１０にて検出された開いた状態の手の一例をそれぞれ示す図である。図１５に示される手においては、指と指との間が接触している。一方で、図１６に示される手においては、指と指との間に間隙が存在する。判定部３０は、例えば、映像における指と指との間に予め定められた大きさの間隙が存在する場合に、その手が真の手であると判定する。言い換えると、手の形状に関する条件は、指の開き度合いに関する条件である。図１７および図１８は、検出部１０にて検出された開いた状態の手の一例をそれぞれ示す図である。図１７に示される手においては、指が伸びている。一方で、図１８に示される手においては、指が曲がっている。判定部３０は、例えば、手のひらで規定される面に対して、指の角度が予め定められた角度範囲内である場合、その手が真の手であると判定する。言い換えると、手の形状に関する条件は、指の曲がり度合いに関する条件である。図１９および図２０は、検出部１０にて検出された閉じた状態の手の一例をそれぞれ示す図である。図１９に示されるサムズアップの手は親指を除いてしっかり握られている。一方で、図２０に示されるサムズアップの手においては、親指以外の指が半開きである。判定部３０は、例えば、手の握り方が予め定められた握り方である場合、その手が真の手であると判定する。言い換えると、手の形状に関する条件は、閉じられた手の握り方に関する条件である。図示は省略するが、判定部３０は、例えば、検出部１０にて検出された手の指の本数が、予め定められた本数以上である場合、その手が真の手であると判定してもよい。言い換えると、手の形状に関する条件は、指の欠損に関する条件である。

棄却部４０は、手が真の手でない場合に、検出部１０によって検出された手の検出結果を棄却する。ジェスチャ検出装置１０１は、棄却された手の検出結果をその後の処理で使用しない、または、外部に出力しない。「棄却する」とは、手の検出結果を無効にする、あるいは、手の検出結果として採用しないことであってもよい。

図２１は、実施の形態２におけるジェスチャ検出方法を示すフローチャートである。

ステップＳ１０にて、映像情報取得部５０は、撮像装置１１０によって撮影された映像を取得する。

ステップＳ２０にて、検出部１０は、その映像に基づいて、車両の乗員の手を検出する。

ステップＳ３０にて、検出情報取得部２０は、手の検出結果と、手が検出された映像における手の情報と、を取得する。

ステップＳ４０にて、判定部３０は、手の情報についての予め定められた条件に基づいて、検出部１０で検出された手が真の手であるか否かを判定する。手が真の手であると判定された場合、ステップＳ５０が実行される。手が真の手でないと判定された場合、ステップＳ６０が実行される。

ステップＳ５０にて、ジェスチャ検出装置１０１は、判定部３０で真の手であると判定された手の検出結果を採用する。例えば、ジェスチャ検出装置１０１は、その真の手の検出結果を、その後の処理で使用する、または、外部に出力する。

ステップＳ６０にて、棄却部４０は、判定部３０で真の手でないと判定された手の検出結果を棄却する。ジェスチャ検出装置１０１は、棄却された手の検出結果をその後の処理で使用しない、または、外部に出力しない。以上で、ジェスチャ検出方法は終了する。

撮像装置１１０が広角で室内の広い範囲を撮影する場合、映像には検出対象の手以外の物も映る。誤検出が発生した場合であっても、実施の形態２におけるジェスチャ検出装置１０１は、一度検出した手の検出結果のうち、予め定められた条件に基づいて、正確でない検出結果を棄却する。言い換えると、ジェスチャ検出装置１０１は、正確性の高い検出結果のみを選択する。そのため手の検出精度が向上する。ひいては、車載機器の操作精度が向上する。

乗員が車両に搭載された機器を操作する際、乗員は、車両のダッシュボード、センターコンソール等に表示された情報を覗き込んで確認する場合がある。その状態で、乗員が機器を操作するためのジェスチャを行った場合、映像には乗員の手よりも頭が大きくかつ明るく映る。検出部１０は、その映像内の乗員の頭を、握った状態の手として誤検出する。実施の形態２におけるジェスチャ検出装置１０１は、予め定められた大きさよりも大きくかつ輝度が高い頭の検出結果を棄却する。つまり、ジェスチャ検出装置１０１は、映像における手の大きさおよび輝度に関する条件に基づいて、誤検出された乗員の頭の検出結果を棄却する。同様に、乳児の頭が乗員の手として検出される場合がある。その場合も、ジェスチャ検出装置１０１は、その予め定められた条件に基づいて、誤検出された乳児の頭の検出結果を棄却する。その結果、手の検出精度が向上する。

撮像装置１１０は、乗員の手以外の部分も撮影している。そのため、検出部１０は、映像における乗員のマスクのしわ模様、または、乗員の服のしわ模様に基づく輝度の明暗分布を、乗員の手として誤検出する。それら乗員のマスクおよび服のしわ部分は、乗員が機器操作のためのジェスチャを行う場合であっても、その位置は大きく移動しない。一方で、乗員の手は、通常運転時、ハンドルに位置する。乗員が機器操作のためのジェスチャを行う場合、撮像装置１１０が設けられたセンターコンソール側へ手を移動させたうえでジェスチャを行う。実施の形態２におけるジェスチャ検出装置１０１は、映像における手の移動量に関する条件に基づいて、誤検出の結果を棄却する。その結果、手の検出精度が向上する。同様に、車両の外部の風景、例えば雲の形状が手として誤検出された場合、乗員が装着しているアクセサリを手として検出した場合にも、同様の効果を奏する。

乗員が装着する服のしわ、手袋、アクセサリ、入れ墨等の模様は、近赤外光に対する反射特性が、素手と異なる。そのため、撮像装置１１０によって撮影される映像が近赤外像である場合、ジェスチャ検出装置１０１は手のテクスチャに関する条件に基づいて、誤検出の結果を棄却する。テクスチャに関する条件には、手の赤外線像の条件、手掌線の赤外線像の条件等を含んでいてもよい。その結果、手の検出精度が向上する。

（実施の形態２の変形例１）
検出部１０は、撮像装置１１０によって撮影された映像に基づいて、車両の乗員の手および車両の乗員の骨格を検出する。手の検出の際、検出部１０は、例えばその映像に写った情報と予め定められた手の形状とのマッチングにより、乗員の手を検出する。骨格の検出の際、検出部１０は、例えばその映像に写った情報と予め定められた体の形状とのマッチングにより、乗員の骨格を検出する。

検出情報取得部２０は、手の検出結果と、その手が検出された映像における手の情報と、骨格の情報とを取得する。実施の形態２の変形例１における手の情報は、映像内の手の位置の情報である。

判定部３０は、乗員の手の情報と骨格の情報とに基づいて、乗員の手の位置が骨格における予め定められた位置に存在する場合、映像に基づいて検出された手が真の手であると判定する。すなわち、実施の形態２の変形例１において、手の情報についての予め定められた条件とは、映像内の乗員の骨格における手の位置に関する条件である。

棄却部４０は、実施の形態２と同様に、手が真の手でない場合に、検出部１０によって検出された手の検出結果を棄却する。このような構成を有するジェスチャ検出装置１０１は、一度検出した手の検出結果のうち、予め定められた条件に基づいて、正確でない検出結果を棄却する。そのため手の検出精度が向上する。ひいては、車載機器の操作精度が向上する。

（実施の形態２の変形例２）
実施の形態２の変形例２における判定部３０は、複数の予め定められた条件を組み合わせて、手が真の手であるか否かを判定する。例えば、判定部３０は、手の輝度とその手の周辺の輝度との輝度差に関する条件により、判定を行う。その判定の結果、真の手と判定された手に対して、判定部３０は、再度、手の大きさに関する条件を用いて判定を行う。複数の予め定められた条件は、実施の形態２に例示された条件が様々に組み合されたものである。

このようなジェスチャ検出装置１０１は、より正確に車両の乗員の手のジェスチャにおける手を正確に検出する。そのため誤検出が低減する。

＜実施の形態３＞
以上の各実施の形態に示されたジェスチャ検出装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、ＰＮＤ（Portable Navigation Device）などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。

図２２は、実施の形態３におけるジェスチャ検出装置１００およびそれに関連して動作する装置の構成を示す機能ブロック図である。

ジェスチャ検出装置１００および通信装置１３０がサーバ３００に設けられている。ジェスチャ検出装置１００は、車両１に設けられた撮像装置１１０で撮影された映像を、通信装置１４０および通信装置１３０を介して取得する。ジェスチャ検出装置１００は、その映像に基づいて検出された手の検出結果とその手が検出された映像における手の情報とを取得する。ジェスチャ検出装置１００は、手の情報についての予め定められた条件に基づいて、手が真の手であるか否かを判定する。ジェスチャ検出装置１００は、手が真の手でない場合に、映像に基づいて検出された手の検出結果を棄却する。車両１に搭載された機器（車載機器１２０）に対して、棄却されなかった手によるジェスチャに基づく制御が行われる。

このように、ジェスチャ検出装置１００がサーバ３００に配置されることにより、車両１に搭載される装置群の構成を簡素化することができる。

また、ジェスチャ検出装置１００の機能あるいは構成要素の一部がサーバ３００に設けられ、他の一部が車両１に設けられるなど、分散して配置されてもよい。

なお、本開示は、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本開示は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本開示がそれに限定されるものではない。例示されていない無数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。

１ 車両、１０ 検出部、２０ 検出情報取得部、３０ 判定部、４０ 棄却部、５０ 映像情報取得部、１００ ジェスチャ検出装置、１０１ ジェスチャ検出装置、１１０ 撮像装置、１２０ 車載機器、１３０ 通信装置、１４０ 通信装置、３００ サーバ。

Claims (8)

1. 車両に設けられた撮像装置によって撮影された映像に基づいて検出される前記車両の乗員の手のジェスチャにおける前記手の検出結果と、前記手が検出された前記映像における前記手の情報と、を取得する検出情報取得部と、
   前記映像における前記手の前記情報についての少なくとも１つの予め定められた条件に基づいて、前記手が真の手であるか否かを判定する判定部と、
   前記手が前記真の手でない場合に、前記映像に基づいて検出された前記手の前記検出結果を棄却する棄却部と、を備え、
   前記手の前記情報は、輝度の明暗による模様である前記手のテクスチャの情報を含み、
   前記手の前記情報についての前記少なくとも１つの予め定められた条件は、前記映像が近赤外像である場合に、前記手のテクスチャに関する条件を含む、ジェスチャ検出装置。
2. 前記少なくとも１つの予め定められた条件は、複数の予め定められた条件であり、
   前記判定部は、前記複数の予め定められた条件に基づいて、前記手が前記真の手であるか否かを判定する、請求項１に記載のジェスチャ検出装置。
3. 前記手の前記検出結果は、前記映像における前記手の検出位置の情報を含む、請求項１に記載のジェスチャ検出装置。
4. 前記手の前記情報は、前記手の輝度と前記手の周辺の輝度との輝度差の情報を含む、請求項１に記載のジェスチャ検出装置。
5. 前記手の前記情報は、前記手の輝度および前記手の大きさの情報を含む、請求項１に記載のジェスチャ検出装置。
6. 前記手の前記情報は、前記手の移動量の情報を含む、請求項１に記載のジェスチャ検出装置。
7. 前記手の前記情報は、前記手の位置の情報を含み、
   前記検出情報取得部は、前記映像に基づいて検出される前記乗員の骨格の情報をさらに取得し、
   前記手の前記情報についての前記少なくとも１つの予め定められた条件は、前記乗員の前記骨格における前記手の前記位置に関する条件を含む、請求項１に記載のジェスチャ検出装置。
8. 車両に設けられた撮像装置によって撮影された映像に基づいて検出される前記車両の乗員の手のジェスチャにおける前記手の検出結果と、前記手が検出された前記映像における前記手の情報と、を取得し、
   前記映像における前記手の前記情報についての少なくとも１つの予め定められた条件に基づいて、前記手が真の手であるか否かを判定し、
   前記手が前記真の手でない場合に、前記映像に基づいて検出された前記手の前記検出結果を棄却し、
   前記手の前記情報は、輝度の明暗による模様である前記手のテクスチャの情報を含み、
   前記手の前記情報についての前記少なくとも１つの予め定められた条件は、前記映像が近赤外像である場合に、前記手のテクスチャに関する条件を含む、ジェスチャ検出方法。

Images