JP7483060B2 - 手検出装置、ジェスチャー認識装置および手検出方法 - Google Patents

Description

本開示は、ユーザの手を検出する技術に関し、特に、車両内を撮影した映像からユーザの手を検出する技術に関するものである。

カメラが撮影した映像からユーザの手を検出し、検出した手の形状を認識することで、ユーザの手によるジェスチャー（いわゆる「ハンドジェスチャー」）を認識するするジェスチャー認識装置が知られている。例えば下記の特許文献１には、カメラが撮影した映像において手の検出に用いる領域を限定することによって、ユーザの手の誤検知の防止および検出率の向上が図られている。

特開２００９－０６４１９９号公報

ジェスチャー認識装置を車載装置のジェスチャー操作の認識に適用する場合、運転席の乗員（運転者）または助手席の乗員が主なユーザになるため、車両内の映像において手の検出に用いる領域（手検出用領域）を、運転席と助手席との間の領域に設定することが考えられる。しかし、運転席と助手席との間の領域には、後部座席の乗員や後部座席に置いた荷物など、ユーザの手以外の物体が映り込むことがあり、それらがユーザの手として誤検出されるおそれがある。

本開示は以上のような課題を解決するためになされたものであり、車両内の映像からユーザの手を精度よく検出可能な手検出装置を提供することを目的とする。

本開示に係る手検出装置は、車両内の手検出用領域を撮影した映像である手検出用映像を取得する映像取得部と、手検出用映像のフレーム間の輝度差分を算出する輝度差分算出部と、手検出用映像からユーザの手を検出する手検出部と、手検出用映像の手が検出されたフレームとその直前フレームとの輝度差分に基づいて、検出された手が誤検出されたものか否かを判定する誤検出判定部と、を備え、輝度差分算出部は、輝度差分として、手検出用映像の平均輝度のフレーム間の差分を算出し、誤検出判定部は、手検出用映像の手が検出されたフレームとその直前フレームとの平均輝度の差分が予め定められた閾値以下の場合に、手が誤検出されたと判定する。

本開示に係る手検出装置によれば、手の誤検出を検出できるため、車両内の映像からユーザの手を精度よく検出することが可能となる。

本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１～３に係る手検出装置およびジェスチャー認識装置の構成を示す図である。 車両内の映像および手検出領域の例を示す図である。 車両内の映像および手検出領域の例を示す図である。 実施の形態１～３に係るジェスチャー認識装置の動作を示すフローチャートである。 実施の形態１における誤検出判定処理を示すフローチャートである。 実施の形態２における誤検出判定処理を示すフローチャートである。 実施の形態３における誤検出判定処理を示すフローチャートである。 手検出装置のハードウェア構成例を示す図である。 手検出装置のハードウェア構成例を示す図である。

＜実施の形態１＞
図１は、実施の形態１に係るジェスチャー認識装置１の構成を示す図である。実施の形態１では、ジェスチャー認識装置１は車両に搭載されているものと仮定する。ただし、ジェスチャー認識装置１は、車両に常設されなくてもよく、例えば、携帯電話やスマートフォンのなど車両に持ち込み可能な携帯型の装置上に構築されていてもよい。また、ジェスチャー認識装置１の機能の一部が、車両外に設置されジェスチャー認識装置１との通信が可能なサーバー上に構築されていてもよい。

ジェスチャー認識装置１には、車両内を撮影するカメラ２と、例えばナビゲーション装置、オーディオ機器、空調装置などの車載装置３とが接続されている。また、ジェスチャー認識装置１は、カメラ２が撮影した映像からユーザの手を検出する手検出装置１０と、手検出装置１０が検出したユーザの手によるジェスチャー（ハンドジェスチャー）を認識してその認識結果を車載装置３へ出力するジェスチャー認識部１５とを備えている。車載装置３の動作は、ジェスチャー認識部１５が認識したジェスチャーに基づいて制御される。よって、ユーザは、ジェスチャー認識装置１を通して、車載装置３のジェスチャー操作を行うことができる。

ジェスチャー認識部１５によるジェスチャーの認識方法は任意の方法でよく、例えば、検出されたユーザの手の形状と予め用意されたテンプレートとのパターンマッチングによりジェスチャーを認識する方法や、車両内の映像から抽出した任意の特徴量からユーザの手の形状を判断してジェスチャーを認識する方法などが考えられる。なお、ジェスチャー認識部１５が認識するジェスチャーは、手の形状で表現されるジェスチャー、手の動きで表現されるジェスチャー、手の形状および動きの両方で表現されるジェスチャーのいずれであってもよい。

本実施の形態では、ジェスチャー認識装置１のユーザ、すなわちジェスチャー認識装置１によるジェスチャー認識の対象となる人物は、車両の運転席および助手席の乗員であるものとする。また、カメラ２は、車両のダッシュボードの中央部に配置され、図２のように、ユーザである運転席の乗員Ｐ１（運転者）および助手席の乗員Ｐ２の映像を含む車両内の映像を撮影する。

カメラ２の撮影範囲内には、図２のように、ユーザの手を検出するための領域である手検出用領域ＤＲが規定されている。ここでは、手検出用領域ＤＲが車両の運転席と助手席との間に設定されている。通常の状態では、図２のように、ユーザの手は手検出用領域ＤＲ内には無く、ユーザは、車載装置３のジェスチャー操作を行うときに、図３のように手を手検出用領域ＤＲ内に入れて、ハンドジェスチャーを行う必要がある。このように、手検出用領域ＤＲを、通常の状態でユーザの手が入らない領域に規定することで、ハンドジェスチャーの誤検出を抑制できる。

しかし、運転席と助手席との間に手検出用領域ＤＲを設定する場合、図２および図３のように手検出用領域ＤＲ内に後部座席の乗員Ｐ３が写り込んだり、後部座席に置いた荷物（不図示）などが写り込んだりすることがある。そのような場合、後部座席の乗員Ｐ３や荷物が、ジェスチャー認識装置１によって運転席の乗員Ｐ１または助手席の乗員Ｐ２の手として誤検出されることを防止する必要がある。

図１に示すように、手検出装置１０は、映像取得部１１、輝度差分算出部１２、手検出部１３および誤検出判定部１４を備えている。

映像取得部１１は、カメラ２が撮影した車両内の映像から、手検出用領域ＤＲを撮影した映像である手検出用映像をトリミングして取得する。輝度差分算出部１２は、映像取得部１１が取得した手検出用映像におけるフレーム間の輝度差分を算出する。

手検出部１３は、輝度差分算出部１２が取得した手検出用映像からユーザの手を検出する。手検出部１３による手の検出方法は任意の方法でよく、例えば、手検出用映像と予め用意された手の画像のテンプレートとのパターンマッチングにより手を検出する方法や、手検出用映像から抽出した任意の特徴量からユーザの手の位置を判断することで手を検出する方法などが考えられる。

誤検出判定部１４は、輝度差分算出部１２が算出した手検出用映像のフレーム間の輝度差分に基づいて、手検出部１３により検出された手が誤検出されたものか否かを判定する。より具体的には、誤検出判定部１４は、手検出用映像の手が検出されたフレームとその直前フレームとの輝度差分が予め定められた閾値を超える場合は、手が正常に検出されたと判定し、手検出用映像の手が検出されたフレームとその直前フレームとの輝度差分が閾値以下の場合に、手が誤検出されたと判定する。なお、輝度差分の算出に用いる「直前フレームの輝度」は、直前の１フレームの輝度でもよいし、直前の複数フレーム（例えば３フレーム）の輝度の平均値でもよい。

誤検出判定部１４は、手が正常に検出されたと判定した場合は、手検出部１３による手の検出結果をジェスチャー認識部１５に伝達するが、手が誤検出されたと判定した場合は、手検出部１３による手の検出結果をジェスチャー認識部１５に伝達しない、あるいは、手が誤検出された旨の通知をジェスチャー認識部１５へ送信する。

ジェスチャー認識部１５は、誤検出判定部１４から伝達された手の検出結果、すなわち、正常に検出されたと判定された手の検出結果に基づいて、ユーザの手によるジェスチャーを認識する。ジェスチャー認識部１５によるジェスチャーの認識結果は、車載装置３へ出力され、車載装置３はその認識結果に基づいて制御される。これにより、車載装置３は、ユーザのジェスチャー操作に従って動作することとなる。

実施の形態１では、輝度差分算出部１２は、手検出用映像のフレーム間の輝度差分として、手検出用映像の平均輝度のフレーム間の差分を算出する。また、誤検出判定部１４は、手検出用映像の手が検出されたフレームとその直前フレームとの平均輝度の差分が予め定められた閾値を超える場合は、手が正常に検出されたと判定し、当該平均輝度の差分が予め定められた閾値以下の場合に、手が誤検出されたと判定する。例えば、手検出用映像の階調数が２５６である場合、上記の閾値は１５程度でよい。

上述したように、通常の状態では、図２のようにユーザ（運転席の乗員Ｐ１および助手席の乗員Ｐ２）の手は手検出用領域ＤＲ内には無く、ユーザは、車載装置３のジェスチャー操作を行うときに、図３のように手を手検出用領域ＤＲ内に入れて、ハンドジェスチャーを行う。ユーザの手が手検出用領域ＤＲ内に無い状態（図２）から、ユーザの手が手検出用領域ＤＲ内ある状態（図３）へ変化するとき、手検出用領域ＤＲの映像である手検出用映像の輝度は大きく変化する。一方、後部座席の乗員Ｐ３や荷物は手検出用領域ＤＲに常に写り込んでいるため、後部座席の乗員Ｐ３や荷物が手検出用映像の輝度の変化を引き起こす可能性は低い。

よって、手検出用映像の手が検出されたフレームとその直前フレームとの平均輝度の差分が閾値を超えるときは、ユーザの手が手検出用領域ＤＲに出し入れされた可能性が高く、そのとき手検出用映像から検出された手は、ユーザの手である可能性が高い。また、手検出用映像の手が検出されたフレームとその直前フレームとの平均輝度の差分が閾値以下のときに検出された手は、常に手検出用領域ＤＲに写り込んでいる後部座席の乗員Ｐ３や荷物がユーザの手として誤検出されたものである可能性が高い。したがって、誤検出判定部１４が上記のような誤検出の判定を行うことで、手検出部１３による検出結果から誤った検出結果を排除して、ユーザの手を精度よく検出することが可能となる。その結果、ジェスチャー認識部１５によるジェスチャーの誤認識を防止でき、さらには、ジェスチャーの誤認識による車載装置３の誤動作を防止することができる。

以下、図４のフローチャートに基づいて、ジェスチャー認識装置１の動作を説明する。ジェスチャー認識装置１が起動すると、映像取得部１１が、カメラ２が撮影した車両内の映像から、手検出用領域ＤＲを撮影した映像である手検出用映像をトリミングして取得する（ステップＳ１０１）。

次に、輝度差分算出部１２が、ステップＳ１０１で取得した最新フレームの手検出用映像と直前フレームの手検出用映像との輝度差分を算出する（ステップＳ１０２）。なお、ジェスチャー認識装置１の起動直後のステップＳ１０２では、１フレーム分の手検出用映像しか取得されていないため、輝度差分の算出は行われない。本実施の形態では、輝度差分算出部１２は、手検出用映像のフレーム間の輝度差分として、手検出用映像の平均輝度のフレーム間の差分を算出する。

続いて、手検出部１３が、輝度差分算出部１２が取得した手検出用映像からユーザの手を探索する（ステップＳ１０３）。このとき手が検出されなければ（ステップＳ１０４でＮＯ）、ステップＳ１０１へ戻る。

手検出用映像から手が検出された場合は（ステップＳ１０４でＹＥＳ）、誤検出判定部１４が、輝度差分算出部１２が算出した手検出用映像のフレーム間の輝度差分に基づいて、手検出部１３により検出された手が誤検出されたものか否かを判定する誤検出判定処理を実施する（ステップＳ１０５）。

誤検出判定処理では、誤検出判定部１４により図５のフローチャートに示す処理が行われる。すなわち、誤検出判定部１４は、最新フレームの手検出用映像と直前フレームの手検出用映像との平均輝度の差分が予め定められた閾値を超えるか否かを確認する（ステップＳ２０１）。当該差分が閾値を超えていれば（ステップＳ２０１でＹＥＳ）、誤検出判定部１４は、手検出部１３により検出された手は正常に検出されたものと判定する（ステップＳ２０２）。当該差分が閾値以下であれば（ステップＳ２０１でＮＯ）、誤検出判定部１４は、手検出部１３により検出された手は誤検出されたものと判定する（ステップＳ２０３）。

図４に戻り、誤検出判定処理（ステップＳ１０５）の結果、検出された手が誤検出されたものと判定された場合は（ステップＳ１０６でＹＥＳ）、ステップＳ１０１へ戻る。また、検出された手が正常に検出されたものと判定された場合は（ステップＳ１０６でＮＯ）、ジェスチャー認識部１５が、手検出部１３による手の検出結果に基づいて、ユーザの手によるジェスチャーを認識し（ステップＳ１０７）、その認識結果を車載装置３へ出力して（ステップＳ１０８）、ステップＳ１０１へ戻る。

以上のように、実施の形態１に係る手検出装置１０によれば、手検出部１３による手の検出結果から誤った検出結果を排除して、ユーザの手を精度よく検出することができる。その結果、ジェスチャー認識装置１のジェスチャー認識部１５によるジェスチャーの誤認識を防止でき、さらには、ジェスチャーの誤認識に起因する車載装置３の誤動作を防止することができる。

なお、上の説明では、カメラ２が手検出用領域ＤＲよりも広い範囲を撮影し、カメラ２が撮影した映像の一部分を手検出用映像とする例を示したが、カメラ２が手検出用領域ＤＲだけを撮影し、カメラ２が撮影した映像の全体を手検出用映像としてもよい。

また、手検出装置１０およびジェスチャー認識装置１の構成は図１の例に限られない。例えば、ジェスチャー認識装置１と手検出装置１０とは別々の装置として構成されてもよい。また、カメラ２は、手検出装置１０またはジェスチャー認識装置１に内蔵されていてもよい。さらに、手検出装置１０およびジェスチャー認識装置１は、車載装置３に内蔵されてもよい。

＜実施の形態２＞
実施の形態１では、手検出用映像のフレーム間の輝度差分として、手検出用映像の平均輝度のフレーム間の差分を用いた。実施の形態２では、手検出用映像のフレーム間の輝度差分として、手検出用映像のＨＯＧ（Histograms of Oriented Gradients）特徴量のフレーム間の差分を用いる例を示す。ＨＯＧ特徴量とは、映像を複数のブロックに分割し、各ブロックにおける輝度の勾配方向をヒストグラム化した特徴量である。

実施の形態２の手検出装置１０およびジェスチャー認識装置１の構成は、図１と同様であり、その動作は図４と同様である。ただし、実施の形態２では、輝度差分算出部１２は、図４のステップＳ１０２において、手検出用映像を複数のブロックに分割し、手検出用映像のフレーム間の輝度差分として、各ブロックのＨＯＧ特徴量のフレーム間の差分を算出する。また、誤検出判定部１４は、手検出用映像における手が検出されたフレームとその直前フレームとのＨＯＧ特徴量の差分に基づいて、誤検出判定処理（図４のステップＳ１０５）を行う。

具体的には、誤検出判定処理では、誤検出判定部１４により図６のフローチャートに示す処理が行われる。すなわち、誤検出判定部１４は、最新フレームの手検出用映像と直前フレームの手検出用映像とのＨＯＧ特徴量の差分が予め定められた閾値を超えるブロックの個数が一定個数よりも多いか否かを確認する（ステップＳ３０１）。ＨＯＧ特徴量の差分が閾値を超えるブロックの個数が一定個数よりも多ければ（ステップＳ３０１でＹＥＳ）、誤検出判定部１４は、手検出部１３により検出された手は正常に検出されたものと判定する（ステップＳ３０２）。ＨＯＧ特徴量の差分が閾値を超えるブロックの個数が一定個数以下であれば（ステップＳ３０１でＮＯ）、誤検出判定部１４は、手検出部１３により検出された手は誤検出されたものと判定する（ステップＳ３０３）。例えば、ＨＯＧ特徴量の差分の閾値は０．２程度でよく、ブロックの総数が９個である場合、一定個数は２個程度でよい。

実施の形態２に係る手検出装置１０においても、実施の形態１と同様に、手検出部１３による手の検出結果から誤った検出結果を排除して、ユーザの手を精度よく検出することができる。その結果、ジェスチャー認識装置１のジェスチャー認識部１５によるジェスチャーの誤認識を防止でき、さらには、ジェスチャーの誤認識による車載装置３の誤動作を防止することができる。

なお、図６に示した誤検出判定処理では過度に誤検出と判断され、手検出装置１０の動作が不安定になる場合には、誤検出判定部１４が、手が正常に検出されたと判定した後に、検出された手が誤検出と判断される確率を一時的に低くしてもよい。例えば、誤検出判定部１４が、手が正常に検出されたと判定した後は、直前フレームとのＨＯＧ特徴量の差分が閾値を超えるブロックの個数が一定個数以下のフレームが予め定められた回数（例えば５回）連続するまで、手検出用映像から検出された手を正常に検出されたものと判定するようにしてもよい。

＜実施の形態３＞
実施の形態３では、実施の形態１と実施の形態２とを組み合わせた例を示す。実施の形態３の手検出装置１０およびジェスチャー認識装置１の構成は、図１と同様であり、その動作は図４と同様である。

ただし、実施の形態３では、輝度差分算出部１２は、図４のステップＳ１０２において、手検出用映像を複数のブロックに分割し、手検出用映像のフレーム間の輝度差分として、各ブロックのＨＯＧ特徴量のフレーム間の差分と、手検出用映像の平均輝度のフレーム間の差分とを算出する。また、誤検出判定部１４は、それら２つの輝度差分に基づいて、誤検出判定処理（図４のステップＳ１０５）を行う。

具体的には、誤検出判定処理では、誤検出判定部１４により図７のフローチャートに示す処理が行われる。すなわち、誤検出判定部１４は、まず、最新フレームの手検出用映像と直前フレームの手検出用映像との平均輝度の差分が予め定められた閾値（第１の閾値）を超えるか否かを確認する（ステップＳ４０１）。当該差分が閾値を超えていれば（ステップＳ４０１でＹＥＳ）、誤検出判定部１４はさらに、最新フレームの手検出用映像と直前フレームの手検出用映像とのＨＯＧ特徴量の差分が予め定められた閾値（第２の閾値）を超えるブロックの個数が一定個数よりも多いか否かを確認する（ステップＳ４０２）。当該差分が閾値を超えるブロックの個数が一定個数よりも多ければ（ステップＳ４０２でＹＥＳ）、誤検出判定部１４は、手検出部１３により検出された手は正常に検出されたものと判定する（ステップＳ４０３）。

一方、最新フレームの手検出用映像と直前フレームの手検出用映像との平均輝度の差分が閾値（第１の閾値）以下の場合（ステップＳ４０１でＮＯ）、または、最新フレームの手検出用映像と直前フレームの手検出用映像とのＨＯＧ特徴量の差分が閾値（第２の閾値）を超えるブロックの個数が一定個数以下の場合には（ステップＳ４０２でＮＯ）、誤検出判定部１４は、手検出部１３により検出された手は誤検出されたものと判定する（ステップＳ４０４）。

実施の形態３に係る手検出装置１０においても、実施の形態１および２と同様に、手検出部１３による手の検出結果から誤った検出結果を排除して、ユーザの手を精度よく検出することができる。その結果、ジェスチャー認識装置１のジェスチャー認識部１５によるジェスチャーの誤認識を防止でき、さらには、ジェスチャーの誤認識による車載装置３の誤動作を防止することができる。

なお、図７に示した誤検出判定処理では過度に誤検出と判断され、手検出装置１０の動作が不安定になる場合には、誤検出判定部１４が、手が正常に検出されたと判定した後に、検出された手が誤検出と判断される確率を一時的に低くしてもよい。例えば、誤検出判定部１４が、手が正常に検出されたと判定した後は、直前フレームとの平均輝度の差分が閾値（第１の閾値）以下になる、または、直前フレームとのＨＯＧ特徴量の差分が閾値（第２の閾値）を超えるブロックの個数が一定個数以下のフレームが予め定められた回数（例えば５回）連続するまで、手検出用映像から検出された手を正常に検出されたものと判定するようにしてもよい。

＜ハードウェア構成例＞
図８および図９は、それぞれ手検出装置１０のハードウェア構成の例を示す図である。図１に示した手検出装置１０の構成要素の各機能は、例えば図８に示す処理回路５０により実現される。すなわち、手検出装置１０は、車両内の手検出用領域を撮影した映像である手検出用映像を取得し、手検出用映像のフレーム間の輝度差分を算出し、手検出用映像からユーザの手を検出し、手検出用映像の手が検出されたフレームとその直前フレームとの輝度差分に基づいて、検出された手が誤検出されたものか否かを判定するための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。手検出装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図９は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における手検出装置１０のハードウェア構成の例を示している。この場合、手検出装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、手検出装置１０は、プロセッサ５１により実行されるときに、車両内の手検出用領域を撮影した映像である手検出用映像を取得する処理と、手検出用映像のフレーム間の輝度差分を算出する処理と、手検出用映像からユーザの手を検出する処理と、手検出用映像の手が検出されたフレームとその直前フレームとの輝度差分に基づいて、検出された手が誤検出されたものか否かを判定する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、手検出装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、手検出装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、手検出装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、手検出装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

上記した説明は、すべての態様において、例示であって、例示されていない無数の変形例が想定され得るものと解される。

１ ジェスチャー認識装置、２ カメラ、３ 車載装置、１０ 手検出装置、１１ 映像取得部、１２ 輝度差分算出部、１３ 手検出部、１４ 誤検出判定部、１５ ジェスチャー認識部、５０ 処理回路、５１ プロセッサ、５２ メモリ、ＤＲ 手検出用領域、Ｐ１ 運転席の乗員、Ｐ２ 助手席の乗員、Ｐ３ 後部座席の乗員。

Claims (10)

1. 車両内の手検出用領域を撮影した映像である手検出用映像を取得する映像取得部と、
   前記手検出用映像のフレーム間の輝度差分を算出する輝度差分算出部と、
   前記手検出用映像からユーザの手を検出する手検出部と、
   前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記輝度差分に基づいて、検出された前記手が誤検出されたものか否かを判定する誤検出判定部と、
   を備え、
   前記輝度差分算出部は、前記輝度差分として、前記手検出用映像の平均輝度のフレーム間の差分を算出し、
   前記誤検出判定部は、前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記平均輝度の差分が予め定められた閾値以下の場合に、前記手が誤検出されたと判定する、
   手検出装置。
2. 車両内の手検出用領域を撮影した映像である手検出用映像を取得する映像取得部と、
   前記手検出用映像のフレーム間の輝度差分を算出する輝度差分算出部と、
   前記手検出用映像からユーザの手を検出する手検出部と、
   前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記輝度差分に基づいて、検出された前記手が誤検出されたものか否かを判定する誤検出判定部と、
   を備え、
   前記輝度差分算出部は、前記手検出用映像を複数のブロックに分割し、前記輝度差分として、各ブロックのＨＯＧ（Histograms of Oriented Gradients）特徴量のフレーム間の差分を算出し、
   前記誤検出判定部は、前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記ＨＯＧ特徴量の差分が予め定められた閾値を超える前記ブロックの個数が一定個数以下の場合に、前記手が誤検出されたと判定する、
   手検出装置。
3. 前記手検出用映像は、前記車両に搭載されたカメラが撮影した映像から前記手検出用領域に対応する部分をトリミングした映像である、
   請求項１または請求項２に記載の手検出装置。
4. 前記手検出用領域は、前記車両の運転席と助手席との間の領域である、
   請求項１または請求項２に記載の手検出装置。
5. 前記誤検出判定部は、前記手が誤検出されたと判定しなかった場合には前記手が正常に検出されたと判定し、前記手が正常に検出されたと判定した後は、直前フレームとの前記ＨＯＧ特徴量の差分が前記閾値を超える前記ブロックの個数が前記一定個数以下のフレームが予め定められた回数連続するまで、前記手検出用映像から検出された前記手を正常に検出されたものと判定する、
   請求項２に記載の手検出装置。
6. 前記手検出用映像を含む前記車両内の映像を撮影するカメラをさらに備える、
   請求項１または請求項２に記載の手検出装置。
7. 前記カメラは前記車両のダッシュボードの中央部に配置される、
   請求項６に記載の手検出装置。
8. 請求項１または請求項２に記載の手検出装置と、
   前記手によるジェスチャーを認識するジェスチャー認識部と、
   を備え、
   前記誤検出判定部は、前記手が誤検出されたと判定しなかった場合には前記手が正常に検出されたと判定し、
   前記ジェスチャー認識部は、正常に検出されたと判定された前記手によるジェスチャーの認識を行い、誤検出されたと判定された前記手によるジェスチャーの認識は行わない、
   ジェスチャー認識装置。
9. 手検出装置の映像取得部が、車両内の手検出用領域を撮影した映像である手検出用映像を取得し、
   前記手検出装置の輝度差分算出部が、前記手検出用映像のフレーム間の輝度差分を算出し、
   前記手検出装置の手検出部が、前記手検出用映像からユーザの手を検出し、
   前記手検出装置の誤検出判定部が、前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記輝度差分に基づいて、検出された前記手が誤検出されたものか否かを判定し、
   前記輝度差分算出部は、前記輝度差分として、前記手検出用映像の平均輝度のフレーム間の差分を算出し、
   前記誤検出判定部は、前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記平均輝度の差分が予め定められた閾値以下の場合に、前記手が誤検出されたと判定する、
   手検出方法。
10. 手検出装置の映像取得部が、車両内の手検出用領域を撮影した映像である手検出用映像を取得し、
    前記手検出装置の輝度差分算出部が、前記手検出用映像のフレーム間の輝度差分を算出し、
    前記手検出装置の手検出部が、前記手検出用映像からユーザの手を検出し、
    前記手検出装置の誤検出判定部が、前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記輝度差分に基づいて、検出された前記手が誤検出されたものか否かを判定し、
    前記輝度差分算出部は、前記手検出用映像を複数のブロックに分割し、前記輝度差分として、各ブロックのＨＯＧ（Histograms of Oriented Gradients）特徴量のフレーム間の差分を算出し、
    前記誤検出判定部は、前記手検出用映像の前記手が検出されたフレームとその直前フレームとの前記ＨＯＧ特徴量の差分が予め定められた閾値を超える前記ブロックの個数が一定個数以下の場合に、前記手が誤検出されたと判定する、
    手検出方法。

Images