JP5228439B2 - 操作入力装置 - Google Patents

Description

この発明は、車載情報機器を始めとする各種の情報機器に対し、手の操作によって入力を行う操作入力装置に関するものである。

近年、自動車にカーナビゲーションを始めオーディオやエアコン等多くの機器が搭載されており、運転者にとってそれらの機器を操作する時のボタン操作や操作パネルの表示確認が煩雑であり、視線の動きが増えるという問題があった。

この改善策として、手振りやジェスチャーを使うことが考えられており、例えばカメラにより、形状ジェスチャーとして手の形状、方向ジェスチャーとして手の動きを検出し、一方のジェスチャーによって操作モードを選択し、他方のジェスチャーによってその操作モード内のパラメータを変更する装置が提案されている（例えば、特許文献１、特許文献２参照）。

特開２００１−２１６０６９号公報 特開２００５−５０１７７号公報

このような装置を使用する場合、機器や操作対象の数が増えるに従って、それぞれに対応した手の形状や手の動きが増えるため、ユーザーがジェスチャーを覚える負担が増すという問題があった。

また、カメラで撮影した画像を用いてジェスチャーを検出する場合、明るさ等の周囲環境が検出精度に大きく影響する。特に自動車は周囲環境が大きく変化するため、ジェスチャーを常に高精度で検出することは困難であるという問題があった。

本発明は上記の課題を解決するためになされたものであり、機器や操作対象が増えても簡単にジェスチャー操作できる操作入力装置を提供することを目的とする。

また、様々な周囲環境に対して、カメラで撮影した画像からジェスチャーを高精度で検出することができる操作入力装置を提供することを目的とする。

この発明に係る操作入力装置は、可視光カメラで構成される撮像手段と、前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、前記手領域検出手段は、前記撮像手段で撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、前記肌色領域抽出手段と前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域を検出する手領域候補検出手段と、前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とするものである。

また、赤外線カメラで構成される撮像手段と、前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、前記手領域検出手段は、前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とするものである。
また、可視光カメラと赤外線カメラからなり複数の異なる撮像手段と、前記複数の異なる撮像手段で撮影された映像から人体の手の領域を検出する複数の手領域検出手段と、検出した手領域の形状および動きから異なる方法で手の操作を判定する複数の手操作判定手段と、前記複数の手操作判定手段で判定した複数の結果から一つの判定結果を選択する手操作判定選択手段と、前記手操作判定選択手段で選択した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、前記複数の手領域検出手段は、可視光カメラで撮影された背景画像と現在の映像との差分の領域を抽出する可視光画像差分領域抽出手段と、可視光カメラで撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、赤外線カメラで撮影された背景画像と現在の映像との差分の領域を抽出する赤外線画像差分領域抽出手段と、前記赤外線差分領域抽出手段または肌色領域抽出手段及び可視光画像差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とするものである。

この発明は、上記のように構成して簡単な操作によって選択したメニューをユーザーに知らせるため、機器や操作対象が増えても、操作入力に必要な手の形状や手の動きの数を増やすことなく簡単に操作できるという効果がある。

また、複数のカメラを用い、複数の手操作判定手段の判定結果から一つの判定結果を選択する構成としたため、様々な周囲環境において高い検出精度が得られという効果がある。

実施の形態１．
図１はこの発明を実施するための実施の形態１における操作入力装置を示すブロック図であって、例えば運転者がハンドル横に差し出した手を撮影するための可視光カメラや赤外線カメラなどの撮像手段１１と、撮影手段１１で撮影された映像の映像信号から手の領域を検出する手領域検出手段１２と、手領域検出手段１２によって検出した手領域の形状や動きから手の操作を判定する手操作判定手段１３と、手操作判定手段１３で判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段１４とを備える。

図２は撮像手段１１として可視光カメラ２０を用いた場合の手領域検出手段１２の構成を示すブロック図であって、可視光カメラ２０で撮影された映像の映像信号から肌色の領域を抽出する肌色領域抽出手段２１と、同じく可視光カメラ２０で撮影された映像の映像信号から背景画像を生成し、その背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段２２と、肌色領域抽出手段２１および差分領域抽出手段２２で抽出した領域の画像データを２値化して補正する２値化補正手段２３と、２値化補正手段２３で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段２４と、距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段２５と、補正値を加算した値が最大となる点が含まれる２値化画像領域のうち前記距離最大点から所定の距離の範囲を手領域の候補として検出する手領域候補検出手段２６と、手領域候補検出手段２６で検出された手領域候補の輪郭を追跡して輪郭の長さおよび領域の面積を算出する輪郭長／面積算出手段２７、輪郭長／面積算出手段２７によって得られた輪郭長と面積から手領域候補が手であるか否かを判定する手領域決定手段２８とを備える。

図３は機器構成の例を示しており、可視光カメラ２０からハンドル横付近を撮影し、そこでの手の操作に基づいてフロントガラス上の映像重畳手段３３によりメニュー表示を行う。手振りやジェスチャー操作はハンドルのすぐ横あたりで小さな動作で行うのが安全である。また、手を撮影する可視光カメラ２０は、操作する手が画像の中央部にあり、外乱となる人の顔や窓の外の景色は映らず、逆光にならない位置に設置することが好ましい。例えば、図３のようにダッシュボード３１の中央下付近に設置し、そこから斜め上方向のハンドル横付近を撮影する。

可視光カメラ２０からの撮像画像は、図４（ア）のような画像が出力され、運転者がハンドル横あたりの操作エリアに手を出すと図４（イ）のような画像が出力される。この時に肌色領域抽出手段２１で肌色領域を抽出すると、図４（ウ）のような顔と手の領域が抽出される。ここでは明るさの影響を少なくできる肌色抽出として、ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ：色相、彩度、明度）色空間に変換して抽出する。

ＨＳＶ色空間に変換すると、逆光等による明るさや肌の色の変化に対して広く検出できる。しかし、肌色領域には検出したい手以外に、検出したくない運転者およびその他の乗客の顔等も含まれ、またシートや天井にも肌色に近い色が存在した場合にはそれらの領域も検出される。

一方、差分領域抽出手段２２では、図４（ア）のような背景画像と図４（イ）のような現在の画像との差分が大きい図４（エ）のような領域を検出する。この例では、図４（ア）と（イ）で手の位置が変わっているため、これらの画像の差分として、動く前後の２つの手が検出される。差分領域抽出においては、しばらく動きがないと背景にしたくない対象物も背景になってしまうという問題や、背景と対象物が近い画像信号レベルの場合にはうまく抽出できないという問題がある。

そこで２値化補正手段２３では、肌色領域抽出手段２１と差分領域抽出手段２２の出力を基に検出領域に補正を行う。具体的には両方の領域の論理和を求め、膨張処理、収縮処理やフィルタ処理により、小さな穴領域を穴埋めしたり小さな突起領域やノイズを消去したりする。これらの処理によって、例えば図４（オ）の領域が得られる。この２値化補正手段２３で、１または複数の２値化画像領域が得られる。

距離算出手段２４では２値化補正手段２３で得られた２値化画像領域において各領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を検出し、この位置を手の中心の候補とする。図４（カ）において、抽出領域内の複数の閉曲線は上記の最短距離が等しい点の集合であり、黒点で示す距離最大点が手の中心の候補である。ここで、領域の重心を手の中心としないのは、例えば図４（キ）のように袖のない服装で腕の領域が検出された場合に、領域の重心は手ではなく腕に位置するためである。

中央重点補正手段２５では、距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さくなるような補正値を距離最大点の距離の値に加算する。このように中央重点補正を行って手の領域の候補として検出するのは、画面の中央には検出対象となる手が撮影される可能性が高く、画面の端の方には顔のような外乱となる物が撮影される可能性が高いからである。例えば図４（ク）のように画面の中央付近に手、右側に顔の領域を検出した場合に、距離算出手段２４だけによる単純な距離最大点は顔の方が高くなり、誤ってこれを手の候補と判断してしまうが、中央重点補正手段２５で補正することで、中央に近い手の領域を手の候補として検出することができる。

中央重点補正手段２５を追加することにより画面の端の方に検出された外乱領域の方が大きくても、画面の中央部の手を検出できるという効果がある。なお、上記の例では距離最大点の距離の算出結果に補正値を加算したが、補正値を乗算しても同様の効果がある。

次に、手領域候補検出手段２６では、中央重点補正手段２５により補正された距離最大点の距離の値が最大となる点を検出して、その点が含まれる２値化画像領域のうち手の中心である距離最大点から上の領域部分を手領域の候補とする。他の手領域候補検出の方法として、距離最大点から所定の距離の範囲を手の領域の候補としてもよい。

輪郭長／面積算出手段２７では、手領域候補検出手段２６によって得られた領域に対して、２値化画像領域の輪郭を追跡して輪郭の長さおよび領域の面積を算出する。

手領域決定手段２８では輪郭長／面積算出手段２７で算出した輪郭の長さおよび領域の面積が所定の範囲に入っているか否かを調べて、所定の範囲に入っている時に手の領域と判断して、手領域検出手段１２の出力とする。

図５は手操作判定手段１３の構成例を示すブロック図であって、手領域検出手段１２から得た領域に対して輪郭方向をコード化して、輪郭方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段５１、輪郭方向ヒストグラム算出手段５１で算出したヒストグラムから輪郭の方向成分の頻度を求め、その結果から手領域の傾きを検出する手方向判定手段５２、手方向判定手段５２の判定結果を所定時間保存する判定結果記憶手段５３、判定結果記憶手段５３に蓄積された所定時間の判定結果から動き情報を含めて手の操作を判定する時系列データ判定手段５４で構成される。

輪郭方向ヒストグラム算出手段５１では、手領域検出手段１２で得られた２値化画像領域の輪郭に対して、例えば図６（ア）のような方向コードに従って輪郭の方向をコード化してそのヒストグラムを作成する。例えば、図６（イ）のように簡単のために画素を大きくした領域に対して、反時計周りの方向に輪郭（同図において黒く塗りつぶした画素）を追跡して全周についてヒストグラムを求めると図６（ウ）のようになる。

手方向判定手段５２では輪郭方向ヒストグラム算出手段５１により算出されたヒストグラムから手の傾きを判定する。図６（ウ）のヒストグラムに対して逆方向のコードを加算するとヒストグラムは図６（エ）のように変換される。このヒストグラムの多い成分を検出することで手の方向を判定する。例えば、図６（オ）のように右斜め上成分（方向コード６）と左斜め下成分（方向コード２）が多い場合には手を右斜め上に傾けている、図６（カ）のように上下成分（方向コード３と７）が多い場合には手をまっすぐ立てている、図６（キ）のように左斜め上成分（方向コード０）と右斜め下成分（方向コード４）が多い場合には手を左斜め上に傾けている、図６（ク）のようにどの成分もほぼ同じ場合には指を曲げている、と判定する。このように輪郭方向ヒストグラムを用いることで手の傾き状態および指の曲げ伸ばし動作を検出することができる。

手方向判定手段５２の判定結果は判定結果記憶手段５３に保存し、時系列データ判定手段５４は判定結果記憶手段５３の所定時間の判定結果を基に手の操作を判定する。1回の判定は１フレームの画像でも判定可能であるが、数フレームの時系列情報として判断することで検出精度を向上させることができ、手を振る操作のような動き情報を含めた検出も可能になる。また、数フレームについて判定することで、例えば別の意図で一瞬手を差出しただけや対向車のヘッドライトが差込むという外乱があった場合にも確実な判定が可能になる。

図７は手操作判定手段１３の他の構成例を示すブロック図であって、手領域検出手段１２から得た手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出するする中心輪郭間距離算出手段７１、中心輪郭間距離算出手段７１で算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段７２、手方向判定手段７２の判定結果を所定時間保存する判定結果記憶手段７３、判定結果記憶手段７３に蓄積された所定時間の判定結果から動き情報を含めて手の操作を判定する時系列データ判定手段７４で構成される。

中心輪郭間距離算出手段７１では手領域検出手段１２で得られた２値化画像領域の輪郭を追跡して、手中心から輪郭線上までの距離が最大となる点とその距離の値、および最小となる点とその距離の値を算出する。例えば人指し指を伸ばした場合では、図８（ア）のように手中心点（Ａ）に対して、距離が最大となる点が指の先（Ｂ）、距離が最小となる点がこぶしの位置（Ｃ）として検出される。

手方向判定手段７２では中心輪郭間距離算出手段７１で算出した点および距離から手の操作、具体的にはＡ−Ｂ間距離とＡ−Ｃ間距離の比率で指の曲げ伸ばしや、Ａ−Ｂの方向ベクトルから指の方向が判定できる。例えば、図８（イ）のようにＡ−Ｂ間距離がＡ−Ｃ間距離の２倍よりも小さい場合は指を閉じている、図８（ウ）のようにＡ−Ｂ間距離がＡ−Ｃ間距離の２倍よりも大きくて（Ｂ）が（Ａ）の右上方向の場合には手を右斜め上に傾けている、という判定を行う。このように手中心、指の先の位置、こぶしの位置から手の傾き状態および指の曲げ伸ばし動作を検出できる。

その後の判定結果記憶手段７３および時系列データ判定手段７４は、図５の判定結果記憶手段５３および時系列データ判定手段５４と同じである。

手操作判定手段１３あるいは１３Ａが判定する操作は、どのような状況やメニュー階層であっても一律に操作ができ、操作が直感的であることが望ましい。上記の二つの手操作判定手段では、例えば、人指し指を伸ばしてその指を傾ける操作で選択メニューの候補を順次変更し、ボタンを押すように指を曲げる操作で選択しているメニューを実行し、戻りたい場合には否定を表示するに手を左右に振る操作でキャンセル操作することができる。ユーザーは少なくともこれらの手の操作でメニューの候補の階層を移動し、所望のメニューを選択し、実行することができる。そのため、上記の手操作判定手段１３あるいは１３Ａにより、機器や操作対象が増えても、操作入力に必要な手の形状や手の動きの数を増やすことなく簡単に操作することができる。

以上、二つの手操作判定手段について説明したが、両方利用してもどちらか一方を利用してもよい。

図１の選択メニュー表現手段１４は、手操作判定手段１３が判定した操作に基づいて選択したメニューを音声または画像によって表現してユーザーに知らせる。画像で表現する場合は、例えば図３のフロントガラス上の映像重畳表示装置３３で選択メニューを表示する。

本発明による操作入力装置は音声認識機能付きカーナビゲーション装置と組合せることが可能である。例えば、音声認識機能付きカーナビゲーション装置では、「近くのコンビニ」と発話するとコンビニを検索して候補をカーナビゲーション上に表示し、タッチパネルやボタンで目的地を選択する機能がある。これに対して、例えば図９（ア）のように候補を表示し、ユーザーがタッチパネルやボタンに触れずに、例えば手を右に傾けて図９（イ）のように候補をスクロールして、指を曲げる操作で目的地を確定することができる。

実施の形態２．
図１０はこの発明を実施するための実施の形態２における操作入力装置を示すブロック図であって、赤外線カメラ１１０で撮影された映像の映像信号から背景画像を生成し、その背景画像と撮像手段で撮影された現在の映像との差分の領域を抽出する差分領域抽出手段１１１と、差分領域抽出手段１１１の情報から手領域の画像データを２値化して補正する２値化補正手段１１２と、２値化補正手段１１２から得られた手領域の２値化画像領域の画素と撮像画面の領域の端までの最短距離を算出する距離算出手段１１３と、距離算出手段１１３の算出結果の出力に対して画面の中央ほど大きく画面の端に近いほど小さい補正値を加算する中央重点補正手段１１４と、中央重点補正手段１１４の出力が最大となる位置を手の中心としてその点を含む２値化画像領域を手の位置候補として検出する手領域候補検出手段１１５と、手領域候補検出手段１１５で得られた２値化画像領域の輪郭を追跡して輪郭の長さおよび領域の面積を算出する輪郭長／面積算出手段１１６、輪郭長／面積算出手段１１６によって得られた輪郭長と面積から２値化画像領域が手であるか否かを判定する手領域決定手段１１７とを備える。

図１１は実施の形態２における機器構成の例を示す図である。実施の形態１の場合は撮像手段が可視光カメラ２０であるが、この実施の形態では撮像手段が赤外線カメラ１１０であり、発光部の赤外線ＬＥＤ１０４が追加されている。

赤外線カメラ１１０からの撮影画像は周囲の明るさにも依存するが、周囲の赤外線レベルに比較してして赤外線ＬＥＤ１０４が十分な赤外線を発光できる場合には、図１２（ア）のように赤外線ＬＥＤ１０４および赤外線カメラ１１０との距離が近い手の部分は赤外線の反射成分が多いために高輝度レベル、背景は反射量が少ないために低輝度レベルの画像を得ることができる。

差分領域抽出手段１１１では、図１２（イ）の背景画像と図１２（ア）の画像の差が大きい図１２（ウ）のような領域を検出する。可視光カメラ２０の場合と同様に、しばらく手の動きがないと検出対象物である手が背景画像になってしまう問題があるが、可視光カメラ２０と異なり、背景に手と同じような色や明るさの物があっても赤外線ＬＥＤ１０４や赤外線カメラ１１０からの距離の違いにより手と区別できるというメリットがある。

２値化補正手段１１２では、差分領域抽出手段１１１の検出領域に、膨張処理、収縮処理、フィルタ処理等により小さな穴領域を穴埋めし小さな突起領域やノイズを消す等の補正処理を行って図１２（エ）の領域を得る。

その後の距離算出手段１１３、中央重点補正手段１１４、手領域候補検出手段１１５、輪郭長／面積算出手段１１６、手領域決定手段１１７は、それぞれ図２の距離算出手段２４、中央重点補正手段２５、手領域候補検出手段２６、輪郭長／面積算出手段２７、手領域決定手段２８と同じである。

ただし、この実施の形態のように撮影手段１１が赤外線カメラ１１０の場合は、中央重点補正手段１１４を省くことができる。これは赤外線ＬＥＤの照射の向きを手の操作位置に設定することで、赤外線カメラ１１０の撮影画像の端に顔が入っても、顔に照射・反射される赤外線レベルは画面中央部の手の部分に比べて少ないため、その画像信号のレベルが低くなるからである。

周囲の赤外線レベルに比較して赤外線ＬＥＤ１０４による赤外線レベルが低い場合、例えば直接夕日が窓から差し込むなど、赤外線ＬＥＤ１０４が手の近くにあってもその反射成分以上の赤外線が入射されるような場合には、赤外線ＬＥＤ１０４を消灯することで、図１２（オ）のように背景が高輝度、手の部分が低輝度になる画像が得られ、差分領域抽出手段１１１により手を検出することができる。周囲の赤外線レベルの判定は、差分領域抽出手段１１１にて保持している背景画像の平均の輝度レベル、あるいは周辺部に重点を置いた輝度レベルによって可能である。

この実施の形態では赤外線として近赤外線を使用しているが、遠赤外線を使用しても同様の動作が実現できる。ただし、遠赤外線を使用する場合には、発光部の赤外線ＬＥＤ１０４は不要である。

実施の形態３．
図１３はこの発明を実施するための実施の形態３における操作入力装置を示すブロック図である。撮像手段１１として可視光カメラ２０と赤外線カメラ１１０を備え、可視光カメラ２０から得られた映像信号から手の領域を検出する手領域検出手段１２、手領域検出手段１２から得られた手の領域から互いに異なる方法で操作を判定する手操作判定手段１３および１３Ａ、赤外線カメラ１１０から得られた映像信号から手の領域を検出する手領域検出手段１２Ａ、手領域検出手段１２Ａから得られた手の領域から互いに異なる方法で操作を判定する手操作判定手段１３および１３Ａ、可視光カメラ２０による複数の手操作判定手段と赤外線カメラ１１０による複数の手操作判定手段の複数の判定結果から一つの判定結果を選択する手操作判定選択手段１３１、手操作判定選択手段１３１により選択した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段１４を備える。

図１４は可視光カメラ２０と赤外線カメラ１１０の両方を備えた場合の機器構成の例を示す図である。可視光カメラ２０から複数の手操作判定手段１３および１３Ａまでの処理、ならびに赤外線カメラ１１０から複数の手操作判定手段１３および１３Ａまでの処理は実施の形態１および実施の形態２と同様である。

この実施の形態３は、可視光カメラ２０と赤外線カメラ１１０で得られた複数の判定結果を選択する手操作判定選択手段１３１を備えている。手操作判定選択手段１３１における最も単純な選択方法は判定結果の多数決であるが、可視光カメラ２０からの検出は昼間の明るい時に検出の精度が高く、夜間の暗い時には精度が下がり、赤外線カメラ１１０からの検出は背景の赤外線レベルが高い昼間は精度が低く、夜間の方が精度が高くなるという特徴がある。そこで、昼間は可視光カメラ２０の判定結果を選択し、夜間は赤外線カメラ１１０の判定結果を選択することで検出の精度を高めることができる。昼間と夜間の判定は、時計の時刻情報やライトを点灯しているか否かで判断できる。

また、可視光カメラ２０によって高精度で検出するために十分な明るさがあるか否かは、赤外線カメラ１１０で撮影した画像の赤外線レベルと相関が高く、赤外線レベルが高い場合は可視光カメラ２０によって高精度で検出するために十分な明るさがある。そのため、赤外線カメラ１１０から得られる赤外線レベルが所定の値よりも低い時には赤外線カメラ１１０による判定を選択し、逆に高い時には可視光カメラ２０による判定を選択することで、検出の精度を高くすることが可能である。

また、手領域検出が正しく検出できない場合には手操作判定手段の判定結果も正しく判定できないため、複数の手操作判定手段による判定結果が互いに異なる。そのため、手操作判定手段の結果の差が少ない方の撮像手段による判定結果を選択することにより信頼性が高くなる。

この実施の形態では可視光カメラ２０および赤外線カメラ１１０の取付け位置を図１４のように同じダッシュボード中央の下部としたが、これらのカメラは共にバックミラーあるいはルームミラーの付近に取り付けてもよく、それぞれ異なる位置に取り付けてもよい。

この発明の実施形態１を示す操作入力装置のブロック図である。 この発明の実施形態１における手領域検出手段のブロック図である。 この発明の実施形態１における機器構成例を示す図である。 この発明の実施形態１における画像と検出領域を説明する図である。 この発明の実施形態１における手操作判定手段のブロック図である。 この発明の実施形態１における輪郭方向ヒストグラムを説明する図である。 この発明の実施形態１における他の手操作判定手段のブロック図である。 この発明の実施形態１における手方向判定手段を説明する図である。 この発明の実施形態１における検索候補の表示と操作を説明する図である。 この発明の実施形態２における手領域検出手段のブロック図である。 この発明の実施形態２における機器構成例を示す図である。 この発明の実施形態２における画像と検出領域を説明する図である。 この発明の実施形態３を示す操作入力装置のブロック図である。 この発明の実施形態３における機器構成例を示す図である。

符号の説明

１１ 撮像手段
１２ 手領域検出手段
１２Ａ 手領域検出手段
１３ 手操作判定手段
１３Ａ 手操作判定手段
１４ 選択メニュー表現手段
２０ 可視光カメラ
２１ 肌色領域抽出手段
２２ 差分領域抽出手段
２３ ２値化補正手段
２４ 距離算出手段
２５ 中央重点補正手段
２６ 手領域候補検出手段
２７ 輪郭長／面積算出手段
２８ 手領域決定手段
５１ 輪郭方向ヒストグラム算出手段
５２ 手方向判定手段
５３ 判定結果記憶手段
５４ 時系列データ判定手段
７１ 中心輪郭間距離算出手段
７２ 手方向判定手段
７３ 判定結果記憶手段
７４ 時系列データ判定手段
１１０ 赤外線カメラ
１１１ 差分領域抽出手段
１１２ ２値化補正手段
１１３ 距離算出手段
１１４ 中央重点補正手段
１１５ 手領域候補検出手段
１１６ 輪郭長／面積算出手段
１１７ 手領域決定手段
１３１ 手操作判定選択手段

Claims (16)

1. 可視光カメラで構成される撮像手段と、
   前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、
   検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、
   判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段と
   を備え、
   前記手領域検出手段は、
   前記撮像手段で撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、
   前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、
   前記肌色領域抽出手段と前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、
   前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、
   前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、
   前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域を検出する手領域候補検出手段と、
   前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、
   算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段と
   を含んで構成されることを特徴とする操作入力装置。
2. 前記手操作判定手段は、
   検出した手領域の輪郭の方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段と、
   前記輪郭方向ヒストグラム算出手段により得られたヒストグラムの大小により手の方向を判定する手方向判定手段と、
   前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
   前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
   を含んで構成されることを特徴とする請求項１に記載の操作入力装置。
3. 前記手操作判定手段は、
   手領域検出手段で得られた手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出する中心輪郭間距離算出手段と、
   算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段と、
   前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
   前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
   を含んで構成されることを特徴とする請求項１に記載の操作入力装置。
4. 前記手操作判定手段は手領域検出手段からの検出結果に基づいて、少なくともメニューの候補変更、実行、キャンセルの判定を行う
   ことを特徴とする請求項１に記載の操作入力装置。
5. 赤外線カメラで構成される撮像手段と、
   前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、
   検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、
   判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段と
   を備え、
   前記手領域検出手段は、
   前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、
   前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、
   前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、
   前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、
   前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、
   前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、
   算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とする操作入力装置。
6. 前記手操作判定手段は、
   検出した手領域の輪郭の方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段と、
   前記輪郭方向ヒストグラム算出手段により得られたヒストグラムの大小により手の方向を判定する手方向判定手段と、
   前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
   前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
   を含んで構成されることを特徴とする請求項５に記載の操作入力装置。
7. 前記手操作判定手段は、
   手領域検出手段で得られた手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出する中心輪郭間距離算出手段と、
   算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段と、
   前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
   前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
   を含んで構成されることを特徴とする請求項５に記載の操作入力装置。
8. 前記手操作判定手段は手領域検出手段からの検出結果に基づいて、 少なくともメニューの候補変更、実行、キャンセルの判定を行う
   ことを特徴とする請求項５に記載の操作入力装置。
9. 赤外線カメラで撮影された画像の平均の赤外線レベルが所定の値よりも低い時には赤外線ＬＥＤを点灯し、高い時には赤外線ＬＥＤを消灯する
   ことを特徴とする請求項５に記載の操作入力装置。
10. 可視光カメラと赤外線カメラからなり複数の異なる撮像手段と、
    前記複数の異なる撮像手段で撮影された映像から人体の手の領域を検出する複数の手領域検出手段と、
    検出した手領域の形状および動きから異なる方法で手の操作を判定する複数の手操作判定手段と、
    前記複数の手操作判定手段で判定した複数の結果から一つの判定結果を選択する手操作判定選択手段と、
    前記手操作判定選択手段で選択した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、
    前記複数の手領域検出手段は、
    可視光カメラで撮影された背景画像と現在の映像との差分の領域を抽出する可視光画像差分領域抽出手段と、
    可視光カメラで撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、
    赤外線カメラで撮影された背景画像と現在の映像との差分の領域を抽出する赤外線画像差分領域抽出手段と、
    前記赤外線差分領域抽出手段または肌色領域抽出手段及び可視光画像差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、
    前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、
    前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、
    前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、
    前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、
    算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段と
    を含んで構成されることを特徴とする操作入力装置。
11. 前記手操作判定手段は、
    検出した手領域の輪郭の方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段と、
    前記輪郭方向ヒストグラム算出手段により得られたヒストグラムの大小により手の方向を判定する手方向判定手段と、
    前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
    前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
    を含んで構成されることを特徴とする請求項１０に記載の操作入力装置。
12. 前記手操作判定手段は、
    手領域検出手段で得られた手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出する中心輪郭間距離算出手段と、
    算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段と、
    前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
    前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
    を含んで構成されることを特徴とする請求項１０に記載の操作入力装置。
13. 前記手操作判定手段は手領域検出手段からの検出結果に基づいて、少なくともメニューの候補変更、実行、キャンセルの判定を行う
    ことを特徴とする請求項１０に記載の操作入力装置。
14. 赤外線カメラで撮影された画像の平均の赤外線レベルが所定の値よりも低い時には赤外線ＬＥＤを点灯し、高い時には赤外線ＬＥＤを消灯する
    ことを特徴とする請求項１０に記載の操作入力装置。
15. それぞれの撮像手段において、前記複数の手操作判定手段が、手の操作の判定を行い、同じ撮像手段における複数の手操作判定手段の判定結果の差が小さい方の撮像手段による判定結果を選択する
    ことを特徴とする請求項１０に記載の操作入力装置。
16. 前記複数の手操作判定手段が、 赤外線カメラで撮影された画像の平均の赤外線レベルが所定の値よりも低い時には赤外線カメラからの手操作判定結果を選択し、高い時には可視光カメラからの手操作判定結果を選択する
    ことを特徴とする請求項１０に記載の操作入力装置。

Images