JP4788199B2 - コマンド入力装置 - Google Patents

Description

本発明は、車両の乗員により表現されるハンドコマンドの入力を受け付けるコマンド入力装置に関し、特に、乗員の手等を２以上の方向から撮像するコマンド入力装置に関する。

車両に搭載される車載機器の多様化に伴い、乗員が行う入力操作は複雑化している。運転中の乗員の負担を軽減するため、乗員がステアリングを握りながら差し出した指の形状や動きをイメージセンサで認識し、指の形状や動きに応じたハンドコマンドを受け付ける非接触型の入力装置が提案されている（特許文献１参照）。これによれば、ハンドルを持ったままハンドコマンドの入力を行うことができる。

しかしながら、操作者が所定のハンドコマンドに対応する手の形状を示すため、指を１本、指を２本又は指を３本立てた場合、立てた指がすべて撮像に適した所定の方向に向いていることは稀であり、１本の指の方向は所定の方向を向いていても他の指は異なる方向を向いてしまうという問題があった。例えば、伸ばした指の本数に基づいてハンドコマンドを判定する場合、伸ばした指が撮像方向に向かって折れていると、その指が伸びているか否かを判断することが困難であるという問題があった。例えば、操作者が親指と人さし指を曲げてステアリングを握り、他の３本の指を伸ばした状態の手の形状が所定のハンドコマンドに対応する場合、この手の形状を掌側（この方向を仮に正面方向と仮定する）から見ると、３本の指がほぼ同じ方向に向かって自然に伸びている状態を観察することができるため、この方向から手を撮像すれば３本の指が伸ばされた手の形状を正確に認識することができる。しかしながら、実際には伸ばした３本の指は曲げている人さし指の方向に自然と曲がってしまう傾向があるため、この手の形状を正面方向以外の方向から観察する場合、特に手の形状を横から（掌側に対して約90度回転させた位置から）観察する場合には、何れの指が伸びているのかを正確に認識することができず、実際には３本の指が伸ばされている手の形状を、１本の指が伸ばされた手の形状又は２本の指が伸ばされた手の形状と誤認識してしまう可能性があるという問題があった。
特開２００３−１３１７８５号公報

本発明は、乗員が示した手の形状等によるハンドコマンドの認識率を向上させることを目的とする。
この発明によれば、車両の乗員の手を含む所定の検出領域を２以上の異なる方向から撮像する撮像手段と、撮像された２以上の撮像データに基づいて乗員の手の形状および／または手の動きを抽出する抽出手段と、抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、判定されたハンドコマンドを実行させる実行手段とを備えたコマンド入力装置が提供される。

複数の方向から手の形状を撮像するため、乗員が示した手の向き及び指の向きにかかわらず、示されたハンドコマンドを正確に認識することができる。

＜第１実施形態＞
以下、本発明の実施形態を図面に基づいて説明する。
本実施形態のコマンド入力装置１００は車両に搭載され、図１に示すように乗員が車両のステアリングを握りながら手若しくは指の形態（差し出した指・差し出した指の本数など）又は手若しくは指の動作により表現したハンドコマンドの入力を受け付ける。本実施形態のハンドコマンドは、車両搭載のオーディオ装置、エアコン、ナビゲーション装置等の車載装置に対する制御命令である。

本実施形態のコマンド入力装置１００は、乗員によって示されたハンドコマンドを２以上の異なる方向から撮像し、撮像された２以上の撮像データに基づいてハンドコマンドの抽出・判定を行う。図２に本実施形態のコマンド入力装置１００のブロック構成を示した。図２に示すように、コマンド入力装置１００は、第１カメラ１０Ａ及び第２カメラ１０Ｂを含む撮像手段１０と、入力制御装置２０とを備えている。コマンド入力装置１００は、外部の車載装置２００と車載ＬＡＮにより情報授受が可能なように接続されている。コマンド入力装置１００は、車載ＬＡＮを介して受け付けたハンドコマンドを車載装置２００に向けて送出する。

本実施形態の「撮像手段１０」は、乗員の手を含む所定の検出領域を２以上の異なる方向から撮像する。本実施形態では２つの赤外線カメラを設けることにより、所定の検出領域を２つの異なる方向から撮像する。本例では、説明の便宜のため、２つのカメラを設けた例を説明するが、カメラの数及び撮像方向の数は２に限定されず、３以上のカメラを設けてもよい。撮像手段１０は、乗員によりコマンドが示された手を撮像し、ハンドコマンドの抽出・判定処理ができる画像データを取得できればよく、赤外線カメラ、ＣＣＤカメラ、その他のデジタルカメラであってもよい。本例では夜間や暗い場所でも撮像データを取得してコマンドの抽出・判定を行う観点から、赤外線カメラを採用する。本装置が搭載される車両車内は、昼間は明るく夜は暗く、外光状態の変動が大きく、外光状態の影響により可視カメラで得られた画像は大きく変動するため、検出精度が低下する場合がある。本実施形態では、遠赤外線を検出する赤外線カメラを撮像手段として採用したため、熱を発する対象物のみを画像として捕らえ、外光状態にかかわらずコマンドを示す乗員の手７のみを検出することができる。

撮像手段１０が撮像する所定の検出領域は、乗員がコマンドを示す位置として予め定義された入力領域を含むことが好ましい。本実施形態における入力領域９と検出領域６を図３（Ａ）に示した。入力領域９はステアリング１付近に設けられ、この入力領域９を含むように検出領域６が設定されている。検出領域６をダッシュボード側から撮像する第２カメラ１０Ｂは、ステアリング１の中心部分と入力領域とを通る帯状領域Ｔをステアリングコラムの延在方向に沿って投影した領域に設けられている。

図３（Ｂ）に示すように、入力領域９及び検出領域６は右ステアリングの右側（右手側）に設定されている。乗員はステアリング１を握ったまま、ステアリング１の奥側（フロントガラス側）へ指を伸ばすようにしてハンドコマンドに対応する手の形状等を示す。このような位置に入力領域９及び検出領域６を設けることにより、乗員は手７をステアリング１から離さずに自然な体勢で操作することができる。なお、左側ステアリングの車両の場合には、入力領域９、検出領域６、カメラ１０Ｂを図３（Ａ）（Ｂ）に示す例とは左右対称にすればよい。

第１実施形態の撮像手段１０は、異なる位置に設けられた第１カメラ１０Ａ及び第２カメラ１０Ｂを有し、これら第１カメラ１０Ａ及び第２カメラ１０Ｂにより２つの異なる方向から所定の検出領域を撮像する。図４にステアリング１、ステアリングコラム２、ダッシュボード５、第１カメラ１０Ａ及び第２カメラ１０Ｂの位置関係を示した。入力領域９はステアリング１の近傍に設けられ、この入力領域９を含むように検出領域６が設定されている。

図４に示すように、第１カメラ１０Ａは車両のステアリングコラム２の側面の第１撮像位置Ｐから入力領域９を含む所定の検出領域６を撮像する。第２カメラ１０Ｂは入力領域９に対向するダッシュボード５（ステアリングコラム２と第１カメラ１０Ａが設けられた第１撮像位置Ｐに最も近いドアとの間にあるダッシュボード５）に設定された第２撮像位置Ｑから検出領域６を撮像する。第１カメラ１０Ａを車両のステアリングコラム２の側面の第１撮像位置Ｐに設けることにより、ドアの内壁面を背景としてステアリングに置かれた手を撮像するため、背景に乗員の身体が写りこまず、手を背景から正確に抽出することができる。

第２カメラ１０Ｂは、ステアリング１の中心部分と入力領域９とを通る帯状領域Ｔを、ステアリングコラム２の延在方向（矢印Ｒ）に沿ってダッシュボードへ投影した領域の第２撮像位置Ｑに設けられている。本例では、入力領域９への撮像方向ｑがステアリングコラム２の延在方向に沿うように第２撮像位置Ｑの横位置及び高さを設定し、第２撮像位置Ｑに第２カメラ１０Ｂを設けた。第２カメラ１０Ｂを車両のダッシュボード５の第２撮像位置Ｑに設けることにより、ステアリング１の裏側を背景としてステアリングに置かれた手を撮像することができるため、背景に乗員の身体が写りこまず、手を背景から正確に抽出することができる。

特に限定されないが、ステアリングコラム側の位置Ｐから撮像する第１撮像方向（矢印ｐ）とダッシュボード５側の位置Ｑから撮像する第２撮像方向（矢印ｑ）とが検出領域６において略直交するように、第１撮像位置Ｐ及び第２撮像位置Ｑとを設定することが好ましい。

第１撮像位置Ｐに設けられた第１カメラ１０Ａ及び第２撮像位置Ｑに設けられた第２カメラ１０Ｂは、ステアリング１を握りながらハンドコマンドを示す乗員の手７を略直交する２方向から撮像する。乗員がステアリング１を握ったまま指を立ててハンドコマンドを示す場合、各指は同じ方向ではなく異なる方向を向いてしまう。たとえば、ステアリング１を握りながら人指し指、中指、薬指の3本を立てた場合、図５に示すように、薬指と中指は６５度程度の角度をもってしまう。このような場合、一方向から撮像すると薬指が立っていることは認識できても中指が立っていることは認識できない、又は中指が立っていることは認識できても薬指が立っていることは認識できないということとなり、誤検出を招くおそれがある。これに対し、本実施形態のコマンド入力装置１００は、２以上の異なる方向から乗員の手を撮像するため、各指が異なる方向を向いていても、伸びているか否かを正確に検出することができる。

次に「入力制御装置２０」について説明する。「入力制御装置２０」は、抽出手段２１と、判定手段２２と、実行手段２３とを備え、カメラ１０により撮像された画像に基づいて乗員が示したハンドコマンドを実行させる。

本例の抽出手段２１は、２のカメラ１０Ａ，１０Ｂ（赤外線カメラ）により撮像された２以上の撮像データから、手の形状および／または手の動きを抽出する。抽出手法は特に限定されないが、本例では赤外線データに基づいて人間の手の表皮温度（２４〜３４℃）を基準とした温度帯域に含まれる温点の分布を抽出し、この分布から人間の手の形状および／または人間の手の動きを抽出する。

本実施形態の抽出手段２１は、第１画像取得部２１１Ａと、第１手形状検出部２１２Ａと、第２画像取得部２１１Ｂと、第２手形状検出部２１２Ｂと、合成抽出部２１３とを有する。第１画像取得部２１１Ａは第１カメラ１０Ａにより撮像された撮像データを取得し、第１手形状検出部２１２Ａは第１画像取得部２１１Ａにより取得された撮像データに基づいて乗員の手の形状および／または手の動きを抽出する。同様に、第２画像取得部２１１Ｂは第２カメラ１０Ｂにより撮像された撮像データを取得し、第２手形状検出部２１２Ｂは第２画像取得部２１１Ｂにより取得された撮像データに基づいて乗員の手の形状および／または手の動きを抽出する。

乗員が３本の指を立ててハンドコマンドを示した状態を図６に示した。図６に示すように、人指し指、中指は略平行に撮像方向ｑ方向へ向かって伸び、薬指は撮像方向ｐへ向かって曲がっている。このハンドコマンドについて、第１手形状検出部２１２Ａおよび第２手形状検出部２１２Ｂの検出結果を図７（Ａ）（Ｂ）に示した。

図７（Ａ）は第１カメラ１０Ａにより撮像方向ｐで撮像された画像データに基づいて第１手形状検出部２１２Ａが抽出した乗員の手の形状および／または手の動きであり、図７（Ｂ）は第２カメラ１０Ｂにより撮像方向ｑで撮像された画像データに基づいて第２手形状検出部２１２Ｂが抽出した乗員の手の形状および／または手の動きである。

図７（Ａ）に示すように、第１手形状検出部２１２Ａは第１カメラ１０Ａにより撮像された画像データに基づいて人指し指と中指が伸びていることを検出するが、薬指が伸びていることは検出できない。他方、図７（Ｂ）に示すように、第２手形状検出部２１２Ｂは、第２カメラ１０Ｂにより撮像された画像データに基づいて薬指が伸びていることを検出するが、人指し指と中指が伸びていることを検出できない。

合成抽出部２１３は、第１手形状検出部２１２Ａの検出結果と第２手形状検出部２１２Ｂの検出結果に基づいて、乗員の手の形状および／または手の動きを抽出する。合成抽出部２１３は、各指を特定し、特定された指の長さに基づいてその指が伸びているか否かを判断する。

合成抽出部２１３は、検出された指の相対的位置に基づいて指を特定する。指の長さを参照して指を特定してもよい。指の長さの検出は取得した複数の画像データに基づいて行う。具体的に、図６及び図７を参照して説明する。手７を第１カメラ１０Ａで撮像方向ｐから撮像すると、人指し指Ｍの長さはLaと検出される（図７（Ａ））。他方、第２カメラ１０Ｂで撮像方向ｑから撮像すると、人指し指Ｍの長さはLbと検出され（図７（Ｂ））、カメラの位置によって検出結果が異なることがある。本実施形態では、第１カメラ１０Ａの撮像データと第２カメラ１０Ｂの撮像データに基づいて、人差し指Ｍの長さを検出する。本例では、撮像方向ｐと撮像方向ｑとが直交するため、人指し指Ｍの実際の長さを√(Ｌａ^２＋Ｌｂ^２)として算出する。同様にして、合成抽出部２１３は検出された各指について指の長さを算出し、各指が伸びた状態にあるか否かを判断する。合成抽出部２１３はどの指が伸びているか、何本の指が伸びているかに基づいて、乗員が示した手の形状を抽出する。

このように、２以上の異なる方向から撮像された２つの画像データに基づいて手の形状等を抽出することにより、正確な指の長さを検出し、ハンドコマンドを正確に抽出することができる。つまり、1方向からの撮像データだけでは誤検知が生じてしまうような場合にあっても、正確に指が伸びているか否かを検出することができ、手の形状等の検出精度を向上させることができる。

判定手段２２は、抽出手段２１により抽出された手の形状および／または手の動きに基づいてハンドコマンドの内容を判定する。判定の手法は特に限定されず、伸ばされた指の本数、伸ばされた指の別に基づいてハンドコマンド認識してもよいし、抽出された手の形状等に基づいてパターンマッチング手法により判定してもよい。

本実施形態では、伸ばされた指の本数と、各ハンドコマンドに予め対応づけられた手の形状および／または手の動きとを対比して、抽出された手の形状および／または手の動きのハンドコマンドを判定する。判定手段２２は、ハンドコマンドの内容と手の形状および／または手の動きとを予め対応づけた対応情報を、読み込み可能な記憶手段（ＲＡＭまたはＲＯＭ）から取得する。図８に手の形状等（伸ばされた指の本数）とハンドコマンドとを予め対応づけた対応情報の一例を示す。対応情報においては、手の形状および／または手の動きから予め対応づけられた所定のハンドコマンドが特定される。所定の手の形状（例えば指の本数）等と所定のハンドコマンド（例えば機器のＯＮ／ＯＦＦ）とを対応づけてもよいし、ハンドコマンドの階層構造に応じて、所定の手の形状（例えば指の本数）等の組み合わせと、所定のハンドコマンド（例えばオーディオ選択後の音量ＵＰ／ＤＯＷＮ）とを対応づけてもよい。図８に示す例では、手の形状ａはエアコンの起動命令に対応し、手の形状ｂはオーディオの起動命令に対応し、手の形状ｃはナビゲーション装置の起動命令に対応する。

実行手段２３は、判定手段２２により判定されたハンドコマンドを実行させる。実行手段２３は、判定されたハンドコマンドが制御する装置へ向けて、そのハンドコマンドを送出する。ハンドコマンドを取得した各車載装置２００は、取得したハンドコマンドを実行する。

次に本実施形態のコマンド入力装置１００の制御手順を図９のフローチャートに基づいて説明する。図９に示すように、起動後(Ｓ１０１)、第１カメラ１０Ａは、１の撮像方向ｐから所定の検出領域を撮像する（Ｓ１０２）。第１画像取得部２１１Ａは第１カメラ１０Ａから第１画像データＡを取得する（Ｓ１０３）。第１手形状検出部２１２Ａは第１画像データＡに基づいて手形状Ａを検出する（Ｓ１０４）。Ｓ１０２からＳ１０４の処理と並行して、第２カメラ１０Ｂは、１の撮像方向ｑから所定の検出領域を撮像する（Ｓ１１２）。第２画像取得部２１１Ｂは第２カメラ１０Ｂから第２画像データＢを取得する（Ｓ１１３）。第２手形状検出部２１２Ｂは第２画像データＢに基づいて手形状Ｂを検出する（Ｓ１１４）。

合成抽出部２１３は、第１手形状検出部２１２Ａが検出した手形状Ａと第２手形状検出部２１２Ｂが検出した手形状Ｂに基づいて、手形状を抽出する。本例では、伸ばされた指の本数をカウントする（Ｓ１０５）。

判定手段２２は抽出手段２１の合成抽出部２１３により抽出された乗員の手の形状および／又は手の動きに対応するコマンドを判定する（Ｓ１０６）。

実行手段２３は判定手段２２により判定されたコマンドを車載装置２００の制御手段に向けて出力する（Ｓ１０７）。車載装置２００は、受け付けたコマンドに基づいて車載装置２００を制御し(Ｓ１０８)、終了する。

本実施形態のコマンド入力装置１００は、２以上の異なる方向から撮像された２以上の撮像データに基づいて手の形状等を抽出することにより、1方向だけから撮像した画像データに基づいての形状等を抽出するよりも、指の本数を含む手の形状を正確に抽出することができ、ハンドコマンドの認識率を向上させることができる。

従来、この種の装置において、一つのカメラから投光した光の反射光の輝度分布から立体情報を得て、指空間ベクトル情報を検出することにより指が伸びているかどうかを検出する手法が用いられていた。しかし、輝度分布を検出するには、カメラがこの輝度差を感じるだけの高感度性能を備えること、および照射光（例えば近赤外線）に対する指の反射率が均一であるということが必要となり、正確な検出を行うことが困難であった。また、レンズの被写体深度が有限であるため、指が曲がるとカメラから遠いところと近いところでは、画像に部分的なボケが生じて、輝度値が変化してしまい指の向きや長さを正確に検出することができないという問題があった。これに対し、本実施形態コマンド入力装置１００は、このような問題を生じることなく、２以上の異なる方向から撮像された２以上の撮像データに基づいて手の形状等を抽出することにより、伸ばされた指の本数等の手の形状を正確に抽出することができる。

＜第２実施形態＞
第２実施形態のコマンド入力装置１００は、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通するが、第２カメラ１０Ｃの配置位置が第１実施形態の第２カメラ１０Ｂの配置位置と異なる。ここでは異なる点を中心に説明し、重複する説明は省略する。

乗員がステアリング１を操作しながら入力のために指を伸ばす場合、指の方向は乗員のステアリング１を握る位置、すなわち入力位置９の場所に応じて変化する。本実施形態では入力位置９の位置に応じて第２カメラ１０Ｃを適切な位置に配置する。

図１０（Ａ）に示すように、入力位置９がステアリング１の中心に対して右側にある場合に、ステアリング１を握りながら指を伸ばすと、図１０（Ｂ）に示すように、指はステアリング１の内側に向かって曲がる傾向がある。また、図１１（Ａ）に示すように、入力位置９がステアリング１の中心に対して右下側にある場合に、ステアリング１を握りながら指を伸ばすと、図１１（Ｂ）に示すように、指はステアリング１の内側に向かって曲がる傾向がある。このようにハンドコマンドを示す指がステアリングの内側に曲がり、ステアリングコラム２の延在方向に対して垂直方向に指が向くことは少ない場合には、ダッシュボード５の延在面から垂直方向に入力領域９を撮像するよりも、ステアリング２よりも外側から斜めの撮像方向で入力領域９を撮像する方が、曲がった指を確実に２方向から撮像できる。

本実施形態では、ステアリング中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向に沿ってダッシュボード５へ投影した領域であって、ステアリング１の外延（輪郭）をステアリングコラム２の延在方向に沿ってダッシュボード５へ投影したステアリング領域よりも外側の領域に第２撮像位置を設け、この第２撮像位置に第２カメラ１０Ｃを設けた。第２カメラ１０Ｃは、ステアリング領域よりも外側からステアリング１の近傍乃至内側の入力領域９を撮像する。

図１２にステアリング１、ステアリングコラム２、ダッシュボード５、第１カメラ１０Ａ及び第２カメラ１０Ｃの位置関係を示した。図１２に示すように、第１カメラ１０Ａは車両のステアリングコラム２の側面の第１撮像位置Ｐから入力領域９を含む所定の検出領域６を撮像する。第２カメラ１０Ｃは入力領域９に対向するダッシュボード５（ステアリングコラム２と第１カメラ１０Ａが設けられた第１撮像位置Ｐに最も近いドアとの間にあるダッシュボード５）に設定された第２撮像位置Ｓから検出領域６を撮像する。第２カメラ１０Ｃは、ステアリング１の中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向（矢印Ｒ）に沿ってダッシュボードへ投影した領域の第２撮像位置Ｓに設けられている。

本実施形態では、図１２に示すように、ステアリングコラム側から撮像する第１撮像方向（矢印ｐ）とダッシュボード５側から撮像する第２撮像方向（矢印ｓ）とが検出領域６において１２０度で交差するように、第１撮像位置Ｐ及び第２撮像位置Ｓとを設定した。第１撮像方向（矢印ｐ）と第２撮像方向（矢印ｓ）との角度は、特に限定されず、１００〜１３０度の角度で交差させてもよい。
ステアリング１の中心高さにある右端を持ったまま、人差し指、中指及び薬指の3本を伸ばすと、薬指がハンドルの内側に大きく曲がる傾向がある。薬指を曲げることができる角度は、指の付け根からぴんと伸ばした指に対して0〜90度までの範囲であるが、薬指とともに伸ばした中指、人差し指に対しては大体10〜65度の範囲で曲がることが多い。そのため、ダッシュボード５面から垂直に撮像するよりも、ステアリング外周位置よりも外側のダッシュボード５面からステアリングコラム２に対して３０度程度の入射角を有する撮像方向で撮像したほうが、垂直に撮像するよりも曲がった薬指を明確に撮像することが出来る。

これにより、ステアリング１の内側方向に曲がった手の指を、ダッシュボード側及びステアリングコラム側の両方から確実に撮像することができ、ハンドコマンドを正確に認識することができる。

図１３（Ａ）に示すように、入力位置９がステアリング１の中心に対して右上側にある場合に、ステアリング１を握りながら指を伸ばすと、図１３（Ｂ）に示すように、指はステアリング１の外側に向かって伸びる傾向がある。

本実施形態では、ステアリング中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向に沿ってダッシュボード５へ投影した領域であって、ステアリング１の外延（輪郭）をステアリングコラム２の延在方向に沿ってダッシュボード５へ投影したステアリング領域よりも内側の領域に第２撮像位置を設け、この第２撮像位置に第２カメラ１０Ｃを設けた。第２カメラ１０Ｃは、ステアリング領域よりも内側からステアリング１の近傍乃至内側の入力領域９を撮像する。

図１４にステアリング１、ステアリングコラム２、ダッシュボード５、第１カメラ１０Ａ及び第２カメラ１０Ｃの位置関係を示した。図１４に示すように、第１カメラ１０Ａは車両のステアリングコラム２の側面の第１撮像位置Ｐから入力領域９を含む所定の検出領域６を撮像する。第２カメラ１０Ｃは入力領域９に対向するダッシュボード５（ステアリングコラム２と第１カメラ１０Ａが設けられた第１撮像位置Ｐに最も近いドアとの間にあるダッシュボード５）に設定された第２撮像位置Ｓから検出領域６を撮像する。第２カメラ１０Ｃは、ステアリング１の中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向（矢印Ｒ）に沿ってダッシュボードへ投影した領域内の第２撮像位置Ｓに設けられている。

本実施形態では、図１４に示すように、ステアリングコラム側から撮像する第１撮像方向（矢印ｐ）とダッシュボード５側から撮像する第２撮像方向（矢印ｓ）とが検出領域６において６０度で交差するように、第１撮像位置Ｐ及び第２撮像位置Ｓとを設定した。第１撮像方向（矢印ｐ）と第２撮像方向（矢印ｓ）との角度は、特に限定されず、５０〜７０度の角度で交差させてもよい。これにより、ステアリング１の内側方向に曲がった手の指を、ダッシュボード側及びステアリングコラム側の両方から確実に撮像することができ、ハンドコマンドを正確に認識することができる。

本実施形態は、乗員がハンドコマンドを示す際、入力領域の位置に応じて指の曲がる方向が異なる点を考慮し、入力領域の位置に応じてカメラ１０の設置位置を決定することにより、曲がった指を複数の方向から確実に撮像し、指の位置及び指の長さを正確に認識することができる。

本実施形態によれば、ステアリング１の外側方向に曲がった手の指を、ダッシュボード側及びステアリングコラム側の両方から確実に撮像することができ、ハンドコマンドを正確に認識することができる。

＜第３実施形態＞
第３実施形態のコマンド入力装置１００は、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通するが、入力領域９がステアリングコラム２とステアリング１とに連なるスポーク３近傍に設けられ、スポーク３の幅が所定値以上である点が異なる。ここでは異なる点を中心に説明し、重複した説明は省略する。

図１５（Ａ）には、スポーク３近傍に入力領域９が設けられ、その幅が所定値以上のＸａであるステアリング１を示した。スポークの幅は人の一般的な掌の幅（例えば１０〜１５ｃｍ）以上であることが好ましい。乗員は入力領域９に含まれるスポーク３に指をかけて、所定の手の形状（ハンドコマンド）を示す。この入力領域９を含むように検出領域６を設定する。

図１５（Ｂ）は他のステアリング１の例である。図１５（Ａ）に示した例と同様に、スポーク３近傍に入力領域９が設けられ、その幅は所定値（人の一般的な掌の幅（例えば１０〜１５ｃｍ））以上のＸｂである。乗員は入力領域９に含まれるスポーク３に指をかけて、所定の手の形状（ハンドコマンド）を示す。この入力領域９を含むように検出領域６を設定する。

検出領域６をダッシュボード５側から撮像した場合に、ステアリングの隙間から乗員の身体が背景として映り込むと、乗員の手と乗員の身体（背景）との区別ができず、手の形状等の抽出が正確にできない。本実施形態ではスポーク３の幅を手の幅よりも太くすることにより、ステアリング１の隙間から乗員の身体が撮像されないようにした。これにより乗員の手と身体とが重ならず、背景から乗員の手を正確に抽出して、示されたコマンドを正確に認識することができる。

スポーク３に入力領域９を設定し、スポーク３に手をかけてハンドコマンドを示した場合、乗員の手等の背景は車両のウィンドガラスやドアとなり、乗員の身体が背景として映り込むことを防止することができる。

＜第４実施形態＞
第４実施形態のコマンド入力装置２００は、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通するが、撮像手段１０がその撮像領域を分割するミラーを有し、撮像領域を分割することにより検出領域を２以上の異なる方向から撮像する点が異なる。ここでは異なる点を中心に説明し、重複した説明は省略する。

第４実施形態のコマンド入力装置１００の構成を図１６に示した。本実施形態の撮像手段１０はカメラ１０Ｄとミラー１１を備える。その他の点は第１実施形態のコマンド入力装置と共通する。

図１７にカメラ１０Ｄ及び３つのミラー１１ａ，ミラー１１ｂ，ミラー１１ｃ、ステアリング１、及びダッシュボード５の配置を示した。ミラーはアルミなどの反射率の高い材料により作られたものである。第１実施形態と同様に、ステアリング１上に入力領域９が設定され、この入力領域９を含むように検出領域６を設定されている。特に限定されないが、本例では、１つの赤外線カメラ１０Ｄをステアリングコラム２の側面であってステアリング１の根元に設けた。赤外線カメラ１０Ｄはドア４の方向を向き、ステアリング１上の入力領域９においてハンドコマンドを示す手７を撮像する。

次にこの赤外線カメラ１０Ｄの撮像領域を分割するため、ミラー１１ａをカメラ１０Ｄの直前に設置する。赤外線カメラ１０Ｄの撮像領域のうち下側半分は撮像方向ｐの方向を撮像し、画像Ａを取得する。またミラー１１ａにより分割された撮像領域のうち上側半分は、ステアリングコラム２の付け根に配置されたミラー１１ｂ、ステアリングコラム２とドア４（カメラ１１ｂに最も近いドア）の間のダッシュボード５上に置かれたミラー１１ｃを介して撮像方向ｑの方向を撮像し、画像Ｂを取得する。

撮像方向ｐ，ｑから手７を撮像するための赤外線カメラ１０、ミラー１１の配置例は図１７に示すものに限定されず、図１８に示すものであってもよい。本例の赤外線カメラ１０Ｅは、ステアリングコラム２の根元に設置され、カメラ１０Ｅの直前に置かれたミラーｅとミラーｄにより撮像方向ｐからの画像Ａと、ミラーｆにより撮像方向ｑからの画像Ｂを得る。なお、本例ではミラー１１の枚数は3枚、赤外線カメラ１０は1台の場合を例にして説明したが、それぞれの数について限定するものではない。

以上のような構成において、乗員が人差し指、中指、薬指の3本を伸ばしている場合に取得した各画像を図１９（Ａ）（Ｂ）に示す。図１９（Ａ）は撮像方向ｐから取得した画像Ａであり、図１９（Ｂ）は撮像方向ｑから取得した画像Ｂである。本実施形態では、ミラー１１により撮像領域を分割したため、赤外線カメラ１０Ｄ，１０Ｅにより撮像方向の異なる画像Ａと画像Ｂを取得でき、２以上の画像を用いることにより、１枚の画像を用いた場合よりも、手７の形状等を正確に抽出することができる。抽出手段２１、判定手段２２の動作は第１実施形態と共通する。

図２０に第２実施形態のコマンド入力装置２００の制御手順を示す。本実施形態の制御手順は、図９に示した第１実施形態の制御手順と基本的に共通する。

カメラ１０Ｄ，１０Ｅ（第１カメラ）は、直接又はミラー１１群を介して２以上の異なる撮像方向から検出領域６を撮像する。カメラ１０Ｄ，１０Ｅは撮像方向ｐで直接検出領域を撮像する（Ｓ１０２）。第１画像取得部２１１Ａは、撮像方向ｐで撮像された画像Ａを取得する（Ｓ１０３）。第１手形状検出部２１２Ａは画像Ａに基づいて手の形状等を検出する（Ｓ１０４）。Ｓ１０２〜Ｓ１０４と並行して、カメラ１０Ｄ（第１カメラ）は、ミラー１１群を介して撮像方向ｑで間接的に検出領域を撮像する（Ｓ１１２）。第２画像取得部２１１Ｂは、撮像方向ｑで撮像された画像Ｂを取得する（Ｓ１１３）。第２手形状検出部２１２Ｂは画像Ｂに基づいて手の形状等を検出する（Ｓ１１４）。

本実施形態によれば、１のカメラで２以上の異なる方向から検出領域を撮像することができるため、カメラ設置のコストを抑制しつつ、第１実施形態と同様の効果を得ることができる。

なお、本例では１のカメラ１０Ｄと３枚のミラー１１により２以上の異なる方向から検出領域を撮像する構成を例に説明したが、カメラ及びミラーの数は限定されない。

＜第５実施形態＞
第５実施形態のコマンド入力装置２００は、基本的な構成、作用及び効果は第４実施形態のコマンド入力装置２００と共通するが、ミラー１１が所定の曲率を有する点が異なる。ここでは異なる点を中心に説明し、重複した説明は省略する。

図１７に示すようにミラー１１を配置した場合、撮像方向ｐで撮像する場合のカメラ１１Ｄから撮像対象となる手７までの光学的距離Ｙａと、撮像方向ｑで撮像する場合のカメラ１１Ｄから手７までの光学的距離Ｙｂとの差が大きい。このような場合、撮像方向ｐで撮像した画像Ａと撮像方向ｑで撮像した画像Ｂとの縮尺に無視できない違いが生じるため、これを補正する処理が必要となる。

本実施形態では、図２１に示すようにミラー１１ｉとミラー１１ｊに曲率を持たせた。ミラーの曲率はカメラから撮像対象までの距離に応じて適宜設定すればよい。ミラーと凹凸レンズの組み合わせとすることで、撮像方向ｐの光学的距離Yaと撮像方向ｑの光学的距離Ybとの差による縮尺の違いを補正することができる。これにより平板ミラーだけを用いた時よりも手の解像度が上がるので手の形状を正確に検出することができる。このように、本実施形態によれば、撮像方向ごとに光学的距離が異なる場合でもミラーの曲率を変えるだけで縮尺の調整を容易に行うことが出来る。これによりミラーの配置の自由度を向上させることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

コマンド入力装置の使用例を示す図である。 第１実施形態のコマンド入力装置のブロック構成図である。 （Ａ）（Ｂ）は第１実施形態のカメラと入力領域の位置関係の第１の例を示す図である。 第１実施形態のカメラ１０の第１の配置例を示す図である。 第１実施形態のハンドコマンドを示す乗員の手の状態を示す図である。 第１実施形態のハンドコマンドを示す乗員の手を撮像する撮像方向を説明するための図である。 （Ａ）は第１実施形態の撮像方向ｐの撮像データを示し、（Ｂ）は第１実施形態の撮像方向ｑの撮像データを示す。 第１実施形態の乗員の手の形状とコマンド内容を対応づけた対応データの例を示す図である。 第１実施形態のコマンド入力装置の制御手順を示すフローチャート図である。 （Ａ）（Ｂ）は第２実施形態のカメラと入力領域の位置関係の第１の例を示す図である。 （Ａ）（Ｂ）は第２実施形態のカメラと入力領域の位置関係の第２の例を示す図である。 第２実施形態におけるカメラ１０の第１の配置例を示す図である。 （Ａ）（Ｂ）は第２実施形態におけるカメラと入力領域の位置関係の第３の例を示す図である。 第２実施形態におけるカメラ１０の第２の配置例を示す図である。 （Ａ）（Ｂ）は第３実施形態のスポークの例である。 第４実施形態のコマンド入力装置のブロック構成図である。 第４実施形態のカメラ１０とミラーの第１の配置例を示す図である。 第４実施形態のカメラ１０とミラーの第２の配置例を示す図である。 （Ａ）は第４実施形態における撮像方向ｐの撮像データを示し、（Ｂ）は第４実施形態における撮像方向ｑの撮像データを示す。 第４実施形態のコマンド入力装置の制御手順を示すフローチャート図である。 第５実施形態のカメラ１０とミラーの配置例を示す図である。

符号の説明

１００…コマンド入力装置
１０…カメラ（赤外線カメラ）
１０Ａ，１０Ｃ，１０Ｄ…第１カメラ
１０Ｂ…第２カメラ
２０…入力制御装置
２１…抽出手段
２１１Ａ…第１画像取得部
２１１Ｂ…第２画像取得部
２１２Ａ…第１手形状検出部
２１２Ｂ…第２手形状検出部
２１３…合成抽出部
２２…判定手段
２３…実行手段
１…ステアリング
２…ステアリングコラム
３…スポーク
４…フロントドア
５…ダッシュボード
７…乗員の手
２００・・・車載装置

Claims (7)

1. 車両に搭載され、車両の乗員の手の形状および／または手の動きにより表現されるコマンドの入力を受け付けるコマンド入力装置であって、
   前記車両のステアリングを握ったままの状態でハンドコマンドに対応する手の形状を示す前記乗員の手を含む所定の検出領域を２以上の異なる方向から撮像する撮像手段と、
   前記撮像手段により撮像された２以上の撮像データに基づいて乗員の手の形状および／または手の動きを抽出する抽出手段と、
   前記抽出手段により抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、
   前記判定手段により判定されたハンドコマンドを実行させる実行手段と、を備え、
   前記撮像手段は、前記車両のステアリングコラム側面の第１撮像位置から前記車両のステアリング付近に設けられた入力領域を含む所定の検出領域を撮像するとともに、前記入力領域に対向するダッシュボードの第２撮像位置から前記検出領域を撮像することを特徴とするコマンド入力装置。
2. 前記第２撮像位置は、前記ステアリング中心部分と前記入力領域とを通る帯状領域を、前記ステアリングコラムの延在方向に沿ってダッシュボードへ投影した領域に設定されたことを特徴とする請求項１に記載のコマンド入力装置。
3. 前記入力領域は前記ステアリングコラムと前記ステアリングとに連なるスポーク近傍に設けられ、当該スポークの幅が所定値以上であることを特徴とする請求項２に記載のコマンド入力装置。
4. 前記撮像手段は、２以上のカメラを有する請求項１〜３の何れか一項に記載のコマンド入力装置。
5. 前記撮像手段は、当該撮像手段の撮像領域を分割するミラーを備えた請求項１〜４の何れか一項に記載のコマンド入力装置。
6. 前記ミラーは所定の曲率を有する請求項５に記載のコマンド入力装置。
7. 前記撮像手段は赤外線カメラであることを特徴とする請求項１〜６のいずれかに記載のコマンド入力装置。