JP3933107B2 - 車輌用入力装置 - Google Patents
車輌用入力装置 Download PDFInfo
- Publication number
- JP3933107B2 JP3933107B2 JP2003204596A JP2003204596A JP3933107B2 JP 3933107 B2 JP3933107 B2 JP 3933107B2 JP 2003204596 A JP2003204596 A JP 2003204596A JP 2003204596 A JP2003204596 A JP 2003204596A JP 3933107 B2 JP3933107 B2 JP 3933107B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- driver
- vehicle
- input device
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Steering Controls (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【技術分野】
本発明は、車輌の運転者が所望する車載機器の操作を行うための車輌用入力装置に関する。
【０００２】
【背景技術】
近年の自動車には、ナビゲーション装置、オーディオ装置、エアコン装置等の数多くの車載機器が搭載されるようになってきている。これに伴って運転者が行う車載機器の操作の数が著しく増大していると共に、当該操作がディスプレイを用いた共通の入力装置に集約され、運転者は当該ディスプレイを見ながら操作を行う必要がある。
【０００３】
このような車載機器の操作による運転者の負担を軽減する車輌用入力装置として、ＣＣＤカメラにより運転者の片手を撮像し、画像処理により前記ＣＣＤカメラにより撮像された画像情報から運転者の片手の形状及び動作の方向を検出して、当該検出結果に基づいて、車載機器の操作入力を行うものが知られており、これにより、運転者は、前記ディスプレイを見ることなく、ＣＣＤカメラに向かって手を所定の形状にしたり、所定の方向に動かすだけで所望する車載機器の操作が可能となっている（例えば、特許文献１参照）。
【０００４】
しかしながら、上記の車輌用入力装置では、運転者の片手のみに基づいて、所望する車載機器の操作を判断する構成となっているため、例えば、運転者が人差指、中指及び薬指の３本の指を伸ばした形状をＣＣＤカメラに示そうとした場合に、運転者の手がＣＣＤカメラの撮像範囲に進入する過程で、当該撮像範囲に人差指が最初に進入して、運転者が示す手の形状を、１本の指だけを伸ばした形状と誤検出する可能性がある。
【０００５】
また、車輌の走行時に運転者の手は、ステアリングホイールの近傍に常時あるため、ステアリングホイールの周囲に上記の車輌用入力装置のＣＣＤカメラを設けることが好ましいが、その反面、ステアリングホイールの周囲では運転者の手がＣＣＤカメラの撮像範囲に進入する機会が多くなるため、上記のように運転者の片手のみに基づいて操作を判断した場合には、運転者が車載機器の操作を意図していない場合であっても、運転者の手が撮像範囲に進入しただけで操作を判断してしまい、誤動作する可能性がある。
【０００６】
【特許文献１】
特開２００１−２１６０６９号公報
【発明の開示】
本発明は、車輌の運転者が所望する車載機器の操作を行うための車輌用入力装置に関し、特に、運転者の意図する操作を正確に判断し、誤動作の防止を図るすることが可能な車輌用入力装置を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明によれば、車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能であり、前記各撮像範囲にある被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線撮像手段と、前記赤外線撮像手段により撮像された前記各撮像範囲から運転者の手の形状及び／又は動作を検出する検出手段と、前記検出手段により検出された前記各撮像範囲にある前記運転者の手の形状及び／又は動作が実質的に同一の形及び／又は動作である場合に、前記検出手段により検出された前記各撮像範囲にある前記運転者の手の形状及び／又は動作に対応する操作を選択する操作選択手段と、を備えた車輌用入力装置が提供される。
また、上記目的を達成するために、本発明によれば、車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能であり、前記各撮像範囲にある被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線撮像手段と、前記赤外線撮像手段により撮像された前記各撮像範囲から運転者の手の形状及び／又は動作を検出する検出手段と、前記検出手段が、一方の前記撮像範囲にある前記運転者の手の所定の形状及び／又は動作を検出し、他方の前記撮像範囲から少なくとも赤外線を検出した場合に、前記検出手段により検出された前記一方の撮像範囲にある前記運転者の手の形状及び／又は動作に対応する操作を選択する操作選択手段と、を備えた車輌用入力装置が提供される。
【０００８】
本発明の車輌用入力装置では、車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能な赤外線撮像手段が、当該２つの撮像範囲において被写体から発生する赤外線の像を撮像し、検出手段が、前記各撮像範囲から被写体の形状や動作を検出し、操作選択手段が、当該検出結果に対応する操作を選択して、運転者が所望する車輌の各車載機器の操作入力を行う。
【０００９】
本発明では、２つの撮像範囲に撮像された各被写体の形状や動作に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲に赤外線撮像手段を設けても、両撮像範囲に赤外線を発生する被写体が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００１０】
また、赤外線撮像手段により、ステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面等の運転者の手以外の熱源を当該赤外線撮像手段の撮像背景から排除することが出来るので、抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
［第１実施形態］
図１は本発明の第１実施形態に係る車輌用入力装置の全体構成を示す概略図、図２は本発明の第１実施形態に係る車輌用入力装置のスキャン動作を示す概略図、図３は本発明の第１実施形態に係る車輌用入力装置における操作入力処理を示すフローチャート、図４は本発明の第１実施形態に係る車輌用入力装置において運転者の指をスキャンした状態を示す図、図５は本発明の第１実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【００１３】
本発明の第１実施形態に係る車輌用入力装置１は、図１に示すように、車輌のステアリングコラム５１の内部に設けられたＩＲカメラ２（赤外線撮像手段）と、一つのＩＲカメラ２で２つの撮像範囲Ａ１、Ａ２を撮像可能とするミラー３（撮像範囲分割手段）と、ステアリングホイール５０の回転軸を中心としてミラー３を回転駆動させるミラー回転用モータ４（回転駆動手段）と、当該ミラー回転用モータ４を駆動制御すると共に、ＩＲカメラ２により撮像された赤外線画像情報に対して画像処理を行って運転者の手４１、４２の形状を検出し、当該検出結果に基づいて、運転者の所望する、例えば、ナビゲーション機器１０やオーディオ機器２０、エアコン装置３０等の車輌に搭載された各種車載機器の操作を判断し、当該車載機器の操作を実行するコントローラ５（検出手段及び操作選択手段）と、を備えている。
【００１４】
本実施形態に係る車輌用入力装置１のＩＲカメラ２は、被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線カメラであり、図１に示すように、その光軸が車輌の前方から後方に向かってステアリングホイール５０の回転軸に沿うように、ステアリングコラム５１の内部に設置されている。
【００１５】
本実施形態に係る車輌用入力装置１のミラー３は、例えば、表面がアルミニウムで被覆された鏡面を有するガラス製の三角柱形状のミラーであり、図１に示すように、その断面における一つの頂点がＩＲカメラ２の光軸上に位置するように、後述するミラー回転用モータの駆動軸に取り付けられている。なお、このミラー３は、表面を研磨したアルミニウム製の三角柱形状のミラーで構成しても良い。
【００１６】
このミラー３は、ステアリングコラム５１の側面に形成された開口（不図示）を介して、２つの平面状の鏡面により、ステアリングホイール５０に対して左右方向の２つの撮像範囲Ａ１、Ａ２から得られる映像を当該ステアリングホイール５０の回転軸に向かうように反射させて、１つのＩＲカメラ２で２つの撮像範囲Ａ１、Ａ２を撮像することを可能としている。
【００１７】
本実施形態に係る車輌用入力装置１のミラー回転用モータ４は、図１に示すように、ステアリングコラム５１の端部に設置された、例えば、ステッピングモータ等から構成されており、図２に示すように、ステアリングホイール５０の回転軸を中心として、ステアリングホイール５０の回転とは独立してミラー３を往復回転させることが可能なように、当該ミラー回転用モータ４の駆動軸の先端部にミラー３が固定されている。
【００１８】
本実施形態に係る車輌用入力装置１のコントローラ５は、図１に示すように、ＩＲカメラ２により撮像された赤外線画像に画像処理を行って運転者の手４１、４２の形状を検出する画像処理部６と、当該画像処理部６による検出結果に基づいて、運転者が所望する操作を選択する操作選択部７と、ミラー回転用モータ３の駆動制御を行うモータ制御部８と、を有しており、撮像された赤外線画像情報を画像処理部６に取得可能なようにＩＲカメラ２に接続されていると共に、モータ制御部８によりミラー回転用モータ４を駆動制御可能なように接続されており、さらに、操作選択部７が、車輌に車載された、例えば、ナビゲーション装置１０や、オーディオ装置２０及びエアコン装置３０等の車載機器に対して操作制御可能なようにそれぞれ接続されている。
【００１９】
このコントローラ５では、画像処理部６が、ＩＲカメラ２から取得した赤外線画像情報に対して、例えば二値化処理等の画像処理を行って、運転者の手４１、４２、特に、指４１ａ、４２ａを示す赤外線放出部分を抽出し、当該赤外線放出部分の領域に基づいて、運転者が示す手４１、４２の形状を検出する。なお、画像処理部６が抽出する赤外線放出部分の温度としては、３０〜３５℃、好ましくは３２〜３３℃の温度範囲である。そして、操作選択部７が、検出された運転者の手４１、４２の形状と、予め登録された形状パターンとのマッチング処理を行い、当該形状パターンに対応する操作を、ナビゲーション装置１０、オーディオ装置２０及びエアコン装置３０等の車載機器に対して実行することが可能となっている。
【００２０】
また、例えば、車輌のカーブ走行中で運転者の手４１、４２が移動し、画像処理部６が赤外線画像情報から熱源を検出することが出来ないような場合には、モータ制御部８がミラー回転用モータ４を駆動させて、ミラー３を所定の範囲でステアリングホイール５０に対して相対的に往復回転させ、２つの撮像範囲Ａ１、Ａ２を移動させることにより、運転者の手４１、４２をスキャンすることが可能となっている。
【００２１】
以下に、図３に従って、本発明の第１実施形態に係る車輌用入力装置における操作入力処理について説明する。
【００２２】
車輌のイグニッションスイッチ（不図示）がオンとなっている状態において、先ず、コントローラ５のモータ制御部８がミラー回転用モータ４を駆動させるように制御し、図２に示すように、当該制御指令に基づいてミラー回転用モータ４がミラー３をステアリングコラム５１に対して相対的に往復回転させることにより、運転者の手４１のスキャン動作が行われる（ステップＳ１０）。
【００２３】
このスキャン動作を実行している間、コントローラ５の画像処理部６が、ＩＲカメラ２から随時取得される赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１から、熱源である運転者の右手４１の検出を試みる（ステップ２０）。なお、このスキャン動作の対象は、運転者の右手４１を対象とした第１の撮像範囲Ａ１に限定される必要はなく、運転者の左手４２を対象とした第２の撮像範囲Ａ２に対してスキャン動作を行っても良い。
【００２４】
このステップＳ２０の検出にて、第１の撮像範囲Ａ１から熱源が検出されない限り（ステップＳ２０にてＮＯ）、ミラー３の往復回転動作によるスキャンを繰り返す（ステップＳ１０）。
【００２５】
ステップＳ２０の検出にて、図４に示すように、第１の撮像範囲Ａ１から熱源４１ａが検出された場合には（ステップＳ２０にてＹＥＳ）、コントローラ５のモータ駆動部８が、ミラー回転用モータ４を停止させるように制御し、ミラー３の回転動作によるスキャン動作を停止させる（ステップＳ３０）。
【００２６】
次に、コントローラ５の画像処理部６が、上記のスキャン動作により得られた赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１に進入している運転者の指４１ａを示す赤外線放出部を抽出し、運転者の右手４１の形状を検出する（ステップＳ４０）。
【００２７】
次に、コントローラ５の操作選択部７が、当該検出された運転者右手４１の形状を、予め登録された形状パターンに対してマッチング処理を行い、当該検出された運転者の右手４１の形状が有効な形状であるか否かの判断を行う（ステップＳ５０）。
【００２８】
このステップＳ５０の判断にて、検出された右手４１の形状が、予め登録された何れの形状パターンにも該当せず、当該形状が有効でないと判断された場合には（ステップＳ５０にてＮＯ）、ステップＳ１０からステップＳ４０までの処理を再度繰り返す。
【００２９】
ステップＳ５０の判断にて、検出された右手４１の形状が、予め登録された何れかの形状パターンに該当し、当該形状が有効なものと判断された場合には（ステップＳ５０にてＹＥＳ）、当該検出された右手４１の形状に対応する操作コマンドを選択する（ステップＳ６０）。この操作コマンドの具体例としては、ナビゲーション装置１０、オーディオ装置２０及びエアコン装置３０等の操作対象の選択、及び、例えば、ナビゲーション装置１０では地図の拡大／縮小及びスクロール等、オーディオ装置２０ではラジオ、ＣＤ、ＭＤ等のリソースの選択や選局、音量調整等、エアコン装置３０では温度調整や風量調整等の、操作対象１０、２０、３０における各種詳細操作を例示することが出来る。
【００３０】
次に、コントローラ５の画像処理部６が、ＩＲカメラ２により撮像された赤外線画像情報に対して画像処理を行い、図５に示すように、第２の撮像範囲Ａ２に進入している運転者の指４２ａを示す赤外線放出部分を抽出し、運転者の左手４２の形状を検出する（ステップＳ７０）。
【００３１】
次に、コントローラ５の操作選択手段７が、当該検出された左手４２の形状を、予め登録された形状パターンに対してマッチング処理を行い、さらに、当該検出された左手４２の形状に対応する形状パターンが、上述の右手４１の形状に対応する形状パターンに一致するか否かを判断する（ステップＳ８０）。
【００３２】
このステップＳ８０の判断にて、両手４１、４２が示す形状パターンが一致しないと判断された場合には（ステップＳ８０にてＮＯ）、運転者が車載機器の操作を意図していないと判断して、ステップＳ１０からステップＳ８０までの処理を再度繰り返す。
【００３３】
ステップＳ８０の判断にて、両手４１、４２の形状パターンが一致した場合には（ステップＳ８０にてＹＥＳ）、運転者が車載機器の操作を意図したものと判断して、上当該一致した形状パターンに対応する操作コマンドを、ナビゲーション装置１０、オーディオ装置２０又はエアコン装置３０に対して実行する（ステップＳ９０）。
【００３４】
上記処理により、例えばオーディオ装置２０を操作対象として選択した後に、さらに運転者が、当該オーディオ装置２０においてラジオを選択したり、選局や音量調整する等の各車載機器おける階層的な操作を所望する場合には、各操作毎に、運転者が当該操作に対応する手の形状をＩＲカメラ２に示し、車輌用入力装置１が上記のステップＳ１０からステップＳ９０までの処理を繰り返すことにより達成される。
【００３５】
以上のように、本実施形態では、２つの撮像範囲に撮像された運転者の両手の形状に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲にＩＲカメラを設けても、両撮像範囲に運転者の両手が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００３６】
また、本実施形態では、ミラーを介在させて一つのＩＲカメラでステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面等の運転者の手以外の熱源をＩＲカメラの撮像背景から排除することが出来るので、画像処理において抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００３７】
さらに、本実施形態では、ミラーをステアリングホイールに対して相対的に回転させることにより、例えば車輌のカーブ走行等に伴って、運転者の手が移動しているような場合であっても、確実に運転者の手を撮像することが可能となる。
【００３８】
［第２実施形態］
図６は本発明の第２実施形態に係る車輌用入力装置の全体構成を示す概略図、図７は本発明の第２実施形態に係る車輌用入力装置のミラー連動回転動作を示す概略図、図８は本発明の第２実施形態に係る車輌用入力装置における操作入力処理を示すフローチャート、図９は本発明の第２実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【００３９】
本発明の第２実施形態に係る車輌用入力装置１ｂは、図６に示すように、ミラー３’の形状が異なり、ミラー回転手段４及びモータ制御部８を備えていない点で第１実施形態に係る車輌用入力装置１と相違し、その他の構成は第１実施形態に係る車輌用入力装置１の構成と同一である。以下に、第２実施形態に係る車輌用入力装置１ｂについて、第１実施形態に係る車輌用入力装置１との相違点についてのみ説明する。
【００４０】
本実施形態に係る車輌用入力装置１ｂのミラー３’は、第１実施形態と同様に、例えば、表面がアルミニウムで被覆された鏡面を有するガラス製のミラーであるが、図６に示すように、２つの撮像範囲Ａ１’、Ａ２’をＩＲカメラ２に向かって反射させる２つの鏡面が、曲面状に形成されており、第１実施形態における２つの撮像範囲Ａ１、Ａ２より広範な撮像範囲Ａ１’、Ａ２’を撮像可能となっている。なお、このミラー３の鏡面を球面状に形成しても良く、これにより、第１及び第２の撮像範囲Ａ１’、Ａ２’をより広範にすることが出来る。
【００４１】
また、本実施形態に係る車輌用入力装置１ｂには、第１実施形態におけるミラー回転用モータ４及びモータ制御装置８が設けられておらず、図７に示すように、ミラー３’がステアリングホイール５０と連動して回転するように、ミラー３’が、例えばステアリングシャフトなどに固定されている。
【００４２】
以下に、図８に従って、本発明の第２実施形態に係る車輌用入力装置における操作入力処理について説明する。
【００４３】
車輌のイグニッションスイッチ（不図示）がオンとなっている状態において、コントローラ５の画像処理部６が、ＩＲカメラ２から随時取得される赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１’から、熱源である運転者の右手４１の検出を試みる（ステップ１００）。なお、検出対象となる撮像範囲は、運転者の右手４１を対象とした第１の撮像範囲Ａ１’に限定される必要はなく、運転者の左手４２を対象とした第２の撮像範囲Ａ２’に対して行っても良い。
【００４４】
本実施形態においては、上述の通り、第１実施形態に係る車輌用入力装置１ｂはミラー回転用モータ４及びモータ制御部８を備えていないため、第１実施形態にようなスキャン動作を行わないが、例えば、車輌のカーブ走行中で運転者の手４１、４２が移動した場合であっても、本実施形態では、図７に示すように、ステアリングホイール５０に連動してミラー３’が回転するので、ステアリングホイール５０を回転させる運転者の手４１、４２を、ＩＲカメラ２の第１及び第２の撮像範囲Ａ１’、Ａ２’に常時撮像することが可能となっている。
【００４５】
このステップＳ１００の検出にて、第１の撮像範囲Ａ１’から熱源が検出されない限り（ステップＳ１００にてＮＯ）、コントローラ５の画像処理部６が、第１の撮像範囲Ａ１’からの熱源の検出を試みる（ステップＳ１００）。
【００４６】
ステップＳ１００の検出にて、第１の撮像範囲Ａ１’から熱源４１ａが検出された場合には（ステップＳ１００にてＹＥＳ）、コントローラ５の画像処理部６が、ＩＲカメラ２から取得された赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１’に進入している運転者の指４１ａを示す赤外線放出部を抽出し、運転者の右手４１の形状を検出する（ステップＳ１１０）。
【００４７】
次に、コントローラ５の操作選択部７が、当該検出された右手４１の形状を、予め登録された形状パターンに対してマッチング処理を行い、当該検出された右手４１の形状が有効な形状であるか否かの判断を行う（ステップＳ１２０）。
【００４８】
このステップＳ１２０の判断にて、検出された右手４１の形状が、予め登録された何れの形状パターンにも該当せず、当該形状が有効でないと判断された場合には（ステップＳ１２０にてＮＯ）、ステップＳ１００からステップＳ１２０までの処理を再度繰り返す。
【００４９】
ステップＳ１２０の判断にて、検出された右手４１の形状が、予め登録された何れかの形状パターンに該当し、当該形状が有効なものと判断された場合には（ステップＳ１２０にてＹＥＳ）、当該検出された右手４１の形状に対応する操作コマンドを選択する（ステップＳ１３０）。
【００５０】
次に、コントローラ５の画像処理部６が、ＩＲカメラ２により撮像された赤外線画像情報に対して画像処理を行い、図９に示すように、第２の撮像範囲Ａ２’に進入している熱源である運転者の指４２ａの検出を試みる（ステップＳ１４０）。
【００５１】
なお、このステップＳ１４０では、第１実施形態の操作入力処理におけるステップＳ８０と異なり、両手の形状パターンの同一性を要求していないが、車輌用入力装置の誤検出、誤動作を防止すると共に、運転者による指示動作の利便性を図る場合には特に有効である。
【００５２】
このステップＳ１４０の検出にて、運転者の指４２ａが検出されない場合には（ステップＳ１４０にてＮＯ）、運転者が車載機器の操作を意図していないと判断して、ステップＳ１００からステップＳ１４０までの処理を再度繰り返す。
【００５３】
ステップＳ１４０の検出にて、運転者の指４２ａが検出された場合には（ステップＳ１４０にてＹＥＳ）、運転者が車載機器の操作を意図したものと判断して、右手４１の形状に一致した形状パターンに対応する操作コマンドを、ナビゲーション装置１０、オーディオ装置２０又はエアコン装置３０に対して実行する（ステップＳ１５０）。
【００５４】
なお、上記処理により何れかの車載機器１０、２０、３０を操作対象として選択した後に、さらに運転者が、当該操作対象１０、２０、３０における階層的な操作を所望する場合には、各操作毎に、運転者が当該操作に対応する手の形状をＩＲカメラ２に示し、車輌用入力装置１ｂが上記のステップＳ１００からステップＳ１５０までの処理を繰り返すことにより達成される。
【００５５】
以上のように、本実施形態では、第１実施形態と同様に、２つの撮像範囲に撮像された運転者の両手の形状に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲にＩＲカメラを設けても、両撮像範囲に運転者の両手が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００５６】
また、本実施形態では、第１実施形態と同様に、ミラーを介在させて一つのＩＲカメラによりステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面などの運転者の手以外の熱源をＩＲカメラの撮像背景から排除することが可能となり、画像処理において抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００５７】
さらに、本実施形態では、ミラーの鏡面を曲面状又は球面状に形成することにより、ＩＲカメラが撮像可能な撮像範囲を広範にすることが可能となるので、ステアリングコラム内にスペース上の制約がある場合には特に有効である。
【００５８】
さらに、本実施形態では、ミラーをステアリングホイールの回転と連動させることにより、例えば車輌のカーブ走行等に伴って、運転者の手が移動しているような場合であっても、確実に運転者の手を撮像することが可能となる。
【００５９】
［第３実施形態］
図１０は本発明の第３実施形態に係る車輌用入力装置の全体構成を示す概略図、図１１は本発明の第３実施形態に係る車輌用入力装置の他の例を示す概略図である。
【００６０】
本発明の第３実施形態に係る車輌用入力装置１ｃは、図１０に示すように、２台のＩＲカメラ２ａ、２ｂが設けられ、ミラー３’が設けられていない点で、第２実施形態に係る車輌用入力装置１ｂと相違し、その他の構成は第２実施形態に係る車輌用入力装置１ｂの構成と同一である。以下に、第３実施形態に係る車輌用入力装置１ｃについて、第２実施形態に係る車輌用入力装置１ｂとの相違点についてのみ説明する。
【００６１】
本発明の第３実施形態に係る車輌用入力装置１ｃは、図１０に示すように、２台のＩＲカメラ２ａ、２ｂを備えている。各ＩＲカメラ２ａ、２ｂは、その光軸がステアリングホイール５０の左右方向に向かうように、ステアリングコラム５１内にそれぞれ設けられており、当該ＩＲカメラ２ａ、２ｂがステアリングホイール５０と連動して回転するように、例えばステアリングシャフトなどに固定されている。
【００６２】
また、本発明の第３実施形態の他の例として、図１１に示す車輌用入力装置１ｄのように、２台のＩＲカメラ２ａ、２ｂを、その光軸がステアリングホイール５０の左右方向に向かうように、ステアリングコラム５１から左右方向に突出するウィンカレバー５２及びワイパレバー５３の内部に設けても良い。このように、２台のＩＲカメラ２ａ、２ｂをウィンカレバー５２及びワイパレバー５３内にそれぞれ設けることにより、運転者が手を向けるべき位置を認識し易くなり、運転者による指示動作の利便性が向上する。
【００６３】
本実施形態に係る車輌用入力装置１ｃにおける操作入力処理については、コントローラ５が、各ＩＲカメラ２ａ、２ｂから第１及び第２の撮像範囲Ａ１、Ａ２をそれぞれ取得する点で第２実施形態に係る車輌用入力装置１ｂにおける操作入力処理と相違するが、その他の点では、第２実施形態に係る車輌用入力装置１ｂにおける操作入力処理と同様である。
【００６４】
以上のように、本実施形態では、２つのＩＲカメラにより、２つの撮像範囲に撮像された運転者の両手の形状に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲にＩＲカメラを設けても、両撮像範囲に運転者の両手が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００６５】
また、本実施形態では、２台のＩＲカメラによりステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面などの運転者の手以外の熱源をＩＲカメラの撮像背景から排除することが可能となり、画像処理において抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００６６】
さらに、本実施形態では、各ＩＲカメラをステアリングホイールの回転と連動させることにより、例えば車輌のカーブ走行等に伴って、運転者の手が移動しているような場合であっても、確実に運転者の手を撮像することが可能となる。
【００６７】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６８】
例えば、上述の実施形態においては、運転者の手の形状に基づいて車載機器の操作を判断したが、本発明においては特に限定されず、運転者の手の形状に加えて、当該手の動きに基づいて車載機器の操作を判断しても良い。
【００６９】
さらに、上述の実施形態においては、車輌用入力装置の操作対象となる車載機器として、ナビゲーション装置、オーディオ装置及びエアコン装置を例示したが、本発明では特にこれに限定されず、例えば、携帯電話やライト、ワイパなどを操作の対象としても良い。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態に係る車輌用入力装置の全体構成を示す概略図である。
【図２】図２は、本発明の第１実施形態に係る車輌用入力装置のスキャン動作を示す概略図である。
【図３】図３は、本発明の第１実施形態に係る車輌用入力装置における操作入力処理を示すフローチャートである。
【図４】図４は、本発明の第１実施形態に係る車輌用入力装置において運転者の指をスキャンした状態を示す図である。
【図５】図５は、本発明の第１実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【図６】図６は、本発明の第２実施形態に係る車輌用入力装置の全体構成を示す概略図である。
【図７】図７は、本発明の第２実施形態に係る車輌用入力装置のミラー連動回転動作を示す概略図である。
【図８】図８は、本発明の第２実施形態に係る車輌用入力装置における操作入力処理を示すフローチャートである。
【図９】図９は、本発明の第２実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【図１０】図１０は、本発明の第３実施形態に係る車輌用入力装置の全体構成を示す概略図である。
【図１１】図１１は、本発明の第３実施形態に係る車輌用入力装置の他の例を示す概略図である。
【符号の説明】
１…車輌用入力装置
２…ＩＲカメラ
３…ミラー
４…ミラー回転用モータ
５…コントローラ
６…画像処理部
７…操作選択部
８…モータ制御部
１０…ナビゲーション装置
２０…オーディオ装置
３０…エアコン装置
４１…右手
４１ａ…指
４２…左手
４２ａ…指
５０…ステアリングホイール
５１…ステアリングコラム
５２…ウィンカレバー
５３…ワイパレバー
Ａ１…第１の撮像範囲
Ａ２…第２の撮像範囲
【技術分野】
本発明は、車輌の運転者が所望する車載機器の操作を行うための車輌用入力装置に関する。
【０００２】
【背景技術】
近年の自動車には、ナビゲーション装置、オーディオ装置、エアコン装置等の数多くの車載機器が搭載されるようになってきている。これに伴って運転者が行う車載機器の操作の数が著しく増大していると共に、当該操作がディスプレイを用いた共通の入力装置に集約され、運転者は当該ディスプレイを見ながら操作を行う必要がある。
【０００３】
このような車載機器の操作による運転者の負担を軽減する車輌用入力装置として、ＣＣＤカメラにより運転者の片手を撮像し、画像処理により前記ＣＣＤカメラにより撮像された画像情報から運転者の片手の形状及び動作の方向を検出して、当該検出結果に基づいて、車載機器の操作入力を行うものが知られており、これにより、運転者は、前記ディスプレイを見ることなく、ＣＣＤカメラに向かって手を所定の形状にしたり、所定の方向に動かすだけで所望する車載機器の操作が可能となっている（例えば、特許文献１参照）。
【０００４】
しかしながら、上記の車輌用入力装置では、運転者の片手のみに基づいて、所望する車載機器の操作を判断する構成となっているため、例えば、運転者が人差指、中指及び薬指の３本の指を伸ばした形状をＣＣＤカメラに示そうとした場合に、運転者の手がＣＣＤカメラの撮像範囲に進入する過程で、当該撮像範囲に人差指が最初に進入して、運転者が示す手の形状を、１本の指だけを伸ばした形状と誤検出する可能性がある。
【０００５】
また、車輌の走行時に運転者の手は、ステアリングホイールの近傍に常時あるため、ステアリングホイールの周囲に上記の車輌用入力装置のＣＣＤカメラを設けることが好ましいが、その反面、ステアリングホイールの周囲では運転者の手がＣＣＤカメラの撮像範囲に進入する機会が多くなるため、上記のように運転者の片手のみに基づいて操作を判断した場合には、運転者が車載機器の操作を意図していない場合であっても、運転者の手が撮像範囲に進入しただけで操作を判断してしまい、誤動作する可能性がある。
【０００６】
【特許文献１】
特開２００１−２１６０６９号公報
【発明の開示】
本発明は、車輌の運転者が所望する車載機器の操作を行うための車輌用入力装置に関し、特に、運転者の意図する操作を正確に判断し、誤動作の防止を図るすることが可能な車輌用入力装置を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明によれば、車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能であり、前記各撮像範囲にある被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線撮像手段と、前記赤外線撮像手段により撮像された前記各撮像範囲から運転者の手の形状及び／又は動作を検出する検出手段と、前記検出手段により検出された前記各撮像範囲にある前記運転者の手の形状及び／又は動作が実質的に同一の形及び／又は動作である場合に、前記検出手段により検出された前記各撮像範囲にある前記運転者の手の形状及び／又は動作に対応する操作を選択する操作選択手段と、を備えた車輌用入力装置が提供される。
また、上記目的を達成するために、本発明によれば、車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能であり、前記各撮像範囲にある被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線撮像手段と、前記赤外線撮像手段により撮像された前記各撮像範囲から運転者の手の形状及び／又は動作を検出する検出手段と、前記検出手段が、一方の前記撮像範囲にある前記運転者の手の所定の形状及び／又は動作を検出し、他方の前記撮像範囲から少なくとも赤外線を検出した場合に、前記検出手段により検出された前記一方の撮像範囲にある前記運転者の手の形状及び／又は動作に対応する操作を選択する操作選択手段と、を備えた車輌用入力装置が提供される。
【０００８】
本発明の車輌用入力装置では、車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能な赤外線撮像手段が、当該２つの撮像範囲において被写体から発生する赤外線の像を撮像し、検出手段が、前記各撮像範囲から被写体の形状や動作を検出し、操作選択手段が、当該検出結果に対応する操作を選択して、運転者が所望する車輌の各車載機器の操作入力を行う。
【０００９】
本発明では、２つの撮像範囲に撮像された各被写体の形状や動作に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲に赤外線撮像手段を設けても、両撮像範囲に赤外線を発生する被写体が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００１０】
また、赤外線撮像手段により、ステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面等の運転者の手以外の熱源を当該赤外線撮像手段の撮像背景から排除することが出来るので、抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
［第１実施形態］
図１は本発明の第１実施形態に係る車輌用入力装置の全体構成を示す概略図、図２は本発明の第１実施形態に係る車輌用入力装置のスキャン動作を示す概略図、図３は本発明の第１実施形態に係る車輌用入力装置における操作入力処理を示すフローチャート、図４は本発明の第１実施形態に係る車輌用入力装置において運転者の指をスキャンした状態を示す図、図５は本発明の第１実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【００１３】
本発明の第１実施形態に係る車輌用入力装置１は、図１に示すように、車輌のステアリングコラム５１の内部に設けられたＩＲカメラ２（赤外線撮像手段）と、一つのＩＲカメラ２で２つの撮像範囲Ａ１、Ａ２を撮像可能とするミラー３（撮像範囲分割手段）と、ステアリングホイール５０の回転軸を中心としてミラー３を回転駆動させるミラー回転用モータ４（回転駆動手段）と、当該ミラー回転用モータ４を駆動制御すると共に、ＩＲカメラ２により撮像された赤外線画像情報に対して画像処理を行って運転者の手４１、４２の形状を検出し、当該検出結果に基づいて、運転者の所望する、例えば、ナビゲーション機器１０やオーディオ機器２０、エアコン装置３０等の車輌に搭載された各種車載機器の操作を判断し、当該車載機器の操作を実行するコントローラ５（検出手段及び操作選択手段）と、を備えている。
【００１４】
本実施形態に係る車輌用入力装置１のＩＲカメラ２は、被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線カメラであり、図１に示すように、その光軸が車輌の前方から後方に向かってステアリングホイール５０の回転軸に沿うように、ステアリングコラム５１の内部に設置されている。
【００１５】
本実施形態に係る車輌用入力装置１のミラー３は、例えば、表面がアルミニウムで被覆された鏡面を有するガラス製の三角柱形状のミラーであり、図１に示すように、その断面における一つの頂点がＩＲカメラ２の光軸上に位置するように、後述するミラー回転用モータの駆動軸に取り付けられている。なお、このミラー３は、表面を研磨したアルミニウム製の三角柱形状のミラーで構成しても良い。
【００１６】
このミラー３は、ステアリングコラム５１の側面に形成された開口（不図示）を介して、２つの平面状の鏡面により、ステアリングホイール５０に対して左右方向の２つの撮像範囲Ａ１、Ａ２から得られる映像を当該ステアリングホイール５０の回転軸に向かうように反射させて、１つのＩＲカメラ２で２つの撮像範囲Ａ１、Ａ２を撮像することを可能としている。
【００１７】
本実施形態に係る車輌用入力装置１のミラー回転用モータ４は、図１に示すように、ステアリングコラム５１の端部に設置された、例えば、ステッピングモータ等から構成されており、図２に示すように、ステアリングホイール５０の回転軸を中心として、ステアリングホイール５０の回転とは独立してミラー３を往復回転させることが可能なように、当該ミラー回転用モータ４の駆動軸の先端部にミラー３が固定されている。
【００１８】
本実施形態に係る車輌用入力装置１のコントローラ５は、図１に示すように、ＩＲカメラ２により撮像された赤外線画像に画像処理を行って運転者の手４１、４２の形状を検出する画像処理部６と、当該画像処理部６による検出結果に基づいて、運転者が所望する操作を選択する操作選択部７と、ミラー回転用モータ３の駆動制御を行うモータ制御部８と、を有しており、撮像された赤外線画像情報を画像処理部６に取得可能なようにＩＲカメラ２に接続されていると共に、モータ制御部８によりミラー回転用モータ４を駆動制御可能なように接続されており、さらに、操作選択部７が、車輌に車載された、例えば、ナビゲーション装置１０や、オーディオ装置２０及びエアコン装置３０等の車載機器に対して操作制御可能なようにそれぞれ接続されている。
【００１９】
このコントローラ５では、画像処理部６が、ＩＲカメラ２から取得した赤外線画像情報に対して、例えば二値化処理等の画像処理を行って、運転者の手４１、４２、特に、指４１ａ、４２ａを示す赤外線放出部分を抽出し、当該赤外線放出部分の領域に基づいて、運転者が示す手４１、４２の形状を検出する。なお、画像処理部６が抽出する赤外線放出部分の温度としては、３０〜３５℃、好ましくは３２〜３３℃の温度範囲である。そして、操作選択部７が、検出された運転者の手４１、４２の形状と、予め登録された形状パターンとのマッチング処理を行い、当該形状パターンに対応する操作を、ナビゲーション装置１０、オーディオ装置２０及びエアコン装置３０等の車載機器に対して実行することが可能となっている。
【００２０】
また、例えば、車輌のカーブ走行中で運転者の手４１、４２が移動し、画像処理部６が赤外線画像情報から熱源を検出することが出来ないような場合には、モータ制御部８がミラー回転用モータ４を駆動させて、ミラー３を所定の範囲でステアリングホイール５０に対して相対的に往復回転させ、２つの撮像範囲Ａ１、Ａ２を移動させることにより、運転者の手４１、４２をスキャンすることが可能となっている。
【００２１】
以下に、図３に従って、本発明の第１実施形態に係る車輌用入力装置における操作入力処理について説明する。
【００２２】
車輌のイグニッションスイッチ（不図示）がオンとなっている状態において、先ず、コントローラ５のモータ制御部８がミラー回転用モータ４を駆動させるように制御し、図２に示すように、当該制御指令に基づいてミラー回転用モータ４がミラー３をステアリングコラム５１に対して相対的に往復回転させることにより、運転者の手４１のスキャン動作が行われる（ステップＳ１０）。
【００２３】
このスキャン動作を実行している間、コントローラ５の画像処理部６が、ＩＲカメラ２から随時取得される赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１から、熱源である運転者の右手４１の検出を試みる（ステップ２０）。なお、このスキャン動作の対象は、運転者の右手４１を対象とした第１の撮像範囲Ａ１に限定される必要はなく、運転者の左手４２を対象とした第２の撮像範囲Ａ２に対してスキャン動作を行っても良い。
【００２４】
このステップＳ２０の検出にて、第１の撮像範囲Ａ１から熱源が検出されない限り（ステップＳ２０にてＮＯ）、ミラー３の往復回転動作によるスキャンを繰り返す（ステップＳ１０）。
【００２５】
ステップＳ２０の検出にて、図４に示すように、第１の撮像範囲Ａ１から熱源４１ａが検出された場合には（ステップＳ２０にてＹＥＳ）、コントローラ５のモータ駆動部８が、ミラー回転用モータ４を停止させるように制御し、ミラー３の回転動作によるスキャン動作を停止させる（ステップＳ３０）。
【００２６】
次に、コントローラ５の画像処理部６が、上記のスキャン動作により得られた赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１に進入している運転者の指４１ａを示す赤外線放出部を抽出し、運転者の右手４１の形状を検出する（ステップＳ４０）。
【００２７】
次に、コントローラ５の操作選択部７が、当該検出された運転者右手４１の形状を、予め登録された形状パターンに対してマッチング処理を行い、当該検出された運転者の右手４１の形状が有効な形状であるか否かの判断を行う（ステップＳ５０）。
【００２８】
このステップＳ５０の判断にて、検出された右手４１の形状が、予め登録された何れの形状パターンにも該当せず、当該形状が有効でないと判断された場合には（ステップＳ５０にてＮＯ）、ステップＳ１０からステップＳ４０までの処理を再度繰り返す。
【００２９】
ステップＳ５０の判断にて、検出された右手４１の形状が、予め登録された何れかの形状パターンに該当し、当該形状が有効なものと判断された場合には（ステップＳ５０にてＹＥＳ）、当該検出された右手４１の形状に対応する操作コマンドを選択する（ステップＳ６０）。この操作コマンドの具体例としては、ナビゲーション装置１０、オーディオ装置２０及びエアコン装置３０等の操作対象の選択、及び、例えば、ナビゲーション装置１０では地図の拡大／縮小及びスクロール等、オーディオ装置２０ではラジオ、ＣＤ、ＭＤ等のリソースの選択や選局、音量調整等、エアコン装置３０では温度調整や風量調整等の、操作対象１０、２０、３０における各種詳細操作を例示することが出来る。
【００３０】
次に、コントローラ５の画像処理部６が、ＩＲカメラ２により撮像された赤外線画像情報に対して画像処理を行い、図５に示すように、第２の撮像範囲Ａ２に進入している運転者の指４２ａを示す赤外線放出部分を抽出し、運転者の左手４２の形状を検出する（ステップＳ７０）。
【００３１】
次に、コントローラ５の操作選択手段７が、当該検出された左手４２の形状を、予め登録された形状パターンに対してマッチング処理を行い、さらに、当該検出された左手４２の形状に対応する形状パターンが、上述の右手４１の形状に対応する形状パターンに一致するか否かを判断する（ステップＳ８０）。
【００３２】
このステップＳ８０の判断にて、両手４１、４２が示す形状パターンが一致しないと判断された場合には（ステップＳ８０にてＮＯ）、運転者が車載機器の操作を意図していないと判断して、ステップＳ１０からステップＳ８０までの処理を再度繰り返す。
【００３３】
ステップＳ８０の判断にて、両手４１、４２の形状パターンが一致した場合には（ステップＳ８０にてＹＥＳ）、運転者が車載機器の操作を意図したものと判断して、上当該一致した形状パターンに対応する操作コマンドを、ナビゲーション装置１０、オーディオ装置２０又はエアコン装置３０に対して実行する（ステップＳ９０）。
【００３４】
上記処理により、例えばオーディオ装置２０を操作対象として選択した後に、さらに運転者が、当該オーディオ装置２０においてラジオを選択したり、選局や音量調整する等の各車載機器おける階層的な操作を所望する場合には、各操作毎に、運転者が当該操作に対応する手の形状をＩＲカメラ２に示し、車輌用入力装置１が上記のステップＳ１０からステップＳ９０までの処理を繰り返すことにより達成される。
【００３５】
以上のように、本実施形態では、２つの撮像範囲に撮像された運転者の両手の形状に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲にＩＲカメラを設けても、両撮像範囲に運転者の両手が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００３６】
また、本実施形態では、ミラーを介在させて一つのＩＲカメラでステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面等の運転者の手以外の熱源をＩＲカメラの撮像背景から排除することが出来るので、画像処理において抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００３７】
さらに、本実施形態では、ミラーをステアリングホイールに対して相対的に回転させることにより、例えば車輌のカーブ走行等に伴って、運転者の手が移動しているような場合であっても、確実に運転者の手を撮像することが可能となる。
【００３８】
［第２実施形態］
図６は本発明の第２実施形態に係る車輌用入力装置の全体構成を示す概略図、図７は本発明の第２実施形態に係る車輌用入力装置のミラー連動回転動作を示す概略図、図８は本発明の第２実施形態に係る車輌用入力装置における操作入力処理を示すフローチャート、図９は本発明の第２実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【００３９】
本発明の第２実施形態に係る車輌用入力装置１ｂは、図６に示すように、ミラー３’の形状が異なり、ミラー回転手段４及びモータ制御部８を備えていない点で第１実施形態に係る車輌用入力装置１と相違し、その他の構成は第１実施形態に係る車輌用入力装置１の構成と同一である。以下に、第２実施形態に係る車輌用入力装置１ｂについて、第１実施形態に係る車輌用入力装置１との相違点についてのみ説明する。
【００４０】
本実施形態に係る車輌用入力装置１ｂのミラー３’は、第１実施形態と同様に、例えば、表面がアルミニウムで被覆された鏡面を有するガラス製のミラーであるが、図６に示すように、２つの撮像範囲Ａ１’、Ａ２’をＩＲカメラ２に向かって反射させる２つの鏡面が、曲面状に形成されており、第１実施形態における２つの撮像範囲Ａ１、Ａ２より広範な撮像範囲Ａ１’、Ａ２’を撮像可能となっている。なお、このミラー３の鏡面を球面状に形成しても良く、これにより、第１及び第２の撮像範囲Ａ１’、Ａ２’をより広範にすることが出来る。
【００４１】
また、本実施形態に係る車輌用入力装置１ｂには、第１実施形態におけるミラー回転用モータ４及びモータ制御装置８が設けられておらず、図７に示すように、ミラー３’がステアリングホイール５０と連動して回転するように、ミラー３’が、例えばステアリングシャフトなどに固定されている。
【００４２】
以下に、図８に従って、本発明の第２実施形態に係る車輌用入力装置における操作入力処理について説明する。
【００４３】
車輌のイグニッションスイッチ（不図示）がオンとなっている状態において、コントローラ５の画像処理部６が、ＩＲカメラ２から随時取得される赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１’から、熱源である運転者の右手４１の検出を試みる（ステップ１００）。なお、検出対象となる撮像範囲は、運転者の右手４１を対象とした第１の撮像範囲Ａ１’に限定される必要はなく、運転者の左手４２を対象とした第２の撮像範囲Ａ２’に対して行っても良い。
【００４４】
本実施形態においては、上述の通り、第１実施形態に係る車輌用入力装置１ｂはミラー回転用モータ４及びモータ制御部８を備えていないため、第１実施形態にようなスキャン動作を行わないが、例えば、車輌のカーブ走行中で運転者の手４１、４２が移動した場合であっても、本実施形態では、図７に示すように、ステアリングホイール５０に連動してミラー３’が回転するので、ステアリングホイール５０を回転させる運転者の手４１、４２を、ＩＲカメラ２の第１及び第２の撮像範囲Ａ１’、Ａ２’に常時撮像することが可能となっている。
【００４５】
このステップＳ１００の検出にて、第１の撮像範囲Ａ１’から熱源が検出されない限り（ステップＳ１００にてＮＯ）、コントローラ５の画像処理部６が、第１の撮像範囲Ａ１’からの熱源の検出を試みる（ステップＳ１００）。
【００４６】
ステップＳ１００の検出にて、第１の撮像範囲Ａ１’から熱源４１ａが検出された場合には（ステップＳ１００にてＹＥＳ）、コントローラ５の画像処理部６が、ＩＲカメラ２から取得された赤外線画像情報に対して画像処理を行い、第１の撮像範囲Ａ１’に進入している運転者の指４１ａを示す赤外線放出部を抽出し、運転者の右手４１の形状を検出する（ステップＳ１１０）。
【００４７】
次に、コントローラ５の操作選択部７が、当該検出された右手４１の形状を、予め登録された形状パターンに対してマッチング処理を行い、当該検出された右手４１の形状が有効な形状であるか否かの判断を行う（ステップＳ１２０）。
【００４８】
このステップＳ１２０の判断にて、検出された右手４１の形状が、予め登録された何れの形状パターンにも該当せず、当該形状が有効でないと判断された場合には（ステップＳ１２０にてＮＯ）、ステップＳ１００からステップＳ１２０までの処理を再度繰り返す。
【００４９】
ステップＳ１２０の判断にて、検出された右手４１の形状が、予め登録された何れかの形状パターンに該当し、当該形状が有効なものと判断された場合には（ステップＳ１２０にてＹＥＳ）、当該検出された右手４１の形状に対応する操作コマンドを選択する（ステップＳ１３０）。
【００５０】
次に、コントローラ５の画像処理部６が、ＩＲカメラ２により撮像された赤外線画像情報に対して画像処理を行い、図９に示すように、第２の撮像範囲Ａ２’に進入している熱源である運転者の指４２ａの検出を試みる（ステップＳ１４０）。
【００５１】
なお、このステップＳ１４０では、第１実施形態の操作入力処理におけるステップＳ８０と異なり、両手の形状パターンの同一性を要求していないが、車輌用入力装置の誤検出、誤動作を防止すると共に、運転者による指示動作の利便性を図る場合には特に有効である。
【００５２】
このステップＳ１４０の検出にて、運転者の指４２ａが検出されない場合には（ステップＳ１４０にてＮＯ）、運転者が車載機器の操作を意図していないと判断して、ステップＳ１００からステップＳ１４０までの処理を再度繰り返す。
【００５３】
ステップＳ１４０の検出にて、運転者の指４２ａが検出された場合には（ステップＳ１４０にてＹＥＳ）、運転者が車載機器の操作を意図したものと判断して、右手４１の形状に一致した形状パターンに対応する操作コマンドを、ナビゲーション装置１０、オーディオ装置２０又はエアコン装置３０に対して実行する（ステップＳ１５０）。
【００５４】
なお、上記処理により何れかの車載機器１０、２０、３０を操作対象として選択した後に、さらに運転者が、当該操作対象１０、２０、３０における階層的な操作を所望する場合には、各操作毎に、運転者が当該操作に対応する手の形状をＩＲカメラ２に示し、車輌用入力装置１ｂが上記のステップＳ１００からステップＳ１５０までの処理を繰り返すことにより達成される。
【００５５】
以上のように、本実施形態では、第１実施形態と同様に、２つの撮像範囲に撮像された運転者の両手の形状に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲にＩＲカメラを設けても、両撮像範囲に運転者の両手が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００５６】
また、本実施形態では、第１実施形態と同様に、ミラーを介在させて一つのＩＲカメラによりステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面などの運転者の手以外の熱源をＩＲカメラの撮像背景から排除することが可能となり、画像処理において抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００５７】
さらに、本実施形態では、ミラーの鏡面を曲面状又は球面状に形成することにより、ＩＲカメラが撮像可能な撮像範囲を広範にすることが可能となるので、ステアリングコラム内にスペース上の制約がある場合には特に有効である。
【００５８】
さらに、本実施形態では、ミラーをステアリングホイールの回転と連動させることにより、例えば車輌のカーブ走行等に伴って、運転者の手が移動しているような場合であっても、確実に運転者の手を撮像することが可能となる。
【００５９】
［第３実施形態］
図１０は本発明の第３実施形態に係る車輌用入力装置の全体構成を示す概略図、図１１は本発明の第３実施形態に係る車輌用入力装置の他の例を示す概略図である。
【００６０】
本発明の第３実施形態に係る車輌用入力装置１ｃは、図１０に示すように、２台のＩＲカメラ２ａ、２ｂが設けられ、ミラー３’が設けられていない点で、第２実施形態に係る車輌用入力装置１ｂと相違し、その他の構成は第２実施形態に係る車輌用入力装置１ｂの構成と同一である。以下に、第３実施形態に係る車輌用入力装置１ｃについて、第２実施形態に係る車輌用入力装置１ｂとの相違点についてのみ説明する。
【００６１】
本発明の第３実施形態に係る車輌用入力装置１ｃは、図１０に示すように、２台のＩＲカメラ２ａ、２ｂを備えている。各ＩＲカメラ２ａ、２ｂは、その光軸がステアリングホイール５０の左右方向に向かうように、ステアリングコラム５１内にそれぞれ設けられており、当該ＩＲカメラ２ａ、２ｂがステアリングホイール５０と連動して回転するように、例えばステアリングシャフトなどに固定されている。
【００６２】
また、本発明の第３実施形態の他の例として、図１１に示す車輌用入力装置１ｄのように、２台のＩＲカメラ２ａ、２ｂを、その光軸がステアリングホイール５０の左右方向に向かうように、ステアリングコラム５１から左右方向に突出するウィンカレバー５２及びワイパレバー５３の内部に設けても良い。このように、２台のＩＲカメラ２ａ、２ｂをウィンカレバー５２及びワイパレバー５３内にそれぞれ設けることにより、運転者が手を向けるべき位置を認識し易くなり、運転者による指示動作の利便性が向上する。
【００６３】
本実施形態に係る車輌用入力装置１ｃにおける操作入力処理については、コントローラ５が、各ＩＲカメラ２ａ、２ｂから第１及び第２の撮像範囲Ａ１、Ａ２をそれぞれ取得する点で第２実施形態に係る車輌用入力装置１ｂにおける操作入力処理と相違するが、その他の点では、第２実施形態に係る車輌用入力装置１ｂにおける操作入力処理と同様である。
【００６４】
以上のように、本実施形態では、２つのＩＲカメラにより、２つの撮像範囲に撮像された運転者の両手の形状に基づいて、運転者の所望する操作を判断するので、運転者の片手のみに基づいた判断の場合と比較して、運転者が意図する操作を誤検出する可能性が低くすることが可能となり、特に、運転者の手が進入する機会の多いステアリングホイールの周囲にＩＲカメラを設けても、両撮像範囲に運転者の両手が進入しない限り、車載機器の操作を実行することはないため、運転者の意図する操作を正確に判断することが出来、誤動作の防止を図ることが可能となる。
【００６５】
また、本実施形態では、２台のＩＲカメラによりステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像することにより、例えば、運転者の顔面などの運転者の手以外の熱源をＩＲカメラの撮像背景から排除することが可能となり、画像処理において抽出対象である運転者の手と撮像背景とを容易に分離することが可能となり、運転者が意図する操作を誤検出する可能性が低くすることが可能となる。
【００６６】
さらに、本実施形態では、各ＩＲカメラをステアリングホイールの回転と連動させることにより、例えば車輌のカーブ走行等に伴って、運転者の手が移動しているような場合であっても、確実に運転者の手を撮像することが可能となる。
【００６７】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６８】
例えば、上述の実施形態においては、運転者の手の形状に基づいて車載機器の操作を判断したが、本発明においては特に限定されず、運転者の手の形状に加えて、当該手の動きに基づいて車載機器の操作を判断しても良い。
【００６９】
さらに、上述の実施形態においては、車輌用入力装置の操作対象となる車載機器として、ナビゲーション装置、オーディオ装置及びエアコン装置を例示したが、本発明では特にこれに限定されず、例えば、携帯電話やライト、ワイパなどを操作の対象としても良い。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態に係る車輌用入力装置の全体構成を示す概略図である。
【図２】図２は、本発明の第１実施形態に係る車輌用入力装置のスキャン動作を示す概略図である。
【図３】図３は、本発明の第１実施形態に係る車輌用入力装置における操作入力処理を示すフローチャートである。
【図４】図４は、本発明の第１実施形態に係る車輌用入力装置において運転者の指をスキャンした状態を示す図である。
【図５】図５は、本発明の第１実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【図６】図６は、本発明の第２実施形態に係る車輌用入力装置の全体構成を示す概略図である。
【図７】図７は、本発明の第２実施形態に係る車輌用入力装置のミラー連動回転動作を示す概略図である。
【図８】図８は、本発明の第２実施形態に係る車輌用入力装置における操作入力処理を示すフローチャートである。
【図９】図９は、本発明の第２実施形態に係る車輌用入力装置において両撮像範囲に運転者の指が進入した状態を示す図である。
【図１０】図１０は、本発明の第３実施形態に係る車輌用入力装置の全体構成を示す概略図である。
【図１１】図１１は、本発明の第３実施形態に係る車輌用入力装置の他の例を示す概略図である。
【符号の説明】
１…車輌用入力装置
２…ＩＲカメラ
３…ミラー
４…ミラー回転用モータ
５…コントローラ
６…画像処理部
７…操作選択部
８…モータ制御部
１０…ナビゲーション装置
２０…オーディオ装置
３０…エアコン装置
４１…右手
４１ａ…指
４２…左手
４２ａ…指
５０…ステアリングホイール
５１…ステアリングコラム
５２…ウィンカレバー
５３…ワイパレバー
Ａ１…第１の撮像範囲
Ａ２…第２の撮像範囲
Claims (7)
- 車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能であり、前記各撮像範囲にある被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線撮像手段と、
前記赤外線撮像手段により撮像された前記各撮像範囲から運転者の手の形状及び／又は動作を検出する検出手段と、
前記検出手段により検出された前記各撮像範囲にある前記運転者の手の形状及び／又は動作が実質的に同一の形状及び／又は動作である場合に、前記検出手段により検出された前記各撮像範囲にある前記運転者の手の形状及び／又は動作に対応する操作を選択する操作選択手段と、を備えた車輌用入力装置。 - 車輌のステアリングホイールの回転軸を中心として径方向に向かって２つの撮像範囲を撮像可能であり、前記各撮像範囲にある被写体から発生する赤外線を可視化して赤外線による像を撮像する赤外線撮像手段と、
前記赤外線撮像手段により撮像された前記各撮像範囲から運転者の手の形状及び／又は動作を検出する検出手段と、
前記検出手段が、一方の前記撮像範囲にある前記運転者の手の所定の形状及び／又は動作を検出し、他方の前記撮像範囲から少なくとも赤外線を検出した場合に、前記検出手段により検出された前記一方の撮像範囲にある前記運転者の手の形状及び／又は動作に対応する操作を選択する操作選択手段と、を備えた車輌用入力装置。 - 一つの赤外線撮像手段の撮像可能な撮像範囲を相互に異なる２つの撮像範囲に分割する撮像範囲分割手段をさらに備えた請求項１又は２記載の車輌用入力装置。
- 前記撮像範囲分割手段は、曲面状又は球面状の鏡面を有する請求項３記載の車輌用入力装置。
- 前記撮像範囲分割手段を、前記ステアリングホイールに対して相対的に回転させる回転駆動手段をさらに備えた請求項３又は４記載の車輌用入力装置。
- 前記撮像範囲分割手段は、前記ステアリングホイールと共に回転可能に設けられている請求項３又は４記載の車輌用入力装置。
- 前記赤外線撮像手段は、前記ステアリングホイールと共に回転可能に設けられている請求項１又は２記載の車輌用入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003204596A JP3933107B2 (ja) | 2003-07-31 | 2003-07-31 | 車輌用入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003204596A JP3933107B2 (ja) | 2003-07-31 | 2003-07-31 | 車輌用入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005047329A JP2005047329A (ja) | 2005-02-24 |
| JP3933107B2 true JP3933107B2 (ja) | 2007-06-20 |
Family
ID=34263565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003204596A Expired - Fee Related JP3933107B2 (ja) | 2003-07-31 | 2003-07-31 | 車輌用入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3933107B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016168958A (ja) * | 2015-03-13 | 2016-09-23 | 矢崎総業株式会社 | 車両用操作システム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4788199B2 (ja) * | 2005-05-31 | 2011-10-05 | 日産自動車株式会社 | コマンド入力装置 |
| US9423876B2 (en) * | 2011-09-30 | 2016-08-23 | Microsoft Technology Licensing, Llc | Omni-spatial gesture input |
| JP6322364B2 (ja) | 2013-01-29 | 2018-05-09 | 矢崎総業株式会社 | 電子制御装置 |
| JP6654352B2 (ja) * | 2015-03-13 | 2020-02-26 | 矢崎総業株式会社 | 車両用操作システム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2528262Y2 (ja) * | 1990-03-29 | 1997-03-05 | マツダ株式会社 | 自動車のエアバッグ装置 |
| AU8141198A (en) * | 1997-06-20 | 1999-01-04 | Holoplex, Inc. | Methods and apparatus for gesture recognition |
| JPH1159272A (ja) * | 1997-08-12 | 1999-03-02 | Nissan Motor Co Ltd | 死角撮影システム |
| JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
| US6703999B1 (en) * | 2000-11-13 | 2004-03-09 | Toyota Jidosha Kabushiki Kaisha | System for computer user interface |
| JP2002236534A (ja) * | 2001-02-13 | 2002-08-23 | Mitsubishi Motors Corp | 車載機器操作装置 |
| JP2003131785A (ja) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | インタフェース装置および操作制御方法およびプログラム製品 |
| JP4024727B2 (ja) * | 2003-07-28 | 2007-12-19 | 株式会社日立製作所 | 眠気検出装置 |
| JP2005050284A (ja) * | 2003-07-31 | 2005-02-24 | Toyota Motor Corp | 動き認識装置および動き認識方法 |
-
2003
- 2003-07-31 JP JP2003204596A patent/JP3933107B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016168958A (ja) * | 2015-03-13 | 2016-09-23 | 矢崎総業株式会社 | 車両用操作システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005047329A (ja) | 2005-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898652B2 (en) | Vehicle, method for controlling the same and gesture recognition apparatus therein | |
| CN105807904B (zh) | 用于车辆的人机接口设备及其控制方法 | |
| JP5136950B2 (ja) | 車載機器の操作装置 | |
| JP6213567B2 (ja) | 予測進路提示装置及び予測進路提示方法 | |
| JP5286035B2 (ja) | 車速制御装置 | |
| JP6816684B2 (ja) | 携帯端末、遠隔操作方法 | |
| WO2014073403A1 (ja) | 入力装置 | |
| JP2000168475A (ja) | 駐車支援装置 | |
| US10407025B2 (en) | Vehicle and method of controlling the same | |
| JP7128096B2 (ja) | 映像表示装置 | |
| JP4788199B2 (ja) | コマンド入力装置 | |
| JP4811223B2 (ja) | 車室内照明装置 | |
| JP3933107B2 (ja) | 車輌用入力装置 | |
| JP2010179828A (ja) | 車両用操作入力装置 | |
| JP6584904B2 (ja) | 操作者判定装置 | |
| JP2010036731A (ja) | 車両用操作装置 | |
| JP2014069699A (ja) | 車両用サイドミラー及びその制御方法 | |
| JP7075909B2 (ja) | 車両制御システム | |
| JP2005047412A (ja) | 非接触式情報入力装置 | |
| JP5549571B2 (ja) | 車内状況表示装置 | |
| JP6413647B2 (ja) | 操作入力装置 | |
| JP2009190675A (ja) | 車両用操作装置 | |
| JP2002133401A (ja) | 操作者判定方法及び操作者判定装置 | |
| JP6413645B2 (ja) | 操作入力装置 | |
| JP2006312346A (ja) | コマンド入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061226 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070312 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |