JP5030580B2

JP5030580B2 - 車両用作動システム、車両

Info

Publication number: JP5030580B2
Application number: JP2006353195A
Authority: JP
Inventors: 洋青木; 博文三田; 正登横尾; 裕箱守
Original assignee: Takata Corp
Current assignee: Takata Corp
Priority date: 2006-12-27
Filing date: 2006-12-27
Publication date: 2012-09-19
Anticipated expiration: 2026-12-27
Also published as: US20080181456A1; EP1947548B1; JP2008162376A; EP1947548A1; DE602007003799D1; CN101211173A; US7983475B2

Description

本発明は、車両に搭載される車両用作動システムに係り、詳しくは車両乗員により操作部が操作されることによって作動する作動装置を備える車両用作動システムの構築技術に関するものである。

従来、下記特許文献１には、車両乗員の操作によって作動する作動装置の一例として、車両用照明装置が開示されている。この車両用照明装置をはじめ、各種の作動装置を作動させる際には、車両乗員が作動装置の操作スイッチに自ら手をのばして手探りでスイッチ操作を行なったり、このスイッチ操作において操作スイッチの方向に一定時間目を向ける場合が想定されるところ、この種のシステムの設計においては、作動装置を作動させるための操作を簡便に行うことを可能とする技術に対する要請がある。
特開２００５−２５４９０６号公報

そこで、本発明は、かかる点に鑑みてなされたものであり、車両乗員により操作部が操作されることによって作動する作動装置を備える車両用作動システムにおいて、作動装置を作動させるための操作を簡便に行うことを可能とするのに有効な技術を提供することを課題とする。

前記課題を解決するために、本発明が構成される。本発明は、典型的には自動車に搭載される車両用作動システムに対し適用されるが、自動車以外の車両に搭載される車両用作動システムにおいても同様に、本発明を適用することが可能である。

本発明にかかる車両用作動システムは、車両に搭載されるシステムであって、作動装置、検出部、音声入力部、制御部を少なくとも備える構成とされる。

作動装置は、車両乗員により操作部が操作されることによって作動する装置として構成される。この作動装置として、典型的には、車内用ないし車外用照明、エアコンディショナー、ドアミラー、カーナビゲーション、オーディオなどを用いることができる。車両乗員の掌部及び甲部は、車両乗員の手の各部位のうち手首から先であって指を含む部位をいう。また、ここでいう車両乗員には、車両操舵用ハンドルを操作するべく運転席に着座する乗員のみならず、助手席等に着座する乗員が広く包含される。
検出部は、操作部から所定範囲の操作領域における三次元画像を検出する機能を有する。この検出部として、典型的には、非接触型三次元測定器としての単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラ、また３Ｄスキャナーなどを用いることができる。この検出部の設置場所に関しては、所望の操作部の位置に応じて適宜選択することが可能であり、典型的にはインナーリヤビューミラー周辺部、ダッシュボード、天井部、ピラーなどを選択することができる。
音声入力部は、車両乗員により予定された予定操作部に関する情報が音声入力される。ここでいう「予定操作部に関する情報」には、予定操作部自体を示す情報のみならず、予定操作部を直接的ないし間接的に示唆する情報が広く包含される。
本発明にかかる車両用作動システムは、操作部が車両乗員によって直に手動操作されて作動装置が作動する第１の作動モードと、制御部の制御により操作部が直に手動操作されることなく非接触にて作動装置が作動する第２の作動モードを少なくとも有する。
制御部は、第２の動作モードにおいて、音声入力部に音声入力された情報に基づいて、車両乗員により予定された予定操作部を特定するとともに、検出部によって検出された三次元画像に基づいて、操作部から所定範囲の操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、車両乗員の掌部ないし甲部が存在すると判定した操作領域に対応する操作部と、特定した予定操作部とが合致することを条件として、作動装置を作動させる制御を行う。操作領域に車両乗員の掌部ないし甲部が存在するか否かの判定に関しては、操作領域に人体が検出された場合に、この被検出体の大きさが予め規定された掌部ないし甲部に相当するか否かを判定してもよいし、或いは操作領域に掌部ないし甲部に相当する大きさの被検出体があるか否かを判定してもよい。

このような構成により、車両乗員は、運転前後や車両停止時に作動装置を作動させる際には第１の作動モード或いは第２の作動モードを選択し、運転中に作動装置を作動させる際には第２の作動モードを選択することができる。とりわけ、正規位置に着座した車両乗員が運転中に限られた大きさの操作部を直接操作する場合には、操作部に対し目を向ける時間がある程度必要となり、また正規位置から外れることがあり、車両乗員の注意力の低下が懸念される。本発明に係る車両用作動システムでは、操作部のまわりの操作領域に単に掌部ないし甲部を移動させる第２の作動モードを必要に応じて選択することにより、作動装置を作動させるのに必要な掌部ないし甲部の操作範囲が広がる。これにより、作動装置を作動させるための操作を簡便に行うことでき、車両乗員の注意力低下を抑えることが可能となる。
また、三次元画像を用いることによって、操作部の操作領域における情報を精度良く検出することが可能とされる。すなわち、三次元画像を用いる場合には、背景と車両乗員との色の差や、肌と服との色の差が少ないような場合等であっても、距離により情報を抽出することが可能であるため、二次元画像を検出する構成に比して、高い検出精度を確保することが可能となる。

また、操作を予定する予定操作部に関する情報を予め音声入力して予告することで、車両乗員が意図する作動装置のみを作動対象とすることができる。これにより、作動装置の誤動作を防止することが可能となる。

なお、本発明の検出部は、１または複数の操作領域における三次元画像を検出する単一の検出部として構成されてもよいし、或いは複数の検出部として構成されてもよい。また、複数の操作領域は、各々が独立した領域として構成されてもよいし、或いは単一の操作領域のうちの各部位として構成されてもよい。例えば、単一の検出部によって少なくとも２つの作動装置に対応した制御を行なう場合、各作動装置の操作部同士が近接しているときには、単一の操作領域のうちの第１の部位を一方の作動装置の作動に関与する操作領域とし、単一の操作領域のうちの第２の部位を他方の作動装置の作動に関与する操作領域とすることができる。すなわち、単一の操作領域のうちのどの部位に車両乗員の掌部ないし甲部が存在するかで、作動させる作動装置を特定することができる。

本発明にかかる更なる形態の車両用作動システムでは、前記の制御部は、第２の作動モードにおいて、検出部によって検出された三次元画像に基づいて、操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、更にこの操作領域に存在する掌部ないし甲部の動作を判定し、作動装置を作動させる際に、当該掌部ないし甲部の動作に基づいて作動装置の作動態様を可変制御する。ここでいう掌部ないし甲部の動作に関しては、操作領域における掌部ないし甲部の移動量、移動速度、移動加速度、滞留時間などが挙げられる。
このような構成によれば、車両乗員が作動装置の所望の作動態様に応じた掌部ないし甲部の動作を適宜選択することによって、操作部を直に手動操作することなく作動装置のきめ細かい制御を行うことが可能となる。

本発明にかかる車両は、エンジン走行系統と、電装系統と、車両制御装置と、前述の車両用作動システムを少なくとも備える車両として構成される。エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。車両制御装置は、エンジン走行系統及び電装系統の駆動制御を行う機能を有する装置として構成される。
このような構成によれば、車両乗員が必要に応じて操作部を直に手動操作することなく作動装置を作動させることが可能な車両用作動システムを搭載した車両が実現される。

以上のように、本発明によれば、車両乗員により操作部が操作されることによって作動する作動装置を備える車両用作動システムにおいて、特に操作部の操作領域における三次元画像を検出するとともに、検出したこの三次元画像に基づいて、操作領域に車両乗員の掌部ないし甲部が存在するか否かを判定し、操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合に作動装置を作動させる構成を採用することによって、作動装置を作動させるための操作を簡便に行うことが可能となった。

以下、本発明の実施の形態につき図面を参照しつつ詳細に説明する。まず、図１を参照しながら、本発明における「車両用作動システム」の一実施の形態である車両用作動システム１００の構成につき説明する。

本実施の形態の車両用作動システム１００のシステム構成が図１に示される。図１に示すように、車両用作動システム１００は、本発明における「車両」としての自動車車両に搭載されるものであり、撮影手段１１０、制御手段１２０、ＥＣＵ１７０及び作動装置１８０を少なくとも備える構成とされる。当該車両は、特に図示しないものの、エンジン及び車両の走行に関与する系統であるエンジン走行系統（本発明における「エンジン走行系統」に相当）、車両に使われる電機部品に関与する系統である電装系統（本発明における「電装系統」に相当）、エンジン走行系統及び電装系統の駆動制御を行う車両制御装置（ＥＣＵ１７０）を少なくとも備える。この場合の車両制御装置が、本発明における「車両制御装置」に相当する。

本実施の形態の撮影手段１１０は、撮影デバイスとしての３Ｄカメラ１１２及びデータ転送回路を含む構成とされる。３Ｄカメラ１１２は、Ｃ−ＭＯＳ又はＣＣＤ（電荷結合素子）を用いたうえで、光センサをアレイ状（格子状）に配置した３Ｄ（三次元画像）式のカメラ（「モニター」といもいう）として構成される。この３Ｄカメラ１１２は、典型的には運転席乗員や助手席乗員を正面から撮影するべく、例えばダッシュボードの左右センター部分やインナーリヤビューミラー周辺部に配設される。この３Ｄカメラ１１２によって、単一視点に関する三次元画像が得られることとなり、運転席乗員や助手席乗員までの距離が複数回計測されて立体表面形状が検出されることで、当該運転席乗員や助手席乗員に関する情報が、周期的に複数回、計測されることとなる。この３Ｄカメラ１１２として、非接触型三次元測定器としての単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラを用いることができる。この３Ｄカメラ１１２にかえて、三次元画像を得る３Ｄスキャナーを用いることもできる。

また、特に図示しないものの、本実施の形態の車両用作動システム１００には、車両バッテリの電力をこの３Ｄカメラ１１２に供給する電源装置が搭載されている。この３Ｄカメラ１１２によるこの撮影は、例えばイグニッションキーがＯＮ状態になったとき、あるいは運転席内に装着された着座センサ（図示省略）が、当該運転席に着座した乗員を検知したときに開始されるように設定される。

本実施の形態の制御手段１２０は、画像処理部１３０、演算部（ＭＰＵ）１４０、記憶部１５０、入出力部１６０、また特に図示しないものの各種の周辺装置を少なくとも備える。この制御手段１２０は、３Ｄカメラ１１２によって撮影された画像から、後述する所定の操作領域Ｃ（後述する操作部１８０ａから所定範囲の操作領域）における三次元画像を検出する処理を行うとともに、この検出情報に基づいて作動装置１８０を制御する機能を有する。ここでいう制御手段１２０に撮影手段１１０を含めて、本発明における「検出部」及び「制御部」が構成される。

画像処理部１３０は、品質の良い画像を得るためのカメラ制御や、３Ｄカメラ１１２によって撮影した画像を加工分析するための画像処理制御を行う手段として構成される。具体的には、カメラ制御においては、フレームレート、シャッター時間、感度調整、精度補正が行われ、ダイナミックレンジや輝度、ホワイトバランスなどが調整される。また、この画像処理制御においては、画像の回転補正やレンズ歪み補正、フィルター演算、差分演算などの画像前処理演算と、形状判定やトラッキングなどの画像認識処理演算が実行される。これにより、３Ｄカメラ１１２によって撮影された車両乗員の三次元画像は、ＸＹＺ座標系内の画素によって表現される。ここでいう「画素」は、「ピクセル」とも称呼され、デジタル画像を構成する単位である、色のついた「点」とされ、距離（奥行き）や透明度などの情報を含む。

なお、車両乗員の三次元画像は、既知の技術によって、３Ｄカメラ１１２を中心とした座標系Ａ（Ｘ，Ｙ，Ｚ）から、車体を中心とした座標系Ｂ（Ｘ’，Ｙ’，Ｚ’）へと座標変換されるのが好ましい。ここで、図２には、図１中の３Ｄカメラ１１２をダッシュボード上に設置した場合の座標系Ａ（Ｘ，Ｙ，Ｚ）の側面図が示され、図３には、図２中の座標系Ａ（Ｘ，Ｙ，Ｚ）の背面図が示される。また、図４には、図１中の３Ｄカメラ１１２をダッシュボード上に設置した場合の座標系Ｂ（Ｘ’，Ｙ’，Ｚ’）の側面図が示され、図５には、図４中の座標系Ｂ（Ｘ’，Ｙ’，Ｚ’）の背面図が示される。車体を中心とした座標系Ｂに関し、Ｘ’軸は車体の床面と車両左右方向に平行とされ、Ｙ’軸は車体の床面に垂直で車両上下方向に平行とされ、Ｚ’軸は車体の床面と車両前後方向に平行とされる。このような座標変換を行うことによって、操作領域Ｃの定義が容易になる。

本実施の形態の演算部１４０は、画像処理部１３０からの情報に基づいて、当該情報を処理する機能を有し、情報抽出処理部１４２及び判定処理部１４４を含む構成とされる。情報抽出処理部１４２は、画像処理部１３０による情報から、所定の操作領域Ｃの三次元画像を抽出（「検出」ともいう）する機能を有する。判定処理部１４４は、情報抽出処理部１４２によって抽出した操作領域Ｃの三次元画像に基づいて、当該操作領域Ｃに車両乗員の掌部ないし甲部、すなわち手の各部位のうち手首から先であって指を含む部位が存在するか否かを判定する処理を行う。この判定処理に関しては、操作領域Ｃに人体が検出された場合に、この被検出体の大きさが予め規定された掌部ないし甲部に相当するか否かを判定してもよいし、或いは操作領域Ｃに掌部ないし甲部に相当する大きさの被検出体があるか否かを判定してもよい。そして、当該操作領域Ｃに車両乗員の掌部ないし甲部が存在すると判定した場合、作動装置１８０を作動させるための制御信号を出力する。

本実施の形態の記憶部１５０は、演算制御ソフトウエアに加えて、補正用のデータや前処理用のバッファーフレームメモリー、認識演算のための定義データや基準パターン、演算部１４０において予め設定された操作領域Ｃに関する情報や、演算部１４０における各種の処理結果を記録（記憶）する手段として構成される。

本実施の形態の入出力部１６０は、車両全体に関する制御を行うＥＣＵ１７０との間で、演算部１４０における判定結果をはじめ、車両に関する情報、周辺の交通状況に関する情報、天候や時間帯に関する情報などが入力され認識結果を出力する。車両に関する情報の具体例としては、レーダーやカメラによる車両の衝突予知情報、車両ドアの開閉、シートベルトの装脱着、ブレーキの作動、車速、ステアリング操舵角度などがある。

本実施の形態の作動装置１８０は、ＥＣＵ１７０からの制御信号によって作動する作動デバイスとして構成される。この作動装置１８０は、車両乗員によって操作される操作部１８０ａを備え、この操作部１８０ａが直に手動操作されることによって、作動装置１８０が作動する、或いは作動態様が可変とされる。このときの操作モードは、操作部１８０ａが直に手動操作されて作動装置１８０が作動するモードであり、本発明における「第１の作動モード」に相当する。この作動装置１８０として、典型的には、車内用ないし車外用照明、エアコンディショナー、ドアミラー、カーナビゲーション、オーディオなどを用いることができる。また、この作動装置１８０の操作部１８０ａは、典型的には、スライド式、プッシュ式、回転式等、各種のスイッチ類やボタン類によって構成される。ここでいう作動装置１８０が、本発明における「作動装置」に相当し、この作動装置１８０の操作部１８０ａが、本発明における「操作部」に相当する。

本実施の形態では、前記の判定処理部１４４において所定の操作領域Ｃに車両乗員の掌部ないし甲部が存在すると判定した場合、この車両乗員が作動装置１８０を作動させる意思があると判断して、ＥＣＵ１７０が作動装置１８０に対し作動信号を出力する構成とされる。このときの制御モードは、操作部１８０ａに非接触にて作動装置１８０が作動するモードであり、本発明における「第２の作動モード」に相当する。なお、本実施の形態では、演算部１４０における処理に基づいて作動装置１８０に対し作動信号が出力される構成であればよく、図１に示すように、演算部１４０と作動装置１８０との間にＥＣＵ１７０が介在する構成であってもよいし、或いは演算部１４０からの作動信号を作動装置１８０に対し直接的に出力する構成であってもよい。

（第１の処理態様）
ここで、本実施の形態の演算部１４０による第１の処理態様を、図６及び図７を参照しながら説明する。

図６には、本実施の形態の操作部１８０ａから所定範囲の操作領域Ｃにおいて、車両乗員の掌部ないし甲部Ｈの存在を検出する様子が模式的に示される。この図６に示す例では、本実施の形態の操作領域Ｃを、Ｘ’軸、Ｙ’軸、Ｚ’軸に関する中心が（ａ，ｂ，ｃ）で、半径がｒの球の内部空間として規定している。この場合、この操作領域Ｃは、（ｘ−ａ）^２＋（ｙ−ｂ）^２＋（ｚ−ｃ）^２≦ｒ^２の式で示されるエリアとすることができる。演算部１４０は、この式によって示されるエリアに存在する画素数ｐが一定値ｍ以上である場合に、操作領域Ｃ内に物体（被検出体）が存在すると判定する。更に、当該画素数ｐが一定値ｎ（＞ｍ）以下である場合に、操作領域Ｃ内に存在する物体が車両乗員の掌部ないし甲部Ｈであると判定する。すなわち、当該画素数ｐに関し、ｍ≦ｐ≦ｎの関係が成立する場合に、操作領域Ｃに車両乗員の掌部ないし甲部Ｈに相当する大きさの物体が存在すると判定される。なお、画素数ｐに関する一定値ｍ，ｎは、記憶部１５０にて予め記憶される。一定値ｍ、ｎとして、例えばｍ＝２００、ｎ＝３００の値を採用することができる。また、車両乗員の掌部ないし甲部の存在を検出するべく設定される操作領域は、操作領域Ｃのような球のほか、立方体や直方体等、必要に応じて各種の形状として規定され得る。また、この操作領域を規定する操作部１８０ａからの離間距離は、想定する掌部ないし甲部Ｈの大きさなどに応じて適宜設定可能である。当該操作領域が、本発明における「操作領域」に相当する。

図７には、図６中の操作領域Ｃにおける車両乗員の掌部ないし甲部Ｈの検出に基づいて、作動装置１８０が作動するまでのフローが示される。この図７に示すように、車両乗員が作動装置１８０を作動させるべく、手Ｈを操作領域Ｃへと移動させることによって、この掌部ないし甲部Ｈを３Ｄカメラ１１２が検出する。そして、演算部１４０が操作領域Ｃに車両乗員の掌部ないし甲部Ｈが存在すると判定した場合、車両乗員が作動装置１８０を作動させようとする意思があると判断して、この作動装置１８０を作動させる制御が遂行される。例えば、車内用照明スイッチの操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、車内用照明スイッチが直接操作されることがなくても、車内用照明が点灯状態とされる。また、オーディオスイッチの操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、オーディオスイッチが直接操作されることがなくても、オーディオが作動状態とされる。なお、作動装置１８０の作動後に関しては、一定時間経過後に作動装置１８０が自動的に停止される構成や、一定時間経過後に再び操作領域Ｃにおいて車両乗員の掌部ないし甲部Ｈが検出されることを条件として作動装置１８０を停止させる構成などを採用することができる。

なお、本実施の形態において、撮影手段１１０は、１または複数の操作領域における三次元画像を検出する単一の撮影デバイス（３Ｄカメラ１１２等）として構成されてもよいし、或いは複数の撮影デバイスとして構成されてもよい。また、複数の操作領域は、各々が独立した領域として構成されてもよいし、或いは単一の操作領域のうちの各部位として構成されてもよい。例えば、単一の撮影デバイスによって少なくとも２つの作動装置、例えばエアコンディショナーとオーディオに対応した制御を行なう場合、各作動装置の操作部同士が近接しているときには、単一の操作領域のうちの第１の部位をエアコンディショナーの作動に関与する操作領域とし、単一の操作領域のうちの第２の部位をオーディオの作動に関与する操作領域とすることができる。すなわち、単一の操作領域のうちのどの部位に車両乗員の掌部ないし甲部が存在するかで、作動させる作動装置を特定することができる。

（第２の処理態様）
本実施の形態の演算部１４０による第２の処理態様に関しては、図８及び図９が参照される。

図８には、本実施の形態の操作部１８０ａが存在する所定の操作領域Ｃにおいて車両乗員の掌部ないし甲部Ｈの動作を検出する様子が模式的に示される。この図８に示す例では、操作領域Ｃにおける画素の中心位置の変化によって、車両乗員の掌部ないし甲部Ｈの動作を検出する。具体的には、操作領域Ｃにおける画素の座標を（Ｘｋ，Ｙｋ，Ｚｋ）、画素数をＮとした場合、Σがｋ＝１〜Ｎの和となり、画素の中心位置は（Σ（Ｘｋ）／Ｎ，Σ（Ｙｋ）／Ｎ，Σ（Ｚｋ）／Ｎ）で求めることができる。そして、一定時間内におけるこの画素の中心位置の標準偏差によって、操作領域Ｃにおける手Ｈの移動量を求め、これによって車両乗員の掌部ないし甲部Ｈの動作の種類を判定する。操作領域Ｃにおける手Ｈの移動量以外に、手Ｈの移動量、移動速度、移動加速度、滞留時間などを用いることもできる。

図９には、図７中の操作領域Ｃにおける車両乗員の掌部ないし甲部Ｈの動作の検出に基づいて、作動装置１８０が作動するまでのフローが示される。この図９に示すように、車両乗員が作動装置１８０を所定の態様にて作動させるべく、手Ｈを操作領域Ｃへと移動させて特定の動作を行うことによって、この掌部ないし甲部Ｈを３Ｄカメラ１１２が検出する。そして、演算部１４０が操作領域Ｃに車両乗員の掌部ないし甲部Ｈが存在すると判定し、更にこの掌部ないし甲部Ｈの特定の動作を検出した場合、車両乗員が作動装置１８０を所定の態様で作動させようとする意思があると判断して、この作動装置１８０を所定の態様で作動させる制御が遂行される。例えば、オーディオスイッチの操作領域において、車両乗員の握り拳の上下運動を検出した場合には、オーディオスイッチが直接操作されることがなくても、オーディオの音量が大きくなる制御が行われる。なお、作動装置１８０の作動後に関しては、一定時間経過後に作動装置１８０が自動的に停止される構成や、一定時間経過後に再び操作領域Ｃにおいて車両乗員の掌部ないし甲部Ｈの特定の動作が検出されることを条件として作動装置１８０を停止させる構成などを採用することができる。

（第３の処理態様）
本実施の形態の演算部１４０による第３の処理態様では、前述の第１の処理態様において、更に車両乗員が手Ｈを操作領域Ｃへと移動させる前に、操作領域Ｃに対応した作動装置１８０を特定するための情報を予め音声によって予告する。この場合、システム構成として、図１中の二点鎖線で示す音声入力部１９０が追加される。この音声入力部１９０は、典型的には音声入力用のマイクロフォンによって構成される。ここでいう音声入力部１９０は、車両乗員により予定された予定操作部に関する情報が音声入力されるものであり、本発明における「音声入力部」に相当する。

この第３の処理態様においては、車両乗員は、これから作動させようとする作動装置１８０に関する情報を音声入力部１９０に音声入力する。これにより、車両乗員による操作予定の予定操作部が特定される。なお、作動装置１８０に関する情報としては、作動装置１８０自体を示す単語であってもよいし、或いは当該単語を含む言葉であってもよい。その後、音声入力部１９０に音声入力されたこの情報に基づいて、演算部１４０は、操作領域にて検出した手に対応する操作部と、予め特定した予定操作部とが合致することを条件として、作動装置１８０を作動させる制御を行う。例えば、車両乗員がオーディオを音声によって予告した（「オーディオ」や「オーディオを動作します」などの音声を発した）のちに、オーディオスイッチの操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、オーディオスイッチが直接操作されることがなくても、オーディオが作動状態とされる。

（第４の処理態様）
本実施の形態の演算部１４０による第４の処理態様では、前述の第２の処理態様において、更に車両乗員が手Ｈを操作領域Ｃへと移動させる前に、操作領域Ｃに対応した作動装置１８０を特定するための情報を予め音声によって予告する。この場合、システム構成として、第３の処理態様と同様の音声入力部１９０が追加される。

この第４の処理態様においては、車両乗員は、これから作動させようとする作動装置１８０に関する情報を音声入力部１９０に音声入力する。これにより、車両乗員による操作予定の予定操作部が特定される。その後、音声入力部１９０に音声入力されたこの情報に基づいて、演算部１４０は、操作領域Ｃにて検出した手Ｈに対応する操作部と、予め特定した予定操作部とが合致することを条件として、作動装置１８０を作動させる制御を行うとともに、この作動装置１８０の作動態様を手Ｈの動作に基づいて可変制御する。例えば、車両乗員がオーディオを音声によって予告した（「オーディオ」や「オーディオを動作します」などの音声を発した）のちに、オーディオスイッチの操作領域において、握り拳の上下運動を検出した場合には、オーディオスイッチが直接操作されることがなくても、オーディオの音量が大きくなる制御が行われる。

以上のように、本実施の形態の車両用作動システム１００、或いはこの車両用作動システム１００を搭載する車両によれば、操作部１８０ａが車両乗員によって直に手動操作されて作動装置１８０が作動する第１の作動モードと、操作部１８０ａが直に手動操作されることなく非接触にて作動装置１８０が作動する第２の作動モードを少なくとも有するため、車両乗員は、運転前後や車両停止時に作動装置１８０を作動させる際には第１の作動モード或いは第２の作動モードを選択し、運転中に作動装置を作動させる際には第２の作動モードを選択することができる。とりわけ、正規位置に着座した車両乗員が運転中に限られた大きさの操作部１８０aを直接操作する場合には、操作部１８０ａに対し目を向ける時間がある程度必要となり、また正規位置から外れることがあり、これによって車両乗員の注意力の低下が懸念されるが、操作部１８０ａのまわりの操作領域に単に手を移動させる第２の作動モードを必要に応じて選択すれば、作動装置１８０を作動させるのに必要な手の操作範囲が広がるため、作動装置１８０を作動させるための操作を簡便に行うことでき、これによって車両乗員の注意力低下を抑えることが可能となる。
このとき、３Ｄカメラ１１２によって撮影された三次元画像に基づく各処理によって、所望の操作領域の情報を精度良く検出することが可能とされる。すなわち、三次元画像を用いる場合には、背景と車両乗員との色の差や、肌と服との色の差が少ないような場合等であっても、距離により情報を抽出することが可能であるため、二次元画像を検出する構成に比して、高い検出精度を確保することが可能となる。

また、本実施の形態によれば、前述の第２の処理態様のように、車両乗員が作動装置の所望の作動態様に応じた手の動作を適宜選択することによって、操作部を直に手動操作することなく作動装置のきめ細かい制御を行うことが可能となる。

また、本実施の形態によれば、前述の第３の処理態様や第４の処理態様のように、操作を予定する予定操作部に関する情報を予め音声入力して予告することで、車両乗員が意図する作動装置のみを作動対象とすることができ、これによって作動装置の誤動作を防止することが可能となる。

（他の実施の形態）
本発明は上記の実施の形態のみに限定されるものではなく、種々の応用や変形が考えられる。例えば、上記実施の形態を応用した次の各形態を実施することもできる。

上記実施の形態では、自動車に装着される車両用作動システム１００の構成について記載したが、自動車をはじめ、航空機、船舶、バス、電車等の各種の車両に装着される車両用作動システムの構成に対し本発明を適用することができる。

本実施の形態の車両用作動システム１００のシステム構成を示す図である。図１中の３Ｄカメラ１１２をダッシュボード上に設置した場合の座標系Ａ（Ｘ，Ｙ，Ｚ）の側面図である。図２中の座標系Ａ（Ｘ，Ｙ，Ｚ）の背面図である。図１中の３Ｄカメラ１１２をダッシュボード上に設置した場合の座標系Ｂ（Ｘ’，Ｙ’，Ｚ’）の側面図である。図４中の座標系Ｂ（Ｘ’，Ｙ’，Ｚ’）の背面図である。本実施の形態の操作部１８０ａから所定範囲の操作領域Ｃにおいて、車両乗員の掌部ないし甲部Ｈの存在を検出する様子を模式的に示す図である。図６中の操作領域Ｃにおける車両乗員の掌部ないし甲部Ｈの検出に基づいて、作動装置１８０が作動するまでのフローを示す図である。本実施の形態の操作部１８０ａが存在する所定の操作領域Ｃにおいて車両乗員の掌部ないし甲部Ｈの動作を検出する様子を模式的に示す図である。図７中の操作領域Ｃにおける車両乗員の掌部ないし甲部Ｈの動作の検出に基づいて、作動装置１８０が作動するまでのフローを示す図である。

符号の説明

１００…車両用作動システム
１１０…撮影手段
１１２…３Ｄカメラ
１２０…制御手段
１３０…画像処理部
１４０…演算部（ＭＰＵ）
１４２…情報抽出処理部
１４４…判定処理部
１５０…記憶部
１６０…入出力手段
１７０…ＥＣＵ
１８０…作動装置
１８０ａ…操作部
１９０…音声入力部

Claims

車両に搭載される車両用作動システムであって、
車両乗員により操作部が操作されることによって作動する作動装置と、
前記操作部から所定範囲の操作領域における三次元画像を検出する検出部と、
車両乗員により予定された予定操作部に関する情報が音声入力される音声入力部と、
制御部を備え、
前記操作部が直に手動操作されて前記作動装置が作動する第１の作動モードと、前記制御部の制御により前記操作部が直に手動操作されることなく非接触にて前記作動装置が作動する第２の作動モードを有し、
前記制御部は、前記第２の作動モードにおいて、前記音声入力部に音声入力された情報に基づいて、車両乗員により予定された予定操作部を特定するとともに、前記検出部によって検出された三次元画像に基づいて、操作部から所定範囲の操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、前記車両乗員の掌部ないし甲部が存在すると判定した操作領域に対応する操作部と、前記特定した予定操作部とが合致することを条件として、前記作動装置を作動させる制御を行う構成であることを特徴とする車両用作動システム。
請求項１に記載の車両用作動システムであって、
前記制御部は、前記第２の作動モードにおいて、前記検出部によって検出された三次元画像に基づいて、前記操作領域に車両乗員の掌部ないし甲部が存在すると判定した場合には、更に、当該判定した操作領域に存在する掌部ないし甲部の動作を判定し、前記作動装置を作動させる際に、当該判定した掌部ないし甲部の動作に基づいて、前記作動装置の作動態様を可変制御する構成であることを特徴とする車両用作動システム。
エンジン走行系統と、
電装系統と、
前記エンジン走行系統及び電装系統の駆動制御を行う車両制御装置と、
請求項１または２に記載の車両用作動システムと、
を有することを特徴とする車両。