JP4577387B2 - 車両用操作入力装置 - Google Patents

Description

本発明は車両用操作入力装置に関する。

特開２０００−６６８７号公報 特開２００７−１９８５７４号公報 特開２０００−１０６０６９号公報

近年では、操作入力装置（特許文献１）として、プロンプター方式等の遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面（メイン画面）を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面（メイン画面）に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式の操作部として構成されることが多い。

上記のような運転者周辺に配置される操作入力装置では、遠隔操作部がユーザーの手元に設けられるので、意図しないで操作部に触れてしまい、誤った操作入力がされることが問題となる。特に、運転者が眠気に襲われているような意識レベルが低下した状態においては、ユーザー周辺の操作部に対し誤操作入力が生じ易くなる。さらにいえば、そうした操作部がタッチ操作式の操作部であれば、何かのはずみで軽く触れただけで簡単に誤操作入力がされてしまうことがある。

これに対し、従来、操作部への通常操作を予めロックしておき、所定のロック解除操作がなされた場合に当該ロックを解除して操作入力が受け付けられるようにする技術がある。一般的には、通常の操作部とは別にそれら操作部へのロック・ロック解除を行うためのスイッチを設け、ユーザーに直接的なロック解除操作を強いる構成が知られている。

また、既存のスイッチに一定時間以上手を接触させ続ける、あるいは既存のスイッチに対し特定のパターンでのスイッチ操作を行う技術がある（特許文献２）。ところが、こうした技術においては、別途スイッチを設ける必要がないという点で、近年のスイッチの多数化に伴い生ずる配置スペースの課題を解決することはできるが、ユーザーのロック解除操作はより面倒な形で定められており、解除操作が煩わしくなるという課題があった。

さらに、従来、光学式の近接センサにより操作部への手の接近を検出し、接近が検出された操作部の操作対象を起動する技術がある（特許文献３）。ところが、この構成においては、何気なく手が操作部に接近した場合であっても操作対象が起動して操作可能となってしまい、誤操作防止の効果としては弱い。

本発明の課題は、車両乗員の周辺に設けられた操作部において、誤操作を確実に防止しつつ、ユーザーが操作の意思を持った場合にはその操作入力を速やかに実行できる車両用操作入力装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するために、本発明の車両用操作入力装置は、
車両乗員が操作する操作部を有した車両用操作入力装置であって、
操作部を操作する操作者の視線を検出する視線検出手段と、
検出された視線が、操作部への操作入力禁止状態を解除するための予め定められた操作入力解除視線状態となったか否かを特定する操作入力禁止解除視線特定手段と、
操作部に設定される操作入力モードとして当該操作部への操作入力を禁止する操作入力禁止モードを設定する一方で、操作入力解除視線状態が特定された場合には、当該操作部への操作入力を許可する操作入力許可モードに切り替える操作入力モード設定手段と、
を備えるとともに、操作入力解除視線状態は、視線検出手段により検出された視線が、少なくとも予め定められた操作入力解除視線領域に向けられた状態であって、かつ当該操作入力解除視線領域に進入する際に、当該視線の移動速度が所定速度レベル以下に減じられた状態であることを特徴とする。

上記本発明の構成によれば、操作がロック（禁止）された操作部のロック解除操作を、視線、つまりユーザーの目の動きにより行うことができる。また、視線を所定の状態にするという形でユーザーが操作意思を示さない限り操作ロックは解除されないので、従来のように、操作部付近に手があるだけで操作ロックが解除されてしまうような機構とは異なり、操作部への誤操作を確実に防ぐことができる。また、視線の動きは、手操作ほどの負担を感じることなくできるので、ロック解除操作の煩わしさを大幅に低減できる。

なお、視線検出手段は、操作者の顔画像を撮影する顔画像撮影手段を備え、当該顔画像に基づいて、操作者の視線を検出するものとすることができる。運転者の顔画像の撮影は、近年、脇見運転の検出や、覚醒状態の検出等の様々な技術において実施されており、これらに兼用した形で撮影手段を設ければ、トータルでのコスト面を考えた場合に利益がある。

操作入力解除視線状態は、視線検出手段により検出された視線が、少なくとも予め定められた操作入力解除視線領域に向けられた状態とすることができる。ロック操作が解除される視線（視認先）を予め決めておくことで、ユーザーはその位置に眼をやるだけで簡単に操作ロックを解除できる。こうした操作入力解除視線領域は、運転者前方のフロントガラス、サイドミラー、表示装置の画面等、運転時に視認する領域とは異なる位置に設けられることで、誤ったロック解除がよりされにくくなる。

また、操作入力解除視線状態は、視線検出手段により検出された視線が、操作入力解除視線領域を予め定められた視認時間の間継続して向けられていた状態として定めることができる。これにより、所定の操作入力解除視線領域を確実に注視した場合にのみ操作ロックが解除されるから、誤ったロック解除がよりされにくくなる。例えば、視線が操作入力解除視線領域上を通過しただけの場合はロック解除がされなくなる。また、ロック解除駆動数も減じられるので、操作ロック機構の省電力化にも貢献する。なお、上記視認時間の上限は、１．５秒以下に定めることができ、下限は、運転状況や車両周辺状況に応じて適宜、安全に運転できるような時間を設定することができる。

なお、操作入力解除視線領域は、運転者前方のフロントガラス、サイドミラー、表示装置の画面等、運転時に視認する領域とは異なる位置に設けられているような場合、操作入力解除視線状態は、視線検出手段により検出された視線が、操作入力解除視線領域に進入する際に、当該視線の移動速度が所定速度レベル以下に減じられた状態として定めることもできる。この場合、視線移動中に、操作入力解除視線領域上でその速度が減じられただけでロック解除を行うことができるから、よりロック解除がしやすくなる。

上記した操作入力解除視線領域は、例えば、操作入力モードの設定対象として定められた操作部の配置領域として定めることができる。操作部への操作が、一般的にはユーザーがその操作位置を視認してから行われることを考えれば、その視認時に操作ロックが解除されるようになるから、従来のようなロック解除用のワンアクションが不要となり、ロック解除操作の煩雑さが少なく操作性に優れる。

また、操作入力モードの設定対象として定められる操作部は複数設けることができる。この場合、それら操作部において複数の操作部からなる操作部群が予め定め、該操作部群に対応付けられた形で操作入力解除視線領域を個別に定めることができる。そして、操作入力禁止解除視線特定手段が、操作入力解除視線状態を特定するとともに、当該操作入力解除視線状態において視線が向けられた操作部群を操作許可対象操作部群として特定し、操作入力モード設定手段が、操作入力解除視線状態が特定された場合には、特定された操作許可対象操作部群に含まれる操作部に設定される操作入力モードを一括して操作入力許可モードに切り替えて設定する一方で、残余の操作部の操作入力モードについては、操作入力禁止モードを保持するように構成できる。これにより、車室内に多数設けられた操作部を、操作部群としてまとめて、それら操作部群毎に、操作入力モードを設定可能となる。１つ１つのスイッチやボタンに応じて個別に操作入力モードを定めるよりも処理負担を減じることができる。

具体的に言えば、操作入力解除視線領域が対応付けられる操作部群は、複数設けられた操作部のうち、操作対象となる機器ないし機器機能が同一となる複数の操作部からなる操作部群として定めることができる。機器ないし機器機能が関連する操作部は、連続して操作される可能性もあり、これらの操作入力モードを一括して切り替え可能とすることで、処理負担を大きく減じることができる。また、操作入力解除視線領域が対応付けられる操作部群は、複数設けられた操作部のうち予め定められた配置領域内に存在する複数の操作部からなる操作部群として定めることができる。互いに近接した位置にある操作部は、一方を操作したついでに他方の操作を行う可能性もあるので、これらの操作入力モードを一括して切り替え可能とすることで、処理負担を大きく減じることができる。

また、本発明において、操作入力モード設定手段により操作入力許可モードが設定された後、予め定められた操作入力許可時間が経過するに伴い設定された操作入力許可モードを操作入力禁止モードに切り替える操作入力禁止モード復帰手段を設けることができる。この構成によれば、一度操作入力許可モードとされた操作入力モードを確実に操作入力禁止モードに戻すことができる。

ところで、本発明において、誤操作防止の対象となる操作部は、接触操作により操作入力がなされるタッチ操作面を有した接触操作部とすることができる。接触するだけで入力がなされる接触操作部では意図無く接触してしまうような誤操作が生じ易いので、誤操作を防止可能な本発明に好適である。

また、誤操作防止の対象となる操作部は、車両乗員が背もたれにもたれた形で車両の座席に着座した状態にて操作可能な位置に固定配置された乗員近傍操作部とすることができる。乗員が触れやすい位置にある操作部であるほど誤操作を防止可能な本発明に好適である。

また、誤操作防止の対象となる操作部は、別途設けられた主操作部よりも予め定められた座席に近い位置に固定配置され、当該主操作部への操作入力を遠隔的に行うことが可能な遠隔操作部とすることができる。主操作部よりも操作されやすいより近い位置に設けられた遠隔操作部も、誤操作を防止可能な本発明に好適である。

また、上記構成の場合、少なくとも車両の運転席に着座した車両乗員から画面視認可能となるよう当該車両乗員よりも車両前方側に配置された表示装置を備え、上記主操作部が、当該表示装置に設けられた表示面接触型の操作部であり、上記遠隔操作部が、運転席の座部と助手席の座部との間に設けられてなる車両用操作入力装置に適用することができる。

さらに、この車両用操作入力装置は、遠隔操作部を操作する操作者の手画像を撮影する手画像撮影手段と、撮影された手画像から表示画面上における対応する指示位置を特定して、特定された指示位置に位置指示画像を合成あるいは重畳して表示する手画像表示手段と、を備える形で構成できる。これにより、遠隔操作部の操作性が増す。

なお、誤操作防止の対象となる操作部は、車載電子機器の操作部とすることができ、例えば、エアコン操作部、オーディオ操作部、ナビゲーション操作部、パワーウィンドウ操作部、及びシート位置調整操作部のうち、１以上のものとすることができる。

以下、本発明の操作入力装置の一実施形態を、図面を参照して説明する。

図１は、本発明の操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、操作入力装置１として、表示画面上にタッチ操作用のスイッチ画像（操作アイコン）等の操作入力用画像を表示可能な表示装置１５と、それら表示画面へのタッチ操作を遠隔的に行うための操作パネル１２とが別位置に設けられてなるプロンプター方式操作入力装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、制御回路１８が車内ＬＡＮ５０を介して接続するＥＣＵ１０１，２０１，３０１，４０１等の制御部が制御する他の車載電子機器や機器機能（ここでは、エアコン１００、パワーウィンドウシステム２００、オーディオ装置３００、シート調整装置４００等）も含むことができる。

ナビゲーション装置１０は、車両の現在位置を検出するためにＧＰＳ（Global Positioning System）等を備えて構成される位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示装置１５と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置１７と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、これらと接続する制御回路１８とを備えている。また、制御回路１８は、操作者の顔画像を撮影する撮影手段であるカメラ２０とも接続している。

操作情報入力部１２は、図８に示すように、予め定められた波長帯の光を照射する光源１２ｃと、該光源１２ｃからの照射光が裏面１２ａ２側から表面１２ａ１側に向けて透過するよう配置された透光性を有する操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ（接近対象物撮影手段）１２ｂと、を備えている。

なお、本実施形態の操作情報入力部１２は、図７に示すように、車両のセンターコンソール部Ｃのような、車両のフロントガラスＦＧ下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示装置１５よりも下側で、かつ隣接する左右両座席の両座部の間の前側で、左右両座席に座して背もたれにもたれた状態でも操作可能となる位置に配置されている。なお、本実施形態における隣接する左右両座席とは、図７の運転席２Ｄ及び助手席２Ｐのことである。

操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有したパネルからなる。本実施形態においては縦方向透明電極と横方向透明電極とを備えた周知の抵抗膜方式のタッチパネルとして構成されており、その出力が制御回路１８に入力される。本実施形態においては、この操作パネル１２ａが、操作ロックの対象とされる操作ロック対象操作部として予め定められている。

図１に戻り、表示装置１５は、図７に示すように、運転席２Ｄ及び助手席２Ｐに着座した双方の車両乗員から画面視認可能となるようそれら車両乗員よりも車両前方側に配置されたカラー表示装置である。図７に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）や、ステアリングホイール６の奥に位置するメーター表示装置等を例示できる。

制御回路１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、周知のナビゲーション機能に係る各種制御を実施する。また、ＬＡＮ Ｉ／Ｆ１９及び車載ＬＡＮ５０を介して、例えば他のＥＣＵ１０１，２０１，３０１，４０１等、外部からのデータ取り込みを行うことができる。

ところで、制御回路１８には、カメラ２０が接続されている。カメラ２０は、所定の座席に座した乗員の顔を撮影するものであり、顔画像撮影手段として機能するものである。本実施形態においては、図５に示すように、操作部１２ａを操作する操作者Ａの目位置よりも下方で、操作部１２ａよりも上方となる位置に固定配置されている。さらに、その固定位置は、車両左右方向において当該操作者Ａよりも操作部１２ａ側（ここでは操作者Ａが運転者であるから左側）で、かつ車両前後方向において当該操作者Ａの車両前方側とされている。これにより、操作者Ａが下方に位置する操作部１２ａを視認した際の視線をより検出しやすいようになっている。なお、ここでは表示装置１５に隣接する形で取り付けられている。また、カメラ２０は、撮影範囲に座席に座した乗員の顔全体が含まれるように配置方向が定められている。なお、車室内に目に光を照射する光源（例えば赤外線光源：撮影対象者に対して不可視であり、自然光のノイズから逃れることができる）を設け、その反射光をカメラ２０でとらえて撮影する（眼球表面における反射光を撮影する）ようにすることで、光量の少ない夜間等においても撮影が可能となる。

カメラ２０により撮影された撮影画像１７０は、画像解析部１８ｂに入力されて、視線（視線ベクトル）Ｖの検出がなされる。ここでは、周知の角膜反射法を利用して視線検出がなされるものとするが、他の方法であってもよい。具体的には、図６に示すように、画像解析部１８ｂにて、まずは、顔画像１７０Ｆの抽出がなされ、顔画像１７０Ｆに含まれる基準部位画像（例えば目１７０Ａ、鼻１７０Ｂ、耳１７０Ｃ、口１７０Ｄ等）の配置位置関係から、車両内に定められた三次元空間座標系（Ｘ方向：車両前後方向、Ｙ方向：車両左右方向、Ｚ方向：車両上下方向。以下、車室内座標系という）における顔の正面方向、つまり顔の向きを特定する。続いて、顔画像１７０Ｆから目画像１７０Ｅを抽出して、さらに、その目画像１７０Ａから目の角膜表面における点光源の反射像１７０Ｒ（点光源反射像中心１７０Ｒ１）および瞳孔１７０Ｅ（瞳孔中心１７０Ｅ１）を特定し、それらと上記の顔の向きとに基づいて、車室内座標系における瞳孔位置（瞳孔中心位置）及び視線ベクトルＶを算出する。

さらに、制御回路１８では、車室内座標系における所定の操作部の配置領域が座標情報として予め記憶されており、瞳孔位置から視線方向に向かう視線上に、操作ロック対象操作部をなす操作部１２ａが存在するか否かを判定する。本実施形態においては、当該視線上に、操作ロック対象操作部をなす操作部１２ａが存在する場合に、当該操作部１２ａに設定された操作入力禁止モード（操作ロック）が一時的に解除され、操作入力が可能な状態（操作入力許可モード）に切り替えられる。

上記構成を有する本実施形態の車両用操作入力装置１は、制御回路１８において、操作ロック対象操作部をなす操作部１２ａを操作する操作者の視線を検出するとともに、検出された視線が、操作部への操作入力禁止状態を解除するための予め定められた操作入力解除視線状態となったか否かを特定する。当該操作部１２ａに設定される操作入力モードは、通常は当該操作部１２ａへの操作入力を禁止する操作入力禁止モードが設定されているが、操作入力解除視線状態が特定された場合には、当該操作部１２ａへの操作入力を許可する操作入力許可モードに設定が切り替えられる。この構成により、操作がロック（禁止）された操作部１２ａのロック解除操作が、視線、つまりユーザーの目の動きにより行われるから、従来のロック解除操作の煩わしさを大幅に低減できる。また、操作部１２ａへの誤操作を確実に防ぐことも可能となる。従来のように、操作部付近に手があるだけで操作ロックが解除されてしまうような機構においては、例えば図７において、操作者の手Ｈがもともとステアリング６にあったとして、これを缶ホルダ３０に向けて移動した場合に、操作部１２ａを通過しただけでそのロックが解除される恐れがあった。缶ホルダ３０からステアリング６に手Ｈを戻す場合も同様である。本構成によれば、このような誤ったロック解除がなされることはない。

なお、本実施形態において、操作入力解除視線状態は、視線検出手段により検出された視線が、少なくとも予め定められた操作入力解除視線領域に向けられた状態とする。具体的には、視線検出手段により検出された視線が、操作入力解除視線領域を予め定められた視認時間ｔ０（１．５秒以下に定められる）の間継続して向けられていた状態として定める。そして、本実施形態における操作入力解除視線領域は、操作入力モードの設定対象として定められた操作部の配置領域として定める。

また、本実施形態において、カメラ２０は、表示装置１５の両サイドにそれぞれ設けられ、それぞれが運転者ないし助手席搭乗者を撮影対象としている。ここではカメラ２１（２０）が運転者を、カメラ２２（２０）が助手席搭乗者を撮影している。そして、上記のような操作入力モードの設定対象の対象となる操作部は、少なくとも所定の座席の搭乗者が操作可能な位置に固定配置された操作部とすることができ、さらにいえば、車両乗員が着座した状態で操作可能な位置に固定配置された乗員近傍操作部とすることができる。本実施形態においては、運転者及び助手席の双方から操作可能に固定配置された遠隔操作部をなす操作パネル１２ａが操作入力モードの設定対象として定めている。

なお、本実施形態において、操作入力モードの設定対象である操作パネル１２ａは、表示装置１５に別途設けられた操作パネル１５ａを主操作部としており、当該主操作部１２ａへの操作入力を遠隔的に行うことが可能な遠隔操作部である。さらにいえば、操作入力モードの設定対象である操作パネル１２ａは、操作対象として、空調装置１００、パワーウィンドウシステム２００、オーディオ装置３００、シート調整機能を備えるシート調整システム４００等といった他の車載電子機器の操作入力も可能であるから、これらの操作部１４０、２４０、３４０、４４０を主操作部とし、当該主操作部１４０、２４０、３４０、４４０への操作入力を遠隔的に行うことが可能な遠隔操作部であるともいえる。これらの主操作部１５ａ、１４０、２４０、３４０、４４０は、遠隔操作部をなす操作パネル１５ａよりも操作者（ここでは運転者）から遠い位置に固定的に配置されており、操作入力モードの設定対象である遠隔操作部１２ａよりも操作がしにくい位置にある。

ここで、制御回路１８により実行される、遠隔操作部をなす操作パネル１２ａへの操作入力制限処理について、図２を用いて説明する。当該処理は、制御回路１８の所定記憶部に記憶されたプログラムをＣＰＵが実行する形でなされる。なお、当該操作入力制限処理の開始に際して、操作入力モードの設定対象である操作パネル１２ａには、操作入力モードとして操作入力禁止モードが設定される。

Ｓ１では、制御回路１８が、カメラ２０により撮影された撮影画像に基づいて、所定の車室内座標系における瞳孔位置及び視線ベクトルを算出する。

Ｓ２では、制御回路１８が、Ｓ１で検出された視線状態が予め定められた操作入力解除視線状態であるか否かを判定する。本実施形態における操作入力解除視線状態は、検出された視線が、操作入力解除視線領域である操作パネル１２ａを、所定視認時間ｔ０（ここでは１秒）の間継続して向けられていた状態として定められている。当該操作入力解除視線状態が検出された場合にはＳ３に進み、検出されなければＳ５に進む。

Ｓ３では、操作入力モードの設定対象である操作パネル１２ａに設定されている操作入力禁止モードを解除して、操作入力許可モードを設定する。当該操作入力許可モードは、予め定められた操作入力許可時間ｔ１（ここでは１分）の間だけ設定され、Ｓ４にて当該時間ｔ１の経過に伴いＳ５に進んで操作入力禁止モードに復帰する。なお、操作入力モードは、制御回路１８の所定の記憶領域（操作入力モード記憶部）に現在の状態が記憶される。Ｓ３の実行後には、当該記憶領域に操作入力許可モードが記憶され、Ｓ５の実行後には、当該記憶領域に操作入力禁止モードが記憶される。

Ｓ５の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきに検出される操作入力解除視線状態に応じて、上記操作入力モードを切り替える。

なお、制御回路１８は、この操作入力制限処理を実行することにより、視線検出手段、操作入力禁止解除視線特定手段、操作入力モード設定手段として機能する。

次に、操作入力モードの設定対象である操作パネル１２ａへの操作入力処理について、図３を用いて説明する。

Ｓ１１では、制御回路１８が、操作パネル１２ａへの操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるので、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＳ１２に進み、タッチ操作が無かった場合は本処理を終了する。

Ｓ１２では、制御回路１８が、現在の操作入力モードが操作入力許可モードであるか否かを判定する。現在の操作入力モードは、制御回路１８の所定記憶領域（操作入力モード記憶部）に記憶されているので、これを読み出すことにより判定処理を行う。操作入力許可モードであればＳ１３に進む。

Ｓ１３では、制御回路１８が、タッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されており、タッチ操作に伴い制御回路１８に入力される操作信号には、タッチ操作位置情報として、操作面１２ａ１に定められた操作座標系上の座標情報が反映されている。制御回路１８は、この操作信号に基づいて、タッチ操作がなされた座標位置を特定する。

Ｓ１４では、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｓ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置を特定し、特定された画面位置に対応する制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する形でなされる。例えばＳ１３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像１６０Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。

なお、Ｓ１２にて、操作入力禁止モードであると判定されれば、Ｓ１３及びＳ１４のような、操作に対応する制御内容が実行されることなく、本処理を終了する。つまり、行われた操作は誤操作として解され、その操作入力が無効化される。

Ｓ１４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。

なお、制御回路１８は、この操作入力処理を実行することにより、操作入力モードの設定対象である操作部への操作が検出された際に、操作入力モードとして操作入力許可モードが設定されている場合には当該操作に対応する制御内容を実行し、操作禁止モードが設定されている場合には当該操作を無効化して、当該操作に対応する制御内容を実行しない操作入力受付手段として機能する。

次に、表示装置１５の表示される位置指示画像の表示処理について、図４を用いて説明する。当該処理は、制御回路１８の所定記憶部に記憶されたプログラムをＣＰＵが実行する形でなされる。

Ｓ２１では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介してタッチ操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており、その撮影画像は常に制御回路１８の画像処理部１８ａに入力されている。タッチ操作面１２ａ１と対面する位置に接近対象物Ｈが進入してくると、当然その接近対象物Ｈを含む撮影画像１５０が画像処理部１８ａに入力される。入力された撮影画像は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状から、当該画像１５０Ｈが人の手の画像であるか否かを判定する。判定結果は制御回路１８に出力され、手の画像が認識されたと判定された場合にはＳ２２に進み、判定されなければ本処理を終了する。

Ｓ２２では、制御回路１８が、タッチ操作面１２ａ１上における指示位置を特定する。具体的にいえば、Ｓ２１にて、手の画像を抽出した画像処理部１８ａが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して指を特定し、さらに特定された指から指先位置を特定する。本実施形態においては、カメラ１２ｂによって撮影された撮影画像上に、タッチ操作面１２ａ１が位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面１２ａの操作座標系を設定し、その上で、上記の指先位置を、設定された該操作座標系上で特定する。なお、本実施形態においては、図９及び図１０の（ｂ）に示す撮影画像（２値化画像）１５０が、タッチ操作面１２ａ１の全体を撮影した操作パネル画像領域となっている。

さらにＳ２３では、図９及び図１０の（ｃ）に示すように、表示装置１５の表示画面の、上記操作パネル画像領域上にて特定された指先位置に、位置指示画像１６０Ｈを表示する（位置指示画像表示手段）。本実施形態においては、Ｓ１５にて、操作座標系上で特定された指先位置に対応する、表示装置１５の表示画面上の位置を特定する。表示画面上には、上記操作座標系との対応関係を有した表示座標系が定められているので、操作座標系上における指先座標位置に対応する表示座標系の位置座標を特定し、当該位置座標を位置指示するように表示画面に位置指示画像１６０Ｈを表示する。本実施形態の位置指示画像は、手画像１５０Ｈの輪郭（外形形状）が明確に表示され、かつ輪郭内部が半透過状態とされた加工画像１６０Ｈであり、表示装置１５の画面上に特定された座標位置に、メイン画像１６０Ｂに重畳する形で表示される。

Ｓ２３の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する手・指が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像（加工画像）１６０Ｈの表示位置も移動する。

なお、制御回路１８は、この位置指示画像の表示処理を実行することにより、位置指示画像表示手段として機能する。

以下、本実施形態における操作情報入力部１２及び表示装置１５について詳説する。

本実施形態の操作パネル１２ａは、図８に示すように、中空の筐体１２ｆの前端開口に嵌め込まれており、表面１２ａ１がタッチ操作面（遠隔タッチ操作面）とされている。前端開口を形成する筐体前端部１２１ｅの外縁からは、後方に向けて筒状の壁部１２２ｅが設けられており、その後端部が回路基板１２ｆに固定されている。この筐体１２ｆは、車室内の所定位置の固定配置されており、内部には、カメラ１２ｂ及び光源１２ｃが配置されている。

光源１２ｃは、図８に示すように、操作パネル１２ａを裏面１２ａ２から表面１２ａ１に透過させる形で光を照射する。光源１２ｃからの光（照射光）は、タッチ操作面１２ａ１を被うように位置する接近対象物（例えば手等）が存在しない限り、該タッチ操作面１２ａ１から外に通過していくが、該タッチ操作面１２ａ１に対向する形で接近した接近対象物Ｈが存在する場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部は裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。

カメラ１２ｂは、光源１２ｃから照射された光が接近対象物Ｈにて反射した反射光を捉える形で、当該接近対象物Ｈを操作パネル１２ａの裏面１２ａ２側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。具体的にいえば、カメラ１２ｂは、反射部材１２ｒの反射面を撮影しており、当該反射面に映し出される画像（反射画像）に上記撮影範囲が含まれるように各々が配置されている。反射部材１２ｒが無い場合は、当該撮影範囲をカメラ１２ｂにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。

なお、本実施形態の光源１２ｃは赤外光光源である。具体的にいえば、操作パネル１２ａの裏面側後方に位置するＬＥＤである。一方で、本実施形態のカメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）であり、赤外光光源１２ｃから照射された光（赤外線）が接近対象物Ｈにて反射した反射光をカメラ１２ｂが捉える形で撮影がなされる。ここでのカメラ１２ｂは、車体側に固定された基板上に固定配置されており、撮影範囲として、タッチ操作面１２ａ１が含まれる範囲が設定されている。また、本実施形態の操作パネル１２ａは、光源１２ｃの光に対してのみ透光性を有した材料にて構成されている。このため、本実施形態においては、カメラ１２ｂ内の赤外線フィルタを不要とすることができ、かつ、筐体１２ｆの内部が外部から視認できないようになっている。

本実施形態におけるカメラ１２ｂは、操作パネル１２ａに対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段として機能しているともいえる。

図９及び図１０は、操作パネル１２ａに対向する手Ｈの撮影を説明する図である。各図の（ａ）は、操作パネル１２ａと、その表面１２ａ１に対向する手の状態（指の状態）を示しており、各図の（ｂ）は、（ａ）の状態の手（指）をカメラ１２ｂにて撮影した映像１５０であり、操作パネル１２ａ全体を撮影領域として撮影された画像である。ただし、本実施形態における（ｂ）の映像１５０は、撮影後にその映像を２値化したものである。（ｂ）において、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０Ｂは何も映らなかった領域である。符号１５０Ｂの領域は本来、操作パネル１２ａが映る領域であるが、該操作パネル１２ａが光源１２ｃの光に対し透光性を有するので映らない。また、それであっても、その操作パネル１２ａ越しに背景（本実施形態でいえば車両の天井面等）が映っていてもおかしくないが、赤外反射光を十分に捉えることができずに映像として映らなかったか、多少の赤外反射光が捉えられたものの２値化処理により背景と同一化されたかのいずれかである。ちなみに、各図の（ｃ）は、（ｂ）の映像１５０が撮影されているときの、表示装置１５における画面表示の一例である。

一方、本実施形態の表示装置１５は、車両が備える機器の操作などを行うための表示面を有するものであって、本実施形態での当該表示面は、接触操作を行うための接触操作型の操作部として機能するものである。具体的には、接触操作型の操作部として機能するように、表示画面上にタッチパネル１５ａを備えて構成されている。既に述べた操作情報入力部１２のタッチパネル１２ａは、当該タッチパネル１５ａの操作を、それよりも運転者や助手席搭乗者に近い位置から遠隔的に操作できるよう設けられた遠隔操作部である。当該タッチ操作面（以下、遠隔操作面ともいう）１２ａ１になされたタッチ操作に基づいて、そのタッチ操作位置に対応した、表示装置１５の画面位置（タッチパネル１５ａのタッチ操作面位置）への入力が受け付けられる。具体的にいえば、表示装置１５の表示画面上に定められる二次元座標系（タッチパネル１５ａのタッチ操作面上に定められる二次元座標系）と、該操作パネル１２ａのタッチ操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面１２ａ１にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置１５の表示画面上の位置座標への操作入力が受け付けられる。

つまり、遠隔操作面をなすタッチ操作面１２ａ１にタッチ操作があった場合には、制御回路１８が、そのタッチ操作がなされたタッチ操作面１２ａ１上の位置座標を特定し、さらに、特定したタッチ操作面１２ａ１上の位置座標に対応する、表示装置１５の表示画面上の位置座標を特定して、その上で、特定された当該位置座標に対応する制御内容を実行する制御信号を出力する。例えば、表示装置１５の表示画面にスイッチ画像（操作アイコン等）１６０Ｉが表示された場合には、タッチ操作面１２ａ１上において、当該スイッチ画像１６０Ｉに対応する位置にタッチ操作をすれば、制御回路１８が、当該スイッチ画像１６０Ｉへのタッチ操作があったとして入力が受け付け（入力受付手段）、これに伴い当該スイッチ画像１６０Ｉに対応する制御内容を実行する。表示装置１５の表示画面にて表示送り可能な地図画面（地図操作用画像）が表示された場合には、タッチ操作面１２ａ１上において、該地図上の位置にタッチ操作をすれば、制御回路１８では、当該タッチ操作位置への入力が受け付けられ、これに伴い該タッチ操作位置を新たな画面中心として地図を表示する表示送り制御が実行される。

なお、制御回路１８のＲＯＭ等の記憶部には、スイッチ画像１６０Ｉを表示するためのスイッチ画像データが記憶されており、スイッチ画像１６０Ｉの重ね表示ないし合成表示に用いられている。一方で、制御回路１８のＲＯＭ等の記憶部には、各スイッチ画像１６０Ｉに対応付けた形で、各々への操作入力（対応するタッチ操作面１２ａ１上の領域へのタッチ入力）により実施される制御内容も記憶されている。制御回路１８により、表示画面に表示されたメイン画像１６０Ｂ上にスイッチ画像１６０Ｉが重なった画像１６０が表示されると、タッチパネル１２ａ，１５ａの双方のタッチ操作面には、スイッチ画像１６０Ｉの表示位置に対応する領域に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。また、表示画面に、メイン画像１６０Ｂとして表示送り可能な地図画面（地図操作用画像）が表示されると、表示されている地図領域全体に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。

以下、本実施形態における位置指示画像１６０Ｈの表示について詳説する。

本実施形態の制御回路１８は、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）１６０Ｉ、操作情報入力部１２から取得した接近対象物画像１５０Ｈに基づく加工画像１６０Ｈ等をサブ画像とし、これらをメイン画像１６０Ｂ（地図操作用画像等）に合成して表示する、あるいは重ね表示するための画像処理部１８ａを有している。本実施形態においては、接近対象物画像１５０Ｈが手の画像である場合、撮影された手の画像１５０Ｈに基づいて、当該手画像Ｈに基づいて生成された加工画像１６０を位置指示画像として、その手（指先）により位置指示された表示画面上の位置に重ね表示する。

なお、接近対象物画像１５０Ｈに基づく加工画像１６０Ｈとは、本実施形態においては、当該接近対象物画像１５０Ｈの外形形状が反映されるよう加工・生成された接近対象物外形反映画像１６０Ｈである。そして、この画像１６０Ｈがメイン画像１６０Ｂに重畳表示される。重畳表示ではなく、画像１６０Ｈをメイン画像１６０Ｂに合成して表示してもよい。これにより、運転者等の操作者が、例えば手の指等を、操作パネル１２ａのタッチ操作面１２ａ１に対面させる形で移動させると、これに併せて、表示装置１５の表示画面上には手形状（指形状）を反映した加工画像１６０Ｈが移動して表示され、あたかも表示装置１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。

また、位置指示画像１６０Ｈは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えばポインタ画像等のシンボル画像であってもよい。また、位置指示画像１６０Ｈとして、カメラ１２ｂにより撮影された手の画像（ないし指の画像）１５０Ｈを加工せずにそのまま表示（重畳表示や合成表示）しても問題はないが、これと重なる位置に表示されるはずのメイン画像１６０Ｂの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工（例えば半透過合成）を施しておいた方がより望ましい。

なお、本実施形態においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施形態ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図９及び図１０の（ｂ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手・指の画像を特定するために、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手の画像として認識する。

最後に、本実施形態における車載電子機器１００〜４００について簡単に説明しておく。

エアコン（空調装置）１００は、エアコンＥＣＵ１０１に、図示しないセンサ部、駆動部１３０、操作部１４０が接続して構成されている。センサ部は、内気温センサ、外気温センサ、エバポレータ後センサ、及び日射センサ等の周知の空調制御用センサからなる。駆動部１３０は、エアミックスダンパーや内外気切替ダンパー、吹出口切替用ダンパー等の各種ダンパーの開閉状態を切り替えるモータ及びその駆動回路等を含んで構成された駆動機構である。操作部１４０は、空調装置１００の主操作部であり、センターコンソール部Ｃの正面中央の操作パネルに設けられ、運転席２Ｄと助手席２Ｐに着座するユーザーにより操作可能となっている。具体的には、ＡＵＴＯスイッチ，ＯＦＦスイッチ，吹出口切替スイッチ（ＭＯＤＥスイッチ），内外気切替スイッチ，風量切替スイッチ，温度設定スイッチ，デフロスタスイッチ，Ａ／Ｃスイッチ，独立／一括制御切替スイッチ（ＤＵＡＬスイッチ）等の周知の空調制御用操作部により構成されている。

パワーウィンドウシステム２００は、パワーウィンドウＥＣＵ２０１に、駆動部２３０、及び操作部２４０が接続して構成されている。駆動部２３０は、対応する座席の窓ガラスを開閉駆動するためのモータ及びその駆動回路である。操作部２４０は、座席２毎に設けられており、対応する座席の窓ガラスを開閉駆動するための開閉操作部である。具体的には、各座席２に着座するユーザーが背もたれ２ｂにもたれる形で着座した状態で操作可能となる位置に設けられており、ここでは、各座席２に対応するドアに設けられている。

オーディオ装置３００は、オーディオＥＣＵ３０１、駆動部３３０、及び操作部３４０を備えて構成されている。オーディオＥＣＵ３０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える周知の構成を有するとともに、所定のメディア（記憶媒体）から音楽ソースデータを取得する音楽データ入力器と、音楽ソースデータを記憶する外部記憶装置である音楽データベースと接続している。操作部３４０は、本実施形態においては、車両のセンターコンソール部Ｃに設けられ、運転席２Ｄと助手席２Ｐに着座するユーザーにより操作可能となっており、ボリューム調整操作部、メディア選択操作部、選曲操作部等の周知のオーディオ用操作部として構成されている。オーディオＥＣＵ３０１は、これらの操作部により出力対象曲が指定されると、指定された曲の音楽ソースデータを、メディアや音楽データベースから読み出して、駆動部３３０に出力する。その音楽ソースデータは、駆動部３３０において、まず、デジタル音楽波形データにデコードされ、アナログ変換された後、プリアンプ及びパワーアンプを経て、指定されたボリュームにてスピーカから出力される。

シート調整装置４００は、シート調整ＥＣＵ４０１に、駆動部４３０及び操作部４４０を接続して構成されている。駆動部４３０は、シート２を前後方向、シート２の前端の上下方向、シート２の後端の上下方向、背もたれの傾斜を電動駆動するためのモータ及び駆動回路である。操作部４４０は、ユーザー操作により上記したシートポジション調整を行うためのシート調整操作部であり、各座席２に着座するユーザーが背もたれ２ｂにもたれる形で操作可能な位置に設けられており、本実施形態においては、各座席２の側面に設けられている。

以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施形態とは異なる実施形態について説明する。なお、共通する構成については、同符号を用いることで説明を略する。

上記実施形態においては、操作入力解除視線状態として、操作入力解除視線領域を所定時間ｔ０の間継続して視線を向けた状態と定めているが、他の状態であってもよい。例えば、視線を所定のパターンで動かし、当該移動パターンが検出された場合に、操作入力禁止モードの解除（ロック解除）がなされるようにすることができる。

また、操作入力解除視線状態として、視線が操作入力解除視線領域に進入する際に、当該視線の移動速度が所定速度レベル以下に減じられた状態として定めることもできる。これにより、操作入力禁止モードの解除（ロック解除）がより容易に行える。操作入力解除視線状態において視認が必須となる領域（操作入力解除視線領域）が、例えば、運転者前方のフロントガラス、バックミラー、サイドミラー、表示装置の画面等の、運転時において視認頻度の高い領域とは異なる領域で、特に通常視線が通過しないような領域に設けられているような場合、視線がそうした領域に向けられる可能性は低く、操作入力禁止モードが誤って解除されにくいから、上記のように操作入力禁止モードの解除がより容易に行えるようにしてもよい。

上記実施形態においては、操作入力モードの設定対象として定められる操作部が操作パネル１２ａの１つだけであったが、複数設けることもできる。例えば、上記実施形態においては主操作部として定められていたエアコン操作部１４０やパワーウィンドウ操作部２４０、オーディオ操作部３４０、シート調整操作部４４０をなす各種プッシュスイッチやシーソースイッチ、ダイアルスイッチ等を、操作入力モードの設定対象として定めることができる。

また、それら多数の操作部の中から、複数の操作部からなる操作部群を予め定め、さらに、上記操作入力解除視線領域を、当該操作部群に対応付けた形で個別に定めて、当該操作部群毎に操作入力モードを設定するように構成することができる。操作入力解除視線領域が対応付けられる操作部群としては、操作対象となる機器ないし機器機能が同一である複数の操作部を操作部群として予め定めることができる。また、操作入力解除視線領域が対応付けられる操作部群として、複数設けられた操作部のうち予め定められた配置領域内に存在する複数の操作部を操作部群として定めることもできる。

これらの構成の場合、図２のＳ３の処理において、Ｓ１で特定された視線の先にある操作入力解除視線領域がどの操作部群に対応する領域であるかを特定し、特定した操作部群に含まれる操作部の操作入力モードのみを一括して操作入力許可モードに切り替えて設定し、残余の操作部の操作入力モードについては、操作入力禁止モードを保持するように処理内容を変更する。

ところで、上記した実施形態においては、操作入力モードの設定対象として定められる操作部が接触操作により操作入力がなされるタッチ操作面を有した接触操作部として定められているが、本発明においては必ずしもこれに限られるものではない。他のプッシュスイッチ、ダイアルスイッチ等であっても当然よい。ただし、タッチ操作面を有した接触操作部の方が操作が容易であり、誤操作がされやすいという観点からすると、当該接触操作部の方が得られる効果が大きい。

また、上記実施形態においては、主操作部に対する遠隔操作部を、操作入力モードの設定対象として定められる操作部としているが、本発明においては、主操作部を有さない通常の操作部を、操作入力モードの設定対象として定めてもよい。特に、御操作防止という観点からすれば、座席に座した乗員に近い位置に固定配置された操作部、中でも、車両の座席に着座した車両乗員が背もたれにもたれた状態にて操作可能な位置に固定配置された乗員近傍操作部が、操作入力モードの設定対象として定められるとよい。

また、上記実施形態においては、操作入力モードの設定対象として定められる操作部での操作状態が表示装置に画面表示される構成であるが、本発明においては、操作入力モードの設定対象として定められる操作部として、表示装置と無関係に設けられた操作部を定めてもよい。

また、上記実施形態において、操作入力モードの設定対象として定められる操作部は、抵抗膜式のタッチパネル１２ａとされているが、他の方式のタッチパネルを用いてもよい。

また、操作パネル１２ａとして、タッチ操作の位置検出を、カメラ等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル１２ａを、表面１２ａ１がタッチ操作面をなす透光性を有したパネルとし、この操作パネル１２ａにタッチ操作面１２ａ１側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル１２ａを介して照射する光源１２ｃを設ける。そして、手画像撮影手段をなすカメラ１２ｂを、少なくともその光源１２ｃから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル１２ａ１の裏面１２ａ２側から撮影する撮影手段とする。さらに、制御回路１８を、このカメラ１２ｂにより撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段として機能させるとともに、特定されたこの光反射領域に基づいて、当該光反射領域へのタッチ入力を受け付ける入力受付手段としても機能させるように構成する。

この構成によると、カメラ１２ｂの撮影画像に予め定められた閾強度を上回る光反射領域が特定された場合に、その特定された領域にタッチ操作入力があったと判定して、入力が受け付けられる。つまり、カメラ１２ｂの撮影画像は、上記した実施形態と同様に位置指示画像の表示に利用されるだけでなく、光反射領域の特定にも利用されるように構成されている。また、この場合、特定された前記光反射領域の面積が予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるようにすることもできる。

また、上記全ての実施形態において、操作入力モードの設定対象として定められる操作部は、運転席及び助手席から操作可能な操作部とされているが、他の座席から操作可能な操作部に設定することもできるし、運転席及び助手席の一方からのみ操作可能な操作部であってもよい。

本発明のタッチ式操作入力装置の一例である車両用プロンプター方式操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図。 操作入力制限処理の流れを示すフローチャート。 操作入力処理の流れを示すフローチャート。 位置指示画像の表示処理の流れを示すフローチャート。 操作者の撮影を説明する図。 視線検出方法の一例を説明する図。 車両用プロンプター方式操作入力装置が設けられた車室内斜視図。 操作情報入力部の構成の一例を示す断面図。 操作パネルに対向する手の撮影を説明する第一の図。 操作パネルに対向する手の撮影を説明する第二の図。

符号の説明

１０ 車両用ナビゲーション装置
１２ 操作情報入力部
１２ａ 操作パネル（遠隔操作部）
１２ｂ カメラ（手画像撮影手段）
１２ｃ 光源
１５ 表示装置（表示手段）
１５ａ タッチパネル（主操作部）
１８ 制御回路
１８ａ 画像処理部
１８ｂ 画像解析部
２０ カメラ（顔画像撮影手段）
５０ 車両内ＬＡＮ
１００ 車載空調装置
２００ パワーウィンドウシステム
３００ オーディオ装置
４００ シート調整装置
１５０ カメラ１２ｂによる撮影画像
１６０Ｂ メイン画像
１６０Ｉ スイッチ画像（操作アイコン）
１６０Ｈ 接近対象物画像（手画像や指画像：位置指示画像）
Ｈ 接近対象物（手・指）
１７０ カメラ２０による撮影画像
１７０Ｆ 顔画像
１７０Ａ 目画像
１７０Ｅ 瞳孔画像

Claims (13)

1. 車両乗員が操作する操作部を有した車両用操作入力装置であって、
   前記操作部を操作する操作者の視線を検出する視線検出手段と、
   検出された前記視線が、前記操作部への操作入力禁止状態を解除するための予め定められた操作入力解除視線状態となったか否かを特定する操作入力禁止解除視線特定手段と、
   前記操作部に設定される操作入力モードとして当該操作部への操作入力を禁止する操作入力禁止モードを設定する一方で、前記操作入力解除視線状態が特定された場合には、当該操作部への操作入力を許可する操作入力許可モードに切り替える操作入力モード設定手段と、
   を備えるとともに、前記操作入力解除視線状態は、前記視線検出手段により検出された視線が、少なくとも予め定められた操作入力解除視線領域に向けられた状態であって、かつ当該操作入力解除視線領域に進入する際に、当該視線の移動速度が所定速度レベル以下に減じられた状態であることを特徴とする車両用操作入力装置。
2. 前記視線検出手段は、前記操作者の顔画像を撮影する顔画像撮影手段を備え、当該顔画像に基づいて、前記操作者の視線を検出するものである請求項１に記載の車両用操作入力装置。
3. 前記操作入力解除視線状態は、前記視線検出手段により検出された視線が、前記操作入力解除視線領域を予め定められた視認時間の間継続して向けられていた状態として定められている請求項１又は請求項２に記載の車両用操作入力装置。
4. 前記操作入力解除視線領域は、前記操作入力モードの設定対象として定められた前記操作部の配置領域として定められている請求項１ないし請求項３のいずれか１項に記載の車両用操作入力装置。
5. 前記操作入力モードの設定対象として定められる前記操作部が複数設けられ、それら操作部において複数の操作部からなる操作部群が予め定められるとともに、該操作部群に対応付けられた形で前記操作入力解除視線領域が個別に定められており、
   前記操作入力禁止解除視線特定手段は、前記操作入力解除視線状態を特定するとともに、当該操作入力解除視線状態において前記視線が向けられた前記操作部群を操作許可対象操作部群として特定し、
   前記操作入力モード設定手段は、前記操作入力解除視線状態が特定された場合には、特定された前記操作許可対象操作部群に含まれる操作部に設定される操作入力モードを一括して前記操作入力許可モードに切り替えて設定する一方で、残余の操作部の操作入力モードについては、前記操作入力禁止モードを保持するものとする請求項４に記載の車両用操作入力装置。
6. 前記操作入力解除視線領域が対応付けられる前記操作部群は、複数設けられた前記操作部のうち、操作対象となる機器ないし機器機能が同一となる複数の操作部からなる操作部群として定められている請求項５に記載の車両用操作入力装置。
7. 前記操作入力解除視線領域が対応付けられる前記操作部群は、複数設けられた前記操作部のうち予め定められた配置領域内に存在する複数の操作部からなる操作部群として定められている請求項５に記載の車両用操作入力装置。
8. 前記操作入力モード設定手段により前記操作入力許可モードが設定された後、予め定められた操作入力許可時間が経過するに伴い設定された前記操作入力許可モードを前記操作入力禁止モードに切り替える操作入力禁止モード復帰手段を備える請求項１ないし請求項７のいずれか１項に記載の車両用操作入力装置。
9. 前記操作部は、接触操作により操作入力がなされるタッチ操作面を有した接触操作部である請求項１ないし請求項８のいずれか１項に記載の車両用操作入力装置。
10. 前記操作部は、車両乗員が背もたれにもたれた形で車両の座席に着座した状態にて操作可能な位置に固定配置された乗員近傍操作部である請求項１ないし請求項９のいずれか１項に記載の車両用操作入力装置。
11. 前記操作部は、別途設けられた主操作部よりも所定の座席に近い位置に固定配置され、当該主操作部への操作入力を遠隔的に行うことが可能な遠隔操作部である請求項１ないし請求項１０のいずれか１項に記載の車両用操作入力装置。
12. 少なくとも車両の運転席に着座した車両乗員から画面視認可能となるよう当該車両乗員よりも車両前方側に配置された表示装置を備え、前記主操作部は、当該表示装置に設けられた表示面接触型の操作部であり、前記遠隔操作部は、前記車両の運転席の座部と助手席の座部との間に設けられている請求項１１に記載の車両用操作入力装置。
13. 前記遠隔操作部を操作する操作者の手画像を撮影する手画像撮影手段と、
    撮影された前記手画像から前記表示装置の表示画面上における対応する指示位置を特定して、特定された指示位置に位置指示画像を合成あるいは重畳して表示する手画像表示手段と、
    を備える請求項１２に記載の車両用操作入力装置。

Images