JP5141878B2 - タッチ式操作入力装置 - Google Patents

Description

本発明はタッチ式操作入力装置に関する。

特開平０５−１８９１５１号公報

従来のタッチ式操作入力装置として、縦方向透明電極と横方向透明電極とを備えた抵抗膜方式のタッチパネルを用いたものがある（特許文献１）。抵抗膜方式の他にも、静電容量方式、振動検出方式等といった様々な方式のタッチパネルも存在している。また、縦方向・横方向に、赤外ダイオード（ＬＥＤ）とその光を受けるフォトトランジスタトを対にして配置し順次発光させ、操作する指等により光が遮断されることにより位置検出がなされる光学式（赤外線遮断検出方式）のものもある。

しかしながら、こうしたタッチパネルは、使用用途・設置環境に応じて適切なものが選択されるが、多様な使用用途・設置環境に対応できるよう、近年では、上記した方式以外の新たな方式のタッチ式操作入力装置の登場も望まれている。

本発明の課題は、従来にない新たな方式にてタッチ入力位置を検出するタッチ式操作入力装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するために、本発明のタッチ式操作入力装置は、
表面が接触操作面をなす透光性を有した操作パネルと、
表示画面が操作パネルとは異なる位置に設けられ、該表示画面に操作アイコンを表示可能とされる一方で、該表示画面と操作パネルの接触操作面との間には対応関係が予め定められ、一方の面内位置に対応する他方の面内位置が特定可能とされてなる表示手段と、
予め定められた波長帯の光を操作パネルの側面から操作パネル内へと入射して、操作パネルに接触操作面側から接近して接触した接近対象物に対し照射する第一の光源と、
操作パネルの裏面側に配置され、当該操作パネルに接触操作面側から接近する接近対象物に対し、予め定められた波長帯の光を当該操作パネルを介して照射する、第一の光源とは異なる第二の光源と、
少なくとも光源から照射された光が、操作パネルに接触操作面側から接近した接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネルの裏面側から撮影する接近対象物撮影手段と、
接近対象物撮影手段により撮影された撮影画像において、反射光の強度が予め定められた第一の閾強度を上回る第一の光反射領域を特定する第一の光反射領域特定手段と、
第一の光反射領域を接近対象物画像とし、当該接近対象物画像に基づく画像を、表示画面上の対応する位置に合成表示する接近対象物画像合成表示手段と、
接近対象物撮影手段により撮影された撮影画像において、反射光の強度が第一の閾強度よりも高い第二の閾強度を上回る第二の光反射領域を特定する第二の光反射領域特定手段と、
第二の光反射領域の面積が予め定められた閾面積を上回った場合に、当該第二の光反射領域へのタッチ入力を受け付けるタッチ入力受付手段と、
を備えることを特徴とする。

上記本発明の構成によると、タッチ操作の位置検出を、カメラ等の撮影手段により撮影されたが撮影画像に対する画像処理により行う新たな方式のタッチ式操作入力装置を構成することができる。また、近年、カメラが設置される環境は著しく増えてきているので、そうしたカメラを利用する形で、タッチ式操作入力装置を構成することができれば、トータルでのコストダウンを図ることもできる。例えば、操作パネルとカメラを同時に備えるインターフォン（特に集合住宅において部屋番号を入力した上で会話するタイプのもの）等において、操作パネルの背後にカメラを設ける形で、本発明を適用することができる。この場合、必須となる接近対象物撮影手段を既存のカメラに兼用させればよいので、コスト的なメリットも生じる。

なお、本発明のタッチ入力受付手段は、特定された光反射領域の面積が予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるものとすることができる。タッチ式操作入力装置において、操作パネル面の所定位置にて操作入力するために、操作者がパネル面上で指を移動させ、場合によってはパネル面に軽く触れてなぞるような操作をすることがある。ところが、このなぞる操作は、あくまで操作入力すべき位置を探すためのものであり、なぞって接触した全領域への操作入力を意図したものではない。上記構成によると、操作パネルへの接触面積が小さいようなとき、つまり、操作パネル面上に軽く触れているだけのときには、操作入力として受け付けられないので、上記のようななぞる操作が可能となる。また、誤って操作パネル面に軽く触れてしまった場合も、その操作が操作入力として受け付けられることはない。

なお、本発明の光源は、操作パネルの裏面側に配置して、裏面側から操作パネルに光を入射するように構成できるし、操作パネルの側面側に配置して、該側面側から操作パネルに光を入射させる構成とすることもできるし、それら双方の位置に配置することもできる。また、光源は、例えば赤外光光源とすることで、暗所での撮影も良好となる。この場合、操作パネルは赤外光のみを透過可能なものとすることができる。

また、本発明の操作パネルは、透光性を有した板状のパネルのみで構成され、その表面が接触操作面となるようなシンプルな構成とすることもできるが、平板状の主部材と、該主部材の表面側を被う形で空隙を介して対向配置され、接触操作により該主部材側に弾性変形して該主部材の表面と接触可能とされた所定厚みを有する散乱促進用弾性部材と、を有して構成することもできる。この場合、散乱促進用弾性部材は、光源から照射される光を透過可能で、かつ屈折率が主部材と同等な主材料内に、該主材料よりも屈折率が高い高屈折率粒子を分散させたものとすることができる。前者の場合は、手等の接近対象物がパネル表面を直接接触する形で接触操作がなされる構成であり、構成がシンプルなため低コストで実現できる利点を有する。他方、後者の場合は、手等の接近対象物が散乱促進用弾性部材と接触・押圧して該散乱促進用弾性部材を弾性変形させる形で主部材表面に接触させる接触操作がなされる構成である。散乱促進用弾性部材内を通過する光は高屈折率粒子により乱反射するため、上記接触操作がなされた際には、接近対象物と散乱促進用弾性部材との接触界面にて反射する光が前者の場合よりも多くなる。結果、撮影される画像上には光反射領域が明確に現れるから、該光反射領域を特定し易く、検出精度が増すという利点が得られる。さらに、光を反射しない手袋などを装着している場合にも接触部を特定可能となる。また、平板状の主部材が弾性部材に被われた構成となるので、強度面の利点も得られる。

ところで、本発明のタッチ式操作入力装置は、プロンプター方式操作装置とすることができる。具体的に言えば、表示画面が操作パネルとは異なる位置に設けられ、該表示画面に操作アイコンを表示可能とされる一方で、該表示画面と操作パネルの接触操作面との間には対応関係が予め定められ、一方の面内位置に対し対応する他方の面内位置が特定可能とされてなる表示手段と、該表示画面に表示される操作アイコンの表示位置に対応する、接触操作面上の位置へのタッチ入力が、タッチ入力受付手段により受け付けられた場合に、当該操作アイコンに対応する制御内容を実行するための制御信号を出力する制御手段と、を備えて構成することができる。

さらに、このようなプロンプター方式操作装置において、操作性の向上の観点から、操作パネル上のどの位置に操作者の手が位置しているかを表示することができる。具体的に言えば、接触操作面を操作する操作者の手画像を撮影する手画像撮影手段と、撮影された手画像を表示画面上の対応する位置に合成表示する手画像合成表示制御手段と、を備えて構成することができる。

このように操作者の手を表示画面上に重畳表示する場合には、手画像撮影手段を接近対象物撮影手段に兼用させることができる。この場合、手画像合成表示制御手段は、該接近対象物撮影手段により撮影される画像から手画像を抽出して、抽出された該手画像を表示画面上の対応する位置に合成表示するように構成することができる。これにより、カメラが兼用される構成となるので、コスト面に利点が生まれる。また、従来のプロンプター方式操作装置として、操作パネルにタッチパネルを採用した構成のものが存在している。ところが、こうした構成においても当然コストダウンが課題とされており、上記本発明の構成とすることにより、タッチパネルが不要となれば、その分のコストを削減できる。

一方で、上記本発明の構成が車両用プロンプター方式操作装置とされた場合には、操作パネルは、車室内にて左右隣り合う座席の双方から操作可能な位置に設けることができる。そして、光反射領域特定手段により特定された光反射領域の形状に基づいて、操作者が左右いずれの座席の搭乗者であるか特定する操作者特定手段と、該操作者が特定されるに伴い、表示画面上に表示されている、少なくとも一部の操作アイコンに対応する制御内容を、特定された操作者に対応する制御内容に切り替える制御内容切替手段とを備えた構成とすることができる。この構成によると、左右両座席の搭乗者のいずれが操作パネルを操作したかを区別して認識するために、光反射領域の形状、即ち、操作パネルへの接触面形状が用いられる。認識装置を別途も受けることなく、画像処理により行えるので、コスト面の利点が得られる。

ところで、操作パネル及び当該操作パネルに隣接してこれを支持する接触操作面周辺領域のいずれか又は双方には、当該操作パネルの前記接触操作面の外形位置を特定させるための接触操作面特定用図形部を設けることができる。そして、接近対象物撮影手段の撮影範囲は、接触操作面と接触操作面特定用図形部とが含まれるよう定めることができる。この場合、接近対象物撮影手段により撮影された画像上に接触操作面特定用図形部を特定するとともに、当該画像上に特定された該接触操作面特定用図形部と、光反射領域特定手段により、同じく当該裏画像上に特定される光反射領域とに基づいて、接触操作面上に、接触操作により接触された接触操作領域を特定する接触操作領域特定手段を備えて構成することができる。これにより、何らかの事情で接近対象物撮影手段が通常の撮影範囲からずれて撮影された場合でも、撮影された接触操作面特定用図形部の位置に基づいてずれを補正できるので、操作者が接触操作した操作パネル上の接触領域を常に正しく認識することができる。特に車両に搭載される場合には、悪路走行時など、振動によるずれが起こりうるので有効である。

以下、本発明のタッチ式操作入力装置の一実施形態を、図面を参照して説明する。

図１は、本発明のタッチ式操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、タッチ式操作入力装置１として、操作用のスイッチ画像（操作アイコン）を表示する表示部１５とそのスイッチ画像に対する操作入力を行う操作パネル１２とが別位置に設けられてなるプロンプター方式操作装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、車内ＬＡＮ５０を介して接続する他の車載電子機器の機器機能も含むことができる。

ナビゲーション装置１０は、車両の現在位置を検出する位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示部１５と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置１６と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置１７と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、他の通信装置１３ａと近距離無線通信を行うための無線通信機１３と、これら１１〜１９と接続する制御回路１８とを備えている。

位置検出器１１は、ＧＰＳ（Global Positioning System）用の人工衛星からの送信電波をＧＰＳアンテナを介して受信し、車両の位置，方位，速度等を検出するＧＰＳ受信機１１ａと、車両に加えられる回転運動の大きさを検出するジャイロスコープ１１ｂと、車両の前後方向の加速度等から走行した距離を検出する距離センサ１１ｃと、地磁気から進行方位を検出する地磁気センサ１１ｄとを備えている。そして、これら各センサ等１１ａ〜１１ｄは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、また、ステアリングの回転センサや各転動輪の車輪センサ等（図示せず）を用いてもよい。

操作情報入力部１２は、図３に示すように、予め定められた波長帯の光を照射する光源１２ｃと、該光源１２ｃからの照射光が表面側に向けて透過するよう配置された透光性を有する操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ（接近対象物撮影手段）１２ｂと、を備えている。

なお、本実施形態の操作情報入力部１２は、図２に示すように、車両のセンターコンソール部のような、車両のフロントガラス下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示部１５よりも下側で、かつ隣接する左右両座席の両座部の間の前側に配置されている。なお、本実施形態における隣接する左右両座席とは、運転席２Ｄ及び助手席２Ｐのことである。

光源１２ｃは赤外光光源であり、図３に示すように、操作パネル１２ａの裏面側後方に位置する基板１２ｆに実装されたＬＥＤである。本実施形態の光源１２ｃは、操作パネル１２ａを裏面１２ａ２から表面１２ａ１に透過させる形で光を照射する。なお、本発明の光源は赤外光を発する光源に限られるものではない。

操作パネル１２ａは、中空の筐体１２ｆの前端開口に嵌め込まれている。筐体１２ｅは、車室内の所定位置に固定配置されており、カメラ１２ｂ及び光源１２ｃは当該筐体１２ｅ内の空間に配置されている。前端開口を形成する筐体前端部１２１ｅの外縁からは、後方に向けて筒状の壁部１２２ｅが設けられており、その後端部が基板１２ｆに固定されている。ちなみに、操作パネル面１２ａを挟む内外の空間はいずれも空気が充填された通常の空間である。

操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有した板材からなる。本実施形態においてはガラス板からなる。図３に示すように、表面１２ａ１が接触操作面をなし、光源１２ｃからの光（照射光）は、該接触操作面１２ａ１を被うように位置する接近対象物（例えば手等）Ｈが存在しない限り、該接触操作面１２ａ１から外に通過していくが、該接触操作面１２ａ１に対向する形で接近した接近対象物Ｈがある場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部は裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。接近対象物Ｈが接触操作面１２ａ１に接触していれば、その接触領域（接触面）において最も多くの光が反射して、裏面１２ａ２側に戻る。詳細は後述するが、本実施形態における当該操作パネル１２ａへの接触操作は、この接触領域を検出する形なされる。

カメラ１２ｂは、光源１２ｃから照射された光が接近対象物Ｈにて反射した反射光を捉える形で、当該接近対象物Ｈを操作パネル１２ａの裏面１２ａ２側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。本実施形態のカメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）であり、赤外光光源１２ｃから照射された光（赤外線）が接近対象物Ｈにて反射した反射光を捉える形で撮影を行う。車体側に固定された基板１２ｆ上に固定配置されており、撮影範囲として、接触操作面１２ａ１（操作パネル１２ａ）と、接触操作面特定用図形部１２ｇと、が含まれる範囲が設定されている。なお、操作パネル１２ａを、光源の光に対してのみ透光性を有した材料にて構成すれば、カメラ１２ｂ内の赤外線フィルタは不要となる。また、本発明ではデータ処理の容易さを考え赤外線カメラを使用したが、特に赤外線カメラに限定するものではない。

なお、接触操作面特定用図形部１２ｇは、操作パネル１２ａに隣接してこれを支持する筐体前端部（操作パネル周辺部）１２１ｅの裏面に設けられており、接触操作面１２ａ１の外形位置を特定可能な形状及び配置形態で形成されている。

図４は、カメラ１２ｂにて撮影した映像１５０の一例である。ただし、本実施形態における図４の映像１５０は、撮影後に、その映像を左右反転したものである。図４のうち、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０ＨＡは接近対象物Ｈと接触操作面１２ａ１との接触領域が映った領域、符号１５０ｇは接触操作面特定用図形部１２ｇが映った領域、符号１５０ｅは筐体前端部１２１ｅの裏面が映った領域である。なお、符号１５０ａは操作パネル１２ａが映る領域であるが、該操作パネル１２ａが透明であり、かつその表面１２ａ１側に対向物がないため、何も映らないかその遠景が映し出されている領域となっている。

図１に戻り、表示部１５は、運転席の前方に設置された表示装置であり、液晶ディスプレイ，プラズマディスプレイ，有機ＥＬディスプレイ等のいずれを用いてもよい。表示部１５の表示画面は、位置検出器１１にて検出した車両の現在位置と地図データ入力器１４より入力された地図データとから特定した現在地を示すマーク，目的地までの誘導経路，名称，目印，各種施設のマーク等の付加データとを重ねて表示することができる。また、施設のガイド等も表示できる。なお、表示部１５が本発明の表示手段に相当する。

また、表示部１５は、上述のとおり、操作パネル１２ａの接触操作面１２ａ１上への入力位置を示すための操作系座標と一義的な対応関係を有する表示座標系を有している。当該表示座標系上の予め定められた位置にはスイッチ画像（操作アイコン）２０１が表示され、これに対応する接触操作面１２ａ１上の操作入力位置にタッチ入力がなされると、当該スイッチ画像２０１に対応する制御内容が実行される。つまり、本実施形態においては、表示部１５の表示画面上に定められる二次元座標系と、該操作パネル１２ａの接触操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされているから、その対応関係に基づいて、接触操作面１２ａ１へのタッチ入力により、表示画面上に表示される対応するスイッチ画像２０１をタッチ操作することが可能となっている。

表示部１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）等を例示できる。

図１に戻り、地図データ入力器１４は、ネットワークデータとしての道路データ，位置特定の精度向上のためのいわゆるマップマッチング用データ等の地図データ，施設を示すマークデータ，案内用の画像や音声データ等を含む各種のデータを入力するための装置である。これらのデータの記録媒体としては、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスク，メモリ，メモリカード等を用いることができる。

音声入出力装置１６は、地図データ入力器１４より入力した施設のガイドや各種案内の音声や、Ｉ／Ｆ１９を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置１６は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御回路１８に入力することができる。

無線通信機１３は、他の通信装置１３ａと狭帯域通信を行うためのものであり、例えばＤＳＲＣ（Dedicated Short Range Communications），Ｂｌｕｅｔｏｏｔｈ（登録商標），無線ＬＡＮ（Local Area Network），ＵＷＢ（Ultra Wideband）などが使用されている。

ＬＡＮ Ｉ／Ｆ１９は、車内ＬＡＮ５０を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮ Ｉ／Ｆ１９を介して、例えば他のＥＣＵからのデータ取り込みを行ってもよい。

制御回路１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、位置検出器１１からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、地図データ入力器１４を介して読み込んだ現在位置付近の地図や、操作情報入力部１２の操作によって指示された範囲の地図等をメイン画像（動画・静止画を含む）２００Ｂとして表示部１５に画面表示する地図表示処理や、地図データ入力器１４に格納された地点データに基づき、操作情報入力部１２の操作に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。

また、制御回路１８は、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）２０１と、操作情報入力部１２から取得した接近対象物画像１５０Ｈに基づく加工画像２００Ｈとの双方をサブ画像とし、これらをメイン画像２００Ｂ（地図操作用画像等）に重畳するための画像合成部１８ａを有しており、生成された合成映像２００を表示部１５の表示画面上に表示する（手画像合成表示制御手段）。

なお、接近対象物画像１５０Ｈに基づく加工画像２００Ｈとは、当該接近対象物画像１５０Ｈの外形形状が反映されるよう加工・生成された接近対象物外形反映画像２００Ｈである。この画像２００Ｈが合成されていることにより、運転者等の操作者は、操作パネル１２ａの接触操作面１２ａ１に対面させる形で、例えば手の指等を移動させると、これに併せて、表示部１５の表示画面上には手形状を反映した加工画像２００Ｈが移動して表示され、あたかも表示部１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。

また、制御回路１８のＲＯＭ等の記憶部には、スイッチ画像２０１を表示するためのスイッチ画像データが記憶されており、スイッチ画像２０１の合成表示には用いられている。一方で、制御回路１８のＲＯＭ等の記憶部には、各スイッチ画像２０１に対応付けた形で、各々への操作入力（対応する接触操作面１２ａ１上の領域へのタッチ入力）により実施される制御内容も記憶されている。制御回路１８により、表示画面上において、メイン画像２００Ｂ上にスイッチ画像２０１を合成した合成映像２００が表示されるに伴い、操作パネル１２ａの接触操作面１２ａ１には、該表示画面上におけるスイッチ画像２０１の表示位置に対応する領域に、当該スイッチ画像２０１に対応する操作入力受付範囲（操作入力位置）が設定され（操作入力位置設定手段）、スイッチ画像２０１に対応する操作入力受付範囲に対し接触操作がなされてその入力が受け付けられた場合には（タッチ入力受付手段）、当該スイッチ画像２０１に対応する制御内容が実施されるようになっている。具体的には、対応する制御内容に基づく制御信号を出力する（制御手段）。タッチ入力の有無は、表示部１５の表示画面と対応関係を有する操作パネル１２ａの接触操作面１２ａ１上に対しなされた接触操作による接触領域を、カメラ１２ｂの撮影画像１５０から検出する形で判定される。

なお、この制御回路１８は、本発明の光反射領域特定手段、タッチ入力受付手段、制御手段、手画像合成表示制御手段、操作者特定手段、制御内容切替手段として機能する。なお、画像合成部１８ａも手画像合成表示制御手段としての機能の一部を担っている。

次に、制御回路１８による表示制御処理について説明する。なお、本処理は、車両用プロンプター方式操作装置１が右ハンドルの車両に搭載されていると仮定したものであり、左ハンドルの車両に搭載されている場合には、右手か左手かの判定が逆になる。

カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介して接触操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを撮影しているので、接触操作面１２ａ１と対面する位置に当該接近対象物Ｈが進入してくると、当然その接近対象物Ｈは撮影されて、撮影映像１５０が得られる。

Ｓ１では、その撮影映像１５０の中からその接近対象物Ｈの画像（図４の場合は手画像）１５０Ｈを抽出する。本実施形態においては、制御回路１８が、撮影された映像に対し左右反転処理をかけ、その反転画像１５０を公知の画像解析手法を使用して解析し、操作パネル１２ａと操作者の接近対象物Ｈとの色の相違等に基づいて、接近対象物画像１５０Ｈを抽出する。

なお、本実施形態においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施形態ではモノクロの撮影画像）であるから、Ｓ２では、これを予め定められた第一の階調閾値を用いて各画素の階調レベルを２値化し、当該第一の階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。そして、抽出された接近対象物画像１５０Ｈに対し半透状態とする加工を施した上で、画像合成部１８ａにより、これをメイン画像２００Ｂ（ここでは地図操作画像）上に合成し、図５に示すような合成映像２００を表示する。この表示制御処理は所定周期で繰り返し実施される。

なお、上述の表示制御処理が実行されることにより、撮影された接近対象物画像２００Ｈを表示画面上の対応する位置に合成表示する接近対象物画像合成表示手段として機能する。接近対象物が、操作者の手である場合には手画像が合成表示されるから、本発明の手画像合成表示制御手段としても機能しているといえる。また、接近対象物撮影手段をなす本実施形態のカメラ１２ｂも、接近対象物が、操作者の手である場合には手画像を撮影するから、本発明の手画像撮影手段としても機能しているといえる。

なお、この表示制御処理として、撮影された接近対象物画像１５０Ｈの形状から、当該画像１５０Ｈが人の手画像であるか否かを判定し、人の手画像１５０であった場合にのみ当該画像１５０Ｈを加工してメイン画像２００Ｂに半透過合成するようにしてもよい。人の手画像を抽出する手法については、公知の任意の手法（例えば、特開２００３−３４６１６２号公報参照）を使用することができる。

また、接近対象物画像１５０Ｈのメイン画像２００Ｂへの加工・合成表示については、上述のような半透過合成表示に限らず、種々の変形例を考えることができる。

次に、制御回路１８によるタッチ入力受付処理について説明する。図６は、その流れを示すフローチャートである。

まず、Ｓ１１では、カメラ１２ｂにより撮影される撮影映像を反転し、反転後の撮影映像１５０から、操作パネル１２ａの接触操作面１２ａ１に接近対象物Ｈが接触した接触領域を特定する（光反射領域特定手段）。接近対象物Ｈが接触操作面接触操作面１２ａ１と物理的に接触した領域においては、光源１２ｃからの照射光がそれ以外の領域よりも多く反射するので、撮影映像１５０上においては、第一の階調閾値を十分に上回る階調レベルの光反射領域１５０ＨＡとして現れる。さらに言えば、その光反射領域１５０ＨＡの階調レベルは、接近対象物Ｈに応じて異なるものの、撮影映像１５０内においてある程度一定のレベルで現れる。本実施形態においては、こうした高い階調レベルのみを特定できるよう第一の階調閾値よりも高い階調レベルとして第二の階調閾値を定めており、これを用いて各画素の階調レベルを２値化することで、撮影映像１５０上において当該第二の階調閾値を上回る光反射領域１５０ＨＡを接触領域として特定する。

Ｓ１２では、その光反射領域１５０ＨＡの面積を算出し、算出された面積が予め定められた方法によって求められる閾面積を上回るか否かを判定する。光反射領域１５０ＨＡの面積が閾面積を上回らなかった場合には、その光反射領域（接触領域）へのタッチ入力はなかったと判定してその領域への操作入力を受け付けず、本処理は終了する一方で、光反射領域１５０ＨＡの面積が閾面積を上回った場合には、その光反射領域（接触領域）にタッチ入力があったと判定し、Ｓ１３にてその領域への操作入力を受け付け、Ｓ１４に進む（タッチ入力受付手段）。なお、接触領域が特定された場合に、その面積とは無関係にその領域への操作入力を受け付ける構成としてもよいが、誤入力の可能性が高くなるので、本実施形態においては、上記のように操作入力を受け付ける面積を予め規定している。

Ｓ１４では、操作入力を受け付けた接触領域が、表示部１５の画面上に表示されるスイッチ画像（操作アイコン）２０１に対応する領域にあるか否かを判定する。接触領域がスイッチ画像２０１に対応する領域でなかった場合は、本処理を終了する。他方、接触領域がスイッチ画像２０１に対応する領域であった場合は、Ｓ１５に進む。

Ｓ１５では、接触領域を形成した接触操作を行った操作者が、操作パネル１２ａの左右どちらの座席の搭乗者であるかを判定する。判定方法は様々な手法が考えられるが、本実施形態においては、接触領域の形状を特定して、その形状に基づいて判定を行うものとする。具体的には、まずは、人による意図的な接触操作であるか否かを判定した上で実施する。当該判定は、接触領域（光反射領域１５０ＨＡ）が略楕円形を有して現れているか否かに基づいて行い、略楕円形であった場合を人による意図的な操作と判定し、そうでなければ操作者不明と判定する。そして、人による意図的な操作と判定された場合には、略楕円形をなす接触領域（光反射領域１５０ＨＡ）においてその形状から長軸方向を特定し、長軸方向が、車両前方に向けて右座席側から左座席側に向かうように傾斜していた場合には右座席搭乗者による操作、逆に、車両前方に向けて左座席側から右座席側に向かうように傾斜していた場合には左座席搭乗者による操作と判定する。この判定は、本実施形態の操作パネル１２ａが、隣接する左右両座席の両座部の間の前側に位置しているために適用できる判定方法である。

続くＳ１６では、特定された操作者（ここでは操作者不明、右座席側搭乗者、左座席側搭乗者のいずれか）に応じて、実行すべき制御内容を特定し、Ｓ１７にて、特定された制御内容を実行する。本実施形態においては、各スイッチ画像２０１に対応する制御内容は、特定される操作者毎に定められており、Ｓ１５にて操作者が特定されるに伴い、表示部１５に画面表示されている、少なくとも一部のスイッチ画像（操作アイコン）２０１に対応する制御内容を、特定された操作者に対応する制御内容に切り替え（制御内容切替手段）、切り替えられた制御内容に基づく制御をＳ１７にて実施する（制御手段）。

例えば、あるスイッチ画像２０１には、予め定められた制御内容が対応付けられているものの、操作者として運転席搭乗者（運転者）が特定された場合には当該制御内容の実行が禁止され、操作者不明又は助手席搭乗者が特定された場合にのみ実行されるように制御内容が設定されている。このような運転者に対する操作制限は、例えば目的地設定に関連する操作を実行する制御内容が割り当てられたスイッチ画像２０１に対し適用される。ただし、当該操作制限は、車両が所定速度以上で走行中の場合にのみ適用されるものとする。また、逆に、助手席搭乗者に対する操作制限として設けてもよい。

また、あるスイッチ画像２０１には、運転席側と助手席側とで出力を独立に制御できる制御内容が対応付けられ、操作者として運転席搭乗者（運転者）が特定された場合には運転席側のみの出力条件が変更され、助手席搭乗者が特定された場合には助手席側のみの出力条件が変更されるように制御内容が設定されている。なお、操作者不明の場合は、出力条件の変更を禁止する設定としてもよいし、双方の条件を一括して変更するように設定してもよい。具体的に言えば、車内ＬＡＮ５０の接続対象にエアコンＥＣＵ１００があって、該エアコン１００が制御対象とする車載エアコンが左右独立空調制御を実施可能なものである場合に、その空調出力の出力条件の設定を、上記のように運転席と助手席とで独立に行うようにすることができる。

Ｓ１７が終了すると、このタッチ入力受付処理は終了するが、当該処理は所定周期で繰り返し実施される。

以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

例えば、図７に示すように、光源１２ｃを操作パネル１２ａの側面側に配置する構成としてもよい。ここでは、操作パネル１２ａを嵌め込む開口の各内壁面に外向きに凹む凹部１２３ｅを設け、当該凹部１２３ｅ内に光源１２ｃ（１２ｃ２）を配置している。そして、図７の場合、操作パネル１２ａは、表裏側の空間よりも屈折率の高い素材からなる。

このように配置された光源１２ｃ（１２ｃ２）からの光は、この操作パネル１２ａの一端側の側面から入射し、他端側の側面に向けて進む。具体的に言えば、操作パネル１２ａの表裏両界面にて全反射を繰り返しながら他端側の側面に向けて進む。全反射を繰り返して進行する光は通常は操作パネル１２ａの内部から外に出てくることは少ないが、操作パネル１２ａの表面（接触操作面）１２ａ１に操作者の手等が接触すると、その接触領域部分において光が乱反射し、乱反射した光がカメラ１２ｂにより捉えられる。他方、手画像２００Ｈの合成表示が必要な場合は、操作パネル１２ａの裏面１２ａ２側にも光源１２ｃ（１２１ｃ）が必要となる。つまり、側面側の光源１２ｃ（１２２ｃ）は、接触操作による接触操作面１２ａ１上の接触領域をカメラ１２ｂにより特定するためだけに配置された専用の光源であり、これが配置されることで当該接触領域の特定を精度よく行うことができる。他方、裏面側の光源１２ｃ（１２１ｃ）は、当該接触領域の特定だけでなく、接近対象物画像２００Ｈの合成表示に用いられるものであり、当該合成表示が必要ない場合は不要である。

また、図８に示すように、操作パネル１２ａを、平板状の主部材１２１ａと、該主部材１２１ａの表面１２１ａ１側を被う形で空隙１２３ａを介して対向配置され、接触操作により該主部材１２１ａの表面１２１ａ１側に弾性変形して当該表面１２１ａの表面１２１ａ１と接触可能な所定厚みを有する散乱促進用弾性部材１２２ａと、を有して構成することができる。

この場合、タッチ入力のための接触操作は、手等の接近対象物Ｈにより、散乱促進用弾性部材１２２ａの表面１２２ａ１（この面１２２ａ１が接触操作面１２ａ１となる）を接触・押圧して弾性変形させ、その裏面１２２ａ２を主部材１２１ａの表面１２１ａ１に接触させる操作である。散乱促進用弾性部材１２２ａ内を通過する光源１２ｃからの光は高屈折率粒子１２２ｄにより乱反射するため、上記接触操作がなされた際には、接近対象物Ｈと散乱促進用弾性部材１２２ａとの接触界面（１２１ａ１´，１２２ａ２´）にて裏面１２ａ２側（カメラ１２ｂ側）に反射する光が上記実施形態よりも多くなる。結果、撮影される画像１５０上において接触領域（光反射領域）１５０ＨＡが明確に現れるから、当該領域を特定・抽出し易く、タッチ入力の検出精度が増す。また、平板状の主部材１２１ａが弾性部材１２２ａに被われた構成となるので、強度面の利点も得られる。尚、本構成は光を反射しない黒色手袋等を装着した場合の接触操作の検出も可能とするものである。

なお、散乱促進用弾性部材１２２ａは、光源１２ｃ（図８では操作パネルの裏面側と側面側との双方に配置されている）から照射される光を透過可能で、かつ屈折率が主部材１２１ａと同等な主材料１２２ｄ内に、該主材料よりも屈折率が高い高屈折率粒子１２２ｃを分散させたものである。例えば、主部材１２２ｄを、透光性を有した透明樹脂（例えばエポキシ樹脂等）とし、高屈折率粒子１２２ｃを、当該樹脂よりも屈折率が高い粒子（例えばＳｉ３Ｎ４、ＢＮ、ＡｌＮ、Ａｌ２Ｏ３、ＴｉＯ２、ＺｒＯ２、Ｓｉ、Ｇｅ、Ｓｂ２Ｓ３あるいはＳｉＣから選ばれる１種又は２種以上）で構成することができる。

また、接触操作による接触操作面１２ａ１上の接触領域が、表示部１５の画面上にて特定できるよう、当該接触領域を、図９に示すように、メイン画像２００Ｂ上に重畳表示してもよい。これにより、タッチ入力位置を視認することが可能となり、操作性が増す。具体的には、第二の階調閾値を用いてカメラ１２ｂの撮影映像を２値化し、当該第二の階調閾値を上回る接触領域を抽出する。そして、画像合成部１８ａにより、抽出された接触領域画像１５０ＨＡを加工し、これを接近対象物画像２００Ｈ上に合成し、さらにこれをメイン画像２００Ｂに合成（ここでは半透過合成）し、図９に示すような合成画像を表示する。

また、操作情報入力部１２は、図１０のような構成としてもよい。図１０の例は、操作パネル１２ａ，カメラ１２ｂ等を備えた筐体１２ｅの断面図を示したものである。操作パネル１２ａに透光性を有したものを用い、該操作パネル１２ａを透過して反射装置１２ｒに反射した接近対象物画像（例えば手画像）をカメラ１２ｂが撮影する構成となっている。この構成によると、カメラ１２ｂによる撮影画像を左右反転する画像処理が不要となる。

なお、本発明のタッチ式操作入力装置は、表示面と操作面と別に備えてなるプロンプター方式操作装置に限られるものではなく、表示面上に操作面を有してなる従来のタッチパネルの代用としても使用可能である。また、車両用電子機器以外にも、様々な電子機器を操作対象とすることができる。例えば、集合住宅のインターフォンに適用できる。具体的に言えば、部屋番号を入力する入力操作部として、本発明の操作パネルを配置する。ここで当該操作パネルに接近する操作者を撮影するカメラ（接近対象物撮影手段）を、従来のインターフォンにも設けられている操作者を撮影するカメラに兼用させるようにする。カメラの兼用により、低コストでタッチ式操作入力装置を実現できる。

本発明のタッチ式操作入力装置の一例である車両用プロンプター方式操作装置を用いた車両用ナビゲーション装置の構成を示すブロック図。 車両用プロンプター方式操作装置の概要を説明するための車室内の要部斜視図。 操作情報入力部の第一の構成を示す断面図。 カメラの撮影映像（反転処理後）を例示する図。 表示装置のメイン画像に対する手画像の半透過合成を例示する図。 タッチ入力処理を示すフローチャート。 操作情報入力部の第二の構成を示す断面図。 操作情報入力部の第三の構成を示す断面図。 表示装置のメイン画像に対する手画像の半透過合成を例示する、図５とは異なる図。 操作情報入力部の第四の構成を示す断面図。

符号の説明

１０ 車両用ナビゲーション装置
１２ 操作情報入力部（操作部）
１２ａ 操作パネル
１２ｂ カメラ（接近対象物撮影手段、手画像撮影手段）
１２ｃ 光源
１２ｅ 筐体
１２ｇ 接触操作面特定用図形部
１５ 表示部（表示手段）
１８ 制御回路（光反射領域特定手段、タッチ入力受付手段、制御手段、手画像合成表示制御手段、操作者特定手段、制御内容切替手段）
１８ａ 画像合成部（手画像合成表示制御手段）
５０ 車両内ＬＡＮ
１００ ＥＣＵ
１５０ 撮影画像（反転処理後の画像）
２００Ｂ メイン画像
２０１ スイッチ画像（操作アイコン）
２００Ｈ 接近対象物画像
Ｈ 接近対象物

Claims (5)

1. 表面が接触操作面をなす透光性を有した操作パネルと、
   表示画面が前記操作パネルとは異なる位置に設けられ、該表示画面に操作アイコンを表示可能とされる一方で、該表示画面と前記操作パネルの前記接触操作面との間には対応関係が予め定められ、一方の面内位置に対応する他方の面内位置が特定可能とされてなる表示手段と、
   予め定められた波長帯の光を前記操作パネルの側面から前記操作パネル内へと入射して、前記操作パネルに前記接触操作面側から接近して接触した接近対象物に対し照射する第一の光源と、
   前記操作パネルの裏面側に配置され、当該操作パネルに前記接触操作面側から接近する接近対象物に対し、予め定められた波長帯の光を当該操作パネルを介して照射する、前記第一の光源とは異なる第二の光源と、
   少なくともそれら光源から照射された光が、前記操作パネルに前記接触操作面側から接近した前記接近対象物にて反射した反射光を捉える形で、当該接近対象物を前記操作パネルの裏面側から撮影する接近対象物撮影手段と、
   前記接近対象物撮影手段により撮影された撮影画像において、前記反射光の強度が予め定められた第一の閾強度を上回る第一の光反射領域を特定する第一の光反射領域特定手段と、
   前記第一の光反射領域を接近対象物画像とし、当該接近対象物画像に基づく画像を、前記表示画面上の対応する位置に合成表示する接近対象物画像合成表示手段と、
   前記接近対象物撮影手段により撮影された撮影画像において、前記反射光の強度が前記第一の閾強度よりも高い第二の閾強度を上回る第二の光反射領域を特定する第二の光反射領域特定手段と、
   前記第二の光反射領域の面積が予め定められた閾面積を上回った場合に、当該第二の光反射領域へのタッチ入力を受け付けるタッチ入力受付手段と、
   を備えることを特徴とするタッチ式操作入力装置。
2. 前記操作パネルは、平板状の主部材と、該主部材の表面側を被う形で空隙を介して対向配置され、接触操作により該主部材側に弾性変形して該主部材の表面と接触可能とされた所定厚みを有する散乱促進用弾性部材と、を有してなり、
   前記散乱促進用弾性部材は、前記光源から照射される光を透過可能で、かつ屈折率が前記主部材と同等な主材料内に、該主材料よりも屈折率が高い高屈折率粒子を分散させたものである請求項１に記載のタッチ式操作入力装置。
3. 前記表示画面に表示される前記操作アイコンの表示位置に対応する、前記接触操作面上の位置へのタッチ入力が、前記タッチ入力受付手段により受け付けられた場合に、当該操作アイコンに対応する制御内容を実行するための制御信号を出力する制御手段を備える請求項１又は請求項２に記載のタッチ式操作入力装置。
4. 前記接近対象物画像合成表示手段は、前記接近対象物撮影手段により撮影される前記接近対象物画像から前記手画像を抽出して、当該手画像を前記表示画面上の対応する位置に合成表示する手画像合成表示制御手段である請求項１ないし請求項３のいずれか１項に記載のタッチ式操作入力装置。
5. 前記操作パネル及び当該操作パネルに隣接するパネル周辺部の裏面のいずれか又は双方には、当該操作パネルの前記接触操作面の外形位置を特定させるための接触操作面特定用図形部が設けられ、
   前記接近対象物撮影手段の撮影範囲には、前記接触操作面と前記接触操作面特定用図形部とが含まれており、
   前記接近対象物撮影手段により撮影された画像上に前記接触操作面特定用図形部を特定するとともに、当該画像上に特定された該接触操作面特定用図形部と、前記光反射領域特定手段により当該画像上に特定される光反射領域とに基づいて、前記接触操作面上に、接触操作により接触された接触操作領域を特定する接触操作領域特定手段を備える請求項１ないし請求項４のいずれか１項に記載のタッチ式操作入力装置。