JP6214779B2 - 車載機器制御システム - Google Patents

Description

この発明は、車載機器の操作を制御する車載機器制御システムに関するものである。

近年、カーナビゲーション装置やオーディオ装置等の車載機器を操作するために、指などで表示装置の表示画面に触れることで操作を行うタッチパネルが広く使用されている。
このようなタッチパネル操作は、ユーザが表示装置に表示されているＧＵＩ（グラフィック・ユーザ・インターフェイス）の配置を確認し、指先の位置を調整してタッチ操作を行うことが一般的である。

そのため、例えばリビングでの休憩時など、タッチ操作への集中が許容される状況にある場合は、上述のように、ユーザが表示されているＧＵＩの配置を確認して指先の位置を調整するというタッチ操作でも問題はないが、車両での走行中にタッチパネルを利用する場合など、タッチ操作以外に注意を向ける対象が存在する場合は、ユーザの視線を注意対象から外さず、かつ、簡単に操作可能であることが望まれる。

簡単に正確な操作をする技術として、例えば、特許文献１には、タッチパネル上でユーザが触れたタッチ点の周囲に入力アイコンを再配置し、アイコン探索の視線移動や入力動作の低減を行う方法が記載されている。また、特許文献２にも、タッチパネル上で正確な操作を行う方法が記載されている。

特開２０１１−２１００８３号公報 特開２００７−１８８２３３号公報

しかしながら、例えば特許文献１のような従来の技術では、タッチ点の周囲に入力アイコンが再配置されたあとは、ユーザが目視で配置を確認して操作しなければならず、また、例えば特許文献２のような従来の技術でも、ユーザが目視でＧＵＩの配置を確認することが必要である。すなわち、特許文献１，２等に記載されているような従来の技術では、車両の走行中など、車両内においてタッチ操作以外に注意を向ける対象が存在する場合に、ユーザの視線を注意対象である前方から外さなければ操作ができない、という課題があった。

この発明は、上記のような課題を解決するためになされたものであり、車載機器の操作を制御する際に、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことが可能な車載機器制御システムを提供することを目的とする。

上記目的を達成するため、この発明は、ポインティングデバイス上に操作指示の入力可能な操作パーツを呼び出し、当該操作パーツを介してユーザの指により入力された操作指示情報に基づいて、車両に搭載された車載機器の操作を制御する車載機器制御システムであって、前記ポインティングデバイスと前記ユーザの指の複数の接触点を結んだ形状、または、当該形状と前記ポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる形状情報を入力情報として出力する入力処理部と、前記操作パーツが紐付けられ、前記ユーザの指の複数の接触点を結んだ形状、または、当該形状と前記ポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる、あらかじめ設定された形状情報と、前記入力処理部から取得した入力情報との類似度に基づいて、前記入力情報に対応する前記操作パーツを出力するタッチ解析部と、前記タッチ解析部によって出力された操作パーツを呼び出して前記ポインティングデバイスに出力するとともに、当該操作パーツを介して前記ユーザの指により入力された操作指示情報を取得し、前記取得した操作指示情報に基づいて前記車載機器の操作を制御する出力制御部とを備え、前記ポインティングデバイスは、表示装置を備えており、前記タッチ解析部は、前記入力情報として複数回の同一の前記形状情報を取得した場合、当該形状情報に紐付けられた前記操作パーツの表示形態を変更して出力することを特徴とする。

この発明の車載機器制御システムによれば、ポインティングデバイス上でのユーザの指の形状情報に基づいて、操作パーツを呼び出して操作することができるようにしたことにより、ユーザが表示画面を見ていなくても所望のタッチ操作を行うことができるので、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことが可能となる。

実施の形態１による車載機器制御システムの一例を示すブロック図である。 実施の形態１における操作パーツＤＢに記憶されている、ポインティングデバイス上でのユーザの指の形状情報と操作パーツとを紐付けしたモデル情報の一例を示すテーブルである。 操作内容ＤＢに記憶されている、操作パーツと、操作方法と、実施される機能（操作内容）とが対応付けられているデータベースの一例を示すテーブルである。 実施の形態１における車載機器制御システムの処理を示すフローチャートである。 操作内容ＤＢに記憶されている、操作パーツと、操作方法と、車載機器ごとに実施される機能（操作内容）とが対応付けられているデータベースの一例を示すテーブルである。 ポインティングデバイスが車両のダッシュボードからセンターコンソールまで伸びた大画面からなる表示装置を備えたタッチパネルである場合の、表示装置の設置例を示す図である。 図６における表示装置に表示される表示画面の一例を示す図である。 実施の形態２における車載機器制御システムの処理を示すフローチャートである。 実施の形態２における操作パーツＤＢに記憶されている、ポインティングデバイス１上でのユーザの指の形状情報と、操作パーツと、既にその操作パーツが表示されている場合には表示形態の変更を要する場合の変更後の操作パーツとを紐付けしたモデル情報の一例を示すテーブルである。 実施の形態３における車載機器制御システムの処理を示すフローチャートである。 実施の形態３における車載機器制御システムの処理の別の一例を示すフローチャートである。 実施の形態４による車載機器制御システムの一例を示すブロック図である。 実施の形態４における音声認識用操作パーツＤＢに記憶されている、音声情報と操作パーツとを紐付けしたモデル情報の一例を示すテーブルである。 実施の形態４における車載機器制御システムの処理を示すフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
この発明の車載機器制御システムは、ポインティングデバイス上に操作指示の入力可能な操作パーツを呼び出し、当該操作パーツを介してユーザの指により入力された操作指示情報に基づいて、車両に搭載された各種車載機器の操作を制御するものである。

実施の形態１．
図１は、この発明の実施の形態１による車載機器制御システムの一例を示すブロック図である。この車載機器制御システム１０は、入力装置であるポインティングデバイス１と制御対象となる車載機器２に接続されており、入力処理部１１と、タッチ解析部１２と、出力制御部１４を備え、ポインティングデバイス１と車載機器２とこの車載機器制御システム１０とが連携して、車載機器２の操作制御を行う。

ポインティングデバイス１は、タッチパネルやタッチパッドなど、ユーザの指等によるタッチ操作が可能な入力装置である。なお、この実施の形態１では、ポインティングデバイス１は、表示装置２０も兼ね備えたタッチパネルであるものとして説明する。すなわち、ポインティングデバイス１は、表示装置２０を備えているものとして説明する。

車載機器２としては、例えば、カーナビゲーション装置、エアコン装置、オーディオ装置、ミラー角度調整装置など、操作制御機能を有するものであれば何でもよく、表示装置２０を備えたタッチパネルであるポインティングデバイス１や車載機器制御システム１０自体がそれらの車載機器に組み込まれていてもよい。なお、この実施の形態１では、車載機器制御システム１０と接続されている車載機器２は、オーディオ装置であるものとして説明する。

また、車載機器制御システム１０がポインティングデバイス１や車載機器２と接続される形態としては、有線でもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）など無線でもよく、車載機器制御システム１０をネットワーク上のサーバとして構成してもよい。

入力処理部１１は、ポインティングデバイス１から入力されたタッチ点（ポインティングデバイス１とユーザの指との接触点）の情報を受信し、そのタッチ点情報を処理した入力情報（タッチ点の位置情報およびタッチ点の位置遷移情報）をタッチ解析部１２および出力制御部１４に出力する。より具体的には、入力処理部１１は、通常のタッチ操作におけるタッチ情報を出力するだけでなく、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状、または、当該形状とポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる形状情報を、入力情報として出力する。

タッチ解析部１２は、入力処理部１１から取得した入力情報、具体的には、そのタッチ点を結んだ形状やユーザの指のタッチ位置遷移情報を、操作パーツデータベース（操作パーツＤＢ）１３に保存されているあらかじめ設定された形状情報とマッチングを行い、マッチングした場合の操作パーツ情報を出力制御部１４に出力する。すなわち、タッチ解析部１２は、操作パーツが紐付けられ、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状、または、当該形状とポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる、あらかじめ設定された形状情報と、入力処理部１１から取得した入力情報との類似度に基づいて、入力情報に対応する操作パーツを出力制御部１４に出力する。

操作パーツＤＢ１３は、ポインティングデバイス１上でのユーザの指の形状情報、すなわち、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状、または、当該形状とポインティングデバイス１上でのユーザの指の遷移情報、のいずれかからなる形状情報と、操作パーツとを紐付けしたモデル情報が記憶されているデータベースである。

図２は、実施の形態１における操作パーツＤＢ１３に記憶されている、ポインティングデバイス１上でのユーザの指の形状情報と操作パーツとを紐付けしたモデル情報の一例を示すテーブルである。ここで、ポインティングデバイス１上でのユーザの指の形状情報とは、前述のとおり、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状、または、当該形状とポインティングデバイス１上でのユーザの指の遷移情報、のいずれかからなる情報のことである。

図２に示すように、例えば、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状（形状情報）が円形の場合には、操作パーツとして回転ダイヤルが紐付けられ、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状（形状情報）が三角形（上三角形または下三角形）の場合には、操作パーツとしてボタン（上ボタンまたは下ボタン）が紐付けられ、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状（形状情報）が棒（縦棒または横棒）の場合には、操作パーツとしてスライダー（縦型スライダーまたは横型スライダー）が紐付けられている。

また、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状が略直角三角形であり、かつ、その接触点それぞれから同一方向へ指が遷移したという遷移情報が形状情報として取得された場合には、操作パーツとしてマウスが紐付けられ、ポインティングデバイス１とユーザの指の接触点が２つでそれらが近傍位置にあり、かつ、その接触点それぞれからの指の遷移により長方形を形成するような遷移情報が形状情報として取得された場合には、操作パーツとして手書き入力窓が紐づけされている。

出力制御部１４は、入力処理部１１から取得した入力情報に基づいて、ポインティングデバイス１の表示装置２０に表示させる情報の内容を制御するとともに、入力処理部１１から取得した入力情報を、タッチ解析部１２により出力された操作パーツに対応する操作に変換して、車載機器２の動作を制御する。すなわち、出力制御部１４は、タッチ解析部１２によって出力された操作パーツを呼び出してポインティングデバイス１に出力するとともに、当該操作パーツを介してユーザの指により入力された操作指示情報を取得し、取得した操作指示情報に基づいて車載機器２の操作を制御する。

操作内容データベース（操作内容ＤＢ）１５は、操作パーツと、それに対応する操作方法と、当該操作方法によってどのような機能が実施されるかという操作内容とが対応付けて記憶されているデータベースである。
図３は、操作内容ＤＢ１５に記憶されている、操作パーツと、操作方法と、実施される機能（操作内容）とが対応付けられているデータベースの一例を示すテーブルである。

この実施の形態１で実施可能なアプリケーションとしては、図２および図３の（１）に示したように、例えば、ポインティングデバイス（タッチパネル）１上で隣り合うタッチ点を結んだ線が円形状になるようにタッチを行うことで、そのタッチ点の場所に操作パーツとして回転ダイヤルを呼び出して表示し、その回転ダイヤルを用いた１本指タッチ操作（１本指でタッチしながら回転させる操作）により、車載機器２であるオーディオ装置のボリューム調整（音量調整）等を可能とする。

また、図２および図３の（２）（３）に示したように、例えば、ポインティングデバイス（タッチパネル）１上で上三角形や下三角形になるようにタッチを行うことで、そのタッチ点の場所に操作パーツとして上ボタンや下ボタンを呼び出して表示し、そのボタン上での１点タッチ操作により、曲名等の上移動や下移動等を可能とする。

また、図２および図３の（４）（５）に示したように、例えば、ポインティングデバイス（タッチパネル）１上で縦線上に２点（または３点）や横線上に２点（または３点）のタッチを行うことで、そのタッチ点の場所に操作パーツとして縦型スライダーや横型スライダーを呼び出して表示し、そのスライダー上で左右または上下にスライド操作を行うことにより、曲名等のリスト操作や音楽再生場所の指定等を可能とする。

また、タッチ時の形状だけではなく、タッチ点からの遷移情報も加えた形状情報により、操作パーツを用いた操作を可能とする。例えば、図２および図３の（６）に示したように、親指、小指、薬指の３本の指で横向きに傾いた略直角三角形形状でタッチし、そのまま３本の指を同じ方向に所定の距離以上移動させることにより、操作パーツとしてマウスを呼び出して表示し、そのタッチしている３本の指の移動（スライド）や、他の指（人差し指または中指）をタッチさせるクリック操作により、マウスと同様の操作を可能とする。これにより、表示されている曲名をマウス操作により選択する等の機能を実施することができる。

また、図２および図３の（７）に示した手書き入力窓の例のように、２本指での近傍位置でのタッチと、その位置からの移動（遷移）を利用して長方形の形状を描くことにより、操作パーツとして手書き入力窓を呼び出して表示し、そこでの文字入力操作を可能とする。これにより、曲名やアーティスト名を入力して検索する等の機能を実施することができる。

なお、それぞれの操作パーツにどのような実施機能（操作内容）を割り当てるかについては、図３に示した例に限らず、例えば、（２）の上ボタンによって音量アップ、（３）の下ボタンによって音量ダウン、といったように、（２）（３）の上ボタン、下ボタンによって、ボリューム調整（音量調整）の機能が実行されるようにしてもよいし、ユーザが適宜設定できるようにしてもよい。

また、ここでは左ハンドルの車両であることを想定して、図２に示すような形状情報が操作パーツＤＢ１３に記憶されているものとして説明したが、右ハンドルの車両である場合には、図２の（６）および（７）は、左右対称の形状情報とすればよい。また、左ハンドルの車両にも右ハンドルの車両にも対応できるよう、および、助手席からの操作にも対応できるよう、図２の（６）（７）に示す形状情報と、それを左右対称にした形状情報の両方が操作パーツＤＢ１３に記憶されているようにし、いずれの形状情報であっても機能するようにしてもよい。

また、操作パーツＤＢ１３は、タッチ解析部１２が備えていてもよいし、車載機器制御システム１０が備えていてもよい。また、他の記憶部として存在していてもよいし、ネットワーク上のサーバなどに備えられていてもよい。
同様に、操作内容ＤＢ１５もまた、出力制御部１４が備えていてもよいし、車載機器制御システム１０が備えていてもよい。また、他の記憶部として存在していてもよいし、ネットワーク上のサーバなどに備えられていてもよい。
さらに、操作パーツＤＢ１３と操作内容ＤＢ１５が、同じ記憶部に格納されていてもよい。

次に、このように構成された実施の形態１における車載機器制御システム１０の動作について、図４を参照しながら具体的に説明する。図４は、実施の形態１における車載機器制御システム１０の処理を示すフローチャートである。なお、前述のとおり、接続される車載機器２はオーディオ装置であるものとする。

まず初めに、入力処理部１１が、タッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得し（ステップＳＴ１０１）、一定時間内にリリースがあった場合（ステップＳＴ１０２のＹＥＳの場合）、タッチからリリースまでのタッチ情報行列をタッチ解析部１２および出力制御部１４に出力する。

タッチ解析部１２は、入力処理部１１から取得した入力情報（タッチ情報行列の情報）と、操作パーツＤＢ１３に記憶されている形状情報とのマッチングを行うことにより、タッチ形状を解析する（ステップＳＴ１０３）。

そして、マッチングする形状情報があった場合（ステップＳＴ１０４のＹＥＳの場合）、タッチ解析部１２は、その形状情報と紐づけされている操作パーツ情報を出力制御部１４に出力し、出力制御部１４は、取得した操作パーツ情報に該当する操作パーツを操作内容ＤＢ１５から呼び出して、タッチパネル（ポインティングデバイス１の表示装置２０）に表示させる（ステップＳＴ１０５）。

この状態でさらに、入力処理部１１が、タッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得すると（ステップＳＴ１０６のＹＥＳの場合）、入力処理部１１は、そのタッチ情報を出力制御部１４に出力する。

出力制御部１４は、取得したタッチ情報が、ステップＳＴ１０５で呼び出した操作パーツ位置における、当該操作パーツに対する操作（操作方法）であるか否かを、操作内容ＤＢ１５を参照することにより判断する（ステップＳＴ１０７）。すなわち、取得したタッチ情報が、ステップＳＴ１０５で呼び出した操作パーツ位置におけるタッチであるか否かというチェックを行うとともに、そのタッチ情報とステップＳＴ１０５で呼び出した操作パーツに該当する操作方法とのマッチングを行うことにより判断する。

そして、操作パーツ位置における当該操作パーツに対する操作であると判断した場合（ステップＳＴ１０７のＹＥＳの場合）、出力制御部１４は、その操作パーツに対応する操作内容をその操作パーツを用いて入力された操作指示情報として取得し、当該操作指示情報に基づいてその操作パーツに対応する実施機能を実行するよう、車載機器２に対して指示を行う（ステップＳＴ１０８）。

一方、操作パーツ位置における当該操作パーツに対する操作ではないと判断した場合（ステップＳＴ１０７のＮＯの場合）は、出力制御部１４は、ステップＳＴ１０６において入力処理部１１から取得したタッチ情報に基づいて、通常のタッチ操作を実行する（ステップＳＴ１０９）。

なお、ステップＳＴ１０２において、一定時間内にリリースがなかった場合（ステップＳＴ１０２のＮＯの場合）は、入力処理部１１がステップＳＴ１０１において取得したタッチ情報を出力制御部１４に出力することにより、通常のタッチ操作が実行される（ステップＳＴ１０９）。

また、ステップＳＴ１０４において、マッチングする形状情報がなかった場合（ステップＳＴ１０４のＮＯの場合）は、タッチ解析部１２から出力制御部１４に操作パーツが出力されないので、出力制御部１４はステップＳＴ１０２において（ＹＥＳの場合に）入力処理部１１から取得した入力情報（タッチ情報行列の情報）に基づいて、通常のタッチ操作を実行する（ステップＳＴ１０９）。

このように、ポインティングデバイス１とユーザの指との接触点を結んだ形状、または、当該形状とポインティングデバイス１上でのユーザの指の遷移情報、のいずれか（ポインティングデバイス１上でのユーザの指の形状情報）に基づいて、操作パーツを呼び出して操作することができるようにしたので、ユーザが表示画面を見ていなくても所望のタッチ操作を行うことができる。すなわち、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことが可能となる。

また、ポインティングデバイス１とユーザの指との接触点の個数（接触している指の本数）だけでなく、その接触点を結んだ図形の形状により操作パーツを判断するようにしたので、例えば、操作パーツとしてスライダーを呼び出したい場合に、指２本でも指３本でもどちらでも呼び出すことができ、ユーザにとってタッチしやすいやり方で操作パーツを呼び出して操作することができる。

なお、この実施の形態１では、車載機器制御システム１０と接続されているポインティングデバイス１は、表示装置２０を備えたタッチパネルであるものとして説明したが、表示装置２０を備えていないタッチパッドであっても同様である。ただし、この場合には、出力制御部１４が操作パーツを呼び出した後に当該操作パーツを表示装置２０に表示させる処理のみが省略される。

すなわち、この実施の形態１において「操作パーツを呼び出す」とは、表示装置２０に操作パーツを表示させること以外に、ポインティングデバイス１がタッチパッドなどの表示機能を備えていないデバイスである場合には、ポインティングデバイス１上で操作パーツに対応する操作を受付可能とすることも含んでいる。以下の実施の形態においても、同様である。

以上のように、この実施の形態１によれば、ポインティングデバイス１上でのユーザの指の形状情報に基づいて、操作パーツを呼び出して操作することができるようにしたことにより、ユーザが表示画面を見ていなくても所望のタッチ操作を行うことができるので、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことが可能となる。

なお、操作パーツの大きさについては、タッチした形状サイズに応じて変化するようにしてもよい。すなわち、出力制御部１４が、ポインティングデバイス１とユーザの指の複数の接触点を結んだ形状のサイズに応じて、操作パーツのサイズを決定するようにしてもよい。

これにより、例えば、手の大きなユーザが円形状にタッチ操作した場合の回転ダイヤルを大きくしたり、三角形にタッチした場合のボタンを大きくしたりすることができるので、ユーザがタッチした感覚に合わせた大きさの操作パーツが呼び出されることになり、ユーザにとってより直感的な操作を実現し、また、誤動作も防ぐことができる。

また、車載機器制御システム１０と接続されている車載機器２は、オーディオ装置であるものとして説明したが、カーナビゲーション装置、エアコン装置、表示装置、ミラー角度調整装置など、他の車載機器にも適用可能である。また、例えば、オーディオ一体型のカーナビゲーション装置など、複数の機能を備えた車載機器であってもよいし、車載機器制御システム１０が複数の車載機器と接続されるものであってもよい。

ここで、車載機器制御システム１０が複数の車載機器２と接続されている場合には、上述した実施の形態１と同様のタッチ形状で、同様の操作パーツを呼び出して表示した場合でも、以降の段落で詳細を説明するように、出力制御部１４が、例えば、オーディオ装置のボリューム調整（音量調整）を行うのかエアコン装置の温度調整を行うのかなど、状況に応じてその操作パーツに対応する機能（操作指示情報）を動的に変更させるようにしてもよい。

このように、状況に応じて操作パーツの機能（操作指示情報）を動的に変更する方法としてはいくつか考えられるが、ポインティングデバイス１が表示装置２０を備えている場合には、その表示装置２０に表示されている表示画面に基づいて、呼び出された操作パーツに対応する操作指示情報を動的に変更させるようにすることができる。

この場合、操作内容ＤＢ１５には、操作パーツと、それに対応する操作方法、および、車載機器２が何であるかによって（車載機器２ごとに）その操作パーツに対する操作方法によりどのような機能が実施されるかという操作内容とが対応付けて記憶されている。
図５は、このような場合に、操作内容ＤＢ１５に記憶されている、操作パーツと、操作方法と、車載機器ごとに実施される機能（操作内容）とが対応付けられているデータベースの一例を示すテーブルである。

そして、表示装置２０にオーディオ画面が表示されている場合（表示画面がオーディオ画面である場合）には、例えば、図３を用いて説明したのと同じ機能が実施されるが、表示装置２０にエアコン画面が表示されている場合（表示画面がエアコン画面である場合）には、例えば、（１）の回転ダイヤルを用いた１本指タッチ操作（１本指でタッチしながら回転させる操作）や、（２）（３）のボタン上での１点タッチ操作により、エアコン装置の温度調整（アナログ的な温度調整や、１度ずつの温度調整）等を可能とする。

また、例えば、（４）の縦型スライダー上で上下にスライド操作を行うことにより、エアコンメニュー（温度、風量などのメニュー）操作や、（５）の横型スライダー上で左右にスライド操作を行うことにより、風量調整等を可能とする。

また、表示装置２０にカーナビ画面が表示されている場合（表示画面がカーナビ画面である場合）には、例えば、（１）の回転ダイヤルを用いた１本指タッチ操作（１本指でタッチしながら回転させる操作）により、表示されている地図の拡大／縮小等を可能としたり、（２）（３）のボタン上での１点タッチ操作や、（４）（５）のスライダー上の上下または左右のスライド操作により、表示されている地図の上下や左右の移動等を可能とする。

さらに、例えば、（６）のタッチしている３本の指の移動（マウスのスライド）や、他の指（人差し指または中指）をタッチさせるマウスのクリック操作により、表示されている地図を移動させたり地点を選択する等の機能を実施することができる。
また、例えば、（７）の手書き入力窓における文字入力操作により、目的地や店舗の地点検索等の機能を実施することができる。

このように、表示画面に応じた操作パーツを呼び出して表示させることにより、複数の機能を備えた車載機器と接続されている場合や、複数の車載機器と接続されている場合であっても、ユーザにとって直感的に適切な操作をすることができる。

また、図６は、ポインティングデバイス１が、ユーザの前方から手元付近まで、すなわち、車両のダッシュボードからセンターコンソールまで伸びた大画面からなる表示装置２０を備えたタッチパネルである場合の、表示装置の設置例を示す図である。

この図６に示すように、ポインティングデバイス１が車両のダッシュボードからセンターコンソールまで伸びた大画面からなる表示装置２０を備えたタッチパネルである場合などは、例えば、メイン画面にはカーナビ画面が表示されており、表示装置２０の一部に他の車載機器用のメニュー画面等が表示されている状態が考えられる。

図７は、図６における表示装置２０に表示される表示画面の一例を示す図であり、表示装置２０のメイン画面２１としてカーナビ画面が表示されており、左下のメニュー画面２２にはエアコン画面が、右下のメニュー画面２３にはオーディオ画面が表示されているものとする。

この場合、左下のメニュー画面２２に表示されているエアコン画面上でタッチ操作を行えば、エアコン装置に対する機能が実行され、右下のメニュー画面２３に表示されているオーディオ画面上でタッチ操作を行えば、オーディオ装置に対する機能が実行される。

メニュー画面がもう少し細かくわかれていたり、随時変更される状態である場合には、ユーザが視認してから指を接触させることが必要となるが、図６，図７に示すような大画面において、左下のメニュー画面２２にはエアコン画面、右下のメニュー画面２３にはオーディオ画面が固定されて表示されているなど、表示画面を完全には見なくても操作可能な状態であれば、ユーザは表示画面を見ていなくても所望の車載機器に対する所望のタッチ操作を行うことができる。

このように、ポインティングデバイス１が表示装置２０を備えている場合に、状況に応じて操作パーツの機能（操作指示情報）を動的に変更する方法として、ポインティングデバイス１上でユーザの指が接触した位置における表示画面に基づいて、呼び出された操作パーツに対応する操作指示情報を動的に変更させるようにしてもよい。

これにより、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単に、表示内容に応じたタッチ操作を行うことが可能となる。また、表示画面に応じた操作パーツを出すことにより、ユーザにとって直感的に適切な操作をすることができる。

なお、図６に示すように、ポインティングデバイス１が車両のダッシュボードからセンターコンソールまで伸びた大画面からなる表示装置２０を備えたタッチパネルである場合、すなわち、この実施の形態１における車載機器制御システム１０が、ダッシュボードからセンターコンソールまで伸びているような表示装置２０を操作するシステムである場合にはなおさら、タッチ可能な領域が広すぎて端まではユーザの手が届かないが、操作するスペースが大きく、ユーザがそれほど手を伸ばさなくても操作可能な手元までタッチ可能領域が伸びているので、前方を向いたままでも目の端で表示内容を確認することができ、かつ、手元でタッチ操作はできるため、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作が可能であり、ユーザにとっての操作性が向上する。

また、状況に応じて操作パーツの機能を動的に変更する他の方法として、例えば、車両内の温度状況に基づいて、温度があらかじめ定められた第１の温度（例えば、２８度）以上、または、あらかじめ定められた第２の温度（例えば、２０度）未満の場合には、エアコン装置に対する機能が実行されるようにしたり、オーディオ再生中であればオーディオ装置に対する機能が実行されるようにするなど、車両内の状況に応じて操作パーツの機能を動的に変更するようにしてもよい。

実施の形態２．
この発明の実施の形態２による車載機器制御システムの一例を示すブロック図は、実施の形態１における図１に示すブロック図と同じであるため、図示および説明を省略する。
以下に示す実施の形態２の車載機器制御システム１０は、ポインティングデバイス１が表示装置２０を備えている場合に、操作パーツの組み合わせ表示を簡易化することができるものである。すなわち、ユーザがタッチした（接触点の）場所に操作パーツが表示される場合であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、簡単にタッチ操作を可能とするものである。

例えば、上ボタン、下ボタンを表示させたい場合、実施の形態１では、図２に示すように、上三角または下三角でのタッチが必要であるが、指の形状を変化させることはわずらわしいという問題がある。また、上三角は比較的タッチしやすい形状であるが、下三角の状態でタッチすることは難しいなど、それぞれのユーザによって操作しにくい場合があるという問題もある。

そこで、このような問題を解決するために、この実施の形態２では、ポインティングデバイス１が表示装置２０を備えており、タッチ解析部１２が、入力情報として複数回の同一の形状情報を取得した場合に、その形状情報に紐付けられた操作パーツの表示形態を、異なる表示形態に変更して出力する。

具体的には、例えば、上三角形状でのタッチが２回続いた場合には、その上三角形の形状情報に紐付けられた上ボタンの操作パーツの表示形態を、その操作パーツの重畳表示である「上下のボタンを同時に表示する」という表示形態に変更させる。これにより、例えば、タッチされた上三角形状の下辺より上の部分に上ボタンが表示され、下辺より下の部分に下ボタンが表示されるなど、上ボタンと下ボタンが両方表示された状態になる。

このとき、ユーザは自らが上三角形状で２回タッチした場所はわかっているので、その上三角形の下辺の頂点となる２本の指より上の部分をタッチすれば上ボタンの操作を行うことができ、それより下の部分をタッチすれば下ボタンの操作を行うことができ、それぞれのボタン上でのタッチ操作により、そのボタンに対応付けられた操作を行うことができる。また、タッチした場所がわかっていることにより、ユーザは表示画面を極力見なくても操作することが可能となるので、ユーザの視線を注意対象である前方から可能な限り外すことなく、簡単にタッチ操作が可能である。

このように、タッチを時系列で解釈し、操作パーツの表示形態を変化させることにより、操作の手間が省けるとともに、タッチしにくい形状をタッチしやすい形状で操作パーツを呼び出すことが可能となり、操作しやすくなる。

また、例えば、１回目の上三角形状のタッチでは上ボタンを表示させ、一定時間内に２回目の上三角形状のタッチが実施された場合には、その上三角形の形状情報に紐付けられた上ボタンの操作パーツの表示形態を消去し、異なる表示形態である下ボタンの操作パーツに転換表示させる。これにより、間違えて操作パーツをポインティングデバイス１上に呼び出した場合でも、すぐに（時間が経てば）、訂正（消去）して正しい（所望の）操作パーツを呼び出してくれるため、操作性を向上させることができる。

この実施の形態２における車載機器制御システム１０の動作について、図８を参照しながら具体的に説明する。図８は、実施の形態２における車載機器制御システム１０の処理を示すフローチャートである。なお、ここでも、接続される車載機器２はオーディオ装置であるものとする。

まず初めに、入力処理部１１が、タッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得し（ステップＳＴ２０１）、一定時間内にリリースがあった場合（ステップＳＴ２０２のＹＥＳの場合）、タッチからリリースまでのタッチ情報行列をタッチ解析部１２および出力制御部１４に出力する。

タッチ解析部１２は、入力処理部１１から取得した入力情報（タッチ情報行列の情報）と、操作パーツＤＢ１３に記憶されている形状情報とのマッチングを行うことにより、タッチ形状を解析する（ステップＳＴ２０３）。

そして、マッチングする形状情報があった場合（ステップＳＴ２０４のＹＥＳの場合）、タッチ解析部１２は、既に表示済みの操作パーツがあるか否かを判断し（ステップＳＴ２０５）、既に表示済みの操作パーツがある場合（ステップＳＴ２０５のＹＥＳの場合）には、その表示済みの操作パーツ情報と、ステップＳＴ２０３で解析したタッチ形状情報との組み合わせにより、表示形態の変更を要する操作パーツが操作パーツＤＢ１３に存在するか否かを確認する（ステップＳＴ２０６）。

図９は、この実施の形態２における操作パーツＤＢ１３に記憶されている、ポインティングデバイス１上でのユーザの指の形状情報と、操作パーツと、既にその操作パーツが表示されている場合には表示形態の変更を要する場合の変更後の操作パーツとを紐付けしたモデル情報の一例を示すテーブルである。この図９では、操作パーツを転換表示する場合の例を示している。

そして、ステップＳＴ２０６において、表示形態の変更を要する操作パーツが存在すると判断された場合（ステップＳＴ２０６のＹＥＳの場合）、変更後の操作パーツ情報を出力制御部１４に出力し、出力制御部１４は、取得した操作パーツ情報に該当する操作パーツを操作内容ＤＢ１５から呼び出して、タッチパネルに表示させる（ステップＳＴ２０７）。

一方、ステップＳＴ２０５において既に表示済みの操作パーツがないと判断された場合（ステップＳＴ２０５のＮＯの場合）、または、ステップＳＴ２０６において表示形態の変更を要する操作パーツが存在しないと判断された場合（ステップＳＴ２０６のＮＯの場合）は、実施の形態１における図４のフローチャートのステップＳＴ１０５と同様の処理を行う。すなわち、ステップＳＴ２０４においてマッチング形状ありとされた形状情報と紐づけされている操作パーツ情報を出力制御部１４に出力し、出力制御部１４は、取得した操作パーツ情報に該当する操作パーツを操作内容ＤＢ１５から呼び出して、タッチパネル（ポインティングデバイス１の表示装置２０）に表示させる（ステップＳＴ２０８）。

この状態でさらに、入力処理部１１が、タッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得すると（ステップＳＴ２０９のＹＥＳの場合）、入力処理部１１は、タッチ情報を出力制御部１４に出力する。

出力制御部１４は、取得したタッチ情報が、ステップＳＴ２０７またはステップＳＴ２０８で呼び出した操作パーツに対する操作であるか否かを、操作内容ＤＢ１５を参照することにより判断する（ステップＳＴ２０９）。すなわち、取得したタッチ情報と、ステップＳＴ２０７またはステップＳＴ２０８で呼び出した操作パーツ位置におけるタッチであるか否かというチェックを行うとともに、そのタッチ情報とステップＳＴ２０７またはステップＳＴ２０８で呼び出した操作パーツに該当する操作方法とのマッチングを行うことにより判断する。

そして、操作パーツ位置における当該操作パーツに対する操作であると判断した場合（ステップＳＴ２１０のＹＥＳの場合）、出力制御部１４は、その操作パーツに対応する操作内容をその操作パーツを用いて入力された操作指示情報として取得し、当該操作指示情報に基づいてその操作パーツに対応する実施機能を実行するよう、車載機器２に対して指示を行う（ステップＳＴ２１１）。

一方、操作パーツ位置における当該操作パーツに対する操作ではないと判断した場合（ステップＳＴ２１０のＮＯの場合）は、出力制御部１４は、ステップＳＴ２０９において入力処理部１１から取得したタッチ情報に基づいて、通常のタッチ操作を実行する（ステップＳＴ２１２）。

なお、ステップＳＴ２０２において、一定時間内にリリースがなかった場合（ステップＳＴ２０２のＮＯの場合）は、入力処理部１１がステップＳＴ２０２において取得したタッチ情報を出力制御部１４に出力することにより、通常のタッチ操作が実行される（ステップＳＴ２１２）。

また、ステップＳＴ２０４において、マッチングする形状情報がなかった場合（ステップＳＴ２０４のＮＯの場合）は、タッチ解析部１２から出力制御部１４に操作パーツが出力されないので、出力制御部１４はステップＳＴ２０２において（ＹＥＳの場合に）入力処理部１１から取得した入力情報（タッチ情報行列の情報）に基づいて、通常のタッチ操作を実行する（ステップＳＴ２１２）。

以上のように、この実施の形態２によれば、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことができるだけでなく、タッチを時系列で解釈し、操作パーツの表示形態を変化させることにより、操作の手間が省けるとともに、タッチしにくい形状をタッチしやすい形状で操作パーツを呼び出すことが可能となり、操作しやすくなる。また、間違えて操作パーツをポインティングデバイス１上に呼び出した場合でも、消去した上で所望の操作パーツを呼び出してくれるため、操作性を向上させることができる。

実施の形態３．
この発明の実施の形態３による車載機器制御システムの一例を示すブロック図は、実施の形態１における図１に示すブロック図と同じであるため、図示および説明を省略する。
以下に示す実施の形態３の車載機器制御システムは、実施の形態１の車載機器制御システムと比べると、タッチ操作の操作性をさらに向上させることができるものである。

実施の形態１の車載機器制御システムは、操作パーツが呼び出された後、その操作パーツ上での操作（その操作パーツ位置における操作）により、当該操作パーツに対応する機能を実行させるものであったが、ユーザの視線を注意対象である前方から可能な限り外すことなく行うタッチ操作であるためにユーザの指が多少ずれる場合もあることや、運転に集中するために操作が中断したことにより、ユーザの指が多少ずれる場合がある。

そこで、そのようにユーザの指が多少ずれる場合があることを考慮して、この実施の形態３の車載機器制御システムでは、あらかじめ定められた所定期間内である場合には、呼び出された操作パーツ上とは異なる位置でユーザの指による操作指示があっても、その操作パーツを介した操作指示であると判断するものである。

この実施の形態３における車載機器制御システム１０の動作について、図１０を参照しながら具体的に説明する。図１０は、実施の形態３における車載機器制御システム１０の処理を示すフローチャートである。なお、ここでも、接続される車載機器２はオーディオ装置であるものとする。

ステップＳＴ３０１〜ＳＴ３０５およびＳＴ３０９の処理については、実施の形態１における図４に示したフローチャートのステップＳＴ１０１〜ＳＴ１０５およびＳＴ１０９の処理と同じであるため、説明を省略する。

そして、ステップＳＴ３０５において、操作パーツを呼び出してタッチパネル（ポインティングデバイス１の表示装置２０）に表示させた状態で、さらに、入力処理部１１がタッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得すると（ステップＳＴ３０６のＹＥＳの場合）、入力処理部１１は、タッチ情報を出力制御部１４に出力する。

出力制御部１４は、取得したタッチ情報が、あらかじめ定められた期間（所定期間）におけるステップＳＴ３０５で呼び出した操作パーツに対する操作であるか否かを、操作内容ＤＢ１５を参照することにより判断する（ステップＳＴ３０７）。

ここで、「あらかじめ定められた期間」とは、ユーザの指により操作パーツが呼び出されてから、あらかじめ定められた所定時間が経過するまでの期間、ユーザの指により入力された操作指示情報を取得してから、あらかじめ定められた所定時間が経過するまでの期間、操作パーツ呼び出し時の車速が４ｋｍ／時以下であった場合には、再度車速が４ｋｍ／時以下になっている期間など、ユーザの好みに合わせて適宜設定することができる期間である。

これは、例えば、操作パーツ呼び出し後に、ユーザの視線を注意対象である前方から可能な限り外すことなく行うタッチ操作であるためにユーザの指が多少ずれる場合があることや、運転に集中するために操作が中断したことにより、ユーザの指が多少ずれる場合があることなどを考慮して、操作パーツが呼び出されてから、あらかじめ定められた所定時間が経過するまでの期間や、ユーザの指により入力された操作指示情報を取得してから、あらかじめ定められた所定時間が経過するまでの期間内であれば、呼び出された操作パーツ上とは異なる位置でユーザの指による操作指示があっても、その操作パーツに対する操作指示であると判断するものである。

また、例えば、信号で停車中に操作パーツを呼び出した場合であって、操作指示をする前に信号が青に変わって操作ができなくなった場合などを考慮して、再度信号などで停車して操作可能な状態になった時に行った操作指示を、以前に呼び出した操作パーツに対する操作指示であると判断することができるように、操作パーツ呼び出し時の車速が４ｋｍ／時以下であった場合に、再度車速が４ｋｍ／時以下になっている間には、以前に呼び出した操作パーツ上とは異なる位置で操作指示した場合でも、その操作パーツに対する操作指示であると判断するものである。

なお、この他にも、例えば、操作パーツが呼び出された後、走行距離５００ｍ以内であれば、呼び出された操作パーツ上とは異なる位置でユーザの指による操作指示があっても、その操作パーツに対する操作指示であると判断するなど、あらかじめ定められた期間については、ユーザが適宜設定することができるものである。

すなわち、ステップＳＴ３０７では、ステップＳＴ３０６で取得したタッチ情報が、ステップＳＴ３０５で呼び出した操作パーツ位置で行われたタッチ操作ではなかったとしても、あらかじめ定められた期間（所定期間）であれば、当該操作パーツに対する操作であると判断して、そのタッチ情報と、呼び出した操作パーツに該当する操作方法とのマッチングを行うことにより判断する。

そして、呼び出した操作パーツに対する操作であると判断した場合（ステップＳＴ３０７のＹＥＳの場合）、出力制御部１４は、その操作パーツに対応する操作内容をその操作パーツを用いて入力された操作指示情報として取得し、当該操作指示情報に基づいてその操作パーツに対応する実施機能を実行するよう、車載機器２に対して指示を行う（ステップＳＴ３０８）。

一方、呼び出した操作パーツに対する操作ではないと判断した場合（ステップＳＴ３０７のＮＯの場合）は、出力制御部１４は、ステップＳＴ３０６において入力処理部１１から取得したタッチ情報に基づいて、通常のタッチ操作を実行する（ステップＳＴ３０９）。

このように、操作パーツが呼び出されてから、あらかじめ定められた所定期間である場合には、呼び出された操作パーツ上とは異なる位置で操作指示した場合でも、その操作パーツに対する操作指示であると判断することにより、ユーザの視線を注意対象である前方から可能な限り外すことなく行うタッチ操作の操作性を向上させることができる。

また、図１１は、実施の形態３における車載機器制御システム１０の処理の別の一例を示すフローチャートである。
ステップＳＴ３０１〜ＳＴ３０５およびＳＴ３０７〜ＳＴ３０９の処理については、前述の図１０に示したフローチャートのステップＳＴ３０１〜ＳＴ３０５およびＳＴ３０７〜３０９の処理と同じであるため、説明を省略する。

ステップＳＴ３０５において、操作パーツを呼び出してタッチパネル（ポインティングデバイス１の表示装置２０）に表示させた状態で、さらに、入力処理部１１がタッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得すると（ステップＳＴ３０６のＹＥＳの場合）、入力処理部１１は、タッチ情報を出力制御部１４に出力する。

この際、実施の形態１における図４に示すフローチャートのステップＳＴ１０６、実施の形態２における図８に示すフローチャートのステップＳＴ２０９、前述の図１０に示すフローチャートのステップＳＴ３０６では、入力処理部１１がタッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得するまで待つようになっていたが、この図１１に示すフローチャートでは、操作パーツが呼び出されてから、あらかじめ定められた所定時間が経過するまで（ステップＳＴ３１０のＮＯの場合）はタッチ情報を取得するまで待つが、操作パーツが呼び出されてから、所定時間が経過してもタッチ情報を取得しなかった場合（ステップＳＴ３１０のＹＥＳの場合）は、呼び出された操作パーツをポインティングデバイス１上から消去する（ステップＳＴ３１１）。

これにより、間違えて操作パーツをポインティングデバイス１上に呼び出してしまった場合でも、時間が経てば消去してくれるため、操作性を向上させることができる。

以上のように、この実施の形態３によれば、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことができるだけでなく、操作パーツが呼び出された後、あらかじめ定められた所定期間である場合には、呼び出された操作パーツ上とは異なる位置で操作指示した場合でも、その操作パーツに対する操作指示であると判断することにより、タッチ操作の操作性を向上させることができる。また、間違えて操作パーツをポインティングデバイス１上に呼び出してしまった場合でも、時間が経てば消去してくれるため、操作性を向上させることができる。

なお、上述の実施の形態３では、あらかじめ定められた所定期間の場合には、呼び出された操作パーツ上とは異なる位置で操作指示した場合でも、その操作パーツに対する操作指示であると判断しているため、呼び出された操作パーツ上と操作指示位置とが大きく異なる場合であっても、その操作パーツに対する操作指示であると判断するものであるが、この位置についても、あらかじめ定められた所定範囲内であれば、当該操作パーツに対する操作指示であると判断する、というように条件を付けるようにしてもよい。

この所定範囲については、例えば、操作パーツ単体を矩形で囲んだ場合に、各辺を２倍に拡張した範囲と定義してもよいし、複数の操作パーツが存在する場合は、干渉する領域を等分に分配した範囲を、各操作パーツの操作範囲とみなすようにしてもよい。

なお、この実施の形態３は、実施の形態１と比較して説明したが、実施の形態２においても、この実施の形態３で説明したように、所定期間であれば、呼び出された操作パーツ上とは異なる位置で操作指示した場合でも、その操作パーツに対する操作指示であると判断するようしてもよいことは、言うまでもない。

実施の形態４．
図１２は、この発明の実施の形態４による車載機器制御システム４０の一例を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。

以下に示す実施の形態４の車載機器制御システム４０は、実施の形態１〜３における車載機器制御システム１０と比べると、既に表示されている操作パーツとは異なる機能の操作パーツを呼び出すためのトリガーを受信するトリガー受信部１６をさらに備えるものである。
なお、この実施の形態４における図１２に示す車載機器制御システム４０には、マイク３が接続されており、トリガー受信部１６は音声認識処理部１７により構成されている。

音声認識処理部１７は、ユーザの発話音声を取得して認識するものであり、音声認識辞書（図示せず）を有し、マイク３により集音された音（ユーザにより発話された音声）をＡ／Ｄ変換して、例えばＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）形式で取得し、音声の特徴量と音声認識辞書（図示せず）とを照合することによって音声認識処理を行う。ここで、音声認識処理としては、例えばＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌのような一般的な方法を用いて行えばよい。

そして、音声認識処理部１７は、マイク３から取得した音声を音声認識辞書（図示せず）を用いて音声認識処理した結果を、音声認識用操作パーツデータベース（音声認識用操作パーツＤＢ）１８に保存されている音声情報とマッチングを行い、マッチングした場合の操作パーツ情報を出力制御部１４に出力する。

音声認識用操作パーツＤＢ１８は、操作パーツを呼び出すためにユーザが発話することが想定される音声情報と、操作パーツとを紐付けしたモデル情報が記憶されているデータベースである。
図１３は、実施の形態４における音声認識用操作パーツＤＢ１８に記憶されている、音声情報と操作パーツとを紐付けしたモデル情報の一例を示すテーブルである。

図１３に示すように、例えば、音声認識処理部１７が音声認識処理した音声情報が「ダイヤル」または「コマンダ」である場合には、操作パーツとして回転ダイヤルが紐付けられ、音声情報が「上ボタン」「下ボタン」である場合には、操作パーツとして上ボタン、下ボタンが紐付けられ、音声情報が「縦型スライダー」「横型スライダー」の場合には、操作パーツとして縦型スライダー、横型スライダーが紐付けられている。また、音声情報が「マウス」である場合には、操作パーツとしてマウスが紐付けられ、音声情報が「入力窓」である場合には、操作パーツとして手書き入力窓が紐付けられている。

そして、出力制御部１４は、トリガー受信部１６がトリガーを受信した場合、ここでは、音声認識処理部１７が取得した音声の特徴量と音声認識辞書とを照合した結果、音声認識用操作パーツＤＢ１８に保存されている音声情報とマッチングした場合、呼び出す操作パーツを、既に表示されている操作パーツとは異なる機能の操作パーツに変更する。

次に、このように構成された実施の形態４における車載機器制御システム４０の動作について、図１４を参照しながら具体的に説明する。図１４は、実施の形態４における車載機器制御システム４０の処理を示すフローチャートである。なお、ここでも、接続される車載機器２はオーディオ装置であるものとする。

まず、基本的には、実施の形態１における図４（または、実施の形態２，３における図８，図１０，図１１）に示すフローチャートと同様の処理が行われるが、これについては図示および説明を省略する。そして、これらの基本的な処理によって、操作パーツが呼び出されて表示されている状態であるものとして、以降の処理について説明する。

音声認識処理部１７は、マイク３から音声を取得すると（ステップＳＴ４０１のＹＥＳの場合）、音声認識辞書（図示せず）を用いて音声認識処理を行う（ステップＳＴ４０２）。
そして、マッチングする音声情報があった場合（ステップＳＴ４０３のＹＥＳの場合）、音声認識処理部１７は、その音声情報と紐づけされている操作パーツ情報を出力制御部１４に出力し、出力制御部１４は、取得した操作パーツ情報に該当する操作パーツを操作内容ＤＢ１５から呼び出して、タッチパネル（ポインティングデバイス１の表示装置２０）に表示させる（ステップＳＴ４０４）。

この状態で、入力処理部１１が、タッチパネル（ポインティングデバイス１）からタッチ情報（タッチＩＤおよびタッチ位置座標）を取得すると（ステップＳＴ４０５のＹＥＳの場合）、入力処理部１１は、そのタッチ情報を出力制御部１４に出力する。

出力制御部１４は、取得したタッチ情報のタッチ位置が、ステップＳＴ４０４で呼び出した表示させた操作パーツの中心位置になるように、操作パーツの位置を移動させる、すなわち、操作パーツ位置制御を行う（ステップＳＴ４０６）。

さらに、出力制御部１４は、取得したタッチ情報が、ステップＳＴ４０４で呼び出した操作パーツに対する操作（操作方法）であるか否かを、操作内容ＤＢ１５を参照することにより判断する（ステップＳＴ４０７）。すなわち、取得したタッチ情報とステップＳＴ４０４で呼び出した操作パーツに該当する操作方法とのマッチングを行うことにより判断する。

そして、当該操作パーツに対する操作であると判断した場合（ステップＳＴ４０７のＹＥＳの場合）、出力制御部１４は、その操作パーツに対応する操作内容をその操作パーツを用いて入力された操作指示情報として取得し、当該操作指示情報に基づいてその操作パーツに対応する実施機能を実行するよう、車載機器２に対して指示を行う（ステップＳＴ４０８）。

一方、当該操作パーツに対する操作ではないと判断した場合（ステップＳＴ４０７のＮＯの場合）は、出力制御部１４は、ステップＳＴ４０５において入力処理部１１から取得したタッチ情報に基づいて、通常のタッチ操作を実行する（ステップＳＴ４０９）。

このように、既に表示されている操作パーツとは異なる操作パーツを呼び出すためのトリガーを受信するトリガー受信部１６（この実施の形態４では、音声認識処理部１７）が、そのトリガーである音声を取得して認識することにより、ユーザが運転中であってハンドルから手を離すことができない状態であったとしても、音声により簡単に異なる操作パーツを呼び出して表示させることができ、画面を直接遷移させることが可能となる。

なお、この実施の形態４では、トリガー受信部１６が音声認識処理部１７であるものとして説明したが、この他にも、様々なトリガーが考えられる。例えば、ポインティングデバイス１が図６に示すような大画面からなる表示装置２０を備えているような場合には、ポインティングデバイス１上の上半分の領域や下半分の領域など、トリガーを受け付けるための領域があらかじめ定められている場合に、そのあらかじめ定められた領域でユーザの指による操作指示が行われたことをトリガーとして、現在の操作パーツとは異なる機能の操作パーツを呼び出すようにしてもよい。

例えば、現在の操作パーツがカーナビゲーション装置に対応する操作パーツであった場合に、ポインティングデバイス１上の下半分の領域で操作された場合には、カーナビゲーション装置に対応する機能の操作パーツのままであるが、ポインティングデバイス１上の上半分の領域で操作された場合には、エアコン装置に対応する機能の操作パーツになるなど、現在の操作パーツとは異なる機能の操作パーツが呼び出されるようになる。

すなわち、トリガー受信部１６は、ポインティングデバイス１上のあらかじめ定められた領域でユーザの指による操作指示が行われた場合に、現在の操作パーツとは異なる機能の操作パーツを呼び出すトリガーであると判断する。
これにより、同じタッチ形状、または、同じタッチ形状および遷移情報であったとしても、複数種類の操作パーツを呼び出すことができる。

以上のように、この実施の形態４によれば、車両の運転中であっても、ユーザの視線を注意対象である前方から可能な限り外すことなく、かつ、簡単にタッチ操作を行うことができるだけでなく、基本的には実施の形態１〜３による操作パーツの呼び出しを行った上で、既に表示されている操作パーツとは異なる操作パーツを呼び出すためのトリガー受信部１６を備えたことにより、異なる操作パーツを呼び出したい場合に、ユーザが運転中であってハンドルから手を離すことができない状態であったとしても、簡単に異なる操作パーツを呼び出して表示させることができる。また、同じタッチ形状、または、同じタッチ形状および遷移情報であったとしても、複数種類の操作パーツを呼び出すことができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明の車載機器制御システムは、ユーザが操作可能なポインティングデバイスと接続されるとともに、例えば、カーナビゲーション装置、エアコン装置、オーディオ装置など、車両に搭載された各種車載機器に接続され、それらの車載機器の制御を行うものである。また、車載機器制御システム自体がそれらの車載機器に組み込まれていてもよいし、この車載機器制御システムをネットワーク上のサーバとして構成してもよい。

１ ポインティングデバイス（タッチパネル、タッチパッド）、２ 車載機器、３ マイク、１０，４０ 車載機器制御システム、１１ 入力処理部、１２ タッチ解析部、１３ 操作パーツデータベース（操作パーツＤＢ），１４ 出力制御部、１５ 操作内容データベース（操作内容ＤＢ）、１６ トリガー受信部、１７ 音声認識処理部、１８ 音声認識用操作パーツデータベース（音声認識用操作パーツＤＢ）、２０ 表示装置、２１ 表示装置２０のメイン画面、２２ 表示装置２０の左下のメニュー画面、２３ 表示装置２０の右下のメニュー画面。

Claims (15)

1. ポインティングデバイス上に操作指示の入力可能な操作パーツを呼び出し、当該操作パーツを介してユーザの指により入力された操作指示情報に基づいて、車両に搭載された車載機器の操作を制御する車載機器制御システムであって、
   前記ポインティングデバイスと前記ユーザの指の複数の接触点を結んだ形状、または、当該形状と前記ポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる形状情報を入力情報として出力する入力処理部と、
   前記操作パーツが紐付けられ、前記ユーザの指の複数の接触点を結んだ形状、または、当該形状と前記ポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる、あらかじめ設定された形状情報と、前記入力処理部から取得した入力情報との類似度に基づいて、前記入力情報に対応する前記操作パーツを出力するタッチ解析部と、
   前記タッチ解析部によって出力された操作パーツを呼び出して前記ポインティングデバイスに出力するとともに、当該操作パーツを介して前記ユーザの指により入力された操作指示情報を取得し、前記取得した操作指示情報に基づいて前記車載機器の操作を制御する出力制御部とを備え、
   前記ポインティングデバイスは、表示装置を備えており、
   前記タッチ解析部は、前記入力情報として複数回の同一の前記形状情報を取得した場合、当該形状情報に紐付けられた前記操作パーツの表示形態を変更して出力する
   ことを特徴とする車載機器制御システム。
2. ポインティングデバイス上に操作指示の入力可能な操作パーツを呼び出し、当該操作パーツを介してユーザの指により入力された操作指示情報に基づいて、車両に搭載された車載機器の操作を制御する車載機器制御システムであって、
   前記ポインティングデバイスと前記ユーザの指の複数の接触点を結んだ形状、または、当該形状と前記ポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる形状情報を入力情報として出力する入力処理部と、
   前記操作パーツが紐付けられ、前記ユーザの指の複数の接触点を結んだ形状、または、当該形状と前記ポインティングデバイス上でのユーザの指の遷移情報、のいずれかからなる、あらかじめ設定された形状情報と、前記入力処理部から取得した入力情報との類似度に基づいて、前記入力情報に対応する前記操作パーツを出力するタッチ解析部と、
   前記タッチ解析部によって出力された操作パーツを呼び出して前記ポインティングデバイスに出力するとともに、当該操作パーツを介して前記ユーザの指により入力された操作指示情報を取得し、前記取得した操作指示情報に基づいて前記車載機器の操作を制御する出力制御部とを備え、
   前記出力制御部は、前記ポインティングデバイスと前記ユーザの指の複数の接触点を結んだ形状のサイズに応じて、前記操作パーツのサイズを決定する
   ことを特徴とする車載機器制御システム。
3. 前記出力制御部は、前記表示装置の表示画面に基づいて、または、前記ポインティングデバイス上で前記ユーザの指が接触した位置における表示画面に基づいて、前記呼び出された操作パーツに対応する前記操作指示情報を動的に変更する
   ことを特徴とする請求項１記載の車載機器制御システム。
4. 前記ポインティングデバイスは、表示装置を備えており、
   前記出力制御部は、前記表示装置の表示画面に基づいて、または、前記ポインティングデバイス上で前記ユーザの指が接触した位置における表示画面に基づいて、前記呼び出された操作パーツに対応する前記操作指示情報を動的に変更する
   ことを特徴とする請求項２記載の車載機器制御システム。
5. 前記表示形態の変更とは、前記操作パーツの重畳表示である
   ことを特徴とする請求項１記載の車載機器制御システム。
6. 前記表示形態の変更とは、前記操作パーツの転換表示である
   ことを特徴とする請求項１記載の車載機器制御システム。
7. 前記出力制御部は、あらかじめ定められた期間内である場合は、前記呼び出された操作パーツとは異なる位置で前記ユーザの指による操作指示があっても、当該操作パーツを介した操作指示であると判断する
   ことを特徴とする請求項１または請求項２記載の車載機器制御システム。
8. 前記あらかじめ定められた期間は、前記操作パーツが呼び出されてから、あらかじめ定められた時間が経過するまでの期間である
   ことを特徴とする請求項７記載の車載機器制御システム。
9. 前記あらかじめ定められた期間は、前記出力制御部が前記ユーザの指により入力された操作指示情報を取得してから、あらかじめ定められた時間が経過するまでの期間である
   ことを特徴とする請求項７記載の車載機器制御システム。
10. 前記出力制御部は、前記操作パーツが呼び出されてから、あらかじめ定められた時間が経過した場合、当該呼び出された操作パーツを前記ポインティングデバイス上から消去する
    ことを特徴とする請求項７記載の車載機器制御システム。
11. 前記表示装置に表示されている操作パーツとは異なる機能の操作パーツを呼び出すためのトリガーを受信するトリガー受信部をさらに備え、
    前記出力制御部は、前記トリガー受信部が前記トリガーを受信した場合、呼び出す操作パーツを、前記表示装置に表示されている操作パーツとは異なる機能の操作パーツに変更する
    ことを特徴とする請求項１記載の車載機器制御システム。
12. 前記ポインティングデバイスは、表示装置を備えており、
    前記表示装置に表示されている操作パーツとは異なる機能の操作パーツを呼び出すためのトリガーを受信するトリガー受信部をさらに備え、
    前記出力制御部は、前記トリガー受信部が前記トリガーを受信した場合、呼び出す操作パーツを、前記表示装置に表示されている操作パーツとは異なる機能の操作パーツに変更する
    ことを特徴とする請求項２記載の車載機器制御システム。
13. 前記トリガー受信部は、前記ユーザの発話音声を取得して認識する音声認識処理部である
    ことを特徴とする請求項１１または請求項１２記載の車載機器制御システム。
14. 前記トリガー受信部は、前記ポインティングデバイス上のあらかじめ定められた領域で前記ユーザの指による操作指示が行われたことを、前記トリガーとして受信する
    ことを特徴とする請求項１１または請求項１２記載の車載機器制御システム。
15. 前記ポインティングデバイスは、車両のダッシュボードからセンターコンソールまで伸びた表示装置を備えている
    ことを特徴とする請求項１または請求項２記載の車載機器制御システム。

Images