JP7183975B2 - 入力装置 - Google Patents

Description

本発明は、タッチ操作およびジェスチャ操作が可能な入力装置に関する。

従来、操作者がタッチパネルに指を接触させた状態で行うタッチ操作、または操作者がタッチパネルから指を離した状態で行うジェスチャに基づくジェスチャ操作を実行可能な構成とされた入力装置としては、例えば特許文献１に記載のものが提案されている。

なお、本明細書において「ジェスチャ」とは、例えば、操作者が指を上下左右などの所定の一方向に動かす、または指を時計回りもしくは反時計回りに動かすといった簡単な動作を意味する。また、「ジェスチャ操作」とは、タッチ操作が行われていない状況にて、操作者のジェスチャに基づいて行われる入力操作を意味する。

この入力装置は、表示部に重畳配置されたタッチパネルと、操作者がジェスチャ操作を行う際の当該操作者の身体形状を画像データとして取り込む身体形状入力部と、当該画像データに基づいてジェスチャ操作を認識し、入力制御を行う制御部とを備える。この入力装置は、例えば車両に搭載されるディスプレイなどに適用され、操作者と表示部との相対位置の変化が所定の範囲内に制限されている状況において、操作者が表示部の全域において、タッチ操作またはジェスチャ操作が可能な構成である。

国際公開第２０１３／１３６７７６号

ところで、この種の入力装置では、操作者が姿勢や表示部に対する相対位置などを大きく変えないとその全域をタッチ操作できないほどに表示部を大面積化したいとのニーズが存在する。

しかしながら、例えば車載用途のように、表示部と操作者との相対位置の変化が所定の範囲内に制限された状況においては、操作者は、表示部のうち一部の領域しかタッチ操作をすることができない。このような状況では、表示部のうち操作者がタッチ操作できない領域については、非接触でのジェスチャ操作により各種の入力操作を可能にすることが求められる。

また、この状況において、操作者が、表示部のうちタッチ操作をすることが可能な第１の領域からタッチ操作ができない第２の領域、すなわち操作者の指が届かない領域に跨って所定の入力操作をすることが想定される。この場合、操作性を向上させるためには、タッチ操作に続けてジェスチャ操作を行う際に、これらの操作の切り替えをスムーズに行い、連続した操作が可能な構成とする必要がある。特許文献１に記載の入力装置は、表示部の面積が小さいため、このような操作系のスムーズな切り替えが考慮された構成となっていない。

本発明は、上記の点に鑑み、所定以上の面積とされた表示部に対する入力操作に用いられ、タッチ操作とジェスチャ操作とのスムーズな切り替えが可能な構成とされた入力装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の入力装置は、所定以上の面積とされた表示部（１０）に対して重畳配置されたタッチパネル（１１）と、操作者の身体形状を撮像する撮像部（２１）が取得した画像データに基づいて、操作者のジェスチャを認識し、ジェスチャに応じた信号を出力するジェスチャ認識部（１２）と、タッチパネルからの出力信号に基づくタッチ操作による入力制御、およびジェスチャ認識部からの出力信号に基づくジェスチャ操作による入力制御を行う制御部（１７）と、タッチ操作により得られるタッチ座標の座標データを、ジェスチャ操作による入力制御において用いられるジェスチャ座標であって、タッチ座標の座標データに対応する座標データと共に、一組の座標データとして記憶する記憶部（１３）と、ジェスチャ座標の補正を行う補正部（１７１）と、を備え、制御部は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行し、補正部は、タッチ操作による入力制御時に、二以上の一組の座標データに基づきジェスチャ座標の補正を行う。

これにより、タッチ操作中にタッチ座標とこれに対応するジェスチャ座標の座標データを一組の座標データとして記憶し、二以上の一組の座標データに基づき、タッチ操作中にジェスチャ座標の補正を行う構成の入力装置となる。そのため、タッチ操作中に、ジェスチャ座標とタッチ座標との位置ズレを抑制することができ、任意のタイミングでタッチ操作からジェスチャ操作に切り替わっても、スムーズに操作系の切り替えが可能な構成となる。

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

第１実施形態の入力装置を有する車載装置の構成を示すブロック図である。 図１の車載装置の搭載例を説明するための説明図である。 図１の車載装置のうちタッチパネルの第１領域および第２領域の区画例を示す図である。 タッチパネルをタッチ操作中の様子および表示部におけるポインタの表示を示す図である。 図４Ａに続くジェスチャ操作の様子および表示部におけるポインタの表示を示す図である。 タッチ操作およびジェスチャ操作におけるポインタの表示例を示す図である。 タッチ操作およびジェスチャ操作において選択されたコンテンツの表示例を示す図である。 タッチ操作からジェスチャ操作への切り替えにおける座標系の切り替えの一例を説明するための説明図である。 図７に示す座標系の切り替え時におけるポインタ表示の変化の一例を示す図である。 図７に示す座標系の切り替え時におけるポインタ表示の変化の他の一例を示す図である。 タッチ操作からジェスチャ操作への切り替えにおける座標系の切り替えの他の一例を説明するための説明図である。 第１領域に表示されているアイコンを第２領域に移動する操作の例を示す図である。 図１１の操作に対応する処理動作の一例を示すフローチャートである。 図１２の処理動作の変形例であって、その変形した部分に係る一部を示すフローチャートである。 図１２の処理動作の他の変形例であって、その変形した部分に係る一部を示すフローチャートである。 図１２の処理動作の他の変形例であって、その変形した部分に係る一部を示すフローチャートである。 第２実施形態の入力装置を有する車載装置の構成を示すブロック図である。 第１実施形態の入力装置において、ジェスチャ座標への切り替えがされた場合でのジェスチャ座標の補正について説明するための説明図である。 第２実施形態の入力装置におけるジェスチャ座標の補正について説明するための説明図である。 第２実施形態の入力装置における補正の処理動作の一例を示すフローチャートである。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。

（第１実施形態）
第１実施形態に係る入力装置について説明する。本明細書では、例えば、図１に示すように自動車などの車両に搭載される車載装置１として適用された場合を代表例として説明するが、この用途に限定されるものではない。

車載装置１は、例えば図１に示すように、表示部１０と、タッチパネル１１と、ジェスチャ認識部１２と、記憶部１３と、音声認識部１４と、音声合成部１５と、通信部１６と、制御部１７とを有してなる。車載装置１は、例えば図２に示すように、車両ＶのサイドウィンドウＶ１に表示部１０が搭載されたサイドウィンドウディスプレイとされ得る。この車載装置１は、乗員、すなわち操作者が表示部１０に対してタッチ操作およびジェスチャ操作が可能な構成となっている。

なお、図２は、紙面左右方向を車両Ｖの進行可能な方向に沿った「車両全長方向」とし、紙面上において車両全長方向に直交する方向を「車幅方向」として、これらのなす平面に対する法線方向から車室内を見たときの平面図に相当する。図２では、車両全長方向において、座席Ｖ２、Ｖ３に着座した乗員が向き合う状態とされると共に、座席Ｖ２、Ｖ３に隣接するサイドウィンドウＶ１に表示部１０が搭載された状態を示している。そして、図２に示す例では、座席Ｖ２またはＶ３に着座した乗員が、着座した状態のままサイドウィンドウディスプレイとされた車載装置１の入力操作が可能な状況となっている。

表示部１０は、各種の映像等を表示する任意のディスプレイである。表示部１０は、図２に示すようにサイドウィンドウディスプレイとされる場合には、透明ディスプレイ、例えば有機ＥＬ（エレクトロルミネッセンスの略）ディスプレイとされる。表示部１０は、サイドウィンドウディスプレイへの適用に限られないが、映像等が表示される表示面が、少なくとも操作者が移動しないとその全域を触れることができない程度の所定以上の面積とされている。

タッチパネル１１は、表示部１０のうち表示面に対して重畳配置された透明体であり、操作者によるタッチ操作に用いられる。タッチパネル１１は、表示部１０に表示される映像等を透過させると共に、タッチパネル１１のうち表示部１０とは反対側の一面における操作者の接触箇所に応じた信号を出力する。タッチパネル１１は、例えば、静電容量式とされ、複数の第１電極と複数の第２電極とが格子状に配列されると共に、任意の絶縁性材料により覆われてなる。この場合、タッチパネル１１は、一面に指等の操作体が置かれたときに、一面における当該操作体の位置に応じて静電容量が変化する構成とされ、当該静電容量の信号を出力する構成とされる。タッチパネル１１が出力する操作体の位置に応じた信号は、例えば、後述する制御部１７に出力され、表示部１０に表示された操作アイコン等に割り当てられた所定の車載機器等への入力操作に用いられる。

なお、タッチパネル１１は、一面に指等の操作体が置かれたときに、その位置に応じた信号を出力する構成であればよく、静電容量式に限定されず、感圧式などの他の任意の方式とされてもよい。

表示部１０およびタッチパネル１１は、操作者との相対位置の変化が所定以下に制限された状況において、当該操作者が、手が届くことによりタッチ操作が可能な領域と、手が届かないことでタッチ操作ができない領域とを有する所定以上の大きさとされる。

以下、説明の便宜上、図３に示すように、上記した状況において、タッチパネル１１のうち操作者の手が届き、タッチ操作が可能な領域、すなわち接触可能な領域を「第１領域１１１」と称することがある。また、同状況において、タッチパネル１１のうち操作者の手が届かないためにタッチ操作ができない領域を「第２領域１１２」と称することがある。

なお、図３では、第１領域１１１と第２領域１１２との境界を便宜的に破線で示しているが、これらの区画について便宜的なものであり、明確な境界が存在するわけではない。また、第２領域１１２は、指などの操作体が接触した場合には、その接触された位置に応じた信号を出力する構成となっており、操作者が移動したり、体勢を変えたりした場合にはタッチ操作も可能な領域である。つまり、タッチパネル１１における第１領域１１１および第２領域１１２は、タッチパネル１１のサイズ、操作者の位置、姿勢や体格等の諸条件によりその面積や位置等が変化する。

ジェスチャ認識部１２は、撮像部２１から取得した画像データに基づいて、操作者の手や指等を用いたジェスチャを三次元的に認識する。ジェスチャ認識部１２は、例えば、所定の一方向への指のスライドや回転といった各種のジェスチャを認識すると共に、各種のジェスチャに応じた信号を制御部１７へ出力する。このジェスチャに応じた信号は、例えば、操作者の手が届ない第２領域１１２における非接触のジェスチャ操作に用いられるが、第１領域１１１におけるジェスチャ操作にも用いられ得る。

撮像部２１は、操作者がジェスチャ操作を行う際の当該操作者の手や指などの身体形状であって、ジェスチャに用いる部分を撮像するカメラである。撮像部２１は、例えば、可視光カメラ、近赤外カメラ、赤外線カメラ等の任意のカメラとされる。撮像部２１は、例えば図１に示すように、車載装置１とは別体とされると共に、図示しない配線等により車載装置１に電気的に接続される。撮像部２１で取得した画像データは、ジェスチャ認識部１２に伝送され、操作者のジェスチャの特定に用いられる。

なお、撮像部２１は、操作者の指等を撮像できる位置に設置されていればよく、例えば図２に示すように、車両Ｖの車室内における天井等の任意の箇所に設置される。

記憶部１３には、例えば、表示部１０に表示される操作アイコン等に係る情報、車載装置１の動作制御や車載機器等の機能を実行するための各種プログラムが格納されている。記憶部１３は、例えば、不図示のＲＯＭ、ＲＡＭや不揮発性ＲＡＭ等により構成される記憶媒体である。

音声認識部１４は、例えば、車両Ｖに搭載されるマイク２２から取得した音声データに基づき、操作者による発話等を認識する。音声認識部１４は、例えば、車載装置１とは別体のマイク２２からの音声データに応じた信号を制御部１７に出力する。音声認識部１４から出力された信号は、音声入力等に用いられる。

マイク２２は、操作者による発話等の音声が入力される任意の音声装置である。マイク２２は、操作者による音声が入力される位置に配置されていればよく、車両Ｖの車室内における任意の位置に設置される。

音声合成部１５は、例えば、車載装置１とは別体のスピーカ２３を介して音声によるメッセージ等を通知する際の音声を合成する。音声合成部１５は、例えば、制御部１７から操作者へのメッセージ等に関するテキストデータが伝送され、当該テキストデータに応じた音声信号をスピーカ２３に出力する。

スピーカ２３は、例えば、音声合成部１５から出力された音声信号に基づき、音声を出力する。スピーカ２３は、操作者等がスピーカ２３から出力される音声を聞き取ることができる箇所に搭載されていればよく、車両Ｖの任意の位置に設置される。

通信部１６は、車両Ｖに搭載される任意の車載機器と不図示のネットワーク配線等を介して接続されており、制御部１７と車載機器との通信に用いられる。

なお、車載機器としては、例えば図１に示すように、通信機器２４、ナビゲーション装置２５、オーディオ装置２６、カーエアコン２７や車両ＥＣＵ（Electronic Control Unitの略）２８等が挙げられるが、これらに限定されない。通信機器２４は、例えばインターネットなどの外部ネットワークとの通信用であってもよいし、車両Ｖ内にある車載機器とは異なる他の電子機器との通信用であってもよい。

制御部１７は、例えば、回路配線を備える不図示の基板上にＣＰＵ等が搭載されてなる電子制御ユニットであり、記憶部１３に格納された各種プログラムを読み込んで実行する。制御部１７は、タッチパネル１１からの出力信号に基づいて、タッチパネル１１のうち操作者の指が接触もしくは近接した位置を算出する。制御部１７は、ジェスチャ認識部１２からの出力信号に基づいて、タッチパネル１１のうち操作者のジェスチャ操作に対応する位置を算出する。制御部１７は、音声認識部１４からの出力信号に基づいて、操作者の発話を特定し、必要に応じて音声合成部１５や車載機器への信号を出力する。制御部１７は、各種の映像等を表示部１０に表示させる制御を行うと共に、表示部１０に表示された操作アイコンに割り当てられたコンテンツを実行させるため、通信部１６を介して車載機器への出力を行う。また、制御部１７は、例えば、操作アイコン等に関連付けられた機能やジェスチャ認識部１２が認識したジェスチャに対応する機能を実行する。

つまり、制御部１７は、タッチパネル１１からの出力信号に基づくタッチ操作による入力制御、およびジェスチャ認識部１２からの出力信号に基づくジェスチャ操作による入力制御を行う。そして、制御部１７は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御を行うように、その切り替えを実行する構成とされている。

以上が、入力装置が適用される車載装置１の基本的な構成である。この車載装置１は、例えば、タッチパネル１１が信号を制御部１７に出力している場合には、タッチ操作が行われ、タッチパネル１１が信号を制御部１７に出力していない場合には、ジェスチャ操作が行われ得る構成とされている。

（操作系の切り替え）
次に、車載装置１におけるタッチ操作とジェスチャ操作との切り替えについて、図４Ａ、図４Ｂに示す操作を代表例として説明する。

図４Ａ、図４Ｂでは、断面を示すものではないが、見易くするため、操作者の操作位置に対応する位置を示すものとして表示部１０に表示されるポインタＰにハッチングを施している。また、図４Ａ、図４Ｂでは、タッチパネル１１のうち操作者による接触操作が可能な面を操作面１１ａとして、操作面１１ａのタッチ操作またはジェスチャ操作を行う操作者の頭上から見た、いわば「平面視」したときの状況を示している。さらに、図４Ａ、図４Ｂでは、操作面１１ａに対する法線方向、すなわち操作面法線方向から表示部１０およびタッチパネル１１を見た、いわば「側面視」した状況を示している。図４Ｂでは、分かり易くするため、タッチパネル１１から所定以上離れた操作者の手を破線で示している。

操作者が図４Ａに示すようにタッチパネル１１の操作面１１ａのうち第１領域１１１の任意の位置に一本の指を置き、その後、図４Ｂに続くように第２領域１１２にポインタＰをジェスチャ操作で移動させる操作を行った場合について説明する。

図４Ａに示すように、操作者が第１領域１１１の任意の場所に指を置いた場合、制御部１７は、表示部１０のうち操作者が指を置いた場所に相当する箇所にポインタＰを表示させる制御を行う。操作者がタッチパネル１１の操作面１１ａに触れたまま、第２領域１１２に向かって指をスライドさせると、制御部１７の制御により、この指の位置に連動してポインタＰが移動する。

ポインタＰを表示部１０のうち第１領域１１１に相当する位置から第２領域１１２に相当する位置に移動させる場合、図４Ｂに示すように、操作者は、タッチパネル１１から指を離して、引き続き、非接触のジェスチャ操作を行うことになる。制御部１７は、例えば、操作者がタッチパネル１１から指を離したタイミングでタッチ操作からジェスチャ操作への切り替えを実行する。

なお、ジェスチャ操作時においては、撮像部２１は、操作者の動きを撮影し、指の動きや形状を画像データとして生成し、ジェスチャ認識部１２にデータを出力する。その後、ジェスチャ認識部１２は、指の動きや向きに対応する信号を制御部１７に出力する。そして、制御部１７は、例えば、ジェスチャ認識部１２により認識された指のなす直線と表示部１０との交点にポインタＰを表示させる制御を行う。また、撮像部２１による撮像およびジェスチャ認識部１２への信号出力、並びにジェスチャ認識部１２から制御部１７への信号出力については、ジェスチャ操作時だけでなく、タッチ操作時においても行われてもよい。

タッチ操作とジェスチャ操作との切り替えについては、例えば、「タッチパネル１１からの信号出力の有無」、「タッチパネル１１からの出力信号の強度」や「タッチ座標とジェスチャ座標との差」などに基づいて行われる。以下、タッチ操作とジェスチャ操作との切り替えを単に「操作系の切り替え」と称する。

具体的には、例えば、タッチパネル１１が感圧式などの指等の操作体が接触した場合にのみ信号を出力する構成である場合には、制御部１７は、タッチパネル１１からの信号の出力、すなわちタッチ座標の出力がある場合にはタッチ操作に基づく制御を行う。この場合において、タッチパネル１１からの信号出力、すなわちタッチ座標の出力がないときには、制御部１７は、ジェスチャ操作に基づく制御へと切り替える。

なお、ここでいう「タッチ座標」とは、タッチパネル１１からの信号に関連付けられ、タッチ操作時に用いられる座標系である。「ジェスチャ座標」とは、ジェスチャ認識部１２からの信号に関連付けられ、主にジェスチャ操作時に用いられる座標系である。ジェスチャ座標は、タッチ座標におけるタッチ位置にも関連付けられると共に、タッチ操作からジェスチャ操作への切り替え時にスムーズに座標系の切り替えができるように、タッチ操作中にも内部処理がされている。

操作系の切り替えは、タッチパネル１１からの出力信号の有無に代わって、タッチパネル１１からの出力信号の強度に応じて行われてもよい。具体的には、タッチパネル１１が静電センサ等のように操作者の指等の操作体が操作面１１ａと所定の距離内に近づいた場合に感度が高くなる、すなわち出力信号が大きくなる構成である場合には、操作系の切り替えは、この出力信号の強度により行われてもよい。より具体的には、操作者の指が操作面１１ａに触れているか、または所定の距離以内にある場合、タッチパネル１１からの出力信号が所定以上の強度となるため、制御部１７は、出力信号が当該閾値以上であれば、タッチ操作に基づく制御を行う。一方、タッチパネル１１からの出力信号が当該閾値未満であるときには、制御部１７は、タッチ操作からジェスチャ操作へ切り替える。

操作者の違和感を低減し、より滑らかにするためには、操作系の切り替えは、例えば、タッチ座標とジェスチャ座標との差に基づいて行われてもよい。

具体的には、例えば、ポインタＰを所定の距離だけタッチ操作により移動させた場合について検討する。

タッチ座標における操作位置は、操作者がタッチパネル１１に接触した際にタッチパネル１１から出力される信号に基づいて算出される。そのため、タッチ座標におけるポインタＰの移動量は、実際の操作者の指の移動量との差がほとんどない。

一方、ジェスチャ座標における操作位置は、ジェスチャ認識部１２からの出力信号に基づいて算出される。例えば、操作者の指のなす直線と表示部１０との交点がジェスチャ座標における操作位置として算出され、その操作位置の座標の変化量がジェスチャ座標における移動量となる。つまり、ジェスチャ座標における移動量は、操作者の指との物理的な接触によらずに算出される仮想的な数値であり、タッチ座標における移動量に比べて、実際の操作者の指の移動量との差が大きい。そして、タッチ座標における移動量とジェスチャ座標における移動量との差は、操作者によるポインタＰの移動量が大きいほど大きくなる。

したがって、表示部１０と操作者との相対位置の変化量が所定以下に制限されている状況においては、第１領域１１１内におけるポインタＰの移動操作では、操作者の指の移動量が小さく、各座標における移動量の差は小さい。一方、同じ状況において、第２領域１１２にポインタＰを移動させる場合、操作者の指の移動量が大きくなり、各座標における移動量の差は大きくなる。

そこで、タッチ座標における移動量とジェスチャ座標における移動量との差に閾値を設け、制御部１７は、これらの移動量の差が所定の閾値以上の場合には、タッチ操作のままとし、タッチ操作に基づく入力制御を行ってもよい。逆に、これらの移動量の差が所定の閾値未満の場合には、制御部１７は、タッチ操作からジェスチャ操作に切り替え、タッチ操作に基づく入力制御を行ってもよい。このような操作系の切り替えとすることにより、タッチ操作からジェスチャ操作への切り替え時に、座標差によるポインタＰの位置ズレ（後述）を所定以下に抑えることができ、操作系のスムーズな切り替えを実行できる。つまり、両座標における移動量が所定の閾値以上の状態でタッチ操作からジェスチャ操作に切り替わると、ポインタＰの表示位置が大きくずれてしまい違和感を覚えるため、上記の操作系の切り替え条件とすることでこのような事態を防止できる。

なお、操作系の切り替えに用いられる出力信号の強度や両座標の差における閾値は、例えば記憶部１３に格納され、必要に応じて制御部１７により読み込まれる。また、操作系の切り替えにおいては、タッチパネル１１からの出力信号の強度と、両座標における移動量の差とを組み合わせてもよい。例えば、タッチパネル１１からの出力信号の強度が閾値以上、かつ両座標における移動量が所定の値以上の場合には、制御部１７は、タッチ操作を有効とし、タッチ操作に基づく入力制御を実行してもよい。また、タッチパネル１１からの出力信号の強度が閾値未満、かつ両座標における移動量が所定の値未満の場合には、制御部１７は、ジェスチャ操作を有効とし、ジェスチャ操作に基づく入力制御を実行してもよい。

また、タッチ操作かジェスチャ操作かを操作者が視覚的に把握し易くするため、図５に示すように、ポインタＰの意匠をタッチ操作とジェスチャ操作とで異なるものとしてもよい。また、同様の目的で、図６に示すように、表示部１０に表示されているアイコンのうち操作者が選択している選択アイコンを強調表示する場合、その意匠をタッチ操作とジェスチャ操作とで異なるものとしてもよい。意匠の変更の様式としては、ポインタＰについては色、形状や大きさを変えたり、選択アイコンについては枠の色、太さや模様を変えたりすることが挙げられるが、視覚的に差異が認識できればよく、これらに限定されない。

なお、上記したポインタＰの意匠の変更については、タッチ操作からジェスチャ操作に切り替える場合だけでなく、その逆の場合に適用してもよい。つまり、制御部１７は、タッチ操作およびジェスチャ操作のいずれか一方から他方へ切り替える際に、座標ズレによる違和感を低減する制御を実行してもよい。

（座標系の切り替え）
次に、操作系の切り替え時におけるタッチ座標とジェスチャ座標との切り替えについて、図７～図１０を参照して説明する。

図７、図１０では、紙面左右方向をｘ方向とし、紙面上においてｘ方向に直交する方向をｙ方向として示すと共に、ｘ方向におけるタッチ座標Ｔｘと同方向におけるジェスチャ座標Ｇｘとを矢印で示している。また、図７、図１０では、分かり易くするため、タッチ操作中の操作者の手を実線で示している。図７～図１０では、ジェスチャ操作中の操作者の手を破線で示している。

以下の説明においては、説明の便宜上、操作系の切り替えに伴ってなされる、ポインタＰ等の現操作位置の表示に使用される座標の切り替えを単に「座標系の切り替え」と称する。また、座標系の切り替えを分かり易くするため、ここでは、ポインタＰのｙ方向における座標を変化させず、ｘ方向における座標を変化させるように、ポインタＰを移動させる操作を行う場合を代表例として説明する。

制御部１７は、例えば図７に示すように、タッチ操作からジェスチャ操作へ切り替えを行う際に、ポインタＰ等を表示させる現操作位置を算出するために用いる座標をタッチ座標からジェスチャ座標に切り替える制御を行う。

例えば、操作系の切り替えの直前におけるポインタＰのタッチ座標をｔｘ１として、制御部１７は、図７に示すように、タッチ操作時においては、ポインタＰをタッチ座標でのｔｘ１に対応する位置に表示させる制御を行う。一方、ジェスチャ座標においてｔｘ１に対応する位置をｇｘ１として、制御部１７は、ジェスチャ操作時においては、ポインタＰをジェスチャ座標でのｇｘ１に対応する位置に表示させる制御を行う。

このとき、図７に示すように、タッチ座標のｔｘ１とジェスチャ座標ｇｘ１との間に所定以上のズレがある場合には、座標系の切り替えに伴って、ポインタＰの表示位置が瞬間的に大きくずれてしまい、操作者に違和感を覚えさせ得る。

このようにタッチ座標とジェスチャ座標とを単純に切り替える場合において、座標系の切り替えに伴うポインタＰ等の位置ズレによる違和感を低減するため、制御部１７は、座標系の切り替え時におけるポインタＰの表示制御を実行することが好ましい。

例えば、図８に示すように、ポインタＰをタッチ座標上での位置とジェスチャ座標上での位置とにおいて短時間で交互に数回表示させ、最終的に、切り替え後の座標系での位置にポインタＰを表示させてもよい。つまり、制御部１７は、操作系の切り替え時にポインタＰが振動しているように表示をさせつつ、切り替え後の座標系での位置に表示させるといったアニメーション表示をさせることで、位置ズレによる違和感を低減する。また、図９に示すように、制御部１７は、操作系の切り替え時においてポインタＰの大きさを一時的に大きくし、切り替えた座標系における表示位置に集束するようにポインタＰの大きさを元に戻すことで位置ズレによる違和感を低減してもよい。

また、制御部１７は、例えば図１０に示すように、タッチ操作からジェスチャ操作への切り替えを行う際に、ジェスチャ座標のオフセット処理を行った上で、タッチ座標からジェスチャ座標に切り替える制御を実行してもよい。

図７に示すように、操作系の切り替え直前におけるタッチ座標のｔｘ１とジェスチャ座標のｇｘ１との間にズレが生じている場合、制御部１７は、図１０に示すように、これらの差（ｔｘ１－ｇｘ１）の分だけジェスチャ座標の原点をオフセットしてもよい。これにより、オフセット後のジェスチャ座標のｇｘ１とタッチ座標のｔｘ１とが同じ位置となり、座標系を切り替えた後であっても、ポインタＰは、操作系の切り替え前後において同じ位置に表示されることになる。このような表示制御により、操作者は、タッチ操作からジェスチャ操作への切り替えによる違和感を覚えることなく、よりスムーズにジェスチャ操作を続行することができる。

（処理動作例）
次に、車載装置１における処理動作例について、図１１に示す操作を行った場合における処理動作例を代表例に、図１２を参照して説明する。

図１１では、操作者が表示部１０のうち第１領域１１１内において表示されているアイコンを選択し、当該選択アイコンを第２領域１１２に移動させる操作を示している。また、図１１では、分かり易くするため、断面を示すものではないが、操作するアイコンにハッチングを施している。さらに、図１１では、第１領域１１１と第２領域１１２との境界を便宜的に破線で示すと共に、操作の順番を白抜き矢印で示している。

制御部１７は、例えば車載装置１がＯＮの状態となったら、図１２に示す制御フローを実行する。

ステップＳ１０１では、制御部１７は、タッチパネル１１から信号を出力されたか否か、すなわちタッチパネル１１の入力有無についての判定を行う。制御部１７は、ステップＳ１０１にて肯定判定の場合、すなわちタッチパネル１１から信号が出力されたと判定した場合には処理をステップＳ１０２に進め、否定判定の場合には処理を終了させる。

ステップＳ１０２では、制御部１７は、タッチパネル１１からの出力信号に基づいて算出された操作位置が、表示部１０に表示された操作アイコン上であって、当該操作アイコンの移動を有効にできる位置であるか否かの判定を行う。ステップＳ１０２で肯定判定の場合には、制御部１７は、処理をステップＳ１０３に進める。例えば、操作者がタッチパネル１１に指を置いたまたは近接させた際に、表示部１０に表示されるポインタＰが操作アイコンの移動を有効にする位置にある状況等がこの場合に該当する。一方、否定判定の場合には、制御部１７は、処理を終了させる。

ステップＳ１０３では、制御部１７は、操作位置に表示されているアイコンを移動可能な状態にする制御を行う。その後、制御部１７は、処理をステップＳ１０４に進める。

ステップＳ１０４では、制御部１７は、タッチパネル１１からの出力信号により算出される操作位置が、タッチ座標上で変化したか否かについて判定する。ステップＳ１０４で肯定判定の場合には、制御部１７は、処理をステップＳ１０５に進める。例えば、操作者がタッチパネル１１に触れた状態のまま、第１領域１１１から第２領域１１２に向かってスライド操作をしている状況等がこの場合に該当する。一方、ステップＳ１０４にて否定判定の場合には、制御部１７は、処理をステップＳ１０６に進める。

ステップＳ１０５では、制御部１７は、タッチ座標上での操作位置の変化に連動して、選択アイコン（移動が有効な状態とされたアイコン）を移動させる制御を行う。その後、制御部１７は、処理をステップＳ１０７に進める。

ステップＳ１０６では、制御部１７は、タッチパネル１１からの入力がないか否かについて判定を行う。ステップＳ１０６で肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理を後述のステップＳ１１３に進める。一方、ステップＳ１０６で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０４に戻す。

なお、Ｓ１０６での判定については、前述したように、タッチパネル１１からの出力信号の有無、当該出力信号の強度、およびタッチ座標とジェスチャ座標との差などに基づいて実行され得る。

ステップＳ１０７では、制御部１７は、ステップＳ１０６と同様に、タッチパネル１１における入力がないか否かについて判定を行う。ステップＳ１０７にて肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理をステップＳ１０８に進める。例えば、操作者がタッチパネル１１から指を離し、タッチパネル１１からの出力信号が制御部１７に伝送されなくなった状況等がこの場合に該当する。一方、ステップＳ１０７で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０５に戻す。

ステップＳ１０８では、制御部１７は、ジェスチャ操作を有効とし、タッチ操作からジェスチャ操作に切り替える。言い換えると、ステップＳ１０８では、制御部１７は、タッチ操作に代えて、ジェスチャ操作に基づく入力制御を実行可能な状態とする。これにより、操作者は、ジェスチャ操作により車載機器への入力操作が可能となる。続けて、制御部１７は、処理をステップＳ１０９に進める。

ステップＳ１０９では、制御部１７は、所定時間内にジェスチャ座標上における操作位置の変化があるか否かについて判定を行う。ステップＳ１０９で肯定判定の場合、制御部１７は、処理をステップＳ１１０に進める。一方、ステップＳ１０９で否定判定の場合、制御部１７は、処理を後述のステップＳ１１２に進める。なお、この所定時間については、任意であり、適宜設定される。

ステップＳ１１０では、制御部１７は、ジェスチャ座標上における操作位置の変化に連動して、選択アイコンを移動させる。続けて、制御部１７は、処理をステップＳ１１１に進める。

ステップＳ１１１では、制御部１７は、再度、所定時間内にジェスチャ座標上における操作位置の変化があるか否かについて判定を行う。ステップＳ１１１にて肯定判定の場合、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１１にて否定判定の場合、制御部１７は、処理をステップＳ１１２に進める。

なお、ステップＳ１０９およびＳ１１１では、制御部１７は、ジェスチャ座標における操作位置の変化量が所定以上であるか否かを判定してもよい。また、ステップＳ１０９およびＳ１１１では、制御部１７は、ジェスチャ座標における操作位置の変化量が所定以上であるか否かの判定において、上記と同様に所定の制限時間を設け、その所定時間内に判定を実行してもよい。ステップＳ１０９およびＳ１１１における否定判定の場合は、例えば、操作者がジェスチャ操作に用いていた指を一定時間停止させた状態にする状況等が該当する。言い換えると、この場合、「操作者が指差しの位置を一定時間停止させること」が選択アイコンの移動の終了条件とされているとも言える。

ステップＳ１１２では、制御部１７は、選択アイコンの位置をジェスチャ座標における操作位置に決定する。そして、制御部１７は、続くステップＳ１１３にて、当該選択アイコンの移動可能状態を無効とする制御を行う。これにより、例えば図１１に示すように、選択アイコンは、表示部１０のうち第２領域１１２の所定位置に固定された状態となり、その移動が終了する。その後、制御部１７は、図１２の制御フローの処理を終了する。

（処理動作の変形例）
上記の処理動作例では、「ジェスチャ座標における操作位置の変化」により、選択アイコンの移動終了が決定されていた。しかしながら、制御フローのうち選択アイコンの移動終了条件は、図１２に示す例に限られず、図１３～図１５に示すように変更されてもよい。以降の説明では、図１２を参照して説明した上記の処理動作とは相違する部分について主に説明する。

図１３～図１５では、図１２に示す制御フローのうちステップＳ１０３からステップＳ１０６またはステップＳ１１２までの間を抜粋して示している。

図１３に示す変形例では、制御部１７は、ステップＳ１０７の後、処理をステップＳ１１４に進める。ステップＳ１１４では、制御部１７は、所定時間内にタッチ操作によるタップがないか否かについて判定を行う。ステップＳ１１４にて肯定判定の場合、すなわち操作者が所定時間内にタッチ操作によるタップをしなかったと判定した場合、制御部１７は、処理をステップＳ１０８に進める。一方、ステップＳ１１４にて否定判定の場合、制御部１７は、処理をステップＳ１１２に進める。

制御部１７は、ステップＳ１０８の後、ステップＳ１１０にて選択アイコンをジェスチャ座標における操作位置に移動させる処理を行い、次に、処理をステップＳ１１５に進める。ステップＳ１１５では、制御部１７は、タップ動作に対応する操作者のジェスチャがないか否かについて判定を行う。ステップＳ１１５にて肯定判定の場合、すなわちタップ動作がないと判定した場合には、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１５にて否定判定の場合、すなわちタップ動作があると判定した場合には、制御部１７は、処理をステップＳ１１２に進める。

なお、操作者がタッチ操作によるタップの動作をしたか否かについては、例えば、タッチパネル１１のうち所定の範囲内、かつ所定の時間内に少なくとも２回の断続的な出力信号が制御部１７に伝送されたか否かにより判定可能である。また、操作者がジェスチャ操作によるタップの動作をしたか否かについては、例えば、所定の範囲内かつ所定の時間内に少なくとも２回の往復動作がされた場合に対応する信号が、ジェスチャ認識部１２から制御部１７に伝送されたか否かにより判定可能である。操作者によるタップ動作の有無の判定方法については、上記の例に限定されるものではない。

つまり、図１３に示す変形例では、選択アイコンの移動終了条件が「タッチ操作またはジェスチャ操作によるタップ動作」となっている。また、図１４に示すように、選択アイコンの移動終了条件は、「タッチ操作またはジェスチャ操作による押し込み動作」であってもよい。

図１４に示す変形例では、制御部１７は、ステップＳ１０５の後、処理をステップＳ１１６に進める。ステップＳ１１６では、制御部１７は、所定時間内にタッチ操作による押し込み動作がないか否かについて判定を行う。ステップＳ１１６にて肯定判定の場合、すなわち操作者が所定時間内にタッチ操作による押し込み動作をしなかったと判定された場合、制御部１７は、処理をステップＳ１１７に進める。一方、ステップＳ１１６にて否定判定の場合、すなわち操作者が所定時間内にタッチ操作による押し込み動作をしたと判定した場合、制御部１７は、処理をステップＳ１１２に進める。

ステップＳ１１７では、制御部１７は、図１２におけるステップＳ１０７と同様に、タッチパネル１１からの入力がないか否かについて判定を行う。ステップＳ１１７で肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理をステップＳ１０８、Ｓ１１０の順に進める。一方、ステップＳ１１７で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０５に戻す。

制御部１７は、ステップＳ１１０の後、処理をステップＳ１１８に進め、ジェスチャ操作による押し込みの動作がないか否かについて判定を行う。ステップＳ１１８で肯定判定の場合、すなわち押し込みのジェスチャがないと判定した場合には、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１８で否定判定の場合、すなわち押し込みのジェスチャがあると判定した場合には、制御部１７は、処理をステップＳ１１２に進める。

なお、操作者がタッチ操作による押し込みの動作をしたか否かについては、例えば、タッチパネル１１が押圧センサを有した構成とされ、タッチパネル１１から押圧に応じた信号を制御部１７に伝送されたか否かにより判定可能である。また、操作者がジェスチャ操作による押し込みの動作をしたか否かについては、例えば、所定の範囲内かつ所定の時間内に少なくとも１回の往復動作がされた場合に対応する信号が、ジェスチャ認識部１２から制御部１７に伝送されたか否かにより判定可能である。操作者による押し込む動作の有無の判定方法については、上記の例に限定されるものではない。

さらに、図１５に示す変形例のように、操作者による所定の発話をアイコンの移動終了条件としてもよい。図１５に示す変形例は、ステップＳ１１６、Ｓ１１８に代わって、アイコンの移動を停止させる発話がないか否かを判定するステップＳ１１９、Ｓ１２０とされたものである。

ステップＳ１１９では、制御部１７は、例えば、「はい」、「そこ」、「ストップ」等の所定の発話に対応した音声信号が、音声認識部１４から出力されているか否かにより、停止の発話がないか否かを判定する。ステップＳ１１９で肯定判定の場合、すなわち操作者による停止の発話がないと判定した場合には、制御部１７は、処理をステップＳ１１７に進める。一方、ステップＳ１１９で否定判定の場合、すなわち操作者による停止の発話があったと判定した場合には、制御部１７は、処理をステップＳ１１２に進める。

ステップＳ１２０では、ステップＳ１１９と同様の判定を行い、制御部１７は、肯定判定の場合には処理をステップＳ１１０に戻し、否定判定の場合には処理をステップＳ１１２に進める。

本実施形態によれば、操作者が移動しなければその全域をタッチ操作できないほどの大面積化された表示部１０に対する入力操作において、タッチ操作とジェスチャ操作とをスムーズに切り替えることが可能な構成とされた入力装置となる。

（第２実施形態）
第２実施形態の入力装置について、図１６～図１８を参照して説明する。

本実施形態の入力装置は、例えば図１６に示すように、制御部１７がさらに補正部１７１を有する構成とされている点で上記第１実施形態と相違する。本実施形態では、この相違点について主に説明する。

（構成）
制御部１７は、本実施形態では、補正部１７１を有してなる。制御部１７は、本実施形態では、操作者がタッチ操作を行っている際に、タッチ座標における現操作位置の座標データおよびこれに対応するジェスチャ座標の座標データを随時取得し、これらの座標データを一組の座標データとして記憶部１３に格納する。

補正部１７１は、一組の座標データを少なくとも２つ用いて、タッチ操作中にジェスチャ座標の補正を実行する。これは、タッチ操作からジェスチャ操作に切り替えた場合における操作方向やスケール感の変化を抑制することで、操作者が違和感を覚えることを抑止し、よりスムーズに操作系の切り替えを実行可能とするためである。この詳細については後述する。

（補正処理）
次に、補正部１７１におけるジェスチャ座標の補正処理の概要について図１８を参照して説明するが、まず、対比のため、第１実施形態の入力装置における補正処理について図１７を参照して説明する。

図１７、図１８では、見易くするため、ｘ方向におけるタッチ座標Ｔｘおよびジェスチャ座標Ｇｘ、並びにｚ方向におけるジェスチャ座標Ｇｚを矢印で示すと共に、タッチ座標系およびジェスチャ座標系の他の方向については省略している。また、図１７では、タッチ座標系のｘ軸（Ｔｘ）とジェスチャ座標系のｘ軸（Ｇｘ）と重ねた例を示しているが、見易くするため、意図的にこれらをずらして示している。

例えば、タッチパネル１１から座標Ｔ１（ｔｘ１、０、０）の信号が出力された場合において、Ｔ１に対応するジェスチャ座標Ｇ１を（ｇｘ１、０、ｇｚ１）とする。また、タッチパネル１１から座標Ｔ２（ｔｘ２、０、０）の信号が出力された場合において、Ｔ２に対応するジェスチャ座標Ｇ２を（ｇｘ２、０、ｇｚ２）とする。

つまり、Ｔ１とＧ１とが一組の座標データに相当し、Ｔ２とＧ２とが他の一組の座標データに相当する。仮に、タッチ座標系の原点とジェスチャ座標系の原点とを一致させ、かつ、ｘ、ｙ、ｚ軸の方向を合わせた場合、例えば図１７に示すように、Ｔ１とＧ１、およびＴ２とＧ２はそれぞれ異なる位置となる。

なお、以下の説明では、シンプル化して理解を助けるため、タッチパネル１１の操作面が平坦面であり、ｚ方向のタッチ座標が０で固定されている例を代表例として述べる。

この場合において、タッチ座標系のＴ１においてタッチ操作からジェスチャ操作に切り替わる場合、上記第１実施形態の入力装置では、制御部１７は、図１７に示すように、ジェスチャ座標のオフセット処理を行い、Ｔ１とＧ１とが一致する処理を実行する。

言い換えると、この処理は、操作系の切り替えにおける現操作位置のタッチ座標とこれに対応するジェスチャ座標とによりなる一組の座標データのみを用いて、ジェスチャ座標の原点位置を再設定（補正）するものと言える。これにより、操作系の切り替え時のＴ１とＧ１とが一致するため、表示部１０で表示されているポインタＰの位置ズレが生じず、操作系の切り替えに伴う操作者の違和感を低減できる。

しかしながら、このオフセット処理は、操作系の切り替え時における一組の座標データのみを用いたものである。そのため、図１７に示すように、Ｔ２とＧ２とによりなる他の一組の座標データにおいては、両座標の差、すなわちズレが生じたままとなり得る。この場合、ジェスチャ操作における指の移動量（ジェスチャ座標での移動量）と表示部１０における移動量（タッチ座標での移動量）との乖離が生じてしまい、その差は、操作系の切り替えがなされた位置から離れるほど大きくなる。その結果、操作者の指の移動量が同じであっても、ジェスチャ座標系における指の位置に応じてポインタＰの移動量が徐々に変化してしまい、操作者が違和感を覚えるおそれがある。

以下、便宜上、このタッチ座標およびジェスチャ座標のズレに起因する、ジェスチャ操作における指の移動量とポインタＰの移動量との乖離を「スケール感の変化」と称することがある。

そこで、本実施形態の入力装置では、制御部１７は、補正部１７１により、タッチ操作中において、ジェスチャ座標系の「原点」、「大きさ」および「傾き」の補正を行う。具体的には、補正部１７１は、例えばＴ１とＧ１、およびＴ２とＧ２の少なくとも二組の座標データを取得し、これらの座標データに基づき、タッチ操作中に随時ジェスチャ座標の補正を実行する。

まず、補正部１７１は、例えばＴ１とＧ１の一組の座標データに基づき、ジェスチャ座標の原点を補正する処理を行う。この処理は、上記したオフセット処理と同じであり、図１８に示すように、ジェスチャ座標Ｇ１がタッチ座標Ｔ１と一致するように、ジェスチャ座標の原点Ｇ０１を新たな原点Ｇ０２に補正して移動させる。

具体的には、補正部１７１は、Ｔ１とＧ１との各成分での差分を補正量（ｍｘ、ｍｙ、ｍｚ）として算出する。例えば図１８に示す例では、ｍｘは（ｔｘ１－ｇｘ１）、ｍｙは０、ｍｚは－ｇｚ１となる。そして、補正部１７１は、算出した補正量の分だけ原点Ｇ０１をＧ０２に移動させ、Ｇ０２を原点として再設定する。つまり、補正部１７１は、ジェスチャ座標の原点を補正し、タッチ座標の操作位置の座標データの位置（Ｔ１）に、これに対応するジェスチャ座標の座標データの位置（Ｇ１）を合わせる制御を実行する。

これにより、タッチ操作からジェスチャ操作に切り替わった時、表示部１０に表示されるポインタＰの位置が操作系の切り替え前後で同一となり、ポインタＰの表示位置のズレが抑制される。

この時点では、Ｔ２とＧ２とによりなる他の一組の座標のズレが生じたままであるため、補正部１７１は、ジェスチャ座標の「大きさ」の補正を行う。具体的には、補正部１７１は、ジェスチャ座標系におけるＧ１とＧ２との距離、およびタッチ座標系におけるＴ１とＴ２との距離を算出し、これらの距離が略同一になるように、ジェスチャ座標のスケールを再設定する。

より具体的には、Ｔ１とＴ２との距離Ｄｔ、およびＧ１とＧ２との距離Ｄｇは、図１８に示す例では、三平方の定理により、それぞれ以下の数式で表される。

補正部１７１は、Ｄｇ×ｄ１＝Ｄｔを満たす補正係数ｄ１、すなわち距離Ｄｇが距離Ｄｔと同一となる補正係数ｄ１を算出する。そして、補正部１７１は、ジェスチャ座標系のｘｙｚそれぞれの軸方向について算出した補正係数ｄ１を乗じる補正を行う。

これにより、ジェスチャ操作における指の移動量と表示部１０で表示されるポインタＰの移動量が同一となり、スケール感が同じとなるため、ジェスチャ操作への切り替え後の違和感がさらに低減される。本明細書では、このスケール感を合わせる補正を「ジェスチャ座標の大きさを補正する」と称している。

なお、上記では、一組の座標データを２つ用いた場合について説明したが、これに限定されない。例えば、一組の座標データを３つ以上用いる場合には、例えば最小二乗法によりタッチ座標系の直線成分とジェスチャ座標系の直線成分をそれぞれ算出し、各座標系の距離Ｄｔ、Ｄｇおよび補正係数ｄ１を算出してもよい。この場合、補正部１７１は、例えば、タッチ座標の３つ以上の座標データ間の最大距離と、ジェスチャ座標の３つ以上の座標データ間の最大距離とが同一となるように、ジェスチャ座標の大きさを補正する。

ジェスチャ座標の原点および大きさの補正だけでは、タッチ座標系の２点を繋ぐ方向（以下、「ベクトルＶｔ」と称する）とジェスチャ座標系の２点を繋ぐ方向（以下、「ベクトルＶｇ」と称する）との間にズレが残った状態となり得る。このベクトルＶｔ、Ｖｇのズレを解消するため、補正部１７１は、ジェスチャ座標の「傾き」の補正を行う。

例えば、ベクトルＶｔのｘ成分とタッチ座標のｘ軸とのなす角度をθｘｔとし、ベクトルＶｔのｙ成分とタッチ座標のｙ軸とのなす角度をθｙｔとし、ベクトルＶｔのｚ成分とタッチ座標のｚ軸とのなす角度をθｚｔとする。同様に、ベクトルＶｇのｘ成分とジェスチャ座標のｘ軸とのなす角度をθｘｇとし、ベクトルＶｇのｙ成分とジェスチャ座標のｙ軸とのなす角度をθｙｇとし、ベクトルＶｇのｚ成分とジェスチャ座標のｚ軸とのなす角度をθｚｇとする。

補正部１７１は、ベクトルＶｔの各軸に対する角度θｘｔ、θｙｔ、θｚｔとベクトルＶｇの各軸に対する角度θｘｇ、θｙｇ、θｚｇとが一致するようにするための補正係数ｄ２を算出する。補正係数ｄ２は、各成分それぞれ、θｘｔ－θｘｇ、θｙｔ－θｙｇ、θｚｔ－θｚｇの差分で算出される。補正部１７１は、ジェスチャ座標のＧｘ、Ｇｙ、Ｇｚを算出した補正係数ｄ２だけ回転させる処理を行う。これにより、ベクトルＶｔ、Ｖｇの向きが揃うため、ジェスチャ操作による指の操作方向とポインタＰの移動方向とが一致し、操作感がさらに向上する。本明細書では、このベクトルＶｇの向きをベクトルＶｔに揃えるために行うジェスチャ座標の補正処理を「ジェスチャ座標の傾きを補正する」と称している。

上記したように、ジェスチャ座標における「原点」、「大きさ」、「傾き」を補正することにより、ジェスチャ操作への切り替えを行った後のポインタの表示位置、スケール感、操作方向がタッチ操作におけるそれらと一致することになる。そのため、操作系の切り替えが任意のタイミングで行われても、操作者がこれに伴う違和感を覚えることなく、スムーズにジェスチャ操作を実行することが可能な入力装置となる。

なお、ベクトルＶｔ、Ｖｇの各角度は、回転行列によりｘ軸、ｙ軸、ｚ軸回りの回転角を算出するなどの公知の方法により算出され得るが、その算出方法については任意である。また、上記したジェスチャ座標の「原点」、「大きさ」、「傾き」を補正すると、例えば図１８に示すように、ジェスチャ座標のＧ１がＧ３（ｇｘ３、０、ｇｚ３）、Ｇ２がＧ４（ｇｘ４、０、ｇｚ４）となり、２組の座標データがそれぞれ一致することとなる。

（処理動作例）
次に、補正部１７１による補正を実行する際の制御フローの一例について、図１９を参照して説明する。

本実施形態では、入力装置がＯＮの状態になると、制御部１７は、図１９に示す制御フローを所定の間隔で実行する。

ステップＳ２０１では、制御部１７は、タッチパネル１１から信号を出力されたか否か、すなわちタッチパネル１１の入力有無についての判定を行う。制御部１７は、ステップＳ２０１にて肯定判定の場合、すなわちタッチパネル１１から信号が出力されたと判定した場合には処理をステップＳ２０２に進め、否定判定の場合にはステップＳ２０１の処理を繰り返す。

ステップＳ２０２では、制御部１７は、タッチ座標における出力座標とこれに対応するジェスチャ座標における出力座標を一組の座標データとして記憶部１３に記憶させる制御を行い、処理をステップＳ２０３に進める。これにより、両座標における出力座標が同時に記憶部１３によって記録されることが可能な状態となる。なお、両座標の出力座標が記録されるタイミングは、例えば、タッチ操作中の任意の時であってもよいし、操作系の切り替え時であってもよい。

ステップＳ２０３では、制御部１７は、出力座標が１点以上記録されたか否かを判定し、肯定判定の場合には処理をステップＳ２０４に進め、否定判定の場合には処理をステップＳ２０１に戻す。

ステップＳ２０４では、補正部１７１は、上記したようにジェスチャ座標の原点を補正する処理を行う。これにより、任意のタイミングでタッチ操作からジェスチャ操作に切り替わった際に、表示部１０でのポインタＰの表示位置が操作系の切り替え前後で同一となる。制御部１７は、ステップＳ２０４の後、処理をステップＳ２０５に進める。

ステップＳ２０５では、制御部１７は、出力座標が２点以上記録されたか否かを判定し、肯定判定の場合には処理をステップＳ２０６に進め、否定判定の場合には処理をステップＳ２０１に戻す。

ステップＳ２０６では、補正部１７１は、上記したようにジェスチャ座標の大きさおよび傾きを補正する処理を行う。これにより、ジェスチャ操作への切り替え後におけるスケール感および操作方向が一致する状態となる。

以上が、本実施形態の入力装置での補正における処理動作例である。

本実施形態によれば、補正部１７１が、タッチ操作からジェスチャ操作への切り替え後におけるポインタＰの表示位置、スケール感および操作方向を一致させる補正をタッチ操作中に随時実行する構成の入力装置となる。そのため、上記第１実施形態よりもさらにスムーズ操作系の切り替えが可能となる。

なお、本実施形態では、補正係数ｄ１、ｄ２がｘｙｚ成分いずれも同一である場合について説明したが、補正係数ｄ１、ｄ２がｘｙｚ成分のいずれかが異なる場合には、後述の変形例に係る構成により、ジェスチャ座標の補正精度を一層向上させることができる。

（第２実施形態の変形例）
上記では、タッチパネル１１からの出力座標のデータに基づき、ジェスチャ座標の各種補正を実行する例について説明したが、タッチパネル１１以外にタッチ操作が可能な入力体を備える場合、当該入力体からの出力座標のデータに基づく補正を実行してもよい。

例えば、補正部１７１は、タッチパネル１１でのタッチ操作で得られるｘ、ｙ成分のデータに基づき、ジェスチャ座標のｘ成分とｙ成分について上記の各種補正を行う。また、補正部１７１は、図示しない他の入力体（例えばタッチパッド等）でのタッチ操作で得られるｚ成分のデータに基づき、ジェスチャ座標のｚ成分について上記の各種補正を行ってもよい。このように、二以上の入力体により得られる出力座標のデータに基づいて、上記第２実施形態で述べた各種補正処理を行ってもよい。このような補正処理は、例えば１つの入力体から得られるタッチ座標のデータに基づく場合において、各座標での算出精度が異なるとき等に有効である。

具体的には、操作面が平坦形状とされたタッチパネル１１では、当該操作面における一方向をｘ軸とし、これに直交する方向をｙ軸としたとき、操作面の法線方向となるｚ軸における出力座標の変化がない。つまり、操作面が二次元的形状のタッチパネル１１、およびジェスチャ認識部１２から得られる一組の座標データを２つ以上取得したとしても、ジェスチャ座標のｚ軸方向の成分についての補正精度が得られないおそれがある。

このような場合において、入力装置が、表示部１０におけるポインタＰ等をｚ軸方向に沿って操作するのに用いられる別体のタッチパッド等を備える構成とされるとき、補正部１７１は、当該タッチパッドからのｚ軸の出力座標をジェスチャ座標の補正に用いる。これにより、補正部１７１は、ｘｙ成分についてはタッチパネル１１から、ｚ成分については別体のタッチパッドから、それぞれタッチ座標系の出力座標のデータとして取得できる。このタッチ座標の出力座標とジェスチャ座標の出力座標とを一組の座標データとして、二以上の一組の座標データを用いて上記第２実施形態で述べた補正を行うことにより、ジェスチャ座標のｚ成分の補正精度を向上させることができる。

本変形例によれば、タッチパネル１１の操作面が平坦形状である場合であっても、ジェスチャ座標のｘｙｚ成分いずれも精度の高い補正を実行でき、操作系の切り替えに伴う操作者の違和感をより生じさせにくい入力装置となる。

（他の実施形態）
本発明は、実施例に準拠して記述されたが、本発明は当該実施例や構造に限定されるものではないと理解される。本発明は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらの一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本発明の範疇や思想範囲に入るものである。

（１）例えば、上記実施形態では、１点でタッチパネル１１を操作する場合を例に説明したが、２点以上でタッチパネル１１を操作する場合であっても同様に適用できる。

（２）上記実施形態では、表示部１０が車両ＶのサイドウィンドウＶ１に搭載された例について説明したが、表示部１０は、リアウィンドウやウィンドシールド等の他の部位に搭載されてもよい。また、上記した入力装置は、車載用途に適用された場合であっても、操作者が移動せずとも表示部１０の表示面全域についてタッチ操作とジェスチャ操作とを駆使して入力操作が可能な構成とされる。

（３）音声入力をしない場合や音声によるメッセージ等を出力しない場合には、音声認識部１４、音声合成部１５、マイク２２およびスピーカ２３を有しない構成であってもよい。

１０ 表示部
１１ タッチパネル
１１１ 第１領域
１１２ 第２領域
１２ ジェスチャ認識部
１７ 制御部
２１ 撮像部

Claims (4)

1. 所定以上の面積とされた表示部（１０）に対して重畳配置されたタッチパネル（１１）と、
   操作者の身体形状を撮像する撮像部（２１）が取得した画像データに基づいて、前記操作者のジェスチャを認識し、前記ジェスチャに応じた信号を出力するジェスチャ認識部（１２）と、
   前記タッチパネルからの出力信号に基づくタッチ操作による入力制御、および前記ジェスチャ認識部からの出力信号に基づくジェスチャ操作による入力制御を行う制御部（１７）と、
   前記タッチ操作により得られるタッチ座標の座標データを、前記ジェスチャ操作による入力制御において用いられるジェスチャ座標であって、前記タッチ座標の座標データに対応する座標データと共に、一組の座標データとして記憶する記憶部（１３）と、
   前記ジェスチャ座標の補正を行う補正部（１７１）と、を備え、
   前記制御部は、前記タッチ操作および前記ジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行し、
   前記補正部は、前記タッチ操作による入力制御時に、二以上の前記一組の座標データに基づき前記ジェスチャ座標の補正を行う、入力装置。
2. 前記補正部は、前記ジェスチャ座標の原点を補正し、前記タッチ座標での操作位置の座標データの位置に、これに対応する前記ジェスチャ座標の座標データの位置を合わせる制御を実行する、請求項１に記載の入力装置。
3. 前記補正部は、補正に用いる二以上の前記一組の座標データのうち前記タッチ座標の二以上の座標データ間の最大距離と、対応する前記ジェスチャ座標の二以上の座標データ間の最大距離とが同じとなるように、前記ジェスチャ座標の補正を行う、請求項２に記載の入力装置。
4. 前記補正部は、補正に用いる二以上の前記一組の座標データのうち前記タッチ座標の二以上の座標データによりなる直線成分のベクトルＶｔの傾きと、対応する前記ジェスチャ座標の二以上の座標データによりなる直線成分のベクトルＶｇの傾きとが同じとなるように、前記ジェスチャ座標の補正を行う、請求項３に記載の入力装置。

Images