JPWO2020152849A1 - タッチパネル制御装置及びタッチパネル制御方法 - Google Patents

Abstract

タッチパネル制御装置（１０Ａ）は、タッチパネル（２１）のタッチ操作面における周囲を撮影するカメラ（１２）から、撮影画像の画像データを取得する画像データ取得部（３１）と、画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する視線判定部（３２）と、画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、タッチ操作面の前方に設定される検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する動作判定部（３３）と、視線判定部（３２）の判定結果及び動作判定部（３３）の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する操作許可判定部（３４）と、操作許可判定部（３４）の判定結果に基づいて、タッチパネル２１を制御する制御部（３５）とを備える。

Description

この発明は、タッチパネルを制御するタッチパネル制御装置及びタッチパネル制御方法に関する。

従来、ユーザの視線をカメラによって検出した場合に、タッチパネルでのタッチ操作を許可するタッチパネル制御装置が提供されている。このタッチパネル制御装置は、例えば、特許文献１に開示されている。

特開２００９−２２７２４６号公報

上記従来のタッチパネル制御装置は、座席に着座したユーザの手元に設けられるアームレストのような、ユーザの操作意図が無くても、その手が置かれてしまう可能性が高い場所に、タッチパネルを設置することを想定したものではない。このため、上記従来のタッチパネル制御装置は、ユーザの視線を検出した状態で、ユーザの手がタッチパネルに触れているが、当該ユーザの操作意図が無い場合でも、そのタッチ操作を受け付けてしまい、誤操作を招くおそれがある。

この発明は、上記のような課題を解決するためになされたもので、意図しないタッチ操作を防止することができるタッチパネル制御装置を提供することを目的とする。

この発明に係るタッチパネル制御装置は、タッチパネルのタッチ操作面における周囲を撮影するカメラから、撮影画像の画像データを取得する画像データ取得部と、画像データ取得部によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する視線判定部と、画像データ取得部によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、タッチ操作面の前方に設定される検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する動作判定部と、視線判定部の判定結果、及び、動作判定部の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する操作許可判定部と、操作許可判定部の判定結果に基づいて、タッチパネルを制御する制御部とを備えることを特徴とするものである。

この発明によれば、意図しないタッチ操作を防止することができる。

実施の形態１に係るタッチパネル制御装置を備えたタッチパネルディスプレイの構成を示したブロック図である。 実施に形態１に係るタッチパネル制御装置に接続されるタッチパネルディスプレイの構成を示したブロック図である。 実施の形態１に係るタッチパネル制御装置の構成を示したブロック図である。 図４Ａは実施の形態１に係るタッチパネル制御装置のハードウェア構成例を示した図である。図４Ｂは実施の形態１に係るタッチパネル制御装置の他のハードウェア構成例を示した図である。 実施の形態１に係るタッチパネル制御装置の動作手順を示したフローチャートである。 実施の形態１に係るタッチパネル制御装置における人物に操作継続意図がある場合の動作手順を示したフローチャートである。 実施の形態２に係るタッチパネル制御装置を備えたタッチパネルディスプレイの構成を示したブロック図である。 実施に形態２に係るタッチパネル制御装置に接続されるタッチパネルディスプレイの構成を示したブロック図である。 実施の形態２に係るタッチパネル制御装置の構成を示したブロック図である。 実施の形態２に係るタッチパネル制御装置の動作手順を示したフローチャートである。 実施の形態２に係るタッチパネル制御装置における表示画面の分割が必要となる場合の動作手順を示したフローチャートである。 実施の形態２に係るタッチパネル制御装置を車室内のアームレストに搭載されたタッチパネルディスプレイに適用した場合における当該タッチパネル制御装置の動作を説明した図である。図１２Ａは複数の操作対象デバイスに対して、タッチパネルディスプレイが個々に設けられる場合の動作説明図である。図１２Ｂは複数の操作対象デバイスに対して、互いに共通のタッチパネルディスプレイが設けられる場合の動作説明図である。図１２Ｃは複数の操作対象デバイスに対して、互いに共通のタッチパネルディスプレイが設けられる場合の他の動作説明図である。図１２Ｄは複数の操作対象デバイスに対して、互いに共通のタッチパネルディスプレイが設けられる場合の更に他の動作説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
実施の形態１に係るタッチパネル制御装置について、図１から図６を用いて説明する。この実施の形態１に係るタッチパネル制御装置は、タッチパネルのタッチ操作面をタッチ操作する人物が独りとなる場合を想定している。

先ず、実施の形態１に係るタッチパネル制御装置１０Ａが適用されるタッチパネルディスプレイ１Ａ，１Ｂについて、図１及び図２を用いて説明する。図１は、実施の形態１に係るタッチパネル制御装置を備えたタッチパネルディスプレイの構成を示したブロック図である。図２は、実施に形態１に係るタッチパネル制御装置に接続されるタッチパネルディスプレイの構成を示したブロック図である。

実施の形態１に係るタッチパネルディスプレイ１Ａは、車室内に設けられている。このタッチパネルディスプレイ１Ａは、タッチパネル制御装置１０Ａ、表示装置１１、カメラ１２、画像変換部１３、及び、タッチセンサ１４を備えている。

表示装置１１は、タッチパネル２１及び表示部２２を有している。タッチパネル２１は、タッチ操作面を有している。このタッチ操作面は、人物の手によるタッチ操作を受け付ける。表示部２２は、人物のタッチ操作面での操作に対応する表示画面を表示する。

カメラ１２は、タッチパネル２１のタッチ操作面における周囲を撮影する。このカメラ１２は、撮影した撮影画像の画像データをタッチパネル制御装置１０Ａに出力する。

画像変換部１３は、タッチパネル制御装置１０Ａから取得した画像データを、表示部２２で表示可能となる画像に変換する。

タッチセンサ１４は、タッチパネル２１に設けられている。このタッチセンサ１４は、人物のタッチ操作面でのタッチ位置を検出する。このタッチセンサ１４は、タッチ位置に関するタッチ位置情報をタッチパネル制御装置１０Ａに出力する。

タッチパネル制御装置１０Ａは、カメラ１２から取得した画像データに基づいて、タッチ操作面の周囲に存在する人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。また、タッチパネル制御装置１０Ａは、タッチ操作を許可した場合に、タッチセンサ１４からタッチ位置情報を取得し、タッチ操作を許可しない場合に、タッチセンサ１４からタッチ位置情報を取得しない。

但し、図１に示したタッチパネルディスプレイ１Ａの構成を簡素にしたい場合には、当該タッチパネルディスプレイ１Ａは、タッチパネル制御装置１０Ａ及びカメラ１２をその構成から除外して、それらを外部装置とすれば良い。

例えば、図２に示したタッチパネルディスプレイ１Ｂは、外部に設置された制御ユニット３及びカメラ１２と接続している。タッチパネルディスプレイ１Ｂ及びカメラ１２は、車室内に設けられている。このタッチパネルディスプレイ１Ｂは、表示装置１１、画像変換部１３、タッチセンサ１４、及び、Ｉ／Ｆ部１６を備えている。Ｉ／Ｆ部１６は、画像変換部１３及びタッチセンサ１４と接続している。

制御ユニット３は、タッチパネル制御装置１０Ａ及びＩ／Ｆ部１７を備えている。タッチパネル制御装置１０Ａは、カメラ１２及びＩ／Ｆ部１７と接続している。Ｉ／Ｆ部１７は、Ｉ／Ｆ部１６と接続している。

また、タッチパネルディスプレイ１Ｂを車室内に設置する場合には、カメラ１２は、専用のカメラではなく、ドライバーモニタリングシステムのカメラを適用しても構わない。

次に、実施の形態１に係るタッチパネル制御装置１０Ａについて、図３を用いて説明する。図３は、実施の形態１に係るタッチパネル制御装置の構成を示したブロック図である。

実施の形態１に係るタッチパネル制御装置１０Ａは、画像データ取得部３１、視線判定部３２、動作判定部３３、操作許可判定部３４、及び、制御部３５を備えている。

画像データ取得部３１は、カメラ１２から、当該カメラ１２が撮影した撮影画像の画像データを取得する。この画像データ取得部３１は、画像データを視線判定部３２及び動作判定部３３に出力する。

視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する。この視線判定部３２は、判定結果を操作許可判定部３４に出力する。

動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、当該タッチ操作面の前方に設定される検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する。この動作判定部３３は、判定結果を操作許可判定部３４に出力する。

動作判定部３３の判定動作時に使用される検出領域は、タッチ操作面から前方に向けて所定の距離で、且つ、当該タッチ操作面に対して、垂直方向に設定されている。これにより、検出領域は、人物の手がタッチ操作面をタッチ操作しようとするときに、当該人物の手が通過する空間領域となっている。なお、タッチ操作面の前方とは、タッチ操作面から見て車室側の方向である。また、所定の距離とは、例えば、タッチ操作面から前方に向けて、２〜５ｃｍの範囲である。

操作許可判定部３４は、視線判定部３２の判定結果、及び、動作判定部３３の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。この操作許可判定部３４は、その判定結果を制御部３５に出力する。

具体的には、操作許可判定部３４は、視線判定部３２が、人物の視線がタッチ操作面に向いていると判定し、動作判定部３３が、人物の手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合に、人物のタッチ操作面でのタッチ操作を許可する。一方、操作許可判定部３４は、動作判定部３３が、人物の手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合であっても、視線判定部３２が、人物の視線がタッチ操作面に向いていないと判定した場合には、人物のタッチ操作面でのタッチ操作を許可しない。

また、操作許可判定部３４は、人物のタッチ操作面でのタッチ操作を一旦許可した後に、視線判定部３２が、人物の視線がタッチ操作面に向いていないと判定した場合、または、動作判定部３３が、人物の手が検出領域内に存在しないと判定した場合に、人物のタッチ操作面でのタッチ操作許可を解除する。

制御部３５は、操作許可判定部３４の判定結果に基づいて、タッチパネル２１を制御する。

具体的には、制御部３５は、操作許可判定部３４が、人物のタッチ操作面でのタッチ操作を許可すると判定した場合に、タッチパネル制御装置１０Ａによるタッチセンサ１４からのタッチ位置情報の取得を許可することにより、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映する。一方、制御部３５は、操作許可判定部３４が、人物のタッチ操作面でのタッチ操作を許可しないと判定した場合に、タッチパネル制御装置１０Ａによるタッチセンサ１４からのタッチ位置情報の取得を許可しないことにより、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映しない。なお、操作対象デバイスとしては、例えば、オーディオ装置、ナビゲーション装置、及び、リヤシートエンタテイメント装置等である。

次に、実施の形態１に係るタッチパネル制御装置１０Ａのハードウェア構成例について、図４を用いて説明する。図４Ａは、実施の形態１に係るタッチパネル制御装置のハードウェア構成例を示した図である。図４Ｂは、実施の形態１に係るタッチパネル制御装置の他のハードウェア構成例を示した図である。

図４Ａに示す如く、タッチパネル制御装置１０Ａは、コンピュータにより構成されており、当該コンピュータは、プロセッサ５１及びメモリ５２を有している。メモリ５２には、そのコンピュータを、画像データ取得部３１、視線判定部３２、動作判定部３３、操作許可判定部３４、及び、制御部３５として機能させるためのプログラムが記憶されている。メモリ５２に記憶されているプログラムをプロセッサ５１が読み出して実行することにより、画像データ取得部３１、視線判定部３２、動作判定部３３、操作許可判定部３４、及び、制御部３５の機能が実現される。

または、図４Ｂに示す如く、タッチパネル制御装置１０Ａは、処理回路５３を有するものであっても良い。この場合、画像データ取得部３１、視線判定部３２、動作判定部３３、操作許可判定部３４、及び、制御部３５の機能が処理回路５３により実現されるものであっても良い。

または、タッチパネル制御装置１０Ａは、プロセッサ５１、メモリ５２、及び、処理回路５３を有するものであっても良い（不図示）。この場合、画像データ取得部３１、視線判定部３２、動作判定部３３、操作許可判定部３４、及び、制御部３５の機能のうちの一部がプロセッサ５１及びメモリ５２により実現されて、残余の機能が処理回路５３により実現されるものであっても良い。

プロセッサ５１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のうちの少なくとも一つを用いたものである。

メモリ５２は、例えば、半導体メモリ又は磁気ディスクのうちの少なくとも一方を用いたものである。より具体的には、メモリ５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のうちの少なくとも一つを用いたものである。

処理回路５３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）のうちの少なくとも一つを用いたものである。

次に、実施の形態１に係るタッチパネル制御装置１０Ａの動作について、図５及び図６を用いて説明する。

図５は、実施の形態１に係るタッチパネル制御装置の動作手順を示したフローチャートである。

ステップＳＴ１１において、制御部３５は、タッチパネル２１をタッチ操作制限状態とし、人物のタッチ操作面でのタッチ操作を受け付けない。即ち、制御部３５は、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映しない。

ステップＳＴ１２において、画像データ取得部３１は、カメラ１２から、当該カメラ１２が撮影した撮影画像の画像データを取得する。

ステップＳＴ１３において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する。ここで、視線判定部３２が、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ１４に進む。一方、視線判定部３２が、その視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ１１に戻る。

ステップＳＴ１４において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する。ここで、動作判定部３３が、その手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ１５に進む。一方、動作判定部３３が、その手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ１１に戻る。

ステップＳＴ１５において、操作許可判定部３４は、人物のタッチ操作面でのタッチ操作を許可する。

ステップＳＴ１６において、制御部３５は、タッチパネル２１を制御する。即ち、制御部３５は、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映する。そして、タッチパネル制御装置１０Ａの動作は、終了する。

図６は、実施の形態１に係るタッチパネル制御装置における人物に操作継続意図がある場合の動作手順を示したフローチャートである。

ステップＳＴ２１において、制御部３５は、タッチパネル２１をタッチ操作制限状態とし、人物のタッチ操作面でのタッチ操作を受け付けない。即ち、制御部３５は、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映しない。

ステップＳＴ２２において、画像データ取得部３１は、カメラ１２から、当該カメラ１２が撮影した撮影画像の画像データを取得する。

ステップＳＴ２３において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する。ここで、視線判定部３２が、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２４に進む。一方、視線判定部３２が、その視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２１に戻る。

ステップＳＴ２４において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する。ここで、動作判定部３３が、その手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２５に進む。一方、動作判定部３３が、その手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２１に戻る。

ステップＳＴ２５において、操作許可判定部３４は、人物のタッチ操作面でのタッチ操作を許可する。

ステップＳＴ２６において、制御部３５は、タッチパネル２１を制御する。即ち、制御部３５は、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映する。

ステップＳＴ２７において、タッチパネル制御装置１０Ａは、タッチセンサ１４からタッチ位置情報を取得してから、一定時間経過したか否かを判定する。ここで、タッチパネル制御装置１０Ａが、一定時間経過したと判定した場合には、当該タッチパネル制御装置１０Ａの動作は、ステップＳＴ２８に進む。一方、タッチパネル制御装置１０Ａが、一定時間経過していないと判定した場合には、当該タッチパネル制御装置１０Ａの動作は、ステップＳＴ２７を繰り返す。なお、一定時間とは、例えば、２秒である。

ステップＳＴ２８において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面でのタッチ操作を一旦許可された人物の視線が、タッチ操作面に向いているか否かを判定する。ここで、視線判定部３２が、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２９に進む。一方、視線判定部３２が、その視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ３０に進む。

ステップＳＴ２９において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面でのタッチ操作を一旦許可された人物の手が、検出領域内に存在しているか否を判定する。このとき、動作判定部３３は、人物の手がタッチ操作面に触れているか否かについては問わない。ここで、動作判定部３３が、その手が検出領域内に存在していると判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２７に戻る。一方、動作判定部３３が、その手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ａの動作は、ステップＳＴ３０に進む。

ステップＳＴ３０において、操作許可判定部３４は、タッチ操作面での操作を一旦許可された人物のタッチ操作面でのタッチ操作許可を解除する。そして、タッチパネル制御装置１０Ａの動作は、ステップＳＴ２１に戻る。

以上より、実施の形態１に係るタッチパネル制御装置１０Ａは、タッチパネル２１のタッチ操作面における周囲を撮影するカメラ１２から、撮影画像の画像データを取得する画像データ取得部３１と、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する視線判定部３２と、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、タッチ操作面の前方に設定される検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する動作判定部３３と、視線判定部３２の判定結果、及び、動作判定部３３の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する操作許可判定部３４と、操作許可判定部３４の判定結果に基づいて、タッチパネル２１を制御する制御部３５とを備えている。これにより、タッチパネル制御装置１０Ａは、意図しないタッチ操作を防止することができる。

実施の形態１に係るタッチパネル制御装置１０Ａの操作許可判定部３４は、視線判定部３２が、人物の視線がタッチ操作面に向いていると判定し、動作判定部３３が、人物の手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合に、人物のタッチ操作面でのタッチ操作を許可し、視線判定部３２が、人物の視線がタッチ操作面に向いていないと判定した場合に、人物のタッチ操作面でのタッチ操作を許可しない。これにより、タッチパネル制御装置１０Ａは、人物の視線がタッチ操作面に向いていることを前提にして、人物の手の位置に基づいて、当該人物のタッチ操作面でのタッチ操作を許可する。従って、タッチパネル制御装置１０Ａは、人物の手がタッチ操作面に触れている状態で、人物の視線がその後からタッチ操作面に向いても、人物のタッチ操作面でのタッチ操作を許可することはない。

実施の形態１に係るタッチパネル制御装置１０Ａの操作許可判定部３４は、人物のタッチ操作面でのタッチ操作を一旦許可した後に、視線判定部３２が、人物の視線がタッチ操作面に向いていないと判定した場合、または、動作判定部３３が、人物の手が検出領域内に存在しないと判定した場合に、人物のタッチ操作面でのタッチ操作許可を解除する。これにより、タッチパネル制御装置１０Ａは、人物のタッチ操作面でのタッチ操作を一旦許可した場合であっても、その後におけるタッチ操作面での誤操作を防止することができる。

実施の形態１に係るタッチパネル制御方法は、画像データ取得部３１が、タッチパネル２１のタッチ操作面における周囲を撮影するカメラ１２から、撮影画像の画像データを取得し、視線判定部３２が、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定し、動作判定部３３が、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、タッチ操作面の前方に設定される検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定し、操作許可判定部３４が、視線判定部３２の判定結果、及び、動作判定部３３の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定し、制御部３５が、操作許可判定部３４の判定結果に基づいて、タッチパネル２１を制御する。これにより、タッチパネル制御方法は、意図しないタッチ操作を防止することができる。

実施の形態２．
実施の形態２に係るタッチパネル制御装置について、図７から図１２を用いて説明する。この実施の形態２に係るタッチパネル制御装置は、タッチパネルのタッチ操作面をタッチ操作する人物が複数となる場合を想定している。

先ず、実施の形態２に係るタッチパネル制御装置１０Ｂが適用されるタッチパネルディスプレイ２Ａ，２Ｂについて、図７及び図８を用いて説明する。図７は、実施の形態２に係るタッチパネル制御装置を備えたタッチパネルディスプレイの構成を示したブロック図である。図８は、実施に形態２に係るタッチパネル制御装置に接続されるタッチパネルディスプレイの構成を示したブロック図である。

図７に示した実施の形態２に係るタッチパネルディスプレイ２Ａは、図１に示した実施の形態１に係るタッチパネルディスプレイ１Ａに対して、タッチパネル制御装置１０Ａからタッチパネル制御装置１０Ｂに変更すると共に、指紋センサ１５を追加した構成となっている。これにより、タッチパネルディスプレイ２Ａは、タッチパネル制御装置１０Ｂ、表示装置１１、カメラ１２、画像変換部１３、タッチセンサ１４、及び、指紋センサ１５を備えている。

指紋センサ１５は、タッチパネル２１のタッチ操作面をタッチ操作している手の指紋を検出する。この指紋センサ１５は、指紋に関する指紋情報をタッチパネル制御装置１０Ｂに出力する。

タッチパネル制御装置１０Ｂは、カメラ１２から取得した画像データに基づいて、タッチ操作面の周囲に存在する全ての人物の中から選ばれた独りの人物または複数の人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。

但し、図７に示したタッチパネルディスプレイ２Ａの構成を簡素にしたい場合には、当該タッチパネルディスプレイ２Ａは、タッチパネル制御装置１０Ｂ及びカメラ１２をその構成から除外して、それらを外部装置とすれば良い。

例えば、図８に示したタッチパネルディスプレイ２Ｂは、外部に設置された制御ユニット３及びカメラ１２と接続している。このタッチパネルディスプレイ２Ｂは、表示装置１１、画像変換部１３、タッチセンサ１４、指紋センサ１５、及び、Ｉ／Ｆ部１６を備えている。Ｉ／Ｆ部１６は、画像変換部１３、タッチセンサ１４、及び、指紋センサ１５と接続している。

また、タッチパネルディスプレイ２Ｂを車室内に設置する場合には、カメラ１２は、専用のカメラではなく、ドライバーモニタリングシステムのカメラを適用しても構わない。

次に、実施の形態２に係るタッチパネル制御装置１０Ｂについて、図９を用いて説明する。図９は、実施の形態２に係るタッチパネル制御装置の構成を示したブロック図である。

実施の形態２に係るタッチパネル制御装置１０Ｂは、実施の形態１に係るタッチパネル制御装置１０Ａの構成に、指紋情報取得部３６、操作者判定部３７、画像処理部３８、表示出力部３９、及び、タッチ位置情報取得部４０を追加した構成となっている。即ち、タッチパネル制御装置１０Ｂは、画像データ取得部３１、視線判定部３２、動作判定部３３、操作許可判定部３４、制御部３５、指紋情報取得部３６、操作者判定部３７、画像処理部３８、表示出力部３９、及び、タッチ位置情報取得部４０を備えている。

指紋情報取得部３６は、指紋センサ１５から、タッチパネル２１のタッチ操作面をタッチ操作している手の指紋に関する指紋情報を取得する。この指紋情報取得部３６は、指紋に関する指紋情報を操作者判定部３７に出力する。

操作者判定部３７は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物が複数であると判定した場合に、その全ての人物の中から、当該画像データに基づいて、タッチ操作面に対するタッチ操作を行おうとする人物を判定する。また、操作者判定部３７は、画像データ取得部３１によって取得された画像データ、及び、指紋情報取得部３６によって取得された指紋情報に基づいて、タッチ操作面をタッチ操作している人物を判定する。この操作者判定部３７は、判定結果を、操作許可判定部３４及び制御部３５に出力する。

画像処理部３８は、表示部２２で表示する画像の画像データを、制御部３５からの動作指示に基づいて生成する。例えば、画像処理部３８は、人物のタッチ操作面でのタッチ操作に対応する表示画面を、操作許可判定部３４によって判定された人物ごとに対応して分割表示するための画像データを生成する。この画像処理部３８は、生成した画像データを表示出力部３９に出力する。

表示出力部３９は、画像処理部３８が生成した画像データを、表示部２２で表示可能となる画像に変換する。この表示出力部３９は、変換した画像を画像変換部１３に出力する。

タッチ位置情報取得部４０は、タッチセンサ１４から、人物のタッチ操作でのタッチ位置に関するタッチ位置情報を取得する。このタッチ位置情報取得部４０は、タッチ位置に関するタッチ位置情報を制御部３５に出力する。

操作許可判定部３４は、視線判定部３２の判定結果、動作判定部３３の判定結果、及び、操作者判定部３７の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。

具体的には、操作許可判定部３４は、視線判定部３２によって、タッチ操作面に向いていると判定された視線と、動作判定部３３によって、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定された手と、操作者判定部３７によって、タッチ操作面に対するタッチ操作を行おうとする人物であると判定された人物とが関連付けられた場合に、視線判定部３２によって判定された視線を有する人物と、動作判定部３３によって判定された手を有する人物と、操作者判定部３７によって判定された人物とが、一致していると判定し、この一致していると判定した人物のタッチ操作面でのタッチ操作を許可する。

一方、操作許可判定部３４は、視線判定部３２によって、タッチ操作面に向いていると判定された視線と、動作判定部３３によって、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定された手と、操作者判定部３７によって、タッチ操作面に対するタッチ操作を行おうとする人物であると判定された人物とが関連付けられない場合に、視線判定部３２によって判定された視線を有する人物と、動作判定部３３によって判定された手を有する人物と、操作者判定部３７によって判定された人物とが、一致していないと判定し、この一致していないと判定した人物のタッチ操作面でのタッチ操作を許可しない。

また、操作許可判定部３４は、複数の操作対象デバイスが互い共通のタッチ操作面を用いて操作される場合に、当該操作対象デバイスごとに、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。

制御部３５は、操作者判定部３７によって判定された人物がタッチ操作面をタッチ操作したときに、タッチ位置情報取得部４０によって取得されたタッチ位置情報に基づいて、当該人物に対するタッチ操作面のタッチ操作領域を設定する。また、制御部３５は、画像処理部３８が生成した画像データに基づいて、表示部２２において分割表示された各表示画面に対応して、タッチ操作面のタッチ操作領域を分割する。

なお、タッチパネル制御装置１０Ｂのハードウェア構成としては、図４Ａ及び図４Ｂに示したタッチパネル制御装置１０Ａのハードウェア構成を採用すれば良い。即ち、タッチパネル制御装置１０Ａは、プロセッサ５１及びメモリ５２を有するか、または、プロセッサ５１、メモリ５２、及び、処理回路５３を有するものであっても良い。

次に、実施の形態２に係るタッチパネル制御装置１０Ｂの動作について、図１０及び図１１を用いて説明する。

図１０は、実施の形態２に係るタッチパネル制御装置の動作手順を示したフローチャートである。

ステップＳＴ４１において、制御部３５は、タッチパネル２１をタッチ操作制限状態とし、人物のタッチ操作面でのタッチ操作を受け付けない。即ち、制御部３５は、人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映しない。

ステップＳＴ４２において、画像データ取得部３１は、カメラ１２から、当該カメラ１２が撮影した撮影画像の画像データを取得する。

ステップＳＴ４３において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する。この視線判定部３２の判定動作は、タッチ操作面の周囲に存在する全ての人物に対して行われる。ここで、視線判定部３２が、一人でも、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４４に進む。一方、視線判定部３２が、タッチ操作面の周囲に存在する全て人物の視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４１に戻る。

ステップＳＴ４４において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する。この動作判定部３３の判定動作は、タッチ操作面の周囲に存在する全ての人物に対して行われる。ここで、動作判定部３３が、一人でも、その手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４５に進む。一方、動作判定部３３が、タッチ操作面の周囲に存在する全ての人物の手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４１に戻る。

ステップＳＴ４５において、操作者判定部３７は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する全ての人物の中から、タッチ操作面に対するタッチ操作を行おうとする一人以上の人物を判定する。

ステップＳＴ４６において、操作許可判定部３４は、視線判定部３２によって判定された視線の人物と、動作判定部３３によって判定された手の人物と、操作者判定部３７によって判定された人物とに基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。この操作許可判定部３４の判定動作は、タッチ操作面に対するタッチ操作を行おうとする一人以上の全ての人物に対して行われる。ここで、操作許可判定部３４が、一人でも、人物にタッチ操作を許可した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４７に進む。一方、操作許可判定部３４が、タッチ操作面に対するタッチ操作を行おうとする一人以上の全ての人物にタッチ操作を許可しない場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４１に戻る。

ステップＳＴ４７において、制御部３５は、選ばれた一人または複数の人物のタッチ操作面でのタッチ操作を操作対象デバイスに反映する。

ステップＳＴ４８において、タッチパネル制御装置１０Ｂは、タッチセンサ１４からタッチ位置情報を取得してから、一定時間経過したか否かを判定する。ここで、タッチパネル制御装置１０Ｂが、一定時間経過したと判定した場合には、当該タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４９に進む。一方、タッチパネル制御装置１０Ｂが、一定時間経過していないと判定した場合には、当該タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４８を繰り返す。

ステップＳＴ４９において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面でのタッチ操作を一旦許可された人物の視線が、タッチ操作面に向いているか否かを判定する。この視線判定部３２の判定動作は、タッチ操作面でのタッチ操作を一旦許可された全ての人物に対して行われる。ここで、視線判定部３２が、一人でも、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ５０に進む。一方、視線判定部３２が、タッチ操作面でのタッチ操作を一旦許可された全ての人物の視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ５１に進む。

ステップＳＴ５０において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面でのタッチ操作を一旦許可された人物の手が、検出領域内に存在しているか否を判定する。このとき、動作判定部３３は、その人物の手がタッチ操作面に触れているか否かについては問わない。この動作判定部３３の判定動作は、タッチ操作面でのタッチ操作を一旦許可された全ての人物に対して行われる。ここで、動作判定部３３が、一人でも、その手が検出領域内に存在していると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ４８に戻る。一方、動作判定部３３が、タッチ操作面でのタッチ操作を一旦許可された全ての人物の手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ５１に進む。

ステップＳＴ５１において、操作許可判定部３４は、タッチ操作面での操作を一旦許可された全ての人物のタッチ操作面でのタッチ操作許可を解除する。そして、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ２１に戻る。

図１１は、実施の形態２に係るタッチパネル制御装置における表示画面の分割が必要となる場合の動作手順を示したフローチャートである。

ステップＳＴ６１において、制御部３５は、タッチパネル２１をタッチ操作制限状態とし、人物のタッチ操作面でのタッチ操作を受け付けない。即ち、制御部３５は、人物のタッチ操作面でのタッチ操作を反映しない。

ステップＳＴ６２において、画像データ取得部３１は、カメラ１２から、当該カメラ１２が撮影した撮影画像の画像データを取得する。

ステップＳＴ６３において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の視線が、タッチ操作面に向いているか否かを判定する。この視線判定部３２の判定動作は、タッチ操作面の周囲に存在する全ての人物に対して行われる。ここで、視線判定部３２が、一人でも、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６４に進む。一方、視線判定部３２が、タッチ操作面の周囲に存在する全て人物の視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６１に戻る。

ステップＳＴ６４において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物の手が、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であるか否かを判定する。この動作判定部３３の判定動作は、タッチ操作面の周囲に存在する全ての人物に対して行われる。ここで、動作判定部３３が、一人でも、その手が検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６５に進む。一方、動作判定部３３が、タッチ操作面の周囲に存在する全ての人物の手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６１に戻る。

ステップＳＴ６５において、操作者判定部３７は、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する全ての人物の中から、タッチ操作面に対するタッチ操作を行おうとする一人以上の人物を判定する。

ステップＳＴ６６において、操作許可判定部３４は、視線判定部３２によって判定された視線の人物と、動作判定部３３によって判定された手の人物と、操作者判定部３７によって判定された人物とに基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。この操作許可判定部３４の判定動作は、タッチ操作面に対するタッチ操作を行おうとする一人以上の全ての人物に対して行われる。ここで、操作許可判定部３４が、一人でも、人物にタッチ操作を許可した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６７に進む。一方、操作許可判定部３４が、タッチ操作面に対するタッチ操作を行おうとする一人以上の全ての人物にタッチ操作を許可しない場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６１に戻る。

ステップＳＴ６７において、制御部３５は、操作許可判定部３４によって判定された人物の人数に対応した画像データを、画像処理部３８に生成させる。また、制御部３５は、画像処理部３８によって生成された上記画像データに基づいて、表示部２２において分割表示された各表示画面に対応して、タッチ操作面のタッチ操作領域を分割する。

ステップＳＴ６８において、制御部３５は、選ばれた複数の人物の各タッチ操作領域でのタッチ操作を各操作対象デバイスに反映する。

ステップＳＴ６９において、タッチパネル制御装置１０Ｂは、タッチセンサ１４からタッチ位置情報を取得してから、一定時間経過したか否かを判定する。ここで、タッチパネル制御装置１０Ｂが、一定時間経過したと判定した場合には、当該タッチパネル制御装置１０Ｂの動作は、ステップＳＴ７０に進む。一方、タッチパネル制御装置１０Ｂが、一定時間経過していないと判定した場合には、当該タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６９を繰り返す。

ステップＳＴ７０において、視線判定部３２は、画像データ取得部３１によって取得された画像データに基づいて、分割されたタッチ操作領域でのタッチ操作を一旦許可された人物の視線が、タッチ操作面に向いているか否かを判定する。この視線判定部３２の判定動作は、ここで、視線判定部３２が、一人でも、その視線がタッチ操作面に向いていると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ７１に進む。一方、視線判定部３２が、分割された各タッチ操作領域でのタッチ操作を一旦許可された全ての人物の視線がタッチ操作面に向いていないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ７２に進む。

ステップＳＴ７１において、動作判定部３３は、画像データ取得部３１によって取得された画像データに基づいて、分割されたタッチ操作領域でのタッチ操作を一旦許可された人物の手が、検出領域内に存在しているか否を判定する。このとき、動作判定部３３は、その人物の手がタッチ操作面に触れているか否かについては問わない。この動作判定部３３の判定動作は、分割された各タッチ操作領域でのタッチ操作を一旦許可された全ての人物に対して行われる。ここで、動作判定部３３が、一人でも、その手が検出領域内に存在していると判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６９に戻る。一方、動作判定部３３が、分割された各タッチ操作領域でのタッチ操作を一旦許可された全ての人物の手が検出領域内に存在しないと判定した場合には、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ７２に進む。

ステップＳＴ７２において、操作許可判定部３４は、分割された各タッチ操作領域での操作を一旦許可された全ての人物の当該タッチ操作領域でのタッチ操作許可を解除する。そして、タッチパネル制御装置１０Ｂの動作は、ステップＳＴ６１に戻る。

次に、実施の形態２に係るタッチパネル制御装置を車室内のアームレストに搭載されたタッチパネルディスプレイに適用した場合における当該タッチパネル制御装置の動作について、図１２を用いて説明する。なお、図１２Ａから図１２Ｃで示した点線は、人物の視線の向きを表している。

図１２Ａは、複数の操作対象デバイスに対して、タッチパネルディスプレイが個々に設けられる場合の動作説明図である。この図１２Ａに示した２人の人物は、車室内に設けられた左右両側の後部座席６１，６２にそれぞれ着座している。アームレスト７１，７２は、後部座席６１，６２に対応して設けられている。タッチパネル２１は、アームレスト７１，７２のそれぞれに設けられている。右側の後部座席６２に着座した人物は、手がタッチパネル２１のタッチ操作面に触れているが、視線がそのタッチ操作面に向いていない。これにより、タッチパネル制御装置１０Ｂは、後部座席６２に着座した人物のタッチ操作面での操作を受け付けない。

図１２Ｂは、複数の操作対象デバイスに対して、互いに共通のタッチパネルディスプレイが設けられる場合の動作説明図である。この図１２Ｂに示した２人の人物は、後部座席６１，６２にそれぞれ着座している。アームレスト７３は、後部座席６１，６２の間に設けられている。タッチパネル２１は、アームレスト７３に設けられている。左側の後部座席６１に着座した人物は、視線がタッチ操作面に向いているが、手がタッチ操作面に触れていない。また、右側の後部座席６２に着座した人物は、手がタッチパネル２１のタッチ操作面に触れているが、視線がそのタッチ操作面に向いていない。これにより、タッチパネル制御装置１０Ｂは、２人の人物のタッチ操作面での操作を受け付けない。

図１２Ｃは、複数の操作対象デバイスに対して、互いに共通のタッチパネルディスプレイが設けられる場合の他の動作説明図である。この図１２Cに示した２人の人物は、互いに異なった操作対象デバイスを、互いに共通のタッチパネル２１を用いて操作し、且つ、そのタッチ操作面でのタッチ操作を許可された人物である。これにより、タッチパネル制御装置１０Ｂは、２人の人物のタッチ操作面での操作を同時に受け付ける。

図１２Ｄは、複数の操作対象デバイスに対して、互いに共通のタッチパネルディスプレイが設けられる場合の更に他の動作説明図である。この図１２Ｄに示した２人の人物は、互いに異なった操作対象デバイスを、互いに共通のタッチパネル２１を用いて操作し、且つ、そのタッチ操作面でのタッチ操作を許可された人物である。これにより、タッチパネル制御装置１０Ｂは、２人の人物のタッチ操作面での操作を同時に受け付ける。このとき、タッチパネル制御装置１０Ｂは、タッチ操作面のタッチ操作領域と、これに対応する表示部２２の表示画面とを、人物の人数に基づいて、占有領域として２つに分割する。それらの分割方向は、人物の配置に基づいて行われる。

但し、図１２Ａから図１２Ｄに示したタッチパネル制御装置１０Ｂは、車室内のアームレスト７１〜７３に搭載されたタッチパネルディスプレイに適用しているが、机の上面及び壁面に埋め込まれたタッチパネルディスプレイに適用することもできる。

以上より、実施の形態２に係るタッチパネル制御装置１０Ｂは、画像データ取得部３１によって取得された画像データに基づいて、タッチ操作面の周囲に存在する人物が複数であると判定した場合に、その複数の人物の中から、当該画像データに基づいて、タッチ操作面に対するタッチ操作を行おうとする人物を判定する操作者判定部３７を備えている。また、操作許可判定部３４は、視線判定部３２の判定結果、動作判定部３３の判定結果、及び、操作者判定部３７の判定結果に基づいて、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。これにより、タッチパネル制御装置１０Ｂは、タッチ操作面の周囲に存在する人物が複数であっても、意図しないタッチ操作を防止することができる。

実施の形態２に係るタッチパネル制御装置１０Ｂの操作許可判定部３４は、視線判定部３２によって、タッチ操作面に向いていると判定された視線と、動作判定部３３によって、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定された手と、操作者判定部３７によって、タッチ操作面に対するタッチ操作を行おうとする人物であると判定された人物とが関連付けられた場合に、視線判定部３２によって判定された視線を有する人物と、動作判定部３３によって判定された手を有する人物と、操作者判定部３７によって判定された人物とが、一致していると判定し、この一致していると判定した人物のタッチ操作面でのタッチ操作を許可する。また、操作許可判定部３４は、視線判定部３２によって、タッチ操作面に向いていると判定された視線と、動作判定部３３によって、検出領域内に存在し、且つ、タッチ操作面に触れていない状態であると判定された手と、操作者判定部３７によって、タッチ操作面に対するタッチ操作を行おうとする人物であると判定された人物とが関連付けられない場合に、視線判定部３２によって判定された視線を有する人物と、動作判定部３３によって判定された手を有する人物と、操作者判定部３７によって判定された人物とが、一致していないと判定し、この一致していないと判定した人物のタッチ操作面でのタッチ操作を許可しない。これにより、タッチパネル制御装置１０Ｂは、タッチ操作面に向いている視線の人物と、タッチ操作面に対するタッチ操作を行おうとする手の人物とが、異なる場合であっても、意図しないタッチ操作を防止することができる。

実施の形態２に係るタッチパネル制御装置１０Ｂは、人物のタッチ操作面でのタッチ位置を検出するタッチセンサ１４から、タッチ位置に関するタッチ位置情報を取得するタッチ位置情報取得部４０を備えている。また、制御部３５は、操作者判定部３７によって判定された人物がタッチ操作面をタッチ操作したときに、タッチ位置情報取得部４０によって取得されたタッチ位置情報に基づいて、当該人物に対するタッチ操作面のタッチ操作領域を設定する。これにより、タッチパネル制御装置１０Ｂは、タッチ操作面でのタッチ操作を許可した人物がタッチ操作し易い位置で、当該人物のタッチ操作を行わせることができる。

実施の形態２に係るタッチパネル制御装置１０Ｂは、タッチ操作面をタッチ操作している手の指紋を検出する指紋センサ１５から、指紋に関する指紋情報を取得する指紋情報取得部３６を備えている。また、操作者判定部３７は、画像データ取得部３１によって取得された画像データ、及び、指紋情報取得部３６によって取得された指紋情報に基づいて、タッチ操作面をタッチ操作している人物を判定する。これにより、タッチパネル制御装置１０Ｂは、タッチ操作面でのタッチ操作を許可した人物が、タッチ操作をしている最中でも、当該人物が操作を許可した人物であるか否を判定することができる。

実施の形態２に係るタッチパネル制御装置１０Ｂの操作許可判定部３４は、複数の操作対象デバイスが互いに共通のタッチ操作面を用いて操作される場合に、操作対象デバイスごとに、人物のタッチ操作面でのタッチ操作を許可するか否かを判定する。これにより、タッチパネル制御装置１０Ｂは、複数の人物の中でも、タッチ操作面でのタッチ操作を許可した人物のタッチ操作のみを受け付けることができる。

実施の形態２に係るタッチパネル制御装置１０Ｂは、人物のタッチ操作面でのタッチ操作に対応する表示画面を、操作許可判定部３４によって判定された人物ごとに対応して分割表示するための画像データを生成する画像処理部３８と、画像処理部３８が生成した画像データを、当該画像データを表示部２２で表示可能となる画像に変換するための画像変換部１３に出力する表示出力部３９とを備えている。これにより、タッチパネル制御装置１０Ｂは、複数の人物のタッチ操作面でのタッチ操作を同時に受け付けることができる。

実施の形態２に係るタッチパネル制御装置１０Ｂの制御部３５は、画像処理部３８が生成した画像データに基づいて、表示部２２において分割表示された各表示画面に対応して、タッチ操作面のタッチ操作領域を占有領域として分割する。これにより、タッチパネル制御装置１０Ｂは、複数の人物がタッチ操作面でのタッチ操作を行う場合であっても、他の人物のタッチ操作面でのタッチ操作を受け付けることはない。

なお、本願発明は、その発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは、各実施の形態における任意の構成要素の変形、もしくは、各実施の形態における任意の構成要素の省略が可能である。

この発明に係るタッチパネル制御装置及びタッチパネル制御方法は、人物のタッチ操作面でのタッチ操作を許可するか否かを判定して、意図しないタッチ操作を防止することができるので、タッチパネルを制御するタッチパネル制御装置及びタッチパネル制御方法等に用いるのに適している。

１Ａ，１Ｂ，２Ａ，２Ｂ タッチパネルディスプレイ、３ 制御ユニット、１０Ａ，１０Ｂ タッチパネル制御装置、１１ 表示装置、１２ カメラ、１３ 画像変換部、１４ タッチセンサ、１５ 指紋センサ、１６，１７ Ｉ／Ｆ部、２１ タッチパネル、２２ 表示部、３１ 画像データ取得部、３２ 視線判定部、３３ 動作判定部、３４ 操作許可判定部、３５ 制御部、３６ 指紋情報取得部、３７ 操作者判定部、３８ 画像処理部、３９ 表示出力部、４０ タッチ位置情報取得部、５１ プロセッサ、５２ メモリ、５３ 処理回路、６１，６２ 後部座席、７１〜７３ アームレスト。

Claims (12)

1. タッチパネルのタッチ操作面における周囲を撮影するカメラから、撮影画像の画像データを取得する画像データ取得部と、
   前記画像データ取得部によって取得された画像データに基づいて、前記タッチ操作面の周囲に存在する人物の視線が、前記タッチ操作面に向いているか否かを判定する視線判定部と、
   前記画像データ取得部によって取得された画像データに基づいて、前記タッチ操作面の周囲に存在する人物の手が、前記タッチ操作面の前方に設定される検出領域内に存在し、且つ、前記タッチ操作面に触れていない状態であるか否かを判定する動作判定部と、
   前記視線判定部の判定結果、及び、前記動作判定部の判定結果に基づいて、人物の前記タッチ操作面でのタッチ操作を許可するか否かを判定する操作許可判定部と、
   前記操作許可判定部の判定結果に基づいて、前記タッチパネルを制御する制御部とを備える
   ことを特徴とするタッチパネル制御装置。
2. 前記操作許可判定部は、
   前記視線判定部が、人物の視線が前記タッチ操作面に向いていると判定し、前記動作判定部が、人物の手が前記検出領域内に存在し、且つ、前記タッチ操作面に触れていない状態であると判定した場合に、人物の前記タッチ操作面でのタッチ操作を許可し、
   前記視線判定部が、人物の視線が前記タッチ操作面に向いていないと判定した場合に、人物の前記タッチ操作面でのタッチ操作を許可しない
   ことを特徴とする請求項１記載のタッチパネル制御装置。
3. 前記操作許可判定部は、
   人物の前記タッチ操作面でのタッチ操作を一旦許可した後に、
   前記視線判定部が、人物の視線が前記タッチ操作面に向いていないと判定した場合、または、前記動作判定部が、人物の手が前記検出領域内に存在しないと判定した場合に、
   人物の前記タッチ操作面でのタッチ操作許可を解除する
   ことを特徴とする請求項２記載のタッチパネル制御装置。
4. 前記画像データ取得部によって取得された画像データに基づいて、前記タッチ操作面の周囲に存在する人物が複数であると判定した場合に、その全ての人物の中から、当該画像データに基づいて、前記タッチ操作面に対するタッチ操作を行おうとする人物を判定する操作者判定部を備え、
   前記操作許可判定部は、
   前記視線判定部の判定結果、前記動作判定部の判定結果、及び、前記操作者判定部の判定結果に基づいて、人物の前記タッチ操作面でのタッチ操作を許可するか否かを判定する
   ことを特徴とする請求項１記載のタッチパネル制御装置。
5. 前記操作許可判定部は、
   前記視線判定部によって、前記タッチ操作面に向いていると判定された視線と、前記動作判定部によって、前記検出領域内に存在し、且つ、前記タッチ操作面に触れていない状態であると判定された手と、前記操作者判定部によって、前記タッチ操作面に対するタッチ操作を行おうとする人物であると判定された人物とが関連付けられた場合に、前記視線判定部によって判定された視線を有する人物と、前記動作判定部によって判定された手を有する人物と、前記操作者判定部によって判定された人物とが、一致していると判定し、この一致していると判定した人物の前記タッチ操作面でのタッチ操作を許可し、
   前記視線判定部によって、前記タッチ操作面に向いていると判定された視線と、前記動作判定部によって、前記検出領域内に存在し、且つ、前記タッチ操作面に触れていない状態であると判定された手と、前記操作者判定部によって、前記タッチ操作面に対するタッチ操作を行おうとする人物であると判定された人物とが関連付けられない場合に、前記視線判定部によって判定された視線を有する人物と、前記動作判定部によって判定された手を有する人物と、前記操作者判定部によって判定された人物とが、一致していないと判定し、この一致していないと判定した人物の前記タッチ操作面でのタッチ操作を許可しない
   ことを特徴とする請求項４記載のタッチパネル制御装置。
6. 人物の前記タッチ操作面でのタッチ位置を検出するタッチセンサから、タッチ位置に関するタッチ位置情報を取得するタッチ位置情報取得部を備え、
   前記制御部は、
   前記操作者判定部によって判定された人物が前記タッチ操作面をタッチ操作したときに、前記タッチ位置情報取得部によって取得されたタッチ位置情報に基づいて、当該人物に対する前記タッチ操作面のタッチ操作領域を設定する
   ことを特徴とする請求項４に記載のタッチパネル制御装置。
7. 前記タッチ操作面をタッチ操作している手の指紋を検出する指紋センサから、指紋に関する指紋情報を取得する指紋情報取得部を備え、
   前記操作者判定部は、
   前記画像データ取得部によって取得された画像データ、及び、前記指紋情報取得部によって取得された指紋情報に基づいて、前記タッチ操作面をタッチ操作している人物を判定する
   ことを特徴とする請求項４記載のタッチパネル制御装置。
8. 前記操作許可判定部は、
   複数の操作対象デバイスが互いに共通の前記タッチ操作面を用いて操作される場合に、前記操作対象デバイスごとに、人物の前記タッチ操作面でのタッチ操作を許可するか否かを判定する
   ことを特徴とする請求項４記載のタッチパネル制御装置。
9. 人物の前記タッチ操作面でのタッチ操作に対応する表示画面を、前記操作許可判定部によって判定された人物ごとに対応して分割表示するための画像データを生成する画像処理部と、
   前記画像処理部が生成した画像データを、当該画像データを表示部で表示可能となる画像に変換するための画像変換部に出力する表示出力部とを備える
   ことを特徴とする請求項４記載のタッチパネル制御装置。
10. 前記制御部は、
    前記画像処理部が生成した画像データに基づいて、前記表示部において分割表示された各表示画面に対応して、前記タッチ操作面のタッチ操作領域を占有領域として分割する
    ことを特徴とする請求項９記載のタッチパネル制御装置。
11. 前記検出領域は、前記タッチ操作面に対して、垂直方向に設定される
    ことを特徴とする請求項１記載のタッチパネル制御装置。
12. 画像データ取得部が、タッチパネルのタッチ操作面における周囲を撮影するカメラから、撮影画像の画像データを取得し、
    視線判定部が、前記画像データ取得部によって取得された画像データに基づいて、前記タッチ操作面の周囲に存在する人物の視線が、前記タッチ操作面に向いているか否かを判定し、
    動作判定部が、前記画像データ取得部によって取得された画像データに基づいて、前記タッチ操作面の周囲に存在する人物の手が、前記タッチ操作面の前方に設定される検出領域内に存在し、且つ、前記タッチ操作面に触れていない状態であるか否かを判定し、
    操作許可判定部が、前記視線判定部の判定結果、及び、前記動作判定部の判定結果に基づいて、人物の前記タッチ操作面でのタッチ操作を許可するか否かを判定し、
    制御部が、前記操作許可判定部の判定結果に基づいて、前記タッチパネルを制御する
    ことを特徴とするタッチパネル制御方法。

Images