JP4959606B2 - 入力装置およびこれを備えた車載情報装置 - Google Patents

入力装置およびこれを備えた車載情報装置 Download PDF

Info

Publication number
JP4959606B2
JP4959606B2 JP2008059679A JP2008059679A JP4959606B2 JP 4959606 B2 JP4959606 B2 JP 4959606B2 JP 2008059679 A JP2008059679 A JP 2008059679A JP 2008059679 A JP2008059679 A JP 2008059679A JP 4959606 B2 JP4959606 B2 JP 4959606B2
Authority
JP
Japan
Prior art keywords
input
unit
instruction
input device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008059679A
Other languages
English (en)
Other versions
JP2009217477A (ja
Inventor
治 五條
史尚 佐藤
裕太 川名
航 山崎
啓文 福元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008059679A priority Critical patent/JP4959606B2/ja
Publication of JP2009217477A publication Critical patent/JP2009217477A/ja
Application granted granted Critical
Publication of JP4959606B2 publication Critical patent/JP4959606B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、例えばカーナビゲーションシステムに適用されて各種情報を入力する入力装置に関する。
例えば、走行中の車内のような振動が発生する環境において、タッチパネルを用いて入力を行う場合、操作者の体の揺れに伴って指先が揺れてしまい、正確な位置への入力が困難となり、操作者が誤入力してしまう場合がある。
このような問題を解消するために、特許文献1は、周囲からの振動を受けても誤入力が発生し難い仮想キー入力装置を開示している。この仮想キー入力装置は、1つ以上のキーイメージを表示するキー表示手段と、該キー表示手段で表示したキーイメージの各々が、ユーザによって指定されたことを検出する指定キー検出手段とを備え、該指定キー検出手段で検出されたキーイメージに対応する情報を入力情報とし、当該仮想キー入力装置自身の動きを検出する動き検出手段を備えている。
また、特許文献2は、例えば車両より取り外して屋内などに携帯可能な画像表示装置に適用して、振動による視認性の劣化を有効に回避するカーナビゲーション装置および車載用機器の画像表示方法を開示している。この画像表示方法では、振動による表示画面に対するユーザの視点の変位に追従させて、静止画像の表示位置を変化させる。
また、特許文献3は、例えば車両に搭載して地図データ等を表示する画像表示装置に適用して、振動による視認性の劣化を簡易な構成により有効に回避できるようにした画像表示装置を開示している。この画像表示装置は、画像データを蓄積する画像メモリの読み出し制御において、振動による画像表示手段の表示画面に対するユーザの視点の変位に追従させて、画像表示手段で表示する画像の位置を変化させるとともに、画像メモリの書き込みの制御において、振動によるユーザの視点の変位に追従可能に画像メモリに書き込む画像データによる画像の大きさを可変する。
特開2007−133835号公報 特開2004−301789号公報 特開2005−148503号公報
上述した特許文献1〜特許文献3に開示された技術では、入力装置の振動を検知して、仮想キー入力装置または画像の表示位置を振動に応じて補正することにより、ユーザの誤入力を防ぐ。しかしながら、これらの技術では、入力装置の振動には対応できても、例えば走行中の車内のように、操作者自身が揺れてしまう状況に対応することは難しいという問題がある。
この発明は、上述した問題を解消するためになされたものであり、その課題は、操作者自身が揺れている状況であっても意図した通りの操作を行うことができる入力装置を提供することにある。
この発明に係る入力装置は、上記課題を解決するために、指示点の位置の3次元座標を連続的に検出し、該検出した時点の検出時刻と一緒に出力する指示点位置検出部と、指示点位置検出部から送られてくる指示点の位置および検出時刻から指示点の動きを検出する指示点動き検出部と、指示点動き検出部で検出された指示点の動きから意図された入力操作を推測する指示入力操作推測部と、指示入力操作推測部で推定された入力操作に応じた入力を行う入力部とを備え、入力部は、入力操作を検出する入力デバイスと、指示入力操作推測部からの推測結果に応じて、入力デバイスの入力領域を設定する指示入力設定部と、入力デバイスにより検出された入力操作が、指示入力設定部で設定された入力領域でなされことが判定された場合に該入力操作に応じた情報を出力する指示入力判定部とを備えたことを特徴とする
この発明に係る入力装置によれば、操作者の指先などの指示点の位置を連続的に検出することにより操作者の指示点の揺れを検出し、操作者が意図した入力操作を推測して入力を行うように構成したので、操作者は、自身が揺れている状況であっても意図した通りの操作を行うことができる。
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態1.
(1)全体構成
図1は、この発明の実施の形態1に係る入力装置の構成を示すブロック図である。この入力装置は、指示点位置検出部100、入力操作推測部200、入力部300、表示部400および各種機能実行部500を備えている。
指示点位置検出部100は、操作者による指示点の位置(3次元座標)を連続的に検出する。ここで、指示点とは、指先、スタイラスペンまたは手などといった操作者が指示点入力操作に使用するもの全般を言い、指示点入力操作とは、タッチパネル、タッチパッドまたはハードウェアスイッチなどの操作を言う。この指示点位置検出部100で検出された指示点を表す3次元座標は、該指示点を検出した時刻(以下、「検出時刻」という)と一緒に入力操作推測部200に送られる。この指示点位置検出部100の詳細は後述する。
入力操作推測部200は、指示点位置検出部100から送られてくる指示点の3次元座標情報および検出時刻から指示点の3次元座標上での動きを検出する。また、入力操作推測部200は、指示点の3次元座標上での動きから、操作者がどのような指示点入力操作を行おうとしているかを推測し、この推測結果を、入力部300に送る。この入力操作推測部200の詳細は後述する。
入力部300は、操作者の入力操作を受け付け、入力操作推測部200からの推定結果を勘案し操作者の入力操作を判定し、この判定結果に応じて実行要求通知を生成し、各種機能実行部500に送る。この入力部300の詳細は後述する。
各種機能実行部500は、入力部300からの実行要求通知にしたがって、地図表示機能、施設検索機能、ルート探索機能、音楽検索機能、音楽再生機能などといった各種機能を実現するための処理を実行する。この各種機能実行部500における処理結果、例えば表示画面部品情報を伴った実行結果表示要求通知が表示部400に送られる。
表示部400は、各種機能実行部500から送られてくる実行結果表示要求通知に応じて、画面表示を行う。この表示部400の詳細は後述する。
図2は、実施の形態1に係る入力装置が適用された車載情報装置を部分的に示す外観斜視図である。入力装置は、詳細は後述するが、例えば液晶ディスプレイなどといった表示器410の上に、例えば透明のタッチパネルまたはタッチスイッチといった入力デバイス310が載置されて正面が形成されており、その下方に基準カメラ110および補助カメラ120が配置されている。
(2)指示点位置検出部100
次に、指示点位置検出部100の詳細を説明する。指示点位置検出部100は、上述したように、操作者の指先の位置などといった指示点の3次元座標を連続的に検出する。ここで、3次元座標は、図2に示すように、入力装置の正面の左上隅を中心Oとして、横方向をX軸、縦方向をY軸、正面に対する垂直方向をZ軸とし、X軸は右方向、Y軸は下方向、Z軸は手前方向を正とする。
指示点の3次元座標の検出には、例えば特許第3860550号公報に開示されている技術を用いることができる。この技術では、複数のカメラで撮影した複数の画像から、ステレオ法などを用いて操作者の手の3次元座標が求められる。この場合、手の位置を画像処理により検出するために、入力画像がカラー画像である場合は、カラー画像中の色情報を用いて肌色領域が抽出される。この実施の形態1に係る入力装置では、2台のカメラを用いて3次元座標を検出するように構成しているが、3台以上のカメラを用いれば、より確実に指示点を撮影し、より正確に指示点の3次元座標を検出することができる。
また、指示点の3次元座標の検出には、例えば特許第3933139号公報に開示されている技術を用いることができる。この技術では、赤外線カメラを用いて、指などの検出対象が発する赤外線を撮像し、輝度値の分布として赤外線画像を出力し、検出領域面に沿った検出対象の2次元位置と検出領域面に対して垂直方向の検出対象の3次元位置を求めることにより、操作者の手の3次元座標が求められる。この場合、手の位置を検出するために、所定範囲の輝度値を有する画素の形状から、例えば、5本のうちいずれか1以上の指を伸ばした形状などを検出する方法が用いられる。
さらに、指示点の3次元座標の検出には、特許第2666900号公報に開示されている技術を用いることができる。この技術では、同一面内に配置された一対の極板から成る平面コンデンサの静電容量の変化を検出するノンタッチスイッチを垂直方向または水平方向に配置し、各ノンタッチスイッチに上から下、または操作者にとって遠方から手前に優先順位を設けることにより、マトリックス状に配置されたノンタッチスイッチのいずれかに操作者が指先を近づけた場合、操作者が意図するノンタッチスイッチを検出して誤入力を防止しながら、操作者の手の3次元座標が求められる。なお、静電容量変化を検出するノンタッチスイッチでは、静電容量が変化した値から、指先近接時の距離を算出することができる。
図3は、指示点位置検出部100の構成を示すブロック図である。指示点位置検出部100は、基準カメラ110、補助カメラ120、指領域抽出部130、輪郭線抽出部140、多角形近似部150、指先2次元座標算出部160、指先距離算出部170、タイマ180および指先3次元座標送出部190を備えている。
基準カメラ110および補助カメラ120は、図2に示すように、入力装置の正面を構成する入力デバイス310および表示器410の下部の左端と右端に、操作者が入力操作を行う際の指示点を撮影可能な方向に向けてそれぞれ設置されており、連続的に撮影を行う。図4は、基準カメラ110および補助カメラ120の取り付け箇所を示す車載情報装置の側面図であり、図5は、平面図である。基準カメラ110および補助カメラ120としては、例えば180°以上の視野角を有する高視野角のカメラが用いられる。これにより、幅広い範囲において指示点を撮影することができる。
なお、基準カメラ110および補助カメラ120を、斜め上方を向けて設置し、操作者の指先全体を撮影できるように構成できる。また、基準カメラ110および補助カメラ120は、必ずしも入力装置の正面(入力デバイス310および表示器410)の下部に設置する必要はなく、正面の上部、正面中央の左端と右端、車室の床または車室の天井などに設置することもできる。
操作者が入力操作のために指先を入力デバイス310に近づけた場合に、基準カメラ110によって撮影された画像の例を図6に示し、補助カメラ120によって撮影された画像の例を図7に示す。基準カメラ110および補助カメラ120によって撮影された画像は、画像信号として指領域抽出部130に送られる。
指領域抽出部130は、基準カメラ110および補助カメラ120の各々から送られてくる画像信号によって示される手の画像から、操作者の指が存在する指領域を抽出する。指領域の抽出には、例えば特許第3863809号公報に開示されている技術を用いることができる。この技術では、画像中の肌色領域を抽出し、肌色領域の形状から指領域が抽出される。図8は、指領域抽出部130によって抽出された指領域の例を示す。この指領域抽出部130で抽出された指領域は、指領域情報として輪郭線抽出部140に送られる。
なお、基準カメラ110および補助カメラ120の各々で撮影された画像から、肌色領域を抽出し、肌色領域の形状から指領域を抽出する方法を用いる場合は、操作者の手および指先が、例えば手袋などの肌色でないもので覆われていない必要があるが、肌色でないもので覆われている場合であっても、手および指先を覆っているもの色をあらかじめ基準カメラ110および補助カメラ120で撮影して色情報を登録しておくことにより、基準カメラ110および補助カメラ120の各々で撮影された画像から、登録されている色領域を抽出して、抽出した色領域の形状から指領域を抽出することができる。
また、操作者が指先ではなく、スタイラスペンのような細長い物体を使用して入力操作を行う場合であっても、その物体の色と形状をあらかじめ登録しておき、基準カメラ110および補助カメラ120の各々で撮影された画像から、その物体の色領域を抽出して、抽出した色領域の形状から物体の領域を抽出することにより、指領域を抽出した場合と同様に扱うことができる。
輪郭線抽出部140は、指領域抽出部130から送られてくる指領域情報に基づき、指領域の輪郭線を抽出する。輪郭線を抽出する方法としては、一般に知られている輪郭線追跡処理の方法を用いることができる。この輪郭線抽出部140で抽出された指領域の輪郭線は、輪郭線情報として多角形近似部150に送られる。
多角形近似部150は、輪郭線抽出部140から送られてくる輪郭線情報に基づいて指領域の線分を抽出して、多角形近似を行う。線分を抽出する方法としては、一般に知られている区分的直線近似法を用いることができる。図9は、多角形近似部150で近似された多角形の例を示す。この多角形近似部150において近似された多角形は、多角形近似情報として指先2次元座標算出部160に送られる。
指先2次元座標算出部160は、基準カメラ110で撮影された画像から算出された多角形近似情報に基づき、指先の2次元座標を算出する。具体的には、指先2次元座標算出部160は、図10に示すように、まず、一定角度以下の角θ1〜θ3を持つ頂点を算出し、算出した頂点のうち、指領域の重心からの距離が最も大きい頂点を指先と判断して、2次元座標(x,y)を算出し、指先3次元座標送出部190に送る。図10に示した例では、角θ1の頂点が指先と判断され、2次元座標が算出される。
また、指先2次元座標算出部160は、上記と同様にして、基準カメラ110および補助カメラ120で撮影された画像から算出された多角形近似情報に基づき、指先の2次元座標を算出する。この基準カメラ110および補助カメラ120で撮影された画像の多角形近似情報に基づき算出された指先の2次元座標情報は、指先距離算出部170に送られる。
指先距離算出部170は、基準カメラ110で撮影された画像の多角形近似情報に基づき算出された指先2次元座標情報と補助カメラ120で撮影された画像の多角形近似情報に基づき算出された指先2次元座標情報とに基づき指先距離を算出する。この指先距離算出部170で算出された指先距離は、指先距離情報として指先3次元座標送出部190に送られる。
複数の画像から対象の距離を算出する方法としては、一般的に知られているステレオ法を用いることができる。図11および図12は、ステレオ法による指先距離算出を説明するための図であり、Lはカメラ間の距離、fはカメラの焦点距離、dは各カメラで撮影した指先2次元座標間の距離、hは求めたい指先距離であり、各値は下記(1)式および(2)式を満たす。
d=x+x’…(1)
h=f・L/d…(2)
タイマ180は、時刻を計時する。このタイマ180は、入力装置が起動された直後からの相対時刻を計時するように構成することもできる。このタイマ180で計時された時刻は、検出時刻情報として指先3次元座標送出部190に送られる。
指先3次元座標送出部190は、指先2次元座標算出部160から送られてくる指先の2次元座標情報と指先距離算出部170から送られてくる指先距離情報とから成る指先の3次元座標情報と、タイマ180から取得した検出時刻とを、入力操作推測部200に送る。
(3)入力操作推測部200
次に、入力操作推測部200の詳細を、図1に示した入力装置の構成を示すブロック図を参照しながら説明する。この入力操作推測部200は、指示点動き検出部210、指示入力操作推測部240、動き検出空間領域設定部260および空間領域移動情報分析部270を備えている。
指示点動き検出部210は、指示点位置検出部100から送られてくる指示点の3次元座標情報および検出時刻情報を、該検出時刻情報によって示される検出時刻の順に記憶し、この記憶した指示点の3次元座標情報および検出時刻情報の中から、過去の一定時間内の指示点の3次元座標情報と検出時刻情報とを取得し、これらに基づいて指示点3次元座標移動履歴を検出して、空間領域移動情報分析部270に送る。
ここで、指示点3次元座標移動履歴とは、一定期間における指示点の移動履歴であって、指示点の3次元座標と検出時刻との組み合わせを時系列順に並べたデータである。図13は、指示点が入力デバイス310に近づいていった期間の、指示点3次元座標移動履歴の例を示す。図13(a)はX軸の履歴、図13(b)はY軸の履歴および図13(c)はZ軸の履歴をそれぞれ示している。指示点が入力デバイス310に近づくに従って、Z軸の値が0に近づく。
動き検出空間領域設定部260は、入力部300から入力領域情報を取得するとともに、動き検出空間領域設定情報データベース(図示しない)から、該入力領域設定情報に対応する動き検出空間領域設定情報を取得し、これらに基づき動き検出空間領域情報を生成して空間領域移動情報分析部270に送る。
入力領域情報は、図14に示すような、入力領域の位置x1、y1およびサイズb1およびb2を表す情報である。図14は、入力ボタンが単数の場合の入力領域設定情報の例を示しており、図17は、入力ボタンが複数の場合の入力領域設定情報の例を示している。動き検出空間領域設定情報は、入力領域周辺の3次元空間を、複数の動き検出空間に分割するための情報である。
入力領域が単数の場合、動き検出空間領域設定情報は、図15のX−Z座標および図16のY−Z座標に示すように、位置情報(x1,y1)、ボタンサイズb1、b2、高さ情報h1、h2、長さ情報l1、l2、l3、l4、角度情報α、βから構成される。位置情報とボタンサイズとしては、入力部300から取得された入力領域情報に含まれる値が使用される。高さ情報、長さ情報および角度情報は、あらかじめ定数として保持しておくか、あらかじめ操作者により設定される。
動き検出空間領域設定部260は、入力領域が単数の場合、図15および図16に示すような動き検出空間領域設定情報を用いて、入力領域周辺の空間を領域A、B、C、DおよびEに分割して動き検出空間領域を算出し、動き検出空間領域情報として空間領域移動情報分析部270に送る。
なお、入力領域が2つ同時に存在し、動き検出空間の分割時に重なる部分が発生する場合、動き検出空間領域設定情報は、図18および図19に示すように、図17に示す左側の入力領域1に対する位置情報(x1、y1)、(x2、y2)、ボタンサイズb1、b2、b3、高さ情報h11、h12、長さ情報l11、l12、l13、l14、角度情報α1、β1と、図18および図20に示すように、図17に示す右側の入力領域2に対する高さ情報h21、h22、長さ情報l21、l22、l23、l24、角度情報α2、β2とから構成される。
動き検出空間領域設定部260は、入力領域が2つ同時に存在し、動き検出空間の分割時に重なる部分が発生する場合、図18〜図20に示すような動き検出空間領域設定情報を用いて、入力領域周辺の空間を領域A1、A2、B1、B2、Eに分割して動き検出空間領域を算出し、動き検出空間領域情報として空間領域移動情報分析部270に送る。
また、動き検出空間領域設定部260は、図21に示すように、指示点が入力デバイス310に近接した場合、指示入力操作推測部240から推測結果を取得して、入力領域1への入力操作推測結果を検出できる。入力領域1への入力操作推測結果を検出した場合、図21に示すように、入力領域周辺の空間を領域A1、A2、B1、B2、C1、C2、D1、D2、Eに分割して動き検出空間領域を算出することにより、動的に入力領域2よりも入力領域1への入力を優先的に受け付けることができる(詳細は図29および図30参照)。
なお、入力領域が3つ以上同時に存在する場合であっても、上述した入力領域が2つの場合と同様の方法により、動き検出空間領域を算出できる。
また、動き検出空間領域を算出する場合は、例えば図22に示すように、位置情報(x1、y1)、ボタンサイズb1、b2、高さ情報h1、長さ情報l1のみを用いて、簡略化した動き検出空間領域を算出するように構成することもできる。動き検出空間領域を簡略化すると、指示点が複雑な動きをした場合に推測できない可能性が高くなるが、静電容量方式の近接センサなど、指示点までの正確な距離を算出することが難しい近接センサを用いた場合であっても、入力操作の推測を実現できるというメリットがある。
空間領域移動情報分析部270は、指示点動き検出部210から指示点3次元座標移動履歴情報を取得する前に、動き検出空間領域設定部260から動き検出空間領域情報を取得しておく。そして、指示点動き検出部210から指示点3次元座標移動履歴情報を取得した後、操作者による指示点の動き検出空間における移動経路を連続的に検出し、空間領域移動情報として指示入力操作推測部240に送る。図23は、空間領域移動情報によって示される指示点の移動経路の例を示す。
指示入力操作推測部240は、空間領域移動情報分析部270から送られてくる空間領域移動情報から、操作者の入力操作を推測し、この推測によって得られた入力領域番号を入力部300に送る。
この指示入力操作推測部240は、入力領域が単数の場合、図24に示す、初期状態、非検知状態、非推測状態、入力推測許容状態、準推測状態および入力推測状態といった6種類の状態のうち、いずれかの状態を取る。入力装置が起動された直後は初期状態を取っており、入力装置が指示点を検知する準備が整うと、非検知状態に遷移する。その後、指示点がA〜Eの空間を移動する度に、図24に示した状態遷移図にしたがって状態が遷移する。
入力領域が複数の場合には、図27に示す遷移図となる。順に推測状態に遷移した場合には、動き検出空間領域は、図18〜図20に示す分割から図21に示す分割に切り替えられる。異なる入力領域の空間領域に指示点が移動した場合、移動先の入力領域の状態に遷移する。図27では、他の入力領域の状態への遷移の矢印を省略している。
指示入力を行う指示点の位置を検出した場合の推測状態遷移の例を、図25、図26、図28〜図30に示す。図25は、入力領域が単数の場合に、指示点が動き検出空間領域A→C→D→接触という順で動いた場合の例を示しており、図25(a)は指示点の移動経路、図25(b)は状態遷移を示している。図26は、入力領域が単数の場合に、指示点が動き検出空間領域A→B→D→接触という順で動いた場合の例を示しており、図25(a)は指示点の移動経路、図25(b)は状態遷移を示している。
図28は、入力領域が2つの場合に、指示点が動き検出空間領域E→A1という順で動いた場合の例を示しており、図28(a)は指示点の移動経路、図28(b)は状態遷移を示している。図29は、入力領域が2つの場合に、指示点が動き検出空間領域A1→B1→A2という順で動いた場合の例を示しており、図29(a)は指示点の移動経路、図29(b)は状態遷移を示している。図30は、入力領域が2つの場合に、指示点が動き検出空間領域A2→C2→D2→接触という順で動いた場合の例を示しており、図30(a)は指示点の移動経路、図30(b)は状態遷移を示している。
なお、入力操作時の入力位置を推測する方法としては、指示点が入力デバイス310に接触する前に、指示点動き検出部210から指示点3次元座標移動履歴を取得し、X、Y、Zの各軸の座標の推移の近似直線や近似曲線を算出して、Z軸において算出した直線または曲線がt軸と交わる時刻t1を算出し、時刻t1における(X、Y)座標を算出して対応する入力領域を取得する方法を用いることもできる。
(4)入力部300
次に、入力部300の詳細を、図1に示した入力装置の構成を示すブロック図および図33に示した入力部300の構成を示すブロック図を参照しながら説明する。入力部300は、入力デバイス310、指示入力設定部320および指示入力判定部330を備えている。
入力デバイス310は、例えばアナログ抵抗膜方式タッチパネル、静電容量方式タッチパネルまたは光センサ液晶などから構成することができる。この入力デバイス310は、操作者の指示点による入力操作を受け付けて、指示点の2次元座標を検出し、電圧信号による指示入力情報として指示入力判定部330に送る。図31は、入力デバイス310による指示点の入力の様子を示す図であり、2次元座標(ix,iy)が検出される。
指示入力設定部320は、表示部400から送られてくる入力領域表示情報と、指示入力操作推測部240から推測結果として送られてくる入力領域番号とから入力領域情報を生成して入力操作推測部200の動き検出空間領域設定部260に送るとともに、入力領域の位置およびサイズを含む入力領域設定情報を指示入力判定部330に送る。この指示入力設定部320は、より詳しくは、図33に示すように、入力領域設定部321、入力領域移動部322、入力領域拡大部323および入力領域変更部329を備えている。
入力領域設定部321は、表示部400の表示制御部420から送られてくる入力領域表示情報(図14および図17参照)を取得し、入力操作推測部200の動き検出空間領域設定部260に送る。また、入力領域設定部321は、取得した入力領域表示情報から入力領域設定情報(入力領域の位置およびサイズ)を抽出し、指示入力判定部330の入力領域判定部335に送る。
入力領域拡大部323は、操作者が入力デバイス310で指示した位置を、指示入力操作推測部240によって推測された入力領域に対応させるために、図35に示すように、推測された入力領域の拡大を指示する入力領域拡大要求通知を生成して入力領域変更部329に送る。
入力領域移動部322は、操作者が入力デバイス310で指示した位置を、指示入力操作推測部240によって推測された入力領域に対応させるために、図36に示すように、推測された入力領域の移動を指示する入力領域移動要求通知を生成して入力領域変更部329に送る。
入力領域変更部329は、入力領域拡大部323からの入力領域拡大要求通知に応じて図35に示すように入力領域を拡大し、また、入力領域移動部322からの入力領域移動要求通知に応じて図36に示すように入力領域を移動するといった入力領域を変更する処理を行う。入力領域変更部329は、入力領域を変更した場合、その旨を表す入力領域変更情報を生成して指示入力判定部330の入力領域判定部335に送る。入力領域変更情報は、入力領域の位置と大きさの補正値を含む。
次に、以上のように構成される指示入力設定部320で行われる処理を、図32に示すフローチャートを参照しながら説明する。指示入力設定部320においては、まず、入力領域表示情報が取得される(ステップST11)。すなわち、入力領域設定部321は、表示部400の表示制御部420から送られてくる入力領域表示情報を取得する。次いで、入力領域表示情報の送出が行われる(ステップST12)。すなわち、入力領域設定部321は、ステップST11で取得した入力領域表示情報を、入力操作推測部200の動き検出空間領域設定部260に送る。次いで、入力領域設定情報の送出が行われる(ステップST13)。すなわち、入力領域設定部321は、ステップST11で取得した入力領域表示情報から入力領域設定情報(入力領域の位置およびサイズ)を抽出し、入力領域判定部335に送る。
次いで、指示入力操作推測結果が取得されたかどうかが調べられる(ステップST14)。すなわち、指示入力設定部320は、指示入力操作推測部240から指示入力操作推定結果(推定された入力領域番号)が取得されたかどうかを調べる。このステップST14において、指示入力操作推測結果が取得されていないことが判断されると、指示入力設定部320における処理は終了する。
一方、ステップST14において、指示入力操作推測結果が取得されたことが判断されると、次いで、入力領域拡大機能が有効であるかどうかが調べられる(ステップST15)。このステップST15において、入力領域拡大機能が有効であることが判断されると、入力領域拡大設定が行われる(ステップST16)。すなわち、入力領域拡大部323は、入力領域の拡大を指示する入力領域拡大要求通知を生成して入力領域変更部329に送る。入力領域変更部329は、入力領域拡大部323からの入力領域拡大要求通知に応じて入力領域を拡大し、その旨を表す入力領域変更情報を生成して入力領域判定部335に送る。その後、指示入力設定部320における処理は終了する。
一方、ステップST15において、入力領域拡大機能が有効でないことが判断されると、次いで、入力領域移動機能が有効であるかどうかが調べられる(ステップST17)。このステップST17において、入力領域移動機能が有効でないことが判断されると、指示入力設定部320における処理は終了する。一方、ステップST17において、入力領域移動機能が有効であることが判断されると、入力領域移動設定が行われる(ステップST18)。すなわち、入力領域移動部322は、入力領域の移動を指示する入力領域移動要求通知を生成して入力領域変更部329に送る。入力領域変更部329は、入力領域移動部322からの入力領域移動要求通知に応じて入力領域を移動し、その旨を表す入力領域変更情報を生成して入力領域判定部335に送る。その後、指示入力設定部320における処理は終了する。
指示入力判定部330は、指示入力設定部320から送られてくる入力領域設定情報に基づき、入力デバイス310でなされた入力操作を判定し、この判定結果に応じた実行要求通知を生成して各種機能実行部500に送る。この指示入力判定部330は、より詳しくは、図33に示すように、2次元座標検出部333および入力領域判定部335を備えている。
2次元座標検出部333は、入力デバイス310で発生された電圧信号による指示入力情報を取得し、この取得した電圧信号による指示入力情報に基づき入力操作で指示された指示点の2次元座標を検出する。例えば、図31に示す(ix,iy)といった座標を検出する。この2次元座標検出部333で検出された2次元座標は、2次元座標情報として入力領域判定部335に送られる。
入力領域判定部335は、入力領域設定部321から送られてくる入力領域設定情報に基づき入力領域を設定し、入力領域変更部329から入力領域変更情報が送られてきた場合は、設定した入力領域を変更する。また、入力領域判定部335は、2次元座標検出部333から送られてくる2次元座標情報に対応する機能の実行要求通知を、各種機能実行部500に送る。実行要求通知は、例えば実行する機能を特定するための番号から構成される。
以上のように構成される指示入力判定部330で行われる処理を、図34に示すフローチャートを参照しながら説明する。指示入力判定部330においては、まず、入力領域の設定が行われる(ステップST21)。すなわち、入力領域判定部335は、入力領域設定部321から送られてくる入力領域設定情報に基づき入力領域を設定する。次いで、入力領域変更情報が取得されたかどうかが調べられる(ステップST22)。すなわち、入力領域判定部335は、入力領域変更部329から入力領域変更情報が送られてきたかどうかを調べる。
このステップST22において、入力領域変更情報が取得されたことが判断されると、入力領域変更が行われる(ステップST23)。すなわち、入力領域判定部335は、ステップST21で設定された入力領域を、入力領域変更情報にしたがって変更する。一方、ステップST22において、入力領域変更情報が取得されていないことが判断されると、ステップST23の処理はスキップされる。
次いで、入力デバイスへの入力操作があったかどうかが調べられる(ステップST24)。すなわち、2次元座標検出部333は、入力デバイス310から電圧信号が送られてきたかどうかを調べる。このステップST24において、入力デバイスへの入力操作がなかったことが判断されると、指示入力判定部330における処理は終了する。
一方、ステップST24において、入力デバイスへの入力操作があったことが判断されると、2次元座標の検出が行われる(ステップST25)。すなわち、2次元座標検出部333は、入力デバイス310で発生された電圧信号による指示入力情報を取得し、この取得した電圧信号に基づき入力操作で指示された指示点の2次元座標を検出する。
次いで、実行要求通知が送出される(ステップST26)。すなわち、入力領域判定部335は、2次元座標検出部333から送られてくる2次元座標情報に対応する機能の実行要求通知を生成し、各種機能実行部500に送る。その後、指示入力判定部330における処理は終了する。
(5)表示部400
次に、表示部400の詳細を、図1に示した入力装置の構成を示すブロック図を参照しながら説明する。表示部400は、各種機能実行部500から送られてくる実行結果表示要求通知に基づき、画面表示を行う。この表示部400は、表示器410と表示制御部420とから構成されている。
表示制御部420は、各種機能実行部500から実行結果表示要求通知として送られてくる表示画面部品情報を取得する。表示画面部品情報は、背景画像、ボタン画像、アイコン画像などのID番号、テキスト情報などの部品と、それらを表示するための画面上での位置情報、サイズ情報などから構成されている。表示制御部420は、表示画面部品情報を取得すると、フラッシュROM上などに用意された画像データを組み合わせて、画面サイズに合わせた表示画像を生成し、表示情報として表示器410に送る。また、表示制御部420は、入力領域表示情報を生成して指示入力設定部320に送る。この入力領域情報に基づき、指示入力設定部320は入力領域を設定し、さらに、動き検出空間領域設定部260は、動き検出空間領域を設定する。
表示器410は、例えば液晶ディスプレイなどから構成されており、表示制御部420から送られてくる表示情報にしたがって画像を表示する。
次に、上記のように構成される表示部400で行われる処理を、図37に示すフローチャートを参照しながら説明する。表示部400においては、まず、実行結果表示要求通知を受け取ったかどうかが調べられる(ステップST31)。すなわち、表示制御部420は、各種機能実行部500から実行結果表示要求通知を受け取ったかどうかを調べる。このステップST31において、実行結果表示要求通知を受け取っていないことが判断されると、このステップST31を繰り返し実行しながら待機する。
一方、ステップST31において、実行結果表示要求通知を受け取ったことが判断されると、画像表示が行われる(ステップST32)。すなわち、表示制御部420は、各種機能実行部500から実行結果表示要求通知と一緒に送られてくる表示画面部品情報を取得し、画像データを組み合わせて画面サイズに合わせた表示画像を生成し、表示情報として表示器410に送る。これにより、表示器410に画像が表示される。
次いで、入力領域表示情報の通知が行われる(ステップST33)。すなわち、表示制御部420は、入力領域表示情報を生成して指示入力設定部320に送る。その後、シーケンスはステップST31に戻り、上述した処理が繰り返される。
以上説明したように、この発明の実施の形態1に係る入力装置によれば、次の効果が得られる。すなわち、例えば、走行中の自動車に乗車している操作者が指先での入力操作を行うときに、車体の揺れに伴って操作者が意図した通りに入力操作を行うことができない場合があるが、実施の形態1に係る入力装置によれば、指先の動きを検出して、操作者が意図した操作を推測するように構成したので、操作者は、自身が揺れている状況であっても意図した通りの操作を行うことができる。この場合、操作者の指先の特定方向への動きがあるか否か、例えば操作者の指先の動きが自動車のカーブ走行時の横揺れに伴うものか否かを判断することにより、より正確に操作者が意図した入力操作を推測できる。
また、指先の動きから操作者の意図した操作を推測し、入力領域を設定することにより、操作者が意図しない入力ボタンなどへの入力操作を防ぎ、操作者が意図した入力ボタンなどへの入力操作をできるように支援することができる。また、推測した操作者の意図に応じて、入力領域を拡大または移動することにより、操作者が意図しない入力操作を防ぎ、操作者の意図した通りの入力操作を支援することができる。
実施の形態2.
図38は、この発明の実施の形態2に係る入力装置の構成を示すブロック図である。この入力装置は、実施の形態1に係る入力装置に、以下の変更がなされて構成されている。すなわち、入力操作推測部200の指示入力操作推測部240で得られた入力領域番号が表示部400に送られる。また、入力部300の指示入力設定部320で生成された入力領域変更情報が表示部400に送られる。より詳しくは、図39に示すように、指示入力設定部320の入力領域変更部329で生成された入力領域変更情報が表示部400の入力領域表示補正部440(詳細は後述する)に送られる。
表示部400は、実施の形態1の表示部に、入力領域表示補正部440および推測結果表示部450が追加されて構成されている。入力領域表示補正部440は、指示入力設定部320の入力領域変更部329から送られてくる入力領域変更情報に基づき、ボタンの表示位置とサイズを補正して表示するように、表示制御部420に表示位置とサイズの補正情報を送る。表示制御部420は、この補正情報に基づき各種機能実行部500から送られてくる表示画面部品情報を補正して表示情報として表示器410に送る。
この入力領域表示補正部440における補正により、次のような表示が行われる。図41に示すようにボタンが表示されている状態で指示点を近接させた時に、入力領域が補正されると、入力領域が移動した場合には、図42に示すように、対応するボタンの表示位置が移動し、入力領域が拡大された場合は、図43に示すように対応するボタンの表示が拡大される。
推測結果表示部450は、入力操作推測部200の指示入力操作推測部240から送られてくる推測された入力領域番号を受け取ると、入力領域の補正方法に拘わらず、入力を推測した入力領域のボタンの色または模様などを変更するための表示色補正情報を生成して表示制御部420に送る。表示制御部420は、この表示色補正情報に基づき各種機能実行部500から送られてくる表示画面部品情報を補正して表示情報として表示器410に送る。これにより、図44に示すように、ボタンの色が変更された強調表示が行われるので、操作者は、入力が推測されていることを知ることができる。
次に、上記のように構成される表示部400で行われる処理を、図40に示すフローチャートを参照しながら説明する。表示部400においては、まず、実行結果表示要求通知を受け取ったかどうかが調べられる(ステップST41)。すなわち、表示制御部420は、各種機能実行部500から実行結果表示要求通知を受け取ったかどうかを調べる。このステップST41において、実行結果表示要求通知を受け取ったことが判断されると、画像表示が行われる(ステップST42)。すなわち、表示制御部420は、各種機能実行部500から実行結果表示要求通知と一緒に送られてくる表示画面部品情報を取得し、画像データを組み合わせて画面サイズに合わせた表示画像を生成し、表示情報として表示器410に送る。これにより、表示器410に画像が表示される。
次いで、入力領域表示情報の通知が行われる(ステップST43)。すなわち、表示制御部420は、入力領域表示情報を生成し、指示入力設定部320に送る。その後、シーケンスはステップST41に戻り、上述した処理が繰り返される。
上記ステップST41において、実行結果表示要求通知を受け取っていないことが判断されると、次いで、入力領域変更情報を受け取ったかどうかが調べられる(ステップST44)。このステップST44において、入力領域変更情報を受け取ったことが判断されると、入力領域表示の補正が行われる(ステップST45)。すなわち、入力領域表示補正部440は、指示入力設定部320の入力領域変更部329から送られてくる入力領域変更情報に基づき、ボタンの表示位置とサイズを補正して表示するように、表示制御部420に表示位置とサイズの補正情報を送る。表示制御部420は、この補正情報に基づき各種機能実行部500から送られてくる表示画面部品情報を補正して表示情報として表示器410に送る。一方、ステップST44において、入力領域変更情報を受け取っていないことが判断されると、ステップST45の処理はスキップされる。
次いで、推測結果を受け取ったかどうかが調べられる(ステップST46)。このステップST46において、推測結果を受け取っていないことが判断されると、シーケンスはステップST41に戻り、上述した処理が繰り返される。一方、ステップST46において、推測結果を受け取ったことが判断されると、推測した入力領域が強調表示される(ステップST47)。すなわち、推測結果表示部450は、指示入力操作推測部240から送られてくる推測された入力領域番号を受け取ると、表示色補正情報を生成して表示制御部420に送る。表示制御部420は、この表示色補正情報に基づき各種機能実行部500から送られてくる表示画面部品情報を補正して表示情報として表示器410に送る。これにより、ボタンの色が変更されることにより強調表示されて、入力を推測していることが操作者に通知される。
以上説明したように、この発明の実施の形態2に係る入力装置によれば、操作者が意図した操作の推測結果に応じて、表示器410のボタンの表示位置、大きさまたは色などを補正することにより、操作者に対して推測結果を通知することができるので、操作者の意図しない入力操作を防ぎ、意図した通りの入力操作を支援することができる。この場合、さらに、表示文字を補正したり、表示器410のバックライトの明るさまたは色などを補正したりするように構成することもできる。
また、入力領域の変更に応じて、表示器410のボタンの表示位置、大きさまたは色などを補正することにより、操作者に対して入力領域が補正されたことを通知できるので、操作者の意図しない入力操作を防ぎ、意図した通りの入力操作を支援することができる。この場合、さらに、表示文字を補正したり、表示器410のバックライトの明るさまたは色などを補正したりするように構成することもできる。
実施の形態3.
図45は、この発明の実施の形態3に係る入力装置の構成を示すブロック図である。この入力装置は、実施の形態2に係る入力装置に、以下の変更がなされて構成されている。すなわち、入力部300の指示入力判定部330は、指示入力設定部320から送られてくる入力領域設定情報に基づき、入力デバイス310でなされた入力操作を判定し、判定結果を実行要求通知として各種機能実行部500に送るとともに、入力判定確認要求通知を生成して表示部400に送る。より詳しくは、図46に示すように、指示入力判定部330の入力領域判定部335で生成された入力判定確認要求通知が表示部400の入力確認表示部430(詳細は後述)に送られる。
表示部400は、実施の形態1の表示部に、入力確認表示部430が追加されて構成されている。入力確認表示部430は、指示入力判定部330の入力領域判定部335から入力判定確認要求通知を受け取ると、図49に示すような入力判定確認画面を表示するように、表示制御部420に入力確認表示要求通知を送る。表示制御部420は、この入力確認表示要求通知に基づき各種機能実行部500から送られてくる表示画面部品情報に図49に示すような、確認メッセージとスイッチを含む画像を表示するための表示情報を生成して表示器410に送る。
次に、上記のように構成される入力部300の指示入力判定部330で行われる処理を、図47に示すフローチャートを参照しながら説明する。指示入力判定部330においては、まず、入力領域の設定が行われる(ステップST51)。すなわち、入力領域判定部335は、入力領域設定部321から送られてくる入力領域設定情報に基づき入力領域を設定する。次いで、入力領域変更情報が取得されたかどうかが調べられる(ステップST52)。すなわち、入力領域判定部335は、入力領域変更部329から入力領域変更情報が送られてきたかどうかを調べる。
このステップST52において、入力領域変更情報が取得されたことが判断されると、入力領域変更が行われる(ステップST53)。すなわち、入力領域判定部335は、ステップST51で設定された入力領域を、入力領域変更情報にしたがって変更する。その後、シーケンスはステップST51に戻り上述した処理が繰り返される。
一方、ステップST52において、入力領域変更情報が取得されていないことが判断されると、次いで、入力デバイスへの入力操作があったかどうかが調べられる(ステップST54)。すなわち、2次元座標検出部333は、入力デバイス310から電圧信号が送られてきたかどうかを調べる。このステップST54において、入力デバイスへの入力操作がなかったことが判断されると、シーケンスはステップST51に戻り上述した処理が繰り返される。
一方、ステップST54において、入力デバイスへの入力操作があったことが判断されると、2次元座標の検出が行われる(ステップST55)。すなわち、2次元座標検出部333は、入力デバイス310で発生された電圧信号を取得し、この取得した電圧信号に基づき入力操作で指示された指示点の2次元座標を検出する。
次いで、2次元座標は入力領域内であるかどうかが調べられる(ステップST56)。すなわち、入力領域判定部335は、ステップST55で検出された2次元座標によって示される位置が、入力領域設定部321から送られてくる入力領域設定情報によって示される入力領域内であるかどうかを調べる。このステップST56において、2次元座標は入力領域内でないことが判断されると、シーケンスはステップST51に戻り上述した処理が繰り返される。
一方、ステップST56において、2次元座標は入力領域内であることが判断されると、次いで、入力確認用の入力領域が設定される(ステップST57)。すなわち、入力領域判定部335は、入力確認用の入力領域を設定する。次いで、入力判定確認要求通知が行われる(ステップST58)。すなわち、入力領域判定部335は、入力判定確認要求通知を生成して表示部400の入力確認表示部430に送る。
次いで、入力判定が正しいことが確認できたかどうかが調べられる(ステップST59)。すなわち、入力領域判定部335は、入力確認画面(図49参照)の「はい」が押されたかどうかを調べる。このステップST59において、入力判定が正しいことが確認できたことが判断されると、実行要求通知の送出が行われる(ステップST60)。すなわち、入力領域判定部335は、実行要求通知を生成し、各種機能実行部500に送る。
上記ステップSTステップST59において、入力判定が正しいことが確認できないことが判断されると、次いで、一定時間が経過したかどうかが調べられる(ステップST61)。このステップST61において、一定時間が経過していないことが判断されると、シーケンスはステップST59に戻り、一定時間が経過するまでステップST59およびステップST61を繰り返し実行しながら待機する。一方、ステップST61において、一定時間が経過したことが判断されると、一定時間が経過しても確認がとれない、つまり入力確認画面の「はい」が押されない旨が認識され、シーケンスはステップST51に戻って、再度上述した処理が繰り返される。
次に、上記のように構成される表示部400で行われる処理を、図48に示すフローチャートを参照しながら説明する。図48に示すステップST71〜ステップST77は、図40に示した実施の形態2に係る表示部400の処理のステップST21〜ステップST27と同じであるので説明は省略する。
ステップST78においては、入力確認表示要求通知を受け取ったかどうかが調べられる。すなわち、表示部400の表示制御部420は、入力部300の指示入力判定部330から入力確認表示部430を介して入力判定確認要求通知を受け取ったかどうかを調べる。このステップST78において、入力確認表示要求通知を受け取っていないことが判断されると、シーケンスはステップST71に戻り、上述した処理が繰り返される。
一方、ステップST78において、入力確認表示要求通知を受け取ったことが判断されると、入力判定結果が表示される(ステップST79)。次いで、入力判定が正しいかどうかを確認するためのメッセージとボタンが表示される(ステップST80)。すなわち、表示制御部420は、図49に示すような画面を表示するための表示情報を生成し、表示器410に送る。その後、シーケンスは、ステップST71に戻り、上述した処理が繰り返される。
以上説明したように、この発明の実施の形態3に係る入力装置によれば、入力操作の結果を操作者に確認した後に補正することができるので、より確実に操作者が意図した通りの入力操作を支援できる。
実施の形態4.
図50は、この発明の実施の形態4に係る入力装置の構成を示すブロック図である。この入力装置は、実施の形態2に係る入力装置の入力操作推測部200に指示点異常動作検出部250が追加されるとともに、入力部300の機能が変更されて構成されている。
指示点異常動作検出部250は、指示点動き検出部210から送られてくる指示点3次元座標移動履歴情報から、指示点が大きく揺れるなどの異常動作レベルを検出し、入力部300の指示入力設定部320および表示部400の推測結果表示部450に異常動作通知を送る。例えば、図52に示す指示点3次元座標移動履歴のように、あらかじめ定められた一定時間内に、指示点3次元座標移動履歴情報のうち、いずれかの方向への大きな変動と、その後、逆方向への大きな変動を検出した場合には、走行中の自動車の揺れに伴って操作者の指示点が大きく揺れたものと判定し、異常動作として検出する。なお、図52は、X軸方向への変動が発生した場合を示している。
例えば、自動車が走行中にカーブを曲がることにより、X軸方向に遠心力が生じて指示点がX軸方向に大きく揺れるような場合、X軸方向の指示点の揺れは、(3)式で算出できる。
Σ|Xt−Xt-1|−|Σ(Xt−Xt-1)|>α…(3)
ここで、Σ|Xt−Xt-1|はX軸方向の移動距離累計、|Σ(Xt−Xt-1)|はX軸方向の最終移動距離、αは異常動作検出閾値である。
図53に示すように異常動作検出閾値αを設定した場合、まず、αの値を「501」とし、(3)式が成り立つかどうかを調べ、次に、αの値を「301」とし、(3)式が成り立つかどうかを調べ、(3)式が成り立った時点のαの値によって、送出する異常動作レベルを算出することができる。Y軸、Z軸方向の指示点の揺れについても、(3)式と同様の式を適用できる。
次に、指示点異常動作検出部250で行われる処理を、図54に示すフローチャートを参照しながら説明する。指示点異常動作検出部250においては、まず、一定期間の3次元移動履歴情報が取得される(ステップST81)。すなわち、指示点異常動作検出部250は、指示点動き検出部210から送られてくる指示点3次元座標移動履歴情報から、一定期間の3次元移動履歴情報を取得する。次いで、移動距離累計が算出される(ステップST82)。すなわち、指示点異常動作検出部250は、(3)式の第1項を計算する。次いで、最終移動距離が算出される(ステップST83)。すなわち、指示点異常動作検出部250は、(3)式の第2項を計算する。
次いで、移動距離累計から最終移動距離を減じた値が異常動作検出閾値より大きいかどうかが調べられる(ステップST84)。すなわち、指示点異常動作検出部250は、ステップST82で算出し移動距離累計から、ステップST83で算出した最終移動距離を減算し、その結果が異常動作検出閾値αより大きいかどうかを調べる。このステップST84において、移動距離累計から最終移動距離を減じた値が異常動作検出閾値より大きいことが判断されると、異常動作である旨が判断され、異常動作通知が行われる(ステップST85)。すなわち、指示点異常動作検出部250は、指示入力設定部320および推測結果表示部450に異常動作通知を送る。
一方、ステップST84において、移動距離累計から最終移動距離を減じた値が異常動作検出閾値以下であることが判断されると、異常動作でない旨が判断され、ステップST85の処理はスキップされる。次いで、X、YおよびX軸の全ての検出軸に対する処理が終了したかどうかが調べられる(ステップST86)。このステップST86において、全ての検出軸に対する処理が終了していないことが判断されると、シーケンスはステップST81に戻り、上述した処理が繰り返される。一方、ステップST86において、全ての検出軸に対する処理が終了したことが判断されると、指示点異常動作検出部250の処理は終了する。
次に、入力部300の詳細を説明する。図51は、入力部300の詳細な構成を示すブロック図である。指示入力設定部320は、表示部400の表示制御部420から送られてくる入力領域表示情報、指示点異常動作検出部250から送られてくる異常動作通知および指示入力操作推測部240から送られてくる推測結果を表す入力領域番号から入力領域情報を生成して入力操作推測部200の動き検出空間領域設定部260に送るとともに、入力領域変更情報を生成して表示部400の入力領域表示補正部440に送り、さらに、異常動作通知に応じた各種情報(通知)を生成して指示入力判定部330に送る。
この指示入力設定部320は、実施の形態2に係る入力装置の指示入力設定部に、入力領域縮小部324、反応速度低下設定部326、入力感度低下設定部327および指示点異常動作判定部328が追加されて構成されている。
指示点異常動作判定部328は、指示点異常動作検出部250から送られてくる異常動作通知を解析し、入力領域縮小通知を生成して入力領域縮小部324に送り、入力確認要求通知を生成して指示入力判定部330の入力領域判定部335に送り、入力拒否設定通知を生成して指示入力判定部330の入力可否判定部334(詳細は後述する)に送り、反応速度を低下させる指示を反応速度低下設定部326に送り、さらに、入力感度を低下させる指示を入力感度低下設定部327に送る。
入力領域縮小部324は、指示点異常動作判定部328から送られてくる入力領域縮小通知に応じて、推測された入力領域の縮小を指示する入力領域縮小要求通知を生成して入力領域変更部329に送る。入力領域変更部329は、入力領域縮小部324からの入力領域縮小要求通知に応じて、入力領域を変更する処理を行う。
反応速度低下設定部326は、指示点異常動作判定部328からの指示に応じて、反応速度を低下させるための設定情報を生成し、指示入力判定部の入力時間判定部337(詳細は後述する)に送る。
入力感度低下設定部327は、指示点異常動作判定部328からの指示に応じて、入力デバイス310の入力感度を低下させるための設定情報を生成し、指示入力判定部の圧力判定部336(詳細は後述する)に送る。なお、入力デバイス310(例えばタッチパネル)の感度を下げるためには、例えば特開2007−207110号公報に開示された技術を用いることができる。この技術では、操作者がタッチパネルを押下した時の電圧変化の値から押圧力を検出し、入力操作時の押圧力の値が一定値よりも小さいときに入力の受付を拒否する。
次に、以上のように構成される指示入力設定部320で行われる処理を、図55に示すフローチャートを参照しながら説明する。指示入力設定部320においては、まず、入力領域表示情報が取得される(ステップST91)。すなわち、入力領域設定部321は、表示部400の表示制御部420から送られてくる入力領域表示情報を取得する。次いで、入力領域の設定が行われる(ステップST92)。すなわち、入力領域設定部321は、ステップST11で取得した入力領域表示情報を、入力操作推測部200の動き検出空間領域設定部260に送るとともに、入力領域表示情報から入力領域設定情報(入力領域の位置およびサイズ)を抽出し、入力領域判定部335に送る。
次いで、指示点異常動作が検出されたかどうかが調べられる(ステップST93)。すなわち、指示点異常動作判定部328は、指示点異常動作検出部250から送られてくる異常動作通知を解析し、指示点異常動作の有無を調べる。このステップST93において、指示点異常動作が検出されていないことが判断されると、次いで、指示入力操作推測結果が検出されたかどうかが調べられる(ステップST95)。すなわち、指示入力設定部320は、指示入力操作推測部240から指示入力操作推定結果(推定された入力領域番号)が取得されたかどうかを調べる。
このステップST95において、指示入力操作推測結果が検出されたことが判断されると、入力許可設定が行われる(ステップST95)。すなわち、指示点異常動作判定部328は、入力を許可する旨の入力拒否設定通知を生成して指示入力判定部330の入力可否判定部334に送る。一方、ステップST95において、指示入力操作推測結果が検出されないことが判断されると、ステップST95の処理はスキップされる。
次いで、入力領域拡大機能が有効であるかどうかが調べられる(ステップST96)。このステップST96において、入力領域拡大機能が有効であることが判断されると、入力領域拡大設定が行われる(ステップST97)。すなわち、入力領域拡大部323は、入力領域の拡大を指示する入力領域拡大要求通知を生成して入力領域変更部329に送る。入力領域変更部329は、入力領域拡大部323からの入力領域拡大要求通知に応じて入力領域を拡大し、その旨を表す入力領域変更情報を生成して入力領域判定部335に送る。ステップST96において、入力領域拡大機能が有効でないことが判断されると、ステップST97の処理はスキップされる。
次いで、入力領域移動機能が有効であるかどうかが調べられる(ステップST98)。このステップST98において、入力領域移動機能が有効でないことが判断されると、指示入力設定部320における処理は終了する。一方、ステップST98において、入力領域移動機能が有効であることが判断されると、入力領域移動設定が行われる(ステップST99)。すなわち、入力領域移動部322は、入力領域の移動を指示する入力領域移動要求通知を生成して入力領域変更部329に送る。入力領域変更部329は、入力領域移動部322からの入力領域移動要求通知に応じて入力領域を移動し、その旨を表す入力領域変更情報を生成して入力領域判定部335に送る。その後、指示入力設定部320における処理は終了する。
上記ステップST93において、指示点異常動作が検出されたことが判断されると、次いで、指示点異常動作の大きさが大きいかどうかが調べられる(ステップST100)。すなわち、指示点異常動作判定部328は、指示点異常動作検出部250から送られてくる異常動作通知を解析し、例えば図52に示すような指示点の変動が所定値より大きいかどうかを調べる。
このステップST100において、指示点異常動作の大きさが大きいことが判断されると、入力拒否設定が行われる(ステップST101)。すなわち、指示点異常動作判定部328は、入力を拒否する旨の入力拒否設定通知を生成して指示入力判定部330の入力可否判定部334に送る。その後、指示入力設定部320における処理は終了する。
一方、ステップST100において、指示点異常動作の大きさが大きくないことが判断されると、次いで、入力感度低下機能は有効であるかどうかが調べられる(ステップST102)。このステップST102において、入力感度低下機能は有効であることが判断されると、入力感度低下設定が行われる(ステップST103)。すなわち、指示点異常動作判定部328は、入力感度を低下させる指示を入力感度低下設定部327に送る。一方、ステップST102において、入力感度低下機能は有効でないことが判断されると、ステップST103の処理はスキップされる。
次いで、反応速度低下機能は有効であるかどうかが調べられる(ステップST104)。このステップST104において、反応速度低下機能は有効であることが判断されると、反応速度低下設定が行われる(ステップST105)。すなわち、指示点異常動作判定部328は、反応速度を低下させる指示を入力感度低下設定部327に送る。一方、ステップST104において、反応速度低下機能は有効でないことが判断されると、ステップST105の処理はスキップされる。
次いで、入力領域縮小機能は有効であるかどうかが調べられる(ステップST106)。このステップST106において、入力領域縮小機能は有効であることが判断されると、入力領域縮小設定が行われる(ステップST107)。すなわち、指示点異常動作判定部328は、指示点異常動作判定部328は、入力領域縮小通知を生成して入力領域縮小部324に送る。その後、指示入力設定部320における処理は終了する。一方、ステップST106において、入力領域縮小機能は有効でないことが判断されると、指示入力設定部320における処理は終了する。
次に、入力デバイス310について説明する。この実施の形態4に係る入力装置においては、入力デバイス310として、例えば、アナログ抵抗膜方式タッチパネルを使用することができる。アナログ抵抗膜方式タッチパネルは、図56に示すように、上側抵抗膜の透明電極と下側抵抗膜の透明電極とにより構成されており、これらの間の電圧値が、電圧信号として、操作者の指示点が入力デバイス310に触れている間、指示入力判定部330に連続的に交互に送られる。
次に、指示入力判定部330について説明する。この指示入力判定部330は、実施の形態2に係る入力装置の指示入力判定部に、圧力検出部331、入力時間測定部332、圧力判定部336、入力時間判定部337および入力可否判定部334が追加されて構成されている。圧力検出部331は、入力デバイス310から送られてくる電圧信号に基づき、アナログ抵抗膜方式タッチパネルに対する押圧力を検出し、押圧力信号として圧力判定部336に送る。
圧力判定部336は、入力感度低下設定部327から送られてくる設定情報により、入力感度低下に設定されている時は、圧力検出部331から送られてくる押圧力信号によって一定以上の押圧力が示されていなければ、入力の拒否を指示する入力拒否要求通知を生成して入力可否判定部334に送る。
入力時間測定部332は、指示点が入力デバイス310に触れている間に該入力デバイス310から連続的に送られてくる電圧信号を取得し、その取得回数を数えることにより入力時間を測定する。この入力時間測定部332で測定された入力時間は、入力時間信号として入力時間判定部337に送られる。
入力時間判定部337は、反応速度低下設定部326から送られてくる設定情報により、反応速度低下に設定されている時は、入力時間測定部332から送られてくる入力時間信号により一定時間以上が示されていなければ、入力の拒否を指示する入力拒否要求通知を生成して入力可否判定部334に送る。
入力可否判定部334は、圧力判定部336または入力時間判定部337から入力拒否設定通知を受け取ると、入力拒否要求通知を生成して入力領域判定部335に送る。入力領域判定部335は、入力可否判定部334から入力拒否要求通知を受け取ると、一定時間、すべての入力を無効化する。また、入力領域判定部335は、入力可否判定部334から入力拒否要求通知を受け取ると、表示部400の推測結果表示部450に対し、すべてのボタンの色を暗くするように指示する。これにより、図57に示すように、すべてのボタンの色が暗い色で表示され、操作者は、入力が無効化されたことを知ることができる。なお、無効化の場合、画面全体の色を暗くするように構成することもできる。
以上説明したように、この発明の実施の形態4に係る入力装置によれば、誤操作の可能性が高いと推測された場合には、反応速度を遅らせることにより操作者が意図しない入力操作を防ぐことができる。また、誤操作の可能性が低いと推測された場合には、反応速度を速めることで操作者の円滑な入力操作を支援することができる。
また、誤操作の可能性が高いと推測された場合には、入力感度を低下させることにより操作者が意図しない入力操作を防ぐことができる。また、誤操作の可能性が低いと推測された場合には、入力感度を向上させることにより操作者の円滑な入力操作を支援することができる。さらに、誤操作の可能性が高いと推測された場合、入力受付を無効化することにより、操作者が意図しない入力操作を防ぐことができる。
実施の形態5.
図58は、この発明の実施の形態5に係る入力装置の構成を示すブロック図である。この入力装置は、実施の形態4に係る入力装置に加速度センサ600および路面情報部700が追加されるとともに、入力操作推測部200に指示点異常動作推測部280が追加されて構成されている。
加速度センサ600は、車の揺れなどに伴って発生する加速度を検出する。この加速度センサ600で検出された加速度は、加速度信号として指示点異常動作推測部280に送られる。
路面情報部700は、GPS(Global Positioning System)装置、路面情報データベース720および路面情報取得部730から構成されている。GPS装置710は、現在位置の緯度および経度を測位し、現在位置情報として路面情報取得部730に送る。路面情報データベース720は、緯度および経度に対応させて、路面状態、つまり凹凸情報を格納している。図59は、路面情報データベース720に格納されるデータの例を示す。凹凸情報の値が大きい程、凹凸が激しく、走行時の揺れが大きくなる可能性が高くなる。
路面情報取得部730は、GPS装置710から送られてくる現在位置情報に含まれる緯度および経度に近い緯度および経度を路面情報データベース720から検索し、該当する緯度および経度が見つかれば、その緯度および経度に対応する凹凸情報を取得して、指示点異常動作推測部280に送る。
指示点異常動作推測部280は、加速度センサ600から送られてくる加速度信号によって示される加速度が一定値を超える場合、または、路面情報取得部730から送られてくる現在位置の凹凸情報の値が一定値を超える場合に、指示点異常動作検出部250に異常動作推測通知を送る。
この指示点異常動作推測部280で行われる処理を、図60に示すフローチャートを参照しながら説明する。指示点異常動作推測部280では、まず、加速度変化が大きいかどうかが調べられる(ステップST111)。すなわち、指示点異常動作推測部280は、加速度センサ600から送られてくる加速度信号によって示される加速度が一定値を超えるかどうかを調べる。このステップST111において、加速度変化が大きいことが判断されると、異常動作推測通知が行われる(ステップST112)。すなわち、指示点異常動作推測部280は、異常動作推測通知を生成して指示点異常動作検出部250に送る。その後、シーケンスはステップST111に戻り、上述した動作が繰り返される。
上記ステップST111において、加速度変化が大きくないことが判断されると、次いで、路面に凹凸が多いかどうかが調べられる(ステップST113)。すなわち、指示点異常動作推測部280は、路面情報取得部730から送られてくる現在位置の凹凸情報の値が一定値を超えるかどうかを調べる。このステップST113において、路面に凹凸が多いことが判断されると、シーケンスはステップST112に進み、上述した異常動作推測通知が行われる。一方、ステップST113において、路面に凹凸が多くないことが判断されると、シーケンスはステップST111に戻り、上述した動作が繰り返される。
以上説明したように、この発明の実施の形態5に係る入力装置によれば、加速度センサ600で大きな加速度を検知した場合に、車体の揺れに伴って操作者が意図した通りに入力操作を行うことができないことを推測し、指先入力を無効化するなどを行うことにより、誤操作を防ぐことができる。また、GPS装置710によって測位された現在位置が、路面情報データベース720に格納されている路面情報によって走行時に車体が揺れやすいことが示されている位置である場合に、その位置では指先入力を無効化するなどを行うことにより、誤操作を防ぐことができる。
実施の形態6.
図61は、この発明の実施の形態6に係る入力装置の構成を示すブロック図である。この入力装置は、実施の形態1に係る入力装置の入力部300に入力補正部340および入力無効化部350が追加されて構成されている。
図62は、入力部300の詳細な構成を示すブロック図である。この入力部300は、図33に示した実施の形態1に係る入力部に、入力補正部340および入力無効化部350が追加されるとともに、指示入力設定部320から入力領域移動部322、入力領域拡大部323および入力領域変更部329が除去されて構成されている。
入力補正部340は、入力デバイス310から送られてくる電圧信号による指示入力情報で示される座標が、指示入力操作推測部240から送られてくる入力領域番号によって示される入力領域の内側でなかった場合、図63に示すように、入力領域番号によって示される入力領域の中央の座標と、実際に入力された座標との差を算出し、この算出により得られた値に基づき入力位置を補正する。そして、補正した後の位置の2次元座標を、2次元座標情報として入力領域判定部335に送る。
入力無効化部350は、入力デバイス310から送られてくる電圧信号による指示入力情報で示される座標が、指示入力操作推測部240から送られてくる入力領域番号によって示される入力領域の内側でなかった場合、入力領域番号によって示される入力領域の中央の座標と、実際に入力された座標との差を算出し、この算出により得られた値が、あらかじめ定めておいた閾値を超えた場合は、そのときの入力を無効化する。
次に、上記のように構成される入力部300で行われる補正処理を、図64に示すフローチャートを参照しながら説明する。この補正処理では、まず、入力信号を取得したかどうかが調べられる(ステップST121)。すなわち、入力補正部340および入力無効化部350は、入力デバイス310から、電圧信号による指示入力情報を受け取ったかどうかを調べる。このステップST121で入力信号を取得していないことが判断されると、このステップST121を繰り返し実行しながら待機する。
一方、ステップST121で入力信号を取得したことが判断されると、次いで、指示入力操作による2次元座標が算出される(ステップST122)。すなわち、入力補正部340および入力無効化部350は、入力デバイス310からの電圧信号による指示入力情報によって示される2次元座標を算出する。次いで、推測された入力領域番号が取得される(ステップST123)。すなわち、入力補正部340および入力無効化部350は、指示入力操作推測部240から送られてくる入力領域番号を取得する。
次いで、入力された座標は推測結果の入力領域の内側であるかどうかが調べられる(ステップST124)。すなわち、入力補正部340および入力無効化部350は、ステップST122で算出された2次元座標によって示される位置が、ステップST123で取得された入力領域番号によって示される入力領域の内側であるかどうかを調べる。このステップST124において、入力された座標は推測結果の入力領域の内側であることが判断されると、2次元座標情報が送出される(ステップST125)。すなわち、入力補正部340または入力無効化部350は、ステップST122で算出された2次元座標を入力領域判定部335に送る。その後、シーケンスはステップST121に戻り、上述した処理が繰り返される。
一方、ステップST124において、入力された座標は推測結果の入力領域の内側でないことが判断されると、次いで、入力座標と推測結果の入力領域の中央の座標との差が算出される(ステップST126)。すなわち、入力補正部340および入力無効化部350は、ステップST122で算出された2次元座標と、ステップST123で取得された入力領域番号によって示される入力領域の中央の座標との差を算出する。
次いで、算出された差が閾値より大きいかどうかが調べられる(ステップST127)。すなわち、入力補正部340および入力無効化部350は、ステップST126で算出された差が所定の閾値より大きいかどうかを調べる。このステップST127において、ステップST126で算出された差が閾値より大きくないことが判断されると、算出された差を元に入力結果が補正される(ステップST128)。すなわち、入力補正部340は、ステップST126で算出された差に基づき、ステップST122で算出された2次元座標を補正する。その後、シーケンスはステップST125に進み、2次元座標情報が送出される。
上記ステップST127において、ステップST126で算出された差が閾値より大きいことが判断されると、入力が無効化される(ステップST129)。すなわち、入力無効化部350は、ステップST122で算出された2次元座標を無効にする。その後、シーケンスはステップST121に戻り、上述した処理が繰り返される。
以上説明したように、この発明の実施の形態6に係る入力装置によれば、操作者の意図した操作をあらかじめ推測し、実際の入力結果と一致しなければ、入力結果を補正するので、例えば操作者がタッチパネルを押す直前に車体の揺れに伴って入力操作を誤ってしまうような場合の誤入力を防ぎ、操作者の意図した入力操作ができるように支援することができる。また、操作者の意図した操作をあらかじめ推測し、実際の入力結果と一致しなければ、入力結果を無効化するので、例えば操作者がタッチパネルを押す直前に車体の揺れに伴って入力操作を誤ってしまうような場合の誤入力を防ぐことができる。
実施の形態7.
図65は、この発明の実施の形態7に係る入力装置の構成を示すブロック図である。この入力装置の構成は、入力部300の指示入力判定部330が空間領域設定補正情報を生成して入力操作推測部200の動き検出空間領域設定部260に送る点を除けば、実施の形態1に係る入力装置の構成と同じである。
図66は、入力部300の詳細な構成を示すブロック図である。この入力部300は、図33に示した実施の形態1に係る入力部に、戻る操作検出部338が追加されて構成されている。入力領域判定部335は、推測結果によって入力領域を変更した場合のみ、戻る操作検出部338に実行要求通知を送る。
戻る操作検出部338は、入力領域判定部335から実行要求通知を受け取った場合、その通知が「戻る」を示していれば、その直前の推測に失敗した可能性が高いと判断し、「戻る」を示していなければ、その直前の推測は正しかったと判断する。戻る操作検出部338は、通知が「戻る」を示している場合、入力領域判定部335に対し入力領域の縮小を指示するとともに、動き検出空間領域設定部260に対して空間領域設定補正情報を送ることにより、動き検出空間領域の設定を変更し、C空間領域(例えば図15および図16参照)を縮小する。これにより、推測による誤操作を防止することができる。
また、戻る操作検出部338は、通知が「戻る」を示していない場合、入力領域判定部335に対し入力領域の拡大を指示するとともに、動き検出空間領域設定部260に対して空間領域設定補正情報を送ることにより、動き検出空間領域の設定を変更し、C空間領域を拡大する。これにより、入力操作を支援し、入力操作を推測しやすくする。
次に、上記のように構成される戻る操作検出部338で行われる処理を、図67に示すフローチャートを参照しながら説明する。戻る操作検出部338では、まず、実行要求通知を取得したかどうかが調べられる(ステップST131)。すなわち、戻る操作検出部338は、入力領域判定部335から実行要求通知を受け取ったかどうかを調べる。このステップST131において、実行要求通知を取得していないことが判断されると、このステップST131を繰り返し実行しながら待機する。
一方、ステップST131において、実行要求通知を取得したことが判断されると、次いで、その通知は「戻る」であるかどうかが調べられる(ステップST132)。すなわち、戻る操作検出部338は、入力領域判定部335から受け取った実行要求通知が「戻る」を示しているかどうかを調べる。
このステップST132において、通知が「戻る」を示していることが判断されると、その直前の推測に失敗した可能性が高いと認識され、入力領域が縮小される(ステップST133)。すなわち、戻る操作検出部338は、入力領域判定部335に対し入力領域の縮小を指示する。次いで、動き検出空間領域の設定が変更され、C空間領域が縮小される(ステップST134)。すなわち、戻る操作検出部338は、動き検出空間領域設定部260に対して空間領域設定補正情報を送ることにより動き検出空間領域の設定を変更し、C空間領域を縮小する。その後、戻る操作検出部338における処理は終了する。
上記ステップST132において、通知が「戻る」を示していないことが判断されると、その直前の推測は正しかったと認識され、入力領域が拡大される(ステップST135)。すなわち、戻る操作検出部338は、入力領域判定部335に対し入力領域の拡大を指示する。次いで、動き検出空間領域の設定が変更され、C空間領域(図15および図16参照)が拡大される(ステップST136)。すなわち、戻る操作検出部338は、動き検出空間領域設定部260に対して空間領域設定補正情報を送ることにより動き検出空間領域の設定を変更し、C空間領域を拡大する。その後、戻る操作検出部338における処理は終了する。
以上説明したように、この発明の実施の形態7に係る入力装置によれば、操作者の入力操作の履歴から、操作者が意図した操作をより正確に推測することができる。操作者が意図した操作の推測結果と操作者の入力操作の履歴から動き検出空間領域を変更することにより、操作者が意図した通りの入力操作をより確実に支援できる。
この発明の実施の形態1に係る入力装置の構成を示すブロック図である。 この発明の実施の形態1に係る入力装置を部分的に示す外観斜視図である。 この発明の実施の形態1に係る入力装置の指示点位置検出部の詳細な構成を示すブロック図である。 この発明の実施の形態1に係る入力装置の基準カメラおよび補助カメラの取り付け箇所を示す車載情報装置の側面図である。 この発明の実施の形態1に係る入力装置の基準カメラおよび補助カメラの取り付け箇所を示す車載情報装置の平面図である。 この発明の実施の形態1に係る入力装置の基準カメラによって撮影された画像の例を示す図である。 この発明の実施の形態1に係る入力装置の補助カメラによって撮影された画像の例を示す図である。 この発明の実施の形態1に係る入力装置の指示点位置検出部の指領域抽出部によって抽出された指領域の例を示す図である。 この発明の実施の形態1に係る入力装置の指示点位置検出部の多角形近似部で近似された多角形の例を示す図である。 この発明の実施の形態1に係る入力装置の指示点位置検出部の指先2次元座標算出部における2次元座標の算出過程を説明するための図である。 この発明の実施の形態1に係る入力装置の指示点位置検出部の指先距離算出部で行われるステレオ法による距離算出を説明するための図である。 この発明の実施の形態1に係る入力装置の指示点位置検出部の指先距離算出部で行われるステレオ法による指先距離算出を説明するための図である。 この発明の実施の形態1に係る入力装置の入力操作推測部の指示点動き検出部から出力される指示点3次元座標移動履歴の例を示す図である。 この発明の実施の形態1に係る入力装置の入力部で生成される入力ボタンが単数の場合の入力領域情報の例を示す図である。 この発明の実施の形態1に係る入力装置で使用される入力領域が単数の場合のX−Z座標上の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置で使用される入力領域が単数の場合のY−Z座標上の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置の入力部で生成される入力ボタンが複数の場合の入力領域情報の例を示す図である。 この発明の実施の形態1に係る入力装置で使用される入力領域が2つの場合のX−Z座標上の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置で使用される入力領域が2つの場合の一方の入力領域のY−Z座標上の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置で使用される入力領域が2つの場合の他方の入力領域のY−Z座標上の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置で使用される入力領域が2つで指先が近接した場合のX−Z座標上の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置において動き検出空間領域を簡略化して算出する場合の動き検出空間領域設定情報の例を示す図である。 この発明の実施の形態1に係る入力装置の入力操作推測部で生成される空間領域移動情報によって示される指示点の移動経路の例を示す図である。 この発明の実施の形態1に係る入力装置の入力操作推測部の入力領域が単数の場合の状態遷移を表す状態遷移図である。 この発明の実施の形態1に係る入力装置において、入力領域が単数の場合に、動き検出空間領域を指示点が動く例を示す図である。 この発明の実施の形態1に係る入力装置において、入力領域が単数の場合に、動き検出空間領域を指示点が動く他の例を示す図である。 この発明の実施の形態1に係る入力装置の入力操作推測部の入力領域が複数の場合の状態遷移を表す状態遷移図である。 この発明の実施の形態1に係る入力装置において、入力領域が2つの場合に、動き検出空間領域を指示点が動く例を示す図である。 この発明の実施の形態1に係る入力装置において、入力領域が2つの場合に、動き検出空間領域を指示点が動く他の例を示す図である。 この発明の実施の形態1に係る入力装置において、入力領域が2つの場合に、動き検出空間領域を指示点が動くさらに他の例を示す図である。 この発明の実施の形態1に係る入力装置において、入力デバイスによる指示点の入力の様子を示す図である。 この発明の実施の形態1に係る入力装置の入力部の指示入力設定部で行われる処理を示すフローチャートである。 この発明の実施の形態1に係る入力装置の入力部の詳細な構成を示すブロック図である。 この発明の実施の形態1に係る入力装置の入力部の指示入力判定部で行われる処理を示すフローチャートである。 この発明の実施の形態1に係る入力装置の入力部において入力領域の拡大を説明するための図である。 この発明の実施の形態1に係る入力装置の入力部において入力領域の移動を説明するための図である。 この発明の実施の形態1に係る入力装置の表示部で行われる処理を示すフローチャートである。 この発明の実施の形態2に係る入力装置の構成を示すブロック図である。 この発明の実施の形態2に係る入力装置の入力部の詳細な構成を示すブロック図である。 この発明の実施の形態2に係る入力装置の入力部で行われる処理を示すフローチャートである。 この発明の実施の形態2に係る入力装置において入力領域が補正される前の表示例を示す図である。 この発明の実施の形態2に係る入力装置において入力領域が移動された後の表示例を示す図である。 この発明の実施の形態2に係る入力装置において入力領域が拡大された後の表示例を示す図である。 この発明の実施の形態2に係る入力装置において入力領域の色が変更されて強調表示された表示例を示す図である。 この発明の実施の形態3に係る入力装置の構成を示すブロック図である。 この発明の実施の形態3に係る入力装置の入力部の詳細な構成を示すブロック図である。 この発明の実施の形態3に係る入力装置の入力部の入力領域判定部で行われる処理を示すフローチャートである。 この発明の実施の形態3に係る入力装置の表示部で行われる処理を示すフローチャートである。 この発明の実施の形態3に係る入力装置の表示部に表示される入力判定確認画面の例を示す図である。 この発明の実施の形態4に係る入力装置の構成を示すブロック図である。 この発明の実施の形態4に係る入力装置の入力部の詳細な構成を示すブロック図である。 この発明の実施の形態4に係る入力装置の入力部の指示点異常動作検出部で検出対象とされる指示点3次元座標移動履歴の例を示す図である。 この発明の実施の形態4に係る入力装置の入力部の指示点異常動作検出部で使用される異常動作レベルと異常動作検出閾値との関係を示す図である。 この発明の実施の形態4に係る入力装置の入力操作推測部の指示点異常動作検出部で行われる処理を示すフローチャートである。 この発明の実施の形態4に係る入力装置の入力部の指示入力設定部で行われる処理を示すフローチャートである。 この発明の実施の形態4に係る入力装置の入力デバイスとして使用されるアナログ抵抗膜方式タッチパネルの構成を示す図である。 この発明の実施の形態4に係る入力装置の入力デバイスが無効化された場合の画面表示の例を示す図である。 この発明の実施の形態5に係る入力装置の構成を示すブロック図である。 この発明の実施の形態5に係る入力装置で使用される路面情報データベースの例を示す図である。 この発明の実施の形態5に係る入力装置の入力操作推測部の指示点異常動作推測部で行われる処理を示すフローチャートである。 この発明の実施の形態6に係る入力装置の構成を示すブロック図である。 この発明の実施の形態6に係る入力装置の入力部の詳細な構成を示すブロック図である。 この発明の実施の形態6に係る入力装置の入力部における入力位置の補正を説明するための図である。 この発明の実施の形態6に係る入力装置の入力部で行われる補正処理を示すフローチャートである。 この発明の実施の形態7に係る入力装置の構成を示すブロック図である。 この発明の実施の形態7に係る入力装置の入力部の詳細な構成を示すブロック図である。 この発明の実施の形態7に係る入力装置の入力部の指示入力判定部に含まれる戻る操作検出部で行われる処理を示すフローチャートである。
符号の説明
100 指示点位置検出部、110 基準カメラ、120 補助カメラ、130 指領域抽出部、140 輪郭線抽出部、150 多角形近似部、160 指先2次元座標算出部、170 指先距離算出部、180 タイマ、190 指先3次元座標送出部、200 入力操作推測部、210 指示点動き検出部、240 指示入力操作推測部、250 指示点異常動作検出部、260 動き検出空間領域設定部、270 空間領域移動情報分析部、280 指示点異常動作推測部、300 入力部、310 入力デバイス、320 指示入力設定部、321 入力領域設定部、322 入力領域移動部、323 入力領域拡大部、324 入力領域縮小部、326 反応速度低下設定部、327 入力感度低下設定部、328 指示点異常動作判定部、329 入力領域変更部、330 指示入力判定部、331 圧力検出部、332 入力時間測定部、333 2次元座標検出部、334 入力可否判定部、335 入力領域判定部、336 圧力判定部、337 入力時間判定部、338 戻る操作検出部、340 入力補正部、350 入力無効化部、400 表示部、410 表示器、420 表示制御部、430 入力確認表示部、440 入力領域表示補正部、450 推測結果表示部、500 各種機能実行部、600 加速度センサ、700 路面情報部、710 GPS装置、720 路面情報データベース、730 路面情報取得部。

Claims (15)

  1. 指示点の位置の3次元座標を連続的に検出し、該検出した時点の検出時刻と一緒に出力する指示点位置検出部と、
    前記指示点位置検出部から送られてくる指示点の位置および検出時刻から指示点の動きを検出する指示点動き検出部と、
    前記指示点動き検出部で検出された指示点の動きから意図された入力操作を推測する指示入力操作推測部と、
    前記指示入力操作推測部で推定された入力操作に応じた入力を行う入力部とを備え、
    前記入力部は、
    前記入力操作を検出する入力デバイスと、
    前記指示入力操作推測部からの推測結果に応じて、前記入力デバイスの入力領域を設定する指示入力設定部と、
    前記入力デバイスにより検出された入力操作が、前記指示入力設定部で設定された入力領域でなされことが判定された場合に該入力操作に応じた情報を出力する指示入力判定部
    とを備えたことを特徴とする入力装置。
  2. 指示入力設定部は、指示入力操作推測部からの推測結果に応じて、入力デバイスの入力領域を変更し、
    指示入力判定部は、前記入力デバイスにより検出された入力操作が、前記指示入力設定部によって変更された入力領域でなされことを判定した場合に該入力操作に応じた情報を出力する
    ことを特徴とする請求項記載の入力装置。
  3. 指示点動き検出部で検出された指示点の動きの異常を検出する指示点異常動作検出部を備え、
    指示入力設定部は、
    前記指示点異常動作検出部で検出された異常に応じて反応速度を低下させるように設定する反応速度低下設定部を備え、
    指示入力判定部は、
    入力デバイスが押された時間を測定する入力時間測定部と、
    前記入力時間測定部で測定された時間と前記反応速度低下設定部で設定された反応速度とに基づき入力の可否を判定する入力可否判定部と、
    前記入力可否判定部における判定結果に応じて前記入力デバイスへの入力の有効または無効を制御する入力領域判定部
    とを備えたことを特徴とする請求項または請求項記載の入力装置。
  4. 指示点動き検出部で検出された指示点の動きの異常を検出する指示点異常動作検出部を備え、
    指示入力設定部は、
    前記指示点異常動作検出部で検出された異常に応じて入力感度を低下させるように設定する入力感度低下設定部を備え、
    指示入力判定部は、
    入力デバイスが押された押圧力を検出する圧力検出部と、
    前記圧力検出部で検出された押圧力と前記入力感度低下設定部で設定された入力感度に基づき入力の可否を判定する入力可否判定部と、
    前記入力可否判定部における判定結果に応じて前記入力デバイスへの入力の有効または無効を制御する入力領域判定部
    とを備えたことを特徴とする請求項から請求項のうちのいずれか1項記載の入力装置。
  5. 入力領域判定部は、入力可否判定部により入力が否であると判定された場合は、入力デバイスの入力の受付を無効化する
    ことを特徴とする請求項から請求項のうちのいずれか1項記載の入力装置。
  6. 表示情報に応じて画像を表示する表示器と、
    指示入力設定部で設定された入力領域が変更された場合に、該変更に応じて、前記表示器に送る表示情報を補正する入力領域表示補正部
    とを備えたことを特徴とする請求項記載の入力装置。
  7. 指示点入力操作推測部で推測された入力操作による入力領域と、入力デバイスにより検出された入力操作による指示点の位置とが一致しない場合は、入力デバイスからの指示入力情報を補正する入力補正部
    を備えたことを特徴とする請求項から請求項のうちのいずれか1項記載の入力装置。
  8. 指示点入力操作推測部で推測された入力操作による入力領域と、入力デバイスにより検出された入力操作による指示点の位置とが一致しない場合は、入力デバイスからの指示入力情報を無効化する入力無効化部
    を備えたことを特徴とする請求項から請求項のうちのいずれか1項記載の入力装置。
  9. 表示情報に応じて画像を表示する表示器と、
    入力デバイスにより検出された入力操作が、指示入力設定部で設定された入力領域でなされことが判定された場合に、入力結果が正しいかどうかを確認する入力判定確認画面を表示する表示情報を前記表示器に送る入力確認表示部
    とを備えたことを特徴とする請求項記載の入力装置。
  10. 加速度を検出する加速度センサと、
    前記加速度センサで検出された加速度に応じて異常動作の有無を推測する指示点異常動作推測部とを備え、
    指示点異常動作検出部は、指示点動き検出部で検出された指示点の動きと前記指示点異常動作推測部で推測された異常動作の有無とに基づき指示点の動きの異常を検出する
    ことを特徴とする請求項から請求項のうちのいずれか1項記載の入力装置。
  11. 路面の凹凸を表す路面情報を取得する路面情報取得部と、
    前記路面情報取得部で取得された路面情報に応じて異常動作の有無を推測する指示点異常動作推測部とを備え、
    指示点異常動作検出部は、指示点動き検出部で検出された指示点の動きと前記指示点異常動作推測部で推測された異常動作の有無とに基づき指示点の動きの異常を検出する
    ことを特徴とする請求項から請求項のうちのいずれか1項記載の入力装置。
  12. 指示入力操作推測部は、指示点動き検出部で検出された指示点の特定方向への動きの有無に基づき、意図された入力操作を推測する
    ことを特徴とする請求項から請求項11のうちのいずれか1項記載の入力装置。
  13. 指示入力判定部は、
    入力デバイスによって戻る操作がなされたことを検出した場合に該入力デバイスの入力領域を縮小させ、戻る操作がなされなかったことを検出した場合に入力領域を拡大させる戻る操作検出部
    を備えたことを特徴とする請求項から請求項12のうちのいずれか1項記載の入力装置。
  14. 指示入力判定部は、
    入力デバイスによって戻る操作がなされたことを検出した場合に、指示点の動きを検出するための動き検出空間領域を縮小させ、戻る操作がなされなかったことを検出した場合に動き検出空間領域を拡大させる戻る操作検出部
    を備えたことを特徴とする請求項から請求項12のうちのいずれか1項記載の入力装置。
  15. 請求項1から請求項14のうちのいずれか1項記載の入力装置を備えたことを特徴とする車載情報装置。
JP2008059679A 2008-03-10 2008-03-10 入力装置およびこれを備えた車載情報装置 Active JP4959606B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008059679A JP4959606B2 (ja) 2008-03-10 2008-03-10 入力装置およびこれを備えた車載情報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008059679A JP4959606B2 (ja) 2008-03-10 2008-03-10 入力装置およびこれを備えた車載情報装置

Publications (2)

Publication Number Publication Date
JP2009217477A JP2009217477A (ja) 2009-09-24
JP4959606B2 true JP4959606B2 (ja) 2012-06-27

Family

ID=41189262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008059679A Active JP4959606B2 (ja) 2008-03-10 2008-03-10 入力装置およびこれを備えた車載情報装置

Country Status (1)

Country Link
JP (1) JP4959606B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5778892B2 (ja) * 2010-03-15 2015-09-16 富士通株式会社 操作状況監視プログラム、該装置、及び該方法
JP2012185632A (ja) * 2011-03-04 2012-09-27 Nikon Corp 電子機器、処理システム及び処理プログラム
JP5780823B2 (ja) * 2011-04-28 2015-09-16 株式会社Nttドコモ 表示装置、表示装置の制御方法及びプログラム
JP5782821B2 (ja) * 2011-05-17 2015-09-24 日産自動車株式会社 タッチパネル装置およびタッチパネル装置の制御方法
WO2013145223A1 (ja) * 2012-03-29 2013-10-03 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
JP2013222317A (ja) * 2012-04-17 2013-10-28 Toshiba Mach Co Ltd 数値制御装置
JP5461735B2 (ja) * 2012-04-27 2014-04-02 パナソニック株式会社 入力装置、入力支援方法及びプログラム
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置、入力支援方法及びプログラム
JP5966665B2 (ja) * 2012-06-26 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
GB2528245A (en) * 2014-07-04 2016-01-20 Jaguar Land Rover Ltd Apparatus and method for determining an intended target
JP2016134154A (ja) * 2015-01-22 2016-07-25 富士通株式会社 電子機器及び座標決定プログラム
JP6483556B2 (ja) * 2015-07-15 2019-03-13 株式会社東芝 操作認識装置、操作認識方法及びプログラム
JP6452658B2 (ja) * 2016-09-27 2019-01-16 キヤノン株式会社 情報処理装置、およびその制御方法ならびにプログラム
US20200241694A1 (en) * 2017-12-04 2020-07-30 Mitsubishi Electric Corporation Proximity detection device and proximity detection method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4416557B2 (ja) * 2004-04-02 2010-02-17 アルパイン株式会社 空間入力システム

Also Published As

Publication number Publication date
JP2009217477A (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
JP4959606B2 (ja) 入力装置およびこれを備えた車載情報装置
JP3883529B2 (ja) 車両後退支援装置
JP5355683B2 (ja) 表示入力装置および車載情報機器
JP5349493B2 (ja) 表示入力装置および車載情報装置
JP4943543B2 (ja) 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP6014162B2 (ja) 入力装置
JP2010184600A (ja) 車載用ジェスチャースイッチ装置
JP5077774B2 (ja) 車両用操作入力装置
CN105009032A (zh) 信息处理装置、姿势检测方法和姿势检测程序
JP5141878B2 (ja) タッチ式操作入力装置
JP4626860B2 (ja) 操作装置
CN109843689B (zh) 驾驶权限移交判定装置及驾驶权限移交判定方法
KR20200037725A (ko) 기기 제어 장치
JP2017068424A (ja) 姿勢計測装置及び姿勢計測方法
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP2006143159A (ja) 車両用動き認識装置
US20150234515A1 (en) Determination of an Input Position on a Touchscreen
KR20130119144A (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP5080409B2 (ja) 情報端末装置
JP2009113599A (ja) 車載用入力装置
JP2022154082A (ja) 表示補正システム、表示システム、表示補正方法、及びプログラム
JP4645665B2 (ja) 操作手投影システムおよび操作手投影システム用のプログラム
WO2020230418A1 (ja) 表示装置
JP7236674B2 (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250