JP5784061B2 - 入力装置、入力方法及び入力プログラム - Google Patents

Description

本発明は、入力装置、入力方法及び入力プログラムに関する。

従来、例えば車両のステアリングハンドルにタッチセンサを設け、運転者が車両の運転中に行った操作を受け付ける入力デバイスが知られている。かかる入力デバイスには、安全を確保するために、走行中に受け付ける操作を、停車中に受け付ける操作よりも簡素化したものがある。
例えば、特許文献１に記載の操作受付装置は、ステアリング操作部に対する接触位置を示す接触位置情報を取得し、車両が停車中である場合に所定の操作についての操作指示の候補である第１選択候補を示す画像を表示させ、車両が走行中である場合に操作についての操作指示の候補であって第１選択候補とは異なる二択の第２選択候補を示す画像を表示させ、車両が停車中である場合は接触位置に基づいて第１選択候補から択一される第１操作指示を受け付け、車両が走行中である場合は接触位置に基づいて二択の第２選択候補から択一される第２操作指示を受け付ける。

特開２０１１−２０１４９７号公報

特許文献１に記載の操作受付装置は、表示された所定の第１選択候補又は第２選択候補のいずれかを選択するため、任意の画像、例えば予め生成された画像に適用することができない。また、画像の性状に関わらず受け付けられる選択候補が変更される。そのため、操作者にとって必ずしも操作性が向上しないことがあった。

本発明は上記の点に鑑みてなされたものであり、走行中において操作入力を行う際の操作性を向上した、入力装置、入力方法及び入力プログラムを提供する。

請求項１記載の発明は、ステアリングハンドル（１１）に取付けられた操作入力部（１３）への操作入力方向を検出する操作検出部（３１）と、前記操作検出部（３１）が検出した操作入力方向を認識する操作入力方向認識部（４４）と、画像の一部を構成する要素画像を表示する画像表示部（１４）と、前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識部（４４）が認識した方向を用いる操作入力方向制御部（４５）と、を備え前記操作入力認識部（４４）は、車両が走行中であるとき、前記要素画像が配置された方向に垂直な方向への操作物の接触位置の変化量を採用せず、前記要素画像が配置された方向を前記操作入力方向として認識することを特徴とする入力装置（１０）である。

請求項２記載の発明は、ステアリングハンドル（１１）に取付けられた操作入力部（１３）への操作入力方向を検出する操作検出部（３１）と、車両が走行中であるとき、前記操作検出部（３１）が検出した操作入力方向が、画像表示部（１４）に表示させる画像の一部を構成する要素画像の配置に応じた方向であると認識する操作入力方向認識部（４４）と、前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識部（４４）が認識した方向を用いる操作入力方向制御部（４５）と、を備え、前記操作入力方向認識部（４４）は、前記要素画像が表示されない余白部の割合が所定の割合よりも高い場合に、前記操作入力方向が前記要素画像の配置に応じた方向であると認識することを特徴とする入力装置（１０）である。

請求項３記載の発明は、ステアリングハンドル（１１）に取付けられた操作入力部（１３）への操作入力方向を検出する操作検出部（３１）と、車両が走行中であるとき、前記操作検出部（３１）が検出した操作入力方向が、画像表示部（１４）に表示させる画像の一部を構成する要素画像の配置に応じた方向であると認識する操作入力方向認識部（４４）と、前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識部（４４）が認識した方向を用いる操作入力方向制御部（４５）と、を備え、前記操作入力方向認識部（４４）は、前記要素画像を操作することができる操作入力方向の自由度に応じて前記操作入力方向を規制するか否かを判定することを特徴とする入力装置（１０）である。
請求項４記載の発明は、前記操作入力方向認識部（４４）は、前記操作検出部（３１）が検出した操作入力方向が、前記要素画像の配置の規則性を有する方向であると認識することを特徴とする請求項１から３のいずれかに記載の入力装置である。

請求項５記載の発明は、前記操作入力方向認識部（４４）は、前記操作検出部（３１）が検出した操作入力方向が、前記画像表示部（１４）に表示させる要素画像のグループが配置された方向であると認識し、前記要素画像のグループのいずれかが指示されたとき、前記操作検出部（３１）が検出した操作入力方向が、前記グループのいずれかにおいて要素画像が配置された方向であると認識することを特徴とする請求項１から４のいずれかに記載の入力装置（１０）である。

請求項６記載の発明は、車両が走行中であるとき、前記要素画像を配置する方向を予め定めた方向に制御する表示制御部（４３）と、を備えることを特徴とする請求項１に記載の入力装置（１０）である。

請求項７記載の発明は、前記ステアリングハンドル（１１）の操舵角を検出する操舵角検出部（１７）を備え、前記操作入力方向制御部（４５）は、前記操舵角検出部（１７）が検出した操舵角に基づいて前記操作入力方向を補正する否かを判定し、前記操作入力方向を補正する場合、前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作検出部（３１）が検出した操作入力方向を用いることを特徴とする請求項１から６のいずれかに記載の入力装置（１０）である。

請求項８記載の発明は、入力装置（１０）における入力方法であって、ステアリングハンドル（１１）に取付けられた操作入力部（１３）への操作入力方向を検出する操作検出過程（３１）と、前記操作検出過程（３１）で検出した操作入力方向を認識する操作入力方向認識過程（４４）と、画像表示部（１４）に表示させる画像の一部を構成する要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識過程（４４）で認識した方向を用いる操作入力方向制御過程（４５）と、を有し、前記操作入力方向認識過程（４４）は、車両が走行中であるとき、前記要素画像が配置された方向に垂直な方向への操作物の接触位置の変化量を採用せず、前記要素画像が配置された方向を前記操作入力方向として認識することを特徴とする入力方法である。

請求項９記載の発明は、入力装置（１０）のコンピュータに、ステアリングハンドル（１１）に取付けられた操作入力部（１３）への操作入力に応じた位置を検出する操作検出手順（３１）、前記操作検出手順（３１）で検出した操作入力方向を認識する操作入力方向認識手順（４４）、画像表示部（１４）に表示させる画像の一部を構成する要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識手順（４４）で認識した方向を用いる操作入力方向制御手順（４５）、を実行させるための入力プログラムであって、前記操作入力方向認識手順（４４）は、車両が走行中であるとき、前記要素画像が配置された方向に垂直な方向への操作物の接触位置の変化量を採用せず、前記要素画像が配置された方向を前記操作入力方向として認識することを特徴とする入力プログラムである。

請求項１、８、９に記載の発明によれば、要素画像に係る操作入力方向として要素画像の配置に応じた方向が用いられるため、要素画像に係る領域間を遷移する操作入力が妨げられない。そのため、走行中において操作入力を行う際の操作性が向上する。
請求項２に記載の発明によれば、余白部の割合が高いために選択対象となる要素画像の候補が多いときであっても、操作入力方向が要素画像の配置に応じた方向に制限されることで、その候補が絞り込まれる。そのため、ユーザは要素画像の選択を容易に行うことができる。

請求項３に記載の発明によれば、操作入力方向の自由度に応じて操作入力方向が要素画像の配置に応じた方向に制限されることで、選択対象となる要素画像の候補が絞り込むことができるため、ユーザは要素画像の選択を容易に行うことができる。
請求項４に記載の発明によれば、規制された操作方向が要素画像の規則性を有する方向であるため、ユーザはその方向に配列された要素画像に係る領域間を遷移する操作入力を円滑に行うことができる。
請求項５の記載の発明によれば、要素画像のグループの選択、選択されたグループにおける要素画像の選択と、ユーザが段階的に操作入力を行うことで、操作方向が制限されても要素画像の選択を円滑に行うことができる。
請求項６に記載の発明によれば、予め定めた方向に要素画像が配置された画像を生成することで、独自に生成する画像についても、操作入力方向が要素画像の配置に応じた方向に制限されても、走行中の安全を確保しながら操作入力を行う際の操作性の低下を抑えることができる。
請求項７に記載の発明によれば、検出した操舵角に応じて補正した操作方向を制限しないことで、補正した操作方向の精度を高い精度に保つことができる。

本発明の実施形態に係る入力装置の外観を示す表面図である。 本実施形態に係る入力装置の構成を示す概略ブロック図である。 本実施形態に係る入力装置の操作面に対する操作座標系と操作入力方向の例を示す図である。 本実施形態に係る入力装置の表示画面上の操作対象の移動方向の例を示す図である。 本実施形態に係る入力処理の一例を示すフローチャートである。 本実施形態に係る入力処理の他の例を示すフローチャートである。 操作入力方向の制御例（１）を示す図である。 操作入力方向の制御例（２）を示す図である。 操作入力方向の制御例（３）を示す図である。 操作入力方向の制御例（４）を示す図である。 操作入力方向の制御例（５）を示す図である。 操作入力方向の制御例（６）を示す図である。 操作入力方向の制御例（７）を示す図である。 操作入力方向の制御例（８）を示す図である。 操作入力方向の制御例（９）を示す図である。 本変形例に係るステアリングハンドル１１の把持状態の例を示す概念図である。

以下、図面を参照しながら本発明の一実施形態について説明する。
図１は、本実施形態に係る入力装置１０の外観を示す表面図である。
本実施形態に係る入力装置１０は、車両のステアリングハンドル１１に設けられ操作者により把持される把持部１２、操作入力部１３、画像表示部１４（図２）及び手指センサ１５（図２）を含んで構成される。入力装置１０は、例えば、目的地までの走行経路を案内する経路案内装置（例えば、ナビゲーション装置）、音楽等の音声コンテンツを再生する音響装置（例えば、オーディオ装置）、受信した放送波で伝送された音声を再生するラジオ受信装置、又は少なくともこれらのいずれかの機能を有する複合機である。

操作入力部１３は、把持部１２の表面に設けられて操作者の操作物、例えば、手指と接触して操作入力を受け付ける操作面１３Ａ、１３Ｂを有する。操作入力部１３は、例えば、タッチセンサを備えるタッチパッドである。タッチセンサは、例えば、静電容量センサである。操作入力部１３は、検出した接触領域を示す接触信号を後述する制御部２２（後述）に出力する。操作面１３Ａ、１３Ｂは、例えば、タッチセンサである。以下の説明において、操作面１３Ａ、１３Ｂを区別しない場合には、操作面１３Ａ又は操作面１３Ａ等と呼ぶことがある。

なお、操作入力部１３は、タッチセンサやタッチセンサを備えるタッチパッドには限られない。操作入力部１３は、操作入力によって操作物が接触した位置、その位置が移動する移動方向、力の向きを検出できるもの、又は、操作入力により少なくとも１方向に回転するものであればいかなるものであってもよい。操作入力部１３は、静電センサに限られず、例えば、圧力センサ、磁気センサ、これらの任意の組み合わせで構成されるスイッチ、トラックパッド、ロータリスイッチ等であってもよい。

画像表示部１４は、ステアリングハンドル１１の回転にかかわらず、車内での位置が固定された表示画面１４ａを備える。画像表示部１４は、制御部２２（図２）から入力された画像信号に基づいて画像を操作者、例えば、運転者に視認可能に表示画面１４ａに表示する。表示画面１４ａに表示される画像には、例えば、画面部品が含まれることがある。画面部品は、表示画面１４ａに表示される表示領域への操作入力を操作入力部１３が受け付ける画像、即ち操作対象となる画像である。画面部品で受け付けた操作入力は、入力装置１０の動作に用いられることがある。画面部品は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品、ＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）コンポーネントとも呼ばれ、例えば、アイコン、ボタン、リンク、等がある。

画像表示部１４は、例えば、車両のダッシュボードの上部に表示画面１４ａが配置されたダッシュボードディスプレイ、車両のフロントウィンドウの表面を表示画面１４ａとして画像を表示するヘッドアップディスプレイ、車両のインストルメントパネル（計器盤）に表示画面１４ａが配置されたマルチインフォメーションディスプレイ、車両のインストルメントパネルの各種計器類付近に表示画面１４ａが配置されたディスプレイ等である。表示画面１４ａの配置は、ステアリングハンドル１１の回転によらず固定されている。

手指センサ１５は、把持部１２の主に側面に設けられて操作者の操作物が接触している把持領域を検出する検出面１５Ａ、１５Ｂを有する。手指センサ１５は、検出した把持領域を示す把持領域信号を制御部２２に出力する。検出面１５Ａ、１５Ｂは、例えば、静電容量センサ、光センサ、温度センサ、圧力センサ等である。以下の説明において、検出面１５Ａ、１５Ｂを区別しない場合には、検出面１５Ａ又は検出面１５Ａ等と呼ぶことがある。

（入力装置の構成）
図２は、本実施形態に係る入力装置１０の構成を示す概略ブロック図である。
入力装置１０は、操作入力部１３、画像表示部１４、手指センサ１５、操舵角センサ（操舵角検出部）１７、速度センサ１８及び制御部２２を含んで構成される。

速度センサ１８は、車両が走行する速度を検出し、検出した速度を示す速度信号を制御部２２に出力する。
制御部２２は、入力装置１０を構成する各部の動作を制御する。制御部２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理装置から構成される。制御部２２は、自部が備える記憶媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））からプログラムを読み出し、読み出したプログラムを実行させて各種の機能を奏する。制御部２２は、例えば、画像信号を取得し、取得した画像信号を画像表示部１４に出力することで、画像表示部１４に表示させる。制御部２２が画像表示部１４に表示させる各１枚（フレーム）の画像には、１個又は複数の要素画像として画面部品が含まれることがある。

画面部品とは、操作対象となる画像である。つまり、制御部２２は、操作入力部１３から入力された接触信号が示す接触位置が画面部品の表示領域に含まれるとき（押下、指示）、その画面部品について予め定めた処理を行う。画面部品は、ＵＩ部品、ＵＩコンポーネント等とも呼ばれる。画面部品には、例えば、アイコン、リンク、ボタン、等がある。画面部品には、画像表示部１４に表示される表示位置がＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等のプログラムによって予め定められるものがある。また、制御部２２は、プログラムを実行しているときに表示位置を定めることがある。また、制御部２２は、操作入力部１３から入力された接触信号が示す接触位置に基づいて画面部品の表示位置を定めることがある。

制御部２２は、例えば、操作検出部３１、把持状態検出部３２、選択部３３、回転補正判定部３７、回転補正部３８、走行状態判定部４１、画像解析部４２、表示制御部４３、操作入力方向認識部４４及び操作入力方向制御部４５を含んで構成される。

操作検出部３１は、予め定めた時間間隔（例えば、１０ｍｓ）で操作入力部１３から入力された接触信号が示す接触領域を判別し、判別した各接触領域の中心点を、操作物が操作面１３Ａ等に接触した接触位置として算出する。操作面１３Ａに操作物が接触した接触領域は大きさを有し、接触領域は複数個存在する場合があるためである。ここで、操作検出部３１は、接触領域の判別において、空間的に互いに連続した接触領域は１つの接触領域に属すると判定する。操作検出部３１は、接触領域と接触位置を示す接触操作信号を生成する。

操作検出部３１は、入力された接触信号に基づいて接触領域の有無、押圧力、接触位置の移動方向（操作入力方向）、移動量等を検出し、検出した情報を接触操作信号に含めてもよい。ここで、操作検出部３１は、直前の接触位置から現在の接触位置への方向を操作入力方向と定め、その接触位置間の距離を移動量と定める。また、操作検出部３１は、判別もしくは算出した情報に基づいてジェスチャ操作の種別を判別し、判別した種別を示す情報を接触操作信号に含めてもよい。ジェスチャ操作の種別には、例えば、操作面１３Ａをたたく（クリック）、さする（スライド）、つまむ、なぞる、ねじる、はらう（フリック）、等の操作がある。操作検出部３１は、操作物が操作面１３Ａに接触する接触位置の軌跡に基づいてジェスチャ操作の種別を判定してもよい。
操作検出部３１は、生成した接触操作信号を選択部３３、表示制御部４３、操作入力方向認識部４４及び操作入力方向制御部４５に出力する。

把持状態検出部３２は、手指センサ１５から入力された把持領域信号に基づいて、ステアリングハンドル１１を把持している手指の状態（把持状態）を検出する。把持状態検出部３２は、例えば、入力された把持領域信号が示す把持領域がステアリングハンドル１１の左側において基準線よりも左回りの領域（下方）よりも右回りの領域（上方）が予め定めた領域の基準値よりも大きい場合に、左手の掌（特に、根元（手首側））が離れていると判定する。基準線とは、ステアリングハンドル１１が操舵されていない状態において、その中心を通る水平線である。これは、ステアリングハンドル１１が右側に操舵されている場合、操作者の指先がステアリングハンドル１１に接触しながら掌がステアリングハンドル１１から離れる傾向があるためである。なお、把持状態検出部３２は、さらに、操舵角センサ１７から入力された操舵角信号が示す操舵角が予め定めた右向きの操舵角Ａが予め定めた操舵角よりも大きいと判定したときに、左手の掌が離れているとの判定を行ってもよい。

また、把持状態検出部３２は、入力された把持領域信号が示す把持領域がステアリングハンドル１１の右側において基準線よりも右回りの領域（下方）よりも左回りの領域（上方）が予め定めた領域の基準値よりも大きい場合に、右手の掌（特に、根元（手首側））が離れていると判定する。なお、把持状態検出部３２は、さらに、操舵角センサ１７から入力された操舵角信号が示す操舵角が予め定めた左向きの操舵角Ａが予め定めた操舵角よりも大きいと判定したときに、右手の掌が離れているとの判定を行ってもよい。把持状態検出部３２は、それ以外の場合、掌が離れていないと判定してもよい。
把持状態検出部３２は、判定した把持状態を示す把持状態信号を回転補正部３８に出力する。

選択部３３は、例えば、操作検出部３１から入力された接触操作信号、その他のスイッチ（図示せず）から入力された操作入力信号（例えば、オン／オフ信号）等に基づいて、操作入力方向認識部４４が認識した方向（後述）を用いるか否かを選択してもよい。操作入力方向認識部４４が認識した方向を用いるか否かは、例えば、操作検出部３１から入力された接触操作信号が予め定めた種別の操作を示す都度、切り替えられてもよい（トグル順）。

予め定めた種別の操作とは、例えば、次のような操作である：（１）予め定めた領域で接触と非接触が断続する操作（例えば、連打、ダブルクリック等）、（２）同一位置で接触している状態が予め定めた時間（例えば、３秒）よりも長く継続している操作（例えば、長押し）、（３）予め定めた領域（例えば、補正切替ボタンの表示領域）への接触。
選択部３３は、操作入力方向認識部４４が認識した方向を用いるか否かを示す選択信号を操作入力方向制御部４５に出力する。
なお、選択部３３は、回転補正判定部３７から入力された回転補正判定信号が操作座標系を補正することを示す場合、操作入力方向制御部４５は操作入力方向認識部４４が認識した方向を用いないこと、つまり操作検出部３１が検出した操作入力方向を用いることを選択してもよい。

回転補正判定部３７は、ステアリングハンドル１１の回転に伴って操作面１３Ａ等（図１）において接触操作を検出する際に基準とする座標系（操作座標系）を補正するか否かを判定する。回転補正判定部３７は、例えば、操舵角センサ１７から入力された操舵角信号が示す操舵角が予め定めた操舵角の閾値よりも大きい場合、操作面１３Ａ等についての操作座標系を補正すると判定する。回転補正判定部３７は、その操舵角信号が示す操舵角が予め定めた操舵角の閾値と等しいか、その閾値よりも小さい場合、操作面１３Ａ等についての操作座標系を補正しないと判定する。回転補正判定部３７は、その操作座標系を補正するか否かを示す回転補正判定信号を回転補正部３８、表示制御部４３及び操作入力方向制御部４５に出力する。

また、回転補正判定部３７は、例えば、操作検出部３１から入力された接触操作信号、その他のスイッチ（図示せず）から入力された回転補正切替信号（例えば、オン／オフ信号）等に基づいて、その操作座標系を補正するか否かを選択してもよい。操作座標系を補正するか否かは、例えば、操作検出部３１から入力された接触操作信号が予め定めた種別の操作を示す都度、その操作座標系を補正するか否かが切り替えられてもよい（トグル順）。予め定めた種別の操作とは、例えば、次の操作である：（１）予め定めた領域で接触と非接触が断続する操作（例えば、連打、等）、（２）同一位置で接触している状態が予め定めた時間（例えば、３秒）よりも長く継続している操作（例えば、長押し）、（３）予め定めた領域（例えば、補正切替ボタンの表示領域）への接触。

回転補正部３８は、回転補正判定部３７から入力された回転補正判定信号が操作座標系を補正することを示す場合、操作検出部３１から入力された接触操作信号が示す接触位置を補正する。これにより所定の種類の画面部品（例えば、アイコン、スクロール対象の要素画像、ドラッグ対象の要素画像、等）について、接触位置に対応した表示画面１４ａへの表示位置や、その移動を示す移動方向が制御される。

ここで、回転補正部３８には、操作検出部３１が操作入力方向を検出する際に用いた操作面１３Ａについての座標系（操作座標系）と、画像表示部１４の表示画面１４ａに要素画像を表示する位置を定める際に用いる座標系（表示座標系）との対応関係が予め記憶されている。操作座標系、表示座標系は、例えば、互いに直交する２個の座標軸を有する２次元の直交座標系である。操作入力方向とは、操作検出部３１が検出した接触位置の移動方向である。操作座標系と表示座標系との対応関係は、例えば、これらの座標系間における座標軸（例えば、Ｘ軸、Ｙ軸）間の回転角や座標値（例えば、Ｘ座標値、Ｙ座標値）間の拡大率で示される。
回転補正部３８は、記憶されている対応関係を用いて、入力された接触操作信号が示す接触位置及び移動方向（操作座標系）に対応した位置及び移動方向（表示座標系）を定める。

例えば、操作者がステアリングハンドル１１を操舵しているとき、図３に示すように操作面１３Ａはステアリングハンドル１１と共にその回転軸の周りで回転する。このとき、操作者がステアリングハンドル１１を把持している手の指（例えば、左手親指）を操作面１３Ａに接触させたまま所定の操作入力方向に移動させた場合を考える。操作面１３Ａについての操作座標系のＸ方向、Ｙ方向は、それぞれ操舵が実行されていない場合から、ステアリングハンドルの操舵角Ａだけ変化する。なお、図３では、検出面１５Ａ、１５Ｂの図示が省略されている。

ステアリングハンドル１１が操舵されていない場合（図３（Ａ））、操作面１３Ａの操作座標系を基準として操作検出部３１が検出する操作入力方向は、表示画面１４ａの表示座標系を基準として回転補正部３８が定める移動方向と一致すると予め定めておく。図４に示す例では、Ｘ軸、Ｙ軸の方向は、それぞれ水平方向、垂直方向である。このとき、操作面１３Ａについての操作座標系をなすＸ軸、Ｙ軸の方向と、表示画面１４ａについての表示座標系をなすＸ軸、Ｙ軸の方向とが一致する。図４（Ａ）に示す例では、移動方向はθである。
他方、ステアリングハンドル１１が操舵されている場合（図３（Ｂ））、操作面１３Ａの操作座標系を基準として操作検出部３１が検出する操作入力方向は、表示画面１４ａの表示座標系を基準として回転補正部３８が定める移動方向からステアリングハンドル１１の操舵角Ａだけずれる。図４（Ｂ）に示す例では、補正前の移動方向はθ−Ａである。

そこで、回転補正部３８が操作面１３Ａの操作座標系のＸ軸、Ｙ軸の方向を、ステアリングハンドル１１の操舵角Ａで回転するように補正すると、補正したＸ軸、Ｙ軸の方向は、ステアリングハンドル１１の操舵がなされていない場合の操作座標系のＸ軸、Ｙ軸の方向と一致する。これに伴い、ステアリングハンドル１１の操舵がなされていない場合と、操舵がなされた場合とにおいて、移動方向が一致する。図４（Ｂ）に示す例では、補正後の移動方向はθとなる。

図２に戻り、走行状態判定部４１は、例えば、速度センサ１８から入力された速度信号に基づいて車両の走行状態を判定する。走行状態判定部４１は、例えば、速度信号が示す速度が予め定めた速度の閾値（例えば、時速０ｋｍ）と等しい場合、車両が停止中であると判定し、速度信号が示す速度が予め定めた速度の閾値よりも高い場合、車両が走行中であると判定する。走行状態判定部４１は、判定した走行状態を示す走行状態信号を操作入力方向認識部４４に出力する。

なお、本実施形態では、速度の閾値は、時速０ｋｍに十分に近似した低い速度（例えば、時速４ｋｍ）であってもよい。その場合には、走行状態判定部４１は、例えば、前方走行において速度信号が示す速度が予め定めた速度の閾値（例えば、時速０ｋｍ）と等しい又はその閾値よりも低い場合、車両が停止中であると判定する。また、走行状態判定部４１は、例えば、前方走行において速度信号が示す速度が、その速度の閾値よりも高い場合、車両が走行中であると判定する。これにより、車両が十分に低速で走行しており運転に対して要求される注意力が比較的低い場合に車両が停止中であるとみなすことができる。後述するように、停止中と判定されたときに操作入力方向の規制が解除されることがある。

画像解析部４２は、画像表示部１４に表示させる画像の配置を解析する。画像解析部４２は、各フレームの画像に含まれる要素画像の配置の特徴を判定する。画像解析部４２は、例えば、水平方向（Ｘ方向）又は垂直方向（Ｙ方向）の要素画像の配置の規則性、要素画像に占められていない余白部の割合及びグループ構成の少なくともいずれかを解析してもよい。画像解析部４２は、解析した要素画像の配置の特徴を示す配置情報を表示制御部４３及び操作入力方向認識部４４に出力する。

また、画像解析部４２は、各フレームの画像に含まれる要素画像として予め定めた種類の画面部品が含まれている場合には、その画面部品の種別を示す情報を配置情報に含め、操作入力方向認識部４４に出力してもよい。予め定めた種類の画面部品として、操作入力方向の自由度が高い画面部品（例えば、ポインタ）や操作に際して高い自由度の操作入力方向が要求される画面部品（例えば、回転ダイヤル）を画像解析部４２に設定しておいてもよい。

要素画像の配置の規則性を解析する際、画像解析部４２は、例えば、各フレームの画像について、原画像と水平方向又は垂直方向に変位させた画像との自己相関を算出してもよい。画像解析部４２は、算出した自己相関が予め定めた自己相関の閾値よりも大きい変位量が存在し、その変位量の数が所定の数（例えば、３個）よりも少ない場合、その変位方向への要素画像の配置に規則性があると判定する。この変位方向は、要素画像が配置される方向の相当するためである。画像解析部４２は、算出した自己相関が予め定めた自己相関の閾値よりも大きい変位量が存在しないか、その変位量の数が所定の数（例えば、３個）と等しいかその数よりも多い場合、その変位方向への要素画像の配置に規則性がないと判定する。
画像解析部４２は、規則性があると判定した場合であっても、各フレームの画像に予め定めた種類の画面部品が含まれている場合には、その画面部品の種別を示す情報を配置情報に含めて操作入力方向認識部４４に出力する。

余白部の割合を解析する際、画像解析部４２は、互いに水平方向又は垂直方向に隣接する要素画像間の間隔、その間隔の最小値、平均値等の統計量、余白部の面積比等の特徴量を算出する。画像解析部４２は、算出した特徴量が予め定めた特徴量の閾値よりも小さいとき、余白部の割合が不十分と判定し、算出した特徴量が予め定めた特徴量の閾値と等しいか、その閾値よりも大きいとき、余白部の割合が十分であると判定する。

グループ構成を解析する際には、画像解析部４２は、互いに隣接する要素画像間が近接、即ち要素画像間の間隔が予め定めた間隔よりも小さい要素画像同士は、同一のグループに属すると判定する。これにより、その他の領域よりも要素画像が密集している表示領域であるグループ毎に要素画像が区分される。即ち、画像解析部４２は、各フレームの画像に含まれる要素画像が、どのグループに含まれるかが判定する。そして、画像解析部４２は、各グループ内、グループ間で規則性を解析してもよい。
なお、画像解析部４２は、表示制御部４３が表示を制御した画像については、要素画像の配置の特徴を解析する処理を省略してもよい。

表示制御部４３は、各フレームの画像に含まれ、その一部をなす要素画像（例えば、画面部品）の配置を、走行状態判定部４１から入力された走行状態信号に基づいて制御する。表示制御部４３において制御対象になる画像は、要素画像からなる画像であって制御部２２が要素画像の配置を変更可能な画像もしくは独自に生成可能な画像（例えば、リスト表示画面、機能選択等の設定画面、等）である。即ち、要素画像を含む画像であっても、その配置が変更不可能な完成した画像（例えば、画像コンテンツ、等）は、表示制御部４３での制御対象にならない。

表示制御部４３は、例えば、入力された走行状態信号が走行中であることを示す場合、予め定めた方向（例えば、水平方向又は垂直方向のいずれか）に所定の種類の要素画像を所定の個数だけ予め定めた間隔で配置して各フレームの画像を合成する。表示制御部４３は、合成した画像を示す画像信号を画像表示部１４に出力し、その配置された方向へ要素画像が配置されていることを示す配置情報を操作入力方向認識部４４に出力する。そのような場合には、その配置された方向への操作入力が要求され、それ以外の方向（例えば、配置された方向と直交する方向）への操作入力の必要性がより低いことがあるためである。

表示制御部４３は、例えば、入力された走行状態信号が停止中であることを示す場合、予め定めた任意の配置（例えば、２次元の格子点上、円周上）に要素画像を配置して各フレームの画像を合成する。この場合における要素画像の配置は、走行中における配置よりも方向の自由度が高い配置でもよいし、走行中における配置と同一であってもよい。表示制御部４３は、合成した画像を示す画像信号を画像表示部１４に出力し、要素画像の配置に規則性がないことを示す配置情報を操作入力方向認識部４４に出力する。

なお、停止中であることを示す走行状態信号が入力された場合、選択部３３から操作入力方向認識部４４が認識した方向を用いないことを示す選択信号が入力されるまでの間、表示制御部４３は、予め定めた方向に要素画像を配置して画像を合成してもよい。車両が停止したときに操作者の意図に関わらず画像表示部１４に表示される画像の形態が変更されないため、操作性を向上することができる。
なお、表示制御部４３は、次の場合にも予め定めた任意の配置に要素画像を配置して各フレームの画像を合成してもよい。例えば、選択部３３から入力された選択信号が、操作入力方向認識部４４が認識した方向を用いないことを示す場合や、回転補正判定部３７から入力された回転補正判定信号が操作座標を補正しないことを示す場合である。

操作入力方向認識部４４は、走行状態判定部４１から入力された走行状態信号及び画像解析部４２もしくは表示制御部４３から入力された配置情報に基づいて、操作検出部３１から入力された接触操作信号が示す操作入力方向を認識する。
ここで、操作入力方向認識部４４は、入力された走行状態信号が走行中であることを示す場合、入力された接触操作信号が示す操作入力方向が画像解析部４２もしくは表示制御部４３から入力された配置情報が示す要素画像の配置に応じた方向であると認識する。つまり、操作入力方向認識部４４は、入力された接触操作信号が示す操作入力方向が、配置情報が示す方向であって、要素画像が配置された方向であるとみなす。

操作入力方向認識部４４は、操作入力方向が要素画像の配置に応じた方向であると認識した場合、その方向の座標や変化量をそのまま採用する一方、その方向に垂直な方向の座標として接触開始時点における座標（固定値）を採用する。例えば、要素画像の配置に応じた方向が水平方向である場合には、操作入力方向認識部４４は、接触操作信号が示す操作入力方向を水平方向であると認識する。ここで、操作入力方向認識部４４は、接触位置の水平方向の座標や変化量をそのまま採用する一方、接触位置の垂直方向の座標を接触開始時点における垂直方向の座標を採用し、変化量を零と定める。操作入力方向認識部４４は、採用した座標や変化量を示す認識操作信号を操作入力方向制御部４５に出力する。この認識操作信号は、認識した操作入力方向への接触位置の変化を示す。

他方、操作入力方向認識部４４は、操作検出部３１から入力された走行状態信号が停止中であることを示す場合、入力された接触操作信号が示す操作入力方向が、入力された配置情報が示す要素画像の配置に応じた方向に操作入力方向であるとの認識することを停止する。また、操作入力方向認識部４４は、この場合、操作入力方向制御部４５への認識操作信号の出力を停止する。

操作入力方向認識部４４は、例えば、操作入力方向を（ａ）〜（ｃ）のいずれかに示すように認識してもよい。
（ａ）各フレームの画像に含まれる要素画像の配置の規則性がある方向を要素画像が配置された方向であると認識する。
操作入力方向認識部４４は、例えば、操作入力方向が画像解析部４２から入力された配置情報が示す要素画像の配置に規則性がある方向と認識する。操作入力方向の制御例については、図７、８、１０を用いて後述する。

（ｂ）各フレームの画像に含まれる要素画像が表示されない余白部の割合に基づいて操作入力方向が要素画像の配置に応じた方向であると認識するか否かを定める。
操作入力方向認識部４４は、例えば、画像解析部４２から入力された配置情報が、余白部の割合が十分であることを示す場合、操作入力方向が、配置情報が示す要素画像の配置に応じた方向であると認識する。操作入力方向の制御例については、図１０を用いて後述する。

（ｃ）操作入力方向が各フレームの画像に含まれる要素画像のグループが配置された方向であると認識し、いずれかのグループが操作入力に応じて選択されたとき、操作入力方向が選択されたグループに含まれる要素画像が配置された方向であると認識する。各グループの表示領域では、その他の領域よりも要素画像が密集している。
操作入力方向認識部４４は、画像解析部４２から入力された配置情報が示すグループ構成及び各グループに属する要素画像の配置に基づいて、この操作入力方向を認識する処理を行う。操作入力方向の制御例については、図９を用いて後述する。

操作入力方向制御部４５は、操作入力方向認識部４４から認識操作信号が入力される場合、少なくともいずれかの要素画像について、その認識操作信号が示す操作入力方向を用いた処理を行う。要素画像についての処理とは、例えば、画面部品の一種であるポインタの表示位置や指示する位置を移動させる処理や、画面部品の一種であるアイコンを指示しながら移動させるドラッグ操作に係る処理である。操作入力方向を用いた処理とは、例えば、その操作入力方向への移動に係る処理、例えば、ポインタの表示位置や指示する位置をその操作入力方向へ移動させる処理、アイコンを指示しながらその操作入力方向へ移動させる処理を行うことである。これにより、車両の走行時において認識された方向に操作入力方向が制限される。処理の対象となる要素画像は、配置された複数の要素画像の一部又は全部、つまり、いずれか１個のみであってもよいし、複数であってもよい。

他方、認識操作信号が入力されない場合には、操作入力方向制御部４５は、操作検出部３１から入力された接触操作信号が示す操作入力方向を用いて要素画像についての処理を行う。このような場合には、操作入力方向が特に制限されない。
また、操作入力方向制御部４５は、選択部３３から入力された選択信号が操作入力方向の規制を行わないことを示す場合にも、操作検出部３１から入力された接触操作信号が示す操作入力方向を用いて要素画像についての処理を行う。その他、操作入力方向制御部４５は、次の（ｄ）、（ｅ）の場合にも操作検出部３１から入力された接触操作信号が示す操作入力方向を用いて要素画像についての処理を行う。

（ｄ）操舵角に応じて操作入力方向を補正する場合、つまり操作入力方向制御部４５が、回転補正判定部３７から入力された回転補正判定信号が操作座標系を補正することを示す場合である。操作入力方向の制御例については、図１５を用いて後述する。

（ｅ）各フレームの画像に予め定めた種類の画面部品が含まれる場合、例えば、画像解析部４２から入力された配置情報が示す種類の画面部品が、その予め定めた種類の画面部品に該当する場合である。予め定めた種類の画面部品とは、例えば、操作入力方向の自由度が高い画面部品（例えば、ポインタ）や操作に際して高い自由度の操作入力方向が要求される画面部品（例えば、回転ダイヤル）である。操作入力方向の制御例については、図８、１１〜１４を用いて後述する。

（入力処理）
次に、本実施形態における入力処理の例について説明する。
図５は、本実施形態に係る入力処理の一例を示すフローチャートである。
（ステップＳ１０１）走行状態判定部４１は、速度センサ１８から入力された速度信号に基づいて車両が走行中であるか停止中であるかを判定する。走行中と判定された場合には（ステップＳ１０１ ＹＥＳ）、ステップＳ１０２に進む。停止中と判定された場合には（ステップＳ１０１ ＮＯ）、ステップＳ１０７に進む。
（ステップＳ１０２）画像解析部４２は、画像表示部１４に表示させる画像の各フレームに含まれる要素画像の配置、例えば、規則性の有無、余白部の割合、予め定めた種類の画面部品の有無を解析する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）画像解析部４２において、規則性があると判定された場合（ステップＳ１０３ ＹＥＳ）、ステップＳ１０４に進む。規則性がないと判定された場合（ステップＳ１０３ ＮＯ）、ステップＳ１０７に進む。
（ステップＳ１０４）画像解析部４２において、要素画像が配置されない余白部の割合が十分であると判定された場合（ステップＳ１０４ ＹＥＳ）、ステップＳ１０５に進む。余白部の割合が不十分であると判定された場合（ステップＳ１０４ ＮＯ）、ステップＳ１０７に進む。
（ステップＳ１０５）画像解析部４２において、予め定めた種類の画面部品があると判定された場合（ステップＳ１０５ ＹＥＳ）、ステップＳ１０６に進む。予め定めた種類の画面部品がないと判定された場合（ステップＳ１０５ ＮＯ）、ステップＳ１０７に進む。

（ステップＳ１０６）操作入力方向認識部４４は、操作入力部１３への接触位置の移動方向である操作入力方向が、例えば、規則性があると判定された方向であると認識する。操作入力方向制御部４５は、要素画像について操作入力方向認識部４４が認識した操作入力方向を用いた処理を行う。その後、本フローチャートに係る処理を終了する。
（ステップＳ１０７）操作入力方向制御部４５は、要素画像について操作検出部３１が検出した操作入力方向を用いた処理を行う。その後、本フローチャートに係る処理を終了する。

次に、本実施形態における入力処理の他の例について説明する。
図６は、本実施形態に係る入力処理の他の例を示すフローチャートである。
図６に示す入力処理は、図５に示す入力処理におけるステップＳ１０１を有し、ステップＳ１０３〜Ｓ１０５の代わりにステップＳ１１１〜Ｓ１１４を有する。図６に示す入力処理では、ステップＳ１０１において走行中と判定された場合には（ステップＳ１０１ ＹＥＳ）、ステップＳ１１１に進む。停止中と判定された場合には（ステップＳ１０１ ＮＯ）、ステップＳ１１２に進む。

（ステップＳ１１１）表示制御部４３は、予め定めた方向（例えば、水平方向）に要素画像を配置して各フレームの画像を合成する。その後、ステップＳ１１２に進む。
（ステップＳ１１２）操作入力方向認識部４４は、操作検出部３１が検出した操作入力方向を、ステップＳ１１１で定めた方向と認識する。操作入力方向制御部４５は、要素画像について操作入力方向認識部４４が認識した操作入力方向を用いた処理を行う。その後、本フローチャートに係る処理を終了する。

（ステップＳ１１３）表示制御部４３は、ステップＳ１１１で定めた配置よりも方向の自由度が高い配置（例えば、２次元の格子点上）に要素画像を配置して各フレームの画像を合成する。その後、ステップＳ１１４に進む。
（ステップＳ１１４）操作入力方向制御部４５は、要素画像について操作検出部３１が検出した操作入力方向を用いた処理を行う。その後、本フローチャートに係る処理を終了する。

（操作入力方向の制御例）
次に、本実施形態による操作入力方向の制御例について説明する。
図７は、操作入力方向の制御例（１）を示す図である。
図７（Ａ）には、表示画面１４ａにおいて、４個のアイコン１０２ａ〜１０２ｄが水平方向に等間隔に配置されている画像が表示されている。このとき、操作入力方向認識部４４には、水平方向への規則性があることを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合、操作入力方向認識部４４は、操作入力方向が両矢印で示される水平方向であると認識し、操作入力方向制御部４５により操作入力方向が水平方向に規制される（簡易モード（Ｓｉｍｐｌｅ Ｍｏｄｅ））。

図７（Ｂ）には、図７（Ａ）と同様に表示画面１４ａに４個のアイコン１０２ａ〜１０２ｄが表示されている。このとき、操作入力方向認識部４４には、走行状態判定部４１から車両が停止中であることを示す走行状態信号が入力され、操作入力方向が水平方向であると認識する処理が停止される。操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、両矢印で示されるように水平方向の他、垂直方向への操作入力方向も受け付け可能になる（標準モード（Ｎｏｒｍａｌ Ｍｏｄｅ））。
従って、車両の走行状態、例えば、車両が走行中であっても要素画像が配置されている方向に操作入力方向が制限されるため、操作入力方向の制限によって安全性を確保しながら操作性の低下が抑制される。また、車両が停止した場合には、操作入力方向の制限が解除されたときの操作性の変化が抑制され、操作者に違和感を生じさせない。これにより、全体として操作性が向上する。

図８は、操作入力方向の制御例（２）を示す図である。
図８（Ａ）には、表示画面１４ａにおいて、３個のリスト１０３ａ〜１０３ｃが水平方向に等間隔に配置されている画像が表示されている。リスト１０３ａ〜１０３ｃは、それぞれ１行の文字列を示す１行リストであり、その配置には水平方向への規則性がある。つまり、リスト１０３ａ〜１０３ｃの各々には、垂直方向への操作は必要とされておらず、水平方向への操作を要する。言い換えれば、水平方向への自由度がある。このとき、操作入力方向認識部４４には、水平方向への規則性があることを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合、操作入力方向認識部４４は、操作入力方向が両矢印で示される水平方向であると認識し、操作入力方向制御部４５により操作入力方向が水平方向に規制される。

図８（Ｂ）には、表示画面１４ａにおいて、１個のリスト１０４を含む画像が表示されている。リスト１０４は、垂直方向に配置された３行の文字列のいずれかを選択することが可能な３行リストである。リスト１０４には、垂直方向への操作を受け付けることが必要であり、水平方向への自由度がない。このとき、操作入力方向制御部４５には、３行リストを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合、操作入力方向認識部４４は、操作入力方向が両矢印で示される垂直方向であると認識し、操作入力方向制御部４５により操作入力方向が水平方向に規制される。

図８（Ｃ）には、表示画面１４ａにおいて、１個の描画領域１０５とポインタ１０６を含む画像が表示されている。ポインタ１０６は、描画領域１０５内のいかなる位置を指示するため、矢印が示すように２次元平面内のいかなる方向、もしくは４５°間隔に量子化された方向のいずれかを操作入力方向として受け付けることが必要とされる。即ち、操作入力方向の自由度が必要とされる。このとき、操作入力方向認識部４４には、ポインタを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合でも、操作入力方向認識部４４は、操作入力方向を特定の方向であると認識する処理を停止する。操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、いかなる方向も操作入力方向として受け付ける。また、操作入力方向制御部４５は、操作入力方向を規制したとしても量子化された方向のいずれかに操作入力方向を規制する。

図９は、操作入力方向の制御例（３）を示す図である。
図９（Ａ）には、表示画面１４ａにニュース記事を示す画像が表示されている。この画像には、複数のリンクが…含まれる。リンクは、それらの位置に応じて３つのグループ１０７ａ〜１０７ｃに分類されている。グループ１０７ａ〜１０７ｃは、水平方向に配置されている。グループ１０７ａ〜１０７ｃの各々には、複数のリンクが垂直方向に配置されている。

このとき、操作入力方向認識部４４には、グループ間で水平方向への規則性があり、各グループで垂直方向への規則性があることを示す配置情報が入力される。
走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合、操作入力方向認識部４４は、操作入力方向が両矢印で示される水平方向であると認識し、操作入力方向制御部４５により操作入力方向が水平方向に規制される。グループ１０７ｂに含まれる右斜め上を向いている実線の矢印は、接触位置を示すポインタを示す。グループ１０７ａ、１０７ｃに含まれる右斜め上を向いている破線の矢印は、その位置に接触位置を移動可能であることを示す。

図９（Ｂ）に表示された画像では、グループ１０７ａ、１０７ｃにポインタが表示されていないのに対し、グループ１０７ｂにポインタが表示されている。ここで、操作入力方向制御部４５は、ポインタが表示されている接触位置に予め定めた時間（例えば、３秒）よりも長い時間、接触位置が継続して含まれているグループ１０７ｂを、その領域に含まれるリンクが選択可能であるグループと定める。なお、操作入力方向制御部４５は、その接触位置において、操作検出部３１から入力された接触操作信号が予め定めた種別の操作（例えば、ダブルクリック）である場合に、リンクが選択可能であるグループをグループ１０７ｂと定めてもよい。

図９（Ｃ）に表示された画像では、図９（Ａ）とは異なり両矢印が垂直方向に示されている。操作入力方向認識部４４には、選択されたグループ１０７ｂについて垂直方向への規則性があることを示す配置情報が入力されたことに応じて、操作入力方向が垂直方向であると認識し、操作入力方向制御部４５により操作入力方向が垂直方向に規制される。これにより、グループの配置方向に操作入力方向を限定したグループの選択、選択したグループにおいて要素画像の配置方向に操作入力方向を限定した要素画像の選択と、段階的な選択が可能になる。そのため、リンク等の要素画像、とりわけ微細な要素画像が密に配置されている場合でも、操作者は目的の要素画像の選択を容易に行うことができる。

図１０は、操作入力方向の制御例（４）を示す図である。
図１０（Ａ）には、表示画面１４ａに４個のアイコン１０８ａ〜１０８ｄが２行２列の格子上に水平方向、垂直方向ともに規則的に配置されている。また、各アイコンの周囲には十分な余白（面積比、約０．３）がある。操作入力方向認識部４４には、画像解析部４２から余白部が十分であることを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合、操作入力方向認識部４４は、操作入力方向が水平方向又は垂直方向であると認識し、操作入力方向制御部４５により操作入力方向が水平方向又は垂直方向に規制される。操作入力方向認識部４４が、水平方向、垂直方向のいずれか、又はいずれも認識するかどうかは、予め設定されていてもよい。

図１０（Ｂ）には、表示画面１４ａに４個のアイコン１０９ａ〜１０９ｄが２行２列の格子上に水平方向、垂直方向ともに規則的に配置されている。しかし、図１０（Ａ）に示す例とは異なり、各アイコンの周囲の余白が乏しい（面積比、約０．０３）がある。操作入力方向認識部４４には、画像解析部４２から余白部が不十分であることを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合でも、操作入力方向認識部４４は、操作入力方向を特定の方向であると認識する処理を停止する。操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。接触位置が移動しても、その接触位置がいずれかのアイコンの領域に含まれるため、操作入力方向を規制しなくとも何らかのアイコンが比較的容易に選択されるためである。

図１０（Ｃ）には、表示画面１４ａに４個のウィンドウ１１０−１〜１１０−４が２行２列の格子上に配置されている。ウィンドウ１１０−１〜１１０−４は、制御部２２がそれぞれ異なるアプリケーションソフトウェア（以下、アプリケーションと呼ぶ）を実行させたとき生成した画像信号に基づく画像を表示する領域である。しかし、ウィンドウ１１０−１〜１１０−４のそれぞれに含まれるアイコンの配置、個数が異なる。

ウィンドウ１１０−１には４個のアイコン１１０−１ａ〜１１０−１ｄが２行２列の格子上に配置されている。ウィンドウ１１０−２には４個のアイコン１１０−２ａ〜１１０−２ｄが配置されており、アイコン１１０−２ａ〜１１０−２ｄの表示領域の境界線はウィンドウ１１０−２の対角線である。ウィンドウ１１０−３には２個のアイコン１１０−３ａ、１１０−３ｂが１行２列に配置されている。ウィンドウ１１０−４には２個のアイコン１１０−４ａ、１１０−４ｂが２行１列に配置されている。

この場合、操作入力方向認識部４４には、画像解析部４２から水平方向、垂直方向への規則性がないことを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合、操作入力方向認識部４４は、操作入力方向を特定の方向であると認識する処理を停止する。操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。また、ウィンドウ１１０−３が単独で表示画面１４ａに表示されている場合にも、操作入力方向認識部４４には、画像解析部４２から水平方向、垂直方向への規則性がないことを示す配置情報が入力される。走行状態判定部４１から車両が走行中であることを示す走行状態信号が入力された場合でも、操作入力方向認識部４４は、操作入力方向を特定の方向であると認識する処理を停止し、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。

図１１は、操作入力方向の制御例（５）を示す図である。
図１１（Ａ）には、表示画面１４ａに地図が表示され、地図のほぼ中央部には×印のポインタ１１１が表示されている。ポインタ１１１は、接触位置を示し、地図上の任意の位置（例えば、拡大縮小操作の基準地点、目的地、等）を選択する操作を受け付けるために表示される。この場合、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。

図１１（Ｂ）にはアイコンが８行８列の格子上に密に配置されている。ここで、右斜め上向きのポインタで指示されている左上端のアイコン１１２ａの表示領域には、現在そのポインタが示す接触位置が含まれることを示す。このようにアイコンが密に配置され、ポインタを表示して任意のアイコンを選択することが操作者に求められる場合には、操作入力方向認識部４４は、操作入力方向を特定の方向であると認識する処理を停止し、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。操作入力方向が規制されないことで操作者は目的のアイコン、例えば右下のアイコン１１２ｂの位置を指示することで容易に選択できる。反面、操作入力方向が、例えば水平方向又は垂直方向のみに規制すると、操作にかかる動作の回数が増え煩雑になってしまう。

図１２は、操作入力方向の制御例（６）を示す図である。
図１２（Ａ）には、表示画面１４ａにダイヤル１１３が表示されている。ダイヤル１１３は、８個の扇形の領域Ａ−Ｈを有する。領域Ａ−Ｈが有する中心角は、それぞれ４５°と等しい角度である。ダイヤル１１３の上方の両矢印は、ダイヤル１１３の操作が可能な方向を示す。

図１２（Ｂ）には、表示画面１４ａにボリュームセレクタ１１４が表示されている。ボリュームセレクタ１１４は、水平方向に向く９個の細長のブロック１１４ａ−１１４ｉを有する。ブロック１１４ａ−１１４ｉの左端、右端ともに、水平方向の座標が不ぞろいである。ブロック１１４ａ−１１４ｉを横切る右上に向かう両矢印は、ブロック１１４ａ−１１４ｉのいずれかを選択することにより、音量を選択できることを示す。
しかしながら、ダイヤル１１３、ボリュームセレクタ１１４は、その形状を視認しただけでは、ユーザは操作が可能な方向を直ちに推測することができないことがある。かかる要素画像については、操作入力方向を自由に設定可能にして操作者に操作が可能な方向を体得させることが望ましいことがある。そこで、かかる画面部品については、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。

図１３は、操作入力方向の制御例（７）を示す図である。
図１３には、表示画面１４ａに設定パネル１１５が表示されている。設定パネル１１５の左側、右側には、オーディオ設定部１１５−１、エアコン設定部１１５−２が配置されている。オーディオ設定部１１５−１の上段１１５−１ｂの右上半分に示されている音源選択部（Ｓｏｕｒｃｅ）の７個の水平方向で区切られた領域は、そのいずれかに対応する音源、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）を選択できることを示す。オーディオ設定部１１５−１の上段１１５−１ｂの左下半分に示されているトラック選択部（Ｔｒａｃｋ）の７個の垂直方向で区切られた領域は、そのいずれかに対応するコンテンツ、例えば楽曲を選択できることを示す。オーディオ設定部１１５−１の下段１１５−１ａに示されている音量設定部（Ｖｏｌｕｍｅ）の７個の垂直方向で区切られた領域は、接触位置を右から左に移動させることでより大きい音量を設定できることを示す。

エアコン設定部１１５−２の上段１１５−２ｂの左上半分に示されているモード選択部（Ｍｏｄｅ）の７個の水平方向で区切られた領域は、そのいずれかに対応する動作モード、例えば自動温度調整モードを選択できることを示す。エアコン設定部１１５−２の上段１１５−２ｂの右下半分に示されている温度設定部（温度）の７個の垂直方向で区切られた領域は、そのいずれかに対応する温度を選択できることを示す。エアコン設定部１１５−２の下段１１５−２ａに示されている風量設定部（風量）の７個の垂直方向で区切られた領域は、接触位置を左から右に移動させることでより強い風量を設定できることを示す。
この設定パネル１１５のように操作対象毎に操作入力方向が異なる画面部品については、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。これにより、１つの画面に複数の操作対象を切り替えずに、目的の操作対象を探し当てる操作を省略できるという設定パネル１１５の利点を発揮することができる。

図１４は、操作入力方向の制御例（８）を示す図である。
図１４には、表示画面１４ａに描画入力枠（手書き入力コンポーネント）１１６が表示されている。描画入力枠１１６は、その表示領域に含まれる位置に対応した接触位置が検出され、検出された接触位置に対応する位置の軌跡で形成される画像を入力（描画入力）することができる画面部品である。描画入力枠１１６を表示する場合には、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。

ここで、操作検出部３１は、操作入力部１３から入力された接触信号に基づいて検出した接触位置の軌跡を、予め記憶した操作座標系と表示座標系との対応関係に基づいて表示座標系での軌跡に座標変換を行ってもよい。操作検出部３１は、公知の画像認識処理を行って座標変換がなされた軌跡を示す画像が、予め設定した文字又は記号（以下、文字等と呼ぶ）のいずれかであるかを定める。制御部２２には、その文字等のそれぞれと予め定めた処理との対応関係を記憶しておき、定めた文字等に対応した処理を実行する。

図１４（Ａ）において、描画入力枠１１６に表示された△印は、入力された画像の一例である。その場合、操作入力方向制御部４５は、△印に対応する処理、例えば、目的値の設定等に用いる地図を画像表示部１４に表示させ、地図上の任意の位置を選択する操作を受け付ける。
図１４（Ｂ）において、描画入力枠１１６に表示された「えあこん」の文字は、入力された画像の他の例である。その場合、操作入力方向制御部４５は、「えあこん」の文字に対応する処理、例えば、エアコンの動作を設定するためのエアコン設定画像を画像表示部１４に表示させる。
このように、操作入力方向の規制が行われないため、自由な操作入力方向が要求される描画入力が阻害されない。

図１５は、操作入力方向の制御例（９）を示す図である。ここでは、操作面１３Ｂの図示が省略されている。
図１５は、ステアリングハンドル１１を操舵しているとき、操作者が操作面１３Ａの接触位置Ｏ１に指を接触している状況を示す。図１５に示す例では、操舵角Ａでステアリングハンドル１１が回転されている。

ここで、接触位置Ｏ１を起点とする８本の矢印は、それぞれの矢印の方向のいずれかに操作入力方向が制限されていることを示す。８本の矢印のうち隣接する２本がなす角度は、この例では４５°である。８本の矢印のうち、右斜め上、左斜め下を向く２本の矢印はＸ軸を形成し、左斜め上、右斜め下を向く２本の矢印はＹ軸を形成する。このような場合には、操作入力方向が４５°間隔に離散化されているため、回転補正部３８が操舵角Ａで操作入力方向θを補正しても、十分な精度が得られない。従って、操舵角Ａで操作入力方向θを補正する場合、即ち、回転補正判定部３７が操作座標系を補正すると判定する場合には、操作入力方向制御部４５は、操作検出部３１が検出した操作入力方向を用いるため、操作入力方向は規制されない。これによって、補正による高い精度を失わずに済む。

（変形例）
次に、本実施形態の変形例について説明する。
回転補正部３８は、回転補正判定部３７から入力された回転補正判定信号の他、把持状態検出部３２から入力された把持状態信号に基づいて操作検出部３１から入力された接触操作信号が示す接触位置を補正する。回転補正部３８は、例えば、操作座標系を回転補正判定信号が示す操舵角Ａと把持状態信号が示す把持状態に応じた補正角Ｂの合計Ａ＋Ｂだけ右回りに回転させることで、操作入力方向θをθ−（Ａ＋Ｂ）と補正する。

ここで、回転補正部３８には、把持状態信号と予め定めた補正角Ｂとを対応付けて自部が備える記憶部に設定しておき、入力された把持状態信号に応じた補正角Ｂを求める。回転補正部３８には、例えば、左手の掌が離れていることを示す把持状態信号と補正角Ｂとして負の実数値（例えば、−１５°）を対応付けておく。また、回転補正部３８には、右手の掌が離れていることを示す把持状態信号と補正角Ｂとして正の実数値（例えば、１５°）を、掌が離れていないことを示す把持状態信号と補正角Ｂとして０度を、それぞれ対応付けておく。
従って、左手の掌が離れていることを示す把持状態信号については、より左回りの方向に操作入力方向θが補正され、右手の掌が離れていることを示す把持状態信号については、より右回りの方向に操作入力方向θが補正される。これにより、把持状態による指の可動範囲や指の動きによる影響を除去することができる。

次に、ステアリングハンドル１１の把持状態の例について説明する。
図１６は、本変形例に係るステアリングハンドル１１の把持状態の例を示す概念図である。ここでは、操作面１３Ｂの図示が省略されている。
図１６（Ａ）には、ステアリングハンドル１１が操舵されていない場合において操作者が操作面１３Ａの上に親指を接触させながら接触位置を移動させる状況を示す。操作面１３Ａの下端を起点として左上向きの線分は、接触位置の軌跡ｌａを示す。操作者の左手人差指の先、掌、親指の腹部は、ステアリングハンドル１１の外周にいずれも接触しているため、把持状態検出部３２は、掌が離れていないと判定する。

図１６（Ｂ）には、ステアリングハンドル１１が右回りに操舵された場合において操作者が操作面１３Ａの上に指を接触させながら接触位置を移動させる状況を示す。操作面１３Ａの下端を起点として左上向きの線分は、接触位置の軌跡ｌｂを示す。このとき、操作者の左手人差指の先は、ステアリングハンドル１１の外周に接触しているのに対し、掌や親指の腹部は、ステアリングハンドル１１から離れている。そのため、把持状態検出部３２は、左手の掌が離れていると判定する。このとき、回転補正部３８は、図１６（Ａ）よりも左回りに補正角Ｂだけ操作入力方向θを補正する。左手の掌が離れている場合、親指の向きが操舵されていない場合よりも右回りに偏るため、操作検出部３１が検出する操作入力方向も操作者の意図よりも右回りに偏りがちである。そこで、本変形例では、検出された操作入力方向を左回りに補正することで、操作者の意図に沿った操作入力方向が得られる。これにより、ユーザにとり操作にかかる負担が少なくなるため、運転中の安全性を向上することができる。

他方、ステアリングハンドル１１が左回りに操舵された場合において、把持状態検出部３２は、左手の掌が離れていると判定する。回転補正部３８は、を図１６（Ａ）よりも右回りに補正角Ｂだけ操作面１３Ｂ（図示せず）への操作入力方向θを補正する。この場合も、ユーザにとり操作にかかる負担が少なくなるため、運転中の安全性を向上することができる。

上述したように、本実施形態では、ステアリングハンドル１１に取付けられた操作入力部１３への操作入力方向を検出し、車両が走行中であるとき、検出した操作入力方向が、画像表示部１４に表示させる画像の一部を構成する要素画像の配置に応じた方向であると認識する。また、本実施形態では、要素画像の少なくともいずれかに係る操作入力方向として、認識した方向を用いる。
要素画像についての操作入力方向として要素画像の配置に応じた方向が用いられるため、要素画像に係る領域間を遷移する操作入力が妨げられない。そのため、走行中において操作入力を行う際の操作性が向上する。

上述では、入力装置１０が車両に設置されている場合を例にとって説明したが、本実施形態ではこれには限られない。入力装置１０又はその一部、例えば、制御部２２は、車両に設置されていない状態で実施、例えば、生産、使用、譲渡、貸渡し、輸出、輸入、譲渡ならびに貸渡しの申し出が行われてもよい。

なお、上述した実施形態における入力装置１０の一部、例えば、操作検出部３１、把持状態検出部３２、選択部３３、回転補正判定部３７、回転補正部３８、走行状態判定部４１、画像解析部４２、表示制御部４３、操作入力方向認識部４４及び操作入力方向制御部４５をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、入力装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における入力装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。入力装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０…入力装置、１１…ステアリングハンドル、１２…把持部、１３…操作入力部、
１３Ａ、１３Ｂ…操作面、１４…画像表示部、１４ａ…表示画面、１５…手指センサ、
１５Ａ、１５Ｂ…検出面、１７…操舵角センサ、１８…速度センサ、２２…制御部、
３１…操作検出部、３２…把持状態検出部、３３…選択部、３７…回転補正判定部、
３８…回転補正部、４１…走行状態判定部、４２…画像解析部、４３…表示制御部、
４４…操作入力方向認識部、４５…操作入力方向制御部

Claims (9)

1. ステアリングハンドルに取付けられた操作入力部への操作入力方向を検出する操作検出部と、
   前記操作検出部が検出した操作入力方向を認識する操作入力方向認識部と、
   画像の一部を構成する要素画像を表示する画像表示部と、
   前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識部が認識した方向を用いる操作入力方向制御部と、を備え
   前記操作入力方向認識部は、車両が走行中であるとき、前記要素画像が配置された方向に垂直な方向への操作物の接触位置の変化量を採用せず、前記要素画像が配置された方向を前記操作入力方向として認識することを特徴とする入力装置。
2. ステアリングハンドルに取付けられた操作入力部への操作入力方向を検出する操作検出部と、
   車両が走行中であるとき、前記操作検出部が検出した操作入力方向が、画像表示部に表示させる画像の一部を構成する要素画像の配置に応じた方向であると認識する操作入力方向認識部と、
   前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識部が認識した方向を用いる操作入力方向制御部と、を備え
   前記操作入力方向認識部は、前記要素画像が表示されない余白部の割合が所定の割合よりも高い場合に、前記操作入力方向が前記要素画像の配置に応じた方向であると認識することを特徴とする入力装置。
3. ステアリングハンドルに取付けられた操作入力部への操作入力方向を検出する操作検出部と、
   車両が走行中であるとき、前記操作検出部が検出した操作入力方向が、画像表示部に表示させる画像の一部を構成する要素画像の配置に応じた方向であると認識する操作入力方向認識部と、
   前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識部が認識した方向を用いる操作入力方向制御部と、を備え
   前記操作入力方向認識部は、前記要素画像を操作することができる操作入力方向の自由度に応じて、前記操作入力方向が前記要素画像の配置に応じた方向であると認識するか否かを判定することを特徴とする入力装置。
4. 前記操作入力方向認識部は、前記操作検出部が検出した操作入力方向が、前記要素画像の配置の規則性を有する方向であると認識することを特徴とする請求項１から３のいずれかに記載の入力装置。
5. 前記操作入力方向認識部は、前記操作検出部が検出した操作入力方向が、前記画像表示部に表示させる要素画像のグループが配置された方向であると認識し、前記要素画像のグループのいずれかが指示されたとき、前記操作検出部が検出した操作入力方向が、前記グループのいずれかにおいて要素画像が配置された方向であると認識することを特徴とする請求項１から４のいずれかに記載の入力装置。
6. 車両が走行中であるとき、前記要素画像を配置する方向を予め定めた方向に制御する表示制御部と
   を備えることを特徴とする請求項１に記載の入力装置。
7. 前記ステアリングハンドルの操舵角を検出する操舵角検出部を備え、
   前記操作入力方向制御部は、前記操舵角検出部が検出した操舵角に基づいて前記操作入力方向を補正する否かを判定し、前記操作入力方向を補正する場合、前記要素画像の少なくともいずれかに係る操作入力方向として、前記操作検出部が検出した操作入力方向を用いることを特徴とすることを特徴とする請求項１から６のいずれかに記載の入力装置。
8. 入力装置における入力方法であって、
   ステアリングハンドルに取付けられた操作入力部への操作入力方向を検出する操作検出過程と、
   前記操作検出過程で検出した操作入力方向を認識する操作入力方向認識過程と、
   画像表示部に表示させる画像の一部を構成する要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識過程で認識した方向を用いる操作入力方向制御過程と、を有し
   前記操作入力方向認識過程は、車両が走行中であるとき、前記要素画像が配置された方向に垂直な方向への操作物の接触位置の変化量を採用せず、前記要素画像が配置された方向を前記操作入力方向として認識することを特徴とする入力方法。
9. 入力装置のコンピュータに、
   ステアリングハンドルに取付けられた操作入力部への操作入力に応じた位置を検出する操作検出手順、
   前記操作検出手順で検出した操作入力方向を認識する操作入力方向認識手順、
   画像表示部に表示させる画像の一部を構成する要素画像の少なくともいずれかに係る操作入力方向として、前記操作入力方向認識手順で認識した方向を用いる操作入力方向制御手順、を実行させるための入力プログラムであって、
   前記操作入力方向認識手順は、車両が走行中であるとき、前記要素画像が配置された方向に垂直な方向への操作物の接触位置の変化量を採用せず、前記要素画像が配置された方向を前記操作入力方向として認識する入力プログラム。

Images