JP5906941B2 - 携帯機器用操作反力付与システム - Google Patents

Description

本発明は、携帯機器用操作反力付与システムに関する。

スマートホンなどの携帯機器では、自身の表示パネル上においてユーザーが指をスライド操作したりタッチ操作したりすることで、入力操作を行うようにしているが、この携帯機器自体には、操作反力を触感で認識できない。従って、表示画面で選択対象の表示オブジェクトが複数ある場合にユーザーがいずれの選択対象の表示オブジェクトを指示しているか触感では分らず、表示画面を目で常時確認しつつ操作しなければならない。

一方、近年、通信可能な携帯機器を他の制御機器例えば車載器と通信させ、車載器側で、携帯機器の任意のアプリケーションソフト実行の際に、携帯機器と車載器とが連携動作し、車載器で携帯機器の入出力を担うようにすることが考えられている。
そこで、携帯機器と制御機器とを連携動作させて携帯機器の任意のアプリケーションソフトを実行する場合に、携帯機器の動作に合わせて、制御機器側で、表示画面の選択対象の表示オブジェクトを選択する場合に操作反力を付与できるようにすることが要望される。
なお、特許文献１に開示された機器制御装置は、携帯機器などの各種機器と通信可能で当該各機器を認識可能なハプティックコマンダを有し、このハプティックコマンダが認識している機器の情報を表示するモニタと、前記機器及び前記モニタを制御する制御手段を備えた機器制御装置であり、制御対象の機器ごとに異なる操作感が得られる構成である。

しかし、この特許文献１の技術では、制御対象の機器ごとに異なる操作感となるのみで、表示画面の複数個の表示オブジェクトの個々を区別できる操作感は得られない。さらに、この特許文献１では、ハプティックコマンダに、想定される機器の制御ソフトを記憶しておくため、通信可能な機器が多くなると記憶すべき制御ソフトも多くなり、多くのメモリを必要とする。

特開２００４−１２０５７７号公報

本発明は上記事情に鑑みてなされたものであり、その目的は、携帯機器と制御機器とを連携動作させて携帯機器の任意のアプリケーションソフトを実行する場合において、反力付与対象の表示オブジェクトを、制御機器の表示画面に表示して選択操作する際に、制御機器側で操作反力を付与でき、しかも制御機器側のメモリ量や制御動作負担の軽減を図り得る携帯機器用操作反力付与システムを提供することにある。

請求項１の発明においては、携帯機器用描画制御手段が、携帯機器用表示手段に表示する反力付与対象の図形データの表示オブジェクト及び反力付与対象外の表示オブジェクトを含む表示オブジェクトの表示データに基づいて各種表示オブジェクトを表示する。そして、携帯機器において抽出手段が、携帯機器用表示手段の表示画面切り替え時に前記反力付与対象の図形データの表示オブジェクトに基づいて、前記反力付与領域を抽出する。そして、データ送信制御手段が前記表示データ及び反力付与領域データを制御機器に送信する。
すると、制御機器では、表示制御手段が、前記表示データを前記制御機器用描画制御手段に供給して前記制御機器用表示手段に前記表示オブジェクトを表示させると共に、当該制御機器用表示手段に表示オブジェクト指示用の指標部を表示させる。この表示制御手段は操作子の操作に伴い当該指標部を制御機器用表示手段の表示画面において移動させる。

そして、ユーザーが操作子を操作すると、前記表示制御手段が、前記操作子の操作に基づいて前記指標部を前記制御機器の表示画面で移動させ、この指標部が表示オブジェクトの表示領域のうち反力付与領域を移動する状況となると、反力制御手段が操作反力付与手段を作動させる。すると、操作子の操作に対して抵抗となる操作反力が発生し、ユーザーが当該操作反力を触感として感じ、操作反力の無い携帯機器であっても、制御機器において、手元の触感により、指標部が表示オブジェクトを指標していることを認識できる。

しかも、携帯機器に、前記反力付与対象の図形データの表示オブジェクトにおける反力付与領域データを記憶した携帯機器用記憶手段を設けたから、制御機器に反力付与領域データを記憶する必要がなく、制御機器における記憶手段の記憶容量を少なくでき、又記憶制御処理も軽減できる。
さらに、携帯機器で、データ送信制御手段により、表示データ及び反力付与領域データを制御機器に送信するから、制御機器では、データ送信制御手段から送信されてくる表示データを受信して表示すれば良いから、制御機器側で表示データを保有（記憶）しておかなくても済み、これによっても制御機器における記憶手段の記憶容量を少なくでき、又記憶制御処理も軽減できる。

本発明の実施形態による携帯機器用操作反力付与システムの機能的ブロック図 操作レバーの配置を示す車内の斜視図 操作反力付与機構部分の概略構成を示す図 携帯機器用操作反力付与システムの動作を示すフローチャートであり、（ａ）は携帯端末側のフローチャート、（ｂ）は車載装置側のフローチャート 表示例を示す表示画面の図 表示データを示す図 表示オブジェクトＨ１の操作反力パターンを概念的に示す図であり、（ａ）は平面図、（ｂ）は（ａ）のＢ−Ｂ矢視図、（ｃ）は（ａ）のＣ−Ｃ矢視図 表示オブジェクトＨ２の操作反力パターンを概念的に示す図であり、（ａ）は平面図、（ｂ）は（ａ）のＤ−Ｄ矢視図 反力付与領域データを示す図 （ａ）は携帯端末の表示部と車載装置の表示部との画面サイズを比較するための図、（ｂ）は車載装置の表示部における表示画面の図 （ａ）は携帯端末の表示部の画面サイズを説明するための図、（ｂ）は車載装置の表示部の画面サイズが異なる場合における表示画面の図 表示オブジェクトＨ１の操作反力パターンの別の例を概念的に示す図７相当図 表示オブジェクトＨ２の操作反力パターンの別の例を概念的に示す図８相当図

以下、本発明の実施形態について図１〜図１３を参照説明する。図１に示すように、携帯機器用操作反力付与システム１０は、携帯機器に相当する例えばスマートホンなどの携帯端末２０と、制御機器に相当する例えばナビゲーション装置などを含む車載装置３０とから構築されている。携帯端末２０は、携帯機器用制御手段に相当する制御部２０１、無線通信部２０２、有線通信部２０３、操作入力部２０４、携帯機器用表示手段に相当する表示部２０５、携帯機器用描画制御手段に相当する描画制御部２０６、携帯機器用記憶手段に相当する記憶部２０７、音声処理部２０８、プログラム提供手段に相当するプログラム提供部２０９、抽出手段に相当する抽出部２１０、データ送信制御手段に相当するデータ送信制御部２１１、縮小率算出手段に相当する縮小率算出部２１２、データ変更手段に相当するデータ変更部２１３を備えて構成される。

一方、車載装置３０は、制御機器用制御手段に相当する制御部３０１、無線通信部３０２、有線通信部３０３、制御機器用表示手段に相当する表示部３０４、制御機器用描画制御手段に相当する描画制御部３０５、音声処理部３０６、制御機器用記憶手段に相当する記憶部３０７、音声出力部３０８、車両Ｉ／Ｆ（入出力インターフェース）３０９、操作レバー３１０、操作反力付与手段に相当する操作反力付与機構３１１、反力制御手段に相当する反力制御部３１２、操作方向検出機構３１３、操作決定部３１４、表示制御手段に相当する表示制御部３１５、操作情報送信手段に相当する操作情報送信部３１６を備えて構成される。なお、前記制御部３０１、無線通信部３０２、有線通信部３０３、表示部３０４、描画制御部３０５、音声処理部３０６、記憶部３０７、音声出力部３０８はナビゲーション装置３１７の構成要素の一部を構成している。なお、このナビゲーション装置３１７は、この他、位置検出器や地図データ記憶部などを備えている。

前記携帯端末２０の制御部２０１は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏバスなどを有する周知のマイクロコンピュータで構成されている。この制御部２０１は、ＲＯＭあるいは記憶部２０７などに記憶されているコンピュータプログラムに従って携帯端末２０全体の動作を制御する。又、この制御部２０１は、前記コンピュータプログラムとは別に予め備えた携帯機器用反力付き連携プログラムを実行することにより、前記プログラム提供部２０９、前記抽出部２１０、前記データ送信制御部２１１、前記縮小率算出部２１２、前記データ変更部２１３としても機能する。

又、前記無線通信部２０２は、Bluetooth（登録商標）、Wi-Fi（登録商標）など通信手段からなり、後述の車載装置３０の無線通信部３０２と通信可能である。
前記有線通信部２０３は、ＵＳＢケーブルや専用ケーブルを介して後述の車載装置３０の有線通信部３０３と通信可能である。前記操作入力部２０４は、後述の表示部２０５の表示画面上に設けられるタッチパネルスイッチ、及び、表示部２０５の周囲に設けられているメカニカルスイッチなど各種のスイッチ類を含む。この操作入力部２０４は、使用者による各種のスイッチの操作に応じて操作検知信号を制御部２０１に出力する。制御部２０１は、操作入力部２０４から入力された操作検知信号を解析してユーザーの操作内容を特定し、特定した操作内容に基づいて各種の処理を実行する。

前記表示部２０５は、例えば液晶表示器や有機ＥＬ表示器で構成されており、制御部２０１からの表示指令信号に基づいて前記描画制御部２０６が制御されると、この描画制御部２０６により各種の情報を表示する。この表示部２０５の表示面には、周知の感圧方式、電磁誘導方式、静電容量方式あるいはそれらを組み合わせた方式で構成されるタッチパネルスイッチが設けられる。この表示部２０５には、コンテンツに対する操作を入力するための操作入力画面、コンテンツの実行内容を出力するための出力画面が表示される。

前記記憶部２０７は、例えばメモリカードなどの不揮発性の記憶媒体で構成されており、各種のコンピュータプログラムやコンテンツプログラム、外部の装置や端末と相互に連携してコンテンツを実行する連携機能を実現する連携アプリケーションなどの各種のプログラム、及び、各プログラムで使用されるデータなどを記憶している。前記データとしては、前記表示部２０５に表示する表示オブジェクトとして、反力付与対象の表示オブジェクト及び反力付与対象外の表示オブジェクトの表示データを記憶すると共に、前記反力付与対象の表示オブジェクトにおける反力付与領域データを記憶している。

前記描画制御部２０６は、例えば１チップマイコンなどから構成されており、制御部２０１から与えられる前記表示部２０５の表示画面に表示する表示オブジェクトの表示データ（表示位置や表示形状に関する表示用座標データや、表示色などのデータ）に基づいて表示部２０５を制御する。
前記音声処理部２０８は、図示しないマイクロホン及びスピーカに接続しており、周知の音声入力機能及び音声（音楽なども含む）出力機能を備える。
一方、前記車載装置３０の制御部３０１は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏバスなどを有する周知のマイクロコンピュータで構成されている。この制御部３０１は、ＲＯＭあるいは記憶部３０７などに記憶されているコンピュータプログラムに従って車載装置３０全体の動作を制御する他、前記携帯端末２０から提供される制御機器用反力付き連携プログラムを実行する。この制御機器用反力付き連携プログラムの実行により、前記表示制御部３１５、操作情報送信部３１６として機能する。

前記無線通信部３０２は、Bluetooth（登録商標）、Wi-Fi（登録商標）など通信手段からなり、前記携帯端末２０の無線通信部２０２と通信可能である。前記有線通信部３０３は、ＵＳＢケーブルや専用ケーブルを介して携帯端末２０の有線通信部２０３と通信可能である。なお、通信手段は、有線、無線のいずれか一方でも良い。
前記表示部３０４は、例えば液晶表示器や有機ＥＬ表示器で構成されており、制御部３０１からの表示指令信号に基づいて前記描画制御部３０５が制御されると、この描画制御部３０５により各種の情報を表示する。この表示部３０４の表示面には、周知の感圧方式、電磁誘導方式、静電容量方式あるいはそれらを組み合わせた方式で構成されるタッチパネルスイッチが設けられる。

前記描画制御部３０５は、前記表示制御部３１５により制御されるものであり、前記表示部３０４に表示する表示オブジェクトの表示データ（表示位置や表示形状に関する表示用座標データ）に基づいて表示部３０４を描画制御する。さらに、この描画制御部３０５は、後述する操作レバー３１０の操作に応じて指標部としてのカーソルＣ（図５参照）を表示部３０４の表示画面に移動表示させる。

前記音声処理部３０６は、音声出力部３０８から音声や音楽などを出力する。この音声出力部３０８はスピーカからなる。なお、音声処理部３０６には、図示しないマイクロホンが接続されており、音声入力機能も備えている。
前記記憶部３０７は、例えばＥＥＰＲＯＭなどの不揮発性の記憶媒体で構成されており、各種のコンピュータプログラムやコンテンツプログラム、外部の装置や端末と相互に連携してコンテンツを実行する連携機能を実現する連携アプリケーションなどの各種のプログラム、及び、各プログラムで使用されるデータなどを記憶している。もしくは一時記憶する。

前記操作レバー３１０は、図２に示すように、センターコンソールに中立位置から全周囲方向へ傾動可能に設けられており、この操作レバー３１０には操作反力付与手段としての操作反力付与機構３１１が設けられている。この操作反力付与機構３１１は、図３に示すように、Ｘ軸方向（右方向、左方向）に操作抵抗力（操作反力）を付与するＸ軸モータ３１１ｘと、Ｙ軸方向（前方向、後方向）に操作抵抗力（操作反力）を付与するＹ軸モータ３１１ｙと、これらモータ３１１ｘ、３１１ｙを駆動制御するモータ制御部３１１ｓとを備えている。この操作反力付与機構３１１のモータ制御部３１１ｓは反力制御部３１２により制御される。

さらに前記操作レバー３１０には、当該操作レバー３１０の操作方向及び操作変位を検出するＸ軸方向変位センサ３１３ｘ及びＹ軸方向変位センサ３１３ｙ（例えばいずれもロータリーエンコーダ）からなる操作方向検出機構３１３を備えている。この操作方向検出機構３１３が検出した操作方向及び操作変位のデータは車両Ｉ／Ｆ３０９を介して前記制御部３０１に与えられ、制御部３０１は前記操作方向及び操作変位のデータに基づいてカーソルＣの表示座標を算出して描画制御部３０５に与える。描画制御部３０５はこのカーソルＣの表示座標に基づいて表示部３０４にカーソルＣを移動表示する。

さらに、操作レバー３１０の下方部には、例えばタクトスイッチからなる操作決定部３１４が設けられていて、操作レバー３１０が押下操作されると、現時点でカーソルが指示している表示オブジェクトに対する操作入力としてスイッチオン入力が前記制御部３０１に入力される。
前記反力制御部３１２は、前記車両Ｉ／Ｆ３０９を介して制御部３０１と通信可能である。この反力制御部３１２は、前記操作レバー３１０の操作方向及び操作変位に応じたカーソルＣが反力付与領域に入ると、前記操作反力付与機構３１１を制御する。

ここで、図５において、表示部２０５の表示画面２０５ａに表示される表示オブジェクトの一例について述べる。この表示画面２０５ａに示した表示オブジェクトＨ１、Ｈ２は、いずれも図形データを示しており、表示オブジェクトＨ１の表示データである描画データの内容は、図６（ａ）に示すように、例えば、図形ＩＤが「００００１」、形状種別が「長方形」、機能種別が「スイッチボックス」、サイズが「横１０ピクセル×縦５ピクセル」、描画位置座標Ｋ１が（Ｘ１、Ｙ１）、描画色モードが「単色」、描画色が（Ｒ１、Ｇ１、Ｂ１）となっている。

又、表示オブジェクトＨ２の表示データである描画データの内容は、図６（ｂ）に示すように、例えば、図形ＩＤが「００００２」、形状種別が「円」、機能種別が「スクロールエリア」、サイズが「半径１０ピクセル」、描画位置座標中心Ｋ２が（Ｘ２、Ｙ２）、描画色モードが「グラデーション」、描画色が「センター（Ｒ２、Ｇ２、Ｂ２）、外周縁（Ｒ３、Ｇ３、Ｂ３）となっている。前記「スクロールエリア」は地図表示におけるスクロールや、多数の選択項目（音楽の曲名項目など）をスクロールする場合に、操作レバー３１０の操作範囲をこの「スクロールエリア」の表示オブジェクトＨ２に規制するために使用される。

又、各表示オブジェクトには、その機能種別に応じて、操作反力を付与する対象の表示オブジェクトであるか否かが予め設定されており、上述した種別「スイッチボックス」や「スクロールエリア」の表示オブジェクトは、操作反力を付与する表示オブジェクトであることが予め設定されている。
さらに、上述した機能種別に応じて表示画面の表示オブジェクトにおける反力付与領域が予め設定されている。すなわち、前記表示オブジェクトＨ１の操作反力パターンのイメージを図７（ａ）〜（ｃ）に示し、表示オブジェクトＨ２の操作反力パターンのイメージを図８（ａ）、（ｂ）に示している。又、各表示オブジェクトＨ１、Ｈ２の操作反力パターンデータを含む反力付与領域データを、図９に示している。

この図９において、表示オブジェクトＨ１の反力付与領域データは、
反力境界外周縁座標データ：基準座標Ｋ１（Ｘ１、Ｙ１）、サイズＸＰ×ＹＰ（この場合縦１０ピクセル×横５ピクセル）
反力境界内周縁座標データ：Ｗａ、Ｗｂ
反力最大レベル：Ｔ１
となっている。前記反力境界外周縁座標データは表示部３０４で表示する当該表示オブジェクトＨ１の表示データを兼用している。

この場合、操作反力パターンは、図７（ｂ）、（ｃ）から分るように、反力付与領域内で反力の強度が仮想的にフラット（矩形）となるパターンとしている。
又、表示オブジェクトＨ２の反力付与領域データは、図９に示すように、
反力境界外周縁座標データ：基準中心座標Ｋ２（Ｘ２、Ｙ２）、サイズ＝半径ＲＰ（この場合１０ピクセル）
反力境界内周縁座標データ：Ｗｃ
反力最大座標：Ｗｄ
反力最大レベル：Ｔ２
となっている。前記反力境界外周縁座標データは表示部３０４で表示する当該表示オブジェクトＨ２の表示データを兼用している。

この場合、操作反力パターンは、図８（ｂ）に示すように、反力付与領域内で反力の強度が仮想的に山形となるパターンとしている。特に、前記表示オブジェクトＨ２への進入操作方向での操作反力パターンが、漸次大となって急に軽減し、表示オブジェクトＨ２に対する離脱方向での操作反力パターンが急激に大となって漸次軽減するパターンとしている。

前記操作反力パターンは、予めデフォルトとして設定されているが、携帯端末２０側でユーザーにより設定できるようになっている。この場合、フラット形、山形、円弧形などの操作反力パターンを表示部２０５に表示し、画面タッチ操作などにより、その操作反力パターンの中から選択できるようにしており、又、反力レベルや最大レベル位置も設定できるようにしている。なお、図１２には、表示オブジェクトＨ１の操作反力パターンの別の設定例を示し、図１３には、表示オブジェクトＨ２の操作反力パターンの別の設定例を示している。

さて、上記携帯機器用操作反力付与システム１０の動作、及び携帯端末２０の動作及び車載装置３０の動作について図４（ａ）、（ｂ）を参照して説明する。携帯端末２０の図示しない電源スイッチがオンされると図４（ａ）の動作が開始され、又、車両のＡＣＣスイッチがオンされると図４（ｂ）の動作が開始される。まず、携帯端末２０では、制御部２０１が描画制御部２０６を制御することで表示部２０５に起動画面を表示する（ステップＳ１０）。

そして、ステップＳ２０で、操作入力部２０４からのスイッチ入力があって自携帯端末２０のアプリケーションソフトが起動されたか否かを判断する。自携帯端末２０のアプリケーションソフトが起動されると、次のステップＳ３０で、自携帯端末２０が車両内に持ち込まれて無線通信部２０２又は有線通信部２０３が夫々車載装置３０の無線通信部３０２又は有線通信部３０３と通信可能に接続されたか否かを判断する。車載装置３０と接続されたと判断されると、ステップＳ４０に移行して車載装置３０と接続確定処理を実行する。

この次のステップＳ５０で、操作入力部２０４により反力付きの連携モードの入力操作があったか否かを判断する。当該入力操作があったことが判断されると、ステップＳ５３で、携帯機器用反力付き連携プログラムに相当する携帯端末用反力付き連携アプリケーションソフトの動作を開始する。この携帯端末用反力付き連携アプリケーションソフトは、予め例えば提供元（サーバー）からインストールすると良い。この携帯端末用反力付き連携アプリケーションソフトには、車載装置３０側で実行する制御機器用反力付き連携プログラムに相当する車載装置用反力付き連携アプリケーションソフトも別ファイルとして含まれている。

そして、ステップＳ５４で、携帯端末用反力付き連携アプリケーションソフトに応じて表示オブジェクトを表示し、ステップＳ５５で、車載装置用反力付き連携アプリケーションソフトのデータを車載装置３０に送信する（プログラム提供部２０９）。

一方、車載装置３０では、最初のステップＴ１０で通常の車載装置３０のアプリケーションソフトの動作を実行する。ステップＴ２０では、携帯端末２０と通信可能に接続されたか否かを判断し、接続されたと判断されると、ステップＴ３０で携帯端末２０と接続設定及び応答処理を実行する。この後、ステップＴ３５では、携帯端末２０からの情報（車載装置用反力付き連携アプリケーションソフトのデータ）の受信待ちとなり、当該情報を受信すれば、ステップＴ４０に移行する。このステップＴ４０では、受信情報からアプリケーションソフトが反力付きの連携モードであるか否かを判断する。

このステップＴ４０で、反力付きの連携モードであることが判断されると、ステップＴ５０で前記車載装置用反力付き連携アプリケーションソフトのデータを記憶部３０７に記憶し、そして、ステップＴ６０で、当該車載装置用反力付き連携アプリケーションソフトの動作を開始する。ステップＴ７０では、車載装置３０における表示部３０４の表示画面３０４ａの画面サイズ（横のピクセル数×縦のピクセル数）の情報を携帯端末２０に送信する。

この画面サイズの情報は、携帯端末２０ではステップＳ８０で受信が確認される。この後、ステップＳ９０に移行し、車載装置３０の表示部３０４の表示画面３０４ａの画面サイズと自携帯端末２０の表示部２０５の画面サイズと比較し、必要に応じて画面サイズの縮小率を算出する（縮小率算出部２１２）。例えば、図１０（ａ）で示すように、携帯端末２０の表示部２０５の表示画面２０５ａの画面サイズ（描画領域）が例えば横８００ピクセル×縦６００ピクセルであって、車載装置３０の表示部３０４の表示画面３０４ａの画面サイズが例えば横１０２４ピクセル×縦７６８ピクセルである場合には、携帯端末２０の表示部２０５の表示画面２０５ａの画面サイズに対して、車載装置３０の表示部３０４の表示画面３０４ａの画面サイズのほうが大きいから、携帯端末２０の前記画面サイズは小さくしない。

この場合、図１０（ｂ）で示すように、車載装置３０の表示画面３０４ａにおいて携帯端末２０の表示画面２０５ａ´は、その座標原点２０５Ｐを、車載装置３０の表示画面３０４ａの座標原点３０４Ｐに合わせるように表示する。
又、図１１（ａ）に示すように、携帯端末２０の表示部２０５の表示画面２０５ａの画面サイズが例えば横８００ピクセル×縦６００ピクセルであって、図１１（ｂ）に示すように、車載装置３０の表示部３０４の表示画面３０４ａの画面サイズが例えば横６４０ピクセル×縦４８０ピクセルである場合（当該表示画面３０４ａの画面サイズのほうが小さい場合）には、縮小率を算出する（縮小率算出部２１２）。この場合、縮小率は直線比率で８０％となる。

前述したステップＳ９０の後、ステップＳ１００に移行する。このステップＳ１００では、制御部２０１から描画制御部２０６に送信する表示データ（この場合図形データとその他のデータとが含まれている）に、図形データの表示オブジェクトが有るか否かを判断し、図形データの表示オブジェクトが有れば、ステップＳ１１０で、当該図形データの表示オブジェクトを選択し、さらにステップＳ１２０で、さらに１つ以上の図形データのうち反力付きが予め設定された機能種別の表示オブジェクト（反力付与対象の表示オブジェクト）が有ればこれを抽出する。

そして、ステップＳ１３０では、前記ステップＳ１２０で抽出した反力付与対象の表示オブジェクトに基づいて反力付与領域を抽出する（抽出部２１０）。例えば前述した図７〜図９に示した反力付与領域を抽出する。

そして、次のステップＳ１４０では、前記ステップＳ９０において算出した縮小率に応じて、前記反力付与対象の表示オブジェクトの表示位置及び表示大きさに関する表示データ並びに前記反力付与領域のデータを変更する（データ変更部２１３）。そして、次のステップＳ１５０に移行する。なお、ステップＳ９０で縮小率の算出が必要でなかった場合には、この補正はしないで次のステップＳ１５０に移行する。ステップＳ１５０では、前記各表示オブジェクトの反力付与領域データと、各表示オブジェクトの表示データとを車載装置３０に送信する（データ送信制御部２１１）。

一方、車載装置３０において、前記ステップＳ１５０で送信された表示データ及び反力付与領域データが、ステップＴ８０で受信有りと判断されると、ステップＴ９０に移行し、この表示データを描画制御部３０５に供給して当該描画制御部３０５により図５に示すようにカーソルＣを表示画面３０４ａに表示させると共に、表示オブジェクトＨ１、Ｈ２を表示させる（表示制御部３１５）。この場合、カーソルＣは両表示オブジェクトＨ１、Ｈ２以外の部位（例えば画面中央）を指示している。

ここでユーザーが操作レバー３１０を適宜方向へ操作すると、これが、ステップＴ１００で「ＹＥＳ」と判断される。そしてステップＴ１１０で操作レバー３１０の操作方向に応じてカーソルＣが移動する。そして、操作レバー３１０がさらに操作されてカーソルＣが例えば表示オブジェクトＨ１の外周縁から内部に進入してゆくと、ステップＴ１２０で、カーソルＣが反力付与領域に入ったと判断され、ステップＴ１３０で、反力付与パターンに応じて操作反力付与機構３１１を駆動制御する（反力制御部３１２）。これにより、操作レバー３１０に操作抵抗となる反力を作用させる。この場合反力の強度を反力付与領域内で仮想的にフラット（一様な反力）に変化させる。これにより、ユーザーが最初当該操作反力を触感として感じ、この手元の触感により、カーソルＣつまり操作レバー３１０の操作によるカーソルＣが表示オブジェクトＨ１の外周縁内に入ったことを認識できる。

そして、この操作反力に抗してさらに操作レバー３１０を表示オブジェクトＨ１中央方向へ操作させると、反力付与領域内において反力の強度をフラットとなるパターンに設定しているから、操作反力が一度に軽減して表示オブジェクトＨ１の中央部に至る。これにより、ユーザーが自身の操作が表示オブジェクトの内部を指示していることを認識できる。
この状態で、例えばユーザーが表示オブジェクトＨ１に対する特定操作、例えばユーザーが操作レバー３１０を押圧操作すれば操作決定部３１４がオン動作して、当該表示オブジェクトＨ１に対する操作入力としてこの場合スイッチオン入力が制御部３０１に入力される。このスイッチ入力は、操作情報又はコマンド発生を判断するステップＴ１４０で「ＹＥＳ」と判断され、ステップＴ１５０でこのスイッチ入力の操作情報が携帯端末２０に送信される（操作情報送信部３１６）。

又、ユーザーが操作レバー３１０を表示オブジェクトＨ１から離脱する方向に操作すると、操作反力が急に増加した後フラットな反力となり、そして急に軽減することで、ユーザーは自身の指示が当該表示オブジェクトＨ１から離脱したことを認識できる。
この車載装置３０で送信された操作情報又はコマンドは、携帯端末２０では、ステップＳ１６０に受信有りと判断される。そして、次のステップＳ１７０では、受信した操作情報又はコマンドを解析し、その解析結果に応じた処理を実行する。

次のステップＳ１８０では、前記処理の内容が画面変更であるか否かを判断し、画面変更であれば、ステップＳ１９０に移行して携帯端末２０の表示部２０５の表示画面２０５ａの表示内容を変更する。そして次のステップＳ２００で反力付きの連携モード終了か否か（操作入力部２０４により反力付きの連携モードの設定が解除されたか否か、あるいは通信状態が解除されたかなど）を判断し、反力付きの連携モード終了でなければ、前記ステップＳ１００に戻る。反力付きの連携モード終了であれば、ステップＳ２１０で反力付きの連携モード終了処理（アプリケーションソフト終了）を実行して前記ステップＳ２０に戻る。

なお、前記車載装置３０におけるステップＴ１５０の後は、反力付きの連携モードが終了したか否か（適宜操作により反力付きの連携モードの設定が解除されたか否か、あるいは通信状態が解除されたか否かなど）を判断し、反力付きの連携モード終了であれば、ステップＴ１７０で反力付きの連携モード終了処理（アプリケーションソフト終了）を実行して前記ステップＴ１０に戻る。

なお、ステップＳ３０で「ＮＯ」であればステップＳ２２０に移行して通常のアプリケーションソフトを実行し、又、ステップＳ５０で「ＮＯ」であれば、ステップＳ２３０で反力無しの連携モードの通常の連携アプリケーションソフトを実行する。又、ステップＳ１００で「ＮＯ」であればステップＳ１６０に移行する
又、前記ステップＴ４０で「ＮＯ」であれば、ステップＴ１８０で通常の反力無しの連携モードの通常の連携アプリケーションソフトを実行する。

一方、前記カーソルＣが表示オブジェクトＨ２に進入すると、反力制御部３１２が動作して操作反力を操作レバー３１０に及ぼす。この場合、操作反力パターンが山形をなすから、操作反力が急に強くなってこれを乗り切れば急に弱くなる。このように、表示オブジェクトＨ１と表示オブジェクトＨ２とで操作反力パターンが異なるから、操作反力の相違によって、視認にたよらずとも、ユーザーがいずれの表示オブジェクトを指示しているかが分る。

そして、カーソルＣが表示オブジェクトＨ２内に入ったところで、例えばユーザーが表示オブジェクトＨ２に対する特定操作、例えば操作レバー３１０を押圧操作すれば操作決定部１５が当該表示オブジェクトＨ２に対する操作入力としてこの場合スイッチオン入力が制御部３０１に入力される。このスイッチ入力は、前述の表示オブジェクトＨ１の場合と同様に、操作情報又はコマンド発生を判断するステップＴ１４０で「ＹＥＳ」と判断され、ステップＴ１５０でこのスイッチ入力の操作情報が携帯端末２０に送信される。
この場合、携帯端末２０では、このスイッチオン入力の操作情報をステップＳ１７０で受信すると、前述したように、ステップＳ１７０でこの操作情報内容を解析し、これに応じた処理を実行し、ステップＳ１８０以降に移行する。

上述した実施形態においては、携帯端末２０と車載装置３０との通信が確立し、携帯端末２０が携帯機器用反力付き連携プログラムに相当する携帯機器用反力付き連携アプリケーションソフトを起動すると、携帯端末２０においてプログラム提供部２０９が制御機器用反力付き連携プログラムに相当する車載装置用反力付き連携アプリケーションソフトを車載装置３０に送信する。さらに、描画制御部２０６が、表示部２０５に表示オブジェクトを表示する。そして、携帯端末２０において抽出部２１０が、反力付与対象の表示オブジェクトに基づいて反力付与領域を抽出し、そして、データ送信制御部２１１が当該抽出した表示オブジェクトの表示データ及び反力付与領域データを車載装置３０に送信する。

すると、車載装置３０では、表示制御部３１５が、前記送信された前記表示オブジェクトの表示データを車載装置３０の描画制御部３０５に供給して表示部３０４に当該表示オブジェクトを表示させると共に、当該表示部３０４に表示オブジェクト指示用のカーソルＣを表示させる。この表示制御部３１５は操作子の操作に伴い当該カーソルＣを車載装置３０の表示部３０４の表示画面において移動させる。

そして、ユーザーが操作レバー３１０を操作すると、前記表示制御部３１５が、前記操作レバー３１０の操作に基づいて前記カーソルＣを前記車載装置３０の表示部３０４の表示画面３０４ａで移動させ、このカーソルＣが表示オブジェクトの表示領域のうち反力付与領域を移動する状況となると、反力制御部３１２が操作反力付与機構３１１を作動させる。すると、操作レバー３１０の操作に対して抵抗となる操作反力が発生し、ユーザーが当該操作反力を触感として感じ、操作反力の無い携帯端末２０であっても、車載装置３０において、手元の触感により、カーソルＣが表示オブジェクトを指標していることを認識できる。

しかも、携帯機器２０に、反力付与対象の表示オブジェクトにおける反力付与領域データを記憶した記憶部２０７を設けたから、車載装置３０に反力付与領域データを記憶する必要がなく、車載装置３０における記憶部３０７の記憶容量を少なくでき、又記憶制御処理も軽減できる。
さらに、携帯機器２０で、データ送信制御部２１１により、表示データ及び反力付与領域データを車載装置３０に送信するから、車載装置３０では、データ送信制御部２１１から送信されてくる表示データを受信して表示すれば良いから、車載装置３０側で表示データを保有（記憶）しておかなくても済み、これによっても車載装置３０における記憶部３０７の記憶容量を少なくでき、又記憶制御処理も軽減できる。

又、本実施形態によれば、携帯端末２０に対して反力付与を担う制御機器が車載装置３０であるから、非常に便利である。すなわち、携帯端末２０は、車両内に持ち込む機会が多く、携帯端末２０のコンテンツ（例えば音楽再生コンテンツなど）を車載装置３０で実行する機会も多い。この場合、携帯端末２０にあって操作反力を付与したい表示オブジェクトを、車載装置３０の操作レバー３１０で操作反力を感じつつ操作することができる。特に、車両に搭載される車載装置３０では、車載装置３０の表示部３０４をあまり見なくても表示オブジェクトを手元で認識でき、安全運転面で有利である。

この実施形態の場合、表示オブジェクトＨ１の機能種別は「スイッチボックス」であり、又、表示オブジェクトＨ２の機能種別は「スクロールエリア」であって、両機能種別が異なる。又、両表示オブジェクトＨ１、Ｈ２は図形の種別も異なる。そして、この実施形態では、反力付与領域における操作反力パターンを、表示オブジェクトＨ１、Ｈ２の機能種別及び図形種別で異なるようにしているから、これによりユーザーが感じる反力パターンの相違によって、表示画面３０４ａを見なくても、表示オブジェクトの機能種別や図形種別を認識するができる。

なお、表示オブジェクトＨ１、Ｈ２の機能種別と図形種別の少なくともいずれか一方で、反力付与領域における操作反力パターンを異るようにしても良い。又、車載装置３０で表示する表示オブジェクトＨ１、Ｈ２の各表示色を異ならせる場合には、表示色に応じて操作反力パターンを異ならせるようにしても良い。
又、本実施形態では、前記表示オブジェクトＨ２への進入操作方向での操作反力パターンと、表示オブジェクトＨ２に対する離脱方向での操作反力パターンとで異なるようにしたので、ユーザーが前記表示オブジェクトＨ２に対して、カーソルＣが表示オブジェクトＨ２に進入したのか、離脱したのかを、表示画面３０４ａを見なくても容易に認識できる。

この場合、特に、表示オブジェクトＨ２への離脱操作方向での操作反力パターンを急激に増加させるパターンとしたので、この表示オブジェクトＨ２に入ったカーソルＣを離脱させるのに急激に大きな操作力を必要とし、この表示オブジェクトＨ２内にカーソルＣをある程度拘束させることが可能であり、つまり、表示オブジェクトＨ２内を操作レバー３１０のスクロール範囲とすることができ、もって、当該表示オブジェクトＨ２を任意方向へのスクロールエリアとして有効に機能させることができる。

又、上記実施形態では、反力付与領域を表示オブジェクトの外周縁部を含む構成としたから、表示オブジェクトの外周縁部を示す表示データ（座標データ）を反力付与領域の外周縁部の座標データとして利用することができる。この場合、反力付与領域の内周縁部は無くても良く、つまり表示オブジェクト全体が反力付与領域であっても良い。

又、上記実施形態では、前記車載装置３０が、さらに、操作レバー３１０の表示オブジェクトに対する操作情報（表示オブジェクトに対するカーソルＣの進入・離脱操作又は操作決定部３１４の操作の情報）を携帯端末２０に送信する操作情報送信部３１６を備え、前記携帯端末２０は、前記操作情報を受信すると、当該操作情報に基づいて表示部２０５の表示画面２０５ａの表示オブジェクトを変更するか否かを判断し、変更すると判断されると、表示画面２０５ａの表示内容を切替えるから、つまり、携帯端末２０側で表示内容の切り替え制御を行うから、車載装置３０での表示切り替え制御の負担も少なくできる。
又、上記実施形態においては、前記表示オブジェクトの操作反力パターンを設定変更可能としたから、ユーザーの好みの操作感覚と合うように操作反力パターンを設定できて使い勝手が良い。

なお、操作反力パターンの形態は、山形、矩形、円弧形などに限るものではなく、途中が凹んだ形状や、ギザギザ形などでも良い。
又、上記実施形態においては、携帯端末２０の表示部２０５の表示画面２０５ａのサイズに対して表示部３０４の表示画面３０４ａのサイズが小さい場合に前記携帯機器用表示部２０５の表示画面２０５ａの縮小率を算出する縮小率算出部２１２と、この縮小率に応じて、前記反力付与対象の表示オブジェクトＨ１、Ｈ２の表示位置及び表示大きさに関する表示データ（座標データ）並びに前記反力付与領域のデータ（座標データ）を変更するデータ変更部２１３とを備え、前記データ送信制御部２１３は、前記データ変更手段２１３で変更された前記表示データ及び前記反力付与領域のデータを前記車載装置３０に送信する構成とした。

一般的に、車載装置３０の表示部３０４の画面サイズは、携帯端末２０の表示部２０５の画面サイズより大きい。この場合、携帯端末２０の表示部２０５の画面サイズは車載装置３０の表示部３０４の画面サイズに納まる。しかし、携帯端末２０の表示部２０５の画面サイズに対して車載装置３０の表示部３０４の画面サイズが小さい場合には、携帯端末２０の表示部２０５の表示画面が車載装置３０の表示部３０４の表示画面に納まらない不具合が発生する。この点、上記実施形態によれば、携帯端末２０の表示部２０５の画面サイズに対して車載装置３０の表示部３０４の画面サイズが小さい場合には、画面サイズの縮小率を算出し、この算出した縮小率で反力付与対象の表示オブジェクトＨ１、Ｈ２の表示位置及び表示大きさに関する表示データ並びに前記反力付与領域のデータを変更するから、車載装置３０の表示部３０４の画面サイズが携帯端末２０の表示部２０５の画面サイズより小さい場合であっても、車載装置３０の表示部３０４に表示オブジェクトを携帯端末２０の表示部２０５と同じ表示比率で表示することができる。

なお、前記携帯機器用表示手段の表示画面サイズと前記制御機器用表示手段の表示画面サイズとのいずれが大きい場合であっても、つまり両表示画面サイズが異なる場合には、サイズ比率に応じて前記携帯機器用表示手段の表示画面サイズの変更比率を算出し（変更比率算出手段）、この変更比率に応じて、前記反力付与対象の表示オブジェクトの表示位置及び表示大きさに関する表示データ並びに前記反力付与領域のデータを変更する（データ変更手段）ようにしても良い。

又、車載装置３０で次のように動作する構成としても良い。すなわち、制御部３０１は、操作レバー３１０が操作されると、その情報を携帯端末２０へ送信し、この携帯端末２０からの表示データ及び反力付与領域データを車載装置３０へ送信し、車載装置３０でこれらのデータに応じて表示オブジェクトの表示や反力付与を行うが、通信処理の遅れなどにより表示部３０４の表示遅れや反力付与遅れが懸念されることもある。この懸念に対処するために、車載装置３０において操作レバー３１０の操作内容とこれに基づいて携帯端末２０から送信される表示データ及び反力付与領域データとの履歴を逐次例えば記憶部３０７（履歴用記憶手段）に記憶しておき（履歴記憶制御手段）、操作レバー３１０の操作内容が過去の操作内容と同じか否かを判断し（操作履歴判断手段）、同じであると判断したときには、制御部３０１が記憶部３０７に記憶しておいた表示データに基づいて携帯端末２０を介さず車載装置３０の表示部３０４に表示オブジェクトを表示させる（直接表示制御手段）と共に、当該表示オブジェクトに対する操作反力を付与すべく操作反力付与機構３１１を制御する（反力制御手段）構成とする。

このようにすれば、携帯端末２０と車載装置３０との通信が遅れた場合に、車載装置３０側の表示遅れや反力付与遅れを極力防止することができる。
なお、本発明の実施形態は、次のように変更、変形しても良い。前記カーソルＣは、各表示オブジェクトＨ１、Ｈ２内に入ったときには、当該表示オブジェクトＨ１、Ｈ２の表示形態を変化（点灯、点滅や色変更など）させることで、これをカーソルＣの代用とし、カーソルＣの表示は無くすようにしても良い。

又、上記実施形態では、例えばユーザーが操作レバー３１０を押圧操作（操作決定部３１４の操作）を操作情報として携帯端末２０に送信するようにしたが、例えばカーソルＣが表示オブジェクトＨ２内に進入したときに、この進入操作を操作情報として携帯端末２０に送信するようにしても良い。この場合、携帯端末２０では、この表示オブジェクトＨ２へのカーソル進入操作情報を受信することで、これを解析してこれに応じた処理を実行する。

又、制御機器としては車載装置３０に限られず、例えばゲーム機などでも良い。
本発明の実施形態によれば、携帯機器と制御機器とを連携動作させて携帯機器の任意のアプリケーションソフトを実行する場合において、反力付与対象の表示オブジェクトを、制御機器の表示画面に表示して選択操作する際に、制御機器側で操作反力を付与でき、しかも制御機器側のメモリ量や制御動作負担の軽減を図り得る。

図面中、１０は携帯機器用操作反力付与システム、２０は携帯端末（携帯機器）、２０１は制御部（携帯機器用制御手段）、２０５は表示部（携帯機器用表示手段）、２０６は描画制御部（携帯機器用描画制御手段）、２０７は記憶部（携帯機器用記憶手段）、２０９はプログラム提供部（プログラム提供手段）、２１０は抽出部（抽出手段）、２１１はデータ送信制御部（データ送信制御手段）、２１２は縮小率算出部（縮小率算出手段）、２１３はデータ変更制御部（データ変更手段）、３０は車載装置（制御機器）、３０１は制御部（制御機器用制御手段）、３０４は表示部（制御機器用表示手段）、３０５は描画制御部（制御機器用描画制御手段）、３１０は操作レバー（操作子）、３１１は操作反力付与機構（操作反力付与手段）、３１２は反力制御部（反力制御手段）、３１３は操作方向検出機構、３１４は操作決定部、３１５は表示制御部（表示制御手段）、３１６は操作情報送信部（操作情報送信手段）を示す。

Claims (9)

1. 携帯機器用表示手段（２０５）と、前記携帯機器用表示手段の表示画面に、前記携帯機器用表示手段に表示する反力付与対象の図形データの表示オブジェクト及び反力付与対象外の表示オブジェクトを含む表示オブジェクトの表示データに基づいて各種表示オブジェクトを表示する携帯機器用描画制御手段（２０６）と、前記反力付与対象の図形データの表示オブジェクトにおける反力付与領域データを記憶した携帯機器用記憶手段（２０７）と、を有する携帯機器（２０）と、
   制御機器用表示手段（３０４）と、前記制御機器用表示手段の表示画面に、表示データに基づいて各種表示オブジェクトを表示する制御機器用描画制御手段（３０５）と、ユーザーにより操作される操作子（３１０）と、前記操作子の操作時に当該操作子に対して操作反力を付与することが可能な操作反力付与手段（３１１）とを有し、且つ前記携帯機器と通信可能な制御機器（３０）とを備え、
   前記携帯機器は、さらに、前記携帯機器用表示手段の表示画面切り替え時に前記反力付与対象の図形データの表示オブジェクトに基づいて、反力付与領域を抽出する抽出手段（２１０）と、
   前記表示データ及び前記反力付与領域データを前記制御機器に送信するデータ送信制御手段（２１１）とを備え、
   前記制御機器は、さらに、制御機器用制御手段（３０１）を備え、
   前記制御機器用制御手段は、
   前記携帯機器から送信された前記表示データを前記制御機器用描画制御手段に供給して前記制御機器用表示手段に前記表示オブジェクトを表示させると共に、当該制御機器用表示手段に表示オブジェクト指示用の指標部を表示させ、前記操作子の操作に伴い当該指標部を前記制御機器用表示手段の表示画面において移動させることが可能な表示制御手段（３１５）と、
   前記指標部が前記表示オブジェクトの表示領域のうち前記反力付与領域を移動するときに前記操作反力付与手段を作動させる反力制御手段（３１２）とを備えたことを特徴とする携帯機器用操作反力付与システム。
2. 前記制御機器は車両に搭載された車載装置であることを特徴とする請求項１に記載の携帯機器用操作反力付与システム。
3. 前記表示オブジェクトの種類によって、前記反力付与領域における操作反力パターンが異なることを特徴とする請求項１又は２に記載の携帯機器用操作反力付与システム。
4. 前記操作反力パターンはユーザーにより設定変更可能であることを特徴とする請求項３に記載の携帯機器用操作反力付与システム。
5. 前記反力付与領域は、前記表示オブジェクトの表示領域の外周縁部を含むことを特徴とする請求項１から４のいずれか一項に記載の携帯機器用操作反力付与システム。
6. 前記制御機器用制御手段は、さらに、前記操作子の操作情報を前記携帯機器に送信する操作情報送信手段（３１６）を備え、
   前記携帯機器は、前記操作情報を受信すると、当該操作情報に基づいて前記携帯機器用表示手段の表示画面を変更するか否かを判断し、変更すると判断すると、前記携帯機器用表示手段の表示画面を切り替えることを特徴とする請求項１から５のいずれか一項に記載の携帯機器用操作反力付与システム。
7. さらに、前記携帯機器は、前記携帯機器用表示手段の表示画面サイズに対して前記制御機器用表示手段の表示画面サイズが小さい場合に前記携帯機器用表示手段の表示画面サイズの縮小率を算出する縮小率算出手段（２１２）と、この縮小率に応じて、前記反力付与対象の表示オブジェクトの表示位置及び表示大きさに関する表示データ並びに前記反力付与領域のデータを変更するデータ変更手段（２１３）とを備え、
   前記データ送信制御手段は、前記データ変更手段で変更された前記表示データ及び前記反力付与領域のデータを前記制御機器に送信することを特徴とする請求項１から６のいずれか一項に記載の携帯機器用操作反力付与システム。
8. さらに、前記携帯機器は、前記携帯機器用表示手段の表示画面サイズと前記制御機器用表示手段の表示画面サイズとが異なる場合に、前記制御機器用表示手段の表示画面サイズに応じて前記携帯機器用表示手段の表示画面サイズの変更比率を算出する変更比率算出手段と、この変更比率に応じて、前記反力付与対象の表示オブジェクトの表示位置及び表示大きさに関する表示データ並びに前記反力付与領域のデータを変更するデータ変更手段とを備え、
   前記データ送信制御手段は、前記データ変更手段で変更された前記表示データ及び前記反力付与領域のデータを前記制御機器に送信することを特徴とする請求項１から６のいずれか一項に記載の携帯機器用操作反力付与システム。
9. 前記制御機器は、さらに履歴用記憶手段と、履歴記憶制御手段と、操作履歴判断手段と、直接表示制御手段とを備え、
   前記履歴制御手段は、前記制御機器用表示手段におけるカーソルを移動表示させるための前記操作子の操作内容とこれに基づいて携帯機器から送信される表示データとの履歴を逐次前記履歴用記憶手段に記憶し、
   前記操作履歴判断手段は、前記操作子の操作内容が前記履歴用記憶手段に記憶した過去の操作内容と同じか否かを判断し、
   前記操作履歴判断手段が、前記操作子の操作内容が過去の操作内容と同じであると判断したときに、前記直接表示制御手段が、前記履歴用記憶手段に記憶しておいた表示データに基づいて前記携帯機器を介さず前記制御機器の前記制御機器用表示手段に表示オブジェクトを表示させ、且つ前記反力制御手段が、前記履歴用記憶手段に記憶しておいた反力付与領域データに基づいて前記操作反力付与手段を制御することを特徴とする請求項１から８のいずれか一項に記載の携帯機器用操作反力付与システム。

Images