JP4148084B2 - 表示操作システム - Google Patents

表示操作システム Download PDF

Info

Publication number
JP4148084B2
JP4148084B2 JP2003333954A JP2003333954A JP4148084B2 JP 4148084 B2 JP4148084 B2 JP 4148084B2 JP 2003333954 A JP2003333954 A JP 2003333954A JP 2003333954 A JP2003333954 A JP 2003333954A JP 4148084 B2 JP4148084 B2 JP 4148084B2
Authority
JP
Japan
Prior art keywords
screen
reaction force
display
force data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003333954A
Other languages
English (en)
Other versions
JP2005100151A (ja
Inventor
正人 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2003333954A priority Critical patent/JP4148084B2/ja
Priority to EP04018604.1A priority patent/EP1548554B1/en
Priority to US10/916,509 priority patent/US7263439B2/en
Publication of JP2005100151A publication Critical patent/JP2005100151A/ja
Application granted granted Critical
Publication of JP4148084B2 publication Critical patent/JP4148084B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Description

本発明は、表示装置の表示画面にポインタが表示され、そのポインタの移動位置を指示する操作デバイスの指示部に対して、そのポインタの表示位置に応じて反力を付与する表示操作システムに関するものである。
従来の表示操作システムの一例として、車両用ナビゲーション装置を挙げることができる。この車両用ナビゲーション装置では、ユーザがジョイスティック等の指示部(操作部)を有するリモコン(操作デバイス)を操作して、画面に表示された地図をスクロールさせたり、メニュー画面等において表示されるポインタや選択ボタンカーソルを移動させたりすることができる。例えば、地図スクロールの場合には、リモコンから送られてきた信号と反対方向に一定距離だけ移動するように地図をスクロールし、選択ボタンカーソルの場合には、送られてきた信号の方向にボタンを1つ分移動させる。また、同じ信号が一定時間以上継続して送信された場合には、地図スクロールでも選択ボタンカーソルの移動の場合でも、同じ方向に連続的にスクロールを行なったり、選択ボタンを移動するようになっている。
すなわち、従来のナビゲーション装置では、表示画面に関して所望の操作を行なう場合、リモコン等の操作デバイスからナビゲーション装置本体への一方向の通信がなされ、操作デバイスにおける操作状態を示す信号がナビゲーション装置本体に送られる。
一方、操作性の向上等を目的として、操作デバイスとナビゲーション装置本体との間で双方向通信を行い、ポインタの表示位置等に応じて指示部に反力を与えるシステムも実用化されつつある。すなわち、選択ボタン等の表示位置にポインタが一致しやすくするように、指示部に反力を与えるのである。これによれば、操作者は、ポインタの表示位置を選択ボタン等の表示位置に一致させやすくなる。
しかしながら、このような双方向通信を用いたシステムにおいては、画面の切換時において、以下に述べるような問題が生じる。すなわち、指示部に反力を付与するために、反力データは各画面ごとに用意される。この反力データは、表示すべき画面に応じてナビゲーション装置から操作デバイスに出力される。一方、画面表示のための画像データは、ナビゲーション装置において生成されて表示装置に出力されるが、その画像データのデータ量に応じて、画面が描画されるまでの時間が大きく変動する。このため、操作デバイスに出力された反力データと、表示されている画面とが一致せず、操作者が違和感を覚えることが考えられる。
本発明は、上述した点に鑑みてなされたもので、操作デバイスと表示装置を含む装置本体との双方向通信によって、操作デバイスの指示部に反力を付与する表示操作システムであって、操作者が違和感を覚えることを極力防止することが可能な表示操作システムを提供することを目的とするものである。
上記目的を達成するために、請求項1に記載の表示操作システムは、
表示画面を有する表示部と、
表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従ってポインタの画面位置に応じた反力を付与する操作デバイスと、
表示部に対して表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、操作デバイスに出力するデータ出力手段とを備え、
第1の画面から第2の画面への切換時に、操作デバイスは、第2の画面に対応する第2の反力データを受信した後、表示部における第2の画面の描画に同期して第2の反力データを有効にする反力データ同期手段をさらに備えており、
表示部は、第1の画面から第2の画面への切り換えが指示された後も、第2の画面の描画直前まで第1の画面の表示を維持し、
操作デバイスは、第2の画面に対応する第2の反力データを受信した後も、第1の画面に対応する第1の反力データを保持して、第2の画面の描画直前まで第1の反力データを有効にしておくことを特徴とする。
このように、請求項1記載の表示操作システムでは、操作デバイスが反力データ同期手段を備え、第1の画面から第2の画面への切換時に、その第2の画面に対応する第2の反力データを受信しても、即座にその第2の反力データを有効にするのではなく、第2の画面の描画に同期して第2の反力データを有効にする。通常、データ出力手段から反力データが出力されて操作デバイスに保存される時間に比較して、データ出力手段から画像データが出力されて表示部に描画される時間までの方が長い。しかし、上述した反力データ同期手段を備えることで、第2の画面の描画と第2の反力データを有効にする時期を同期させることが可能となり、操作者の違和感を低減することができる。
さらに、請求項1に記載の表示操作システムでは、第1の画面から第2の画面への切り換えが指示された後も、表示部は第2の画面の描画直前まで第1の画面の表示を維持し、操作デバイスは、第2の画面に対応する第2の反力データを受信した後も、第1の画面に対応する第1の反力データを保持して、第2の画面の描画直前まで第1の反力データを有効にしておく。これにより、表示画面と反力データとを極力対応させることが可能となるため、操作者の違和感をより一層低減することができる。
請求項2に記載の表示操作システムは、
表示画面を有する表示部と、
表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従ってポインタの画面位置に応じた反力を付与する操作デバイスと、
表示部に対して表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、操作デバイスに出力するデータ出力手段とを備え、
第1の画面から第2の画面への切換時に、操作デバイスは、第2の画面に対応する第2の反力データを受信した後、表示部における第2の画面の描画に同期して第2の反力データを有効にする反力データ同期手段をさらに備えており、
反力データ同期手段は、第2の反力データの受信後、当該第2の反力データを有効とする時期を、第2の画面の種類に応じた所定時間だけ遅延させることを特徴とする。
定型の画面であれば、事前に各画面の描画に要する時間は推測できるためである。
請求項3に記載の表示操作システムは、
表示画面を有する表示部と、
表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従ってポインタの画面位置に応じた反力を付与する操作デバイスと、
表示部に対して表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、操作デバイスに出力するデータ出力手段とを備え、
第1の画面から第2の画面への切換時に、操作デバイスは、第2の画面に対応する第2の反力データを受信した後、表示部における第2の画面の描画に同期して第2の反力データを有効にする反力データ同期手段をさらに備えており、
反力データ同期手段は、第2の反力データの受信後、当該第2の反力データを有効とする時期を、第2の画面として表示されるデータ量に応じた所定時間だけ遅延させることを特徴とする。
例えば、検索結果を表示する場合等は、その表示すべきデータ量に応じて描画時間が変動する。このため、表示すべき画像データのデータ量に基づいて、第2の反力データを有効にする時期までの遅延時間を設定する。これにより、画像データのデータ量に係わらず、第2の画面の描画時期と第2の反力データを有効にする時期とを同期させることができる。
請求項4に記載の表示操作システムは、
表示画面を有する表示部と、
表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従ってポインタの画面位置に応じた反力を付与する操作デバイスと、
表示部に対して表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、操作デバイスに出力するデータ出力手段とを備え、
第1の画面から第2の画面への切換時に、操作デバイスは、第2の画面に対応する第2の反力データを受信した後、表示部における第2の画面の描画に同期して第2の反力データを有効にする反力データ同期手段をさらに備えており、
反力データ同期手段は、第2の画面の描画時期が、第2の反力データの受信時期よりも早い場合、第2の反力データが受信されるまで、その第2の画面の反力データとして所定のデフォルトデータを用いることを特徴とする。
例えば、単純なメニュー画面等であれば、第2の反力データの受信前に描画が完了することも考えられる。この場合、第2の画面が描画されているにも係わらず操作デバイスの指示部になんら反力が付与されないと、操作者は違和感を覚える。従って、上述したように、デフォルトデータを用いて反力を付与することが好ましい。なお、このデフォルトデータとしては、画面全体に均一の反力が生じるような反力データであっても良いし、描画時間の短い単純な画面に対応するように別途設定された反力データであっても良い。さらに、切換前の第1の画面に対応する第1の反力データが保存されている場合には、デフォルトデータとして、その第1の反力データを用いても良い。
なお、請求項2乃至請求項4のいずれかにおいて、第1の画面から第2の画面への切り換えが指示された後も、表示部は第2の画面の描画直前まで第1の画面の表示を維持し、操作デバイスは、第2の画面に対応する第2の反力データを受信した後も、第1の画面に対応する第1の反力データを保持して、第2の画面の描画直前まで第1の反力データを有効にしておくことが好ましい。これにより、表示画面と反力データとを極力対応させることが可能となるため、操作者の違和感をより一層低減することができる。
請求項6に記載するように、操作デバイスの指示部は、表示画面上において、ポインタを2次元の複数の方向に移動可能であることが好ましい。これにより、表示画面上の任意の領域へ、容易にポインタを移動させることができる。
請求項7に記載するように、操作デバイスは、第1の画面から第2の画面への切り換えを指示する画面切換指示手段としての機能を備えることが可能である。このように、操作デバイスが、ポインタの移動位置を指示するのみでなく、画面の切換指示も行なうことができるものであると、操作デバイスのみで各種の操作を行なうことができ、操作性が向上する。
請求項8に記載するように、データ出力手段は、表示画面に表示すべき画像データとして少なくとも1つの選択項目を含む画像データを出力し、反力データは、選択項目の表示位置の周囲に、その表示位置に向かって指示部の反力が低下するように設定されることが好ましい。これにより、選択項目の周囲の領域から選択項目の表示位置に向かってポインタが引き込まれやすくなり、操作デバイスの操作性が向上する。
以下、本発明の実施の形態における表示操作システムに関して、図面に基づいて説明する。図1は、本実施形態に係わる表示操作システムの概略構成を示すブロック図である。なお、本実施形態の表示操作システムは、車両の各情報機器からの映像を表示するシステムに適用されたものである。
図1に示すように、本実施形態の表示操作システムは、カーナビゲーション装置1、ゲートウエイ(GW)処理部5を備える表示装置3、操作デバイス7、及び車両の後方等の画像を撮像するカメラ等からなる映像機器9から構成されている。なお、操作デバイス7は、専用線11によって表示装置3、さらに表示装置3のGW処理部5を介してナビゲーション装置1及び映像機器9に接続されており、操作デバイス7の操作信号を送信可能であり、かつナビゲーション装置1等から所望のデータを送信可能に構成されている。また、ナビゲーション装置1、表示装置3、及び映像機器9は相互に車内LAN13によって接続されている。
カーナビゲーション装置1は、図示しない、位置検出器、地図データ入力器、音声入力装置、及びこれらと接続する制御回路等によって構成される。そして、公知のように、地図データ入力器より入力された車両周辺の道路地図データ上に、位置検出器から入力された車両の現在位置に対応して自車位置マークを重ねて表示する、車両周辺道路地図表示のための画像データを生成して、表示装置3に出力する。
また、カーナビゲーション装置1は、メニュー画面を表示するための画像データを生成して、表示装置3に出力する。このようにして、メニュー画面が表示装置3に出力されているときに、そのメニュー画面において、目的地とすべき施設を検索したり、地図表示状態や動作状態の設定変更を行なう等、ナビゲーション装置1が備える種々の機能に対応する操作ボタンをポインタにて選択していくことで、表示画面が遷移し、その遷移画面において、ポインタによる選択操作を繰り返すことで、所望の機能を実行させることができる。ナビゲーション装置1は、このような各種の機能に対応する遷移画面の画像データを生成して、順次、表示装置3に出力する。
表示装置3は、例えば液晶ディスプレイによって構成され、上述したカーナビゲーション装置1が出力する画像データを受信し、その画像データに基づく画面を表示する。またこの表示装置3には、後述する操作デバイス7からの操作信号も入力される。操作デバイス7からの操作信号は、表示装置3の画面に表示されるポインタの移動位置を示す信号の他、表示装置3に表示される操作ボタン等の選択を行なう決定キーのON/OFF信号を含む。表示装置3では、その操作信号に含まれるポインタの移動位置を示す信号に基づいて、ポインタの表示位置を移動させる。さらに、表示装置3には、上述したカメラ等の映像機器9からの画像データも入力され、表示装置3は、その画像データに基づく画面も表示する。
なお、表示装置3はGW処理部5を有し、このGW処理部5は、例えばナビゲーション装置1から出力されたデータを受信した場合、表示装置3に対して出力されたものか、操作デバイス7に対して出力されたものかを判別して、それぞれの出力先にデータを転送するゲートウエイ処理を行なう。
操作デバイス7は、ジョイスティックを指示部として有し、例えば、車室内のコンソールボックス付近等に設置される。図2は、操作デバイス7の内部構成を示すブロック図である。同図に示すように、操作デバイス7は、X軸位置信号取得回路70、Y軸位置信号取得回路71、A/Dコンバータ72、73、X軸アクチュエータ駆動回路74、Y軸アクチュエータ駆動回路75、D/Aコンバータ76、77、X軸反力アクチュエータ78、Y軸反力アクチュエータ79、及びジョイスティック80によって構成されている。このジョイスティック80は、X,Y軸によって定義される2次元方向の任意の方向に操作可能なものである。
X軸位置信号取得回路70は、ジョイスティック80のX軸方向の移動量に相当するアナログ信号を取得し、Y軸位置信号取得回路71は、ジョイスティック80のY軸方向の移動量に相当するアナログ信号を取得する。例えば、図3に示すように、ジョイスティック80の中立位置からの操作量をX軸及びY軸の各軸方向の移動量で取得する。
A/Dコンバータ72、73は、それぞれX軸位置信号取得回路70及びY軸位置信号取得回路71によって取得された各軸方向の移動量に相当するアナログ信号をディジタル信号に変換し、変換した各軸方の移動量に相当するディジタル信号を制御回路90へ出力する。
D/Aコンバータ76、77は、制御回路90からジョイスティック80の操作に対して発生させる反力に相当するディジタル信号を入力し、これをアナログ信号に変換する。変換したアナログ信号は、X軸アクチュエータ駆動回路74及びY軸アクチュエータ駆動回路75にそれぞれ出力される。
X軸アクチュエータ駆動回路74及びY軸アクチュエータ駆動回路75は、D/Aコンバータ76、77から出力されたアナログ信号に基づいて、X軸反力アクチュエータ78及びY軸反力アクチュエータ79のそれぞれを作動させるための駆動電力を供給する。X軸反力アクチュエータ78及びY軸反力アクチュエータ79は、供給される駆動電力に応じて、ジョイスティック80を中立位置へ戻そうとする抵抗力(反力)を発生するものである。各アクチュエータとしては、例えば、ステッピングモータ等が採用され、ジョイスティック80と機械的に接続されている。
制御回路90は、A/Dコンバータ72,73からジョイスティック80の各軸方向の移動量を取得し、この取得した各軸方向の移動量に基づいて、表示装置3に表示されているポインタの移動後の位置を算出する。そして、ナビゲーション装置1から出力され、反力データメモリ91に保存されている、表示されている画面に対応した反力データに照らして、移動後の位置において、ジョイスティック80に付与すべき反力を算出する。このようにして、ジョイスティック80に付与すべき反力を算出すると、制御回路90は、その算出した反力に応じたディジタル信号をD/Aコンバータ76,77に出力する。なお、反力データは、通信インターフェース(I/F)92を介して制御回路90によって受信され、反力データメモリ91に保存される。この反力データメモリ91は、同時に複数の反力データを保存することが可能であり、制御回路90はその内のいずれの反力データを有効にするかを決定する。
また、制御回路90は、算出したポインタの移動後の位置を示す座標データと、図2には示していないが、ジョイスティック80の頭部等に設けられる決定キーのON/OFF信号とを、操作信号として表示装置3に送信する。すると、表示装置3では、その座標データに従ってポインタの位置を移動させるとともに、操作信号をナビゲーション装置1に転送する。操作信号をナビゲーション装置1に転送するのは、決定キーがONである場合、画面遷移が必要であり、新たな画面に対応する画像データをナビゲーション装置1において生成するため、及び、ポインタが表示画面のいずれかの選択ボタンに一致した場合、その一致した選択ボタンをハイライト表示するように画像データを更新するためである。
ここで、図4(a),(b)を用いて反力データの一例について説明する。図4(a)に示すように、目的地設定のためのメニュー画面においては、表示装置3には、目的地設定のための各手法を示す選択ボタン30が表示される。この場合の反力データとしては、ポインタ33が各選択ボタン30に接近した場合に、ポインタ33を各選択ボタン30の表示位置に引き込むことができるように、各選択ボタン30よりも広い領域を持つ引き込み領域35を有するように設定される。具体的な反力の変化状態を図4(b)に示す。実際には、反力データは、表示画面に対応して2次元で設定されるが、説明の便宜上、図4(b)には一次元の反力データの変化状態を示している。この図4(b)に示す反力の変化は、図4(a)におけるA−A’線に沿って生ずるものである。
図4(b)に示すように、反力データは、ポインタ33が引き込み領域35外にある場合に反力が最も大きくなり、引き込み領域35内においては、選択ボタン30の中心に近づくほど反力が低下するように設定される。このため、ジョイスティック80は、ポインタ33が選択ボタン30の周辺から、選択ボタン30の中心に一致する方向に移動するように操作されやすくなる。
次に、本実施形態の特徴部分に係わる、画面の切換が指示されたときの、切換後の画面の描画に同期して、その画面に対応する反力データを有効化する反力データ同期処理について、図5のフローチャートに基づいて説明する。なお、図5のフローチャートに示す反力データ同期処理は、操作デバイス7によって画面の切換、例えばメニュー画面から検索画面、あるいは検索結果の表示画面等への画面の切換が指示された場合に実行される。また、画面の切換指示は操作デバイス7以外にも、例えば表示装置3と一体にタッチスイッチやメカニカルスイッチ等を設け、それらのスイッチによって行なうことも可能である。
まずステップS100では、ナビゲーション装置1が切換後の画面の画像データの生成及び出力を行なう。例えば、メニュー画面等の定型画面であれば、予めその画像データが用意され、記憶されているため、その画像データを読み出して出力する。また、検索結果の表示画面であれば、データの検索及び読出し後に、読み出したデータの解凍等の必要な処置を施して、画像データを生成し出力する。
ステップS110では、ナビゲーション装置1において、表示すべき画面が、単純なメニュー画面等であって、その画像データのデータ量が小さいため、後に説明する反力データの操作デバイス7での受信よりも、画面の描画の方が早く完了するか否かを判定する。すなわち、このステップS110では、表示すべき画面の種類や画像データのデータ量に基づいて、画面の描画が反力データの受信よりも早く完了するかを判定するのである。なお、このステップS110の処理は、表示すべき画面の種類や画像データのデータ量が判明した時点で開始され、ステップS100における画像データの読出しやデータの解凍等の処理と並列に実行される。
このステップS110にて「Yes」との判定がなされた場合、ナビゲーション装置1は、ステップS120にて、操作デバイス7に対してデフォルト反力データの使用を指示する。この指示により、操作デバイス7では、ステップS130において、有効とする反力データを、切換前画面に対応した反力データからデフォルト反力データに切り換える。
ここで、デフォルト反力データとしては、画面全体に均一の反力が生じるような反力データであっても良いし、描画時間の短い単純な画面に対応するように別途設定された反力データであっても良い。このデフォルト反力データは予め操作デバイス7の反力データメモリ91に保存されている。さらに、切換前の画面に対応する反力データを、そのままデフォルトデータとして用いても良い。
ステップS140では、ナビゲーション装置1が、切換後の画面に対応する反力データを生成し、画面種類または画像データのデータ量とともに、操作デバイス7に送信する。なお、上述したステップS110からこのステップS140までの処理は、ステップS100の処理と並行して実施される場合がある。ステップS150では、操作デバイス7において、反力データ、及び画面種類または画像データのデータ量の受信が行なわれ、反力データに関しては反力データメモリ91に保存する。
次に、ステップS160では、操作デバイス7が、受信した画面種類または画像データのデータ量に基づいて、画面の描画がすでに完了しているか否かを判定する。このとき「Yes」と判定すると、ステップS170に進んで、操作デバイス7は、反力データをデフォルト反力データから受信した反力データに切り換える。一方、ステップS160にて「No」と判定されるとステップS180に進む。ステップS180では、受信した画面種類または画像データのデータ量に基づいて、表示画面がメニュー画面等の定型画面であるのか、検索結果表示画面等の非定型画面であるのかを判定する。
そして、定型画面と判定した場合には、ステップS190に進んで、定型画面の種類に応じた、反力データの受信からその反力データを有効化するまでの遅延時間を設定する。定型画面であれば、その描画に要する時間は予め推測可能であり、その描画が完了する時期に同期するように遅延時間を設定するのためである。一方、非定型画面と判定した場合には、ステップS200に進んで、画像データのデータ量から遅延時間を設定する。例えば、目的地とすべき施設を検索してその検索結果画面を表示する場合には、検索条件に該当する施設等の数によって画像データのデータ量は大きく変動し、結果的に、描画時間も大きく変動することになる。このため、非定型画面においては画像データのデータ量を参照して、これに対応する遅延時間を設定するのである。なお、定型画面および非定型画面とも、画像データのデータ量から遅延時間を設定することも可能である。
ステップS210では、操作デバイス7が、ステップ190あるいはステップS200にて設定した遅延時間が経過したか否かを判定する。そして、設定した遅延時間が経過したと判定した場合には、ステップS220に進んで、反力データを、切換前画面に対応する反力データから切換後画面に対応する反力データに切り換える。
このような処理によって、画面の切換時に、反力データを有効化する時期を画面の描画完了時期に同期させ、あるいは画面の描画が早い場合には少なくともデフォルト反力データによって反力を与えることができるので、操作デバイス7を操作する際に操作者が違和感を覚えることを極力低減することができる。
次に、画面が切換られる際の各処理について、図6のタイムチャートを用いて説明する。図6のタイムチャートでは、検索画面(画面A)から検索結果表示画面(画面B)に画面を切り換える場合の例を示している。
図6に示すように、操作デバイス7の決定キーによって画面Aから画面Bへの切換指示がなされると、操作デバイス7の内部処理が行なわれる。この内部処理では、確実に決定キーが操作されたことを検出するために、所定のサンプリング周期で複数回決定キーの状態を取り込み、それが全てONであれば、決定キーの操作が行なわれたことを確定させる。そして、この決定キーのONを示すデータ信号、及びポインタの位置を示す座標データを表示装置3に向けて送信する。すると、表示装置3では内部ECUが、例えば描画更新周期に同期して操作デバイス7からのデータ信号を読み込む。そして、読み込んだデータ信号に含まれるポインタの位置を示す座標データに基づいて、ポインタの位置を更新した描画データを生成する描画処理を行なう。この描画データを用いて、次回の描画更新周期において、ポインタの位置を更新した描画がなされて、ポインタの位置を更新が完了する。
また、表示装置3では、このポインタの位置を更新する描画と並行して、操作デバイス7からのデータ信号をゲートウエイ処理して、ナビゲーション装置1の制御回路(以下、ナビECU)に送信する。すると、ナビECUは、上述した描画更新周期に同期して操作デバイス7のデータ信号を読み込む。そして、決定キーが一致する選択ボタンをハイライト表示するための画像データを生成する(SWキーハイライト描画処理)。次の描画更新周期では、生成した画像データが表示装置3に表示され、選択ボタンのハイライト表示が完了する。
以上が、操作デバイス7から表示装置3に向けて送信されるデータ信号に基づいて実行される処理である。このような処理により、ジョイスティック80が操作されてから、およそ100ms程度でポインタが移動後の位置に表示され、さらに、それから数十ms後に選択ボタンのハイライト表示が行なわれる。
一方、画面の切換指示がナビECUに読み込まれると、ナビECUは、その切換後の画面を表示するための画像データを生成するために必要なデータ検索及び検索したデータの読み込みを行なう。この検索したデータの読み込みが完了した時点で、表示すべき画面が確定するので、その画面に対応する反力データの生成を行なう。さらに、この反力データの生成と並行して読み込んだデータの解凍を行なう。
画面に表示するデータ量が多い場合には、図6に示すように、データの解凍やその描画処理が完了するよりも早い時期に、反力データが操作デバイス7に受信される。すなわち、反力データが生成された後に、ナビECUから表示装置3に反力データが転送され、表示装置3ではGW処理部5がゲートウエイ処理を行なった後に、反力データが操作デバイス7に受信されるが、それでも、その受信時期は、表示装置3における描画処理の完了時期よりも数百ms早い場合がある。
そのため、操作デバイス7では、図6に示すように、画面Bに対応する反力データBを受信した後も、画面Bが描画されるまでは、画面Aに対応する反力データAを有効にしておく。そして、画面Bの描画完了時期までの遅延時間が経過した時点で、反力データを反力データAから反力データBに切り換えるのである。このように、操作デバイス7は、画面Bが描画されるタイミングに同期して反力データBを有効にするとともに、画面Bの描画直前まで画面Aの表示を維持し、さらに、画面Aに対応する反力データAを保持して、画面Bの描画直前までその反力データAを有効にしている。これにより、表示画面と反力データとを極力対応させることが可能となり、操作者の違和感をより一層低減することができる。
なお、メニュー画面等の定型画面の場合には、画像データ及び反力データが予め設定され記憶されているので、画面の切換指示を受けた時点で、その画面の画像データ及び反力データの読出しが並行して開始され、読出しが完了した時点で、それぞれ出力される。
以上、本発明の好ましい実施形態について説明したが、本発明は上述の実施形態になんら制限されることなく、種々変形して実施することができる。例えば、上述した実施形態においては、メニュー画面や目的地設定のための検索画面等において、ポインタを表示しつつ、操作デバイス7のジョイスティック80に反力を与える例について説明した。しかしながら、例えば、ナビゲーション装置1によって地図画像が表示される場合であっても、地図画面の中央にポインタを表示し、例えば地図スクロール時に操作デバイス7のジョイスティック80に反力を与えるようにしても良い。この場合、例えば、ポインタ位置が道路上から逸れないように、道路上の反力を低減した反力データを設定したり、地図の高低に応じて反力データを増減したり、道路の混雑度合に応じて反力を増減する等が考えられる。
さらに、ナビゲーション装置1に限らず、他のカメラ等の映像機器が画像データを生成している場合であっても、ポインタを表示しつつ、所望の規則に従って、その反力を増減するようにしても良い。
実施形態に係わる、表示操作システムの概略構成を示すブロック図である。 実施形態に係わる、操作デバイス7の内部構成を示すブロック図である。 実施形態に係わる、ジョイスティック80の中立位置からの操作量をX軸及びY軸の各軸方向の移動量で取得するイメージ図である。 (a)は目的地設定のためのメニュー画面の一例を示すイメージ図であり、(b)は、(a)におけるA−A’線に沿って生ずる反力の変化を示す特性図である。 実施形態における、画面の切換が指示されたときの、切換後の画面の描画に同期して反力データを有効化する反力データ同期処理を示すフローチャートである。 画面が切り換られる際の各処理を時系列に示すタイムチャートである。
符号の説明
1 カーナビゲーション装置
3 表示装置
5 GW処理部
7 操作デバイス
9 映像機器

Claims (8)

  1. 表示画面を有する表示部と、
    前記表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従って前記ポインタの画面位置に応じた反力を付与する操作デバイスと、
    前記表示部に対して前記表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、前記操作デバイスに出力するデータ出力手段とを備え、
    第1の画面から第2の画面への切換時に、前記操作デバイスは、前記第2の画面に対応する第2の反力データを受信した後、前記表示部における前記第2の画面の描画に同期して前記第2の反力データを有効にする反力データ同期手段をさらに備えており、
    前記表示部は、前記第1の画面から前記第2の画面への切り換えが指示された後も、前記第2の画面の描画直前まで前記第1の画面の表示を維持し、
    前記操作デバイスは、前記第2の画面に対応する第2の反力データを受信した後も、前記第1の画面に対応する第1の反力データを保持して、前記第2の画面の描画直前まで前記第1の反力データを有効にしておくことを特徴とする表示操作システム。
  2. 表示画面を有する表示部と、
    前記表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従って前記ポインタの画面位置に応じた反力を付与する操作デバイスと、
    前記表示部に対して前記表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、前記操作デバイスに出力するデータ出力手段とを備え、
    第1の画面から第2の画面への切換時に、前記操作デバイスは、前記第2の画面に対応する第2の反力データを受信した後、前記表示部における前記第2の画面の描画に同期して前記第2の反力データを有効にする反力データ同期手段をさらに備えており、
    前記反力データ同期手段は、前記第2の反力データの受信後、当該第2の反力データを有効とする時期を、前記第2の画面の種類に応じた所定時間だけ遅延させることを特徴とする表示操作システム。
  3. 表示画面を有する表示部と、
    前記表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従って前記ポインタの画面位置に応じた反力を付与する操作デバイスと、
    前記表示部に対して前記表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、前記操作デバイスに出力するデータ出力手段とを備え、
    第1の画面から第2の画面への切換時に、前記操作デバイスは、前記第2の画面に対応する第2の反力データを受信した後、前記表示部における前記第2の画面の描画に同期して前記第2の反力データを有効にする反力データ同期手段をさらに備えており、
    前記反力データ同期手段は、前記第2の反力データの受信後、当該第2の反力データを有効とする時期を、前記第2の画面として表示されるデータ量に応じた所定時間だけ遅延させることを特徴とする表示操作システム。
  4. 表示画面を有する表示部と、
    前記表示画面上に表示されるポインタの移動位置を指示する指示部を有し、当該指示部に対して反力データに従って前記ポインタの画面位置に応じた反力を付与する操作デバイスと、
    前記表示部に対して前記表示画面に表示すべき画像データを出力するとともに、その画像データに対応する反力データを、前記操作デバイスに出力するデータ出力手段とを備え、
    第1の画面から第2の画面への切換時に、前記操作デバイスは、前記第2の画面に対応する第2の反力データを受信した後、前記表示部における前記第2の画面の描画に同期して前記第2の反力データを有効にする反力データ同期手段をさらに備えており、
    前記反力データ同期手段は、前記第2の画面の描画時期が、前記第2の反力データの受信時期よりも早い場合、第2の反力データが受信されるまで、その第2の画面の反力データとして所定のデフォルトデータを用いることを特徴とする表示操作システム。
  5. 前記表示部は、前記第1の画面から前記第2の画面への切り換えが指示された後も、前記第2の画面の描画直前まで前記第1の画面の表示を維持し、
    前記操作デバイスは、前記第2の画面に対応する第2の反力データを受信した後も、前記第1の画面に対応する第1の反力データを保持して、前記第2の画面の描画直前まで前記第1の反力データを有効にしておくことを特徴とする請求項2乃至請求項4のいずれかに記載の表示操作システム。
  6. 前記操作デバイスの指示部は、前記表示画面上において、前記ポインタを2次元の複数の方向に移動可能であることを特徴とする請求項1乃至請求項5のいずれかに記載の表示操作システム。
  7. 前記操作デバイスは、前記第1の画面から前記第2の画面への切り換えを指示する画面切換指示手段としての機能を備えることを特徴とする請求項1乃至請求項6のいずれかに記載の表示制御システム。
  8. 前記データ出力手段は、前記表示画面に表示すべき画像データとして少なくとも1つの選択項目を含む画像データを出力し、
    前記反力データは、前記選択項目の表示位置の周囲に、その表示位置に向かって前記指示部の反力が低下するように設定されることを特徴とする請求項1乃至請求項7のいずれかに記載の表示制御システム。
JP2003333954A 2003-09-25 2003-09-25 表示操作システム Expired - Fee Related JP4148084B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003333954A JP4148084B2 (ja) 2003-09-25 2003-09-25 表示操作システム
EP04018604.1A EP1548554B1 (en) 2003-09-25 2004-08-05 Synchronisation of the Force Feedback Behaviour of an Input Device with Image Switching
US10/916,509 US7263439B2 (en) 2003-09-25 2004-08-12 Image operation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003333954A JP4148084B2 (ja) 2003-09-25 2003-09-25 表示操作システム

Publications (2)

Publication Number Publication Date
JP2005100151A JP2005100151A (ja) 2005-04-14
JP4148084B2 true JP4148084B2 (ja) 2008-09-10

Family

ID=34373142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003333954A Expired - Fee Related JP4148084B2 (ja) 2003-09-25 2003-09-25 表示操作システム

Country Status (3)

Country Link
US (1) US7263439B2 (ja)
EP (1) EP1548554B1 (ja)
JP (1) JP4148084B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4840332B2 (ja) * 2007-11-06 2011-12-21 トヨタ自動車株式会社 遠隔操作装置
JP4891286B2 (ja) 2008-04-11 2012-03-07 株式会社デンソー 遠隔操作装置
KR20090123227A (ko) * 2008-05-27 2009-12-02 삼성전자주식회사 검색 서비스 제공장치, 방법 및 프로그램
JP2009288981A (ja) * 2008-05-28 2009-12-10 Alps Electric Co Ltd 操作感触付与型入力装置
JP4623391B2 (ja) 2008-11-07 2011-02-02 株式会社デンソー 車載用遠隔操作装置
JP5233644B2 (ja) * 2008-12-17 2013-07-10 トヨタ自動車株式会社 入力装置
JP2010211509A (ja) * 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置
JP5358474B2 (ja) * 2010-02-12 2013-12-04 トヨタ自動車株式会社 入力装置
JP5353746B2 (ja) * 2010-02-12 2013-11-27 トヨタ自動車株式会社 入力装置
JP5263243B2 (ja) * 2010-09-02 2013-08-14 株式会社デンソー 車両用表示装置
JP5664323B2 (ja) * 2011-02-21 2015-02-04 株式会社デンソー 操作サポートシステム、車載器、及び、携帯端末
JP5415472B2 (ja) * 2011-03-25 2014-02-12 株式会社デンソーアイティーラボラトリ 入力デバイス及び入力デバイスによる報知方法
JP2013033415A (ja) * 2011-08-03 2013-02-14 Alps Electric Co Ltd 入力装置
JP5811780B2 (ja) * 2011-11-07 2015-11-11 富士通株式会社 情報処理装置およびその入力制御プログラム
US20140038524A1 (en) * 2012-07-31 2014-02-06 Research In Motion Limited Method and apparatus pertaining to the timing of stylus location transmissions
EP2693310A1 (en) * 2012-07-31 2014-02-05 BlackBerry Limited Method and apparatus pertaining to the timing of stylus location transmissions

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683469A (ja) * 1992-08-29 1994-03-25 Namco Ltd 操作レバー装置
US5731804A (en) * 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
JPH0926850A (ja) * 1995-07-11 1997-01-28 Canon Inc ユーザインターフェース装置
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6411276B1 (en) * 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
AU770385B2 (en) * 1998-02-03 2004-02-19 Immersion Corporation Implementing force feedback over the world wide web and other computer networks
JP3790365B2 (ja) * 1998-05-25 2006-06-28 アルプス電気株式会社 車載用入力装置
JP4194172B2 (ja) * 1998-05-18 2008-12-10 キヤノン株式会社 画像表示装置及び機器間通信方法
JP2000149721A (ja) * 1998-11-09 2000-05-30 Alpine Electronics Inc 車載機器用操作装置
JP2000197774A (ja) * 1999-01-08 2000-07-18 Alps Electric Co Ltd ゲ―ム機用コントロ―ラ
JP3850619B2 (ja) * 1999-07-14 2006-11-29 アルプス電気株式会社 車載用入力装置
JP2001109558A (ja) * 1999-08-18 2001-04-20 Immersion Corp 制御ノブ及び他のインターフェース装置に対する機構
JP3942811B2 (ja) * 2000-07-14 2007-07-11 アルパイン株式会社 ナビゲーション装置
JP3920559B2 (ja) * 2000-11-10 2007-05-30 アルプス電気株式会社 手動入力装置
JP2003097964A (ja) 2001-09-26 2003-04-03 Nissan Motor Co Ltd 入力制御装置

Also Published As

Publication number Publication date
EP1548554A3 (en) 2008-01-23
US7263439B2 (en) 2007-08-28
EP1548554B1 (en) 2017-01-04
US20050068296A1 (en) 2005-03-31
EP1548554A2 (en) 2005-06-29
JP2005100151A (ja) 2005-04-14

Similar Documents

Publication Publication Date Title
JP4148084B2 (ja) 表示操作システム
JP4617894B2 (ja) 入力切替え装置およびテレビジョン装置
US7154408B2 (en) Wireless remote controller having navigation function and method of providing navigation function to the same
US20080177440A1 (en) Switch control device and switch control method
US6658350B1 (en) Navigation device
JP4537537B2 (ja) 運転支援装置
JP2011193040A (ja) 車両用入力装置、ポインタ表示方法
JP2000065586A (ja) 車両ディスプレ―画面に表示された画像の再表示を制御する装置
JP3949862B2 (ja) ナビゲーション装置
JP2007316932A (ja) 操作ボタン表示装置
US7627885B2 (en) In-vehicle image display system
JP2000312391A (ja) 機器制御装置、制御装置、双方向リモコン装置および被制御装置
US20070132729A1 (en) Character positioning system, and method thereof
US20040233052A1 (en) Browser apparatus
JPH10340045A (ja) ナビゲーション装置の地図表示方法
JP2019133395A (ja) 入力装置
JP4840332B2 (ja) 遠隔操作装置
JP2009080709A (ja) 情報表示装置の表示方法
JP2005135324A (ja) 表示操作システム
JP2007263839A (ja) ナビゲーションシステム
JP5040402B2 (ja) ナビゲーション装置およびナビゲーション画面表示方法
JP2008189124A (ja) 車載機器の操作補助システム、操作補助方法。
WO2018174131A1 (ja) ナビゲーションシステムおよびナビゲーションプログラム
JPH11202999A (ja) 画像表示装置
KR20180095778A (ko) 조작 시스템, 조작 시스템을 조작하는 방법 및 조작 시스템을 포함하는 차량

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees