JP5563153B2 - 操作装置 - Google Patents

操作装置 Download PDF

Info

Publication number
JP5563153B2
JP5563153B2 JP2013507211A JP2013507211A JP5563153B2 JP 5563153 B2 JP5563153 B2 JP 5563153B2 JP 2013507211 A JP2013507211 A JP 2013507211A JP 2013507211 A JP2013507211 A JP 2013507211A JP 5563153 B2 JP5563153 B2 JP 5563153B2
Authority
JP
Japan
Prior art keywords
feedback
display screen
movement
input
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013507211A
Other languages
English (en)
Other versions
JPWO2012132495A1 (ja
Inventor
直生 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013507211A priority Critical patent/JP5563153B2/ja
Publication of JPWO2012132495A1 publication Critical patent/JPWO2012132495A1/ja
Application granted granted Critical
Publication of JP5563153B2 publication Critical patent/JP5563153B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)

Description

この発明は、操作装置に関する。
本願は、2011年3月30日に、日本に出願された特願2011−076271号に基づき優先権を主張し、その内容をここに援用する。
従来、例えば画面上に表示されたポインタを遠隔操作可能な遠隔操作器において、この遠隔操作器の操作時にポインタがある領域から別の領域に移動したときに、遠隔操作器の操作部に設けられた突起を突出させることで、操作部を操作する指に触覚刺激を与え、操作者が画面上のポインタの動きを注意深く観察していなくてもポインタが別の領域を指したことをフィードバック的に認識することができるようにした技術が知られている(例えば、特許文献1参照)。
日本国特開2005−4365号公報
しかしながら、上記従来技術に係る技術によれば、ポインタがある領域と別の領域の境界線を跨いだときのフィードバックのみを発する構成であるため、操作対象の移動量を認識する必要がある場合、例えばスクロールバーの移動量やアイコンの移動量を認識する場合には有効ではない、という問題が生じる。
本発明は、上記事情に鑑みてなされたもので、画面上を注視させることなく操作対象の移動を操作者にフィードバック的に認知させることが可能な操作装置を提供することを目的としている。
(1)上記課題を解決して係る目的を達成するために、本発明に係る一態様は、操作者により操作可能な操作対象を表示する表示画面と、前記表示画面上における前記操作対象の移動方向、前記移動方向への移動速度、および前記移動方向への移動量を操作入力可能な入力手段と、前記入力手段による操作入力に伴って前記操作対象が前記表示画面上を移動した場合の移動速度および前記操作対象の前記表示画面上における移動開始前の位置に対する相対的な移動量のうちの少なくとも一方を検出する検出手段と、前記検出手段によって検出された前記移動速度および前記移動量のうち少なくとも一方の変化に応じて、前記操作者が前記表示画面に表示される前記操作対象を直接視認せずに認識可能な所定のフィードバックを行なうフィードバック手段と、を備える。
(2)上記(1)の態様において、以下のような構成を採用してもよい。前記フィードバック手段は、前記操作対象が、前記表示画面上に設定されている所定の座標に向かうほど前記フィードバックの変化もしくは変化率の少なくともどちらかを増大し、更に、前記所定の座標から離間するほど前記フィードバックの変化もしくは変化率の少なくともどちらかを減少させるように前記所定のフィードバックを行なう。
(3)上記(1)の態様において、以下のような構成を採用してもよい。前記フィードバック手段が、音を発することで前記フィードバックを行なう音フィードバック手段を有し、前記操作対象の移動速度および前記操作対象の移動開始前の前記表示画面上の位置に対する相対的な移動量のうち少なくとも一方が大きくなることにつれて、前記音フィードバック手段から発する前記音の周波数および音量のうち少なくとも一方を増大傾向に変化させる。
(4)上記(1)の態様において、以下のような構成を採用してもよい。前記フィードバック手段が、音を発することで前記フィードバックを行なう音フィードバック手段を有し、前記操作対象の移動方向と対応するように前記操作対象の移動方向の変化に応じて前記音の音像を変化させる。
(5)上記(1)の態様において、以下のような構成を採用してもよい。前記表示画面および前記フィードバック手段が車両に搭載され、前記フィードバック手段は、音を発することで前記フィードバックを行なう音フィードバック手段を有し、前記入力手段は、前記車両の運転者によって操作可能な車両室内の所定位置に配置され、前記車両に接近する障害物が存在する方向を検出する障害物検出手段を備え、前記音フィードバック手段は、前記障害物検出手段により前記車両に接近する前記障害物が検出された場合には、前記障害物検出手段により検出された前記障害物が存在する方向の音像で前記操作対象の移動に応じて発する前記音とは異なる音を発する。
(6)上記(1)の態様において、以下のような構成を採用してもよい。前記フィードバック手段が、前記入力手段に振動を伝達することで前記フィードバックを行なう振動フィードバック手段を有し、前記操作対象の移動速度および前記操作対象の移動開始前の前記表示画面上の位置に対する相対的な移動量のうち少なくとも一方が大きくなることにつれて、前記振動フィードバック手段により前記入力手段に伝達される前記振動の周波数および振幅のうち少なくとも一方を増大傾向に変化させる。
(7)上記(1)の態様において、以下のような構成を採用してもよい。前記操作者の視線方向を検出すると共に、前記検出された視線方向が前記表示画面に向けられているか否かを判定する視線検出手段をさらに備え、前記フィードバック手段は、前記視線検出手段により前記操作者の視線方向が前記表示画面に向けられていないと判定された場合には前記フィードバックを実行し、前記視線検出手段により前記操作者の視線方向が前記表示画面に向けられていると判定された場合には前記フィードバックを実行しない。
(8)上記(1)の態様において、以下のような構成を採用してもよい。前記表示画面が、車両室内に搭載されるインストルメントパネルの上面よりも下方に配置されるディスプレイであり、前記入力手段は、前記車両の運転者によって操作可能な前記車両室内の所定位置に配置された略平面状の操作部を有し、前記操作部に対する前記運転者の手指の接触位置を検出し、該検出の結果に応じて前記操作対象に対する操作入力を行なう。
(9)上記(1)の態様において、以下のような構成を採用してもよい。前記フィードバック手段が、前記入力手段に対する入力操作の滑らかさ又は操作速度から前記入力手段に対する前記入力操作の習熟度を推定し、該習熟度が低いほど、フィードバック量を増大させる。
(10)上記(1)の態様において、以下のような構成を採用してもよい。前記入力手段に対する前記操作者の入力操作の履歴を記憶する記憶手段をさらに備え、前記フィードバック手段は、前記入力操作の実行頻度が低いほど、フィードバック量を増大させる。
上記(1)の態様によれば、操作対象の移動に応じて連続したフィードバックを行なうことから、操作者は、表示画面に表示された操作対象を注視する必要無しに、操作対象の移動状態(つまり、移動速度および移動開始前の表示画面上の位置に対する相対的な移動量のうち少なくとも一方)を的確に認識することができる。
これにより、操作者は、入力手段に対する入力操作と操作対象の移動状態との対応関係を容易に学習することができ、表示画面を視認せずに操作対象を操作する、いわゆるブラインド操作を容易に行なうことができ、利便性を向上させることができる。
上記()の態様によれば、音の周波数および音量のうち少なくとも一方を用いてフィードバックを行なうことから、操作対象の連続的な移動状態の変化を操作者に容易に認識させることができる。
上記()の態様によれば、音像を用いてフィードバックを行なうことから、操作対象の連続的な移動状態の変化を操作者に容易に認識させることができる。
上記()の態様によれば、入力手段に対する入力操作を行なっている運転者に対して、車両に接近する障害物が存在する方向を迅速かつ的確に認識させることができ、利便性および車両の走行安全性を向上させることができる。
上記()の態様によれば、振動を用いてフィードバックを行なうことから、操作対象の連続的な移動状態の変化を操作者にのみ容易に認識させることができ、過剰なフィードバックの実行を防止することができる。
上記()の態様によれば、操作者の視線方向が表示画面に向けられている場合には、表示によるフィードバックが行なわれることになり、他のフィードバックが不要となり、過剰なフィードバックの実行を防止することができ、操作者に違和感や煩わしさを与えてしまうことを防止することができる。
上記()の態様によれば、車両のフロントガラスに比べて運転者の視線の逸脱が大きくなる位置(つまり、車両室内に搭載されるインストルメントパネルの上面よりも下方)に配置されるディスプレイで操作対象が表示される場合であっても、運転者は、表示画面に表示された操作対象を注視する必要無しに、操作対象の移動状態を的確に認識することができ、いわゆるブラインド操作を容易に行なうことができ、利便性を向上させることができる。
また、例えば操作対象の状態(例えば、カーソル位置や移動量など)との感覚的な対応関係を把握することが難しいタッチパッドなどの入力手段に対しても、連続したフィードバックを行なうことによって、操作者は、表示画面に表示された操作対象を注視する必要無しに、操作対象の移動状態を的確かつ容易に認識することができ、いわゆるブラインド操作を容易に行なうことができ、利便性を向上させることができる。
本発明の一実施形態に係る操作装置の構成図である。 同操作装置の移動状態量とフィードバック量との対応関係の一例を示す図である。 同操作装置の表示画面上での操作対象の移動時の時刻とフィードバック量との対応関係の一例を示す図である。 同操作装置の表示画面上での操作対象の移動時の時刻とフィードバック量である音量との対応関係の一例を示す図である。 同操作装置の表示画面上での操作対象の移動時の時刻とフィードバック量である音程との対応関係の一例を示す図である。 同操作装置の表示画面上での操作対象の移動時の時刻とフィードバック量である音出力を繰り返す際の周波数との対応関係の一例を示す図である。 同操作装置の表示画面上での操作対象の移動時の時刻とフィードバック量である振動の振幅との対応関係の一例を示す図である。 同操作装置の表示画面上の操作対象の位置を示す図である。 同操作装置の表示画面上の操作対象のX座標とフィードバック量である音量との対応関係の一例とを示す図である。 同操作装置の表示画面上の操作対象のY座標とフィードバック量である音程との対応関係の一例とを示す図である。 同操作装置の表示画面上の操作対象の位置を示す図である。 フィードバック量である音場の一例を示す図である。 同操作装置の表示画面上の操作対象の移動時の時刻とフィードバック量である車両の前方部の音量との対応関係の一例とを示す図である。 同操作装置の表示画面上の操作対象の移動時の時刻とフィードバック量である車両の後方部の音量との対応関係の一例とを示す図である。 同操作装置の表示画面上での操作対象の移動の例を示す図である。 同操作装置の表示画面上での操作対象の移動の例を示す図である。 同操作装置の表示画面上での操作対象の移動の例を示す図である。 同操作装置の表示画面上での操作対象の移動の例を示す図である。 上記実施形態の変形例に係る操作装置の構成図である。
以下、本発明の一実施形態に係る操作装置について、添付図面を参照しながら説明する。
本実施形態による操作装置10は、例えば車両に搭載され、図1に示すように、入力操作機器(入力手段)11と、表示器12と、スピーカー13と、アクチュエータ14と、制御装置15とを備えて構成されている。
入力操作機器11は、操作者(例えば、車両の運転者)の入力操作に応じて、表示器12の表示画面12a上に表示されている適宜の操作対象を移動操作可能なポインティングデバイスであって、例えば車両の運転者によって操作可能な車両室内の所定位置に配置された略平面状の操作部11aを有し、この操作部11aに対する運転者の手指の接触位置を検出し、この検出結果に応じて表示画面12a上の操作対象に対する操作入力を行なう。
そして、入力操作機器11は、操作者の入力操作に応じて逐次変化する適宜の時刻tでの操作状態量(例えば、操作方向、操作量など)を示す操作入力A(t)の信号を出力する。
表示器12は、例えば車両の運転者により視認可能に車室内に配置された表示画面12aを備え、例えば車両の車両室内に搭載されるインストルメントパネルの上面よりも下方に表示画面12aが配置され、制御装置15により制御される。
スピーカー13は、例えば車両の運転者により聴取可能に車室内の複数個所(例えば、車両の前方部の左右の2箇所と、車両の後方部の左右の2箇所となど)に配置され、制御装置15により制御される。
アクチュエータ14は、例えば制御装置15により駆動制御されるモータなどを備えて構成され、入力操作機器11に振動を発生させたり、入力操作機器11に対する操作者の操作入力に反力を付与したりする。
制御装置15は、例えば、移動状態検出部21と、フィードバック制御部22とを備えて構成されている。
移動状態検出部21は、例えば、入力操作機器11から出力される操作入力A(t)の信号に基づき、入力操作機器11に対する操作者の入力操作に応じて表示器12の表示画面12a上で移動する操作対象(例えば、カーソル、図形など)の移動状態量を検出する。
そして、入力操作機器11に対する操作者の入力操作に応じて逐次変化する適宜の時刻tでの移動状態量B(t)の検出結果の信号を出力する。
なお、移動状態量B(t)は、例えば、表示画面12a上での位置、表示画面12a上での移動方向および移動開始前の位置に対する相対的な移動量からなる移動ベクトル、移動速度、移動加速度などである。
フィードバック制御部22は、入力操作機器11に対する操作者の入力操作に伴って操作対象が表示画面12a上を移動したことに応じて、表示画面12aに表示される操作対象を直接視認せずに認識可能に、操作者に対して所定のフィードバックを行なう。
フィードバック制御部22は、例えば、移動状態検出部21から出力される移動状態量B(t)の検出結果の信号に基づき、移動状態量B(t)の変化に伴い連続的に変化するフィードバック量Z(t)を生成し、このフィードバック量Z(t)によって操作者にフィードバックを行なう。
なお、移動状態量B(t)の変化は、例えば、表示画面12a上での操作対象の移動速度および表示画面12a上での操作対象の移動開始前の位置に対する相対的な移動量のうち少なくとも一方の変化や、表示画面12a上での操作対象の位置の変化や、表示画面12a上での操作対象の移動方向の変化や、表示画面12a上での操作対象の移動加速度の変化などである。
また、フィードバック量Z(t)は、例えば、スピーカー13から出力される音に対する各種の状態量(例えば、音量、音程、音色、音場、音像、音出力を繰り返す際の周波数など)や、アクチュエータ14によって入力操作機器11に伝達される振動に対する各種の状態量(例えば、周波数、振幅など)や、アクチュエータ14によって入力操作機器11に付与される操作入力の反力に対する各種の状態量(例えば、大きさなど)である。
例えば、フィードバック制御部(音フィードバック手段)22は、表示画面12a上での操作対象の移動速度および表示画面12a上での操作対象の移動開始前の位置に対する相対的な移動量のうち少なくとも一方が大きくなることにつれて、スピーカー13から発する音の周波数および音量のうち少なくとも一方を増大傾向に変化させる。
また、例えば、フィードバック制御部(音フィードバック手段)22は、表示画面12a上での操作対象の移動方向と対応するように操作対象の移動方向の変化に応じてスピーカー13から発する音の音像を変化させる。
また、例えば、フィードバック制御部(振動フィードバック手段)22は、表示画面12a上での操作対象の移動速度および表示画面12a上での操作対象の移動開始前の位置に対する相対的な移動量のうち少なくとも一方が大きくなることにつれて、アクチュエータ14によって入力操作機器11に伝達される振動の周波数および振幅のうち少なくとも一方を増大傾向に変化させる。
本実施の形態による操作装置10は上記構成を備えており、次に、この操作装置10の動作について説明する。
フィードバック制御部22は、例えば図2に示すように、表示画面12a上での操作対象の移動開始前の位置に対する相対的な移動量、移動速度、移動加速度などの移動状態量B(t)の増大に伴い、増大傾向に変化するフィードバック量Z(t)を生成する。
また、フィードバック制御部22は、例えば図3に示すように、表示画面12a上で操作対象が移動を開始してから移動を終了するまでの期間において、移動を開始した初期においては時刻tの経過に伴いフィードバック量の増大率が増大傾向に変化するように、かつ、移動を終了する終期においては時刻tの経過に伴いフィードバック量の増大率が減少傾向に変化するように設定する。
また、フィードバック制御部22は、例えば図4に示すように、表示画面12a上で操作対象が移動を開始してから移動を終了するまでの期間において、フィードバック量をスピーカー13から出力される音の音量とした場合、移動を開始した初期においては時刻tの経過に伴い音量の増大率が増大傾向に変化するように、かつ、移動を終了する終期においては時刻tの経過に伴い音量の増大率が減少傾向に変化するように設定する。
また、フィードバック制御部22は、例えば図5に示すように、表示画面12a上で操作対象が移動を開始してから移動を終了するまでの期間において、フィードバック量をスピーカー13から出力される音の音程とした場合、移動を開始した初期においては時刻tの経過に伴い音程の増大率が増大傾向に変化するように、かつ、移動を終了する終期においては時刻tの経過に伴い音程の増大率が減少傾向に変化するように設定する。
また、フィードバック制御部22は、例えば図6に示すように、表示画面12a上で操作対象が移動を開始してから移動を終了するまでの期間において、フィードバック量をスピーカー13から出力される音の音出力を繰り返す際の周波数とした場合、時刻tの経過に伴い周波数が増大傾向に変化するように設定する。
また、フィードバック制御部22は、例えば図7に示すように、表示画面12a上で操作対象が移動を開始してから移動を終了するまでの期間において、フィードバック量をアクチュエータ14によって入力操作機器11に伝達される振動の振幅とした場合、時刻tの経過に伴い振幅が減少傾向に変化するように設定する。
また、フィードバック制御部22は、例えば図8A〜8Cに示すように、表示画面12a上での操作対象の位置(例えば、X座標およびY座標による2次元座標位置(X、Y)など)に応じたフィードバック量を、スピーカー13から出力される音の音量および音程とした場合、これらを操作対象の位置に応じて連続的に変化させる。
例えば、フィードバック制御部22は、表示画面12a上での操作対象のX座標がゼロから表示画面12aの中心部Cに向かい増大することに伴い、音量が低下傾向に変化するように、かつ、X座標が表示画面12aの中心部Cから離間して増大することに伴い、音量が増大傾向に変化するように設定する。
また、例えば、表示画面12a上での操作対象のY座標がゼロから表示画面12aの中心部Cに向かい増大することに伴い、音程の増大率が増大傾向に変化するように、かつ、Y座標が表示画面12aの中心部Cから離間して増大することに伴い、音程の増大率が減少傾向に変化するように設定する。
なお、図8A〜8Cは、表示画面12a上での操作対象が2次元座標位置(X、Y)にある場合の一例である。
また、フィードバック制御部22は、例えば図9A〜9Dに示すように、表示画面12a上での操作対象の位置(例えば、X座標およびY座標による2次元座標位置(X、Y)など)に応じたフィードバック量を、スピーカー13から出力される音の音場とした場合、音場を操作対象の位置に応じて連続的に変化させる。
例えば、フィードバック制御部22は、表示画面12a上で操作対象のY座標が減少傾向に変化することに伴い、車両の前方部の左右の2箇所に配置されたスピーカー13の音量を減少傾向に変化させ、車両の後方部の左右の2箇所に配置されたスピーカー13の音量を増大傾向に変化させる。
なお、入力操作機器11に対する操作者の入力操作に応じた表示画面12a上での操作対象の移動には、例えば図10Aに示すように、表示画面12a上の任意の位置を指し示す所定図形P1の移動によるポインティング動作が含まれる。
また、入力操作機器11に対する操作者の入力操作に応じた表示画面12a上での操作対象の移動には、例えば図10Bに示すように、所定のスクロール指示図形P2の移動を伴う表示画面12aのスクロール動作が含まれる。
また、入力操作機器11に対する操作者の入力操作に応じた表示画面12a上での操作対象の移動には、例えば図10Cに示すように、表示画面12a上の適宜の図形Pbを移動させて他の図形Pa上に重畳させるドラッグ&ドロップ動作が含まれる。
また、入力操作機器11に対する操作者の入力操作に応じた表示画面12a上での操作対象の移動には、例えば図10Dに示すように、表示画面12a上の図形P3を拡大(または縮小)させる拡大縮小動作が含まれる。
上述したように、本実施の形態による操作装置10によれば、操作対象の移動に応じて連続したフィードバックを行なうことから、操作者は、表示画面12aに表示された操作対象を注視する必要無しに、操作対象の移動状態(つまり、移動速度および移動開始前の表示画面12a上の位置に対する相対的な移動量のうち少なくとも一方)を的確に認識することができる。
これにより、操作者は、入力操作機器11に対する入力操作と操作対象の移動状態との対応関係を容易に学習することができ、表示画面12aを視認せずに操作対象を操作する、いわゆるブラインド操作を容易に行なうことができ、利便性を向上させることができる。
さらに、音の周波数および音量のうち少なくとも一方または音像などを用いてフィードバックを行なうことから、操作対象の連続的な移動状態の変化を操作者に容易に認識させることができる。
さらに、振動を用いてフィードバックを行なうことから、操作対象の連続的な移動状態の変化を操作者にのみ容易に認識させることができ、過剰なフィードバックの実行を防止することができる。
さらに、車両のフロントガラスに比べて運転者の視線の逸脱が大きくなる位置(つまり、車両室内に搭載されるインストルメントパネルの上面よりも下方)に配置される表示画面12aで操作対象が表示される場合であっても、運転者は、表示画面12aに表示された操作対象を注視する必要無しに、操作対象の移動状態を的確に認識することができ、いわゆるブラインド操作を容易に行なうことができ、利便性を向上させることができる。
また、例えば操作対象の状態(例えば、カーソル位置や移動量など)との感覚的な対応関係を把握することが難しいタッチパッドなどの入力操作機器11に対しても、連続したフィードバックを行なうことによって、操作者は、表示画面12aに表示された操作対象を注視する必要無しに、操作対象の移動状態を的確かつ容易に認識することができ、いわゆるブラインド操作を容易に行なうことができ、利便性を向上させることができる。
なお、上述した実施の形態の変形例に係る操作装置10は、例えば図11に示すように、入力操作機器11と、表示器12と、スピーカー13と、アクチュエータ14と、制御装置15と、視線センサ(視線検出手段)16と、外界センサ(障害物検出手段)17とを備えて構成されている。
さらに、この変形例において、制御装置15は、例えば、移動状態検出部21と、フィードバック制御部22と、視線検出部(視線検出手段)23と、障害物検出部(障害物検出手段)24とを備えて構成されている。
視線センサ16は、例えば、少なくとも車両の座席に着座した乗員の顔を撮像対象として撮像領域内に含み、可視光領域および赤外線領域にて撮像可能であって、順次撮像して得られる乗員の顔を含む顔画像を、制御装置15に出力する乗員カメラ(図示略)を備えている。
外界センサ17は、例えば、赤外光レーザやミリ波などの電磁波によるレーダ装置や撮像装置、熱源追尾装置などにより構成されている。
例えばレーダ装置は、車両の外界に設定された検出対象領域を複数の角度領域に分割し、各角度領域を走査するようにして、電磁波の発信信号を発信する。そして、各発信信号が車両の外部の物体(例えば、他車両や構造物など)や歩行者によって反射されることで生じた反射信号を受信し、レーダ装置から外部の物体や歩行者までの距離に係る検知信号を生成し、制御装置15に出力する。
また、例えば撮像装置は、車両の外界に設定された撮像領域を撮像して得た画像に所定の画像処理を行なって画像データを生成し、制御装置15に出力する。
視線検出部23は、例えば、視線センサ16の乗員カメラから出力された乗員の顔画像に対して所定の認識処理を行ない、乗員の眼の瞳孔または虹彩の中心位置、所定の光源(図示略)から照射された光の角膜表面における反射点(例えば、赤外線の反射像であるプルキニエ像の中心位置)、乗員の眼の目頭の位置などを検出する。
そして、これらの検出結果に基づき、例えば、眼の瞳孔または虹彩の中心位置と角膜表面の反射点との相対距離、あるいは、眼の瞳孔または虹彩の中心位置と目頭の位置との相対距離などから、乗員の視線方向を検知する。
障害物検出部24は、例えば外界センサ17のレーダ装置から出力される検知信号あるいは撮像装置から出力される画像データなどに基づき、車両の外界に存在する他車両や構造物や歩行者などの障害物を検出する。そして、この障害物までの距離、障害物の移動速度および移動方向、障害物の位置などを検出し、これらの検出結果の信号を出力する。
この変形例において、フィードバック制御部22は、例えば、表示画面12a上での操作対象の移動に応じて所定の音をスピーカー13から発する状態において、障害物検出部24から出力される検出結果の信号に基づき、車両に接近する障害物が存在する場合には、障害物が存在する方向の音像で、操作対象の移動に応じて発する所定の音とは異なる音(例えば、警報音など)を発生させる。
これにより、入力操作機器11に対する入力操作を行なっている運転者に対して、車両に接近する障害物が存在する方向を迅速かつ的確に認識させることができ、利便性および車両の走行安全性を向上させることができる。
また、フィードバック制御部22は、例えば、視線検出部23から出力される操作者の視線方向の検出結果に基づき、操作者の視線方向が表示画面12aに向けられているか否かを判定し、この判定結果に応じてフィードバックの実行有無を判定する。
例えば、フィードバック制御部22は、操作者の視線方向が表示画面12aに向けられていないと判定した場合にはフィードバックを実行し、操作者の視線方向が表示画面12aに向けられていると判定した場合にはフィードバックの実行を停止する。
これにより、操作者の視線方向が表示画面12aに向けられている場合には、いわば表示によるフィードバックが行なわれることになり、他のフィードバックが不要となり、過剰なフィードバックの実行を防止することができ、操作者に違和感や煩わしさを与えてしまうことを防止することができる。
なお、上述した実施の形態に係る操作装置10において、フィードバック制御部22は、表示画面12a上での操作対象の移動状態量に応じたフィードバック量を生成するとしたが、これに限定されず、さらに、表示画面12a上での操作対象の位置に応じたフィードバック量を生成してもよい。
例えば、フィードバック制御部22は、表示画面12a上の所定位置を基準位置として、この基準位置から離間することに伴いフィードバック量が増大傾向に変化するように設定する。
なお、上述した実施の形態に係る操作装置10において、フィードバック制御部22は、入力操作機器11に対する操作者の入力操作の履歴を記憶し、入力操作の滑らかさや、操作速度などの検知結果から、入力操作機器11に対する入力操作の習熟度や、熟練度を推定し、習熟度や、熟練度が低いほど、フィードバック量を増大させてもよい。
また、上述した実施の形態に係る操作装置10において、フィードバック制御部22は、入力操作機器11に対する操作者の入力操作の履歴を記憶し、入力操作の実行頻度の検知結果に応じて、入力操作の実行頻度が低いほど、フィードバック量を増大させてもよい。
また、上述した実施の形態に係る操作装置10において、フィードバック制御部22は、外部ノイズ(例えば、運転者が聴取可能な音のノイズや、車両振動などに起因して入力操作機器11に作用する振動のノイズなど)の大きさに応じてフィードバック量を変化させてもよい。
また、上述した実施の形態に係る操作装置10において、フィードバック制御部22は、より優先度が高い動作(例えば、各種の警報動作など)により音の出力や振動の発生などの運転者に対する刺激が加えられた場合には、より優先度が低い他の動作のフィードバック量を低減させてもよい。
なお、上述した実施の形態に係る操作装置10において、入力操作機器11は、例えば、タッチパネル、タッチパッド、マウス、トラックボール、ジョイスティック、ペンタブレット、ダイヤルスイッチ、プッシュボタン、ジェスチャー入力機器、遠隔入力機器などであってもよい。
また、上述した実施の形態に係る操作装置10において、表示器12は、例えば車両のダッシュボードの上部に表示画面12aが配置されたダッシュボードディスプレイや、車両のフロントウィンドウ上を表示画面12aとして表示を行なうヘッドアップディスプレイや、車両のインストルメントパネルに表示画面が配置されたマルチインフォメーションディスプレイや、車両のインストルメントパネルの各種計器類付近に表示画面12aが配置されたディスプレイなどであってもよい。
本発明によれば、画面上を注視させることなく操作対象の移動を操作者にフィードバック的に認知させることが可能な操作装置を提供できる。
10 操作装置
11 入力操作機器(入力手段)
11a 操作部
12 表示器
12a 表示画面
16 視線センサ(視線検出手段)
17 外界センサ(障害物検出手段)
22 フィードバック制御部(フィードバック手段、音フィードバック手段、振動フィードバック手段)
23 視線検出部(視線検出手段)
24 障害物検出部(障害物検出手段)

Claims (10)

  1. 操作者により操作可能な操作対象を表示する表示画面と、
    前記表示画面上における前記操作対象の移動方向、前記移動方向への移動速度、および前記移動方向への移動量を操作入力可能な入力手段と、
    前記入力手段による操作入力に伴って前記操作対象が前記表示画面上を移動した場合の移動速度および前記操作対象の前記表示画面上における移動開始前の位置に対する相対的な移動量のうちの少なくとも一方を検出する検出手段と、
    前記検出手段によって検出された前記移動速度および前記移動量のうち少なくとも一方の変化に応じて、前記操作者が前記表示画面に表示される前記操作対象を直接視認せずに認識可能な所定のフィードバックを行なうフィードバック手段と、を備え
    とを特徴とする操作装置。
  2. 前記フィードバック手段は、前記操作対象が、前記表示画面上に設定されている所定の座標に向かうほど前記フィードバックの変化もしくは変化率の少なくともどちらかを増大し、
    更に、前記所定の座標から離間するほど前記フィードバックの変化もしくは変化率の少なくともどちらかを減少させるように前記所定のフィードバックを行なう
    ことを特徴とする請求項1に記載の操作装置。
  3. 前記フィードバック手段は、音を発することで前記フィードバックを行なう音フィードバック手段を有し、
    前記操作対象の移動速度および前記操作対象の移動開始前の前記表示画面上の位置に対する相対的な移動量のうち少なくとも一方が大きくなることにつれて、前記音フィードバック手段から発する前記音の周波数および音量のうち少なくとも一方を増大傾向に変化させる
    ことを特徴とする請求項1に記載の操作装置。
  4. 前記フィードバック手段は、音を発することで前記フィードバックを行なう音フィードバック手段を有し、
    前記操作対象の移動方向と対応するように前記操作対象の移動方向の変化に応じて前記音の音像を変化させる
    ことを特徴とする請求項1に記載の操作装置。
  5. 前記表示画面および前記フィードバック手段は車両に搭載され、
    前記フィードバック手段は、音を発することで前記フィードバックを行なう音フィードバック手段を有し、
    前記入力手段は、前記車両の運転者によって操作可能な車両室内の所定位置に配置され、前記車両に接近する障害物が存在する方向を検出する障害物検出手段を備え、
    前記音フィードバック手段は、前記障害物検出手段により前記車両に接近する前記障害物が検出された場合には、前記障害物検出手段により検出された前記障害物が存在する方向の音像で前記操作対象の移動に応じて発する前記音とは異なる音を発する
    ことを特徴とする請求項1に記載の操作装置。
  6. 前記フィードバック手段は、前記入力手段に振動を伝達することで前記フィードバックを行なう振動フィードバック手段を有し、
    前記操作対象の移動速度および前記操作対象の移動開始前の前記表示画面上の位置に対する相対的な移動量のうち少なくとも一方が大きくなることにつれて、前記振動フィードバック手段により前記入力手段に伝達される前記振動の周波数および振幅のうち少なくとも一方を増大傾向に変化させる
    ことを特徴とする請求項1に記載の操作装置。
  7. 前記操作者の視線方向を検出すると共に、前記検出された視線方向が前記表示画面に向けられているか否かを判定する視線検出手段をさらに備え、
    前記フィードバック手段は、前記視線検出手段により前記操作者の視線方向が前記表示画面に向けられていないと判定された場合には前記フィードバックを実行し、前記視線検出手段により前記操作者の視線方向が前記表示画面に向けられていると判定された場合には前記フィードバックを実行しない
    ことを特徴とする請求項1に記載の操作装置。
  8. 前記表示画面は、車両室内に搭載されるインストルメントパネルの上面よりも下方に配置されるディスプレイであり、
    前記入力手段は、前記車両の運転者によって操作可能な前記車両室内の所定位置に配置された略平面状の操作部を有し、前記操作部に対する前記運転者の手指の接触位置を検出し、該検出の結果に応じて前記操作対象に対する操作入力を行なう
    ことを特徴とする請求項1に記載の操作装置。
  9. 前記フィードバック手段は、前記入力手段に対する入力操作の滑らかさ又は操作速度から前記入力手段に対する前記入力操作の習熟度を推定し、該習熟度が低いほど、フィードバック量を増大させることを特徴とする請求項1に記載の操作装置。
  10. 前記入力手段に対する前記操作者の入力操作の履歴を記憶する記憶手段をさらに備え、前記フィードバック手段は、前記入力操作の実行頻度が低いほど、フィードバック量を増大させることを特徴とする請求項1に記載の操作装置。
JP2013507211A 2011-03-30 2012-01-13 操作装置 Expired - Fee Related JP5563153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507211A JP5563153B2 (ja) 2011-03-30 2012-01-13 操作装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011076271 2011-03-30
JP2011076271 2011-03-30
PCT/JP2012/050568 WO2012132495A1 (ja) 2011-03-30 2012-01-13 操作装置
JP2013507211A JP5563153B2 (ja) 2011-03-30 2012-01-13 操作装置

Publications (2)

Publication Number Publication Date
JPWO2012132495A1 JPWO2012132495A1 (ja) 2014-07-24
JP5563153B2 true JP5563153B2 (ja) 2014-07-30

Family

ID=46930263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507211A Expired - Fee Related JP5563153B2 (ja) 2011-03-30 2012-01-13 操作装置

Country Status (5)

Country Link
US (1) US20130293466A1 (ja)
EP (1) EP2693311A4 (ja)
JP (1) JP5563153B2 (ja)
CN (1) CN103314342A (ja)
WO (1) WO2012132495A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6269480B2 (ja) * 2012-04-06 2018-01-31 株式会社ニコン データ処理装置、及びデータ処理プログラム
JP5763605B2 (ja) * 2012-11-05 2015-08-12 レノボ・シンガポール・プライベート・リミテッド 情報入力装置及びその音声出力方法
JP6003568B2 (ja) * 2012-11-19 2016-10-05 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
JP6304932B2 (ja) * 2013-03-12 2018-04-04 オリンパス株式会社 情報機器及び情報伝達方法
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US9342147B2 (en) * 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
JP6497158B2 (ja) * 2014-05-16 2019-04-10 株式会社リコー 表示装置、移動体
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
JP6069282B2 (ja) * 2014-10-30 2017-02-01 本田技研工業株式会社 車両用操作装置
CN104834406B (zh) * 2015-05-29 2018-09-18 京东方科技集团股份有限公司 一种集成触摸功能的显示装置及其驱动方法
CN106293031B (zh) 2015-06-04 2019-05-21 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106294911B (zh) 2015-06-04 2019-09-10 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106296796B (zh) * 2015-06-04 2019-08-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
JP6705470B2 (ja) * 2018-06-06 2020-06-03 株式会社Jvcケンウッド 記録再生装置、記録再生方法、およびプログラム
JP2020166831A (ja) * 2019-03-26 2020-10-08 株式会社東海理化電機製作所 制御装置、システム、及びプログラム
JP2020166841A (ja) * 2019-03-26 2020-10-08 株式会社東海理化電機製作所 制御装置、システム、及びプログラム
US11947869B2 (en) 2019-04-01 2024-04-02 Sony Group Corporation Information processing device, information processing method, and program
CN112270910A (zh) * 2020-11-26 2021-01-26 深圳市艾比森光电股份有限公司 显示屏的控制方法、控制装置及显示屏

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61240317A (ja) * 1985-04-17 1986-10-25 Matsushita Electric Ind Co Ltd 簡易入力装置
JPH11259202A (ja) * 1998-03-12 1999-09-24 Honda Motor Co Ltd 習熟度判定手段を有する対話型コンピュータ・システム
JP2000250677A (ja) * 1999-03-02 2000-09-14 Toshiba Corp マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
JP2005507112A (ja) * 2001-10-22 2005-03-10 アップル・コンピューター・インコーポレーテッド 加速されたスクロールを行う方法および装置
JP2006301994A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 操作反応出力装置
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2009075861A (ja) * 2007-09-20 2009-04-09 Panasonic Corp 入力装置および入力システム
JP2010074258A (ja) * 2008-09-16 2010-04-02 Sony Corp 表示装置及び表示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
US6297818B1 (en) * 1998-05-08 2001-10-02 Apple Computer, Inc. Graphical user interface having sound effects for operating control elements and dragging objects
US6532005B1 (en) * 1999-06-17 2003-03-11 Denso Corporation Audio positioning mechanism for a display
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US7218313B2 (en) * 2003-10-31 2007-05-15 Zeetoo, Inc. Human interface system
US20080253592A1 (en) * 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20100134408A1 (en) * 2007-05-25 2010-06-03 Palsbo Susan E Fine-motor execution using repetitive force-feedback
US8253686B2 (en) * 2007-11-26 2012-08-28 Electronics And Telecommunications Research Institute Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
KR101486343B1 (ko) * 2008-03-10 2015-01-26 엘지전자 주식회사 단말기 및 그 제어 방법
US20100236843A1 (en) * 2009-03-20 2010-09-23 Sony Ericsson Mobile Communications Ab Data input device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61240317A (ja) * 1985-04-17 1986-10-25 Matsushita Electric Ind Co Ltd 簡易入力装置
JPH11259202A (ja) * 1998-03-12 1999-09-24 Honda Motor Co Ltd 習熟度判定手段を有する対話型コンピュータ・システム
JP2000250677A (ja) * 1999-03-02 2000-09-14 Toshiba Corp マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
JP2005507112A (ja) * 2001-10-22 2005-03-10 アップル・コンピューター・インコーポレーテッド 加速されたスクロールを行う方法および装置
JP2006301994A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 操作反応出力装置
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2009075861A (ja) * 2007-09-20 2009-04-09 Panasonic Corp 入力装置および入力システム
JP2010074258A (ja) * 2008-09-16 2010-04-02 Sony Corp 表示装置及び表示方法

Also Published As

Publication number Publication date
US20130293466A1 (en) 2013-11-07
EP2693311A1 (en) 2014-02-05
CN103314342A (zh) 2013-09-18
JPWO2012132495A1 (ja) 2014-07-24
EP2693311A4 (en) 2014-09-17
WO2012132495A1 (ja) 2012-10-04

Similar Documents

Publication Publication Date Title
JP5563153B2 (ja) 操作装置
US10394375B2 (en) Systems and methods for controlling multiple displays of a motor vehicle
US9671867B2 (en) Interactive control device and method for operating the interactive control device
US20160132126A1 (en) System for information transmission in a motor vehicle
JP2021166058A (ja) 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
US20180232057A1 (en) Information Processing Device
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
JP5968573B2 (ja) 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US20200081616A1 (en) Operation apparatus
JP4566596B2 (ja) 操作指示装置
WO2014171096A1 (ja) 車載機器の制御装置、車載機器
KR20130076215A (ko) 차량의 영상 변화 알림 장치
JP2016149094A (ja) 車両用情報処理装置
KR20150056322A (ko) 헤드업 디스플레이의 메뉴 제어 장치 및 방법
US20230364992A1 (en) System for recognizing gesture for vehicle and method for controlling the same
US20220392320A1 (en) Tactile presentation device and tactile presentation method
JP2022085518A (ja) 車両用表示装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140611

R150 Certificate of patent or registration of utility model

Ref document number: 5563153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees