JP6406088B2 - 操作システム - Google Patents

操作システム Download PDF

Info

Publication number
JP6406088B2
JP6406088B2 JP2015063292A JP2015063292A JP6406088B2 JP 6406088 B2 JP6406088 B2 JP 6406088B2 JP 2015063292 A JP2015063292 A JP 2015063292A JP 2015063292 A JP2015063292 A JP 2015063292A JP 6406088 B2 JP6406088 B2 JP 6406088B2
Authority
JP
Japan
Prior art keywords
line
sight
command
selection
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015063292A
Other languages
English (en)
Other versions
JP2016182857A5 (ja
JP2016182857A (ja
Inventor
重明 西橋
重明 西橋
浩之 小暮
浩之 小暮
伊藤 秀樹
秀樹 伊藤
徹也 登丸
徹也 登丸
佳行 津田
佳行 津田
拓也 大杉
拓也 大杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015063292A priority Critical patent/JP6406088B2/ja
Priority to CN201680016796.7A priority patent/CN107428298A/zh
Priority to PCT/JP2016/001199 priority patent/WO2016152047A1/ja
Priority to DE112016001374.4T priority patent/DE112016001374T5/de
Priority to US15/554,844 priority patent/US10317996B2/en
Publication of JP2016182857A publication Critical patent/JP2016182857A/ja
Publication of JP2016182857A5 publication Critical patent/JP2016182857A5/ja
Application granted granted Critical
Publication of JP6406088B2 publication Critical patent/JP6406088B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • B60K2360/146
    • B60K2360/1464
    • B60K2360/149
    • B60K2360/21
    • B60K35/81
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Description

本発明は、操作デバイスと視線検知を連携させた操作システムに関する。
近年では、ユーザの視線方向を検知する視線検知センサの開発が進んできている(特許文献1、2参照)。これによれば、所望する内容で機器を作動させたい場合に、視線を移動させるだけで上記内容を機器に指令できる。
特許第5588764号公報 特開2014−174598号公報
しかしながら、上記従来技術を実際に具現化しようとすると、次の問題が生じることを本発明者らは見出した。すなわち、機器の各々に関連付けて複数の視線領域を予め設定しておき、指令したい機器に関連付けられた視線領域に視線を合わせた後、その視線領域から視線を外すと、指令が解除されたり他の指令が実行されたりする等、所望する内容の指令を維持できなくなる。そして、上記視線領域に再び視線を合わせることを要するので、その手間が煩わしい。
本発明は、上記問題を鑑みてなされたもので、その目的は、機器に対する指令の容易性向上を図った操作システムを提供することにある。
ここに開示される発明は上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものであって、発明の技術的範囲を限定するものではない。
開示される発明のひとつは、ユーザにより手動操作され、複数の機器(51、52、53、54)のうち選択された指令対象機器に対して作動内容を指令する操作デバイス(20)と、機器の各々に関連付けて設定された複数の視線領域(41a、42a、43a、44a、62、63、64)、および視線検知センサ(30)により検知されたユーザの視線方向に基づき、視線方向にある視線領域に関連付けられた機器を指令対象機器として選択する選択手段(91a)と、指令対象機器が選択されている状態で、複数の視線領域のいずれからも外れた位置に視線方向が変化した場合であっても、選択を維持させる選択維持手段(91b)と、指令対象機器が選択されている状態で、複数の視線領域のいずれからも外れた位置に視線方向が変化した場合に、操作デバイスによる指令を制限する制限手段(91d)と、を備えることを特徴とする。
この発明によれば、選択されている指令対象機器に関連付けられた視線領域から視線を外す毎に、その選択が解除されることを回避できる。よって、視線を外す毎に上記視線領域に再び視線を合わせるといった手間が生じる機会を減らすことができ、さらに、視線を外した状態で操作デバイスを操作して指令することも可能になる。以上により、上記発明によれば、機器に対する指令の容易性向上を図ることができる。
本発明の第1実施形態において、操作デバイスおよび視線検知センサの車両搭載位置を示す斜視図。 図1に示す表示装置の表示内容とユーザの視線方向との関係を示す図。 図1に示す操作デバイス、近接センサ、視線検知センサおよび表示装置等を示す制御ブロック図。 図3のマイコンによる制御の手順を示すフローチャート。 本発明の第2実施形態において、操作デバイスおよび視線検知センサの車両搭載位置を示す斜視図。
以下、図面を参照しながら発明を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。
(第1実施形態)
図1は、車両10の室内から車両前方側を見た斜視図である。図示されるように、車室内のうちフロントウインドシールド11の下方には、樹脂製のインストルメントパネル12が設置されている。インストルメントパネル12は、水平方向に拡がる水平部12aと、水平部12aから上方に突出する突出部12bと、水平部12aから車両後方側に延びる延出部12cと、を備える。突出部12bは、車両後方側に向けて開口する開口部を有する形状であり、その開口部には、複数(図1の例では4つ)の表示装置41、42、43、44が配置されている。これらの表示装置41、42、43、44は、車両10の左右方向(図1の左右方向)に1列に並べて配置されている。
表示装置41、42、43、44は、液晶パネルおよびバックライトを備えて構成されており、複数の表示装置41、42、43、44は同一の形状および大きさである。各々の液晶パネルの表示面が車両左右方向に連続して視認されるように、つまり左右方向に延びる1つの表示面として視認されるように、複数の表示装置41、42、43、44は隣接して配置されている。インストルメントパネル12の正面視において、中央右側に配置された表示装置を第1表示装置41、中央左側に配置された表示装置を第2表示装置42、右端に配置された表示装置を第3表示装置43、左端に配置された表示装置を第4表示装置44と呼ぶ。
図2に示すように、表示装置41、42、43、44の液晶パネルには、後述する各種の機器(図3参照)の作動内容に応じた情報を表示する表示領域が設定されている。この表示領域は、機器に関連付けて設定された視線領域41a、42a、43a、44aとして、予め設定されている。
図3に示すように、車両10にはナビ装置51、空調装置52、右側電子ミラー53、左側電子ミラー54、図示しないオーディオ装置等の機器が搭載されている。ナビ装置51は、車両10の走行をナビゲートする装置である。空調装置52は車室内の空調を制御する装置である。右側電子ミラー53は、車両10の右側に位置する他車両や歩行者等、車外の物体を撮影するカメラと、カメラの撮影向きを制御するアクチュエータとを備える。左側電子ミラー54は、車両10の左側に位置する車外の物体を撮影するカメラと、そのカメラの撮影向きを制御するアクチュエータとを備える。
第1表示装置41の視線領域41aには、ナビ装置51の作動内容に応じた情報が表示される。例えば、地図情報、車両10の現在位置情報、目的地の位置情報、走行経路情報等が表示される。さらに、第1表示装置41のうち視線領域41a以外の領域である枠領域41bには、強調表示枠が表示される。枠領域41bは、視線領域41aを取り囲む環状に設定されている。
第2表示装置42の視線領域42aには、空調装置52の作動内容に応じた情報が表示される。例えば、空調風の温度、風量、吹出口等の情報が表示される。さらに、第2表示装置42のうち視線領域42a以外の領域であるメータ領域42b、42cには、車速計およびバッテリ電力残量計が表示される。これらのメータ領域42b、42cおよび視線領域42aは、車両左右方向に1列に並べて配置されており、2つのメータ領域42b、42cの間に視線領域42aは配置されている。
第3表示装置43の視線領域43aには、右側電子ミラー53の作動内容に応じた情報、つまりアクチュエータで制御された向きのカメラで撮影された映像が表示される。さらに、第3表示装置43のうち視線領域43a以外の領域である他領域43b、43cには、カメラで撮影された映像とは異なる画像(例えば黒塗り画像)を表示させる。第1表示装置41の視線領域41a、第3表示装置43の視線領域43aおよび他領域43bは、車両左右方向に1列に並べて配置されており、2つの視線領域41a、43aの間に他領域43bが配置されている。これにより、2つの視線領域41a、43aは、車両左右方向において所定間隔以上互いに離間して配置されることとなる。
第4表示装置44の視線領域44aには、左側電子ミラー54の作動内容に応じた情報、つまりアクチュエータで制御された向きのカメラで撮影された映像が表示される。さらに、第4表示装置44のうち視線領域44a以外の領域である他領域44b、44cには、カメラで撮影された映像とは異なる画像(例えば黒塗り画像)を表示させる。第2表示装置42の視線領域42a、第4表示装置44の他領域44bおよび視線領域44aは、車両左右方向に1列に並べて配置されており、2つの視線領域41a、44aの間に他領域44bが配置されている。これにより、2つの視線領域41a、44aは、車両左右方向において所定間隔以上互いに離間して配置されることとなる。
車両10には、表示装置41、42、43、44および各種機器の他にも、以下に説明する電子制御装置(ECU90)、操作デバイス20および視線検知センサ30が搭載されている。本実施形態に係る操作システムは、操作デバイス20、複数の表示装置41〜44、およびECU90を備える。操作デバイス20は、ユーザにより手動操作され、複数の機器のうち選択された指令対象機器に対して作動内容を指令する。この選択は、視線検知センサ30およびECU90により為される。
視線領域41a、42a、43a、44aは、機器の各々に関連付けて設定されている。具体的には、第1表示装置41の視線領域41aにはナビ装置51が関連付けて設定されている。第2表示装置42の視線領域42aには空調装置52が関連付けて設定されている。第3表示装置43の視線領域43aには右側電子ミラー53が関連付けて設定されている。第4表示装置44の視線領域44aには左側電子ミラー54が関連付けて設定されている。視線検知センサ30により検知された視線方向がいずれかの視線領域にある場合、該当する視線領域に関連付けられた機器が選択される。
操作デバイス20は、延出部12cに配置されており、かつ、車両10の運転者(ユーザ)が運転席に座ったままの状態で手が届く位置に配置されている。図1の例では、車両10の走行方向を操作するハンドル13が、車両左右方向の左側に配置されており、操作デバイス20は、ハンドル13に対してその反対側(右側)に配置されている。詳細には、操作デバイス20は、車室内のうち車両左右方向の中央に配置されている。操作デバイス20は、ユーザによりx軸方向、y軸方向およびz軸方向の3方向に操作される。x軸方向は車両左右方向、y軸方向は車両前後方向、z軸方向は上下方向である。つまり、x軸方向およびy軸方向への傾倒操作と、z軸方向への押動操作が可能である。
例えば、図2に示す表示態様では、ナビ装置51が指令対象機器として選択された状態である。この状態で操作デバイス20をx軸方向またはy軸方向に傾倒操作すると、第1表示装置41の視線領域41aに表示されている地図が左右方向または上下方向にスクロール表示される(図2中の矢印参照)。或いは、視線領域41aに表示されている複数のアイコンのうち選択されているアイコンが切り替わる。そして、操作デバイス20をz軸方向へ押動操作すると、選択されているアイコンに確定され、そのアイコンに関連付けられた指定がナビ装置51へ出力される。ナビ装置51は、その指令にしたがって作動し、その作動内容が視線領域41aに表示される。
要するに、操作デバイス20の手動操作には、複数の指令から所望の指令を選択する選択操作、および選択した指令を確定する確定操作が含まれている。そして、図2に示す例では、傾倒操作が選択操作に相当し、押動操作が確定操作に相当する。
インストルメントパネル12の延出部12cには、近接センサ21が取り付けられている。近接センサ21は、検出対象の接近に伴い出力信号を変化させる。ECU90のマイコン91は、近接センサ21から出力された信号の変化に基づき、操作デバイス20にユーザが手を置いた状態であることを検知する。該検知を実行している時のマイコン91は「接触検知手段91c」を提供する。なお、近接センサ21は、検出対象が所定範囲内に接近した場合にオン信号を出力するものであってもよい。この場合の接触検知手段91cは、オン信号を取得した場合に、操作デバイス20にユーザが手を置いた状態であることを検知する。
視線検知センサ30は、インストルメントパネル12のうち運転者の正面に位置する部分に取り付けられた赤外線カメラ、および映像解析用のマイコンを有する。赤外線カメラは運転者の左右の眼球を撮影し、その撮影画像をマイコンが画像解析して運転者の視線方向を演算する。この画像解析は、ECU90が有するマイクロコンピュータ(マイコン91)が実行してもよい。
ECU90のマイコン91は、視線検知センサ30により検知されたユーザの視線方向に基づき、視線方向にある視線領域に対応する機器を指令対象機器として選択する。このように指令対象機器を選択しているマイコン91は、特許請求の範囲に記載の「選択手段91a」に相当する。例えば、図2に示すように視線方向にある視線領域が第1表示装置41の視線領域41aである場合には、その視線領域41aに対応するナビ装置51が指令対象機器として選択手段91aにより選択される。
但し、接触検知手段91cにより操作デバイス20にユーザが手を置いた状態であることが検知されている期間に、視線検知センサ30による視線検知を有効にして、選択手段91aは上記選択を実行する。また、いずれかの機器が指令対象機器として選択されている状態で、複数の視線領域41a、42a、43a、44aのいずれからも外れた位置に視線方向が変化した場合であっても、マイコン91は現状の選択を維持させる。このように機能して選択を維持させているマイコン91は、特許請求の範囲に記載の「選択維持手段91b」に相当する。
マイコン91は、指令対象機器に対応する視線領域から視線が外れている場合に、操作デバイス20による指令を制限する。このように制限している時のマイコン91は特許請求の範囲に記載の「制限手段91d」に相当する。例えば、制限手段91dは、操作デバイス20の傾倒操作(選択操作)による指令を有効にさせつつ、押動操作(確定操作)による指令を無効にする。さらに制限手段91dは、指令対象機器に対応する視線領域から所定時間以上視線が外れている場合に、操作デバイス20による指令を無効にする。つまり、選択操作および確定操作のいずれについても無効にする。
図3に示す振動デバイス81(報知装置)は、ステアリングや運転席等に取り付けられてユーザに振動を感じさせる。スピーカ82(報知装置)は、警告音や音声等を出力する。例えば、上述した選択が確定された場合や選択が変更された場合等の各種状態を、振動や警告音、音声等によりユーザに報知する。
マイコン91は、制限手段91dにより指令が制限されている場合に、その制限している旨をユーザに報知するように振動デバイス81(報知装置)やスピーカ82(報知装置)の作動を制御する。このように制御している時のマイコン91は特許請求の範囲に記載の「報知制御手段91e」に相当する。例えば、制限手段91dにより制限されている場合に、運転席やステアリング等に取り付けられた振動デバイス81を作動させたり、上記制限の旨をスピーカ82で音声案内したりする。
図4は、マイコン91により所定の演算周期で繰返し実行される処理の手順を示すフローチャートである。先ずステップS10において、近接センサ21による接触検知の有無を判定する。接触検知が有ると判定された場合、操作デバイス20にユーザが手を置いていると推定し、ユーザが操作デバイス20による機器の指令の意思があるとみなして次のステップS11に進む。ステップS11では、複数の視線領域のいずれかをユーザが見ているか否か、つまり視線検知センサ30により検知された視線方向に視線領域が有るか否かを判定する。具体的には、複数の視線領域41a、42a、43a、44aのいずれかが視線方向に位置しているか否かを判定する。
視線領域への視線が有ると判定された場合、視線の変更が有るか否かを判定する。具体的には、現在の視線が有る視線領域が、現在選択されている機器に対応する視線領域とは異なる場合に、視線変更有りと判定する。なお、現在、いずれの機器も選択されていない場合には、視線変更なしと判定する。
視線変更有りと判定した場合、続くステップS13において、視線変更されている時間が所定時間以上経過したか否かを判定する。ステップS13にて所定時間以上経過したと判定した場合、或いはステップS12にて視線変更なしと判定した場合には、次のステップS14に進む。ステップS14では、視線方向にある視線領域に対応する機器を、指令対象機器として選択する。
ステップS13にて所定時間以上経過していないと判定されれば、ステップS14による選択を実行することなく処理を終了してステップS10に戻る。また、ステップS11において、複数の視線領域のいずれをもユーザが見ていないと判定された場合、ステップS15において、現在選択されている機器の選択を維持させる。例えば、指令対象機器に対応する視線領域から目を離して、フロントウインドシールド11を介して車両10の前方に視線を移した場合には、機器の選択が維持される。
続くステップS16では、複数の視線領域のいずれからも外れた位置に視線方向が所定時間以上あるか否かを判定する。所定時間経過したと判定された場合、続くステップS17において、操作デバイス20の全ての操作を無効にする。具体的には、傾倒操作(選択操作)および押動操作(確定操作)のいずれによる指令をも無効にする。ステップS16にて所定時間経過していないと判定された場合、続くステップS18において、操作デバイス20の一部の操作を無効にする。具体的には、傾倒操作(選択操作)による指令を有効にしつつ、押動操作(確定操作)による指令を無効にする。
続くステップS19では、ステップS17またはステップS18にて指令を無効にしている旨をユーザに報知するように、振動デバイス81およびスピーカ82の少なくとも一方を作動させる。
以上により、本実施形態によれば、複数の機器のうち選択された指令対象機器に対して作動内容を指令する操作デバイス20に加え、選択手段91aおよび選択維持手段91bを備える。選択手段91aは、視線検知センサ30により検知されたユーザの視線方向に基づき、視線方向にある視線領域41a、42a、43a、44aに関連付けられた機器を指令対象機器として選択する。選択維持手段91bは、指令対象機器が選択されている状態で、複数の視線領域41a、42a、43a、44aのいずれからも外れた位置に視線方向が変化した場合であっても、上記選択を維持させる。
これによれば、選択されている指令対象機器に関連付けられた視線領域から視線を外す毎に、その選択が解除されることを回避できる。例えば、第1表示装置41の視線領域41aを見てナビ装置51を選択した状態において、その視線領域41aから目を離して、フロントウインドシールド11越しに車両前方に視線を移した場合であっても、ナビ装置51の選択が維持される。よって、視線を外す毎に視線領域41aに再び視線を合わせてナビ装置51を選択するといった手間が生じる機会を減らすことができ、さらに、視線領域41aから視線を外した状態で操作デバイス20を操作して指令することも可能になる。
さらに本実施形態では、指令対象機器が選択されている状態で、複数の視線領域41a、42a、43a、44aのいずれからも外れた位置に視線方向が変化した場合に、操作デバイス20による指令を制限する制限手段91dを備える。これによれば、視線領域41a、42a、43a、44aから目を離すと、選択は維持されつつも操作デバイス20による指令が制限される。そのため、例えば、作動内容に応じた情報が視線領域41a、42a、43a、44aに表示されている場合において、その表示を見ていないことに起因して誤操作した場合であっても、制限手段91dにより指令が制限される。よって、誤操作により機器が意図に反した作動をすることを抑制できる。
さらに本実施形態では、制限手段91dは、操作デバイス20の選択操作による指令を有効にさせつつ確定操作による指令を無効にする。これによれば、視線領域41a、42a、43a、44aから目を離しても、選択は維持され、かつ、選択操作による指令が可能になる。よって、例えば、作動内容に応じた情報が視線領域41a、42a、43a、44aに表示されている場合において、その表示を見ない状態でのブラインド操作を可能にして操作性を向上できる。それでいて、確定操作による指令については無効にするので、誤操作により機器が意図に反した作動をすることを抑制できる。
さらに本実施形態では、指令対象機器が選択されている状態で、複数の視線領域41a、42a、43a、44aのいずれからも外れた位置に視線方向が所定時間以上ある場合に、選択操作および確定操作による指令を無効にする。ここで、ユーザが視線領域41a、42a、43a、44aを所定時間以上見ていない場合には、操作デバイス20を操作して機器を指令する意思が無い可能性が高い。よって、このような場合に、選択操作および確定操作による指令を無効にする本実施形態によれば、誤操作により機器が意図に反した作動をすることを、より一層抑制できる。
さらに本実施形態では、制限手段91dにより指令が制限されている場合に、その制限している旨をユーザに報知するように振動デバイス81やスピーカ82の作動を制御する、報知制御手段91eを備える。これによれば、指令が制限されていることに気付いたユーザに操作システムの故障と誤解されるおそれを低減できる。
さらに本実施形態では、視線領域41a、42a、43a、44aは、機器の各々に設けられ、作動内容に応じた情報を表示する表示領域に設定されている。これによれば、視線領域に表示される作動内容に応じた情報を見ながら操作デバイス20を手動操作することで、その作動内容の変更等を指令できる。例えば、図2の例ではナビ装置51が指令対象機器として選択されており、視線領域41aに表示されている地図情報を見ながら、操作デバイス20を手動操作して地図情報をスクロールできる。よって、複雑な作動内容の指令を要する機器であっても容易に指令できる。
それでいて、複数の機器のいずれを指令対象機器にするかの選択については、所望する機器に対応する視線領域を見つめるだけで選択できる。例えば、ナビ装置51が指令対象機器として選択された図2の状態で、第2表示装置42の視線領域42aへ視線を移すと、第2表示装置42に対応する機器(空調装置52)が指令対象機器として選択される。要するに、指令対象機器の選択といった簡単な指令については視線検知センサ30を用いて実現させ、作動内容の設定といった複雑な指令については操作デバイス20を用いて実現させる。以上により、本実施形態によれば、複数の機器の作動内容を共通の操作デバイス20で指令することを実現させつつ、機器に対する指令の容易性向上を図ることができる。
さらに本実施形態では、操作デバイス20にユーザが触れていることを検知する接触検知手段91cを備え、選択手段91aは、接触検知手段91cにより接触検知されている期間に、視線検知センサ30による視線検知を有効にして選択を実行する。これによれば、操作デバイス20にユーザが触れていない時、つまりユーザが機器へ指令する意思が無い時に、視線方向にある視線領域の機器が選択されるといった煩わしさを回避できる。
さらに本実施形態では、複数の視線領域のうち指令対象機器に対応する視線領域とは異なる視線領域への視線移動が視線検知センサ30により検知された場合に、その視線移動が所定時間以上継続しなければ、指令対象機器の選択を維持させる。これによれば、他の視線領域を短時間見るだけであれば選択が変更されなくなるので、指令対象機器の選択を変更させることなく他の視線領域を見られるようになる。
さらに本実施形態では、指令対象機器に対応する視線領域が選択手段91aにより選択されている旨を報知する枠領域41b(選択報知表示部)を備える。これによれば、現在選択されている指令対象機器がいずれであるのかをユーザが認識しやすくなるので、機器に対する指令の容易性をより一層向上できる。
(第2実施形態)
上記第1実施形態では、各々の表示装置41、42、43、44の表示領域が、機器と関連付けられた視線領域41a、42a、43a、44aとして設定されている。これに対し本実施形態では、以下に説明する操作パネルの位置が、機器と関連付けられた視線領域62、63、64(図5参照)として、予め設定されている。
第1操作パネル、第2操作パネルおよび第3操作パネルは、インストルメントパネル12のうち表示装置41、42、43、44の下方部分に配置されている。第1操作パネルは、空調装置52に関連付けられた視線領域として設定されており、空調装置52の作動内容を指令するスイッチやダイヤル等の操作部材62aを備える。第2操作パネルは、右側電子ミラー53に関連付けられた視線領域として設定されており、右側電子ミラー53の作動内容を指令するスイッチ等の操作部材63aを備える。第3操作パネルは、左側電子ミラー54に関連付けられた視線領域として設定されており、左側電子ミラー54の作動内容を指令するスイッチ等の操作部材64aを備える。これらの操作部材62a、63a、64aは、ユーザにより手動操作されるものである。
各々の機器は、操作部材62a、63a、64aの操作に基づき作動する。また、選択手段91aにより選択された機器については、操作デバイス20の操作に基づき作動する。そして、本実施形態においても、上記第1実施形態と同様にして図3に示す構成を備え、上記第1実施形態と同様にして図4の処理を実行する。このように、視線領域41a、42a、43a、44aが表示装置の表示領域でない場合であっても、本発明に係る操作システムを適用できる。
(他の実施形態)
以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。
図1および図2に示す近接センサ21は、非接触式および接触式のいずれであってもよい。また、磁場の変化を検出する方式のセンサでもよいし、静電容量の変化を検出する方式のセンサでもよい。近接センサ21の取り付け位置は延出部12cに限らず、例えば操作デバイス20に近接センサ21を取り付けてもよい。
近接センサ21を廃止して、操作デバイス20が操作されることにより生じる入力信号が出力されている場合に、接触検知手段91cは接触していると検知してもよい。例えば、操作デバイス20の傾倒操作または押動操作が為されていることに基づいて、接触検知手段91cは、操作デバイス20にユーザが手を置いた状態であると検知してもよい。
上記実施形態では、視線領域41a、42a、43a、44aから目を離している場合に、操作デバイス20の選択操作による指令を有効にさせつつ確定操作による指令を無効にする。これとは逆に、上記の場合に、操作デバイス20の選択操作による指令を無効にさせつつ確定操作による指令を有効にしてもよい。これによれば、例えば赤信号で視線領域41a、42a、43a、44aを見ながら選択操作を行い、その後、青信号に変化した場合に視線領域41a、42a、43a、44aから目を離して確定操作を行う場合に有用である。この種の確定操作の具体例としては、各種スイッチのオンオフ切り替えや、空調装置52の温度設定等が挙げられる。
図1に示す実施形態では、表示装置41、42、43、44が、インストルメントパネル12の開口部に配置されている。これに対し、本発明はこのような配置に限定されるものではなく、例えば、ダッシュボード上に表示装置が配置されていてもよい。
図1に示す実施形態では、複数の表示装置41、42、43、44が車両左右方向に1列に並べて配置されている。これに対し、本発明はこのような配置に限定されるものではなく、例えば、上下方向にずれた位置に複数の表示装置が配置されていてもよい。
図1に示す実施形態では、操作デバイス20がインストルメントパネル12に配置されている。これに対し、本発明はこのような配置に限定されるものではなく、例えば、操作デバイス20がハンドル13に配置されていてもよい。
ECU90(制御装置)が提供する手段および/または機能は、実体的な記憶媒体に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置がハードウェアである回路によって提供される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって提供することができる。
20…操作デバイス、30…視線検知センサ、41a、42a、43a、44a…視線領域、51…ナビ装置(機器)、52…空調装置(機器)、53…右側電子ミラー(機器)、54…左側電子ミラー(機器)、91a…選択手段、91b…選択維持手段。

Claims (4)

  1. ユーザにより手動操作され、複数の機器(51、52、53、54)のうち選択された指令対象機器に対して作動内容を指令する操作デバイス(20)と、
    前記機器の各々に関連付けて設定された複数の視線領域(41a、42a、43a、44a、62、63、64)、および視線検知センサ(30)により検知されたユーザの視線方向に基づき、前記視線方向にある前記視線領域に関連付けられた前記機器を前記指令対象機器として選択する選択手段(91a)と、
    前記指令対象機器が選択されている状態で、複数の前記視線領域のいずれからも外れた位置に前記視線方向が変化した場合であっても、前記選択を維持させる選択維持手段(91b)と、
    前記指令対象機器が選択されている状態で、複数の前記視線領域のいずれからも外れた位置に前記視線方向が変化した場合に、前記操作デバイスによる指令を制限する制限手段(91d)と、
    を備えることを特徴とする操作システム。
  2. 前記手動操作には、複数の指令から所望の指令を選択する選択操作、および選択した指令を確定する確定操作が含まれており、
    前記制限手段は、前記選択操作による指令を有効にさせつつ前記確定操作による指令を無効にすることを特徴とする請求項に記載の操作システム。
  3. 前記手動操作には、複数の指令から所望の指令を選択する選択操作、および選択した指令を確定する確定操作が含まれており、
    前記指令対象機器が選択されている状態で、複数の前記視線領域のいずれからも外れた位置に前記視線方向が所定時間以上ある場合に、前記選択操作および前記確定操作による指令を無効にすることを特徴とする請求項またはに記載の操作システム。
  4. 前記制限手段により指令が制限されている場合に、その制限している旨をユーザに報知するように報知装置(81、82)の作動を制御する、報知制御手段(91e)を備えることを特徴とする請求項のいずれか1つに記載の操作システム。
JP2015063292A 2015-03-25 2015-03-25 操作システム Expired - Fee Related JP6406088B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015063292A JP6406088B2 (ja) 2015-03-25 2015-03-25 操作システム
CN201680016796.7A CN107428298A (zh) 2015-03-25 2016-03-04 操作系统
PCT/JP2016/001199 WO2016152047A1 (ja) 2015-03-25 2016-03-04 操作システム
DE112016001374.4T DE112016001374T5 (de) 2015-03-25 2016-03-04 Betätigungssystem
US15/554,844 US10317996B2 (en) 2015-03-25 2016-03-04 Operation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015063292A JP6406088B2 (ja) 2015-03-25 2015-03-25 操作システム

Publications (3)

Publication Number Publication Date
JP2016182857A JP2016182857A (ja) 2016-10-20
JP2016182857A5 JP2016182857A5 (ja) 2017-02-23
JP6406088B2 true JP6406088B2 (ja) 2018-10-17

Family

ID=56977111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015063292A Expired - Fee Related JP6406088B2 (ja) 2015-03-25 2015-03-25 操作システム

Country Status (5)

Country Link
US (1) US10317996B2 (ja)
JP (1) JP6406088B2 (ja)
CN (1) CN107428298A (ja)
DE (1) DE112016001374T5 (ja)
WO (1) WO2016152047A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017216465A1 (de) * 2017-09-18 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Informationen zu einem Objekt eines Fortbewegungsmittels, System und Automobil
KR102135376B1 (ko) * 2018-01-05 2020-07-17 엘지전자 주식회사 입출력 장치 및 그것을 포함하는 차량
JP7165864B2 (ja) * 2018-09-28 2022-11-07 パナソニックIpマネジメント株式会社 機器制御システム、移動体、機器制御方法及びプログラム
JP7167901B2 (ja) 2019-11-08 2022-11-09 株式会社デンソー 表示装置
DE102019132759A1 (de) * 2019-12-03 2021-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Führen eines Kraftfahrzeugs mit einem Teleoperator,Computerprogrammprodukt und Teleoperationsführungssystem
CN112896074A (zh) * 2019-12-04 2021-06-04 纳恩博(常州)科技有限公司 一种控制方法及装置、车辆、计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159316A (ja) * 1993-12-06 1995-06-23 Nissan Motor Co Ltd 車両用視線方向計測装置
US7742857B2 (en) * 2005-12-07 2010-06-22 Mazda Motor Corporation Automotive information display system
US8406457B2 (en) * 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
JP2010012995A (ja) * 2008-07-04 2010-01-21 Tokai Rika Co Ltd 照明装置
DE102008048825A1 (de) * 2008-09-22 2010-03-25 Volkswagen Ag Anzeige- und Bediensystem in einem Kraftfahrzeug mit nutzerbeeinflussbarer Darstellung von Anzeigeobjekten sowie Verfahren zum Betreiben eines solchen Anzeige- und Bediensystems
US9108513B2 (en) * 2008-11-10 2015-08-18 Volkswagen Ag Viewing direction and acoustic command based operating device for a motor vehicle
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP4837762B2 (ja) * 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
JP5588764B2 (ja) * 2010-06-28 2014-09-10 本田技研工業株式会社 車載機器操作装置
US20120198353A1 (en) * 2011-01-28 2012-08-02 Microsoft Corporation Transferring data using a physical gesture
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
JP5909048B2 (ja) * 2011-03-31 2016-04-26 本田技研工業株式会社 車載入力装置
EP2708420B1 (en) * 2011-06-20 2016-08-17 Honda Motor Co., Ltd. Automotive instrument operating device and alert device
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
JP2014174598A (ja) 2013-03-06 2014-09-22 Denso Corp 車両入力装置
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
JP6033804B2 (ja) * 2014-02-18 2016-11-30 本田技研工業株式会社 車載機器操作装置
JP2017528888A (ja) * 2014-09-25 2017-09-28 フィリップス ライティング ホールディング ビー ヴィ 照明の制御
JP6464869B2 (ja) 2015-03-25 2019-02-06 株式会社デンソー 操作システム
JP6477123B2 (ja) 2015-03-25 2019-03-06 株式会社デンソー 操作システム

Also Published As

Publication number Publication date
US10317996B2 (en) 2019-06-11
WO2016152047A1 (ja) 2016-09-29
US20180046246A1 (en) 2018-02-15
DE112016001374T5 (de) 2017-12-14
JP2016182857A (ja) 2016-10-20
CN107428298A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
JP6464869B2 (ja) 操作システム
JP6406088B2 (ja) 操作システム
JP4758087B2 (ja) 表示装置
JP6477123B2 (ja) 操作システム
US9446712B2 (en) Motor vehicle comprising an electronic rear-view mirror
JP2010215194A (ja) 車載機器の操作装置
JP5456899B2 (ja) 車両用操作装置
JP2007310496A (ja) タッチ操作入力装置
US10967737B2 (en) Input device for vehicle and input method
JP2006264615A (ja) 車両用表示装置
JP4858206B2 (ja) 車載機器の操作支援装置、操作支援方法
JP6156052B2 (ja) 車両用情報処理装置
JP5909048B2 (ja) 車載入力装置
EP3543061B1 (en) Vehicular display device
JP6375715B2 (ja) 視線入力装置
JP5903319B2 (ja) 車両用表示装置
JP4649932B2 (ja) 車両用情報表示装置
JP2012096670A (ja) 入力装置及び入力方法
JP2016149094A (ja) 車両用情報処理装置
JP6520817B2 (ja) 車両用操作装置
JP2006106851A (ja) 車両用情報表示装置
JP2006103358A (ja) 車両用情報表示装置
JP2005313722A (ja) 車載機器の操作表示装置及びその操作表示方法
JP5234608B2 (ja) 動作パラメータ設定装置および動作パラメータ設定方法
JP2014219682A (ja) 表示制御システム及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R151 Written notification of patent or utility model registration

Ref document number: 6406088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees