JP6375715B2 - 視線入力装置 - Google Patents

視線入力装置 Download PDF

Info

Publication number
JP6375715B2
JP6375715B2 JP2014127319A JP2014127319A JP6375715B2 JP 6375715 B2 JP6375715 B2 JP 6375715B2 JP 2014127319 A JP2014127319 A JP 2014127319A JP 2014127319 A JP2014127319 A JP 2014127319A JP 6375715 B2 JP6375715 B2 JP 6375715B2
Authority
JP
Japan
Prior art keywords
line
sight
driver
input device
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014127319A
Other languages
English (en)
Other versions
JP2016006601A (ja
Inventor
佳行 津田
佳行 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014127319A priority Critical patent/JP6375715B2/ja
Priority to DE112015002914.1T priority patent/DE112015002914T5/de
Priority to PCT/JP2015/002861 priority patent/WO2015194123A1/ja
Priority to US15/314,128 priority patent/US10216270B2/en
Publication of JP2016006601A publication Critical patent/JP2016006601A/ja
Application granted granted Critical
Publication of JP6375715B2 publication Critical patent/JP6375715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/658Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the instruments being ergonomically adjustable to the user
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、車両に搭載される視線入力装置に関する。
従来、人が注視する視線位置を検出し、その視線位置によって、電子機器に対する操作指示等の入力を行う技術が提案されている。例えば、特許文献1には、入力項目を表す表示画像の外側領域が含まれるように視線による入力指示部を設定することで、視線入力の操作性や確実性を向上させる技術が開示されている。
特開2000−250699号公報
ところで、自動車のインストルメントパネルやセンターコンソール等に設置された表示装置において視線入力を適用する場合、入力操作の際に運転視界から視線を外して操作対象である画面を直視しなければならず、運転者の負担が大きい。これに対し、特許文献1に記載の技術では、入力指示部のサイズを大きくすることで操作性や確実性を向上しているものの、運転視界から視線を外して画像表示の方を見る必要があることには変わりなく、上記問題を解決することはできない。
本発明は、上記問題を解決するためになされたものである。本発明の目的は、車両に搭載される視線入力装置において、運転者の操作負担を軽減するための技術を提供することにある。
本発明の視線入力装置は、表示手段と、設定手段と、検出手段と、入力制御手段とを備える。表示手段は、車両の運転者に指定させる入力項目を、運転席から視認可能な位置に表示する。設定手段は、表示手段における表示領域から運転者の運転視界側に離隔した位置に、表示手段に表示された入力項目に対応する仮想入力領域を設定する。検出手段は、運転者の視線位置を検出する。入力制御手段は、検出手段により検出された視線位置が、設定手段により設定された仮想入力領域内にある場合、その仮想入力領域に対応付けられた入力項目に応じた入力処理を行う。また、設定手段は、運転者による所定の動作が検知されたことを条件に、仮想入力領域を、運転者が視線を合わせやすい態様に変化させる。
本発明によれば、表示手段に表示されている入力項目に対応する仮想入力領域を、表示手段の表示領域から運転視界の方に離隔させた位置に設定することができる。このようにすることで、運転者が表示装置の画面を直視することなく視線入力を行うことができるので、運転視界からの視線移動が小さくなり、運転者の操作負担を軽減できる。さらに、運転者による所定の動作が検知されたことを条件に、仮想入力領域を運転者が視線を合わせやすい状態に変化させることで、運転者の操作負担を一層軽減できる。
視線入力システムの概略構成を表すブロック図。 視線入力処理の手順を表すフローチャート。 仮想入力領域設定処理の手順を表すフローチャート。 仮想入力領域による視線入力の概要を表す説明図。 仮想入力領域の配置例を表す説明図。 仮想入力領域の機能の一例を表す説明図。 仮想入力領域による視線入力に対するフィードバック動作を表す説明図。 仮想入力領域による視線入力に対するフィードバック動作を表す説明図。
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく、特許請求の範囲に記載した請求項によって特定される発明の範囲を逸脱しない範囲において様々な態様にて実施することが可能である。
[視線入力システムの構成の説明]
図1に例示されるとおり、視線入力システム1は、センタディスプレイ11と、制御部12と、マルチメディアECU13と、エアコンECU14と、視線検出部15と、車両情報入力部16と、提示ユニット17とを備える。
センタディスプレイ11は、自動車の車室内において運転席の前方にあるダッシュボードの運転席と助手席との中間に位置するセンターコンソールに配置される表示装置である。センタディスプレイ11は、例えば液晶ディスプレイ等の表示面を有するカラー表示装置で具現化される。このセンタディスプレイ11は、マルチメディアECU13やエアコンECU14等から送出される情報を表す画像を表示するものである。センタディスプレイ11は、制御部12から出力される表示制御信号に従って、マルチメディアECU13やエアコンECU14に操作指示を与えるためのGUI(Graphical User Interface)画像で構成された操作画面を表示する。このGUI画像とは、例えば、機器を操作するための各種機能が割当てられたアイコンやスイッチ、各種シンボルマーク等からなる文字図形情報である。
制御部12は、図示しないCPU、ROM、RAM、I/O及びこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。この制御部12は、車両に設けられた通信ネットワークを介して、センタディスプレイ11、マルチメディアECU13、エアコンECU14、視線検出部15、車両情報入力部16、及び、提示ユニット17と接続されている。
制御部12は、ROM等に記憶されているプログラムに基づいて、オーディオECU13及びエアコンECU14で動作するアプリケーションが生成する各種操作画面をセンタディスプレイ11に表示させる。そして、制御部12は、視線検出部15により検出される運転者の視線位置に基づいて、操作画面上のアイコンに対応する操作指示の入力を行う視線入力処理を実行する。その際、制御部12は、運転者の動作状況に応じて、センタディスプレイ11の表示面から離隔した仮想入力領域を設定し、その仮想入力領域において、センタディスプレイ11に表示された操作画面に対する視線入力を受付け可能にする。この視線入力処理の詳細な手順については後述する。
マルチメディアECU13は、ナビゲーションシステムや、オーディオ、テレビ、ラジオ、ハンズフリー電話機能等といった情報系のアプリケーションを制御する車載電子制御ユニットである。エアコンECU14は、車両に搭載された空調装置(エアコン)を制御する車載電子制御ユニットである。
本実施形態の視線入力システム1では、視線入力による操作対象として、例えば、オーディオの音量調整や曲送り、ラジオやテレビのチャンネル切替え、電話着信時のハンズフリー応答、エアコンの温度・風量調節といったものを想定している。これらの操作対象は、操作が比較的簡単、かつ操作のミスが車両の走行状態に影響しないものである。
視線検出部15は、運転者の顔を撮像するカメラ(非図示)による運転者の撮像画像を解析することにより、運転者の視線位置を検出する。なお、視線位置を検出する手法については公知であるので、ここでの詳細な説明は省略する。車両情報入力部16は、車両の各部の状態(例えば、車速、アクセル開度、ステアリングの舵角、シフトポジション)を検知するセンサ(非図示)から、車両の各部の状態を表す信号を取得し、制御部12に入力する。提示ユニットは、運転者に対して情報を提示するアクチュエータである。具体的には、車両のステアリングホイールに内蔵された振動装置(非図示)等で具現化される。
[視線入力処理の説明]
制御部12が実行する視線入力処理の手順について、図2のフローチャートを参照しながら説明する。この処理は、各ECU13,14からの表示制御に従ってセンタディスプレイ11に操作画面を表示しているときに実行される処理である。
S100では、制御部12は、視線検出部15による検出結果に基づいて、運転者の視線位置を計測する。S102では、制御部12は、車両情報入力部16を介して車速、アクセル開度、シフトポジションの状態を表す車両情報を取得する。
次のS104では、制御部12は、S100で計測した視線位置、及び、S102で取得した車両情報に基づき、運転者による特定動作が観測されたか否かを判定する。ここで、特定動作とは、図4(a)に例示されるように、運転者がセンタディスプレイ11の操作画面を見ている動作、すなわち、運転者の視線位置がセンタディスプレイ11の表示面上にあることが挙げられる。この他にも、特定動作として、運転者が車両を走行させる運転動作が挙げられる。運転者が車両を走行させる運転動作の具体例としては、車速が0でない、アクセルがオン、シフトポジションがドライブレンジになっているという具合である。なお、S104では、制御部12は、複数の特定動作が観測されたことを条件に肯定判定をする構成であってもよいし、何れか1つの特定動作が観測されたことを条件に肯定判定をする構成であってもよい。
図2のフローチャートの説明に戻る。S104において、運転者による特定動作が観測された場合(S104:YES)、制御部12はS106に進む。S106では、制御部12は、センタディスプレイ11に表示中の操作画面のGUI画像で表される入力項目に対応する仮想的な視線入力領域を設定する(仮想入力領域設定処理)。ここでは、視線入力の容易さを向上する態様で仮想入力領域を設定する。
具体的には、現時点で仮想入力領域が有効になっていない場合、図4(b)に例示されるように、操作画面から運転視界側に離隔した空間に仮想入力領域30を新規に設定する。また、現時点で既に仮想入力領域の設定が有効になっている場合、従前の仮想入力領域よりも視線入力の容易さが向上するように、仮想入力領域の位置や大きさを段階的に変化させる。例えば、仮想入力領域を運転者の基準視線位置に近付けたり、仮想入力領域の範囲を拡大するといった具合である。なお、この仮想入力領域設定処理の詳細な手順については後述する。
一方、S104において、運転者による特定動作が観測されなかった場合(S104:NO)、制御部12はS108に進む。S108では、制御部12は、仮想入力領域による視線入力の容易さを低下させるまでの時間を計時するタイマのカウントに基づき、所定時間が経過したか否かを判定する。所定時間が経過していない場合(S108:NO)、制御部12はS114に進む。一方、所定時間が経過した場合(S108:YES)、制御部12はS110に進む。
S110では、制御部12は、仮想入力領域による視線入力の容易さを低下させるための仮想入力領域設定処理を実行する。具体的には、現時点で有効な仮想入力領域の設定を変更して、視線入力の容易さを段階的に下げる処理を行う。例えば、仮想入力領域を運転者の基準視線位置から遠ざけたり、仮想入力領域の範囲を縮小するといった具合である。また、制御部12は、仮想入力領域による視線入力の容易さを段階的に低下させ、最終的には仮想入力領域を消去する。
次のS112では、制御部12は、タイマのカウントをリセットする。そして、S114では、制御部12は、視線検出部15による検出結果に基づいて、運転者の視線位置と、センタディスプレイ11の表示面及び現時点で有効な仮想入力領域との位置関係を判定する。ここで、運転者の視線位置がセンタディスプレイ11の表示面の範囲内に該当する場合(S114:表示領域内)、制御部12はS116に進む。
S116では、運転者がセンタディスプレイ11を直視している場合に対応する視線入力処理を実行する。具体的には、制御部12は、センタディスプレイ11に表示されている操作画面上において、運転者の視線位置に該当する箇所に配置されているGUI画像に対応する入力項目を選択又は確定する指示を、対応する各ECU13,14に対して送信する。次のS118では、制御部12は、S116においてセンタディスプレイ11に表示された操作画面上で行われた選択指示に対するフィードバックを表す画像を、当該操作画面上に表示する。
一方、図4(c)に例示されるように、運転者の視線位置が仮想入力領域内に該当すると判定された場合(S114:仮想入力領域内)、制御部12はS120に進む。S120では、制御部12は、運転者がセンタディスプレイ11を直視していない場合における視線入力処理を実行する。具体的には、制御部12は、仮想入力領域内において、運転者の視線位置に該当する箇所に対応付けられている入力項目の機能を選択又は確定する指示を、対応する各ECU13,14に対して送信する。
次のS122では、制御部12は、S120において仮想入力領域内で行われた選択指示に対するフィードバックを表す動作を実行する。具体的には、仮想入力領域内で検出された視線位置を表す情報を、表示や振動等を用いて運転者に対して提示する。なお、提示方法の詳細な内容については、後述する。一方、S114において、運転者の視線位置がセンタディスプレイ11の表示面の範囲、及び、仮想入力領域の何れにも該当しないと判定された場合(S114:その他)、制御部12はS124に進む。
S124では、制御部12は、視線入力処理を終了するか否かを判定する。視線入力処理を終了しない場合(S124:NO)、制御部12はS100に戻る。一方、視線入力処理を終了する指示が入力された場合(S124:YES)、制御部12は本処理を終了する。
[仮想入力領域設定処理の説明]
制御部12が実行する仮想入力領域設定処理の手順について、図3のフローチャートを参照しながら説明する。この処理は、上述の視線入力処理(図2参照)のS106,S110において実行される処理である。
S200では、制御部12は、車両情報入力部16を介して車速、ステアリングの舵角の状態を表す車両情報を取得する。S202では、制御部12は、仮想入力領域の位置を決定するための基準となる基準視線位置を決定する。基準視線位置は、運転視界内において運転者が最もよく注視すると想定される基準位置である。
この基準視線位置は、運転席の前方の特定位置に固定的に決定されていてもよいし、車両の走行状態に応じて変位するように定められるものであってもよい。例えば、ステアリングの舵角に応じて、車両が直進する場合は、運転席の正面に基準視線位置を定め、車両が左右に曲がる場合は、曲がる方向に基準視線位置を移動させることが考えられる。
次のS204では、制御部12は、S202で決定した基準視線位置、及び車速等に応じて、仮想入力領域の位置及びサイズを決定する。仮想入力領域の配置としては、図5(a)に例示されるように、センタディスプレイ11の表示面と、基準視線位置とを結ぶ仮想線上の所定位置に設定することが考えられる。
あるいは、図5(b)に例示されるように、基準視線位置を包含する位置に仮想入力領域を配置する構成であってもよい。また、仮想入力領域のサイズについては、固定的に決められていてもよいし、基準のサイズから状況に応じて変更できるようになっていてもよい。また、仮想入力領域の形状は、例えば、センタディスプレイ11の表示面の形状と相似とすることが考えられる。
なお、仮想入力領域の位置及びサイズを決定するにあたっては、視線入力の容易さを向上する場合(S106)と、視線入力の容易さを低下させる場合(S110)とで、下記のように制御が異なる。S106において、視線入力の容易さを向上する態様で仮想入力領域を設定する場合、図5(c)に例示されるように、現時点の仮想入力領域よりも仮想入力領域を基準視線位置に近付けたり、仮想入力領域の範囲を拡大する。このとき、仮想入力領域を基準視線位置に近付ける度合や、仮想視線領域を拡大する度合を、車速に応じて変化させる構成であってもよい。具体的には、車速が大きいほど、仮想入力領域を基準視線位置に大きく近付けたり、仮想視線領域をより大きく広げることで、視線入力の容易さを一層向上するといった具合である。
一方、S110において、仮想入力領域による視線入力の容易さを低下させる場合、現時点での仮想入力領域よりも基準視線位置から遠ざけたり、仮想入力領域の大きさを縮小したりする。図3のフローチャートの説明に戻る。S206では、制御部12は、S204で決定した位置・サイズに基づいて、仮想入力領域を有効に設定する。ここで、制御部12は、センタディスプレイ11に表示されている操作画面に含まれる入力項目を、仮想入力領域の対応する位置に割当てる。
[仮想入力領域の機能に関する説明]
センタディスプレイ11の表示面から離隔した空間に設定される仮想入力領域には、センタディスプレイ11に表示される操作画面に含まれるGUI画像と共通の入力項目が割当てられる。その際、センタディスプレイ11に表示されている操作画面における全ての入力項目が、仮想入力領域に割当てられてもよい。あるいは、仮想入力領域による視線入力の容易さを向上する観点から、図6(a)に例示されるように、センタディスプレイ11に表示される操作画面から入力項目を一部削減して、仮想入力領域に割当てる構成であってもよい。
図6(a)の事例では、センタディスプレイ11に3つのアイコン11a,11b,11cからなる入力項目が表示されている状況を想定している。アイコン11aは、例えば、オーディオの音量を上げるボタンであり、アイコン11bは、オーディオの動作モードを変更するボタンであり、アイコン11cは、オーディオの音量を下げるボタンとする。
これに対し、仮想入力領域30には、センタディスプレイ11に表示されているアイコン11a,11cそれぞれに対応する入力項目30a,30cのみが割当てられているものとする。すなわち、この仮想入力領域30では、センタディスプレイ11に表示されているアイコン11bに対応する入力項目が削除されており、オーディオの音量を上げ下げする操作入力のみが可能となっている。
あるいは、仮想入力領域による視線入力の誤操作を防止する観点から、図6(b)に例示されるように、仮想入力領域において入力項目に対する操作に制限を設けることが考えらえる。具体的には、センタディスプレイ11上の操作画面では、アイコン11a〜11cの各入力項目を選択する操作と、選択した入力項目の実行を決定する操作との両方を実行可能とする。一方、仮想入力領域30では、割当てられている各入力項目30a〜30cを選択する操作のみ可能にする。その場合、仮想入力領域30における視線入力によって選択された入力項目の実行を決定する操作は、ステアリングホイール21に設けられた手動スイッチ22によって受付けることが考えられる。
[仮想入力領域に対する入力フィードバックに関する説明]
上述の視線入力処理処理(図2参照)のS122では、制御部12は、仮想入力領域内において検出された視線位置を表す情報を運転者に対して提示する。その具体的な事例について、図7,8を参照しながら説明する。
図7(a)の事例は、仮想入力領域30内の視線位置を、センタディスプレイ11の画面全体の表示色で通知するものである。具体的には、仮想入力領域30は、左側、中央、右側等の部分領域に区分けされており、その部分領域ごとに異なる対応色が予め定められているものとする。そして、仮想入力領域30内で視線位置が検出された場合、制御部12は、検出された視線位置に該当する部分領域に割当てられている対応色を、センタディスプレイ11に表示する。その際、センタディスプレイ11に表示された対応色が、運転者の周辺視野でも容易に認識できるように、画面全体に対応色を表示するようにするとよい。
図7(b)の事例は、仮想入力領域30内の視線位置を、ステアリングホイール21の把持部に内蔵された振動装置(提示ユニット17の一例)が発生する振動で通知するものである。具体的には、仮想入力領域30は、左側、中央、右側等の部分領域に区分けされているものとする。そして、仮想入力領域30内で視線位置が検出された場合、制御部12は、検出された視線位置に該当する部分領域の位置に応じて、ステアリングホイール21の対応する部分で振動を発生させる。例えば、仮想入力領域30の右側部分で視線位置が検出された場合、制御部12は、ステアリングホイール21の右側部分のみを振動させる。また、仮想入力領域30の左側部分で視線位置が検出された場合、制御部12は、ステアリングホイール21の左側部分のみを振動させる。また、仮想入力領域30の中央部分で視線位置が検出された場合、制御部12は、ステアリングホイール21の左右両側を振動させる。
図8(a),(b)の事例は、仮想入力領域30内の視線位置を、アニメーションによる強調表示で通知するものである。具体的には、制御部12は、センタディスプレイ11の画面上において、仮想入力領域30内の視線位置に対応する部分に向かって、強調表示画像が移動するアニメーションを表示させる。
図8(a)の事例では、仮想入力領域30の左側の部分で視線位置が検出された場合、制御部12は、センタディスプレイ11の画面の右側から左側に向かって矢印状の図柄が移動するアニメーションを表示させる。また、仮想入力領域30の中央部分で視線位置が検出された場合、制御部12は、センタディスプレイ11の画面の左右両側から中央に向かって矢印状の図柄が移動するアニメーションを表示させる。また、仮想入力領域30の右側の部分で視線位置が検出された場合、制御部12は、センタディスプレイ11の画面の左側から右側に向かって矢印状の図柄が移動するアニメーションを表示させる。
一方、図8(b)の事例では、仮想入力領域30の左側の部分で視線位置が検出された場合、制御部12は、センタディスプレイ11の画面の右側から左側に向かって帯状の図柄が移動するアニメーションを表示させる。また、仮想入力領域30の中央部分で視線位置が検出された場合、制御部12は、センタディスプレイ11の画面の左右両側から中央に向かって帯状の図柄が移動するアニメーションを表示させる。また、仮想入力領域30の右側の部分で視線位置が検出された場合、制御部12は、センタディスプレイ11の画面の左側から右側に向かって帯状の図柄が移動するアニメーションを表示させる。
[効果]
実施形態の視線入力システム1によれば、以下の効果を奏する。
センタディスプレイ11に表示されている操作画面に対応する仮想入力領域を、センタディスプレイ11の表示面からから運転視界の方に離隔させた位置に設定し、この仮想入力領域で視線入力を受付けることができる。このようにすることで、運転者がセンタディスプレイ11の画面を直視することなく視線入力を行うことができるので、運転視界からの視線移動が小さくなり、運転者の操作負担を軽減できる。
特に、運転者の基準視線位置とセンタディスプレイ11の表示面とを結ぶ仮想線上に、仮想入力領域を配置したり、基準視線位置を包含する位置に仮想入力領域を配置することで、運転者が視線入力をするために視線を移動する負担を一層軽減できる。
そして、運転者がセンタディスプレイ11を見たり、特定の運転操作を行うことで、仮想入力領域を基準視線位置に近づけたり拡大することで、運転者が視線入力を行いやすい状態に変化させることができる。また、車速等の走行状態に応じて、仮想入力領域を基準視線位置に近づけたり拡大する度合を変化させることで、走行状態に応じた柔軟な態様で視線入力を支援できる。
また、仮想視線領域内で検出された視線位置を、センタディスプレイ11を用いた強調表示、あるいは、ステアリングホイール21の振動を用いて運転者に提示することで、仮想入力領域を用いた視線入力を支援することができる。
1…視線入力システム、11…センタディスプレイ、12…制御部、13…マルチメディアECU、14…エアコンECU、15…視線検出部、16…車両情報入力部、20…センターコンソール、21…ステアリングホイール。

Claims (10)

  1. 車両の運転者に指定させる入力項目を、運転席から視認可能な位置に表示する表示手段(11)と、
    前記表示手段における表示領域から前記運転者の運転視界側に離隔した位置に、前記表示手段に表示された入力項目に対応する非表示的な仮想入力領域を設定する設定手段(12)と、
    前記運転者の視線位置を検出する検出手段(15)と、
    前記検出手段により検出された視線位置が、前記設定手段により設定された仮想入力領域内にある場合、前記仮想入力領域に対応付けられた入力項目に応じた入力処理を行う入力制御手段(12)とを備え、
    前記設定手段は、前記運転者による所定の動作が検知されたことを条件に、前記仮想入力領域を、前記運転者が視線を合わせやすい態様に変化させること、
    を特徴とする視線入力装置。
  2. 請求項1に記載の視線入力装置において、
    前記設定手段は、前記所定の動作として、前記検出手段により検出された視線位置が特定の位置に移動したことを条件に、前記仮想入力領域を、前記運転者が視線を合わせやすい態様に変化させること、
    を特徴とする視線入力装置。
  3. 請求項1又は請求項2に記載の視線入力装置において、
    前記車両に対して行われた運転操作に関する操作情報を取得する操作情報取得手段(16)を備え、
    前記設定手段は、前記所定の動作として、前記操作情報において特定の運転操作が行われた場合、前記仮想入力領域を、前記運転者が視線を合わせやすい態様に変化させること、
    を特徴とする視線入力装置。
  4. 請求項1ないし請求項3の何れか1項に記載の視線入力装置において、
    前記設定手段は、前記運転者による所定の動作が検知されたことを条件に、前記仮想入力領域を拡大すること、
    を特徴とする視線入力装置。
  5. 請求項1ないし請求項4の何れか1項に記載の視線入力装置において、
    前記設定手段は、前記運転者による所定の動作が検知されたことを条件に、前記運転者の運転視界内における所定位置に設定した基準視線位置に、前記仮想入力領域を近づけること、
    を特徴とする視線入力装置。
  6. 請求項1ないし請求項5の何れか1項に記載の視線入力装置において、
    前記設定手段は、前記運転者の運転視界内における所定位置に設定した基準視線位置と、前記表示手段の表示領域とを結ぶ仮想線上に、前記仮想入力領域を配置すること、
    を特徴とする視線入力装置。
  7. 請求項1ないし請求項4の何れか1項に記載の視線入力装置において、
    前記設定手段は、前記運転者の運転視界内における所定位置に設定した基準視線位置を包含する位置に、前記仮想入力領域を配置すること、
    を特徴とする視線入力装置。
  8. 請求項5ないし請求項7の何れか1項に記載の視線入力装置において、
    前記車両の走行状態に関する車両情報を取得する車両情報取得手段(16)を備え、
    前記設定手段は、前記車両情報で表される走行状態に応じて、前記基準視線位置を変化させること、
    を特徴とする視線入力装置。
  9. 請求項1ないし請求項8の何れか1項に記載の視線入力装置において、
    前記車両の走行状態に関する車両情報を取得する車両情報取得手段(16)を備え、
    前記設定手段は、前記仮想入力領域を前記運転者が視線を合わせやすい態様に変化させる度合を、前記車両情報で表される走行状態に応じて変化させること、
    を特徴とする視線入力装置。
  10. 請求項1ないし請求項9の何れか1項に記載の視線入力装置において、
    前記仮想入力領域において前記運転者の視線位置が検出された場合、その視線位置に関する情報を前記運転者に対して提示する提示手段(12,S122)を備えること、
    を特徴とする視線入力装置。
JP2014127319A 2014-06-20 2014-06-20 視線入力装置 Expired - Fee Related JP6375715B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014127319A JP6375715B2 (ja) 2014-06-20 2014-06-20 視線入力装置
DE112015002914.1T DE112015002914T5 (de) 2014-06-20 2015-06-08 Sichtlinieneingabevorrichtung
PCT/JP2015/002861 WO2015194123A1 (ja) 2014-06-20 2015-06-08 視線入力装置
US15/314,128 US10216270B2 (en) 2014-06-20 2015-06-08 Sigh line input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014127319A JP6375715B2 (ja) 2014-06-20 2014-06-20 視線入力装置

Publications (2)

Publication Number Publication Date
JP2016006601A JP2016006601A (ja) 2016-01-14
JP6375715B2 true JP6375715B2 (ja) 2018-08-22

Family

ID=54935133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014127319A Expired - Fee Related JP6375715B2 (ja) 2014-06-20 2014-06-20 視線入力装置

Country Status (4)

Country Link
US (1) US10216270B2 (ja)
JP (1) JP6375715B2 (ja)
DE (1) DE112015002914T5 (ja)
WO (1) WO2015194123A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852612B2 (ja) * 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
CN109725714B (zh) * 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
EP3686042A1 (en) * 2019-01-23 2020-07-29 Visteon Global Technologies, Inc. System and method for providing a notification to an occupant of a vehicle
WO2020196559A1 (ja) * 2019-03-26 2020-10-01 株式会社東海理化電機製作所 制御装置及び制御システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
EP0946893B1 (de) * 1996-12-20 2002-04-17 Siemens Aktiengesellschaft Informationsanzeigesystem für mindestens eine person
JP2000250699A (ja) 1999-03-04 2000-09-14 Shimadzu Corp 視線入力装置
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP4481187B2 (ja) * 2005-02-10 2010-06-16 本田技研工業株式会社 車両用操作装置
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP2008195142A (ja) * 2007-02-09 2008-08-28 Aisin Aw Co Ltd 車載機器の操作支援装置、操作支援方法
JP2009113710A (ja) * 2007-11-08 2009-05-28 Denso Corp ヘッドアップディスプレイ装置
JP5341402B2 (ja) * 2008-06-04 2013-11-13 トヨタ自動車株式会社 車載表示システム
JP2010221960A (ja) * 2009-03-25 2010-10-07 Toyota Motor Corp 情報表示装置
JP2012008745A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器
JP2012014217A (ja) 2010-06-29 2012-01-19 Panasonic Corp 電子機器及び携帯端末装置
WO2012024840A1 (en) * 2010-08-27 2012-03-01 Empire Technology Development Llc Head up display
JP5467527B2 (ja) * 2010-09-06 2014-04-09 株式会社デンソー 車載機器制御装置
US20120185805A1 (en) * 2011-01-14 2012-07-19 Apple Inc. Presenting Visual Indicators of Hidden Objects
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection

Also Published As

Publication number Publication date
US10216270B2 (en) 2019-02-26
JP2016006601A (ja) 2016-01-14
DE112015002914T5 (de) 2017-03-09
WO2015194123A1 (ja) 2015-12-23
US20170212584A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6033804B2 (ja) 車載機器操作装置
KR101071777B1 (ko) 차재 기기의 조작장치
JP5177120B2 (ja) 遠隔操作デバイス用表示制御装置
JP7144721B2 (ja) 車両用表示制御システム、車両用表示制御プログラム及び記憶媒体
JP6375715B2 (ja) 視線入力装置
JP6508173B2 (ja) 車両用表示装置
KR101542973B1 (ko) 자동차의 디스플레이 제어장치 및 제어방법
JP6406088B2 (ja) 操作システム
JP2011116304A (ja) ユーザインタフェース装置
US20200339174A1 (en) Vehicle steering switch system and storage medium storing switch function switching program
JP2006264615A (ja) 車両用表示装置
WO2016152044A1 (ja) 操作システム
JP2014197252A (ja) ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
JP5231663B2 (ja) 遠隔操作デバイス用表示制御装置
JP2014123207A (ja) ユーザインターフェース装置およびプログラム
US20100188198A1 (en) Function display device
JP2012096670A (ja) 入力装置及び入力方法
CN111602102B (zh) 用于视觉人-机交互的方法和系统
JP2007190980A (ja) 車両用情報表示装置
JP6390380B2 (ja) 表示操作装置
JP5146691B2 (ja) 遠隔操作装置
JP6433327B2 (ja) 車載機器操作装置および車載機器操作方法
JP2011107900A (ja) 入力表示装置
US10452225B2 (en) Vehicular input device and method of controlling vehicular input device
KR20180127042A (ko) 운전자 통합 정보 시스템의 퀵메뉴 제공장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180709

R151 Written notification of patent or utility model registration

Ref document number: 6375715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees