JPWO2019176787A1 - 操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム - Google Patents

操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム Download PDF

Info

Publication number
JPWO2019176787A1
JPWO2019176787A1 JP2020506471A JP2020506471A JPWO2019176787A1 JP WO2019176787 A1 JPWO2019176787 A1 JP WO2019176787A1 JP 2020506471 A JP2020506471 A JP 2020506471A JP 2020506471 A JP2020506471 A JP 2020506471A JP WO2019176787 A1 JPWO2019176787 A1 JP WO2019176787A1
Authority
JP
Japan
Prior art keywords
image
control unit
image display
information
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020506471A
Other languages
English (en)
Other versions
JP7340150B2 (ja
Inventor
友也 倉石
友也 倉石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of JPWO2019176787A1 publication Critical patent/JPWO2019176787A1/ja
Application granted granted Critical
Publication of JP7340150B2 publication Critical patent/JP7340150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/23
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B60K2360/113
    • B60K2360/115
    • B60K2360/126
    • B60K2360/1434
    • B60K2360/151
    • B60K2360/186
    • B60K35/20
    • B60K35/29
    • B60K35/81

Abstract

運転者の機能の利用可能性に応じて操作画像の表示を制御する操作画像表示装置、操作画像表示システム、操作画像表示プログラムを提供することを目的とする。操作画像表示装置100は、車両1に搭載され、表示器10、制御部20、車両情報入出力部30、記憶部40、センサ情報取得部60、操作情報取得部70を備える。制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つに基づいて利用可能性の高い機能を判定し、前記利用可能性の高い機能に対応した選択画像を選択表示する。【選択図】図5

Description

本発明は、例えば自動車等の車両に搭載される操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム等に関する。
ハンドル(例えばステアリングホイール)を握って車両を運転している運転者は、前方を注視しつつ、好ましくは、ブラインドタッチで車両用のポインティングデバイス(操作部)を直観的に操作し、メニュー画像(操作画像)を表示させて、極めて短時間で項目を選択する必要がある。
ポインティングデバイスを用いてブラインド操作を可能とした車載機器操作システムについては、例えば、特許文献1に記載されている。
特開2004−345549号公報
特許文献1に開示される発明は、運転者の手がポインティングデバイスのどこに位置しても、表示器に表示される複数のアイコンのうち、中央のアイコンを最初に選択表示する。そして、運転者がポインティングデバイス上にて手を最初の位置からスライドさせることで、隣のアイコンを選択するようにする。しかしながら、運転者が短時間で項目を選択するためには、多くのアイコンの位置を記憶する必要があった。
本発明は、運転者の機能の利用可能性に応じて操作画像の表示を制御する操作画像表示装置、操作画像表示システム、操作画像表示プログラムの提供を目的とする。
本発明に従う第1の態様の操作画像表示装置は、
機能に対応した選択画像を有する操作画像を表示する表示器と、
前記操作画像の表示を制御する制御部と、
操作部の操作情報を取得する操作情報取得部と、
車両情報を取得する車両情報入出力部と、
センサ情報を取得するセンサ情報取得部と、
前記車両情報及び/又は前記センサ情報と、前記操作情報とを関連付けた操作履歴情報を記憶する記憶部と、
を有し、
前記制御部は、前記車両情報、前記センサ情報、前記操作履歴情報の少なくとも1つに基づいて利用可能性の高い前記機能を判定し、前記利用可能性の高い前記機能に対応した前記選択画像を選択表示する、
ことを特徴とする。
操作画像表示装置は、運転者の利用可能性の高い機能について判定し選択画像を選択表示することで、運転者が操作部を操作する手間を少なくし、運転者を運転に集中させることができる。
第1の態様に従属する第2の態様において、
前記制御部は、前記操作情報及び前記操作履歴情報から閾値より大きい時間操作が行われなかったと判定した場合に、前記利用可能性の高い前記機能に対応した前記選択画像を選択表示する、
ことを特徴とする。
操作画像表示装置は、操作情報及び操作履歴情報から閾値より大きい時間操作が行われなかったと判定した場合に、前記利用可能性の高い機能に対応した前記選択画像を選択表示することで、運転者が操作部を操作中に選択表示を変化させないように制御する。
第1から第2の態様のいずれかに従属する第3の態様において、
前記制御部は、前記閾値を前記車両情報、前記センサ情報、前記操作履歴情報の少なくとも1つに基づいて変更する、
ことを特徴とする。
操作画像表示装置は、車両情報、センサ情報、操作情報履歴に応じて閾値を決定することで、車両の状況に応じた閾値を用いることができる。
第1から第3の態様のいずれかに従属する第4の態様において、
前記制御部は、前記操作情報から決定信号を取得したら選択決定したと判定し、
前記制御部は、前記操作情報及び前記操作履歴情報から操作開始から前記選択決定までの操作時間を計算し、前記操作時間が長いほど前記閾値を大きくする、
ことを特徴とする。
操作画像表示装置は、運転者が操作部の操作にかかった時間に応じて閾値を大きくすることで、運転者に応じた閾値を用いることができる。
第1から第4の態様のいずれかに従属する第5の態様において、
前記操作画像は、k(kは2以上の自然数)以上の階層を備える、
ことを特徴とする。
操作画像表示装置は、操作画像に2以上の階層を備えることで、多くの選択画像を表示することができる。
第5態様に従属する第6の態様において、
前記制御部は、第n階層で前記利用可能性の低い前記機能を判定し、前記利用可能性の低い前記機能に対応した前記選択画像を第n+m階層に移動する(n,mは1以上の自然数であり、n+m<=kを満たす)、
ことを特徴とする。
操作画像表示装置は、利用可能性の低い機能に対応した選択画像を下の階層に移動させることで、利用可能性の高い機能に対応した選択画像の選択範囲を大きくし、運転者が選択表示しやすくできる。
第5の態様に従属する第7の態様において、
前記制御部は、第n+m階層で前記利用可能性の高い前記機能を判定し、前記利用可能性の高い前記機能に対応した前記選択画像を第n階層に移動する(n,mは1以上の自然数であり、n+m<=kを満たす)、
ことを特徴とする。
操作画像表示装置は、利用可能性の高い機能に対応した選択画像を上の階層に移動させることで、利用可能性の高い機能を制御部が選択表示したり、運転者が選択表示しやすくできる。
第6から第7の態様のいずれかに従属する第8の態様において、
前記制御部は、特定の前記選択画像と特定の前記階層とを対応付けて前記記憶部に記憶させ、
前記制御部は、前記特定の前記選択画像を前記特定の前記階層から前記利用可能性に基づいて移動しない、
ことを特徴とする。
操作画像表示装置は、特定の選択画像をどの階層に配置するかを固定することで、運転者が迷わず特定の選択画像が配置されている階層にたどり着くことができる。
第8の態様に従属する第9の態様において、
前記制御部は、さらに前記特定の前記選択画像の表示位置を前記記憶部に記憶させる、
ことを特徴とする。
操作画像表示装置は、特定の選択画像をどの位置に表示するかを固定することで、運転者が選択画像をブラインド操作で選択表示できる。
第5から第9の態様のいずれかに従属する第10の態様において、
前記制御部は、1つの前記階層に表示する前記選択画像の数の最大及び/又は最少を前記記憶部に記憶させる、
ことを特徴とする。
操作画像表示装置は、1つの階層に表示する選択画像の最大及び/又は最少を前記記憶部に記憶させることで、必要以上に多くの選択画像が配置された操作画像や、選択画像の存在しない操作画像が生じることを抑制する。
第10の態様に従属する第11の態様において、
前記記憶部は、前記階層ごとに表示する前記選択画像の数の最大及び/又は最少を記憶する、
ことを特徴とする。
操作画像表示装置は、例えば使用頻度の高い上の階層の選択画像の表示数を少なくし、使用頻度の低い下の階層の選択画像の表示数を多くするなど、運転者の好みに応じた操作画像を表示できる。
第5から第11の態様に従属する第12の態様において、
前記制御部は、前記操作履歴情報に基づいて利用頻度の多い前記機能を判定し、前記利用頻度の多い前記機能に対応した前記選択画像の選択範囲を大きくする、
ことを特徴とする。
操作画像表示装置は、利用頻度の多い機能に対応した選択画像の選択範囲を大きくすることで、運転者が選択画像を選択表示しやすくする。
第12の態様のいずれかに従属する第13の態様において、
前記制御部は、前記選択範囲の最大及び/又は最少を前記記憶部に記憶させる、
ことを特徴とする。
操作画像表示装置は、選択画像の選択範囲の最大及び/又は最少を記憶部に記憶させることで、必要以上に大きな選択画像や、運転者が選択表示するには困難な小ささの選択画像が生じることを抑制する。
第1から第13の態様のいずれかに従属する第14の態様において、
操作位置を検出する操作位置検出部と、前記操作位置検出部の中央に中央決定操作部とを備えた前記操作部であって、
前記制御部は、前記操作画像の中央に選択決定画像を表示する、
ことを特徴とする。
操作画像表示装置は、操作位置検出部中央の中央決定操作部の押下操作により、選択表示された選択画像が選択決定されることを、運転者に認識させることができる。
第1から第14の態様のいずれかに従属する第15の態様において、
前記制御部は、前記操作画像の表示を変更したことを報知する、
ことを特徴とする。
操作画像表示装置は、選択画像が選択表示された、選択画像の選択範囲が大きくなった、選択画像が階層を移動したなど操作画像の表示を変更した際に、報知により運転者に気付かせることができる。
第1から第15の態様のいずれかに従属する第16の態様の操作画像表示システムにおいて、
請求項1乃至15のいずれか1項に記載の前記操作画像表示装置と、
前記操作情報を出力する前記操作部と、
前記選択画像に対応する前記機能を備えた車載機器及び/又は外部通信機器と、
を有することを特徴とする。
操作画像表示システムは、例えば、車両を運転中の運転者が、ブラインド操作で、快適に車載機器及び/又は外部通信機器を操作することができる。
第1から第15の態様のいずれかに従属する第16の態様の操作画像表示プログラムにおいて、
コンピュータを、請求項1乃至16のいずれか1項に記載の前記操作画像表示装置として動作させる、
ことを特徴とする。
操作画像表示プログラムは、操作画像の表示制御を、ソフトウェアプログラムを用いて簡易な構成で実現することができる。
本発明によれば、運転者の機能の利用可能性に応じて操作画像の表示を制御する操作画像表示装置、操作画像表示システム、操作画像表示プログラムを提供することができる。
本発明の第1の態様における操作画像表示装置の構成及びブロック図である。 上記第1の態様の操作部の構成を説明する図であり、図2(a)は、正面図であり、図2(b)は、図2(a)のA−A断面図である。 上記第1の態様の操作部と操作画像との関係を示す図である。 第1、第5、及び第14の態様の操作画像を示す図である。 第1乃至第4の様態における選択画像の選択表示を示す図である。 第5乃至第6の様態における選択画像の階層の移動を示す図である。 第5、及び第7の様態における選択画像の階層の移動を示す図である。 第12の態様における選択画像の選択範囲を示す図である。 第8乃至第9の様態における記憶部に特定の選択画像と特定の階層及び表示位置とを対応付けて記憶した例、及び第10、第11、及び第13の様態における記憶部に選択画像を表示する数、選択画像の選択範囲の最大/最少を対応付けて記憶した例である。 第15の様態における制御部が操作画像の表示を変更したことを報知する表示例である。 上記第1の態様の制御部における情報の入出力を示すプロセス図である。 上記第1の態様におけるフロー図である。 第2乃至第4の態様におけるフロー図である。 第5乃至第6、及び第8乃至第11の態様におけるフロー図である。 第5、及び第7乃至第11の態様におけるフロー図である。 第12乃至第13の態様におけるフロー図である。
以下に説明する好ましい態様は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される態様によって不当に限定されないことを留意すべきである。
図1には、第1の態様における操作画像表示装置100の構成及びブロック図が示されている。操作画像表示装置100は、車両1に搭載され、表示器10、制御部20、車両情報入出力部30、記憶部40、センサ情報取得部60、操作情報取得部70を備えている。
表示器10は、凹面鏡などの図示しない光学系と共にいわゆるウインドシールド型のヘッドアップディスプレイ(HUD: Head Up Display)を構成する。表示器10に表示された操作画像500を表す表示光は、凹面鏡などの光学系を経て、車両1のウインドシールド2に投射され、ウインドシールド2において反射等で光路が変更され運転者の眼に入射する。運転者は、ウインドシールド2前方の表示領域101に操作画像500を虚像Vとして視認する。
制御部20は、回路で構成され、前記回路は少なくとも1つのプロセッサ(例えば、中央処理装置(CPU: Central Processing Unit))、少なくとも1つの特定用途向け集積回路(ASIC: Application Specific Integrated Circuit)、及び/又は、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA: Field-Programmable Gate Array)などの少なくとも1つの半導体集積回路を含む。少なくとも1つのプロセッサは、少なくとも1つのコンピュータ読み取り可能で有形な記録媒体から1つ又は複数の命令を読み取ることにより、図1に示す操作画像表示装置100の機能の全部又は一部を実行することができる。前記記録媒体は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリはDRAM及びSRAMを含み、不揮発性メモリはROM及びNVRAMを含む。半導体メモリは、少なくとも1つのプロセッサと共に回路の一部となる半導体回路でもある。ASICは、図1に示す操作画像表示装置100の機能の全部又は一部を実行するようにカスタマイズされた集積回路であり、FPGAは、製造後に、図1に示す操作画像表示装置100の機能の全部又は一部を実行できるように設計された集積回路である。制御部20は、後述する条件判定部21、処理実行部22、表示画像生成部23を有する。
車両情報入出力部30は、通信インターフェースであり、車載ネットワーク300を介して車両情報を取得し、制御部20に出力する。また、車両情報入出力部30は、車載ネットワーク300を介して制御部20の操作指示情報をECU(Electronic Control Unit)に接続された図示しない車載機器及び/又は外部通信部310に接続された図示しない外部通信機器に出力する。
車載ネットワーク300は、CAN、車載Ethernetなどによって構成され、車載ゲートウェイ301によって複数のECU(例えば、車両ECU302、ナビECU303、オーディオECU304、空調ECU305、カメラECU306を含む)及び外部通信部310が通信可能に接続されている。
車載ゲートウェイ301は、車載ネットワーク300内の情報のやり取りの中継、通信プロトコルの違いの吸収、ネットワークセキュリティ対策などの機能を備えている。
車両ECU302は、車両1の速度、走行モード(ECOモード、SPORTモード)、走行エネルギー残量、平均燃費、走行可能距離(航続可能距離)、水温、油温などを出力可能であり、制御部20は、これらに基づき、車両1の走行モードを示し、選択されることで走行モードを変更可能な選択画像501(図4で後述)、平均燃費、航続可能距離(走行可能距離)、水温、油温などを領域内に表示し、選択されることでさらなる車両1に関する詳細情報を表示可能な選択画像501などを操作画像500内に表示してもよい。
ナビECU303は、車両1の現在位置情報や、次の分岐路の方向及び分岐路までの距離に関する情報や、車両1の経路付近に位置するオススメの経由地に関する施設情報や、これを経由した場合にロスする時間などの情報を出力可能であり、制御部20は、これらに基づき、図示しない次の分岐路の方向及び分岐路までの距離を示し、選択されることで他の表示領域での経路案内のオンオフを切り替え可能な選択画像501や、選択されることでオススメの経由地に関する施設情報の表示や経由地を設定可能な選択画像501などを操作画像500内に表示してもよい。
オーディオECU304は、オススメの音楽に関する情報などを出力可能であり、制御部20は、これに基づき、オススメの音楽に関する情報を示し、選択されることでその音楽を流すことが可能な選択画像501などを操作画像500内に表示してもよい。
空調ECU305は、現在の空調状態に関する情報などを出力可能であり、制御部20は、これに基づき、現在の空調状態に関する情報を示し、選択されることで空調状態の詳細設定を表示可能な選択画像501を操作画像500内に表示してもよい。
カメラECU306は、車両1に搭載した図示しないステレオカメラや単眼カメラが撮影した車両1の周囲や車内の画像データを出力可能である。制御部20は、これに基づき、運転者が誰であるかを判定し、運転者に応じた選択画像501を操作画像500内に表示してもよい。カメラECU306は、さらに図示しないADAS(Advanced Driver Assistance Systems)に接続されていてもよい。
外部通信部310は、USB(Universal Serial Bus)、LAN(Local Area Network)、Bluetooth(登録商標)などの有線・無線通信、3G回線又はLTE(Long Term Evolution)回線などのモバイル通信を介してスマートフォン、タブレット、クラウドサーバなどの図示しない外部通信機器を利用可能に構成されている。外部通信部310は、電話の着信状態やメール受信情報などを出力可能であり、制御部20は、これらに基づき、電話の着信があること、メール受信があることを示し、選択されることで電話を受話する又はメールを音声で読ませることが可能な選択画像501を操作画像500内に表示してもよい。
記憶部40は、不揮発性メモリやハードディスクのような磁気記録媒体からなり、運転者の操作履歴情報を記憶する。記憶部40は、選択画像501の選択範囲の最大及び/又は最少や、1つの階層に表示する選択画像501の数の最大及び/又は最少を記憶してもよい。また、記憶部40は、特定の選択画像501と表示階層及び表示位置を対応付けて記憶してもよい。記憶部40は、さらに制御部20の記録媒体を兼ねていてもよい。
センサ情報取得部60は、通信インターフェースであり、車載センサ600が取得したセンサ情報を制御部20に出力する。
車載センサ600は、例えば、温度センサ601、振動センサ602、音センサ603、光センサ604を含み、少なくとも車両1の車内環境を取得する。
操作情報取得部70は、通信インターフェースであり、運転者が操作部200で行った操作情報を制御部20に出力する。
[操作部200の構成]
図2を参照して、操作部200の構成を説明する。図2(a)は、操作部200の正面図であり、図2(b)は図2(a)のA−A断面図である。操作部200は、例えばステアリングホイールに配設され、運転者の親指がどの部分に位置しているかを検出(操作位置Cを検出)することで、後述する操作画像500における選択画像501の指示を行う操作位置検出部210と、この操作位置検出部210と一体となって設けられ、操作位置検出部210が指で押されることで選択画像501の選択決定を行う決定操作検出部220と、指で押されることでリターン入力を行うリターン検出部230とを有する構成となっている。
操作部200は、運転者の親指等が操作面に触れた位置(操作位置C)を検出するタッチセンサを有し、図2(b)に示すように、表面カバー211と、センサシート212と、スペーサ213と、を備え、運転者が、親指等でその操作面上を触れる操作(以下、タッチ操作という)あるいは所定の軌跡を描くようになぞる操作(以下、ジェスチャ操作という)を行った際に、制御部20の制御のもと、親指等が操作面に触れた操作位置Cを検出し、表示器10に表示される操作画像500のいずれかの選択画像501を選択させるものである。
表面カバー211は、合成樹脂等の遮光性の絶縁材料からシート状に形成され、凹凸の立体形状が中心点Qを中心とする円状に連続形成された凹凸部211aと、凹凸部211aの周縁に位置する比較的平坦な平坦部211bと、凹凸部211aの内側に位置する平坦な中央部211cと、を有する。凹凸部211aは、中心点Qに向かう方向が長く、かつ円周方向に短い凸部が円周方向の軌道に沿って多数設けることで形成される凹凸の立体形状であり、運転者は、この凹凸部211aの長手方向(中心点Qに向かう方向)を指の触感で認識することにより、操作位置検出部210上における指のおおよその位置を認識することができ、操作部200を見なくても、操作部200を操作することができるブラインド操作が可能となる。また、この凹凸の立体形状がない場合でも、運転者が所定の中心点Qを中心とした軌跡をたどって手の位置を移動させた場合、移動させた手の軌跡から運転者は、自身の手の位置が軌跡上のおおよそどの位置にあたるか見当をつけることができ、操作部200を見なくても、操作部200を操作することができるブラインド操作が可能となる。
センサシート212は、少なくとも凹凸部211aに対応する表面カバー211の裏面側に中心点Qを中心とする円状に配設され、運転者の指の操作位置Cを検出して、制御部20に運転者の指の操作位置Cに関する位置情報信号を出力するセンサシートである。センサシート212は、絞り加工により表面カバー211と一体成形されることで、表面カバー211と同様の形状に加工される(図2(b)参照)。このように一体成形されることで、表面カバー211とセンサシート212は、一枚のシートのようになり、凹凸部211aの段差形状は、その一枚のシートの曲がった部分で構成されることになる。また、このように一体成形されることで、表面カバー211の裏面とセンサシート212の表面とが当接する。これにより、表面カバー211の段差形状に対応して、センサシート212の検出部が配置されることになる。このように表面カバー211の段差形状に対応してセンサシート212の検出部が配置されているため、凹凸部211a等の段差形状を有した操作面上で行われた操作であっても、制御部20が、運転者の指の位置を検出できる。
スペーサ213は、センサシート212の裏面側に位置し、一体成形された表面カバー211とセンサシート212の形状に合わせて形成され、運転者の操作により表面カバー211の表側から押圧が加わった際にこれらの形状を保持する部材である。
決定操作検出部220は、操作位置検出部210の裏面側に複数設けられ、制御部20と電気的に接続され、運転者が操作位置検出部210の操作面(凹凸部211a)を押下する操作(以下、押下操作という)を行うと、決定操作検出部220が押され、制御部20に決定信号を出力する。制御部20は、決定操作検出部220からの決定信号に基づき、操作画像500内の選択画像501を選択決定し、選択された選択画像501に応じて操作画像500の表示を切り替える。
また、中央決定操作部221は、操作位置検出部210の裏面側の中心部分に設けられた決定操作検出部220である。操作位置検出部210の操作面の中央部211cにはセンサシート212が配置されていないため、中央決定操作部221の押下操作を行っても運転者の指の位置が検出されず、制御部20に決定信号のみを出力することができる。
リターン検出部230は、操作位置検出部210及び決定操作検出部220とは離れたスイッチであり、運転者がリターン検出部230の操作面を押下操作すると、制御部20にリターン信号を出力する。制御部20は、リターン検出部230からのリターン信号に基づき、操作画像500の表示を、切り替える前の表示に戻す。
[操作部200と操作画像500との関係]
図3は、操作部200と操作画像500との関係を示す図であり、図3(a),(b),(c),(d),(e)の左図は、操作部200の操作位置Cを検出する操作位置検出部210の例であり、右図は、左図の操作位置検出部210で操作された際の操作画像500の様子を示すものである。
図3(a)は、操作位置検出部210が操作位置Cを検出可能な軌跡の形状と、選択画像501が配列される軌跡の形状とが、同じ円形である場合を示す。左図に示す円形の操作位置検出部210で運転者が操作位置Cを移動させるジェスチャ操作をした場合、右図に示す円形の軌跡に配列された複数の選択画像501において、操作位置Cに基づき指示位置Dが移動し、決定操作検出部220の押下操作「Push」に応じて対応する選択画像501が選択される。制御部20は、選択画像501が配列される軌跡の中心点Qを中心とした指示位置Dの相対角度θqが、操作位置検出部210の操作位置Cを検出可能な軌跡の中心点Pを中心とした操作位置Cの相対角度θpと略一致するように、指示位置Dを移動させる。
図3(b)は、操作位置検出部210が操作位置Cを検出可能な軌跡の形状と、選択画像501が配列される軌跡の形状とが、同じ矩形である場合を示す。左図に示す矩形の操作位置検出部210で運転者が操作位置Cを移動させるジェスチャ操作をした場合、右図に示す矩形の軌跡に配列された複数の選択画像501において、操作位置Cに基づき指示位置Dが移動し、決定操作検出部220の押下操作「Push」に応じて対応する選択画像501が選択決定される。
図3(c)は、操作位置検出部210が操作位置Cを検出可能な軌跡の形状が円形であり、選択画像501が配列される軌跡の形状が矩形であり、異なっている場合を示す。制御部20は、選択画像501が配列される軌跡の中心点Qを中心とした指示位置Dの相対角度θqが、操作位置検出部210の操作位置Cを検出可能な軌跡の中心点Pを中心とした操作位置Cの相対角度θpと略一致するように、指示位置Dを移動させる。具体的に例えば、操作位置検出部210の操作位置Cを検出可能な軌跡の形状(円形)が、選択画像501が配列される軌跡の形状(矩形)と異なっていた場合、図3(c)に示す操作位置検出部210で運転者が操作位置Cを移動させるジェスチャ操作をした場合、中心点Pを中心とした操作位置Cの相対角度θpに対応した相対角度θqになるように、指示位置Dが移動し(図3(d))、決定操作検出部220の押下操作「Push」に応じて対応する選択画像501が選択決定される。
なお、操作位置検出部210が操作位置Cを検出可能な軌跡の形状と、選択画像501が配列される軌跡の形状とは、端点を有さない閉図形や端点を有す開図形であってもよい。図3(d)は、操作位置検出部210の操作位置Cを検出可能な軌跡が閉図形の楕円形であり、選択画像501が配列される軌跡が開図形の半円形であり、操作位置検出部210で運転者が操作位置Cを移動させるジェスチャ操作をした場合、中心点Pを中心とした操作位置Cの相対角度θpに対応した相対角度θqになるように、指示位置Dが移動し(図3(d))、決定操作検出部220の押下操作「Push」に応じて対応する選択画像501が選択決定される。
また、操作位置検出部210が特定の軌跡上の操作位置Cのみを検出可能でなくてもよい。図3(e)は、操作位置検出部210を、タッチパッドなどの2次元の面上の運転者の操作位置Cを検出可能に設け、この操作位置検出部210上で運転者が操作位置Cを特定の軌跡の形状をジェスチャ操作することで、制御部20が操作位置検出部210の操作位置Cから操作位置Cの移動に伴う軌跡の中心点Pa、及びこの中心点Paに対する操作位置Cの相対角度θpaを判定し、この操作位置Cの相対角度θpaに対応した相対角度θqになるように、指示位置Dが移動するように制御してもよい。
なお、上記の操作部200において、決定操作検出部220は、操作位置検出部210の裏面側に複数設けられ、制御部20と電気的に接続され、運転者が操作位置検出部210の操作面(凹凸部211a)を押下操作すると、決定操作検出部220が押され、制御部20に決定信号を出力するものであったが、運転者が決定操作をして決定信号を出力する入力インターフェースであれば、これに限定されない。操作位置検出部210を運転者が親指で操作し、その他の指で操作可能な操作位置検出部210と離間した位置に決定操作検出部220を設けてもよい。操作位置検出部210のジェスチャ操作で、運転者の手の位置に基づく操作位置Cを信号出力し、運転者が所定の操作位置Cの位置で操作位置検出部210から手を離したことで、決定信号を出力するものであってもよい。また、操作位置検出部210を特定の操作位置Cで素早く2回タップするダブルタップ操作により決定信号を出力してもよい。
[操作画像500の表示態様]
図4は、第1、第5、及び第14の態様の操作画像500を示す図である。図4(a)は、第1階層の操作画像510を、図4(b)は、第2階層の操作画像520を、図4(c)は、第3階層の操作画像530を示す。図4では、3階層の操作画像500を示しているが、4階層以上であってもよく、1又は2階層であってもよい。操作画像500は、複数の選択画像501を軌道(円軌道)に沿って配置したものであり、操作部200の操作に応じて、選択画像501を選択表示及び選択決定することができる。選択表示画像502は、複数の選択画像501から特定の選択画像501を選択表示する(指し示す)画像である。選択決定画像503は、中央決定操作部221の押下操作により、選択表示画像502に選択表示された選択画像501が選択決定されることを、運転者に示すために表示される。
図4(a)の操作画像510において、選択表示画像502、選択決定画像503、オーディオ選択画像511、空調選択画像512、次階層選択画像518、前階層選択画像519が示されている。
オーディオ選択画像511、空調選択画像512は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定される。
次階層選択画像518は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定され、第1階層の操作画像510に代わって第2の階層の操作画像520が表示される。
前階層選択画像519は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定され、第1階層の操作画像510に代わって本様態における最も下の階層、すなわち第3階層の操作画像530が表示される。なお、第1階層において前階層選択画像519を表示せず、オーディオ選択画像511、空調選択画像512の選択範囲を大きくする、又は別の選択画像501を表示してもよい。
図4(b)の操作画像520において、航続可能距離選択画像521、ナビゲーションシステム選択画像522、電話選択画像523、次階層選択画像528、前階層選択画像529が示されている。
航続可能距離選択画像521、ナビゲーションシステム選択画像522、電話選択画像523は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定される。
次階層選択画像528は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定され、第2階層の操作画像520に代わって第3階層の操作画像530が表示される。
前階層選択画像529は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定され、第2階層の操作画像520に代わって第1階層の操作画像510が表示される。
図4(c)の操作画像530において、エコモード選択画像531、スポーツモード選択画像532、油温選択画像533、水温選択画像534、メール選択画像535、ラジオ選択画像536、次階層選択画像538、前階層選択画像539が示されている。
エコモード選択画像531、スポーツモード選択画像532、油温選択画像533、水温選択画像534、メール選択画像535、ラジオ選択画像536は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定される。
次階層選択画像538は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定され、第3階層の操作画像530に代わって本実施例における最も上の階層、すなわち第1階層の操作画像510が表示される。なお、第3階層において前階層選択画像539を表示せず、エコモード選択画像531、スポーツモード選択画像532、油温選択画像533、水温選択画像534、メール選択画像535、ラジオ選択画像536の選択範囲を大きくする、又は別の選択画像501を表示してもよい。
前階層選択画像539は、選択表示画像502で選択表示された状態で決定操作検出部220を押下操作することで選択決定され、第3階層の操作画像530に代わって第2の階層の操作画像520が表示される。
図5を参照する。図5は、第1乃至第4の様態における選択画像501の選択表示を示す図である。図5(a)は、制御部20が選択画像501(空調選択画像512)を選択表示する前の操作画像510、図5(b)は、制御部20が選択画像501(空調選択画像512)を選択表示した後の操作画像510を示す。
制御部20は、温度センサ601が取得した温度が高いと判定した場合に、空調機能の利用可能性が高いと判定する。制御部20は、選択表示画像502を動かし、空調選択画像512を選択表示する。また、制御部20は、操作履歴情報から現在の車両1の車両情報、センサ情報と類似する状況があるかを検索し、過去の類似する状況で選択決定された選択画像501を選択表示してもよい。運転者は、決定操作検出部220を押下操作することで選択表示された選択画像501(例えば空調選択画像512)を選択決定できる。
運転者は、あるいは操作位置検出部210で操作位置Cを移動させるジェスチャ操作を行うことで、別の選択画像501(例えばオーディオ選択画像511)を選択表示し、決定操作検出部220を押下操作することで別の選択画像501を選択決定できる。
制御部20は、閾値より大きい時間操作部200における操作が行われなかった場合に選択表示画像502を動かすことが好ましく、車両情報、センサ情報、操作履歴情報の少なくとも1つ、及び/又は、運転者の操作にかかった時間に応じて閾値を調整してもよい。例えば、車両1が高速で走行している場合は閾値を大きくする、車両1の車内の温度が高い場合は閾値を小さくする、運転者が操作部200の操作開始から決定操作検出部220を押下操作するまでの時間が長い場合は閾値を大きくするなどである。これによれば、運転者が操作部200を操作中に選択表示画像502を動かすことを防ぎ、且つ車両1の状況や運転者の特性に応じて閾値を調整できる。
図6を参照する。図6は、第5乃至第6の様態における選択画像501の階層の移動を示す図である。本態様において、操作画像500は2以上の階層を備える。図6(a)は、制御部20が選択画像501(メール選択画像513)を階層の移動をする前の操作画像510、図6(b)は、制御部20が選択画像501(メール選択画像513)を階層の移動をした後の操作画像510、図6(c)は、制御部20が階層の移動をした後の選択画像501(メール選択画像513)をさらに選択表示した操作画像510を示す。
制御部20は、外部通信部310からメールを受信したと通知された場合に、メール機能の利用可能性が高いと判定する。制御部20は、第3階層のメール選択画像を第1階層に移動させ、操作画像510にメール選択画像513を表示する。制御部20は、さらに選択表示画像502を動かし、メール選択画像513を選択表示してもよい。運転者は、決定操作検出部220を押下操作することでメール選択画像513を選択決定できる。
なお、選択画像501の階層の移動は、表示領域101に表示されている階層だけではなく、例えば第2階層と第3階層の間で適宜行われてもよい。
図7を参照する。図7は、第5、及び第7の様態における選択画像501の階層の移動を示す図である。本態様において、操作画像500は2以上の階層を備える。図7(a)は、制御部20が選択画像501(空調選択画像512)を階層の移動をする前の操作画像510、図7(b)は、制御部20が選択画像501(空調選択画像512)を階層の移動をした後の操作画像510、図7(c)は、制御部20が選択画像501(空調選択画像512)を第2階層の選択画像524(501)として配置された表示領域110に図示されていない操作画像520を示す。
制御部20は、温度センサ601が取得した温度が適温と判定した場合、あるいは一定時間空調機能がOFFのままである場合に、空調機能の利用可能性が低いと判定する。制御部20は、第1の階層の空調選択画像512を第2階層に移動させ、操作画像510に空調選択画像512を表示しない。
なお、階層移動は表示領域101に表示されている階層だけではなく、例えば第2階層と第3階層の間で適宜行われてもよい。
図8を参照する。図8は、第12の態様における選択画像501の選択範囲を示す図である。図8(a)は、選択画像501(メール選択画像513)の選択範囲が大きくなる前の操作画像510(500)であり、図8(b)は、選択画像501(メール選択画像513)の選択範囲が大きくなった後の操作画像510(500)である。
制御部20は、操作履歴情報からメール機能の利用頻度が高いと判定した場合に、メール選択画像513の選択範囲RをR1からR2へ大きくする。すなわち、選択画像501の選択範囲Rが大きい程、操作位置検出部210上でその選択画像501を選択表示可能な領域が広く設定されるため、利用頻度が高い選択画像501を選択し易くなる。
図9を参照する。図9(a)は、第8乃至第9の様態における記憶部40に特定の選択画像と特定の階層及び表示位置とを対応付けて記憶した例であり、図9(b)は、第10、第11、及び第13の様態における記憶部40に選択画像を表示する数、選択画像501の選択範囲の最大/最少を対応付けて記憶した例である。
図9(a)において、データNo.1は、オーディオ機能に対応したオーディオ選択画像511を第1階層の300°(―60°)から60°に表示することを示しており、データNo.2は、ナビゲーション機能に対応したナビゲーションシステム選択画像522を第2階層の180°から240°に表示することを示している。これにより、運転者は、自分の好む機能の選択画像501をどの階層のどの位置に表示するかを指定でき、操作部200の操作時間を短縮できる。なお、表示位置の指定は、表示領域101における座標で指定できてもよい。
図9(b)において、第1階層における選択画像501の表示数の最大が6最少が4であり、第2階層における選択画像501の表示数の最大が8最少が4であり、第3階層における選択画像501の表示数の最大が12最少が2であることを示す。また、選択画像501の選択範囲の最大が180°最少が30°であることを示している。なお、選択範囲の最大及び/又は最少の指定は、操作画像500に占める割合で指定できてもよい。
図10を参照する。図10(a)は、制御部20が操作画像510(500)の表示を変更する前の表示例を、図10(b)は、制御部20が選択表示画像502を動かした時の操作画像510(500)の表示例を、図10(c)は、制御部20がメール選択画像513を第1階層に移動したときの操作画像510(500)の表示例を示している。
制御部20は、操作画像500の表示を変更した際に、変更が行われた部分の画像を色を濃くする、点滅表示するなどの強調表示をして運転者に報知する。
なお、制御部20は、操作画像500の表示を変更が行われた際に、オーディオECU304に操作指示情報を送り、音によって運転者に報知しても良い。
[制御部20における情報の入出力]
図11を参照する。図11は、制御部20における情報の入出力を示すプロセス図である。
条件判定部21は、車両情報I2、センサ情報I3、操作履歴情報I4の少なくとも1つを基に、取得した情報が所定の条件を満たした情報であった、あるいは取得した複数の情報で所定の組み合わせが成立したかを判定し、判定結果O1を出力する。なお、操作履歴情報I4は直近の操作履歴情報のみを取得してもよく、あるいは複数の操作履歴情報を取得してもよい。
また、条件判定部21は、操作情報I1に基づいて操作位置Cを移動させるジェスチャ操作が行われたか、あるいは決定信号が出力されたかを判定し、判定結果O1を出力する。
処理実行部22は、判定結果O1に基づき「条件が成立した場合(Yesの場合)」と「条件が成立しない場合(Noの場合)」で操作画像生成指示O2を切り替える。
また、処理実行部22は、決定信号により機能の実行を指示された場合に、車両情報入出力部30を介して車載ネットワーク300に操作指示情報O3を出力すると共に、車両情報I2及び/又はセンサ情報I3と、前記操作情報I1とを関連付けた操作履歴情報O4を記憶部40に記憶させる。
表示画像生成部23は、例えば、予め用意されている選択画像501から使用可能なものを記憶部40から読み出し、必要な情報を画像合成で組み込むことで、複数の選択画像501を含む操作画像500を生成する。但し、これに限定されるものではなく、記憶部40に予め記憶された配列、又は記憶部40に記憶されたプログラムにより定められた配列に従って、複数の項目を配置する(項目を画像合成する)ことで、操作画像500を生成してもよく、あるいは、レンダリングにより操作画像500を生成してもよい。生成された操作画像500は、データ形式を整えたり、表示に必要な情報を付加したりし、その結果として得られた画像データO5を表示器10に送る。
表示画像生成部23は、車両情報から取得した車両1の速度や走行エネルギー残量などの情報を画像データO5に付加し、操作画像500と車両1の車両情報を同時に表示してもよい。
[本態様におけるフロー図]
図12を参照する。図12は第1の態様におけるフロー図である。
ステップS11において、制御部20は、車両情報、センサ情報、操作履歴情報を取得する。
ステップS12において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の高い機能を判定する。
ステップS13において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示されているか判定する。「利用可能性の高い機能に対応した選択画像501が選択表示されていない場合(Noの場合)」は、ステップS14に移行し、「利用可能性の高い機能に対応した選択画像501が選択表示されている場合(Yesの場合)」は、処理を終了する。
ステップS14において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示するように、操作画像500を生成する。
図13を参照する。図13は第2乃至第4の態様におけるフロー図である。
ステップS11において、制御部20は、車両情報、センサ情報、操作履歴情報を取得する。
ステップS21において、制御部20は、操作情報を取得する。
ステップS22において、制御部20は、操作情報から操作部200の操作が行われているか判定する。「操作部200の操作が行われていない場合(Noの場合)」は、ステップS23に移行し、「操作部200の操作が行われている場合(Yesの場合)」は、ステップS26に移行する。
ステップS23において、制御部20は、車両情報、センサ情報、操作履歴情報から閾値の変更が必要か判定する。「閾値の変更が必要である場合(Yesの場合)」はステップS24に移行し、「閾値の変更が必要でない場合(Noの場合)」はステップS25に移行する。
ステップS24において、制御部20は、車両情報、センサ情報、操作履歴情報からの少なくとも1つを基に閾値を変更し、記憶部40に記憶させる。
ステップS25において、制御部20は、操作情報と操作履歴情報から操作部200の操作が行われてから閾値以上の時間が経過したか判定する。「閾値以上の時間が経過した場合(Yesの場合)」はステップS12に移行し、「閾値以上の時間が経過していない場合(Noの場合)」は処理を終了する。
ステップS12において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の高い機能を判定する。
ステップS13において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示されているか判定する。「利用可能性の高い機能に対応した選択画像501が選択表示されていない場合(Noの場合)」は、ステップS14に移行し、「利用可能性の高い機能に対応した選択画像501が選択表示されている場合(Yesの場合)」は、処理を終了する。
ステップS14において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示するように、操作画像500を生成する。
ステップS26において、制御部20は、操作情報から選択画像501が選択決定されたか判定する。「選択画像501が選択決定された場合(Yesの場合)」はステップS27に移行し、「選択画像501が選択決定されていない場合(Noの場合)」はステップS25に移行する。
ステップS27において、制御部20は、操作情報と操作履歴情報から操作時間を計算する。
ステップS28において、制御部20は、操作時間に基づき閾値を変更し、記憶部40に記憶させる。
図14を参照する。第5乃至第6、及び第8乃至第11の態様におけるフロー図である。
ステップS11において、制御部20は、車両情報、センサ情報、操作履歴情報を取得する。
ステップS12において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の高い機能及び利用可能性の低い機能を判定する。
ステップS31において、制御部20は、利用可能性の低い機能に対応した選択画像501が記憶部40に表示階層を登録されているか判定する。「選択画像501の表示階層が登録されていない場合(Noの場合)」は、ステップS32に移行し、「選択画像501の表示階層が登録されている場合(Yesの場合)」は、ステップS13に移行する。
ステップS32において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の低い機能に対応した選択画像501を下の階層に移動するか判定する。「選択画像501の階層を移動する場合(Yesの場合)」は、ステップS33に移行し、「選択画像501の階層を移動しない場合(Noの場合)」は、ステップS13に移行する。
ステップS33において、制御部20は、第n階層の選択画像501の数が最小であるか判定する。「第n階層の選択画像501の数が最少ではない場合(Noの場合)」は、ステップS34に移行し、「第n階層の選択画像501の数が最少である場合(Yesの場合)」は、ステップS13に移行する。
ステップS34において、制御部20は、第n+m階層の選択画像501の数が最大であるか判定する。「第n+m階層の選択画像501の数が最大ではない場合(Noの場合)」は、ステップS35に移行し、「第n+m階層の選択画像501の数が最大である場合(Yesの場合)」は、ステップS13に移行する。
ステップS35において、制御部20は、第n階層の利用可能性の低い機能に対応した選択画像501を第n+m階層に移動する。
ステップS13において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示されているか判定する。「利用可能性の高い機能に対応した選択画像501が選択表示されていない場合(Noの場合)」は、ステップS14に移行し、「利用可能性の高い機能に対応した選択画像501が選択表示されている場合(Yesの場合)」は、処理を終了する。
ステップS14において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示するように、操作画像500を生成する。
図15を参照する。第5、及び第7乃至第11の態様におけるフロー図である。
ステップS11において、制御部20は、車両情報、センサ情報、操作履歴情報を取得する。
ステップS12において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の高い機能を判定する。
ステップS41において、制御部20は、利用可能性の高い機能に対応した選択画像501が記憶部40に表示階層を登録されているか判定する。「選択画像501の表示階層が登録されていない場合(Noの場合)」は、ステップS42に移行し、「選択画像501の表示階層が登録されている場合(Yesの場合)」は、ステップS13に移行する。
ステップS42において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の高い機能に対応した選択画像501を上の階層に移動するか判定する。「選択画像501の階層を移動する場合(Yesの場合)」は、ステップS43に移行し、「選択画像501の階層を移動しない場合(Noの場合)」は、ステップS13に移行する。
ステップS43において、制御部20は、第n階層の選択画像501の数が最大であるか判定する。「第n階層の選択画像501の数が最大ではない場合(Noの場合)」は、ステップS44に移行し、「第n階層の選択画像501の数が最大である場合(Yesの場合)」は、ステップS13に移行する。
ステップS44において、制御部20は、第n+m階層の選択画像501の数が最小であるか判定する。「第n+m階層の選択画像501の数が最小ではない場合(Noの場合)」は、ステップS45に移行し、「第n+m階層の選択画像501の数が最小である場合(Yesの場合)」は、ステップS13に移行する。
ステップS45において、制御部20は、第n+m階層の利用可能性の高い機能に対応した選択画像501を第n階層に移動する。
ステップS13において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示されているか判定する。「利用可能性の高い機能に対応した選択画像501が選択表示されていない場合(Noの場合)」は、ステップS14に移行し、「利用可能性の高い機能に対応した選択画像501が選択表示されている場合(Yesの場合)」は、処理を終了する。
ステップS14において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示するように、操作画像500を生成する。
図16を参照する。第12乃至第13の態様におけるフロー図である。
ステップS11において、制御部20は、車両情報、センサ情報、操作履歴情報を取得する。
ステップS12において、制御部20は、車両情報、センサ情報、操作履歴情報の少なくとも1つを基に、利用可能性の高い機能を判定する。
ステップS13において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示されているか判定する。「利用可能性の高い機能に対応した選択画像501が選択表示されていない場合(Noの場合)」は、ステップS14に移行し、「利用可能性の高い機能に対応した選択画像501が選択表示されている場合(Yesの場合)」は、ステップS51に移行する。
ステップS14において、制御部20は、利用可能性の高い機能に対応した選択画像501が選択表示するように、操作画像500を生成する。
ステップS51において、制御部20は、操作情報を取得する。
ステップS52において、制御部20は、操作情報から選択画像501の選択決定が行われたか判定する。「選択画像501の選択決定が行われた場合(Yesの場合)」は、ステップS53に移行し、「選択画像501の選択決定が行われていない場合(Noの場合)」は、処理を終了する。
ステップS53において、制御部20は、選択決定された選択画像501の選択範囲が最大であるか判定する。「選択画像501の選択範囲が最大ではない場合(Noの場合)」は、ステップS54に移行し、「選択画像501の選択範囲が最大である場合(Yesの場合)」は、処理を終了する。
ステップS54において、制御部20は、選択決定された選択画像501の選択範囲を大きくすることにより、別の選択画像501の選択範囲が最少未満になるか判定する。「別の選択画像501の選択範囲が最少未満にならない場合(Noの場合)」は、ステップS55に移行し、「別の選択画像501の選択範囲が最少未満になる場合(Yesの場合)」は、処理を終了する。
ステップS55において、制御部20は、選択決定された選択画像501の選択範囲を大きくするように、操作画像500を生成する。
以上に説明した本発明は、以下の効果を奏する。
操作画像表示装置100は、車両情報、センサ情報、操作履歴情報の少なくとも1つに基づいて利用可能性の高い機能を判定し、利用可能性の高い前記機能に対応した選択画像を選択表示することで、運転者は、操作画像500を短時間確認して決定操作検出部220を押下操作するのみでよく、運転に集中することができる。
操作画像表示装置100は、利用可能性の高い機能に対応した選択画像501を上の階層に移動させ、利用可能性の低い機能に対応した別の選択画像501を下の階層に移動させることで、上の階層に利用可能性の高い機能に対応した選択画像501を集めて表示することができる。
操作画像表示装置100は、特定の選択画像501をどの階層のどの位置に表示するかを固定することで、運転者が特定の状況でよく使う機能について、使用していない間に別の階層に移動してしまうことを抑制できる。
操作画像表示装置100は、選択画像501の選択範囲R、選択画像501の階層ごとに表示する数の最大及び/又は最少を記憶することで、運転者の好みに応じた操作画像500を表示することができる。
操作画像表示装置100は、選択決定画像503を表示することで、運転者に指の位置が同時に検出される決定操作検出部220ではなく、決定信号のみを出力できる中央決定操作部221を押下操作することを意識づけられる。
なお、上記態様において、表示器10としてウインドシールド型のHUDを例示したが、コンバイナ型のHUDやヘッドマウントディスプレイにも適用可能である。
なお、上記態様において、操作部200をインストルメントパネルに設けたり、独立したリモコンとして設けてもよい。
なお、上記態様において、スマートフォンやタブレットなどの携帯端末を操作部200として用いてもよい。
なお、上記態様において、制御部20は、各ECUと車内LANを介して通信を行い、車載ゲートウェイ301を用いずに車両情報の入出力を行ってもよい。
なお、上記態様において、制御部20は外部情報入出力部をさらに備え、車載ゲートウェイ301を用いずに外部通信部310と外部情報の入出力を行ってもよい。
なお、上記態様において、選択表示画像502の代わりに、選択画像501の枠線やアイコンの線を太くする、色を濃くするなどによって選択画像501が選択表示されていることを示してもよい。
なお、上記態様において、リターン検出部230や操作部200に設けられた別の図示しないスイッチ、又は音センサ603から取得した運転者が発する音声を決定信号の出力に用いてもよい。この構成においても運転者の指の位置が検出されず、制御部20に決定信号のみを出力することができる。
なお、上記態様において、操作部200に設けられた別の図示しないスイッチ、又は操作位置検出部210における特定のジェスチャに基づいて表示領域101に表示する操作画像500の階層を切り替えてもよい。
なお、上記第6乃至第7の態様において、制御部20は、選択画像501の上の階層への移動と別の選択画像501の下の階層への移動を同時に行ってもよい。
なお、上記第13の態様において、記憶部40は、階層ごとに選択画像501の選択範囲の最大及び/又は最少を記憶できてもよい。
本発明は、上記の例示的な態様に限定されず、また、当業者は、上記の例示的な態様を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
1・・・車両
2・・・ウインドシールド
10・・・表示器
20・・・制御部
21・・・条件判定部
22・・・処理実行部
23・・・表示画像生成部
30・・・車両情報入出力部
40・・・記憶部
60・・・センサ情報取得部
70・・・操作情報取得部
100・・・操作画像表示装置
101・・・表示領域
200・・・操作部
300・・・車載ネットワーク
500・・・操作画像
501・・・選択画像
502・・・選択表示画像
503・・・選択決定画像
600・・・車載センサ

Claims (17)

  1. 機能に対応した選択画像を有する操作画像を表示する表示器と、
    前記操作画像の表示を制御する制御部と、
    操作部の操作情報を取得する操作情報取得部と、
    車両情報を取得する車両情報入出力部と、
    センサ情報を取得するセンサ情報取得部と、
    前記車両情報及び/又は前記センサ情報と、前記操作情報とを関連付けた操作履歴情報を記憶する記憶部と、
    を有し、
    前記制御部は、前記車両情報、前記センサ情報、前記操作履歴情報の少なくとも1つに基づいて利用可能性の高い前記機能を判定し、前記利用可能性の高い前記機能に対応した前記選択画像を選択表示する、
    ことを特徴とする操作画像表示装置。
  2. 前記制御部は、前記操作情報及び前記操作履歴情報から閾値より大きい時間操作が行われなかったと判定した場合に、前記利用可能性の高い前記機能に対応した前記選択画像を選択表示する、
    ことを特徴とする請求項1に記載の操作画像表示装置。
  3. 前記制御部は、前記閾値を前記車両情報、前記センサ情報、前記操作履歴情報の少なくとも1つに基づいて変更する、
    ことを特徴とする請求項2に記載の操作画像表示装置。
  4. 前記制御部は、前記操作情報から決定信号を取得したら選択決定したと判定し、
    前記制御部は、前記操作情報及び前記操作履歴情報から操作開始から前記選択決定までの操作時間を計算し、前記操作時間が長いほど前記閾値を大きくする、
    ことを特徴とする請求項2乃至3のいずれか1つに記載の操作画像表示装置。
  5. 前記操作画像は、k(kは2以上の自然数)以上の階層を備える、
    ことを特徴とする請求項1乃至4のいずれか1つに記載の操作画像表示装置。
  6. 前記制御部は、第n階層で前記利用可能性の低い前記機能を判定し、前記利用可能性の低い前記機能に対応した前記選択画像を第n+m階層に移動する(n,mは1以上の自然数であり、n+m<=kを満たす)、
    ことを特徴とする請求項5に記載の操作画像表示装置。
  7. 前記制御部は、第n+m階層で前記利用可能性の高い前記機能を判定し、前記利用可能性の高い前記機能に対応した前記選択画像を第n階層に移動する(n,mは1以上の自然数であり、n+m<=kを満たす)、
    ことを特徴とする請求項5に記載の操作画像表示装置。
  8. 前記制御部は、特定の前記選択画像と特定の前記階層とを対応付けて前記記憶部に記憶させ、
    前記制御部は、前記特定の前記選択画像を前記特定の前記階層から前記利用可能性に基づいて移動しない、
    ことを特徴とする請求項6乃至7のいずれか1つに記載の操作画像表示装置。
  9. 前記制御部は、さらに前記特定の前記選択画像の表示位置を前記記憶部に記憶させる、
    ことを特徴とする請求項8に記載の操作画像表示装置。
  10. 前記制御部は、1つの前記階層に表示する前記選択画像の数の最大及び/又は最少を前記記憶部に記憶させる、
    ことを特徴とする請求項5乃至9のいずれか1つに記載の操作画像表示装置。
  11. 前記記憶部は、前記階層ごとに表示する前記選択画像の数の最大及び/又は最少を記憶する、
    ことを特徴とする請求項10に記載の操作画像表示装置。
  12. 前記制御部は、前記操作履歴情報に基づいて利用頻度の多い前記機能を判定し、前記利用頻度の多い前記機能に対応した前記選択画像の選択範囲を大きくする、
    ことを特徴とする請求項5乃至11のいずれか1つに記載の操作画像表示装置。
  13. 前記制御部は、前記選択範囲の最大及び/又は最少を前記記憶部に記憶させる、
    ことを特徴とする請求項12に記載の操作画像表示装置。
  14. 操作位置を検出する操作位置検出部と、前記操作位置検出部の中央に中央決定操作部とを備えた前記操作部であって、
    前記制御部は、前記操作画像の中央に選択決定画像を表示する、
    ことを特徴とする請求項1乃至13のいずれか1つに記載の操作画像表示装置。
  15. 前記制御部は、前記操作画像の表示を変更したことを報知する、
    ことを特徴とする請求項1乃至14のいずれか1つに記載の操作画像表示装置。
  16. 請求項1乃至15のいずれか1項に記載の操作画像表示装置と、
    前記操作情報を出力する前記操作部と、
    前記選択画像に対応する前記機能を備えた車載機器及び/又は外部通信機器と、
    を有する操作画像表示システム。
  17. コンピュータを、請求項1乃至16のいずれか1項に記載の操作画像表示装置として動作させる、
    操作画像表示プログラム。
JP2020506471A 2018-03-12 2019-03-08 操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム Active JP7340150B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018043725 2018-03-12
JP2018043725 2018-03-12
PCT/JP2019/009406 WO2019176787A1 (ja) 2018-03-12 2019-03-08 操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2019176787A1 true JPWO2019176787A1 (ja) 2021-04-08
JP7340150B2 JP7340150B2 (ja) 2023-09-07

Family

ID=67906780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020506471A Active JP7340150B2 (ja) 2018-03-12 2019-03-08 操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム

Country Status (3)

Country Link
US (1) US20210034207A1 (ja)
JP (1) JP7340150B2 (ja)
WO (1) WO2019176787A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021002272T5 (de) * 2020-07-22 2023-06-29 Sekisui Polymatech Co., Ltd. Dekoratives Feld

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350570A (ja) * 2000-06-08 2001-12-21 Yazaki Corp 多機能スイッチ装置
JP2002229700A (ja) * 2001-02-02 2002-08-16 Mitsubishi Motors Corp 操作メニュー切換装置及び車両用ナビゲーション装置
JP2004022179A (ja) * 2002-06-12 2004-01-22 Denso Corp 車載機器制御装置
JP2005182313A (ja) * 2003-12-17 2005-07-07 Nissan Motor Co Ltd 操作メニュー切換装置、車載用ナビゲーション・システムおよび操作メニュー切換え方法
JP2005532943A (ja) * 2002-07-12 2005-11-04 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 車両内の画面表示システムを制御するための方法
JP2007083990A (ja) * 2005-09-26 2007-04-05 Mazda Motor Corp 車両用情報表示装置
JP2007296889A (ja) * 2006-04-28 2007-11-15 Honda Motor Co Ltd 車両搭載機器の操作装置
JP2008071252A (ja) * 2006-09-15 2008-03-27 Denso Corp 情報機器
JP2009073335A (ja) * 2007-09-20 2009-04-09 Denso Corp 車両用操作画面表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003068162A (ja) * 2001-08-28 2003-03-07 Nissan Motor Co Ltd 車載機器操作装置
NO20020896L (no) * 2001-10-02 2003-04-03 Ziad Badarneh Interaktivt system
JP5127645B2 (ja) * 2008-09-22 2013-01-23 株式会社デンソーアイティーラボラトリ 車載機器の制御装置及び制御方法
JP5565421B2 (ja) * 2012-02-07 2014-08-06 株式会社デンソー 車載操作装置
JP2014102658A (ja) * 2012-11-19 2014-06-05 Aisin Aw Co Ltd 操作支援システム、操作支援方法及びコンピュータプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350570A (ja) * 2000-06-08 2001-12-21 Yazaki Corp 多機能スイッチ装置
JP2002229700A (ja) * 2001-02-02 2002-08-16 Mitsubishi Motors Corp 操作メニュー切換装置及び車両用ナビゲーション装置
JP2004022179A (ja) * 2002-06-12 2004-01-22 Denso Corp 車載機器制御装置
JP2005532943A (ja) * 2002-07-12 2005-11-04 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 車両内の画面表示システムを制御するための方法
JP2005182313A (ja) * 2003-12-17 2005-07-07 Nissan Motor Co Ltd 操作メニュー切換装置、車載用ナビゲーション・システムおよび操作メニュー切換え方法
JP2007083990A (ja) * 2005-09-26 2007-04-05 Mazda Motor Corp 車両用情報表示装置
JP2007296889A (ja) * 2006-04-28 2007-11-15 Honda Motor Co Ltd 車両搭載機器の操作装置
JP2008071252A (ja) * 2006-09-15 2008-03-27 Denso Corp 情報機器
JP2009073335A (ja) * 2007-09-20 2009-04-09 Denso Corp 車両用操作画面表示装置

Also Published As

Publication number Publication date
US20210034207A1 (en) 2021-02-04
JP7340150B2 (ja) 2023-09-07
WO2019176787A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
EP3910458B1 (en) Vehicle infotainment apparatus using widget and operation method thereof
US10719146B2 (en) Input device with plurality of touch pads for vehicles
JP6136627B2 (ja) 車両用情報表示装置
JP6900133B2 (ja) ジェスチャー操作装置およびジェスチャー操作方法
US10042432B2 (en) Programmable onboard interface
JP6299162B2 (ja) 車載機器操作システム、及び操作装置
US10967737B2 (en) Input device for vehicle and input method
CN111231860B (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
JP6119456B2 (ja) 車両用情報表示装置
US11662826B2 (en) System and method for interacting with a mobile device using a head-up display
JP7338184B2 (ja) 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
JP7340150B2 (ja) 操作画像表示装置、操作画像表示システム、及び操作画像表示プログラム
JP7076069B2 (ja) 車両用メニュー表示制御装置、車載機器操作システム、及びguiプログラム
JP7255584B2 (ja) 車両用メニュー表示制御装置、車載機器操作システム、及びguiプログラム
JP2020160856A (ja) 表示制御装置、gui装置、方法、及びguiプログラム
JP6489253B2 (ja) 表示装置、及び車載機器操作システム
WO2019065616A1 (ja) 操作画像表示装置及び操作装置
KR101638543B1 (ko) 차량용 디스플레이 장치
JP7338624B2 (ja) 車両用表示装置、車両用表示装置の制御方法、車両用表示装置の制御プログラム
JP2018162023A (ja) 操作装置
WO2019146703A1 (ja) 車両用操作メニュー表示制御装置、車載機器操作システム、及びguiプログラム
KR20220062165A (ko) 사용자 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
WO2019146704A1 (ja) 車両用操作メニュー表示制御装置、車載機器操作システム、及びguiプログラム
JP6739864B2 (ja) 車載用情報処理システム
JP2020181279A (ja) 車両用メニュー表示制御装置、車載機器操作システム、及びguiプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R150 Certificate of patent or registration of utility model

Ref document number: 7340150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150