WO2019021418A1 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
WO2019021418A1
WO2019021418A1 PCT/JP2017/027225 JP2017027225W WO2019021418A1 WO 2019021418 A1 WO2019021418 A1 WO 2019021418A1 JP 2017027225 W JP2017027225 W JP 2017027225W WO 2019021418 A1 WO2019021418 A1 WO 2019021418A1
Authority
WO
WIPO (PCT)
Prior art keywords
indicator
display
operation button
display control
touch panel
Prior art date
Application number
PCT/JP2017/027225
Other languages
English (en)
French (fr)
Inventor
明子 渡邊
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/609,972 priority Critical patent/US20200142511A1/en
Priority to PCT/JP2017/027225 priority patent/WO2019021418A1/ja
Priority to JP2019532291A priority patent/JP6844936B2/ja
Publication of WO2019021418A1 publication Critical patent/WO2019021418A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1645Details related to the display arrangement, including those related to the mounting of the display in the housing the display being suitable to be used in combination with an external overhead projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • B60K2360/1442Emulation of input devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/184Displaying the same information on different displays

Definitions

  • the operation button to be operated next for example, among the operation buttons currently displayed on the touch panel 1, the one operated more frequently in the past is more likely to be operated next. There is a way to predict that.
  • the second display control unit 12 acquires data of an image being displayed on the touch panel 1 from the first display control unit 11, and an image being displayed on the touch panel 1 And the pointer image stored in the pointer image storage unit 121, and the resultant composite image is displayed in the field of view of the operator using the head-up display 2.
  • the operator sees the image of FIG. 5 displayed by the head-up display 2 and can grasp the positional relationship between the operation button displayed on the touch panel 1 and the finger 90, so the touch panel with the eyes directed to the front of the vehicle It becomes possible to operate the In addition, the operability of the operation screen is improved by displaying the operation button with high priority near the finger 90 of the operator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示制御装置(10)は、タッチパネル(1)に画像を表示させる第1の表示制御部(11)と、ヘッドアップディスプレイ(2)を用いてタッチパネル(1)の操作者の視野に画像を表示させる第2の表示制御部(12)と、タッチパネル(1)の操作に用いられる指示体の位置を認識する指示体位置認識部(13)とを備える。第1の表示制御部(11)は、タッチパネル(1)における操作ボタンの表示位置を制御する操作ボタン位置制御部(111)を有する。操作ボタン位置制御部(111)は、タッチパネル(1)に指示体が接近すると、操作ボタンの表示位置を指示体の位置に近づける。第2の表示制御部(12)は、タッチパネル(1)に表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイ(2)を用いて操作者の視野に表示させる。

Description

表示制御装置および表示制御方法
 本発明は、タッチパネルおよびヘッドアップディスプレイに画像を表示する表示制御装置に関するものである。
 タッチパネルを用いた操作が可能な情報処理装置が普及している。例えばナビゲーション装置など、車両に搭載される情報処理装置では、車両のセンターパネルにタッチパネルが配置されていることが多く、運転者が車両を運転しながらタッチパネルを操作することは困難である。
 例えば、下記の引用文献1には、タッチパネルに表示させる操作ボタンの位置を、操作者の指の位置に応じて制御する表示装置が開示されている。引用文献1の表示装置では、各操作ボタンに過去の操作回数に応じた優先度を設定し、タッチパネルに操作者の指が近づいたときに、優先度の高い操作ボタンを操作者の指の近傍に表示させることで、タッチパネルの操作性の向上を図っている。
 また近年、車両の運転者が見通せるフロントガラス等を表示画面として用いることで運転者の視野に画像を直接表示できる、ヘッドアップディスプレイ(HUD)が実用化されている。ヘッドアップディスプレイが表示する画像は、運転者が車両の前方に目を向けたまま見ることができる。
特開2011-198210号公報
 特許文献1の技術によれば、タッチパネルの画面には、操作者の指の近傍に操作ボタンが表示されるため、タッチパネルの操作性が向上する。しかし、操作者は、指の近くにどの操作ボタンが表示されているのか確認するために、タッチパネルを見る必要がある。
 本発明は以上のような課題を解決するためになされたものであり、タッチパネルの操作性を向上させると共に、操作者がタッチパネルを見ずとも操作ボタンを操作できるようにすることを目的とする。
 本発明に係る表示制御装置は、タッチパネルに画像を表示させる第1の表示制御部と、ヘッドアップディスプレイを用いてタッチパネルの操作者の視野に画像を表示させる第2の表示制御部と、タッチパネルの操作に用いられる指示体の位置を認識する指示体位置認識部と、を備え、第1の表示制御部は、タッチパネルに操作ボタンを表示させるときに操作ボタンの表示位置を制御する操作ボタン位置制御部を有し、操作ボタン位置制御部は、タッチパネルと指示体との間の距離が予め定められた閾値よりも小さくなると、操作ボタンの表示位置を、指示体の位置に近づけ、第2の表示制御部は、タッチパネルに表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いて操作者の視野に表示させる。
 本発明によれば、指示体がタッチパネルに接近すると、指示体の位置の近傍に操作ボタンが表示されるため、タッチパネルの操作性が向上する。また、操作者は、指示体と操作ボタンとの位置関係をヘッドアップディスプレイが表示する画像から把握できるため、タッチパネルを見ずに操作ボタンを操作することができる。
 この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係るタッチパネルシステムの構成を示す機能ブロック図である。 タッチパネルおよびヘッドアップディスプレイの表示領域の配置例を示す図である。 タッチパネルに表示される操作画面の例を示す図である。 タッチパネルに表示される操作画面の例を示す図である。 ヘッドアップディスプレイが表示する画像の例を示す図である。 実施の形態1に係る第1の表示制御部の動作を示すフローチャートである。 実施の形態1に係る第2の表示制御部の動作を示すフローチャートである。 タッチパネルに表示される操作画面の例を示す図である。 ヘッドアップディスプレイが表示する画像の例を示す図である。 指示体画像の変形例を示す図である。 指示体画像の変形例を示す図である。 指示体画像の変形例を示す図である。 表示制御装置のハードウェア構成の例を示す図である。 表示制御装置のハードウェア構成の例を示す図である。 実施の形態2に係る第1の表示制御部の動作を示すフローチャートである。 タッチパネルに表示される操作画面の変化の例を示す図である。 ヘッドアップディスプレイが表示する画像の変化の例を示す図である。 タッチパネルに表示される操作画面の変化の例を示す図である。 ヘッドアップディスプレイが表示する画像の変化の例を示す図である。 実施の形態3に係る第1の表示制御部の動作を示すフローチャートである。 実施の形態4に係るタッチパネルシステムの構成を示す機能ブロック図である。 実施の形態4に係る第2の表示制御部の動作を示すフローチャートである。 ヘッドアップディスプレイが表示する画像の例を示す図である。 タッチパネルに表示される操作画面の例を示す図である。 ヘッドアップディスプレイが表示する画像の例を示す図である。 簡略化された次画面の画像の例を示す図である。
 <実施の形態1>
 図1は、実施の形態1に係るタッチパネルシステム20の構成を示す機能ブロック図である。図1のように、タッチパネルシステム20は、タッチパネル1、ヘッドアップディスプレイ(HUD)2、近接センサ3、操作認識装置4、情報処理装置5および表示制御装置10を備えている。
 本実施の形態では、タッチパネルシステム20は車両に搭載されているものと仮定する。ただし、タッチパネルシステム20は車内に常設される必要はなく、例えば、車両に持ち込み可能な携帯型の機器に適用することもできる。
 タッチパネル1は、画像を表示する表示部1aと、表示部1aの画面上に配設されたタッチセンサ1bとから構成される。タッチセンサ1bは、操作者(車両の運転者)が表示部1aの画面にタッチした位置(座標)を検出する。説明の簡単のため、以下では、表示部1aおよびタッチセンサ1bをまとめて「タッチパネル1」という。例えば、表示部1aに表示された画像は「タッチパネル1に表示された画像」といい、タッチセンサ1bに対する操作は「タッチパネル1に対する操作」という。
 ヘッドアップディスプレイ2は、車両の運転者が見通せる表示画面に画像を表示することで、運転者の視野に画像を直接表示させる表示装置である。本実施の形態では、ヘッドアップディスプレイ2は、車両のフロントガラスを表示画面として用いるものとするが、例えば、「コンバイナー」と呼ばれる小型で透明なプラスチックディスクを表示画面として用いるものでもよい。
 図2は、タッチパネルシステム20を搭載する車両のフロントパネル81およびフロントガラス82の一例である。図2の例では、タッチパネル1は車両のフロントパネル81の中央部(センターパネル)に配置され、ヘッドアップディスプレイ2の表示領域2aは、車両のフロントガラス82の運転席側(図2では右側)の端部に配置されている。タッチパネル1およびヘッドアップディスプレイ2の表示領域2aの配置は、図2の例に限られない。
 近接センサ3は、タッチパネル1の操作に用いられる指示体の位置およびタッチパネル1からの距離を検出する。指示体は、操作者が持つスタイラスペンなどでもよいが、本実施の形態では操作者の指とする。特に、車両に搭載されるタッチパネルシステムでは、操作者が車両の運転の合間にタッチパネルを操作するため、指示体は操作者の指であることが一般的である。
 操作認識装置4は、タッチパネル1(タッチセンサ1b)が検出した指示体のタッチ位置に基づいて、操作者がタッチパネル1を用いて行った操作を認識する。操作認識装置4が認識した操作の情報は、情報処理装置5に入力される。
 情報処理装置5はタッチパネル1を用いた操作の対象となる機器である。つまり、タッチパネル1には、情報処理装置5の操作画面や各機能の実行画面が表示され、操作者はタッチパネル1を用いて情報処理装置5を操作することができる。情報処理装置5は、例えば、ナビゲーション装置やオーディオディスプレイ装置などの車載機器でもよいし、携帯電話やスマートフォンなど、車内に持ち込み可能な携帯型の機器でもよい。
 図1に示すように、表示制御装置10は、第1の表示制御部11、第2の表示制御部12、指示体位置認識部13および優先度設定部14を備えている。
 第1の表示制御部11は、タッチパネル1に画像を表示させるための画像信号を生成する。また、第1の表示制御部11は、タッチパネル1に操作ボタンを含む操作画面を表示させるときに、各操作ボタンの表示位置を制御する操作ボタン位置制御部111を備えている。
 第2の表示制御部12は、ヘッドアップディスプレイ2に画像を表示させるための画像信号を生成する。また、第2の表示制御部12は、指示体の位置を示す画像(以下「指示体画像」という)を予め記憶した指示体画像記憶部121を備えている。
 指示体位置認識部13は、近接センサ3が検出した指示体(操作者の指)の位置の情報から、タッチパネル1に対する指示体の相対的な位置を認識する。指示体位置認識部13は、少なくとも、タッチパネル1から指示体までの距離と、タッチパネル1上における指示体の位置(タッチパネル1に対して垂直な方向から見たときの指示体の位置)とを認識する。
 優先度設定部14は、第1の表示制御部11がタッチパネル1に表示させる操作画面に含まれる操作ボタンのそれぞれに優先度を設定する。また、優先度設定部14は、操作履歴記憶部141と、次操作予測部142とを備えている。操作履歴記憶部141は、操作認識装置4によって認識された各操作ボタンの操作の履歴を記憶する。次操作予測部142は、操作履歴記憶部141に記憶された各操作ボタンの操作履歴に基づいて、操作者の操作パターンを学習し、操作者が次に操作する操作ボタンを予測する。
 優先度設定部14は、次操作予測部142による予測結果に基づいて、次に操作される可能性の高さに応じた優先度を各操作ボタンに設定する。つまり、次に操作される可能性の高い操作ボタンには高い優先度が設定され、次に操作される可能性の低い操作ボタンには低い優先度が設定される。
 なお、次に操作される操作ボタンの予測方法としては、例えば、タッチパネル1に現在表示されている操作ボタンのうち、過去に操作された回数が多いものほど、次に操作される可能性が高いと予測する方法が考えられる。
 上述した操作ボタン位置制御部111は、指示体がタッチパネル1に接近したときに、操作ボタンの表示位置を、指示体の位置に近づけるように移動させる。指示体がタッチパネル1に接近したか否かの判断は、指示体位置認識部13が認識したタッチパネル1から指示体までの距離が、予め定められた閾値よりも小さくなったか否かを判断することによって行われる。上記の閾値は任意の値でよいが、例えば2cm~3cm程度が好ましい。
 また、第2の表示制御部12は、指示体がタッチパネル1に接近したときに、第1の表示制御部11からタッチパネル1に表示中の画像のデータを取得し、タッチパネル1に表示中の画像と、指示体画像記憶部121に記憶されている指示体画像とを合成し、得られた合成画像を、ヘッドアップディスプレイ2を用いて操作者の視野に表示させる。
 ここで、第1の表示制御部11および第2の表示制御部12の動作を、具体的に説明する。例えば、情報処理装置5が、ナビゲーション機能、メディア再生機能、ラジオ再生機能、およびハンズフリー電話機能を有する車載装置であり、タッチパネルシステム20の起動時に、第1の表示制御部11が、図3に示す操作画面をタッチパネル1に表示させるものと仮定する。図3の操作画面には、操作ボタンとして、ナビゲーション機能を起動させるための「NAVI」ボタン101と、メディア再生機能を起動させるための「PLAYER」ボタン102と、ラジオ再生機能を起動させるための「RADIO」ボタン103と、ハンズフリー電話機能を起動させるための「TEL」ボタン104との4つが含まれている。
 また、優先度設定部14は、過去の操作履歴に基づいて、PLAYERボタン102、RADIOボタン103、NAVIボタン101、TELボタン104の順に、高い優先度を付しているものとする。つまり、最も優先度の高い操作ボタンは、PLAYERボタン102である。
 図4のように、操作者が指示体である指90をタッチパネル1に接近させると、第1の表示制御部11の操作ボタン位置制御部111は、最も優先度の高いPLAYERボタン102の表示位置を、操作者の指90の位置に近づける。操作者が操作する可能性の高いPLAYERボタン102が、操作者の指の近くに配置されることで、操作画面の操作性が向上する。
 ただし、操作ボタン位置制御部111は、PLAYERボタン102を操作者の指90の近傍に移動させた後の一定時間は、PLAYERボタン102の位置を、操作者の指90の動きに追従させずに固定する。PLAYERボタン102を常に操作者の指90と共に移動させると、操作者がPLAYERボタン102以外の操作ボタンを操作するのに邪魔になるからである。
 また図4では、操作ボタン位置制御部111が、最も優先度の高い操作ボタンの表示位置を、操作者の指90と同じ位置(重なる位置)へ移動させる例を示したが、最も優先度の高い操作ボタンを移動させた後の表示位置は、指示体の位置と同じである必要はなく、指示体の近傍であればよい。つまり、操作ボタン位置制御部111は、最も優先度の高い操作ボタンの表示位置を、元の位置(図3の操作画面における表示位置)よりも指示体に近い位置に移動させればよい。
 一方、第2の表示制御部12は、操作者の指90がタッチパネル1に接近して、タッチパネル1の表示が図4のように変化したときに、図5のように、タッチパネル1に表示中の画像201と、指示体画像記憶部121に記憶されている指示体画像202との合成画像を、操作者(運転者)の視野(図2に示した表示領域2a)に表示させる。図5において、指示体画像202は、操作者の指を模した画像である。指示体画像202は、タッチパネル1に表示中の画像201に対して、実際の操作者の指90の位置に対応する位置に合成される。それにより、画像201における指示体画像202の位置は、タッチパネル1上における操作者の指90の位置を示すこととなる。
 操作者は、ヘッドアップディスプレイ2が表示した図5の画像を見て、タッチパネル1に表示されている操作ボタンと指90との位置関係を把握できるため、車両の前方に目を向けたままタッチパネルを操作することが可能になる。また、優先度の高い操作ボタンが操作者の指90の近くに表示されることで、操作画面の操作性が向上する。
 図6は、第1の表示制御部11の動作を示すフローチャートである。図6を参照しつつ、第1の表示制御部11の動作を説明する。なお、以下の説明では、操作ボタン位置制御部111が操作ボタンを移動させる前の状態の操作画面(上の例における図3の操作画面)を、「規定の操作画面」という。
 第1の表示制御部11は、まず、規定の操作画面(例えば、図3のような操作画面)をタッチパネル1に表示させる(ステップS101)。次に、操作ボタン位置制御部111が、指示体位置認識部13が認識した指示体の位置に基づいて、指示体がタッチパネル1に接近しているか否かを確認する(ステップS102)。具体的には、操作ボタン位置制御部111は、タッチパネル1から指示体までの距離が予め定められた閾値よりも小さいか否かを確認する。
 指示体がタッチパネル1に接近していなければ(ステップS102でNO)、ステップS101へ戻り、タッチパネル1には規定の操作画面が継続して表示される。
 指示体がタッチパネル1に接近すると(ステップS102でYES)、操作ボタン位置制御部111は、最も優先度の高い操作ボタンの表示位置を、指示体の位置に近づける(ステップS103)。例えば、規定の操作画面が図3に示したものであった場合、図4のような操作画面が、タッチパネル1に表示される。
 また、操作ボタン位置制御部111は、移動させた操作ボタンの情報を操作認識装置4に通知する。それにより、操作認識装置4は、操作ボタン位置制御部111によって移動された後の操作ボタンの位置を把握できる。
 その後、操作ボタン位置制御部111は、操作ボタンのいずれかが操作者によって操作されたか否かを確認する(ステップS104)。この処理は、操作認識装置4によって操作ボタンの操作が検出されたか否かを確認することによって行うことができる。
 操作ボタンのいずれかが操作された場合には(ステップS104でYES)、第1の表示制御部11は、その操作に応じた次の画面にタッチパネル1の表示を移行させるために、ステップS101へと戻る。
 どの操作ボタンも操作されない場合には(ステップS104でNO)、操作ボタン位置制御部111は、指示体がタッチパネル1に接近した状態が続いているか確認する(ステップS105)。このとき、指示体がタッチパネル1から離れていれば(ステップS105でNO)、第1の表示制御部11は、タッチパネル1の表示を規定の操作画面に戻すためにステップS101へと戻る。
 指示体がタッチパネル1に接近した状態が続いていれば(ステップS105でYES)、操作ボタン位置制御部111は、最後に操作ボタンを指示体に近づけてから(つまり、最後にステップS103が実行されてから)一定時間が経過したか否かを確認する(ステップS106)。最後に操作ボタンを指示体に近づけてから一定時間が経過していなければ(ステップS106でNO)、各操作ボタンの表示位置を維持したまま、ステップS104へ戻る。最後に操作ボタンを指示体に近づけてから一定時間経過していれば(ステップS106でYES)、最も優先度の高い操作ボタンの表示位置を、指示体の最新の位置に近づけるために、ステップS103へ戻る。
 ステップS106の処理によって、指示体の位置に近づけられた操作ボタンの位置は、一定時間の間、指示体の動きに追従せずに固定される。それにより、指示体の位置に近づけられた操作ボタン以外の操作ボタンを、操作者が容易に操作できるようになる。この一定時間の長さは任意の値でよいが、例えば3秒程度が好ましい。
 図7は、第2の表示制御部12の動作を示すフローチャートである。図7を参照しつつ、第2の表示制御部12の動作を説明する。
 第2の表示制御部12は、まず、指示体位置認識部13が認識した指示体の位置に基づいて、指示体がタッチパネル1に接近しているか否かを確認する(ステップS201)。具体的には、第2の表示制御部12が、図6のステップS102と同様に、タッチパネル1から指示体までの距離が予め定められた閾値よりも小さいか否かを確認する。指示体がタッチパネル1に接近していなければ(ステップS201でNO)、ステップS201が繰り返し実行される。
 指示体がタッチパネル1に接近すると(ステップS201でYES)、第2の表示制御部12は、タッチパネル1に表示中の画像に、指示体画像記憶部121に記憶されている指示体画像を合成し、その結果得られた合成画像をヘッドアップディスプレイ2に表示させる(ステップS202)。このとき、第2の表示制御部12は、タッチパネル1に表示中の画像に対し、指示体位置認識部13が認識した指示体の位置に対応する位置に、指示体画像を合成する。その結果、ヘッドアップディスプレイ2により、図5に示したような画像が操作者の視野に表示される。
 図7のフローでは、指示体がタッチパネル1に接近している場合にのみ、タッチパネル1に表示中の画像と指示体画像との合成画像が、ヘッドアップディスプレイ2により表示される。しかし、図7のステップS201を省略し、ヘッドアップディスプレイ2が、常時、タッチパネル1に表示中の画像と指示体画像との合成画像を表示するようにしてもよい。
 図4では、最も優先度の高い操作ボタンであるPLAYERボタン102を操作者の指90に近づけるとき、PLAYERボタン102のみを移動させる例を示した。しかし、図8のように、PLAYERボタン102の移動に合わせて、他の操作ボタンも同じ方向へ移動させてもよい。PLAYERボタン102が操作者の指90に最も近い位置になるようにする。全ての操作ボタンを操作者の指90の近傍へ移動させることによって、PLAYERボタン102だけでなく、その他の操作ボタンの操作性も向上する。
 ただし、全ての操作ボタンを移動させると、一部の操作ボタン(図8のTELボタン104)がタッチパネル1の画面からはみ出すこともあり、その場合、画面からはみ出した操作ボタンを一時的に操作できなくなる(この問題は、後述する実施の形態2により解決される)。なお、図8の操作画面がタッチパネル1に表示された状態では、第2の表示制御部12は、ヘッドアップディスプレイ2に図9のような画像を操作者の視野に表示させる。
 図5および図9においては、ヘッドアップディスプレイ2が表示する指示体画像202を、操作者の指を模した画像としたが、指示体画像202には任意の画像を用いることができる。例えば図10のように指示体画像202を手の図形としてもよいし、図11のように指示体画像202を矢印の図形としてもよい。
 また、図12のように、指示体画像202は半透明の画像としてもよい。指示体画像202を半透明とすることで、指示体画像202と重なった位置にある操作ボタンが、指示体画像202によって見えなくなることが防止される。
 本発明は、タッチパネル1に表示された操作画面に操作ボタンが1つしかない場合にも適用できる。その場合、操作画面に含まれる1つの操作ボタンが常に「最も優先度の高い操作ボタン」になる。
 また、実施の形態1では、優先度設定部14が、過去の操作履歴に基づいて各操作ボタンの優先度を設定するものとしたが、各操作ボタンの優先度の決め方は任意でよい。例えば、ユーザが好みに応じて、各操作ボタンの優先度を任意に設定できるようにしてもよい。つまり、優先度設定部14が、ユーザの操作に応じて、各操作ボタンの優先度を設定するようにしてもよい。この場合、優先度設定部14は、操作履歴記憶部141および次操作予測部142を備える必要はない。
 表示制御装置10の要素の一部は、表示制御装置10との通信が可能なサーバー上で実現されてもよい。例えば、操作履歴記憶部141に大きな記憶容量を確保する場合や、次操作予測部142が操作者の操作パターンを学習したり次の操作を予想したりする処理の演算負荷が大きい場合には、それらをサーバー上で実現すると、表示制御装置10に必要とされる記憶容量や演算能力を抑えることができるため、コストの削減を図ることができる。
 また、図1では、タッチパネル1、ヘッドアップディスプレイ2、近接センサ3、操作認識装置4、情報処理装置5および表示制御装置10を、それぞれ異なるブロックとして示したが、それらの2つ以上が一体的に構成されていてもよい。例えば、それらの全てが1つの筐体に収められて、ナビゲーション装置などの車載装置を構成してもよい。
 図13および図14は、それぞれ表示制御装置10のハードウェア構成の一例を示す図である。図1に示した表示制御装置10の各要素は、例えば図13に示す処理回路50により実現される。すなわち、処理回路50は、タッチパネル1に画像を表示させる第1の表示制御部11と、ヘッドアップディスプレイ2を用いてタッチパネル1の操作者の視野に画像を表示させる第2の表示制御部12と、タッチパネル1の操作に用いられる指示体の位置を認識する指示体位置認識部13と、を備える。また、処理回路50が備える第1の表示制御部11は、タッチパネル1に操作ボタンを表示させるときに操作ボタンの表示位置を制御する操作ボタン位置制御部111を有し、操作ボタン位置制御部111は、タッチパネル1と指示体との間の距離が予め定められた閾値よりも小さくなると、操作ボタンの表示位置を、指示体の位置に近づけ、第2の表示制御部12は、タッチパネル1に表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いて操作者の視野に表示させる。
 処理回路50には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ(中央処理装置(CPU:Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)が適用されてもよい。
 処理回路50が専用のハードウェアである場合、処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものなどが該当する。表示制御装置10の各要素の機能のそれぞれは、複数の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
 図14は、処理回路50がプロセッサを用いて構成されている場合における表示制御装置10のハードウェア構成を示している。この場合、表示制御装置10の各要素の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ52に格納される。処理回路50としてのプロセッサ51は、メモリ52に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置10は、処理回路50により実行されるときに、タッチパネル1に操作ボタンを含む画像を表示させる処理と、タッチパネル1の操作に用いられる指示体の位置を認識する処理と、タッチパネル1と指示体との間の距離が予め定められた閾値よりも小さくなると、操作ボタンの表示位置を指示体の位置に近づける処理と、タッチパネル1に表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いてタッチパネル1の操作者の視野に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ52を備える。換言すれば、このプログラムは、表示制御装置10の各要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
 ここで、メモリ52は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
 以上、表示制御装置10の各要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、表示制御装置10の一部の要素を専用のハードウェアで実現し、別の一部の要素をソフトウェア等で実現する構成であってもよい。例えば、一部の要素については専用のハードウェアとしての処理回路50でその機能を実現し、他の一部の要素についてはプロセッサ51としての処理回路50がメモリ52に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、表示制御装置10は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 <実施の形態2>
 実施の形態1では、タッチパネル1に表示される操作画面において、指示体の位置に近づけられる操作ボタンは常に最も優先度の高いものであったが、実施の形態2では、指示体の位置に近づけられる操作ボタンが一定時間ごとに変更されるようにする。なお、実施の形態2のタッチパネルシステム20の構成は、図1と同様でよい。
 図15は、実施の形態2に係る表示制御装置10が備える第1の表示制御部11の動作を示すフローチャートである。図15のフローは、図6のフローに対し、指示体の位置に近づける操作ボタンを変更するためのステップS107を追加したものとなっている。ステップS107はステップS106でYESと判断されたときに実行される。ステップS107では、操作ボタン位置制御部111が、最後に指示体に近づけた操作ボタンの次に優先度の高い操作ボタンの表示位置を、指示体の位置に近づける。また、ステップS107の後は、ステップS104へ移行する。
 図15を参照しつつ、実施の形態2の表示制御装置10が備える第1の表示制御部11の動作を説明する。
 実施の形態2では、タッチパネル1に指示体が接近し、最も優先度の高い操作ボタンが指示体の位置に近づけられた後(ステップS103)、タッチパネル1に指示体が接近したまま、どの操作ボタンも操作されない状態が一定時間だけ続くと(ステップS104~S106の全てでYES)、操作ボタン位置制御部111が、次に優先度の高い操作ボタン、すなわち2番目に優先度の高い操作ボタンを、指示体に近づける(ステップS107)。このとき、最も優先度の高い操作ボタンは、元の位置(規定の操作画面での位置)に戻される。上記の一定時間は任意の値でよく、例えば3秒程度が好ましい。
 その後さらに、タッチパネル1に指示体が接近したまま、どの操作ボタンも操作されない状態が一定時間続くと(ステップS104~S106の全てでYES)、ステップS107が実行され、操作ボタン位置制御部111が、次に優先度の高い操作ボタン、すなわち3番目に優先度の高い操作ボタンを、指示体に近づける。このとき、2番目に優先度の高い操作ボタンは、元の位置(規定の操作画面での位置)に戻される。
 それ以降も、ステップS104~S106の全てでYESと判断されると、ステップS107が実行され、操作ボタン位置制御部111が、最後に指示体に近づけた操作ボタンに代えて、その次に優先度の高い操作ボタンを指示体に近づける。ただし、最後に指示体に近づけた操作ボタンが、最も優先度の低いものであった場合には、最初に戻って、最も優先度の高い操作ボタンを指示体に近づけるものとする。
 ここで、規定の操作画面が図3に示したものであり、各操作ボタンの優先度が、PLAYERボタン102、RADIOボタン103、NAVIボタン101、TELボタン104の順に高いと仮定する。この場合、実施の形態2では、タッチパネル1に表示される操作画面は図16のように変化する。つまり、操作者が指90をタッチパネル1に接近させると、まず、最も優先度の高いPLAYERボタン102が指90の位置へ移動する。その後、タッチパネル1に指90が接近したまま、操作ボタンが操作されずに一定時間が経過すると、2番目に優先度の高いRADIOボタン103が指90の位置へ移動する。さらにそのまま一定時間が経過すると、3番目に優先度の高いNAVIボタン101が指90の位置へ移動する。さらにそのまま一定時間が経過すると、最も優先度の低いTELボタン104が指90の位置へ移動する。さらにそのまま一定時間が経過すると、再び、最も優先度の高いPLAYERボタン102が指90の位置へ移動する。
 なお、第2の表示制御部12の動作は、実施の形態1(図7)と同様でよい。図16のようにタッチパネル1に表示される操作画面が変化すると、その変化に同期して、ヘッドアップディスプレイ2が操作者の視野(表示領域2a)に表示させる画像も図17のように変化する。
 実施の形態2によれば、操作者が指示体をタッチパネル1に接近させていれば、指示体の位置に近づけられる操作ボタンが、一定時間ごとに、優先度の高い順番で切り替わる。よって、最初に指示体に近づいてきた操作ボタンが所望のものではなかった場合でも、しばらく待てば、所望の操作ボタンが指示体に近づいてくる。そのため、操作者は、少ない指の動きで所望の操作ボタンを操作することができる。
 実施の形態2においても、図8に示したように、全ての操作ボタンを同じ方向へ移動させてもよい。その場合、タッチパネル1に表示される操作画面は図18のように変化し、その変化に同期して、ヘッドアップディスプレイ2が操作者の視野に表示させる画像は図19のように変化する。本実施の形態では、所望の操作ボタンがタッチパネル1の画面からはみ出しても、しばらく待てば、その操作ボタンが指示体の近傍(タッチパネル1の画面内)に表示され操作できるようになる。
 <実施の形態3>
 実施の形態2では、指示体の位置に近づけられる操作ボタンを変更させるために、一定時間待つ必要があったが、実施の形態3では、指示体の位置に近づけられる操作ボタンを操作者が積極的に変更できるようにする。なお、実施の形態3のタッチパネルシステム20の構成は、図1と同様でよい。
 図20は、実施の形態3における第1の表示制御部11の動作を示すフローチャートである。図20のフローは、図15のフローに対し、最後に操作ボタンが指示体に近づけられてから、指示体の位置の変化量(移動量)が一定値に達したか否かを確認するステップS108を追加したものである。
 実施の形態3おいては、指示体がタッチパネル1に接近した後、操作ボタンが操作されない状態が一定時間継続していなくても(ステップS106でNO)、操作者が指示体を左右に振るなどして、指示体の移動量が一定値に達すれば(ステップS108でYES)、ステップS107が実行されて、操作ボタン位置制御部111が、指示体に近づける操作ボタンを変更する。つまり、最後に指示体へ近づけた操作ボタンに代えて、その次に優先度の高い操作ボタンが指示体に近づけられる。なお、ステップS108において、指示体の移動量が一定値に達していなければ(ステップS108でNO)、ステップS104へと移行する。
 このように、実施の形態3では、タッチパネル1が指示体に接近し、且つ、複数の操作ボタンが操作されない状態が続いている間、操作ボタン位置制御部111が、指示体の移動量が一定値に達するごとに、指示体の位置に近づける操作ボタンを変更する。
 例えば図3の例において、優先度設定部14が、PLAYERボタン102、RADIOボタン103、NAVIボタン101、TELボタン104の順に高い優先度を付していると仮定すると、指示体の移動量が一定値に達するごとに、タッチパネル1に表示される操作画面は、図16(または図18)と同様の順番で変化する。
 第2の表示制御部12の動作は、実施の形態1と同様でよい。タッチパネル1に表示された操作画面が図16(または図18)のように変化すると、その変化に同期して、ヘッドアップディスプレイ2が操作者の視野(表示領域2a)に表示させる画像も図17(または図19)のように変化する。
 実施の形態3のタッチパネルシステム20によれば、操作者が指示体を左右に振るなどして、指示体の位置の変化量が一定値に達すると、指示体の位置に近づけられる操作ボタンが変更される。よって、操作者は、指示体の位置に近づけられる操作ボタンを、実施の形態2よりも素早く変更することができる。
 <実施の形態4>
 実施の形態4では、タッチパネル1に接近した指示体の位置が、いずれかの操作ボタンの表示位置と重なると、第2の表示制御部12が、その操作ボタンが操作された場合にタッチパネル1に表示される予定の画面(以下「次画面」という)の画像を、ヘッドアップディスプレイを用いて操作者の視野に表示させる。
 図21は、実施の形態4に係るタッチパネルシステム20の構成を示す機能ブロック図である。図21の構成は、図1に対し、表示制御装置10の第2の表示制御部12に次画面画像記憶部122を追加したものとなっている。次画面画像記憶部122は、各操作ボタンに対応する次画面の画像を記憶している。次画面画像記憶部122は、情報処理装置5から各操作ボタンに対応する次画面の画像を取得して記憶してもよいし、タッチパネル1の過去の表示履歴から、各操作ボタンに対応する次画面の画像を抽出して記憶してもよい。
 図22は、実施の形態4における第1の表示制御部11の動作を示すフローチャートである。図20のフローは、図7のフローに対し、指示体の位置が操作ボタンと重なっているか否かを確認するステップS203と、指示体と重なっている操作ボタンに対応する次画面の画像をヘッドアップディスプレイ2に表示させるステップS204とが追加されたものとなっている。
 図22を参照しつつ、実施の形態4における第2の表示制御部12の動作を説明する。第2の表示制御部12は、まず、指示体がタッチパネル1に接近しているか否かを確認する(ステップS201)。指示体がタッチパネル1に接近していなければ(ステップS201でNO)、ステップS201が繰り返し実行される。
 指示体がタッチパネル1に接近すると(ステップS201でYES)、第2の表示制御部12は、指示体の位置が操作ボタンと重なっているか否かを確認する(ステップS203)。
 指示体の位置が操作ボタンと重なっていれば(ステップS203でYES)、第2の表示制御部12は、タッチパネル1に表示中の画像に、その操作ボタンに対応する次画面の画像をヘッドアップディスプレイ2に表示させる(ステップS204)。例えば、図4のように、指示体の位置がPLAYERボタン102と重なっているときには、図23のように、PLAYERボタン102に対応する次画面の画像203(メディア再生機能の実行画面)が操作者の視野に表示される。
 一方、指示体の位置が操作ボタンと重なっていなければ(ステップS203でNO)、第2の表示制御部12は、実施の形態1と同様に、タッチパネル1に表示中の画像に、指示体画像記憶部121に記憶されている指示体画像を合成し、その結果得られた合成画像を、ヘッドアップディスプレイ2に表示させる(ステップS202)。例えば、図24のように、指示体の位置がどの操作ボタンとも重なっていなければ、図25のように、タッチパネル1に表示中の画像201と指示体画像202との合成画像が、操作者の視野に表示される。
 実施の形態4によれば、指示体の位置が操作ボタンと重なったときに、ヘッドアップディスプレイ2により、指示体の位置と重なった操作ボタンに対応する次画面の画像が表示される。よって、操作者は、ヘッドアップディスプレイ2が表示する画像から、指示体の下にどの操作ボタンが表示されているかを、直感的に把握することができる。
 なお、次画面画像記憶部122に記憶される次画面の画像は、実際の次画面そのものである必要はなく、指示体の位置と重なった操作ボタンを操作するとどのような画面に移行するのかが直感的に分かるものであれればよい。例えば、図23に示した次画面の画像203の代わりに、図26のように、実際の次画面(メディア再生機能の実行画面)を簡略した画像203aを用いてもよい。
 なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
 この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
 1 タッチパネル、1a 表示部、1b タッチセンサ、2 ヘッドアップディスプレイ、2a 表示領域、3 近接センサ、4 操作認識装置、5 情報処理装置、10 表示制御装置、11 第1の表示制御部、111 操作ボタン位置制御部、12 第2の表示制御部、121 指示体画像記憶部、122 次画面画像記憶部、13 指示体位置認識部、14 優先度設定部、141 操作履歴記憶部、142 次操作予測部、20 タッチパネルシステム、50 処理装置、51 プロセッサ、52 メモリ、90 操作者の指、101 NAVIボタン、102 PLAYERボタン、103 RADIOボタン、104 TELボタン、201 タッチパネルに表示中の画像、202 指示体画像、203 次画面の画像。

Claims (24)

  1.  タッチパネルに画像を表示させる第1の表示制御部と、
     ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に画像を表示させる第2の表示制御部と、
     前記タッチパネルの操作に用いられる指示体の位置を認識する指示体位置認識部と、
    を備え、
     前記第1の表示制御部は、前記タッチパネルに操作ボタンを表示させるときに前記操作ボタンの表示位置を制御する操作ボタン位置制御部を有し、
     前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
     前記第2の表示制御部は、前記タッチパネルに表示中の画像と前記指示体の位置を示す画像との合成画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
    表示制御装置。
  2.  前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
    請求項1に記載の表示制御装置。
  3.  前記指示体の位置が前記操作ボタンの表示位置と重なると、前記第2の表示制御部は、前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
    請求項1に記載の表示制御装置。
  4.  前記第1の表示制御部は、前記タッチパネルに前記操作ボタンを複数表示させ、
     前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さくなると、複数の前記操作ボタンのうちの少なくとも1つの表示位置を、前記指示体の位置に近づける、
    請求項1に記載の表示制御装置。
  5.  前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
    請求項4に記載の表示制御装置。
  6.  前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、一定時間経過するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
    請求項4に記載の表示制御装置。
  7.  複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
     前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
    請求項6に記載の表示制御装置。
  8.  前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
    請求項7に記載の表示制御装置。
  9.  前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、前記指示体の位置の変化量が一定値に達するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
    請求項4に記載の表示制御装置。
  10.  複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
     前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
    請求項9に記載の表示制御装置。
  11.  前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
    請求項10に記載の表示制御装置。
  12.  前記指示体の位置が複数の前記操作ボタンのいずれかの表示位置と重なると、前記第2の表示制御部は、前記指示体の位置と重なった前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
    請求項4に記載の表示制御装置。
  13.  タッチパネルに画像を表示させる第1の表示制御部と、
     ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に画像を表示させる第2の表示制御部と、
     前記タッチパネルの操作に用いられる指示体の位置を認識する指示体位置認識部と、
    を備え、
     前記第1の表示制御部は、前記タッチパネルに操作ボタンを表示させるときに前記操作ボタンの表示位置を制御する操作ボタン位置制御部を有し、
     前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
     前記指示体の位置が前記操作ボタンの表示位置と重なると、前記第2の表示制御部は、前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
    表示制御装置。
  14.  前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
    請求項13に記載の表示制御装置。
  15.  前記第1の表示制御部は、前記タッチパネルに前記操作ボタンを複数表示させ、
     前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さくなると、複数の前記操作ボタンのうちの少なくとも1つの表示位置を、前記指示体の位置に近づけ、
     前記指示体の位置が複数の前記操作ボタンのいずれかの表示位置と重なると、前記第2の表示制御部は、前記指示体の位置と重なった前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
    請求項13に記載の表示制御装置。
  16.  前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
    請求項15に記載の表示制御装置。
  17.  前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、一定時間経過するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
    請求項15に記載の表示制御装置。
  18.  複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
     前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
    請求項17に記載の表示制御装置。
  19.  前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
    請求項18に記載の表示制御装置。
  20.  前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、前記指示体の位置の変化量が一定値に達するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
    請求項15に記載の表示制御装置。
  21.  複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
     前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
    請求項20に記載の表示制御装置。
  22.  前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
    請求項21に記載の表示制御装置。
  23.  表示制御装置における表示制御方法であって、
     前記表示制御装置の第1の表示制御部が、タッチパネルに操作ボタンを含む画像を表示させ、
     前記表示制御装置の指示体位置認識部が、前記タッチパネルの操作に用いられる指示体の位置を認識し、
     前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記第1の表示制御部が、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
     前記表示制御装置の第2の表示制御部が、前記タッチパネルに表示中の画像と前記指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に表示させる、
    表示制御方法。
  24.  表示制御装置における表示制御方法であって、
     前記表示制御装置の第1の表示制御部が、タッチパネルに操作ボタンを含む画像を表示させ、
     前記表示制御装置の指示体位置認識部が、前記タッチパネルの操作に用いられる指示体の位置を認識し、
     前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記第1の表示制御部が、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
     前記指示体の位置が前記操作ボタンの表示位置と重なると、前記表示制御装置の第2の表示制御部が、前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に表示させる、
    表示制御方法。
PCT/JP2017/027225 2017-07-27 2017-07-27 表示制御装置および表示制御方法 WO2019021418A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/609,972 US20200142511A1 (en) 2017-07-27 2017-07-27 Display control device and display control method
PCT/JP2017/027225 WO2019021418A1 (ja) 2017-07-27 2017-07-27 表示制御装置および表示制御方法
JP2019532291A JP6844936B2 (ja) 2017-07-27 2017-07-27 表示制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027225 WO2019021418A1 (ja) 2017-07-27 2017-07-27 表示制御装置および表示制御方法

Publications (1)

Publication Number Publication Date
WO2019021418A1 true WO2019021418A1 (ja) 2019-01-31

Family

ID=65040687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027225 WO2019021418A1 (ja) 2017-07-27 2017-07-27 表示制御装置および表示制御方法

Country Status (3)

Country Link
US (1) US20200142511A1 (ja)
JP (1) JP6844936B2 (ja)
WO (1) WO2019021418A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698533B2 (en) 2017-09-11 2020-06-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for responding to touch operation and electronic device
EP3671420A4 (en) 2017-09-11 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR RESPONDING TO TOUCH OPERATIONS
WO2019047226A1 (zh) 2017-09-11 2019-03-14 广东欧珀移动通信有限公司 触摸操作响应方法及装置
EP3640783B1 (en) * 2017-09-11 2023-12-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Touch operation response method and device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (ja) * 1997-03-28 1998-10-09 Yazaki Corp タッチパネルコントローラ及びこれを用いた情報表示装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP2011060209A (ja) * 2009-09-14 2011-03-24 Sony Corp 情報処理装置、表示方法及びプログラム
JP2011198210A (ja) * 2010-03-23 2011-10-06 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
JP2013096736A (ja) * 2011-10-28 2013-05-20 Denso Corp 車両用表示装置
JP2014071700A (ja) * 2012-09-28 2014-04-21 Panasonic Mobile Communications Co Ltd 表示制御装置、表示制御方法及びプログラム
JP2014081734A (ja) * 2012-10-15 2014-05-08 Panasonic Corp 携帯電子機器
JP2015106418A (ja) * 2013-11-29 2015-06-08 株式会社 ハイヂィープ 仮想タッチパッド操作方法及びこれを行う端末機

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (ja) * 1997-03-28 1998-10-09 Yazaki Corp タッチパネルコントローラ及びこれを用いた情報表示装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP2011060209A (ja) * 2009-09-14 2011-03-24 Sony Corp 情報処理装置、表示方法及びプログラム
JP2011198210A (ja) * 2010-03-23 2011-10-06 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
JP2013096736A (ja) * 2011-10-28 2013-05-20 Denso Corp 車両用表示装置
JP2014071700A (ja) * 2012-09-28 2014-04-21 Panasonic Mobile Communications Co Ltd 表示制御装置、表示制御方法及びプログラム
JP2014081734A (ja) * 2012-10-15 2014-05-08 Panasonic Corp 携帯電子機器
JP2015106418A (ja) * 2013-11-29 2015-06-08 株式会社 ハイヂィープ 仮想タッチパッド操作方法及びこれを行う端末機

Also Published As

Publication number Publication date
US20200142511A1 (en) 2020-05-07
JPWO2019021418A1 (ja) 2019-12-12
JP6844936B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
CN108139778B (zh) 便携式设备和便携式设备的屏幕显示方法
JP5581376B2 (ja) 表示装置
US10996844B2 (en) Program, method, and device for controlling application, and recording medium
JP6135942B2 (ja) 車載装置および制御方法
WO2010090033A1 (ja) 画像表示装置
KR101495190B1 (ko) 영상표시장치 및 그 영상표시장치의 동작 방법
JP6851482B2 (ja) 操作支援装置および操作支援方法
WO2019021418A1 (ja) 表示制御装置および表示制御方法
JP7338184B2 (ja) 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
CN107797726B (zh) 信息终端
WO2009128148A1 (ja) 遠隔操作装置
JP6144501B2 (ja) 表示装置、および、表示方法
KR101882554B1 (ko) 정보를 표시하고 전자 기기를 조작하기 위한 방법 및 장치
US20160021167A1 (en) Method for extending vehicle interface
JPWO2017111075A1 (ja) 車載器、表示領域分割方法、プログラムおよび情報制御装置
JP2006264615A (ja) 車両用表示装置
JP2018018205A (ja) 表示手段の画面上の位置を決定する入力システム、検知装置、制御装置、プログラム及び方法
US20150033122A1 (en) System and method for processing touch input
JP2017049698A (ja) 入力装置、表示装置、入力装置の制御方法およびプログラム
US20160318397A1 (en) Method for providing an operating device in a vehicle and operating device
KR102080725B1 (ko) 스트레처블 디스플레이를 이용한 차량용 유저인터페이스 제공 장치 및 그 동작 방법
JP2015038642A (ja) 表示処理装置及び表示処理方法
JP5814332B2 (ja) アプリケーション制御のプログラム、方法、装置、及び記録媒体
US20150234488A1 (en) System for integrating smart device with vehicle
JP6309926B2 (ja) アプリケーション制御のプログラム、方法、装置、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17918736

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019532291

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17918736

Country of ref document: EP

Kind code of ref document: A1