WO2019021418A1

WO2019021418A1 - 表示制御装置および表示制御方法

Info

Publication number: WO2019021418A1
Application number: PCT/JP2017/027225
Authority: WO
Inventors: 明子渡邊
Original assignee: 三菱電機株式会社
Priority date: 2017-07-27
Filing date: 2017-07-27
Publication date: 2019-01-31
Also published as: JP6844936B2; JPWO2019021418A1; US20200142511A1

Abstract

表示制御装置（１０）は、タッチパネル（１）に画像を表示させる第１の表示制御部（１１）と、ヘッドアップディスプレイ（２）を用いてタッチパネル（１）の操作者の視野に画像を表示させる第２の表示制御部（１２）と、タッチパネル（１）の操作に用いられる指示体の位置を認識する指示体位置認識部（１３）とを備える。第１の表示制御部（１１）は、タッチパネル（１）における操作ボタンの表示位置を制御する操作ボタン位置制御部（１１１）を有する。操作ボタン位置制御部（１１１）は、タッチパネル（１）に指示体が接近すると、操作ボタンの表示位置を指示体の位置に近づける。第２の表示制御部（１２）は、タッチパネル（１）に表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイ（２）を用いて操作者の視野に表示させる。

Description

表示制御装置および表示制御方法

　本発明は、タッチパネルおよびヘッドアップディスプレイに画像を表示する表示制御装置に関するものである。

　タッチパネルを用いた操作が可能な情報処理装置が普及している。例えばナビゲーション装置など、車両に搭載される情報処理装置では、車両のセンターパネルにタッチパネルが配置されていることが多く、運転者が車両を運転しながらタッチパネルを操作することは困難である。

　例えば、下記の引用文献１には、タッチパネルに表示させる操作ボタンの位置を、操作者の指の位置に応じて制御する表示装置が開示されている。引用文献１の表示装置では、各操作ボタンに過去の操作回数に応じた優先度を設定し、タッチパネルに操作者の指が近づいたときに、優先度の高い操作ボタンを操作者の指の近傍に表示させることで、タッチパネルの操作性の向上を図っている。

　また近年、車両の運転者が見通せるフロントガラス等を表示画面として用いることで運転者の視野に画像を直接表示できる、ヘッドアップディスプレイ（ＨＵＤ）が実用化されている。ヘッドアップディスプレイが表示する画像は、運転者が車両の前方に目を向けたまま見ることができる。

特開２０１１－１９８２１０号公報

　特許文献１の技術によれば、タッチパネルの画面には、操作者の指の近傍に操作ボタンが表示されるため、タッチパネルの操作性が向上する。しかし、操作者は、指の近くにどの操作ボタンが表示されているのか確認するために、タッチパネルを見る必要がある。

　本発明は以上のような課題を解決するためになされたものであり、タッチパネルの操作性を向上させると共に、操作者がタッチパネルを見ずとも操作ボタンを操作できるようにすることを目的とする。

　本発明に係る表示制御装置は、タッチパネルに画像を表示させる第１の表示制御部と、ヘッドアップディスプレイを用いてタッチパネルの操作者の視野に画像を表示させる第２の表示制御部と、タッチパネルの操作に用いられる指示体の位置を認識する指示体位置認識部と、を備え、第１の表示制御部は、タッチパネルに操作ボタンを表示させるときに操作ボタンの表示位置を制御する操作ボタン位置制御部を有し、操作ボタン位置制御部は、タッチパネルと指示体との間の距離が予め定められた閾値よりも小さくなると、操作ボタンの表示位置を、指示体の位置に近づけ、第２の表示制御部は、タッチパネルに表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いて操作者の視野に表示させる。

　本発明によれば、指示体がタッチパネルに接近すると、指示体の位置の近傍に操作ボタンが表示されるため、タッチパネルの操作性が向上する。また、操作者は、指示体と操作ボタンとの位置関係をヘッドアップディスプレイが表示する画像から把握できるため、タッチパネルを見ずに操作ボタンを操作することができる。

　この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係るタッチパネルシステムの構成を示す機能ブロック図である。タッチパネルおよびヘッドアップディスプレイの表示領域の配置例を示す図である。タッチパネルに表示される操作画面の例を示す図である。タッチパネルに表示される操作画面の例を示す図である。ヘッドアップディスプレイが表示する画像の例を示す図である。実施の形態１に係る第１の表示制御部の動作を示すフローチャートである。実施の形態１に係る第２の表示制御部の動作を示すフローチャートである。タッチパネルに表示される操作画面の例を示す図である。ヘッドアップディスプレイが表示する画像の例を示す図である。指示体画像の変形例を示す図である。指示体画像の変形例を示す図である。指示体画像の変形例を示す図である。表示制御装置のハードウェア構成の例を示す図である。表示制御装置のハードウェア構成の例を示す図である。実施の形態２に係る第１の表示制御部の動作を示すフローチャートである。タッチパネルに表示される操作画面の変化の例を示す図である。ヘッドアップディスプレイが表示する画像の変化の例を示す図である。タッチパネルに表示される操作画面の変化の例を示す図である。ヘッドアップディスプレイが表示する画像の変化の例を示す図である。実施の形態３に係る第１の表示制御部の動作を示すフローチャートである。実施の形態４に係るタッチパネルシステムの構成を示す機能ブロック図である。実施の形態４に係る第２の表示制御部の動作を示すフローチャートである。ヘッドアップディスプレイが表示する画像の例を示す図である。タッチパネルに表示される操作画面の例を示す図である。ヘッドアップディスプレイが表示する画像の例を示す図である。簡略化された次画面の画像の例を示す図である。

　＜実施の形態１＞
　図１は、実施の形態１に係るタッチパネルシステム２０の構成を示す機能ブロック図である。図１のように、タッチパネルシステム２０は、タッチパネル１、ヘッドアップディスプレイ（ＨＵＤ）２、近接センサ３、操作認識装置４、情報処理装置５および表示制御装置１０を備えている。

　本実施の形態では、タッチパネルシステム２０は車両に搭載されているものと仮定する。ただし、タッチパネルシステム２０は車内に常設される必要はなく、例えば、車両に持ち込み可能な携帯型の機器に適用することもできる。

　タッチパネル１は、画像を表示する表示部１ａと、表示部１ａの画面上に配設されたタッチセンサ１ｂとから構成される。タッチセンサ１ｂは、操作者（車両の運転者）が表示部１ａの画面にタッチした位置（座標）を検出する。説明の簡単のため、以下では、表示部１ａおよびタッチセンサ１ｂをまとめて「タッチパネル１」という。例えば、表示部１ａに表示された画像は「タッチパネル１に表示された画像」といい、タッチセンサ１ｂに対する操作は「タッチパネル１に対する操作」という。

　ヘッドアップディスプレイ２は、車両の運転者が見通せる表示画面に画像を表示することで、運転者の視野に画像を直接表示させる表示装置である。本実施の形態では、ヘッドアップディスプレイ２は、車両のフロントガラスを表示画面として用いるものとするが、例えば、「コンバイナー」と呼ばれる小型で透明なプラスチックディスクを表示画面として用いるものでもよい。

　図２は、タッチパネルシステム２０を搭載する車両のフロントパネル８１およびフロントガラス８２の一例である。図２の例では、タッチパネル１は車両のフロントパネル８１の中央部（センターパネル）に配置され、ヘッドアップディスプレイ２の表示領域２ａは、車両のフロントガラス８２の運転席側（図２では右側）の端部に配置されている。タッチパネル１およびヘッドアップディスプレイ２の表示領域２ａの配置は、図２の例に限られない。

　近接センサ３は、タッチパネル１の操作に用いられる指示体の位置およびタッチパネル１からの距離を検出する。指示体は、操作者が持つスタイラスペンなどでもよいが、本実施の形態では操作者の指とする。特に、車両に搭載されるタッチパネルシステムでは、操作者が車両の運転の合間にタッチパネルを操作するため、指示体は操作者の指であることが一般的である。

　操作認識装置４は、タッチパネル１（タッチセンサ１ｂ）が検出した指示体のタッチ位置に基づいて、操作者がタッチパネル１を用いて行った操作を認識する。操作認識装置４が認識した操作の情報は、情報処理装置５に入力される。

　情報処理装置５はタッチパネル１を用いた操作の対象となる機器である。つまり、タッチパネル１には、情報処理装置５の操作画面や各機能の実行画面が表示され、操作者はタッチパネル１を用いて情報処理装置５を操作することができる。情報処理装置５は、例えば、ナビゲーション装置やオーディオディスプレイ装置などの車載機器でもよいし、携帯電話やスマートフォンなど、車内に持ち込み可能な携帯型の機器でもよい。

　図１に示すように、表示制御装置１０は、第１の表示制御部１１、第２の表示制御部１２、指示体位置認識部１３および優先度設定部１４を備えている。

　第１の表示制御部１１は、タッチパネル１に画像を表示させるための画像信号を生成する。また、第１の表示制御部１１は、タッチパネル１に操作ボタンを含む操作画面を表示させるときに、各操作ボタンの表示位置を制御する操作ボタン位置制御部１１１を備えている。

　第２の表示制御部１２は、ヘッドアップディスプレイ２に画像を表示させるための画像信号を生成する。また、第２の表示制御部１２は、指示体の位置を示す画像（以下「指示体画像」という）を予め記憶した指示体画像記憶部１２１を備えている。

　指示体位置認識部１３は、近接センサ３が検出した指示体（操作者の指）の位置の情報から、タッチパネル１に対する指示体の相対的な位置を認識する。指示体位置認識部１３は、少なくとも、タッチパネル１から指示体までの距離と、タッチパネル１上における指示体の位置（タッチパネル１に対して垂直な方向から見たときの指示体の位置）とを認識する。

　優先度設定部１４は、第１の表示制御部１１がタッチパネル１に表示させる操作画面に含まれる操作ボタンのそれぞれに優先度を設定する。また、優先度設定部１４は、操作履歴記憶部１４１と、次操作予測部１４２とを備えている。操作履歴記憶部１４１は、操作認識装置４によって認識された各操作ボタンの操作の履歴を記憶する。次操作予測部１４２は、操作履歴記憶部１４１に記憶された各操作ボタンの操作履歴に基づいて、操作者の操作パターンを学習し、操作者が次に操作する操作ボタンを予測する。

　優先度設定部１４は、次操作予測部１４２による予測結果に基づいて、次に操作される可能性の高さに応じた優先度を各操作ボタンに設定する。つまり、次に操作される可能性の高い操作ボタンには高い優先度が設定され、次に操作される可能性の低い操作ボタンには低い優先度が設定される。

　なお、次に操作される操作ボタンの予測方法としては、例えば、タッチパネル１に現在表示されている操作ボタンのうち、過去に操作された回数が多いものほど、次に操作される可能性が高いと予測する方法が考えられる。

　上述した操作ボタン位置制御部１１１は、指示体がタッチパネル１に接近したときに、操作ボタンの表示位置を、指示体の位置に近づけるように移動させる。指示体がタッチパネル１に接近したか否かの判断は、指示体位置認識部１３が認識したタッチパネル１から指示体までの距離が、予め定められた閾値よりも小さくなったか否かを判断することによって行われる。上記の閾値は任意の値でよいが、例えば２ｃｍ～３ｃｍ程度が好ましい。

　また、第２の表示制御部１２は、指示体がタッチパネル１に接近したときに、第１の表示制御部１１からタッチパネル１に表示中の画像のデータを取得し、タッチパネル１に表示中の画像と、指示体画像記憶部１２１に記憶されている指示体画像とを合成し、得られた合成画像を、ヘッドアップディスプレイ２を用いて操作者の視野に表示させる。

　ここで、第１の表示制御部１１および第２の表示制御部１２の動作を、具体的に説明する。例えば、情報処理装置５が、ナビゲーション機能、メディア再生機能、ラジオ再生機能、およびハンズフリー電話機能を有する車載装置であり、タッチパネルシステム２０の起動時に、第１の表示制御部１１が、図３に示す操作画面をタッチパネル１に表示させるものと仮定する。図３の操作画面には、操作ボタンとして、ナビゲーション機能を起動させるための「ＮＡＶＩ」ボタン１０１と、メディア再生機能を起動させるための「ＰＬＡＹＥＲ」ボタン１０２と、ラジオ再生機能を起動させるための「ＲＡＤＩＯ」ボタン１０３と、ハンズフリー電話機能を起動させるための「ＴＥＬ」ボタン１０４との４つが含まれている。

　また、優先度設定部１４は、過去の操作履歴に基づいて、ＰＬＡＹＥＲボタン１０２、ＲＡＤＩＯボタン１０３、ＮＡＶＩボタン１０１、ＴＥＬボタン１０４の順に、高い優先度を付しているものとする。つまり、最も優先度の高い操作ボタンは、ＰＬＡＹＥＲボタン１０２である。

　図４のように、操作者が指示体である指９０をタッチパネル１に接近させると、第１の表示制御部１１の操作ボタン位置制御部１１１は、最も優先度の高いＰＬＡＹＥＲボタン１０２の表示位置を、操作者の指９０の位置に近づける。操作者が操作する可能性の高いＰＬＡＹＥＲボタン１０２が、操作者の指の近くに配置されることで、操作画面の操作性が向上する。

　ただし、操作ボタン位置制御部１１１は、ＰＬＡＹＥＲボタン１０２を操作者の指９０の近傍に移動させた後の一定時間は、ＰＬＡＹＥＲボタン１０２の位置を、操作者の指９０の動きに追従させずに固定する。ＰＬＡＹＥＲボタン１０２を常に操作者の指９０と共に移動させると、操作者がＰＬＡＹＥＲボタン１０２以外の操作ボタンを操作するのに邪魔になるからである。

　また図４では、操作ボタン位置制御部１１１が、最も優先度の高い操作ボタンの表示位置を、操作者の指９０と同じ位置（重なる位置）へ移動させる例を示したが、最も優先度の高い操作ボタンを移動させた後の表示位置は、指示体の位置と同じである必要はなく、指示体の近傍であればよい。つまり、操作ボタン位置制御部１１１は、最も優先度の高い操作ボタンの表示位置を、元の位置（図３の操作画面における表示位置）よりも指示体に近い位置に移動させればよい。

　一方、第２の表示制御部１２は、操作者の指９０がタッチパネル１に接近して、タッチパネル１の表示が図４のように変化したときに、図５のように、タッチパネル１に表示中の画像２０１と、指示体画像記憶部１２１に記憶されている指示体画像２０２との合成画像を、操作者（運転者）の視野（図２に示した表示領域２ａ）に表示させる。図５において、指示体画像２０２は、操作者の指を模した画像である。指示体画像２０２は、タッチパネル１に表示中の画像２０１に対して、実際の操作者の指９０の位置に対応する位置に合成される。それにより、画像２０１における指示体画像２０２の位置は、タッチパネル１上における操作者の指９０の位置を示すこととなる。

　操作者は、ヘッドアップディスプレイ２が表示した図５の画像を見て、タッチパネル１に表示されている操作ボタンと指９０との位置関係を把握できるため、車両の前方に目を向けたままタッチパネルを操作することが可能になる。また、優先度の高い操作ボタンが操作者の指９０の近くに表示されることで、操作画面の操作性が向上する。

　図６は、第１の表示制御部１１の動作を示すフローチャートである。図６を参照しつつ、第１の表示制御部１１の動作を説明する。なお、以下の説明では、操作ボタン位置制御部１１１が操作ボタンを移動させる前の状態の操作画面（上の例における図３の操作画面）を、「規定の操作画面」という。

　第１の表示制御部１１は、まず、規定の操作画面（例えば、図３のような操作画面）をタッチパネル１に表示させる（ステップＳ１０１）。次に、操作ボタン位置制御部１１１が、指示体位置認識部１３が認識した指示体の位置に基づいて、指示体がタッチパネル１に接近しているか否かを確認する（ステップＳ１０２）。具体的には、操作ボタン位置制御部１１１は、タッチパネル１から指示体までの距離が予め定められた閾値よりも小さいか否かを確認する。

　指示体がタッチパネル１に接近していなければ（ステップＳ１０２でＮＯ）、ステップＳ１０１へ戻り、タッチパネル１には規定の操作画面が継続して表示される。

　指示体がタッチパネル１に接近すると（ステップＳ１０２でＹＥＳ）、操作ボタン位置制御部１１１は、最も優先度の高い操作ボタンの表示位置を、指示体の位置に近づける（ステップＳ１０３）。例えば、規定の操作画面が図３に示したものであった場合、図４のような操作画面が、タッチパネル１に表示される。

　また、操作ボタン位置制御部１１１は、移動させた操作ボタンの情報を操作認識装置４に通知する。それにより、操作認識装置４は、操作ボタン位置制御部１１１によって移動された後の操作ボタンの位置を把握できる。

　その後、操作ボタン位置制御部１１１は、操作ボタンのいずれかが操作者によって操作されたか否かを確認する（ステップＳ１０４）。この処理は、操作認識装置４によって操作ボタンの操作が検出されたか否かを確認することによって行うことができる。

　操作ボタンのいずれかが操作された場合には（ステップＳ１０４でＹＥＳ）、第１の表示制御部１１は、その操作に応じた次の画面にタッチパネル１の表示を移行させるために、ステップＳ１０１へと戻る。

　どの操作ボタンも操作されない場合には（ステップＳ１０４でＮＯ）、操作ボタン位置制御部１１１は、指示体がタッチパネル１に接近した状態が続いているか確認する（ステップＳ１０５）。このとき、指示体がタッチパネル１から離れていれば（ステップＳ１０５でＮＯ）、第１の表示制御部１１は、タッチパネル１の表示を規定の操作画面に戻すためにステップＳ１０１へと戻る。

　指示体がタッチパネル１に接近した状態が続いていれば（ステップＳ１０５でＹＥＳ）、操作ボタン位置制御部１１１は、最後に操作ボタンを指示体に近づけてから（つまり、最後にステップＳ１０３が実行されてから）一定時間が経過したか否かを確認する（ステップＳ１０６）。最後に操作ボタンを指示体に近づけてから一定時間が経過していなければ（ステップＳ１０６でＮＯ）、各操作ボタンの表示位置を維持したまま、ステップＳ１０４へ戻る。最後に操作ボタンを指示体に近づけてから一定時間経過していれば（ステップＳ１０６でＹＥＳ）、最も優先度の高い操作ボタンの表示位置を、指示体の最新の位置に近づけるために、ステップＳ１０３へ戻る。

　ステップＳ１０６の処理によって、指示体の位置に近づけられた操作ボタンの位置は、一定時間の間、指示体の動きに追従せずに固定される。それにより、指示体の位置に近づけられた操作ボタン以外の操作ボタンを、操作者が容易に操作できるようになる。この一定時間の長さは任意の値でよいが、例えば３秒程度が好ましい。

　図７は、第２の表示制御部１２の動作を示すフローチャートである。図７を参照しつつ、第２の表示制御部１２の動作を説明する。

　第２の表示制御部１２は、まず、指示体位置認識部１３が認識した指示体の位置に基づいて、指示体がタッチパネル１に接近しているか否かを確認する（ステップＳ２０１）。具体的には、第２の表示制御部１２が、図６のステップＳ１０２と同様に、タッチパネル１から指示体までの距離が予め定められた閾値よりも小さいか否かを確認する。指示体がタッチパネル１に接近していなければ（ステップＳ２０１でＮＯ）、ステップＳ２０１が繰り返し実行される。

　指示体がタッチパネル１に接近すると（ステップＳ２０１でＹＥＳ）、第２の表示制御部１２は、タッチパネル１に表示中の画像に、指示体画像記憶部１２１に記憶されている指示体画像を合成し、その結果得られた合成画像をヘッドアップディスプレイ２に表示させる（ステップＳ２０２）。このとき、第２の表示制御部１２は、タッチパネル１に表示中の画像に対し、指示体位置認識部１３が認識した指示体の位置に対応する位置に、指示体画像を合成する。その結果、ヘッドアップディスプレイ２により、図５に示したような画像が操作者の視野に表示される。

　図７のフローでは、指示体がタッチパネル１に接近している場合にのみ、タッチパネル１に表示中の画像と指示体画像との合成画像が、ヘッドアップディスプレイ２により表示される。しかし、図７のステップＳ２０１を省略し、ヘッドアップディスプレイ２が、常時、タッチパネル１に表示中の画像と指示体画像との合成画像を表示するようにしてもよい。

　図４では、最も優先度の高い操作ボタンであるＰＬＡＹＥＲボタン１０２を操作者の指９０に近づけるとき、ＰＬＡＹＥＲボタン１０２のみを移動させる例を示した。しかし、図８のように、ＰＬＡＹＥＲボタン１０２の移動に合わせて、他の操作ボタンも同じ方向へ移動させてもよい。ＰＬＡＹＥＲボタン１０２が操作者の指９０に最も近い位置になるようにする。全ての操作ボタンを操作者の指９０の近傍へ移動させることによって、ＰＬＡＹＥＲボタン１０２だけでなく、その他の操作ボタンの操作性も向上する。

　ただし、全ての操作ボタンを移動させると、一部の操作ボタン（図８のＴＥＬボタン１０４）がタッチパネル１の画面からはみ出すこともあり、その場合、画面からはみ出した操作ボタンを一時的に操作できなくなる（この問題は、後述する実施の形態２により解決される）。なお、図８の操作画面がタッチパネル１に表示された状態では、第２の表示制御部１２は、ヘッドアップディスプレイ２に図９のような画像を操作者の視野に表示させる。

　図５および図９においては、ヘッドアップディスプレイ２が表示する指示体画像２０２を、操作者の指を模した画像としたが、指示体画像２０２には任意の画像を用いることができる。例えば図１０のように指示体画像２０２を手の図形としてもよいし、図１１のように指示体画像２０２を矢印の図形としてもよい。

　また、図１２のように、指示体画像２０２は半透明の画像としてもよい。指示体画像２０２を半透明とすることで、指示体画像２０２と重なった位置にある操作ボタンが、指示体画像２０２によって見えなくなることが防止される。

　本発明は、タッチパネル１に表示された操作画面に操作ボタンが１つしかない場合にも適用できる。その場合、操作画面に含まれる１つの操作ボタンが常に「最も優先度の高い操作ボタン」になる。

　また、実施の形態１では、優先度設定部１４が、過去の操作履歴に基づいて各操作ボタンの優先度を設定するものとしたが、各操作ボタンの優先度の決め方は任意でよい。例えば、ユーザが好みに応じて、各操作ボタンの優先度を任意に設定できるようにしてもよい。つまり、優先度設定部１４が、ユーザの操作に応じて、各操作ボタンの優先度を設定するようにしてもよい。この場合、優先度設定部１４は、操作履歴記憶部１４１および次操作予測部１４２を備える必要はない。

　表示制御装置１０の要素の一部は、表示制御装置１０との通信が可能なサーバー上で実現されてもよい。例えば、操作履歴記憶部１４１に大きな記憶容量を確保する場合や、次操作予測部１４２が操作者の操作パターンを学習したり次の操作を予想したりする処理の演算負荷が大きい場合には、それらをサーバー上で実現すると、表示制御装置１０に必要とされる記憶容量や演算能力を抑えることができるため、コストの削減を図ることができる。

　また、図１では、タッチパネル１、ヘッドアップディスプレイ２、近接センサ３、操作認識装置４、情報処理装置５および表示制御装置１０を、それぞれ異なるブロックとして示したが、それらの２つ以上が一体的に構成されていてもよい。例えば、それらの全てが１つの筐体に収められて、ナビゲーション装置などの車載装置を構成してもよい。

　図１３および図１４は、それぞれ表示制御装置１０のハードウェア構成の一例を示す図である。図１に示した表示制御装置１０の各要素は、例えば図１３に示す処理回路５０により実現される。すなわち、処理回路５０は、タッチパネル１に画像を表示させる第１の表示制御部１１と、ヘッドアップディスプレイ２を用いてタッチパネル１の操作者の視野に画像を表示させる第２の表示制御部１２と、タッチパネル１の操作に用いられる指示体の位置を認識する指示体位置認識部１３と、を備える。また、処理回路５０が備える第１の表示制御部１１は、タッチパネル１に操作ボタンを表示させるときに操作ボタンの表示位置を制御する操作ボタン位置制御部１１１を有し、操作ボタン位置制御部１１１は、タッチパネル１と指示体との間の距離が予め定められた閾値よりも小さくなると、操作ボタンの表示位置を、指示体の位置に近づけ、第２の表示制御部１２は、タッチパネル１に表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いて操作者の視野に表示させる。

　処理回路５０には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）が適用されてもよい。

　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。表示制御装置１０の各要素の機能のそれぞれは、複数の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

　図１４は、処理回路５０がプロセッサを用いて構成されている場合における表示制御装置１０のハードウェア構成を示している。この場合、表示制御装置１０の各要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。処理回路５０としてのプロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置１０は、処理回路５０により実行されるときに、タッチパネル１に操作ボタンを含む画像を表示させる処理と、タッチパネル１の操作に用いられる指示体の位置を認識する処理と、タッチパネル１と指示体との間の距離が予め定められた閾値よりも小さくなると、操作ボタンの表示位置を指示体の位置に近づける処理と、タッチパネル１に表示中の画像と指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いてタッチパネル１の操作者の視野に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、表示制御装置１０の各要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

　以上、表示制御装置１０の各要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、表示制御装置１０の一部の要素を専用のハードウェアで実現し、別の一部の要素をソフトウェア等で実現する構成であってもよい。例えば、一部の要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

　以上のように、表示制御装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　＜実施の形態２＞
　実施の形態１では、タッチパネル１に表示される操作画面において、指示体の位置に近づけられる操作ボタンは常に最も優先度の高いものであったが、実施の形態２では、指示体の位置に近づけられる操作ボタンが一定時間ごとに変更されるようにする。なお、実施の形態２のタッチパネルシステム２０の構成は、図１と同様でよい。

　図１５は、実施の形態２に係る表示制御装置１０が備える第１の表示制御部１１の動作を示すフローチャートである。図１５のフローは、図６のフローに対し、指示体の位置に近づける操作ボタンを変更するためのステップＳ１０７を追加したものとなっている。ステップＳ１０７はステップＳ１０６でＹＥＳと判断されたときに実行される。ステップＳ１０７では、操作ボタン位置制御部１１１が、最後に指示体に近づけた操作ボタンの次に優先度の高い操作ボタンの表示位置を、指示体の位置に近づける。また、ステップＳ１０７の後は、ステップＳ１０４へ移行する。

　図１５を参照しつつ、実施の形態２の表示制御装置１０が備える第１の表示制御部１１の動作を説明する。

　実施の形態２では、タッチパネル１に指示体が接近し、最も優先度の高い操作ボタンが指示体の位置に近づけられた後（ステップＳ１０３）、タッチパネル１に指示体が接近したまま、どの操作ボタンも操作されない状態が一定時間だけ続くと（ステップＳ１０４～Ｓ１０６の全てでＹＥＳ）、操作ボタン位置制御部１１１が、次に優先度の高い操作ボタン、すなわち２番目に優先度の高い操作ボタンを、指示体に近づける（ステップＳ１０７）。このとき、最も優先度の高い操作ボタンは、元の位置（規定の操作画面での位置）に戻される。上記の一定時間は任意の値でよく、例えば３秒程度が好ましい。

　その後さらに、タッチパネル１に指示体が接近したまま、どの操作ボタンも操作されない状態が一定時間続くと（ステップＳ１０４～Ｓ１０６の全てでＹＥＳ）、ステップＳ１０７が実行され、操作ボタン位置制御部１１１が、次に優先度の高い操作ボタン、すなわち３番目に優先度の高い操作ボタンを、指示体に近づける。このとき、２番目に優先度の高い操作ボタンは、元の位置（規定の操作画面での位置）に戻される。

　それ以降も、ステップＳ１０４～Ｓ１０６の全てでＹＥＳと判断されると、ステップＳ１０７が実行され、操作ボタン位置制御部１１１が、最後に指示体に近づけた操作ボタンに代えて、その次に優先度の高い操作ボタンを指示体に近づける。ただし、最後に指示体に近づけた操作ボタンが、最も優先度の低いものであった場合には、最初に戻って、最も優先度の高い操作ボタンを指示体に近づけるものとする。

　ここで、規定の操作画面が図３に示したものであり、各操作ボタンの優先度が、ＰＬＡＹＥＲボタン１０２、ＲＡＤＩＯボタン１０３、ＮＡＶＩボタン１０１、ＴＥＬボタン１０４の順に高いと仮定する。この場合、実施の形態２では、タッチパネル１に表示される操作画面は図１６のように変化する。つまり、操作者が指９０をタッチパネル１に接近させると、まず、最も優先度の高いＰＬＡＹＥＲボタン１０２が指９０の位置へ移動する。その後、タッチパネル１に指９０が接近したまま、操作ボタンが操作されずに一定時間が経過すると、２番目に優先度の高いＲＡＤＩＯボタン１０３が指９０の位置へ移動する。さらにそのまま一定時間が経過すると、３番目に優先度の高いＮＡＶＩボタン１０１が指９０の位置へ移動する。さらにそのまま一定時間が経過すると、最も優先度の低いＴＥＬボタン１０４が指９０の位置へ移動する。さらにそのまま一定時間が経過すると、再び、最も優先度の高いＰＬＡＹＥＲボタン１０２が指９０の位置へ移動する。

　なお、第２の表示制御部１２の動作は、実施の形態１（図７）と同様でよい。図１６のようにタッチパネル１に表示される操作画面が変化すると、その変化に同期して、ヘッドアップディスプレイ２が操作者の視野（表示領域２ａ）に表示させる画像も図１７のように変化する。

　実施の形態２によれば、操作者が指示体をタッチパネル１に接近させていれば、指示体の位置に近づけられる操作ボタンが、一定時間ごとに、優先度の高い順番で切り替わる。よって、最初に指示体に近づいてきた操作ボタンが所望のものではなかった場合でも、しばらく待てば、所望の操作ボタンが指示体に近づいてくる。そのため、操作者は、少ない指の動きで所望の操作ボタンを操作することができる。

　実施の形態２においても、図８に示したように、全ての操作ボタンを同じ方向へ移動させてもよい。その場合、タッチパネル１に表示される操作画面は図１８のように変化し、その変化に同期して、ヘッドアップディスプレイ２が操作者の視野に表示させる画像は図１９のように変化する。本実施の形態では、所望の操作ボタンがタッチパネル１の画面からはみ出しても、しばらく待てば、その操作ボタンが指示体の近傍（タッチパネル１の画面内）に表示され操作できるようになる。

　＜実施の形態３＞
　実施の形態２では、指示体の位置に近づけられる操作ボタンを変更させるために、一定時間待つ必要があったが、実施の形態３では、指示体の位置に近づけられる操作ボタンを操作者が積極的に変更できるようにする。なお、実施の形態３のタッチパネルシステム２０の構成は、図１と同様でよい。

　図２０は、実施の形態３における第１の表示制御部１１の動作を示すフローチャートである。図２０のフローは、図１５のフローに対し、最後に操作ボタンが指示体に近づけられてから、指示体の位置の変化量（移動量）が一定値に達したか否かを確認するステップＳ１０８を追加したものである。

　実施の形態３おいては、指示体がタッチパネル１に接近した後、操作ボタンが操作されない状態が一定時間継続していなくても（ステップＳ１０６でＮＯ）、操作者が指示体を左右に振るなどして、指示体の移動量が一定値に達すれば（ステップＳ１０８でＹＥＳ）、ステップＳ１０７が実行されて、操作ボタン位置制御部１１１が、指示体に近づける操作ボタンを変更する。つまり、最後に指示体へ近づけた操作ボタンに代えて、その次に優先度の高い操作ボタンが指示体に近づけられる。なお、ステップＳ１０８において、指示体の移動量が一定値に達していなければ（ステップＳ１０８でＮＯ）、ステップＳ１０４へと移行する。

　このように、実施の形態３では、タッチパネル１が指示体に接近し、且つ、複数の操作ボタンが操作されない状態が続いている間、操作ボタン位置制御部１１１が、指示体の移動量が一定値に達するごとに、指示体の位置に近づける操作ボタンを変更する。

　例えば図３の例において、優先度設定部１４が、ＰＬＡＹＥＲボタン１０２、ＲＡＤＩＯボタン１０３、ＮＡＶＩボタン１０１、ＴＥＬボタン１０４の順に高い優先度を付していると仮定すると、指示体の移動量が一定値に達するごとに、タッチパネル１に表示される操作画面は、図１６（または図１８）と同様の順番で変化する。

　第２の表示制御部１２の動作は、実施の形態１と同様でよい。タッチパネル１に表示された操作画面が図１６（または図１８）のように変化すると、その変化に同期して、ヘッドアップディスプレイ２が操作者の視野（表示領域２ａ）に表示させる画像も図１７（または図１９）のように変化する。

　実施の形態３のタッチパネルシステム２０によれば、操作者が指示体を左右に振るなどして、指示体の位置の変化量が一定値に達すると、指示体の位置に近づけられる操作ボタンが変更される。よって、操作者は、指示体の位置に近づけられる操作ボタンを、実施の形態２よりも素早く変更することができる。

　＜実施の形態４＞
　実施の形態４では、タッチパネル１に接近した指示体の位置が、いずれかの操作ボタンの表示位置と重なると、第２の表示制御部１２が、その操作ボタンが操作された場合にタッチパネル１に表示される予定の画面（以下「次画面」という）の画像を、ヘッドアップディスプレイを用いて操作者の視野に表示させる。

　図２１は、実施の形態４に係るタッチパネルシステム２０の構成を示す機能ブロック図である。図２１の構成は、図１に対し、表示制御装置１０の第２の表示制御部１２に次画面画像記憶部１２２を追加したものとなっている。次画面画像記憶部１２２は、各操作ボタンに対応する次画面の画像を記憶している。次画面画像記憶部１２２は、情報処理装置５から各操作ボタンに対応する次画面の画像を取得して記憶してもよいし、タッチパネル１の過去の表示履歴から、各操作ボタンに対応する次画面の画像を抽出して記憶してもよい。

　図２２は、実施の形態４における第１の表示制御部１１の動作を示すフローチャートである。図２０のフローは、図７のフローに対し、指示体の位置が操作ボタンと重なっているか否かを確認するステップＳ２０３と、指示体と重なっている操作ボタンに対応する次画面の画像をヘッドアップディスプレイ２に表示させるステップＳ２０４とが追加されたものとなっている。

　図２２を参照しつつ、実施の形態４における第２の表示制御部１２の動作を説明する。第２の表示制御部１２は、まず、指示体がタッチパネル１に接近しているか否かを確認する（ステップＳ２０１）。指示体がタッチパネル１に接近していなければ（ステップＳ２０１でＮＯ）、ステップＳ２０１が繰り返し実行される。

　指示体がタッチパネル１に接近すると（ステップＳ２０１でＹＥＳ）、第２の表示制御部１２は、指示体の位置が操作ボタンと重なっているか否かを確認する（ステップＳ２０３）。

　指示体の位置が操作ボタンと重なっていれば（ステップＳ２０３でＹＥＳ）、第２の表示制御部１２は、タッチパネル１に表示中の画像に、その操作ボタンに対応する次画面の画像をヘッドアップディスプレイ２に表示させる（ステップＳ２０４）。例えば、図４のように、指示体の位置がＰＬＡＹＥＲボタン１０２と重なっているときには、図２３のように、ＰＬＡＹＥＲボタン１０２に対応する次画面の画像２０３（メディア再生機能の実行画面）が操作者の視野に表示される。

　一方、指示体の位置が操作ボタンと重なっていなければ（ステップＳ２０３でＮＯ）、第２の表示制御部１２は、実施の形態１と同様に、タッチパネル１に表示中の画像に、指示体画像記憶部１２１に記憶されている指示体画像を合成し、その結果得られた合成画像を、ヘッドアップディスプレイ２に表示させる（ステップＳ２０２）。例えば、図２４のように、指示体の位置がどの操作ボタンとも重なっていなければ、図２５のように、タッチパネル１に表示中の画像２０１と指示体画像２０２との合成画像が、操作者の視野に表示される。

　実施の形態４によれば、指示体の位置が操作ボタンと重なったときに、ヘッドアップディスプレイ２により、指示体の位置と重なった操作ボタンに対応する次画面の画像が表示される。よって、操作者は、ヘッドアップディスプレイ２が表示する画像から、指示体の下にどの操作ボタンが表示されているかを、直感的に把握することができる。

　なお、次画面画像記憶部１２２に記憶される次画面の画像は、実際の次画面そのものである必要はなく、指示体の位置と重なった操作ボタンを操作するとどのような画面に移行するのかが直感的に分かるものであれればよい。例えば、図２３に示した次画面の画像２０３の代わりに、図２６のように、実際の次画面（メディア再生機能の実行画面）を簡略した画像２０３ａを用いてもよい。

　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

　この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

　１　タッチパネル、１ａ　表示部、１ｂ　タッチセンサ、２　ヘッドアップディスプレイ、２ａ　表示領域、３　近接センサ、４　操作認識装置、５　情報処理装置、１０　表示制御装置、１１　第１の表示制御部、１１１　操作ボタン位置制御部、１２　第２の表示制御部、１２１　指示体画像記憶部、１２２　次画面画像記憶部、１３　指示体位置認識部、１４　優先度設定部、１４１　操作履歴記憶部、１４２　次操作予測部、２０　タッチパネルシステム、５０　処理装置、５１　プロセッサ、５２　メモリ、９０　操作者の指、１０１　ＮＡＶＩボタン、１０２　ＰＬＡＹＥＲボタン、１０３　ＲＡＤＩＯボタン、１０４　ＴＥＬボタン、２０１　タッチパネルに表示中の画像、２０２　指示体画像、２０３　次画面の画像。

Claims

　タッチパネルに画像を表示させる第１の表示制御部と、
　ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に画像を表示させる第２の表示制御部と、
　前記タッチパネルの操作に用いられる指示体の位置を認識する指示体位置認識部と、
を備え、
　前記第１の表示制御部は、前記タッチパネルに操作ボタンを表示させるときに前記操作ボタンの表示位置を制御する操作ボタン位置制御部を有し、
　前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
　前記第２の表示制御部は、前記タッチパネルに表示中の画像と前記指示体の位置を示す画像との合成画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
表示制御装置。
　前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
請求項１に記載の表示制御装置。
　前記指示体の位置が前記操作ボタンの表示位置と重なると、前記第２の表示制御部は、前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
請求項１に記載の表示制御装置。
　前記第１の表示制御部は、前記タッチパネルに前記操作ボタンを複数表示させ、
　前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さくなると、複数の前記操作ボタンのうちの少なくとも１つの表示位置を、前記指示体の位置に近づける、
請求項１に記載の表示制御装置。
　前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
請求項４に記載の表示制御装置。
　前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、一定時間経過するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
請求項４に記載の表示制御装置。
　複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
　前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
請求項６に記載の表示制御装置。
　前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
請求項７に記載の表示制御装置。
　前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、前記指示体の位置の変化量が一定値に達するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
請求項４に記載の表示制御装置。
　複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
　前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
請求項９に記載の表示制御装置。
　前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
請求項１０に記載の表示制御装置。
　前記指示体の位置が複数の前記操作ボタンのいずれかの表示位置と重なると、前記第２の表示制御部は、前記指示体の位置と重なった前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
請求項４に記載の表示制御装置。
　タッチパネルに画像を表示させる第１の表示制御部と、
　ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に画像を表示させる第２の表示制御部と、
　前記タッチパネルの操作に用いられる指示体の位置を認識する指示体位置認識部と、
を備え、
　前記第１の表示制御部は、前記タッチパネルに操作ボタンを表示させるときに前記操作ボタンの表示位置を制御する操作ボタン位置制御部を有し、
　前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
　前記指示体の位置が前記操作ボタンの表示位置と重なると、前記第２の表示制御部は、前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
表示制御装置。
　前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
請求項１３に記載の表示制御装置。
　前記第１の表示制御部は、前記タッチパネルに前記操作ボタンを複数表示させ、
　前記操作ボタン位置制御部は、前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さくなると、複数の前記操作ボタンのうちの少なくとも１つの表示位置を、前記指示体の位置に近づけ、
　前記指示体の位置が複数の前記操作ボタンのいずれかの表示位置と重なると、前記第２の表示制御部は、前記指示体の位置と重なった前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、前記ヘッドアップディスプレイを用いて前記操作者の視野に表示させる、
請求項１３に記載の表示制御装置。
　前記操作ボタン位置制御部は、前記指示体の位置に近づけた前記操作ボタンの表示位置を、前記指示体の位置の変化に追従させずに固定する、
請求項１５に記載の表示制御装置。
　前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、一定時間経過するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
請求項１５に記載の表示制御装置。
　複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
　前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
請求項１７に記載の表示制御装置。
　前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
請求項１８に記載の表示制御装置。
　前記タッチパネルと前記指示体との間の距離が前記閾値よりも小さく、且つ、複数の前記操作ボタンが操作されない状態が続くと、前記操作ボタン位置制御部は、前記指示体の位置の変化量が一定値に達するごとに、前記指示体の位置に近づける前記操作ボタンを変更する、
請求項１５に記載の表示制御装置。
　複数の前記操作ボタンのそれぞれに優先度を設定する優先度設定部をさらに備え、
　前記操作ボタン位置制御部は、前記優先度の高い前記操作ボタンから順に、前記指示体の位置に近づける、
請求項２０に記載の表示制御装置。
　前記優先度設定部は、前記操作者の操作履歴に基づいて、複数の前記操作ボタンのそれぞれに優先度を設定する、
請求項２１に記載の表示制御装置。
　表示制御装置における表示制御方法であって、
　前記表示制御装置の第１の表示制御部が、タッチパネルに操作ボタンを含む画像を表示させ、
　前記表示制御装置の指示体位置認識部が、前記タッチパネルの操作に用いられる指示体の位置を認識し、
　前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記第１の表示制御部が、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
　前記表示制御装置の第２の表示制御部が、前記タッチパネルに表示中の画像と前記指示体の位置を示す画像との合成画像を、ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に表示させる、
表示制御方法。
　表示制御装置における表示制御方法であって、
　前記表示制御装置の第１の表示制御部が、タッチパネルに操作ボタンを含む画像を表示させ、
　前記表示制御装置の指示体位置認識部が、前記タッチパネルの操作に用いられる指示体の位置を認識し、
　前記タッチパネルと前記指示体との間の距離が予め定められた閾値よりも小さくなると、前記第１の表示制御部が、前記操作ボタンの表示位置を、前記指示体の位置に近づけ、
　前記指示体の位置が前記操作ボタンの表示位置と重なると、前記表示制御装置の第２の表示制御部が、前記操作ボタンが操作された場合に前記タッチパネルに表示される予定の画面またはそれを簡略化した画面の画像を、ヘッドアップディスプレイを用いて前記タッチパネルの操作者の視野に表示させる、
表示制御方法。