JP6187413B2 - 車両用情報提示方法、車両用情報提示システム、車載装置 - Google Patents

車両用情報提示方法、車両用情報提示システム、車載装置 Download PDF

Info

Publication number
JP6187413B2
JP6187413B2 JP2014166454A JP2014166454A JP6187413B2 JP 6187413 B2 JP6187413 B2 JP 6187413B2 JP 2014166454 A JP2014166454 A JP 2014166454A JP 2014166454 A JP2014166454 A JP 2014166454A JP 6187413 B2 JP6187413 B2 JP 6187413B2
Authority
JP
Japan
Prior art keywords
vehicle
display
image
marker
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014166454A
Other languages
English (en)
Other versions
JP2016041562A (ja
Inventor
西川 良一
良一 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014166454A priority Critical patent/JP6187413B2/ja
Publication of JP2016041562A publication Critical patent/JP2016041562A/ja
Application granted granted Critical
Publication of JP6187413B2 publication Critical patent/JP6187413B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indicating Measured Values (AREA)
  • Instrument Panels (AREA)

Description

本発明は、運転者が装着したウェアラブル端末に画像を表示させる技術に関する。
車両には従来、車速メーターや警告灯などの表示器が搭載されており、車両の高機能化に伴って、搭載される表示器の数が増加している。これらの表示器はそれぞれが所定の設置位置に設けられる。このため、新たな情報を提供しようとしても、該情報を提供するための表示器は残されたスペースの何処かに設置しなければならないので、情報表示の自由度は低いものとなる。
そこで、近年では、液晶表示器を設けると共に、該液晶表示器に複数の情報を切り換えて表示する技術が提案されている(特許文献1)。この技術では、表示器を増やさなくても、多くの情報を提供することが可能である。
特開2008−265512号公報
しかし、上述の技術では、多くの情報を提供するために大きな液晶表示器を利用せざるを得ないので、該液晶表示器の設置位置は制限されることとなる。このため、結局のところ、情報表示の自由度は低いままであるという問題がある。
この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、車両内における情報表示の自由度を高めることができる技術の提供を目的とする。
上述した課題を解決するために、本発明の車両用情報提示方法は、撮影装置と眼鏡型表示装置を有するウェアラブル端末と、を用いて車両の乗員に対して情報を提示する方法である。つまり、上述の情報を受信し、受信した該情報に基づいて、車載表示装置にマーカー画像を表示させる。そして、ウェアラブル端末の撮影装置が表示されたマーカー画像を捉えたときに、マーカー画像に対応した情報表示画像を表示する。
本発明によると、受信した情報に基づいてマーカー画像を表示し、該マーカー画像に対応した情報表示画像を表示することができる。従って、表示器を設けるスペースの制限を受けることなく、視認位置に関連する情報を表示することができ、この結果、車両内における情報表示の自由度を高めることが可能となる。
第1実施例の画像表示システム1の構成を示す説明図である。 車載装置10が実行する通信確立処理を示すフローチャートである。 車載装置10が実行する送信開始処理を示すフローチャートである。 マーカー「1」〜「7」が設けられている様子を示す説明図である。 車載装置10が実行する車両情報送信処理の前半部分を示すフローチャートである。 車載装置10が実行する車両情報送信処理の後半部分を示すフローチャートである。 「マーカー−車両情報対応テーブル」を概念的に示す説明図である。 ウェアラブル端末20が実行する対応処理を示すフローチャートである。 ウェアラブル端末20の表示部21に表示器画像が表示される様子を示す説明図である。 変形例1の車載装置10が実行する車両情報送信処理の後半部分を示すフローチャートである。 変形例1の車両情報の表示条件を例示する説明図である。 変形例2のスイッチ類が設けられた位置を示す説明図である。 変形例2の操作対応画面を例示する説明図である。 変形例2の車載装置10の構成を示す説明図である。 変形例2の車載装置10が実行するスイッチ操作関連処理を示すフローチャートである。 第2実施例の画像表示システム30の構成を示す説明図である。 第2実施例の車載装置40が実行するマーカー画像表示処理を示すフローチャートである。 第2実施例のウェアラブル端末50が実行する対応情報表示処理を示すフローチャートである。 第3実施例の画像表示システム70の構成を示す説明図である。 第3実施例の車載装置80が実行する指示信号送信処理を示すフローチャートである。 第3実施例のウェアラブル端末90が実行する対応情報表示処理を示すフローチャートである。
以下では、上述した本発明の内容を明確にするために画像表示システム(本発明における「車両用情報提示システム」)の実施例について説明する。
A.第1実施例 :
A−1.装置構成 :
図1には、第1実施例の画像表示システム1の構成が示されている。第1実施例の画像表示システム1は、車両に設けられた車載装置10と、運転者(乗員)が頭部に装着することができる眼鏡型のウェアラブル端末20とから構成されている。車載装置10とウェアラブル端末20は互いに無線通信可能に接続されている。
車載装置10は、CPUや、メモリ、各種コントローラー、各種回路、アンテナ等が搭載された基板を有しており、これらの基板は、運転席前方のインストルメントパネル奥側や運転席下方などの車両内の種々の場所に設置されている。そして、これらのハードウェアおよびソフトウェアが協働することによって、車載装置10の各種機能が実現される。以下では、車載装置10において実現される各種機能の一部を、車載装置10が有する機能ブロックとして説明する。
図1に示すように、車載装置10は、近距離無線通信規格の1つであるブルートゥース(登録商標)の信号(以下、単に「ブルートゥース信号」という)を送受信するブルートゥース通信部11と、ブルートゥース通信部11(車載装置10)がウェアラブル端末20から受信した情報を記憶する受信情報記憶部12と、ブルートゥース通信部11(車載装置10)からウェアラブル端末20に送信する情報を記憶する送信情報記憶部13とを備えている。尚、ブルートゥース通信部11は、本発明における「送信手段」に対応している。
また、車載装置10は、ウェアラブル端末20から受信した情報(後述のウェアラブル端末20のカメラ22が撮影した撮影画像)に基づいて、運転者が視認しているマーカーを検出する視認マーカー検出部14を備えている。詳しくは後述するが、第1実施例の車室内には複数のマーカー(目印、標識)が刻印、印刷、貼付等によって設けられており、視認マーカー検出部14は、これらの複数のマーカーのうち運転者が視認しているマーカー(本発明における「視認位置」)を検出する。尚、視認マーカー検出部14は、本発明における「検出手段」に対応している。
また、車載装置10は、車両情報記憶部15と、この車両情報記憶部15から車両情報を読み出す車両情報読出部16とを備えている。車両情報記憶部15には、車両に設けられた他のシステム(例えば、車速を検出するシステムや、燃料の残量を検出するシステム、オーディオシステムなど)が有している車速や燃料の残量、再生可能な楽曲等の車両に関する情報(以下「車両情報」という)が記憶されており、これらの車両情報は他のシステムによって適宜更新されている。車両情報読出部16は、車両情報記憶部15が記憶している車両情報の中から、上述の視認マーカー検出部14が検出したマーカーに対応する車両情報を読み出す。
また、車載装置10は、素材画像記憶部19と、表示情報生成部17とを備えている。素材画像記憶部19には、車速メーターや燃料計などの表示器の画像を生成するための素材画像(例えば、車速メーターの針画像や目盛画像など)が記憶されている。表示情報生成部17は、上述の車両情報読出部16が読み出した車両情報に基づいて、素材画像記憶部19に記憶された素材画像を適宜合成して、表示器の画像(以下「表示器画像」という)を生成する。また、表示情報生成部17は、後述のウェアラブル端末20の表示部21の表示領域(表示可能領域)のうち、表示器画像を表示する表示位置を演算する。
尚、「表示器画像」は、本発明における「文字または画像を表示させるための情報」に対応している。また、表示情報生成部17は、本発明における「演算手段」に対応している。
さらに、車載装置10は、車両情報記憶部15に記憶されている車両情報に基づいて、車両の異常(例えば、燃料の残量が第1の量以下であることや、エンジン冷却水の水温が第1の温度以上であることなど)を検出する異常検出部18を備えている。
一方、ウェアラブル端末20は、運転者の頭部に装着された状態で運転者の目の前方に位置するレンズ型の表示部21(眼鏡であればレンズに相当する表示部21)を備えている。運転者は、この表示部21を介して前方を視認可能である。表示部21としては、種々の表示装置を採用可能であり、例えば、ホログラムやプリズム、ハーフミラー等にプロジェクタから光を投射することで画像を表示する表示装置や、透過型の液晶を利用した表示装置などを採用できる。また、表示部21としては、レンズ型以外の表示装置も採用することができ、例えば、運転者の網膜に直接光を当てることで画像を視認可能にする表示装置(いわゆる網膜走査ディスプレイ)などを採用できる。
また、ウェアラブル端末20は、枠(いわゆるフレーム)部分に設けられたカメラ22を備えている。このカメラ22は、ウェアラブル端末20が運転者の頭部に装着された状態で、撮影方向が運転者の視線方向を向くように取り付けられている。すなわち、カメラ22は、ウェアラブル端末20が運転者の頭部に装着された状態で、運転者が視認している方向を撮影する。尚、カメラ22は、本発明における「撮影装置」に対応している。
さらに、ウェアラブル端末20は、枠(いわゆるフレーム)部分に設けられると共に上述の表示部21やカメラ22を制御する制御装置23を備えている。制御装置23には、CPUや、メモリ、各種コントローラー、各種回路、アンテナ等が搭載されている。そして、制御装置23では、これらのハードウェアおよびソフトウェアが協働することによって各種機能が実現される。以下では、制御装置23において実現される各種機能の一部を、制御装置23が有する機能ブロックとして説明する。
制御装置23は、ブルートゥース信号を送受信するブルートゥース通信部24と、ブルートゥース通信部24(ウェアラブル端末20)が車載装置10から受信した情報を記憶する受信情報記憶部25と、ブルートゥース通信部24(ウェアラブル端末20)から車載装置10に送信する情報を記憶する送信情報記憶部26とを備えている。さらに、制御装置23は、表示部21の表示内容を制御する表示制御部27を備えている。尚、ブルートゥース通信部24は、本発明における「画像送信手段」および「受信手段」に対応しており、表示制御部27は、本発明における「表示手段」に対応している。
以下では、上述したような第1実施例の画像表示システム1において行われる処理について、「車載装置10において行われる処理」と「ウェアラブル端末20において行われる処理」に分けて説明する。先ずは、車載装置10において行われる処理について説明する。
A−2.車載装置10において行われる処理 :
A−2−1.通信確立処理 :
図2には、第1実施例の車載装置10において行われる通信確立処理のフローチャートが示されている。尚、この通信確立処理も含めて車載装置10において行われる処理は、実際には、車載装置10内部のCPUがROMに記憶されたプログラムを実行することによって行われるが、以下では、車載装置10または上述した機能ブロック11〜19を実行主体として説明する。また、この通信確立処理は、車両のACC電源が投入された後、車載装置10とウェアラブル端末20との通信が確立されるまで、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図2に示す通信確立処理を開始すると、車載装置10は近くに(通信範囲内に)通信が許可されたウェアラブル端末20が存在するか否かを判断する(S100)。この判断処理は次のように行う。先ず、ブルートゥース通信部11が問い合わせ信号をブロードキャスト(同報発信)する。次に、この問い合わせ信号を受け取ったウェアラブル端末20からの応答信号を受信し、該ウェアラブル端末20が通信相手として所定の記憶部(図示省略)に登録済みであるか否を判断する。その結果、該ウェアラブル端末20が通信相手として登録済みであれば、通信が許可されたウェアラブル端末20が存在すると判断する。
S100の判断処理の結果、通信が許可されたウェアラブル端末20が存在しないと判断された場合は(S100:no)、そのまま図2に示す通信確立処理を終了して、次のタイマ割り込みのタイミングで再びこの通信確立処理を実行する。
これに対して、通信が許可されたウェアラブル端末20が存在すると判断された場合は(S100:yes)、自己のアドレスや周波数のホッピングパターンの送信等を行うことによって、ウェアラブル端末20との通信を確立する(S102)。こうして、ウェアラブル端末20との通信が確立されたら(ウェアラブル端末20との通信が可能な状態となったら)、図3に示す送信開始処理を起動すると共に(S104)、図2の通信確立処理を終了する。尚、ウェアラブル端末20との通信が確立された後は(図3に示す送信開始処理が起動された後は)、タイマ割り込みのタイミングが到来しても、図2に示す通信確立処理は行われない。
A−2−2.送信開始処理 :
図3には、第1実施例の車載装置10において行われる送信開始処理のフローチャートが示されている。この送信開始処理では、ウェアラブル端末20に対する車両情報の送信を開始するための処理(図5、図6を用いて後述する車両情報送信処理を開始するための処理)が行われる。尚、この送信開始処理は、起動された後、後述する車両情報送信処理が開始されるまで、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図3に示す送信開始処理を開始すると、車載装置10のブルートゥース通信部11は、撮影画像要求信号をウェアラブル端末20に向けて送信する(S200)。この撮影画像要求信号は、ウェアラブル端末20のカメラ22が撮影した画像(撮影画像)を要求する信号である。
ブルートゥース通信部11は、撮影画像要求信号を送信したら(S200)、該撮影画像要求信号に応答したウェアラブル端末20から撮影画像を受信したか否かを判断する(S202)。そして、撮影画像を未だ受信していない場合は(S202:no)、所定の待機時間(例えば500m秒)が経過したか否か(タイムアウトとなったか否か)を判断する(S204)。その結果、所定の待機時間が経過していなければ(S204:no)、再び撮影画像を受信したか否かを判断する(S202)。
これに対して、所定の待機時間が経過していれば(S204:yes)、そのまま図3に示す送信開始処理を終了して、次のタイマ割り込みのタイミングで再びこの送信開始処理を実行する。すなわち、撮影画像要求信号を送信した後、所定の待機時間が経過するまでは、S202の判断処理を繰り返すことでウェアラブル端末20から送信される撮影画像の受信を待機する。そして、所定の待機時間が経過する前に撮影画像を受信したら(S202:yes)、ブルートゥース通信部11は、受信した撮影画像を受信情報記憶部12に記憶する(S206)。
こうして、ウェアラブル端末20から受信した撮影画像を受信情報記憶部12に記憶したら(S206)、視認マーカー検出部14は、この撮影画像からマーカー「1」を検出する処理を実行する(S208)。
ここで、第1実施例の車載装置10が設けられた車両には、車速メーターや、燃料計、水温計、液晶表示器等の運転者が視認する表示器が設けられておらず、複数のマーカー「1」〜「7」(それぞれ異なる態様(デザイン)のマーカー)が刻印、印刷、貼付等によって設けられている。これらのマーカー「1」〜「7」は、図4に示すように、従来であれば各種表示器が設けられる位置だけでなく(マーカー「2」,「3」,「7」)、表示器が設けられないような位置(図4であればハンドル,フロントピラー,ブレーキ,アクセル)にも設けられている(マーカー「1」,「4」,「5」,「6」)。
S208の判断処理では、これらのマーカーのうちハンドルの中央部に設けられたマーカー「1」を撮影画像から検出する処理を実行する。例えば、周知のエッジ検出処理やパターンマッチング処理等を行うことによって、マーカー「1」を検出する処理を実行する。その結果、撮影画像からマーカー「1」が検出された場合は(S210:yes)、図5および図6に示す車両情報送信処理を起動すると共に(S212)、図3の送信開始処理を終了する。これに対して、撮影画像からマーカー「1」が検出されなかった場合は(S212:no)、そのまま図3に示す送信開始処理を終了して、次のタイマ割り込みのタイミングで再びこの送信開始処理を行う。
ここで、通信が許可されたウェアラブル端末20は、当然ながら、運転者の頭部に装着されている可能性が高い。そして、このウェアラブル端末20に搭載されたカメラ22は、ウェアラブル端末20が運転者の頭部に装着された状態で運転者の視認方向を撮影するように設けられている。従って、ウェアラブル端末20から車載装置10に送信される撮影画像は、運転者の視認方向が撮影されたものである可能性が高い。
S210の判断処理では、このような運転者の視認方向が撮影された撮影画像からマーカー「1」を検出したか否かを判断するので、結局のところ、運転者がマーカー「1」を視認したか否かが判断される。そして、運転者がマーカー「1」を視認したと判断された場合は(S210:yes)、図5および図6に示す車両情報送信処理を起動する(S212)。尚、図5および図6に示す車両情報送信処理が起動された後は、タイマ割り込みのタイミングが到来しても、図3に示す送信開始処理は行われない。
A−2−3.車両情報送信処理 :
図5および図6には、第1実施例の車載装置10において行われる車両情報送信処理のフローチャートが示されている。この車両情報送信処理では、車載装置10からウェアラブル端末20へ車両情報を送信するための処理が行われる。尚、この車両情報送信処理は、起動された後、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図5および図6に示す車両情報送信処理を開始すると、車載装置10の異常検出部18は、車両情報記憶部15に記憶された車両情報の中から異常情報を検出する処理を行う(S300)。すなわち、車両情報記憶部15には、車両に設けられた他のシステムが管理する車速や燃料の残量等の車両情報が記憶されているので、これらの車両情報の中から異常情報(燃料の残量が第1の量以下であることを示す情報や、エンジン冷却水の水温が第1の温度以上であることを示す情報など)を検出する処理を行う。
その結果、異常情報が検出された場合は(S302:yes)、異常検出部13は、異常の発生を運転者に警告する画像(以下「警告画像」という)のうち今回検出された異常情報に対応する画像を送信情報記憶部13に記憶させる。そして、ブルートゥース通信部11は、送信情報記憶部13に記憶された該警告画像をウェアラブル端末20に向けて送信する(S304)。詳しくは後述するが、ウェアラブル端末20は、車載装置10から警告画像を受信すると、表示部21に該警告画像を表示する。尚、異常情報が検出されなかった場合は(S302:no)、S304の処理は省略される。
続いて、車載装置10のブルートゥース通信部11は、撮影画像要求信号をウェアラブル端末20に向けて送信する(S306)。その後、所定の待機時間が経過するまでは(S310)、ウェアラブル端末20から送信される撮影画像の受信を待機する(S308)。そして、所定の待機時間が経過する前に撮影画像を受信したら(S308:yes)、ブルートゥース通信部11は、受信した撮影画像を受信情報記憶部12に記憶する(S312)。
こうして、ウェアラブル端末20から受信した撮影画像を受信情報記憶部12に記憶したら(S312)、視認マーカー検出部14は、周知のエッジ検出処理やパターンマッチング処理等を行うことによって、この撮影画像から図4に示すマーカー「2」〜「7」を検出する処理を実行する(S314)。そして、この処理の結果、撮影画像からマーカー「2」〜「7」のうち少なくとも1つが検出されたか否かを判断する(S316)。つまり、前述したように撮影画像は運転者の視認方向を撮影した画像であるので、S316の処理では、運転者がマーカー「2」〜「7」のうち少なくとも1つを視認しているか否かが判断される。その結果、撮影画像からマーカー「2」〜「7」の何れも検出されなかった場合、すなわち、運転者がマーカー「2」〜「7」の何れも視認していない場合は(S316:no)、そのまま図5および図6に示す車両情報送信処理を終了する。
これに対して、撮影画像からマーカー「2」〜「7」のうち少なくとも1つが検出された場合、すなわち、運転者がマーカー「2」〜「7」のうち少なくとも1つを視認している場合は(S316:yes)、図6のフローチャートに移り、車両情報読出部16は「運転者が視認しているマーカー」に対応する車両情報を車両情報記憶部15から読み出す(S318)。前述したように、車両情報記憶部15には、車両に設けられた他のシステムが管理する車速や燃料の残量等の車両情報が記憶されている。S318の処理では、これらの車両情報の中から「運転者が視認しているマーカー」に対応する車両情報を読み出す。
図7には、「運転者が視認しているマーカー」に対応して読み出される車両情報が設定されている「マーカー−車両情報対応テーブル」が概念的に示されている。この「マーカー−車両情報対応テーブル」は、車載装置10のROM等のメモリに予め記憶されている。S318の処理において、車両情報読出部16は「マーカー−車両情報対応テーブル」を参照して、「運転者が視認しているマーカー」に対応する車両情報を読み出す。例えば、「運転者が視認しているマーカー」がマーカー「2」である場合は車両情報として「車速」を読み出し、「運転者が視認しているマーカー」がマーカー「3」である場合は車両情報として「燃料の残量」および「エンジン冷却水の水温」を読み出し、「運転者が視認しているマーカー」がマーカー「4」である場合は車両情報として「運転席のドアのロック状況」を読み出す。
こうして、「運転者が視認しているマーカー」に対応する車両情報を読み出したら(S320)、表示情報生成部17は、素材画像記憶部19に記憶されている素材画像を利用して(合成して)、該車両情報を示す表示器を模した画像(表示器画像)を生成する(S322)。例えば、「運転者が視認しているマーカー」がマーカー「2」であることから車両情報として「車速」が読み出された場合は、車速メーターの針画像や目盛画像などを素材画像として利用し、読み出した「車速」を示す車速メーターの表示器画像を生成する。そして、生成した表示器画像を送信情報記憶部13に記憶する(S322)。
ここで、第1実施例では、上述のS322の処理で記憶した表示器画像はウェアラブル端末20の表示部21に表示される。詳しくは、この表示器画像は、表示部21の表示領域のうち、運転者がウェアラブル端末20の表示部21を介して「運転者が視認しているマーカー」を視認している状態で該マーカーに重なる位置(運転者のマーカーに対する視線が表示部21と交差する位置(本発明における「交差位置」))に表示される。
そこで、表示情報生成部17は、表示器画像を生成して(S320)送信情報記憶部13に記憶したら(S322)、該表示器画像が「運転者が視認しているマーカー」に重なる位置に表示されるように、該表示器画像の表示位置(ウェアラブル端末20の表示部21上の表示位置)を演算する。例えば、「運転者が視認しているマーカー」の撮影画像内における位置(縦座標、横座標)を検出し(S324)、この位置に基づいて表示器画像の表示位置を演算する(S326)。そして、S320の処理で記憶された表示器画像に対応付けて、該表示器画像の表示位置を送信情報記憶部13に記憶する(S328)。
続いて、他に「運転者が視認しているマーカー」が存在するか否かを判断する(S330)。すなわち、図5のS314の処理では、撮影画像から複数のマーカーが検出される場合(運転者が複数のマーカーを視認している場合)がある。このように撮影画像から複数のマーカーが検出される場合(運転者が複数のマーカーを視認している場合)は(S330:yes)、他の「運転者が視認しているマーカー」についてもS318〜S328の処理を繰り返す。
以上のように、車載装置10は、撮影画像から検出されたマーカー(運転者が視認しているマーカー)毎に、表示器画像を生成すると共に該表示器画像の表示位置を演算し、これら(表示器画像および表示位置)を送信情報記憶部13に記憶する。そして、全ての「運転者が視認しているマーカー」について「表示器画像および表示位置」を記憶したら(S330:no)、ブルートゥース通信部11は、これらの「表示器画像および表示位置」をウェアラブル端末20に向けて送信する(S332)。その後、図5および図6に示す車両情報送信処理を終了する。
以上は、車載装置10において行われる処理について説明した。以下では、ウェアラブル端末20において行われる処理について説明する。
A−3.ウェアラブル端末20において行われる処理 :
図8には、第1実施例のウェアラブル端末20において行われる対応処理のフローチャートが示されている。この対応処理では、車載装置10から送信される上述の各種情報(撮影画像要求信号、警告画像、「表示器画像および表示位置」)に対応する処理が行われる。尚、ウェアラブル端末20において行われる処理は、実際には、制御装置23内部のCPUがROMに記憶されたプログラムを実行することによって行われるが、以下では、制御装置23または上述した機能ブロック24〜27を実行主体として説明する。また、この対応処理は、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図8に示す対応処理を開始すると、ウェアラブル端末20の制御装置23は、ブルートゥース通信部24が車載装置10からの撮影画像要求信号を受信しているか否か、すなわち、受信情報記憶部25に撮影画像要求信号が記憶されているか否かを判断する(S400)。撮影画像要求信号は、図3または図5を用いて前述したように、車載装置10がウェアラブル端末20に対して撮影画像を要求する際に送信される信号である。
撮影画像要求信号を受信している場合は(S400:yes)、カメラ22に撮影を行わせると共に(S402)、カメラ22が撮影した撮影画像を送信情報記憶部26に記憶する。そして、該撮影画像を車載装置10に向けて送信する(S404)。前述したように、車載装置10では、この撮影画像の中から「運転者が視認しているマーカー」が検出される(図3のS208、図5のS314)。
続いて、ウェアラブル端末20の制御装置23は、ブルートゥース通信部24が警告画像を受信しているか否か、すなわち、受信情報記憶部25に警告画像が記憶されているか否かを判断する(S406)。警告画像は、図5を用いて前述したように、車両情報の中から異常情報が検出された際に(すなわち車両に異常が発生した際に)車載装置10から送信され、異常の発生を運転者に警告する画像である。
警告画像を受信している場合は(S406:yes)、表示制御部27は、受信情報記憶部25から警告画像を読み出し、該警告画像を表示部21の予め定められた領域(警告画像表示領域)に表示する(S408)。警告画像表示領域は、例えば、レンズ型の表示部21の縁部などに設定することができる。
以上のように警告画像を表示部21に表示すると、該警告画像を運転者に視認させることができ、ひいては、車両に異常が発生したことを運転者に認識させることができる。
続いて、ウェアラブル端末20の制御装置23は、ブルートゥース通信部24が「表示器画像および表示位置」を受信しているか否か、すなわち、受信情報記憶部25に「表示器画像および表示位置」が記憶されているか否かを判断する(S410)。「表示器画像および表示位置」は、図6を用いて前述したように、運転者がマーカーを視認している際に車載装置10から送信される。これらのうち「表示器画像」は、運転者が視認しているマーカーに対応する車両情報を示す表示器の画像であり、「表示位置」は、運転者がウェアラブル端末20の表示部21を介してマーカーを視認した場合に、表示器画像がマーカーと重なって見える位置である。
「表示器画像および表示位置」を受信している場合は(S410:yes)、表示制御部27は、受信情報記憶部25から「表示器画像および表示位置」を読み出し、表示部21の表示領域のうち「表示位置」に対応する位置に「表示器画像」を表示する(S412)。
図9には、運転者がウェアラブル端末20を装着した場合の視野が概念的に示されている。図9(a)に示すように、運転者が表示部21を介してマーカーを視認している場合は、上述のS412の処理が行われることによって、図9(b)に示すように、マーカーに重なる位置に表示器画像が表示される。図9に示す例では、マーカー「2」に重なる位置に車速を示す表示器画像(車速メーターの画像)が表示され、マーカー「3」に重なる位置に燃料の残量およびエンジン冷却水の水温を示す表示器画像(燃料計の画像および水温計の画像)が表示され、マーカー「4」に重なる位置に運転席のドアのロック状況を示す表示器画像(「LOCK」,「UNLOCK」の文字が表示される液晶表示器の画像)が表示されている。
尚、図示は省略したが、運転者が表示部21を介してマーカー「5」を視認している場合は、マーカー「5」に重なる位置に「ブレーキ」であることを示す表示器画像(例えば、「ブレーキ」の文字が表示されるドットマトリックス表示器の画像)を表示し、マーカー「6」に重なる位置に「アクセル」であることを示す表示器画像(例えば、「アクセル」の文字が表示されるドットマトリックス表示器の画像)を表示し、マーカー「7」に重なる位置にナビエーションシステムやオーディオシステム用の液晶表示器を示す表示器画像を表示することとしてもよい。
以上のように、第1実施例の画像表示システム1では、従来の表示器と比較して大きな設置スペースを必要としないマーカーを設けて、該マーカーが視認されると、車両情報を示す表示器画像をウェアラブル端末20の表示部21に表示する。従って、表示器を設けるスペースの制限を受けることなく、車両情報を表示することができ、この結果、車両内における情報表示の自由度(車両情報の表示位置の自由度)を高めることが可能となる。
また、第1実施例の画像表示システム1では、従来の表示器と比較して大きな設置スペースを必要としないマーカーを設けて、該マーカーと重なって見える位置に車両情報を示す表示器画像を表示する。従って、表示器を設けるスペースがない部位や、従来であれば表示器が設けられていない部位に、表示器が設けられているように運転者に見せることができる。この結果、車両の部位に表示器が実際に設置されているように見せつつも、車両内における情報表示の自由度(車両情報の表示位置の自由度)を高めることが可能となる。
尚、マーカー「5」に重なる位置に「ブレーキ」であることを示す表示器画像を表示したり、マーカー「6」に重なる位置に「アクセル」であることを示す表示器画像を表示したりする場合は、アクセルとブレーキの踏み間違いを抑制することができ、安全運転に貢献することが可能となる。
また、第1実施例の画像表示システム1は、マーカーを設けることで(ウェアラブル端末20の表示部21に表示器画像を表示することで)、表示器が設けられているように見せることができるので、表示器の数を削減することができ、生産コストを抑えることが可能となる。
また、第1実施例の画像表示システム1では、車両に異常が発生した場合は、運転者がマーカーを視認していない場合であっても、ウェアラブル端末20の表示部21に警告画像を表示する。従って、車両の異常が発生したことを迅速に運転者に認識させることが可能となる。
また、第1実施例の画像表示システム1では、運転者がマーカー「1」を視認したら、表示器画像を表示するための処理(図5および図6に示す車両情報送信処理、図8のS412の処理)を開始する。従って、運転者は表示器画像の表示を所望するときにマーカー「1」を視認することとなる。この結果、運転者が表示器画像の表示を所望していないにも拘わらず、表示器画像が表示されてしまうことを抑制することができる。また、運転者がマーカー「1」を視認するまでは、表示器画像を表示するための処理(図5および図6に示す車両情報送信処理、図8のS412の処理)は実行されないので、該処理の実行負荷を軽減することができる。
A−4.第1実施例の変形例 :
A−4−1.変形例1 :
次に上述した第1実施例の変形例1について説明する。変形例1では、第1実施例の図6の処理に代えて、図10に示す処理を実行する。図6と図10を比較すると明らかなように、変形例1では、S320〜S328の処理を実行する前に、S500の処理(図中、太枠)が実行される。
すなわち、変形例1では、「運転者が視認しているマーカー」に対応する車両情報を車両情報記憶部15から読み出したら(S318)、ウェアラブル端末20に表示器画像を表示させるための処理(S320〜S328の処理)を行う前に、表示情報生成部17は、読み出した車両情報について表示器画像を表示する条件(以下「表示条件」という)が成立しているか否かを判断する(S500)。つまり、運転者が必要としていない表示器画像を表示させると、運転者に煩わしさを感じさせる虞があるので、ウェアラブル端末20に表示器画像を表示させるための処理(S320〜S328の処理)を行う前に、表示条件が成立しているか否かを判断する。
図11には、それぞれの車両情報についての表示条件が例示されている。図11に示すように、変形例1では、車両情報毎に表示条件が設定されており、例えば、読み出した車両情報が「車速」である場合(「運転者が視認しているマーカー」がマーカー「2」である場合)は「サイドブレーキが解除されていること」が表示条件として設定されており、車両情報が「燃料の残量」である場合(「運転者が視認しているマーカー」がマーカー「3」である場合)は「燃料の残量が第2の量以下であること」が表示条件として設定されており、車両情報が「エンジン冷却水の水温」である場合(「運転者が視認しているマーカー」がマーカー「3」である場合)は「エンジン冷却水の水温が第2の温度以上であること」が表示条件として設定されている。
S500の判断処理では、読み出した車両情報について上述のような表示条件が成立しているか否かを判断する。そして、この車両情報について表示条件が成立していれば(S500:yes)、該車両情報の表示器画像を表示させるための処理(S320〜S328)を実行する。つまり、読み出した車両情報について「表示器画像」を生成すると共に「表示位置」を演算し、これらの「表示器画像および表示位置」を送信情報記憶部13に記憶する。これに対して、読み出した車両情報について表示条件が成立していなければ(S500:no)、該車両情報の表示器画像を表示させるための処理(S320〜S328)を実行しない。
続いて、他にも「運転者が視認しているマーカー」がある場合には(S330:yes)、該マーカーに対応する車両情報を読み出し(S318)、該車両情報についても表示条件が成立したか否かを判断する(S500)。そして、この車両情報について表示条件が成立していれば(S500:yes)、該車両情報の表示器画像を表示させるための処理(S320〜S328)を実行し、表示条件が成立していなければ(S500:no)、該車両情報の表示器画像を表示させるための処理(S320〜S328)を実行しない。
このようにして、全ての「運転者が視認しているマーカー」について、上述の処理(S318、S500、S320〜S328)を実行したら、ブルートゥース通信部11は、送信情報記憶部13に記憶されている「表示器画像および表示位置」をウェアラブル端末20に向けて送信する(S332)。もちろん、表示条件が成立している車両情報が1つもなかったことから、送信情報記憶部13に「表示器画像および表示位置」が記憶されていない場合は、「表示器画像および表示位置」は送信されない。
ウェアラブル端末20は、「表示器画像および表示位置」を受信すると、図8を用いて前述したように、表示部21の表示領域のうち「表示位置」に対応する位置に「表示器画像」を表示する。すなわち、運転者がウェアラブル端末20の表示部21を介してマーカーを視認した場合に「表示器画像」がマーカーと重なって見える位置に表示する。
以上のように、変形例1では、表示条件が成立している車両情報の表示器画像を表示する。すなわち、運転者が必要としていると推定される表示器画像、または、運転者に認識させる必要のある表示器画像を表示する。この結果、表示器画像の表示を運転者が煩わしく感じてしまうことを抑制することができる(表示すべき表示器画像を適宜選択して表示することができる)。
A−4−2.変形例2 :
次に上述した第1実施例の変形例2について説明する。変形例2では、図12に示すように、マーカー「7」の右下方に運転者が操作可能なスイッチ類(操作部)が設けられている。
また、変形例2では、運転者がマーカー「7」を視認すると、表示部21の表示領域のうち該マーカー「7」に重なって見える位置に「操作対応画面」を表示する。「操作対応画面」は、運転者にスイッチ類の操作を促す画面であり、表示器画像の一種である。例えば、図13に示すように、車両に搭載されたオーディオシステムで再生可能な複数の楽曲(項目)から所望の楽曲を選択させるための画像、および、音量を調節させるための画像を表示する。
さらに、変形例2の車載装置10は、第1実施例の機能ブロックに加えて、図14に太枠で示す機能ブロックを備えている。すなわち、上述のスイッチ類が操作されたか否かを判定するスイッチ操作判定部30(操作判定手段)と、ウェアラブル端末20の表示部21に表示中の表示器画像の種類を判定する表示中画像判定部31(表示中画像判定手段)と、スイッチ類が操作されたことに対応する処理を実行する対応処理実行部32(対応処理実行手段)とを備えている。
そして、このような変形例2の車載装置10は、上述した第1実施例の各種処理(通信確立処理、送信開始処理、車両情報送信処理)に加えて、以下に説明するスイッチ操作関連処理を行う。これにより、運転者によるスイッチ類の操作に対応する処理が実行される。
図15には、スイッチ操作関連処理のフローチャートが示されている。このスイッチ関連処理は、タイマ割り込みとして一定の時間毎に(例えば100m秒毎に)行われる。
図15に示すスイッチ操作関連処理を開始すると、車載装置10のスイッチ操作判定部30は、運転者によってスイッチ類の操作が行われたか否かを判定する(S600)。その結果、スイッチ類の操作が行われた場合は(S600:yes)、表示中画像判定部31は、ウェアラブル端末20の表示部21においてマーカー「7」に対応する「表示器画像」(すなわち「操作対応画面」、図13参照)の表示中であるか否かを判断する(S602)。この判断処理は、直前にウェアラブル端末20に送信した「表示器画像」を送信情報記憶部13から読み出し、該「表示器画像」がマーカー「7」に対応する「表示器画像」(操作対応画面)であるか否かを判断することによって行う。
S602の判断処理の結果、マーカー「7」に対応する「表示器画像」(操作対応画面)の表示中であると判断された場合は(S602:yes)、対応処理実行部32は、運転者によるスイッチ類の操作に対応する処理を実行する(S604)。例えば、スイッチ類が操作されることに対応して、マーカー「7」に対応する「表示器画像(操作対応画面)」の態様を変更する。図13に示す例であれば、楽曲1が選択された状態から楽曲2が選択された状態に変更したり、音量を示すバー画像の位置を変更したりする。また、他のシステムに対して所定の操作が行われたことを示す信号を出力する。図13に例示する「表示器画像」の表示中であれば、楽曲2が選択されたことを示す信号をオーディオシステムに向けて出力したり、音量の調節量を示す信号をオーディオシステムに向けて出力したりする。
以上のように、変形例2は、ウェアラブル端末20の表示部21に操作対応画面が表示されている場合において、運転者によってスイッチ類が操作されると、その操作に対応する処理を実行する。従って、操作対応画面を表示するための表示器を設けなくても、操作対応画面に対応する操作を運転者に行わせることが可能となる。
B.第2実施例 :
次に、第2実施例の画像表示システム(本発明における「車両用情報提示システム」)について説明する。第2実施例では、第1実施例のような固定式のマーカー(刻印、印刷、貼付等されたマーカー)は車両に設けられておらず、マーカー画像を後述のマーカー画像表示部45に適宜表示することとしている。尚、第2実施例において、第1実施例と同様の内容についてはその説明を省略する。
B−1.装置構成 :
図16には、第2実施例の画像表示システム30の構成が示されている。図16に示すように、第2実施例の画像表示システム30は、車載装置40とウェアラブル端末50とから構成されている。車載装置40は、他のシステムが有している車両情報を受信して記憶する車両情報記憶部41を備えている。また、車載装置40は、各種のマーカー画像(例えば、第1実施例のマーカー「1」〜「7」と同様のマーカーの画像)を記憶するマーカー画像記憶部43を備えており、これらのマーカー画像は、車両情報の種類や種々の条件に対応付けて記憶されている。
さらに、車載装置40は、マーカー画像決定部43とマーカー画像表示制御部44とを備えている。これらのうちマーカー画像決定部43は、車両情報記憶部41に記憶された車両情報に基づいて、マーカー画像記憶部42に記憶されているマーカー画像の中から、表示すべきマーカー画像を決定する。また、マーカー画像表示制御部44は、マーカー画像決定部43が決定したマーカー画像をマーカー画像記憶部42から読み出して、マーカー画像表示部43に表示する。このマーカー画像表示部43としては、表示画面を運転席側に向けて、運転席前方のインストルメントパネルやハンドルなどに設けられた液晶表示器等が採用される。
尚、マーカー画像表示部45は本発明における「車載表示装置」に対応し、マーカー画像表示制御部44は本発明における「車載表示制御装置」に対応している。
一方、ウェアラブル端末50は、第1実施例と同様に、運転者の頭部に装着された状態で運転者の目の前方に位置するレンズ型の表示部51と、枠(いわゆるフレーム)部分に設けられたカメラ52とを備えている。また、ウェアラブル端末50は、上述の表示部51やカメラ52を制御する制御装置53を備えている。
この制御装置23は、マーカー対応情報記憶部54と表示制御部55とを備えている。これらのうちマーカー対応情報記憶部54は、車載装置40において表示される各種のマーカー画像に対応付けて表示器画像(本発明における「情報表示画像」)を記憶している。すなわち、マーカー画像の種類毎に表示器画像の種類が対応付けられた「マーカー画像−表示器画像対応テーブル」を記憶している。また、表示制御部55は、カメラ52が撮影した撮影画像に基づいてマーカー画像を検出する。そして、「マーカー画像−表示器画像対応テーブル」を参照して、検出したマーカー画像に対応する表示器画像を決定し、決定した表示器画像を表示部51に表示する。
尚、カメラ52は本発明における「撮影装置」に対応し、表示部51は本発明における「眼鏡型表示装置」に対応し、表示制御部55は本発明における「表示情報制御部」に対応している。
以下では、上述したような第2実施例の画像表示システム30において行われる処理について、「車載装置40において行われる処理」と「ウェアラブル端末50において行われる処理」に分けて説明する。先ずは、車載装置40において行われる処理について説明する。
B−2.車載装置40において行われる処理 :
図17には、第2実施例の車載装置40において行われるマーカー画像表示処理のフローチャートが示されている。このマーカー画像表示処理では、車両情報記憶部41が記憶している車両情報(他のシステムから受信した車両情報)に基づいて、マーカー画像を表示するための処理が行われる。尚、このマーカー画像表示処理は、実際には、車載装置40内部のCPUがROMに記憶されたプログラムを実行することによって行われるが、以下では、車載装置40または上述した機能ブロック41〜44を実行主体として説明する。また、このマーカー画像表示処理は、起動された後、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図17に示すマーカー画像表示処理を開始すると、マーカー画像決定部43は、マーカー画像表示条件が成立したか否かを判断する(S700)。例えば、車両情報記憶部41が他のシステムから受信した車両情報が特定の情報(車両の異常を示す情報など、本発明における「トリガ信号」)であるか否かを判断する。
その結果、マーカー画像表示条件が成立した場合は(S700:yes)、今回成立したマーカー画像表示条件に対応するマーカー画像の種類を決定する(S702)。例えば、車両情報記憶部41が他のシステムから特定の情報を受信した場合は、受信した特定の情報に対応するマーカー画像の種類を決定する。こうしてマーカー画像の種類を決定したら、該マーカー画像をマーカー画像記憶部42から読み出してマーカー画像表示部45に表示する(S704)。尚、S700の判断処理で、マーカー画像表示条件が成立していないと判断された場合は(S700:no)、そのまま図17に示すマーカー画像表示処理を終了する。
以上のように、第2実施例の車載装置40は、マーカー画像表示条件が成立したら(例えば、特定の情報を受信したら)、成立したマーカー画像表示条件に対応するマーカー画像(例えば、受信した特定の情報に対応するマーカー画像)をマーカー画像表示部45に表示する。
以上は、車載装置40において行われる処理について説明した。以下では、ウェアラブル端末50において行われる処理について説明する。
B−3.ウェアラブル端末50において行われる処理 :
図18には、第2実施例のウェアラブル端末50において行われる対応情報表示処理のフローチャートが示されている。この対応情報表示処理では、車載装置40のマーカー画像表示部45に表示された上述のマーカー画像に対応する表示器画像を、表示部51に表示するための処理が行われる。尚、この対応情報表示処理は、実際には、制御装置53内部のCPUがROMに記憶されたプログラムを実行することによって行われるが、以下では、制御装置53または上述した機能ブロック54〜55を実行主体として説明する。また、この対応情報表示処理は、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図18に示す対応情報表示処理を開始すると、ウェアラブル端末50の表示制御部55は、カメラ52に撮影を行わせて撮影画像を得る(S750)。続いて、周知のエッジ検出処理やパターンマッチング処理等を行うことによって、この撮影画像からマーカー画像を検出する処理を実行する(S752)。そして、この処理の結果、撮影画像からマーカー画像が検出されたか否かを判断する(S754)。つまり、撮影画像は運転者の視認方向を撮影した画像であるので、S754の処理では、マーカー画像表示部45に表示されたマーカー画像を運転者が視認しているか否かが判断される。その結果、撮影画像からマーカー画像が検出されなかった場合、すなわち、マーカー画像表示部45に表示されたマーカー画像を運転者が視認していない場合は(S754:no)、そのまま図18に示す対応情報表示処理を終了する。
これに対して、撮影画像からマーカー画像が検出された場合、すなわち、マーカー画像表示部45に表示されたマーカー画像を運転者が視認している場合は(S754:yes)、表示制御部55は、マーカー対応情報記憶部54に記憶されている「マーカー画像−表示器画像対応テーブル」を参照して、検出されたマーカー画像に対応する表示器画像を決定する(S756)。そして、決定された表示器画像を表示部51に表示する(S758)。このとき、表示制御部55は、表示器画像が「運転者が視認しているマーカー画像」に重なる位置に表示されるように、表示器画像の表示位置(ウェアラブル端末50の表示部51上の表示位置)を演算し、該表示位置に表示器画像を表示する。
以上のように、第2実施例のウェアラブル端末50は、撮影画像からマーカー画像が検出されたら(運転者がマーカー画像を視認したら)、該マーカー画像に対応する表示器画像を、表示部51の表示領域のうちマーカー画像と重なって見える位置に表示する。
以上のように、第2実施例の画像表示システム30では、従来の表示器と比較して大きな設置スペースを必要としないマーカー画像表示部45にマーカー画像を表示して、該マーカー画像が視認されると、表示器画像をウェアラブル端末50の表示部51に表示する。従って、表示器を設けるスペースの制限を受けることなく、車両情報を表示することができ、この結果、車両内における情報表示の自由度を高めることが可能となる。
また、第2実施例の画像表示システム30では、従来の表示器と比較して大きな設置スペースを必要としないマーカー画像表示部45にマーカー画像を表示し、該マーカー画像と重なって見える位置に表示器画像を表示する。従って、表示器を設けるスペースがない部位や、従来であれば表示器が設けられていない部位に、表示器が設けられているように運転者に見せることができる。この結果、車両の部位に表示器が実際に設置されているように見せつつも、車両内における情報表示の自由度を高めることが可能となる。
また、第2実施例の画像表示システム30では、車載装置40のマーカー画像表示部45に表示するマーカー画像を切り換えることで、ウェアラブル端末50の表示部51に表示する表示器画像を切り換えることができる。従って、表示器を設けるスペースの制限を受けることなく、種々の車両情報を表示することができ、この結果、車両内における情報表示の自由度を高めることが可能となる。また、表示器の数を削減することができ、生産コストを抑えることが可能となる。
また、第2実施例の画像表示システム30では、ブルートゥース通信部等の無線通信を行うための構成を設けなくても、ウェアラブル端末50の表示部51に表示する表示器画像を、車載装置40が有する車両情報に基づいて切り換えることができる。この結果、無線通信を行うための構成を削減することができ、生産コストを抑えることが可能となる。
C.第3実施例 :
次に、第3実施例の画像表示システム(本発明における「車両用情報提示システム」)について説明する。第3実施例では、第1実施例と同様の固定式のマーカー(刻印、印刷、貼付等されたマーカー)が1つ設けられている場合について説明する。尚、第3実施例において、第1実施例または第2実施例と同様の内容についてはその説明を省略する。
C−1.装置構成 :
図19には、第3実施例の画像表示システム70の構成が示されている。図19に示すように、第3実施例の画像表示システム70は、車載装置80とウェアラブル端末90とから構成されている。車載装置80は、ブルートゥース信号を送受信するブルートゥース通信部81と、ブルートゥース通信部81(車載装置80)からウェアラブル端末90に送信する情報を記憶する送信情報記憶部82とを備えている。また、車載装置80は、他のシステムが有している車両情報を受信して記憶する車両情報記憶部83を備えている。また、車載装置80は、指示信号決定部84を備えている。指示信号決定部84は、車両情報記憶部83に記憶された車両情報に基づいて、ウェアラブル端末90に送信する指示信号(本発明における「トリガ信号」)を決定する。
一方、ウェアラブル端末90は、第1実施例と同様に、運転者の頭部に装着された状態で運転者の目の前方に位置するレンズ型の表示部91と、枠(いわゆるフレーム)部分に設けられたカメラ92とを備えている。また、ウェアラブル端末90は、上述の表示部91やカメラ92を制御する制御装置93を備えている。
この制御装置93は、ブルートゥース信号を送受信するブルートゥース通信部94と、ブルートゥース通信部94(ウェアラブル端末90)が車載装置80から受信した情報を記憶する受信情報記憶部95とを備えている。さらに、制御装置93は、指示信号対応情報記憶部96と表示制御部97とを備えている。これらのうち指示信号対応情報記憶部96は、車載装置80から送信される各種の指示信号に対応付けて表示器画像(本発明における「情報表示画像」)を記憶している。すなわち、指示信号の種類毎に表示器画像の種類が対応付けられた「指示信号−表示器画像対応テーブル」を記憶している。また、表示制御部97は、カメラ92が撮影した撮影画像に基づいてマーカー画像を検出する。そして、マーカー画像を検出したら「指示信号−表示器画像対応テーブル」を参照して、受信した指示信号に対応する表示器画像を決定し、決定した表示器画像を表示部91に表示する。
尚、カメラ92は本発明における「撮影装置」に対応し、表示部90は本発明における「眼鏡型表示装置」に対応し、表示制御部97は本発明における「表示情報制御部」に対応している。
以下では、上述したような第3実施例の画像表示システム70において行われる処理について、「車載装置80において行われる処理」と「ウェアラブル端末90において行われる処理」に分けて説明する。先ずは、車載装置80において行われる処理について説明する。
C−2.車載装置80において行われる処理 :
図19には、第3実施例の車載装置80において行われる指示信号送信処理のフローチャートが示されている。この指示信号送信処理では、車両情報記憶部83が記憶している車両情報(他のシステムから受信した車両情報)に基づいて、ウェアラブル端末90に向けて指示信号を送信するための処理が行われる。尚、この指示信号送信処理は、実際には、車載装置80内部のCPUがROMに記憶されたプログラムを実行することによって行われるが、以下では、車載装置80または上述した機能ブロック81〜84を実行主体として説明する。また、この指示信号送信処理は、図2と同様の通信確立処理において通信が確立されたら起動され、その後、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図20に示す指示信号送信処理を開始すると、指示信号決定部84は、指示信号送信条件が成立したか否かを判断する(S800)。例えば、車両情報記憶部83が他のシステムから受信した車両情報が特定の情報(車両の異常を示す情報など)であるか否かを判断する。
その結果、指示信号送信条件が成立した場合は(S800:yes)、今回成立した指示信号送信条件に対応する指示信号の種類を決定する(S802)。例えば、車両情報記憶部83が他のシステムから特定の情報を受信した場合は、受信した特定の情報に対応する指示信号の種類を決定する。こうして指示信号の種類を決定したら、該指示信号を送信情報記憶部82に記憶する。そして、ブルートゥース通信部81は、該指示信号をウェアラブル端末90に向けて送信する(S804)。尚、S800の判断処理で、指示信号送信条件が成立していないと判断された場合は(S800:no)、そのまま図20に示す指示信号送信処理を終了する。
以上のように、第3実施例の車載装置80は、指示信号送信条件が成立したら(例えば、特定の情報を受信したら)、成立した指示信号送信条件に対応する指示信号(例えば、受信した特定の情報に対応する指示信号)をウェアラブル端末90に向けて送信する。
以上は、車載装置80において行われる処理について説明した。以下では、ウェアラブル端末90において行われる処理について説明する。
C−3.ウェアラブル端末90において行われる処理 :
図21には、第3実施例のウェアラブル端末90において行われる対応情報表示処理のフローチャートが示されている。この対応情報表示処理では、車載装置80から送信される指示信号に対応する表示器画像を、表示部91に表示するための処理が行われる。尚、この対応情報表示処理は、実際には、制御装置93内部のCPUがROMに記憶されたプログラムを実行することによって行われるが、以下では、制御装置93または上述した機能ブロック94〜97を実行主体として説明する。また、この対応情報表示処理は、タイマ割り込み処理として一定の時間毎に(例えば100m秒毎に)行われる。
図21に示す対応情報表示処理を開始すると、ウェアラブル端末90の制御装置93は、ブルートゥース通信部94が車載装置80から指示信号を受信しているか否か、すなわち、受信情報記憶部95に指示信号が記憶されているか否かを判断する(S850)。その結果、車載装置80から指示信号を受信していない場合は(S850:no)、そのまま図21に示す対応情報表示処理を終了する。
これに対して、車載装置80から指示信号を受信している場合は(S850:yes)、ウェアラブル端末90の表示制御部97は、カメラ92に撮影を行わせて撮影画像を得る(S852)。続いて、周知のエッジ検出処理やパターンマッチング処理等を行うことによって、この撮影画像からマーカーを検出する処理を実行する(S854)。そして、この処理の結果、撮影画像からマーカーが検出されたか否かを判断する(S856)。つまり、撮影画像は運転者の視認方向を撮影した画像であるので、S856の処理では、運転者がマーカーを視認しているか否かが判断される。その結果、撮影画像からマーカーが検出されなかった場合、すなわち、運転者がマーカーを視認していない場合は(S856:no)、そのまま図21に示す対応情報表示処理を終了する。
これに対して、撮影画像からマーカーが検出された場合、すなわち、運転者がマーカーを視認している場合は(S856:yes)、表示制御部97は、指示信号対応情報記憶部96に記憶されている「指示信号−表示器画像対応テーブル」を参照して、車載装置80から受信した指示信号に対応する表示器画像を決定する(S858)。そして、決定された表示器画像を表示部91に表示する(S860)。このとき、表示制御部97は、表示器画像が「運転者が視認しているマーカー」に重なる位置に表示されるように、表示器画像の表示位置(ウェアラブル端末90の表示部91上の表示位置)を演算し、該表示位置に表示器画像を表示する。
以上のように、第3実施例のウェアラブル端末90は、撮影画像からマーカーが検出されたら(運転者がマーカーを視認したら)、車載装置80から受信した指示信号に対応する表示器画像を、表示部91の表示領域のうちマーカーと重なって見える位置に表示する。
以上のように、第3実施例の画像表示システム70では、従来の表示器と比較して大きな設置スペースを必要としないマーカーを設けて、該マーカーが視認されると、車両情報を示す表示器画像をウェアラブル端末90の表示部91に表示する。従って、表示器を設けるスペースの制限を受けることなく、車両情報を表示することができ、この結果、車両内における情報表示の自由度を高めることが可能となる。
また、第3実施例の画像表示システム70では、従来の表示器と比較して大きな設置スペースを必要としないマーカーを設けて、該マーカーと重なって見える位置に車両情報を示す表示器画像を表示する。従って、表示器を設けるスペースがない部位や、従来であれば表示器が設けられていない部位に、表示器が設けられているように運転者に見せることができる。この結果、車両の部位に表示器が実際に設置されているように見せつつも、車両内における情報表示の自由度を高めることが可能となる。
また、第3実施例の画像表示システム70は、マーカーを設けることで(ウェアラブル端末90の表示部91に表示器画像を表示することで)、表示器が設けられているように見せることができるので、表示器の数を削減することができ、生産コストを抑えることが可能となる。
また、第3実施例の画像表示システム70では、車載装置80からウェアラブル端末90に向けて送信する指示信号を切り換えることで、ウェアラブル端末90の表示部91に表示する表示器画像を切り換えることができる。従って、表示器を設けるスペースの制限を受けることなく、種々の車両情報を表示することができ、この結果、車両内における情報表示の自由度を高めることが可能となる。また、表示器の数を削減することができ、生産コストを抑えることが可能となる。
以上、実施例および変形例の画像表示システム(車載装置およびウェアラブル端末)について説明したが、本発明は上述の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
例えば、上述した実施例および変形例では、表示器画像を表示することとしたが、表示器画像に代えて、単なる文字画像等の種々の情報を表示することとしてもよい。
また、上述した実施例および変形例では、ウェアラブル端末20,50,90の表示部21,51,91の表示領域のうち、マーカーまたはマーカー画像と重なる位置に車両情報(表示器画像)を表示することとしたが、予め定められた表示領域に車両情報(表示器画像)を表示することとしてもよい。
また、上述した第1実施例や、第3実施例、変形例では、運転者が視認しているマーカーを検出し、該マーカーに対応する車両情報(表示器画像)を表示することとした。これに限らず、マーカーを設けなくても、運転者が車両内や車外の特定位置を視認していることを検出し、該特定位置に対応する車両情報(表示器画像)を表示することとしてもよい。このような構成とした場合は、運転者が標識(特定位置)を視認していることを検出し、該標識に関する車両情報(表示器画像)を表示することとしてもよい。例えば、運転者が制限速度の標識を視認している場合において、車速が該制限速度を超過している場合に車両情報として車速を表示することとしてもよい。
また、上述した第1実施例および変形例では、車載装置10において運転者が視認しているマーカーを検出することとしたが、ウェアラブル端末20において運転者が視認しているマーカーを検出し、その結果をウェアラブル端末20から車載装置10に送信することとしてもよい。また、上述した第1実施例および変形例では、車載装置10において「表示器画像」を生成することとしたが、車載装置10からウェアラブル端末20に向けて車両情報を送信し、ウェアラブル端末20において「表示器画像」を生成することとしてもよい。この場合は、車両情報が本発明における「文字または画像を表示させるための情報」に対応する。
また、上述した第1実施例や、第3実施例および変形例では、車載装置10,80とウェアラブル端末20,90はブルートゥース信号によって通信することとして説明したが、これに限らず、種々の規格の通信方式を採用することができる。例えば、iBeacon(登録商標)や、NFC(Near Field Communication)、DSRC(Dedicated Short Range Communications、登録商標)等を採用することが可能である。
1…画像表示システム、 10…車載装置、 11…ブルートゥース通信部、
14…視認マーカー検出部、15…車両情報記憶部、16…車両情報読出部、
17…表示器画像生成部、 18…異常検出部、 19…素材画像記憶部、
20…ウェアラブル端末、 21…表示部、 22…カメラ、
23…制御装置、 24…ブルートゥース通信部、 27…表示制御部、
30…画像表示システム、 40…車載装置、 50…ウェアラブル端末、
70…画像表示システム、 80…車載装置、 90…ウェアラブル端末。

Claims (8)

  1. 車両に搭載された車載表示装置(45)と、
    撮影装置(52)と眼鏡型表示装置(51)を有するウェアラブル端末(50)と、
    を用いて前記車両の乗員に対して情報を提示する車両用情報提示方法であって、
    前記情報を受信し(S700)、
    受信した前記情報に基づいて、前記車載表示装置にマーカー画像を表示させ(S704)、
    前記ウェアラブル端末の前記撮影装置が前記マーカー画像を捉えたときに、前記マーカー画像に対応した情報表示画像を表示する(S758)ことを特徴とする車両用情報提示方法。
  2. 請求項1に記載の車両用情報提示方法において、
    前記マーカー画像に対応した情報表示画像は、前記眼鏡型表示装置の表示可能領域のうち、前記乗員が前記眼鏡型表示装置越しに前記車載表示装置を視認する位置に表示されることを特徴とする車両用情報提示方法。
  3. 車両に搭載された車載表示装置(45)と、
    撮影装置(52)と眼鏡型表示装置(51)を有するウェアラブル端末(50)と、
    前記車載表示装置にマーカー画像を表示させる車載表示制御装置(44)と、
    前記ウェアラブル端末の前記撮影装置が前記マーカー画像を捉えたときに、前記眼鏡型表示装置に前記マーカー画像に対応した情報表示画像を表示させる表示情報制御部(55)と
    を備えることを特徴とする車両用情報提示システム。
  4. 請求項3に記載の車両用情報提示システムにおいて、
    前記表示情報制御部は、前記マーカー画像に対応した情報表示画像を、前記眼鏡型表示装置の表示可能領域のうち、前記車両の乗員が前記眼鏡型表示装置越しに前記車載表示装置を視認する位置に表示させることを特徴とする車両用情報提示システム。
  5. 撮影装置(52)と眼鏡型表示装置(51)を有するウェアラブル端末(50)に対してマーカー画像を表示する車載装置(40)であって、
    表示画面を車室内に向けた車載表示装置(45)と、
    所定のトリガ信号を受信すると、前記車載表示装置に前記ウェアラブル端末が認識可能なマーカー画像を表示させる車載表示制御装置(44)と
    を備えることを特徴とする車載装置。
  6. 車両に搭載された車載装置(80)と、
    撮影装置(92)と眼鏡型表示装置(91)を有するウェアラブル端末(90)と、
    を用いて前記車両の乗員に対して情報を提示する車両用情報提示方法であって、
    前記情報を受信し(S800)、
    受信した前記情報に基づいて、前記車載装置から前記ウェアラブル端末に所定のトリガ信号を送信し(S804)、
    前記ウェアラブル端末は前記トリガ信号を受信すると、前記車両に設けられたマーカーに対応する位置に、前記トリガ信号に応じた情報表示画像を表示する(S860)ことを特徴とする車両用情報提示方法。
  7. 撮影装置(92)と眼鏡型表示装置(91)を有するウェアラブル端末(90)と、
    前記ウェアラブル端末と通信可能に構成され、車両に搭載された車載装置(80)と、
    前記車両に設けられたマーカーと、を備え、
    前記ウェアラブル端末は、前記車載装置から所定のトリガ信号を受信したとき、前記マーカーに対応する位置に前記トリガ信号に応じた情報表示画像を表示させる表示情報制御部(97)を備えることを特徴とする車両用情報提示システム。
  8. 撮影装置(92)と眼鏡型表示装置(91)を有するウェアラブル端末(90)に対してトリガ信号を送信する車載装置(80)であって、
    前記トリガ信号を前記ウェアラブル端末に向けて送信することで、前記ウェアラブル端末の前記撮影装置が車両に設けられたマーカーを捉えたときに、前記眼鏡型表示装置の表示可能領域のうち、前記マーカーに対応する位置に、前記トリガ信号に応じた情報表示画像を表示させることを特徴とする車載装置
JP2014166454A 2014-08-19 2014-08-19 車両用情報提示方法、車両用情報提示システム、車載装置 Expired - Fee Related JP6187413B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014166454A JP6187413B2 (ja) 2014-08-19 2014-08-19 車両用情報提示方法、車両用情報提示システム、車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014166454A JP6187413B2 (ja) 2014-08-19 2014-08-19 車両用情報提示方法、車両用情報提示システム、車載装置

Publications (2)

Publication Number Publication Date
JP2016041562A JP2016041562A (ja) 2016-03-31
JP6187413B2 true JP6187413B2 (ja) 2017-08-30

Family

ID=55591616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014166454A Expired - Fee Related JP6187413B2 (ja) 2014-08-19 2014-08-19 車両用情報提示方法、車両用情報提示システム、車載装置

Country Status (1)

Country Link
JP (1) JP6187413B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163732B2 (ja) 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7115276B2 (ja) 2018-12-10 2022-08-09 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
JP2021192202A (ja) 2020-06-05 2021-12-16 トヨタ自動車株式会社 体験システム、体験提供方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JPH1165431A (ja) * 1997-08-25 1999-03-05 Nippon Telegr & Teleph Corp <Ntt> 景観ラベル付カーナビゲーション装置およびシステム
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP3928874B2 (ja) * 2004-01-20 2007-06-13 マツダ株式会社 車両用画像表示装置
JP5195537B2 (ja) * 2009-03-09 2013-05-08 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2011203984A (ja) * 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP2012164157A (ja) * 2011-02-07 2012-08-30 Toyota Motor Corp 画像合成装置
JP2014037992A (ja) * 2012-08-13 2014-02-27 Toyota Motor Corp 施設情報案内システム、施設情報案内装置、施設情報案内方法
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
JP2016041562A (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
JP5278461B2 (ja) 視線検出装置および視線検出方法
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
JP5765995B2 (ja) 画像表示システム
EP2645752B1 (en) In-vehicle device, control method thereof, and remote control system
JP6187413B2 (ja) 車両用情報提示方法、車両用情報提示システム、車載装置
WO2015136874A1 (ja) 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
CN104969286A (zh) 显示控制系统
KR20100105293A (ko) 차재 기기의 조작장치
JP2007045169A (ja) 車両用情報処理装置
JP2011151666A (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP2014068331A (ja) 立体表示装置及びその表示方法
JP2005136561A (ja) 車両周辺画像表示装置
WO2017183129A1 (ja) 情報表示方法及び表示制御装置
JP2012035784A (ja) 車両用ディスプレイ装置
JP2018083441A (ja) 情報表示方法及び情報表示装置
JP2016095882A (ja) 車載機およびその表示制御方法
EP1696210B1 (en) Information providing apparatus
JP2010538884A (ja) 複雑な、メニューコントロールされる多機能の車両システム用ナビゲーションシステム
JP6136891B2 (ja) 視線検出装置、および視線検出方法
JP2022139593A (ja) 運転者視認状況確認装置
JP2019194925A (ja) 情報生成装置、制御方法、プログラム及び記憶媒体
JP2015167037A (ja) 車載機
EP3992009B1 (en) Information providing method, non-transitory computer readable storage medium storing program, and information providing apparatus
JP7117454B2 (ja) 支援方法、および支援システム
JP2022023446A (ja) コンピュータプログラム及び周辺監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170717

R151 Written notification of patent or utility model registration

Ref document number: 6187413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees