JP7476866B2

JP7476866B2 - ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム

Info

Publication number: JP7476866B2
Application number: JP2021189146A
Authority: JP
Inventors: 智洋稲田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2024-05-01
Anticipated expiration: 2041-11-22
Also published as: JP2023076011A; US20230161161A1

Description

本発明は、装着者の視野内に配置されたディスプレイを備えるウェアラブル端末に拡張現実技術（以下、ＡＲ技術という）を用いて画像を表示させる画像表示制御装置の構成、及び画像表示制御方法、及びウェアラブル端末と画像表示制御装置とで構成される画像表示システムの構成に関する。

ＡＲ技術を用いて車両が目的地に到着するために必要な運転操作を示す運転操作情報をスマートグラスのディスプレイに表示する装置が提案されている。このような装置では、カメラで得られた画像から予め定めた表示位置のマーカーとなるものを検出し、その表示位置に画像を表示する方法が用いられる（例えば、特許文献１参照）。

また、ＡＲ技術を用いて装着者に車両の内装部品の外観が変化したように感じさせる画像表示システム（例えば、特許文献２）が提案されている。

特開２０１７－１２９４０６号公報特開２０２１－６４９０６号公報

ところで、このような装置では、車室内でＡＲ技術を用いた画像表示を行う場合に、車室内の内装品等の色や形状からマーカーを検出して画像の表示位置を決定する方法が用いられる。しかし、逆光や夜間等のように画像の明度が不足する場合には、装置がマーカーを誤認識して使用者が意図しない位置に画像を表示してしまう場合がある。

そこで、本開示は、車室内でＡＲ技術を用いた画像表示を行う場合に画像の位置ずれの発生を抑制することを目的とする。

本開示の画像表示制御装置は、ウェアラブル端末のディスプレイに画像を表示させる画像表示制御装置であって、前記ウェアラブル端末の自己位置を推定し、推定した前記自己位置に基づいて前記ディスプレイの中の画像の表示位置を決定し、決定した前記表示位置に画像を表示し、前記ウェアラブル端末の実位置が車室内かどうかを検出し、前記実位置が車室内である場合には、前記実位置が車室外である場合に比べて前記自己位置の推定を行う頻度を低くすること、を特徴とする。

これにより、ウェアラブル端末を車室内で使用する場合に、ディスプレイの中の画像の位置ずれの発生を抑制できる。

本開示の画像表示制御装置において、前記実位置が車室内である場合には、前記自己位置の推定を行った後の所定時間内は次の前記自己位置の推定を行わず、前記表示位置を変更しなくてもよい。

これにより、ウェアラブル端末を車室内で使用する場合に、ディスプレイの中の画像の位置ずれが頻繁にずれることを抑制できる。

本開示の画像表示制御装置において、前記実位置が車室内である場合で前記自己位置の推定を行うまでの間、または、前記実位置が車室内である場合で前記自己位置が推定できなかった場合に次の前記自己位置の推定を行うまでの間は、前記ディスプレイの予め設定した所定の位置に画像を表示してもよい。

このように、ウェアラブル端末を車室内で使用する場合に、自己位置の推定を行うまでの間或いは自己位置の推定が出来なかった場合に、画像の表示位置を所定の位置に固定するので、ウェアラブル端末の装着者の混乱を防ぐことができる。

本開示の画像表示制御装置において、前記ウェアラブル端末に備えられた撮像装置で撮像した画像に基づいて前記ウェアラブル端末の前記自己位置の推定を行い、車両と通信して前記ウェアラブル端末の前記実位置が車室内かどうかを検出してもよい。

これにより、簡便にウェアラブル端末の自己位置の推定と実位置の検出を行うことができる。

本開示の画像表示制御装置において、前記車両と通信して前記車両が走行中又は前記ウェアラブル端末の装着者が運転中であるかどうかを検出し、前記実位置が車室内で、前記車両が走行中又は前記装着者が運転中である場合には、前記実位置が車室内であることのみを検出した場合よりも前記自己位置の推定を行う頻度を低くしてもよい。

これにより、ウェアラブル端末を車室内で使用する場合に、車両が走行中又は装着者が運転中にディスプレイの画像の位置ずれを更に抑制できる。

本開示の画像表示制御装置において、夜間又は前記撮像装置が逆光で画像の取得を行う場合にのみ、前記自己位置の推定を行う頻度を低くしてもよい。

これにより、自己位置の推定の精度が低い場合にディスプレイの中の画像の位置がずれることを抑制できる。

本開示の画像表示制御方法は、ウェアラブル端末のディスプレイに画像を表示させる画像表示制御方法であって、前記ウェアラブル端末の自己位置を推定し、推定した前記自己位置に基づいて前記ディスプレイの中の画像の表示位置を決定し、決定した前記画示位置に画像を表示し、前記ウェアラブル端末の実位置が車室内かどうかを検出し、前記実位置が車室内である場合には、前記実位置が車室外である場合に比べて前記自己位置の推定を行う頻度を低くすること、を特徴とする。

本開示の画像表示制御方法において、前記実位置が車室内である場合には、前記自己位置の推定を行った後の所定時間内は次の前記自己位置の推定を行わず、前記表示位置を変更しなくてもよい。

本開示の画像表示制御方法において、前記実位置が車室内である場合で前記自己位置の推定を行うまでの間、または、前記実位置が車室内である場合で前記自己位置が推定できなかった場合に次の前記自己位置の推定を行うまでの間は、前記ディスプレイの予め設定した所定の位置に画像を表示してもよい。

本開示の画像表示制御方法において、前記ウェアラブル端末に備えられた撮像装置で撮像した画像に基づいて前記ウェアラブル端末の前記自己位置の推定を行い、車両と通信して前記ウェアラブル端末の前記実位置が車室内かどうかを検出してもよい。

本開示の画像表示制御方法おいて、前記車両と通信して前記車両が走行中又は前記ウェアラブル端末の装着者が運転中であるかどうかを検出し、前記実位置が車室内で、前記車両が走行中又は前記装着者が運転中である場合には、前記実位置が車室内であることのみを検出した場合よりも前記自己位置の推定を行う頻度を低くしてもよい。

本開示の画像表示制御方法において、夜間又は前記撮像装置が逆光で画像の取得を行う場合にのみ、前記自己位置の推定を行う頻度を低くしてもよい。

本開示の画像表示システムは、撮像装置とディスプレイとを備えるウェアラブル端末と、前記ウェアラブル端末の前記撮像装置で取得した画像に基づいて前記ウェアラブル端末の自己位置を推定し、推定した前記自己位置に基づいて前記ディスプレイの中の画像の表示位置を決定し、決定した前記表示位置に画像を表示する制御装置と、を備える画像表示システムであって、前記制御装置は、車両と通信して前記ウェアラブル端末の実位置が車室内かどうかを検出し、前記実位置が車室内である場合には、前記実位置が車室外である場合に比べて前記自己位置の推定を行う頻度を低くすること、を特徴とする。

本開示の画像表示システムにおいて、前記制御装置は、前記実位置が車室内である場合には、前記自己位置の推定を行った後の所定時間内は次の前記自己位置の推定を行わず、前記表示位置を変更しなくてもよい。

本開示は、車室内でＡＲ技術を用いた画像表示を行う場合に画像の位置ずれの発生を抑制できる。

実施形態の画像表示制御装置の構成を示す機能ブロック図である。運転者がウェアラブル端末を装着した状態を示す斜視図である。図1に示す画像制御表示装置のハードウェア構成を示す図である。図1に示す画像表示制御装置の基本動作を示すフローチャートである。図1に示す画像表示制御装置によって画像表示が行われたウェアラブル端末を装着した運転者の視界を示す図である。図１に示す画像表示制御装置がウェアラブル端末の自己位置の推定を行っている状態で、ウェアラブル端末を装着した運転者が顔を左に動かした際の運転者の視界を示す図である。図１に示す画像表示装置の動作を示すフローチャートである。図７に示すフローチャートの続きのフローチャートである。図１に示す画像表示制御装置がウェアラブル端末の自己位置の推定を行っていない状態で、ウェアラブル端末を装着した運転者が顔を左に動かした際の運転者の視界を示す図である。

以下、図面を参照しながら実施形態の画像表示制御装置１０について説明する。図１に示すように、画像表示制御装置１０は、ウェアラブル端末２０に備えられた撮像装置であるカメラ２８で撮像した撮像画像に基づいてウェアラブル端末２０の自己位置を推定し、ウェアラブル端末２０のディスプレイ２６に画像を表示する。画像表示制御装置１０と、ウェアラブル端末２０とは画像表示システム１００を構成する。

ウェアラブル端末２０は、眼鏡あるいはゴーグルのように運転者２００或いは乗員が装着するデバイスである。ウェアラブル端末２０には、撮像装置であるカメラ２８と、ディスプレイ２６と、通信装置２７とが備えられている。

ここで、図２を参照して、ウェアラブル端末２０について説明する。図２は、運転者２００がウェアラブル端末２０を装着した状態を示す図である。ウェアラブル端末２０は、メガネの形状に形成されたデバイスであり、スマートグラスなどと呼ばれることもある。ウェアラブル端末２０は、耳に掛けるための直線状のフレームであるテンプル２２と、テンプル２２に接続され、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム２４を備える。

リム２４の内側には、表示装置であるディスプレイ２６が設けられている。ディスプレイ２６は、運転者２００の目の前方を覆うように運転者２００の視野内に配置されるが、画像を形成しない場合には、高い透明性（高い光透過性）を有しているため、運転者２００が前方を目視することができる。ディスプレイ２６は、画像表示制御装置１０の制御に基づいて、一部または全部の領域に画像を形成することができる。

運転者２００の左目側には、リム２４とテンプル２２の接続部付近に、カメラ２８が設けられている。カメラ２８は、運転者２００がウェアラブル端末２０を装着して車室内に入った際に車室内の画像を撮像して出力する。また、右側のテンプル２２の中には車両３０と通信を行う通信装置２７が取り付けられている。通信装置２７は車両３０に取り付けられた通信装置３６との通信が成立した場合に、ウェアラブル端末２０の実際の位置（以下、実位置という）が車両３０の車室内にあることを示す実位置情報を出力する。また、左側のテンプル２２の中には後で説明する画像表示制御装置１０が取り付けられている。

図１に戻って、画像表示制御装置１０について説明する。図１に示すように、画像表示制御装置１０は、特徴点抽出部１１と、自己位置推定部１２と、表示位置決定部１３と、画像表示部１４と、画像データ格納部１５と、操作入力部１６と、自己位置推定頻度調整部１７と、位置格納部１８の各機能ブロックで構成される。画像表示制御装置１０は、ウェアラブル端末２０と有線又は無線回線で接続されている。又、画像表示制御装置１０は、車両３０と無線回線により接続されて、車両３０のＥＣＵ３２、ナビゲーション装置３４からそれぞれ車両情報、進路情報を受信する。

特徴点抽出部１１は、ウェアラブル端末２０のカメラ２８からカメラ２８が撮像した画像が入力される。特徴点抽出部１１は、入力された画像を処理して車室内の特徴点を抽出する。特徴点は、マーカーとも呼ばれ、車室内における特定の位置を示す指標となる部分である。

自己位置推定部１２は、カメラ２８の撮像した画像と、特徴点抽出部１１が抽出した車室内の特徴点に基づいて、ウェアラブル端末２０の特徴点に対する相対位置をウェアラブル端末２０の自己位置として推定して出力する。

表示位置決定部１３は、自己位置推定部１２が推定した自己位置と特徴点抽出部１１が抽出した特徴点に基づいて、運転者２００の瞳孔と特徴点とを結ぶ直線がディスプレイ２６のどの位置を通るかを算出する。そして、ディスプレイ２６のどの位置に画像を重ねて表示するかを算出し、算出した位置を表示位置として出力する。また、表示位置決定部１３は、表示位置を位置格納部１８に格納する。

操作入力部１６は、運転者２００が画像表示制御装置１０を操作するための操作部である。運転者２００は操作入力部１６を操作することで、ウェアラブル端末２０に画像を表示するか否か、また、表示する場合にどのような位置にどのような画像を表示するかを入力することができる。

画像データ格納部１５は、画像表示制御装置１０がウェアラブル端末２０のディスプレイ２６に表示する進行方向を示す左右の矢印記号などの画像のデータを格納している。

画像表示部１４は、操作入力部１６から入力された運転者２００の操作入力に基づいて、車両３０と通信し、車両３０のＥＣＵ３２、或いは、ナビゲーション装置３４から速度等の車両情報と、右折、左折等の進路変更情報を含む進路情報とを受信し、受信した車両情報、進路情報に基づいてウェアラブル端末２０のディスプレイ２６に表示する画像であるコンテンツ７０を生成する。そして、表示位置決定部１３から入力されたディスプレイ２６の表示位置に生成したコンテンツ７０を表示させる。

位置格納部１８には表示位置決定部１３が出力した表示位置が格納される。また、位置格納部１８には、ディスプレイ２６の予め定めた所定の位置が格納される。

自己位置推定頻度調整部１７は、カメラ２８から入力された画像と、ウェアラブル端末２０の通信装置２７から入力されたウェアラブル端末２０の実位置情報と、車両３０から受信した車両情報とに基づいて、自己位置推定指令を出力する頻度を調整する。また、自己位置推定頻度調整部１７は、位置格納部１８から前回決定した表示位置又はディスプレイ２６の予め定めた所定の位置を読み出して表示位置として画像表示部１４に出力する。また、自己位置推定頻度調整部１７には、自己位置推定部１２が推定した自己位置が入力される。自己位置推定頻度調整部１７は、自己位置推定部１２が自己位置の推定ができたかどうかを判断し、自己位置の推定ができかったと判断した場合には、位置格納部１８からディスプレイ２６の予め定めた所定の位置を読み出して表示位置として画像表示部１４に出力する。

以上説明した画像表示制御装置１０はコンピュータであり、各機能ブロックは、図３に示すようなハードウェアで構成される。図３に示すように、画像表示制御装置１０は、情報処理を行うプロセッサであるＣＰＵ１５１と、情報処理の際にデータを一時的に記憶するＲＯＭ１５２、ＲＡＭ１５３と、プログラムやユーザのデータ等を格納するＳＤＤ１５４と、入力および表示手段として設けられたタッチパネル１５７とデータの入出力を行うデータポート１５８とを含んでいる。ＣＰＵ１５１とＲＯＭ１５２とＲＡＭ１５３とＳＤＤ１５４とはデータバス１５９によって接続されている。また、タッチパネル１５７とデータポート１５８とは入出力コントローラ１５６を介してデータバス１５９に接続されている。また、データバス１５９には通信手段として設けられた通信インターフェース１５５が接続されている。

図１に示す特徴点抽出部１１、自己位置推定部１２、表示位置決定部１３、画像表示部１４、自己位置推定頻度調整部１７は、図３に示すＳＤＤ１５４に格納されたプログラムをＣＰＵ１５１がＲＯＭ１５２、ＲＡＭ１５３と協調動作して実行することにより実現される。画像データ格納部１５、位置格納部１８は、図３に示すＳＤＤ１５４に所定の画像データ、表示位置情報を格納することにより実現できる。また無、操作入力部１６は、タッチパネル１５７により実現される。更に、車両３０との通信は、通信インターフェース１５５により実現される。

次に、図４、５を参照しながら実施形態の画像表示制御装置１０の基本動作について説明する。この基本動作はＡＲ技術を用いてウェアラブル端末２０のディスプレイ２６に画像を表示する動作である。尚、以下の説明では、運転者２００が操作入力部１６から目標表示位置として図５に示すようにフロントガラス４０の右下に進路変更表示７１とバッテリ残量表示７２と車速表示７３を含むコンテンツ７０を表示するように入力しているとして説明する。

ここで、図５は、画像表示制御装置１０によって画像表示が行われたウェアラブル端末２０を装着した運転者２００の視界を示す図である。図５に示すように、運転者２００の視界には、車室前方のダッシュボード４１、右フロントピラー４２、左フロントピラー４３、天井パネル４４、空気吹出し口４９、ハンドル５０、バックミラー５１等が見えている。尚、図５において、矢印ＦＲ、矢印ＵＰ、矢印ＲＨは、車両３０の前方向（進行方向）、上方向、右方向をそれぞれ示している。図６、図９においても同様である。

画像表示制御装置１０の特徴点抽出部１１は、図４のステップＳ１０１で入力された目標表示位置を読み出して、図４のステップＳ１０２において、ウェアラブル端末２０のカメラ２８で撮像した画像取得して画像認識を行い、図４のステップＳ１０３で特徴点を抽出する。一例として、図５に示すように、フロントガラス４０右下がコンテンツ７０の目標表示位置である場合、特徴点抽出部１１は、フロントガラス４０とダッシュボード４１との境界線４５と、フロントガラス４０と右フロントピラー４２との境界線４６とを特徴点として抽出する。

自己位置推定部１２は、図４のステップＳ１０４においてカメラ２８で撮像した車室内の画像に基づいて、特徴点抽出部１１が抽出した特徴点である境界線４５、４６に対するウェアラブル端末２０の相対位置を推定して自己位置として出力する。

表示位置決定部１３は、図４のステップＳ１０５において、運転者２００の瞳孔と車室内の特徴点である境界線４５、４６とを結ぶ直線がウェアラブル端末２０のディスプレイ２６のどの位置にあたるかを演算し、演算したディスプレイ２６の位置を表示位置して決定して出力する。

画像表示部１４は、図４のステップＳ１０６で、車両３０と通信してＥＣＵ３２から車両情報である車速とバッテリ残量とを受信し、ナビゲーション装置３４から進路情報を受信する。そして、画像データ格納部１５に格納した画像データを参照して図５に示す進路変更表示７１とバッテリ残量表示７２と車速表示７３を含むコンテンツ７０を生成する。そして、画像表示部１４は、生成したコンテンツ７０を表示位置決定部１３から入力されたディスプレイ２６の表示位置に表示する。

画像がウェアラブル端末２０のディスプレイ２６に表示されると、図５に示すように、運転者２００には、進路変更表示７１とバッテリ残量表示７２と車速表示７３を含むコンテンツ７０が車両３０のフロントガラス４０の右下に表示されているように見える。

画像表示制御装置１０は、図４のステップＳ１０１～Ｓ１０６を高速で繰り返して実行し、リアルタイムでコンテンツ７０の表示位置を車室内の特徴点である境界線４５、４６に対して固定した位置に調整する。このため、運転者２００の顔が移動して車室内の特徴点である境界線４５、４６とウェアラブル端末２０との相対位置が変化した場合でも、運転者２００には、コンテンツ７０は常に特徴点である境界線４５、４６に対して固定して表示されているように見える。

例えば、図６中の矢印９１に示すように、運転者２００が顔を左に向けてウェアラブル端末２０が左に移動した場合でも、運転者２００には、コンテンツ７０は常にフロントガラス４０の右下に固定して表示されているように見える。尚、図６に示すように、ウェアラブル端末２０のリム２４の右外側にはディスプレイ２６が配置されていないので、運転者２００にはコンテンツ７０の右側の部分は見えず、リム２４の右外側には車両３０のフロントガラス４０とダッシュボード４１と右フロントピラー４２のみが見える。

ところで、夜間やカメラ２８が逆光で画像を撮像した場合、明度不足により先に説明したフロントガラス４０とダッシュボード４１との境界線４５、フロントガラス４０と右フロントピラー４２との境界線４６との代わりに、例えば、フロントガラス４０と天井パネル４４との境界線４８と、フロントガラス４０と左フロントピラー４３との境界線４７を特徴点として誤検出してしまうような場合がある。このような場合には、コンテンツ７０の位置がフロントガラス４０の右下からフロントガラス４０の左上に急に移動してしまい、場合によってはウェアラブル端末２０のディスプレイ２６に表示できない位置になってしまう場合がある。また、特徴点の抽出ができない場合には、コンテンツ７０の表示位置を決定できず、コンテンツ７０をディスプレイ２６に表示できない場合がある。

そこで、実施形態の画像表示制御装置１０は、このような運転者２００の予期しないコンテンツ７０の位置ずれやコンテンツ７０の非表示が発生しないように自己位置推定頻度調整部１７を設けて自己位置の推定頻度を調整している。以下、図７から図９を参照しながら実施形態の画像表示制御装置１０の動作について説明する。尚、先に図４を参照した基本動作と同一のステップには同一のステップ符号を付して簡単に説明する。

自己位置推定頻度調整部１７は、図７のステップＳ２０１でウェアラブル端末２０の実位置が車室内かどうか判断する。

ウェアラブル端末２０の通信装置２７は、車両３０の通信装置３６との間の通信が成立している場合には、ウェアラブル端末２０の実位置が車室内であることを示す実位置情報を出力する。自己位置推定頻度調整部１７は、ウェアラブル端末２０から実位置情報が入力されている場合には、図７のステップＳ２０１でＹＥＳと判断して図７のステップＳ２０２に進む。

自己位置推定頻度調整部１７は、図７のステップＳ２０２に進んで車両３０が走行中であるか又は、ウェアラブル端末２０の装着者が運転中であるかどうか判断する。

この判断は、色々なパラメータを用いて行うことができるが、例えば、自己位置推定頻度調整部１７は、車両３０のＥＣＵ３２から車両情報として車両３０の始動スイッチのＯＮ／ＯＦＦの情報を受信し、始動スイッチがＯＮの場合に車両３０が走行中と判断してもよい。或いは、自己位置推定頻度調整部１７は、車両３０のＥＣＵ３２から車両情報として車速情報を受信し、車速が所定の閾値以上、例えば、数ｋｍ／ｈ以上の場合に車両３０が走行中と判断してもよい。また、自己位置推定頻度調整部１７は、ウェアラブル端末２０から入力された画像の画像分析を行い、画像が図５に示すように、運転席の前方の画像である場合には、ウェアラブル端末２０の装着者が運転者２００であり、ウェアラブル端末２０の装着者が運転中であると判断してもよい。

自己位置推定頻度調整部１７は、図７のステップＳ２０２でＮＯと判断した場合には、図７のステップＳ２０３に進み、所定時間を第１所定時間に設定する。また、図７のステップＳ２０２でＹＥＳと判断した場合には、図７のステップＳ２０４に進んで所定時間を第１所定時間よりも長い第２所定時間に設定する。ここで、図７のステップＳ２０２でＮＯと判断した場合は、例えば、運転者２００がウェアラブル端末２０を装着して車両３０に乗り込んだ状態で、車両３０を始動する前の状態に対応する。

先に説明したように、画像表示制御装置１０は、基本動作では図４のステップＳ１０１～Ｓ１０６を高速で繰り返して実行し、リアルタイムでコンテンツ７０の表示位置を車室内の特徴点に対して固定した位置に調整する。上記の第１所定時間、第２所定時間は、図４のステップＳ１０１～Ｓ１０６を繰り返して実行する時間間隔よりも長い時間であり、例えば、０．５秒から１秒、或いは、１～３秒、或いは数秒程度としてもよい。

自己位置推定頻度調整部１７は、図７のステップＳ２０３またはステップＳ２０４で所定時間を設定したら図７のステップＳ２０５に進んで、所定時間が経過するまで自己位置の推定を行わずに図７のステップＳ２０６～Ｓ２０９を繰り返して実行する。

自己位置推定頻度調整部１７は、図７のステップＳ２０６で前回決定した表示位置が位置格納部１８に格納されているかどうかを判断する。運転者２００がウェアラブル端末２０を装着して車両３０に乗り込み、ウェアラブル端末２０の使用を開始した直後は、図８のステップＳ１０１～Ｓ１０６が実行されておらず、自己位置の推定、表示位置の決定がされていない。このため、位置格納部１８には前回決定した表示位置が格納されていないので、自己位置推定頻度調整部１７は、図７のステップＳ２０６でＮＯと判断して図７のステップＳ２０９に進む。そして、ステップＳ２０９で位置格納部１８に格納しているディスプレイ２６の予め定めた所定の位置を読み出して表示位置として設定して画像表示部１４に出力する。画像表示部１４は、図７のステップＳ２０８で、自己位置推定頻度調整部１７から入力された表示位置にコンテンツ７０を表示する。

そして、自己位置推定頻度調整部１７は、図７のステップＳ２０８でディスプレイ２６の予め定めた位置にコンテンツ７０を表示させたら図７のステップＳ２０５に戻り、所定時間が経過するまで、ディスプレイ２６の予め定めた位置にコンテンツ７０を表示させ続ける。

ここで、予め定めた所定の位置は自由に設定できるが、例えば、図９に示すようにディスプレイ２６の中央の少し右側としてもよい。この場合、運転者２００には、リム２４の中央の少し右側に画像が見えるようになる。この位置は、ウェアラブル端末２０の車室内の特徴点に対する相対位置である自己位置とは関係なくディスプレイ２６に固定された位置であるから、コンテンツ７０はウェアラブル端末２０に対して固定された位置に表示される。従って、自己位置の推定、表示位置の決定を行わない所定時間の間は、図９中の矢印９２に示すように運転者２００が左方向に顔を向けると、コンテンツ７０はウェアラブル端末２０と共に車室内の特徴点である境界線４５、４６に対して左方向に移動する。

そして、所定時間が経過すると自己位置推定頻度調整部１７は、図７のステップＳ２０５でＹＥＳと判断して自己位置推定指令を特徴点抽出部１１に出力する。これにより、特徴点抽出部１１と、自己位置推定部１２と、表示位置決定部１３と、画像表示部１４は、先に図４を参照して説明した基本動作と同様、図８のステップＳ１０１～Ｓ１０６に示すように、特徴点の抽出と、自己位置の推定を行い、ディスプレイ２６の表示位置を決定、決定したディスプレイ２６の表示位置にコンテンツ７０を表示する。図８のステップＳ１０１～Ｓ１０６は、リアルタイムでコンテンツ７０の表示位置を車室内の特徴点に対して固定した位置に調整できるように高速で実行される。

この際、自己位置推定部１２が推定した自己位置は自己位置推定頻度調整部１７に入力される。また、表示位置決定部１３が決定した表示位置は位置格納部１８に格納される。

自己位置推定頻度調整部１７は、図８のステップＳ２１０で、自己位置推定部１２が自己位置の推定を行えたかとどうか判断する。自己位置推定頻度調整部１７は、自己位置推定部１２が自己位置の推定を行うことができず、自己位置が自己位置推定部１２から入力されなかった場合、或いは、推定した自己位置が、例えば、車室外となっているような場合には、図８のステップＳ２１０でＮＯと判断し、図８のステップＳ１０５の表示位置の決定をスキップして図８のステップＳ２１１に進み、位置格納部１８からディスプレイ２６の予め定めた所定の位置を読み出し、読みだした予め定めた所定の位置を表示位置として画像表示部１４に出力する。これにより、自己位置の推定が行えなかった場合に、コンテンツ７０の位置がウェアラブル端末２０を装着している運転者２００の意図と異なる位置にずれてしまうことを抑制することができる。

自己位置推定頻度調整部１７は、図８のステップＳ１０６でコンテンツ７０を表示させたら、図７のステップＳ２０１に戻って図７のステップＳ２０１～Ｓ２０５を実行する。そして、先に図８のステップＳ１０１～Ｓ１０６を実行して表示位置の決定を行い、前回決定した表示位置が位置格納部１８に格納されている場合には、図７のステップＳ２０６でＹＥＳと判断して図７のステップＳ２０７に進み、位置格納部１８に格納されている前回決定した表示位置を読み出し、前回決定した表示位置を表示位置として画像表示部１４に出力する。

画像表示部１４は、自己位置推定頻度調整部１７から入力された前回決定した表示位置にコンテンツ７０を表示する。この前回決定した表示位置は、ウェアラブル端末２０の車室内での現在の相対位置である現在の自己位置とは関係なくディスプレイ２６に設定された位置であるから、先に説明した表示位置をディスプレイ２６の予め定めた所定の位置とした場合と同様、コンテンツ７０はウェアラブル端末２０に対して固定された位置となる。従って、運転者２００が顔を移動させると、コンテンツ７０はウェアラブル端末２０と共に車室内の特徴点である境界線４５、４６に対して移動する。

そして、所定時間が経過すると自己位置推定頻度調整部１７は、図７のステップＳ２０５でＹＥＳと判断して自己位置推定指令を特徴点抽出部１１に出力する。これにより、特徴点抽出部１１と、自己位置推定部１２と、表示位置決定部１３と、画像表示部１４は、図８のステップＳ１０１～Ｓ１０６に示すように、特徴点の抽出と、自己位置の推定を行い、ディスプレイ２６の表示位置を決定、決定したディスプレイ２６の表示位置にコンテンツ７０を表示する。

この際、表示位置は推定した自己位置に基づいて調整されるので、運転者２００には、図５に示すようにコンテンツ７０がフロントガラス４０の右下に固定されているように見える。

以上説明したように、画像表示制御装置１０は、ウェアラブル端末２０が車室内にある場合には、所定時間の間、自己位置の推定と表示位置の決定を行わず、コンテンツ７０の表示位置を前回の表示位置に固定し、所定時間が経過するごとに自己位置の推定と表示位置の決定とを行い、コンテンツ７０の表示位置を車室内の特徴点である境界線４５、４６に対して固定した位置に調整する。

このため、ウェアラブル端末２０を車室内で使用する場合に、ディスプレイ２６の中のコンテンツ７０の位置ずれが頻繁発生することを抑制できる。

また、運転者２００が車室内であまり顔の位置を動かさない場合には、自己位置の推定と表示位置の更新を行わない所定時間の間は、コンテンツ７０がフロントガラス４０の右下から少しだけずれた位置に見え、所定時間ごとにコンテンツ７０の表示位置がフロントガラス４０の右下に調整される様に見える。このため、運転者２００にはコンテンツ７０がフロントガラス４０の右下に略とどまっているように見える。

一方、自己位置推定頻度調整部１７は、図７のステップＳ２０１でＮＯと判断した場合、つまり、ウェアラブル端末２０の実位置が車室内ではなく車室外にある場合には、図７のステップＳ２０２からＳ２０９をスキップして自己位置推定指令を特徴点抽出部１１に出力する。これにより、特徴点抽出部１１と、自己位置推定部１２と、表示位置決定部１３と、画像表示部１４は、図８のステップＳ１０１～Ｓ１０６に示すように、特徴点の抽出と、自己位置の推定と、ディスプレイ２６の表示位置の決定と、決定したディスプレイ２６の表示位置へのコンテンツ７０の表示とを高速で繰り返して実行する。このため、コンテンツ７０の表示位置は車室外の特徴点に対して固定した位置にリアルタイムで調整される。

ウェアラブル端末２０の実位置が車室外の場合には、画像表示制御装置１０は、例えば、携帯電話と通信して位置情報と歩行による進路情報とを取得し、進行方向を示す矢印が歩道の上に見えるようにウェアラブル端末２０のディスプレイ２６に画像を表示させてもよい。

このように、自己位置推定頻度調整部１７は、ウェアラブル端末２０の実位置が車室外にある場合には、自己位置の推定と表示位置の決定を行う頻度を低下させる図７のステップＳ２０２～Ｓ２０９に示す処理を実行しない。つまり、自己位置推定頻度調整部１７は、ウェアラブル端末２０の実位置が車室内である場合には、ウェアラブル端末２０の実位置が車室外である場合よりも自己位置の推定を行う頻度を低くする。

以上説明したように、自己位置推定頻度調整部１７は、ウェアラブル端末２０の実位置が車室内である場合には、所定時間ごとに自己位置の推定と表示位置の決定を行い、自己位置の推定と表示位置の決定を行う頻度をウェアラブル端末２０の実位置が車室外にある場合よりも低下させることにより、車室内の環境変化により特徴点を誤検出してコンテンツ７０の表示位置が運転者２００の予期しない位置に移動してしまうことを抑制することができる。

また、運転者２００が車両３０を走行させている間は、運転者２００は、常に前方を注視しているので、顔を移動させる機会が少ない。このため、コンテンツ７０の表示位置の決定を行う時間間隔を長くしても、運転者２００にはコンテンツ７０がフロントガラス４０の右下に略とどまっているように見える。このため、ウェアラブル端末２０を装着した運転者２００が運転中、或いは、車両３０が走行中の場合には、図７のステップＳ２０２でＹＥＳと判断して図７のステップＳ２０４で所定時間を第１所定時間よりも長い第２所定時間に設定し、ウェアラブル端末２０の実位置が車室内にあるとのみ判断した場合よりも自己位置の推定と表示位置の決定を行う頻度を低くする。これにより、車室内の環境変化により特徴点を誤検出してコンテンツ７０の表示位置が運転者２００の予期しない位置に移動してしまうことを更に抑制することができる。

また、自己位置推定頻度調整部１７は、図７のステップＳ２０５の所定時間の経過を判断する前に、ウェアラブル端末２０のカメラ２８から入力された撮像画像の分析を行い、夜間、或いは、カメラ２８が逆光状態で画像の撮像を行っているかを判断し、夜間、或いは、カメラ２８が逆光で画像を取得していない通常の場合には、図７のステップＳ２０５～Ｓ２０９をスキップして特徴点抽出部１１と、自己位置推定部１２と、表示位置決定部１３と、画像表示部１４に図８のステップＳ１０１～Ｓ１０６を高速で繰り返して実行させ、特徴点の抽出と、自己位置の推定と、を行い、ディスプレイ２６の表示位置を決定し、決定したディスプレイ２６の表示位置にコンテンツ７０を表示してもよい。

これにより、夜間、或いは、カメラ２８が逆光状態で画像の撮像を行っておらず、特徴点の誤検出の可能性が低い場合には、リアルタイムでコンテンツ７０の表示位置を車室内の特徴点に対して固定した位置に調整する。そして、夜間、或いは、カメラ２８が逆光状態で画像の撮像を行っており、特徴点の誤検出の可能性が高い場合にのみ、自己位置の推定と表示位置の決定を行う頻度を低下させるようにしてもよい。これにより、夜間、或いは、カメラ２８が逆光状態で画像の撮像を行っている際に特徴点を誤検出してコンテンツ７０の表示位置が運転者２００の予期しない位置に移動してしまうことを更に抑制することができる。

以上の説明では画像表示制御装置１０は、ウェアラブル端末２０に取り付けられているとして説明したが、これに限らず、車両３０に搭載されていてもよい。

また、図４、図７～８を参照して説明した画像表示制御装置１０の動作は、ウェアラブル端末２０のディスプレイ２６に画像を表示させる画像表示制御方法でもある。

１０画像表示制御装置、１１特徴点抽出部、１２自己位置推定部、１３表示位置決定部、１４画像表示部、１５画像データ格納部、１６操作入力部、１７自己位置推定頻度調整部、１８位置格納部、２０ウェアラブル端末、２２テンプル、２４リム、２６ディスプレイ、２７通信装置、２８カメラ、３０車両、３２ＥＣＵ、３４ナビゲーション装置、３６通信装置、４０フロントガラス、４１ダッシュボード、４２右フロントピラー、４３左フロントピラー、４４天井パネル、４５～４８境界線、４９空気吹出し口、５０ハンドル、５１バックミラー、７０コンテンツ、７１進路変更表示、７２バッテリ残量表示、７３車速表示、１００画像表示システム、１５１ＣＰＵ、１５２ＲＯＭ、１５３ＲＡＭ、１５４ＳＤＤ、１５５通信インターフェース、１５６入出力コントローラ、１５７タッチパネル、１５８データポート、１５９データバス、２００運転者。

Claims

ウェアラブル端末のディスプレイに画像を表示させる画像表示制御装置であって、
前記ウェアラブル端末の自己位置を推定し、推定した前記自己位置に基づいて前記ディスプレイの中の画像の表示位置を決定し、決定した前記表示位置に画像を表示し、
前記ウェアラブル端末の実位置が車室内かどうかを検出し、前記実位置が車室内である場合には、前記実位置が車室外である場合に比べて前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示制御装置。
請求項１に記載の画像表示制御装置であって、
前記実位置が車室内である場合には、前記自己位置の推定を行った後の所定時間内は次の前記自己位置の推定を行わず、前記表示位置を変更しないこと、
を特徴とする画像表示制御装置。
請求項１または２に記載の画像表示制御装置であって、
前記実位置が車室内である場合で前記自己位置の推定を行うまでの間、または、前記実位置が車室内である場合で前記自己位置が推定できなかった場合に次の前記自己位置の推定を行うまでの間は、前記ディスプレイの予め設定した所定の位置に画像を表示すること、
を特徴とする画像表示制御装置。
請求項１から３のいずれか１項に記載の画像表示制御装置であって、
前記ウェアラブル端末に備えられた撮像装置で撮像した画像に基づいて前記ウェアラブル端末の前記自己位置の推定を行い、
車両と通信して前記ウェアラブル端末の前記実位置が車室内かどうかを検出すること、
を特徴とする画像表示制御装置。
請求項４に記載の画像表示制御装置であって、
前記車両と通信して前記車両が走行中又は前記ウェアラブル端末の装着者が運転中であるかどうかを検出し、
前記実位置が車室内で、前記車両が走行中又は前記装着者が運転中である場合には、前記実位置が車室内であることのみを検出した場合よりも前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示制御装置。
請求項４または５に記載の画像表示制御装置であって、
夜間又は前記撮像装置が逆光で画像の取得を行う場合にのみ、前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示制御装置。
ウェアラブル端末のディスプレイに画像を表示させる画像表示制御方法であって、
前記ウェアラブル端末の自己位置を推定し、推定した前記自己位置に基づいて前記ディスプレイの中の画像の表示位置を決定し、決定した前記表示位置に画像を表示し、
前記ウェアラブル端末の実位置が車室内かどうかを検出し、前記実位置が車室内である場合には、前記実位置が車室外である場合に比べて前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示制御方法。
請求項７に記載の画像表示制御方法であって、
前記実位置が車室内である場合には、前記自己位置の推定を行った後の所定時間内は次の前記自己位置の推定を行わず、前記表示位置を変更しないこと、
を特徴とする画像表示制御方法。
請求項７または８に記載の画像表示制御方法であって、
前記実位置が車室内である場合で前記自己位置の推定を行うまでの間、または、前記実位置が車室内である場合で前記自己位置が推定できなかった場合に次の前記自己位置の推定を行うまでの間は、前記ディスプレイの予め設定した所定の位置に画像を表示すること、
を特徴とする画像表示制御方法。
請求項７から９のいずれか１項に記載の画像表示制御方法であって、
前記ウェアラブル端末に備えられた撮像装置で撮像した画像に基づいて前記ウェアラブル端末の前記自己位置の推定を行い、
車両と通信して前記ウェアラブル端末の前記実位置が車室内かどうかを検出すること、
を特徴とする画像表示制御方法。
請求項１０に記載の画像表示制御方法であって、
前記車両と通信して前記車両が走行中又は前記ウェアラブル端末の装着者が運転中であるかどうかを検出し、
前記実位置が車室内で、前記車両が走行中又は前記装着者が運転中である場合には、前記実位置が車室内であることのみを検出した場合よりも前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示制御方法。
請求項１０または１１に記載の画像表示制御方法であって、
夜間又は前記撮像装置が逆光で画像の取得を行う場合にのみ、前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示制御方法。
撮像装置とディスプレイとを備えるウェアラブル端末と、
前記ウェアラブル端末の前記撮像装置で取得した画像に基づいて前記ウェアラブル端末の自己位置を推定し、推定した前記自己位置に基づいて前記ディスプレイの中の画像の表示位置を決定し、決定した前記表示位置に画像を表示する制御装置と、を備える画像表示システムであって、
前記制御装置は、車両と通信して前記ウェアラブル端末の実位置が車室内かどうかを検出し、前記実位置が車室内である場合には、前記実位置が車室外である場合に比べて前記自己位置の推定を行う頻度を低くすること、
を特徴とする画像表示システム。
請求項１３に記載の画像表示システムであって、
前記制御装置は、
前記実位置が車室内である場合には、前記自己位置の推定を行った後の所定時間内は次の前記自己位置の推定を行わず、前記表示位置を変更しないこと、
を特徴とする画像表示システム。