JP7183555B2 - 表示装置、移動体、表示方法、及びプログラム - Google Patents

Description

本発明は、表示装置、移動体、表示方法、及びプログラムに関する。

従来、運転者等の搭乗者を載せて移動する車両、船舶、航空機、及び産業用ロボット等の移動体（移動装置）において、搭乗者に情報を提供するためのオブジェクトを表示するヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）を利用したものが知られている。このＨＵＤでは、例えば、表示画像光をフロントガラスやコンバイナにより反射させ、移動体の搭乗者に視認させる。

このＨＵＤにおいて、表示するオブジェクトの視認性を向上させるために、当該オブジェクトの表示輝度、及び表示色等を調整する技術が知られている（例えば、特許文献１を参照）。

しかしながら、従来技術では、例えば、経路案内用の図形等のオブジェクトを、ＡＲ（Augmented Reality）により移動体の前方等の現実の環境に付加して表示する場合、当該オブジェクトが、その背景の現実の環境に存在するように知覚されにくい場合があるという問題がある。

そこで、現実の環境に付加して表示するオブジェクトの違和感を低減させることを目的とする。

所定のオブジェクトを、移動体の外部の環境に重なる位置に表示させる表示装置が、前記移動体の外部の画像を取得する取得部と、前記所定のオブジェクトの周囲の領域の画像を、前記取得部により取得された画像に応じて決定する決定部と、前記所定のオブジェクトと、前記決定部により決定された、前記所定のオブジェクトの周囲の領域の画像とを表示する表示部と、を有し、前記所定のオブジェクトの周囲の領域の画像は、前記取得部により取得された画像と、前記所定のオブジェクトと、に基づく画像を含み、前記決定部は、前記所定のオブジェクトの周囲の領域の画像の形状を、前記所定のオブジェクトを拡大した形状とする。

開示の技術によれば、現実の環境に付加して表示するオブジェクトの違和感を低減させることができる。

実施形態に係る表示システムのシステム構成の一例を示す図である。 実施形態に係る表示装置により画像が投影される範囲の一例を示す図である。 実施形態に係る表示装置のハードウェア構成の一例を示す図である。 実施形態に係る表示装置の機能ブロックの一例を示す図である。 実施形態に係る表示装置の処理の一例を示すフローチャートである。 実施形態に係るブレンド領域を生成する処理の一例を示すフローチャートである。 実施形態に係るブレンド領域を生成する処理について説明する図である。 実施形態に係るブレンド領域を生成する処理について説明する図である。 実施形態に係るブレンド領域を生成する処理について説明する図である。 実施形態に係るブレンド領域を生成する処理について説明する図である。 実施形態に係るブレンド領域を生成する処理について説明する図である。 オブジェクト、及びブレンド領域の表示例について説明する図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜システム構成＞
まず、本実施形態に係る表示システム１のシステム構成について、図１Ａを用いて説明する。図１Ａは、実施形態に係る表示システム１のシステム構成の一例を示す図である。

図１Ａに示すように、実施形態に係る表示システム１は、車両、船舶、航空機、パーソナルモビリティー（Personal Mobility）及び産業用ロボット等の移動体に搭載される。表示システム１は、表示装置１０、及びカメラ２０を有する。なお、以下では、表示システム１を車両に搭載した例について説明するが、表示システム１は、車両以外の移動体においても適用可能である。なお、車両には、例えば、自動車、原動機付き自転車、軽車両、及び鉄道車両等が含まれる。

表示装置１０は、例えば、ＨＵＤ、ヘッドマウントディスプレイ（Head Mounted Display）等の表示装置である。以下では、表示装置１０が、虚像を表示するＨＵＤである場合を例として説明する。表示装置１０は、例えば、車両３０１のダッシュボード内に設置される。表示装置１０から発せられる画像光である投射光Ｌが光の透過反射部材としてのフロントガラス３０２で反射され、視認者である搭乗者３００に向かう。ここで、透過反射部材は、例えば、光の一部を透過するとともに、光の一部を反射する部材である。これにより、フロントガラス３０２に画像が投影され、搭乗者３００は、ナビゲーション用の図形、文字、アイコン等のオブジェクト（コンテンツ）を、車両３０１の外部の環境に重ねて視認することができる。なお、フロントガラス３０２の内壁面等に透過反射部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるように構成してもよい。図１Ｂは、実施形態に係る表示装置１０により画像が投影される範囲の一例を示す図である。表示装置１０は、図１Ｂに示すように、例えば、フロントガラス３０２における投影範囲３０３に画像を投影する。

カメラ２０は、車両３０１の前方等の画像を撮影するカメラである。カメラ２０は、例えば、フロントガラス３０２の上部に設けられてもよい。また、カメラ２０は、自動運転のために前方の車両と車両３０１との車間距離を測定するためのカメラでもよい。

＜ハードウェア構成＞
次に、本実施形態に係る表示装置１０のハードウェア構成について、図２を用いて説明する。図２は、実施形態に係る表示装置１０のハードウェア構成の一例を示す図である。

表示装置１０は、ＦＰＧＡ２５１、ＣＰＵ（Central Processing Unit）２５２、ＲＯＭ２５３、ＲＡＭ２５４、インターフェース（以下、Ｉ／Ｆという）２５５、バスライン２５６、ＬＤドライバ２５７、ＭＥＭＳコントローラ２５８、及び補助記憶装置２５９を備えている。ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂを動作制御し、ＭＥＭＳコントローラ２５８により、光走査装置のＭＥＭＳ２０８ａを動作制御する。ＣＰＵ２５２は、表示装置１０の各機能を制御する。ＲＯＭ２５３は、ＣＰＵ２５２が表示装置１０の各機能を制御するために実行するプログラム（画像処理プログラム）等の各種プログラムを記憶している。

ＲＡＭ２５４は、プログラムの起動指示があった場合に、ＲＯＭ２５３または補助記憶装置２５９からプログラムを読み出して格納する。ＣＰＵ２５２は、ＲＡＭ２５４に格納されたプログラムに従って表示装置１０に係る機能を実現する。

Ｉ／Ｆ２５５は、外部コントローラ等と通信するためのインターフェースであり、例えば、車両３０１のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、車両ナビゲーション装置、各種センサ装置等に接続される。また、Ｉ／Ｆ２５５には、画像をフロントガラス３０２越しに撮影するカメラ２０が接続される。

表示装置１０は、Ｉ／Ｆ２５５を介して記録媒体２５５ａの読み取りや書き込みを行うことができる。表示装置１０での処理を実現する画像処理プログラムは、記録媒体２５５ａによって提供されてもよい。この場合、画像処理プログラムは、記録媒体２５５ａからＩ／Ｆ２５５を介して補助記憶装置２５９にインストールされる。但し、画像処理プログラムのインストールは必ずしも記録媒体２５５ａより行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置２５９は、インストールされた画像処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

なお、記録媒体２５５ａの一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤディスク、ＳＤメモリカード、又はＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置２５９の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体２５５ａ及び補助記憶装置２５９のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。なお、図２において、ＣＰＵ２５２、ＲＯＭ２５３、ＲＡＭ２５４、Ｉ／Ｆ２５５、バスライン２５６、及び補助記憶装置２５９を含む部分を、画像処理装置または情報処理装置（コンピュータ）と称することもできる。

＜機能構成＞
次に、図３を参照し、実施形態に係る表示装置１０の機能構成について説明する。図３は、実施形態に係る表示装置１０の機能ブロックの一例を示す図である。

表示装置１０は、取得部１１、制御部１２、生成部１３、及び表示部１４を有する。これら各部は、表示装置１０にインストールされた１以上のプログラムが、表示装置１０のＣＰＵ２５２に実行させる処理により実現される。

取得部１１は、カメラ２０により撮影された車両３０１の前方等の画像を取得する。

制御部１２は、車両３０１の現在位置から、予め設定されている目的地までの経路を案内する。制御部１２は、例えば、右折、左折、及び直進等の、当該経路の進行方向を示すオブジェクトを決定し、当該オブジェクトを、当該アブジェクトが道路上に置かれているような態様で表示部１４に表示させる。また、制御部１２は、車両３０１の車速（速度）を示す数字等を車両３０１の前方の背景上に表示する。ここで、表示装置１０は、例えば、車両３０１のＥＣＵ（Electronic Control Unit）等から、車両３０１の車速の情報を取得してもよい。

生成部１３は、制御部１２により表示させるオブジェクトが決定されると、当該オブジェクトの周囲の領域に表示させるための画像を、取得部１１により取得された画像に応じて生成（決定）する。

表示部１４は、制御部１２により決定されたオブジェクトと、生成部１３により生成された当該オブジェクトの周囲の領域の画像とを表示させる。

＜処理＞
次に、図４を参照し、実施形態に係る表示装置１０の処理について説明する。図４は、実施形態に係る表示装置１０の処理の一例を示すフローチャートである。なお、図４の処理は、例えば、カメラ２０により撮影された動画に含まれる各フレームに対して実行されてもよい。

ステップＳ１において、取得部１１は、カメラ２０により撮像された車両３０１の前方等の画像（フレーム）を取得する。続いて、制御部１２は、表示対象のオブジェクトを判定する。ここで、制御部１２は、例えば、車両３０１の現在位置から、予め設定されている目的地までの経路を案内するためのオブジェクトを判定する（ステップＳ２）。

続いて、生成部１３は、取得した画像と、当該オブジェクトとに基づいて、当該オブジェクトの周囲において、カメラ２０の画像に応じた画像を表示する領域であるブレンド領域の画像を生成する（ステップＳ３）。続いて、表示部１４は、当該オブジェクト、および当該ブレンド領域を表示し（ステップＳ４）、処理を終了する。

≪表示用オブジェクトの生成処理≫
次に、図５乃至図６Ｅを参照し、生成部１３による図４のステップＳ３のブレンド領域の画像を生成する処理の一例について説明する。図５は、実施形態に係るブレンド領域の画像を生成する処理の一例を示すフローチャートである。図６Ａ乃至図６Ｅは、実施形態に係るブレンド領域を生成する処理について説明する図である。

ステップＳ１０１において、生成部１３は、表示対象のオブジェクトの周囲の領域であって、当該オブジェクトを拡大した形状のブレンド領域を算出する。ここで、生成部１３は、図６Ａの例では、当該オブジェクトの領域６０１の周囲に、当該オブジェクトの領域６０１を拡大した形状のブレンド領域６０２を算出している。

続いて、生成部１３は、算出したブレンド領域の角を滑らかに変形する（ステップＳ１０２）。ここで、生成部１３は、図６Ａの例では、ブレンド領域６０２の各頂点の部分の輪郭を円弧に置換することにより、各頂点の部分である角を丸く変形したブレンド領域６０３を算出している。なお、生成部１３は、他の公知の手法により、当該角を滑らかにしてもよい。

続いて、生成部１３は、ブレンド領域の、車両３０１の前方の方向の長さを変更する（ステップＳ１０３）。生成部１３は、図６Ｂの例では、ブレンド領域６０３の上下方向（縦方向、車両３０１の前方方向）の長さを長く変更したブレンド領域６０４を算出している。ここで、生成部１３は、車両３０１の車速が速い程、当該長さを長くしてもよい。これは、車両３０１の車速が速い程、当該オブジェクトが搭乗者に対してより目立ち易くなると考えられるためである。

また、生成部１３は、カメラ２０の画像を認識し、車両３０１が走行している道路が、道路の模様が比較的目立ち易い砂利道等の場合は、車両３０１の車速が速い程、当該長さを短くしてもよい。カメラ２０の画像に基づいて当該オブジェクトの周囲の画像を生成するための遅延により、車両３０１の車速が速い程、搭乗者に対する実際の道路の模様の移動速度と、当該オブジェクトの周辺に表示する当該画像における道路の模様の移動速度との差は大きくなる。そのため、車両３０１の車速が速い程、当該オブジェクトの周囲の画像が搭乗者に対してより目立ち易くなると考えられるためである。

また、生成部１３は、車両３０１から当該オブジェクトを重畳して表示させる実際の道路等の位置までの距離が遠い程、当該長さを長くしてもよい。これにより、当該距離が遠い程、車両３０１の前方の方向についての、前記所定のオブジェクトの周囲の領域の長さ（Ｌ１）と当該オブジェクトの長さ（Ｌ２）との比の値（Ｌ１／Ｌ２）が大きくなるように変更される。これは、後述するステップＳ１０５の処理により当該オブジェクト及びブレンド領域の表面を背景の物体上に載置した場合に、当該距離が遠い程、搭乗者から見えるブレンド領域の表面の面積が小さくなるためである。

続いて、生成部１３は、ブレンド領域の周辺部の画素をぼやかすように設定する（ステップＳ１０４）。ここで、生成部１３は、例えば、ブレンド領域において、当該オブジェクトからの距離が遠い程、画素の密度をより少なく設定してもよい。また、生成部１３は、例えば、ブレンド領域において、当該オブジェクトからの距離が遠い程、ＨＵＤで表示する画素の輝度をより低くすることにより、ブレンド領域の透明度がより高くなるように設定してもよい。生成部１３は、図６Ｃの例では、図６Ｂのブレンド領域６０４において、当該オブジェクトの領域６０１に含まれる最も近い座標からの距離が遠い程、画素の密度及び画素の輝度をより低下させている。

続いて、生成部１３は、当該オブジェクトとブレンド領域との表面が、車両３０１の搭乗者から見て、当該オブジェクトが表示される位置の背景の物体上に載置されているように見えるよう、当該オブジェクトとブレンド領域とを変形する（ステップＳ１０５）。

図６Ｄには、車両３０１の側面の方向から見た場合の、搭乗者３００の目６１０、フロントガラス３０２、表示装置１０による虚像が表示される領域６１２（図１Ｂの投影範囲３０３）、及び領域６１２が背景の物体上に重畳する領域６１２Ａ等の位置が図示されている。また、図６Ｄには、領域６１２における当該オブジェクトの領域６０１が変形された領域６１１、領域６１２におけるブレンド領域６０４が変形されたブレンド領域６１３が図示されている。また、図６Ｄには、当該オブジェクトの領域６１１及びブレンド領域６１３が背景の道路等の物体上にそれぞれ重畳する領域である領域６１１Ａ、及び領域６１３Ａが図示されている。図６Ｄの例では、搭乗者３００の目６１０から当該オブジェクトの領域６１１及びブレンド領域６１３までの距離は４ｍ程度である。また、搭乗者３００の目６１０から道路上等の領域６１１Ａ及び領域６１３Ａまでの距離は２０ｍ程度である。

生成部１３は、ステップＳ１０５の処理において、図６Ｃの領域６０１を含むブレンド領域６０４を、図６Ｄのように、背景の道路等の上に寝かされている形状に変形する。ここで、生成部１３は、図６Ｄの道路上等の領域６１３Ａを鉛直方向で真上から見た場合、領域６０１及びブレンド領域６０４が図６Ｃの形状で表示されるものとして、道路上等の領域６１３Ａを搭乗者３００の目６１０の位置から見た場合の領域６１３Ａの形状を算出する。

そして、生成部１３は、図６Ｃの領域６０１、及びブレンド領域６０４を、図６Ｅの領域６１１、及びブレンド領域６１３のようにそれぞれ変形する。生成部１３は、図６Ｃの領域６０１、及びブレンド領域６０４を、上下方向の高さを縮小し、車両３０１の進行方向である上方向に行く程、横方向の幅をより縮小した形状に変形することにより、図６Ｅの領域６１１、及びブレンド領域６１３をそれぞれ算出している。

なお、生成部１３は、例えば、搭乗者３００の目６１０の車両３０１の道路からの高さ等の位置を予め設定されている位置とし、車両３０１の前方の道路を平坦として、搭乗者３００の目６１０の位置から見た場合の道路上等の領域６１３Ａの形状を幾何学的に算出してもよい。なお、生成部１３は、搭乗者３００の目６１０の位置等を、車内カメラの画像に基づいて認識してもよい。また、生成部１３は、車両３０１の前方の道路の高さを、ステレオカメラ等の画像に基づいて認識するようしてもよい。

続いて、生成部１３は、カメラ２０の画像に基づいて生成された画像を、変形したブレンド領域に合成し（ステップＳ１０６）、処理を終了する。ここで、生成部１３は、図６Ｄに示すように、道路上等の領域６１３Ａ内の画像を、カメラ２０の画像から抽出し、図６Ｅのブレンド領域６１３内に合成してもよい。なお、カメラ２０が取り付けられている位置は、予め表示装置１０に設定されているものとする。なお、生成部１３は、カメラ２０の位置と搭乗者３００の目６１０の位置が所定の閾値以上離れている場合等は、カメラ２０で撮影された道路上等の領域６１３Ａ内の画像を、搭乗者３００の目６１０の位置から見た領域６１３Ａの画像となるように幾何学的に変形した後、図６Ｅのブレンド領域６１３内に合成してもよい。また、生成部１３は、カメラ２０の画像から抽出した、道路上等の領域６１３Ａ内の画像の輝度等の平均値の画素の画像を図６Ｅのブレンド領域６１３内に合成してもよい。また、生成部１３は、車両３０１から見て道路上等の領域６１３Ａの所定距離だけ前方の領域の画像を図６Ｅのブレンド領域６１３内に合成してもよい。この場合、生成部１３は、当該所定距離は、カメラ２０で画像撮影されてからブレンド領域に表示されるまでの間の遅延時間、及び車両３０１の車速に応じて設定してもよい。

図７は、オブジェクト、及びブレンド領域の表示例について説明する図である。図７の例では、表示装置１０による虚像が表示される領域６１２において、上述した図３のステップＳ４の表示部１４による処理により、図６Ｅのオブジェクトの領域６１１、及びブレンド領域６１３を、車両３０１の前方に表示されている。これにより、経路案内用の図形等のオブジェクトと、当該オブジェクトの背景との境界が搭乗者に認識されにくくなり、違和感を低減することができる。

＜実施形態のまとめ＞
ＨＵＤ等により表示されるオブジェクトは、光源からの光で表示されるため光源色であり、当該オブジェクトの背景は太陽光等の反射による物体色である。また、搭乗者の目から当該オブジェクトの虚像または実像までの距離と、搭乗者の目から当該オブジェクトの背景の現実の物体までの距離とは異なる。そのため、当該オブジェクトの表示位置を、背景の現実の物体の位置に幾何的に合わせても、当該オブジェクトが、その背景の現実の環境に存在するように知覚されにくい場合がある。

上述した実施形態によれば、所定のオブジェクトを、移動体の外部の環境に重ねて表示する表示装置が、所定のオブジェクトの周囲に、移動体の外部の画像に応じて生成した画像を表示させる。これにより、現実の環境に付加して表示するオブジェクトの違和感を低減させることができる。

＜その他＞
なお、表示装置１０の各機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、表示装置１０の各機能部のうち少なくとも１つの機能部を、他の機能部を有する装置とは別体の装置として構成してもよい。この場合、例えば、制御部１２を、車載型または携帯型のナビゲーション装置、あるいはクラウド上のサーバ装置が有する構成としてもよい。すなわち、表示装置１０には、複数の装置により構成される形態も含まれる。なお、生成部１３は、「決定部」の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 表示システム
１０ 表示装置
１１ 取得部
１２ 制御部
１３ 生成部
１４ 表示部
２０ カメラ
３０１ 車両
３０２ フロントガラス

特開２０１７－１４２４９１号公報

Claims (9)

1. 所定のオブジェクトを、移動体の外部の環境に重なる位置に表示させる表示装置であって、
   前記移動体の外部の画像を取得する取得部と、
   前記所定のオブジェクトの周囲の領域の画像を、前記取得部により取得された画像に応じて決定する決定部と、
   前記所定のオブジェクトと、前記決定部により決定された、前記所定のオブジェクトの周囲の領域の画像とを表示する表示部と、を有し、
   前記所定のオブジェクトの周囲の領域の画像は、前記取得部により取得された画像と、前記所定のオブジェクトと、に基づく画像を含み、
   前記決定部は、前記所定のオブジェクトの周囲の領域の画像の形状を、前記所定のオブジェクトを拡大した形状とする、表示装置。
2. 前記決定部は、前記所定のオブジェクトの周囲の領域の画像の形状を、前記所定のオブジェクトを拡大するとともに角を滑らかにした形状とする、
   請求項１に記載の表示装置。
3. 前記決定部は、前記所定のオブジェクトの周囲の領域の画像を、前記所定のオブジェクトからの距離に応じて、画素の輝度、及び画素の密度の少なくとも一つが異なるように決定する、
   請求項１または２に記載の表示装置。
4. 前記決定部は、前記所定のオブジェクトの周囲の領域の画像を、当該領域の表面が前記所定のオブジェクトの背景の物体に載置された形状とする、
   請求項１乃至３のいずれか一項に記載の表示装置。
5. 前記決定部は、前記移動体の速度に応じて、前記所定のオブジェクトの周囲の領域の、前記移動体の前方方向の長さを変更する、
   請求項１乃至４のいずれか一項に記載の表示装置。
6. 前記決定部は、前記移動体から前記所定のオブジェクトの背景の物体までの距離に応じて、前記移動体の前方方向の、前記所定のオブジェクトの長さと、前記所定のオブジェクトの周囲の領域の長さの比を変更する、
   請求項１乃至５のいずれか一項に記載の表示装置。
7. 移動体であって、
   前記移動体の外部を撮影するカメラと、透過反射部材と、所定のオブジェクトを前記移動体の外部の環境に重なる位置に表示させる表示装置とを有し、
   前記表示装置は、
   前記カメラの画像を取得する取得部と、
   前記所定のオブジェクトの周囲の領域の画像を、前記取得部により取得された画像に応じて決定する決定部と、
   前記所定のオブジェクトと、前記決定部により決定された、前記所定のオブジェクトの周囲の領域の画像とを前記透過反射部材により表示する表示部と、を有し、
   前記所定のオブジェクトの周囲の領域の画像は、前記取得部により取得された画像と、前記所定のオブジェクトと、に基づく画像を含む、移動体。
8. 所定のオブジェクトを、移動体の外部の環境に重なる位置に表示させる表示装置が、
   前記移動体の外部の画像を取得する処理と、
   前記所定のオブジェクトの周囲の領域の画像を、前記取得する処理により取得された画像に応じて決定する処理と、
   前記所定のオブジェクトと、前記決定する処理により決定された、前記所定のオブジェクトの周囲の領域の画像とを表示する処理と、
   を実行し、
   前記所定のオブジェクトの周囲の領域の画像は、前記取得する処理により取得された画像と、前記所定のオブジェクトと、に基づく画像を含み、
   前記決定する処理は、前記所定のオブジェクトの周囲の領域の画像の形状を、前記所定のオブジェクトを拡大した形状とする、表示方法。
9. コンピュータに、
   移動体の外部の画像を取得する処理と、
   所定のオブジェクトの周囲の領域の画像を、前記取得する処理により取得された画像に応じて決定する処理と、
   前記所定のオブジェクトと、前記決定する処理により決定された、前記所定のオブジェクトの周囲の領域の画像とを、前記移動体の外部の環境に重なる位置に表示させる処理と、を実行させ、
   前記所定のオブジェクトの周囲の領域の画像は、前記取得する処理により取得された画像と、前記所定のオブジェクトと、に基づく画像を含み、
   前記決定する処理は、前記所定のオブジェクトの周囲の領域の画像の形状を、前記所定のオブジェクトを拡大した形状とする、プログラム。

Images