JP7346859B2

JP7346859B2 - 制御装置、表示装置、移動体、制御方法、及びプログラム

Info

Publication number: JP7346859B2
Application number: JP2019050441A
Authority: JP
Inventors: 紘史山口; 賢一郎齊所; 真人草▲なぎ▼; 友規鈴木; 敬太片桐
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-03-29
Filing date: 2019-03-18
Publication date: 2023-09-20
Anticipated expiration: 2039-03-18
Also published as: JP2019174459A

Description

本発明は、制御装置、表示装置、移動体、制御方法、及びプログラムに関する。

車両、船舶、航空機、産業用ロボット等の移動体に搭載されるヘッドアップディスプレイ（ＨＵＤ：Head-Up Display）の開発が進められている。ＨＵＤは、人間の視野に直接情報を映し出すものであり、画像搭乗者に種々の情報を提供する。ＨＵＤでは、生成された光像をフロントガラスやコンバイナ等によって搭乗者の方向に回折させ、搭乗者の視線の前方の虚像位置に画像が存在するかのように表示する。画像は、虚像位置で前方の走行路に重畳されて表示される。

前方の走行路に重畳される画像として、自車両の予定経路を示す経路画像を形成して、走行路に重畳表示する車両用表示制御装置と方法が提案されている（たとえば、特許文献１参照）。

前方の走行路に、自車両の予定経路を重畳表示することによって、搭乗者は自動走行時に自車両の走行経路を予測することができ、ある程度の安心感を得ることができる。しかし、なぜそのような経路をとるのかについては何の情報も示されていない。予定経路の根拠となる情報がわかれば、自動走行時に搭乗者はより安心感を得られるはずである。

本発明は、車両等の移動体の搭乗者の安心感を高めることのできる情報を重畳表示する技術を提供することを目的とする。

本発明の一態様では、移動体の周囲の環境に重畳表示される画像の画像データを生成する制御装置は、
前記移動体の予定経路の決定に関わる物体の情報に基づき、当該予定経路の決定に関わる移動体外の物体を示す第１の画像を含む画像データを生成する画像データ生成部、
を備える。

上記の構成により、自動走行時等に移動体の搭乗者の安心感を高めることができる。

表示装置を搭載した移動体の一例として、ＨＵＤを搭載した自動車を示す模式図である。投射エリアの配置例を示す図である。実施形態の表示装置のハードウェア構成図である。表示装置と、移動体に搭載されるその他の電子機器との接続関係を示す模式図である。実施形態の画像制御部の機能ブロック図である。予定経路の案内マークの一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。予定経路の案内マークとともに重畳される補助画像の一例を示す図である。実施形態の制御方法のフローチャートである。

図１Ａは、表示装置１を搭載した移動体の一例として、自動車３００を模式的に示す。表示装置１は、この例では車載ヘッドアップディスプレイ（以下、「ＨＵＤ」と省略する）であるが、これに限定されない。表示装置１が搭載される移動体は、自動車３００に限定されず、車両、船舶、航空機、産業用ロボット等の移動体に表示装置１を搭載することができる。自動車３００はたとえば、アダプティブクルーズコントロール（ＡＣＣ：半自動走行）が可能な車両であり、ＡＣＣモードが選択されているときは、前方車両との間の距離を一定に保つようにアクセルとブレーキが自動制御される。

表示装置１は、例えば自動車３００のダッシュボード上、またはダッシュボード内に設置され、搭乗者Ｐの前方のフロントガラス３１０の所定の投射エリア３１１に、光像を投射する。

表示装置１は、光学装置１０と制御装置２０を有する。制御装置２０は主として、フロントガラス３１０に投射する画像の生成と表示の制御を行う。光学装置１０は、生成された画像をフロントガラス３１０の投射エリア３１１に投射する。光学装置１０の構成は、本発明と直接関連しないので詳細な構成は図示しないが、たとえば、後述するようにレーザ光源と、レーザ光源から出力されるレーザ光をスクリーンに二次元走査する光走査デバイスと、スクリーンに形成された中間像についての画像光をフロントガラス３１０の投射エリア３１１に投射する投射光学系（例えば凹面ミラー等）で構成されてもよい。画像光を投射エリア３１１に投射することで、運転者に虚像を視認させる。なお、レーザ光源やスクリーン、光走査デバイスに代えて、光源としてはＬＥＤ等が、画像形成部としては液晶素子やＤＭＤ素子等が、それぞれ用いられ得る。

フロントガラス３１０の投射エリア３１１は、光の一部の成分を反射し、他の一部を透過させる透過反射部材で形成されている。光学装置１０によって描画された光像は、投射エリア３１１で反射されて、搭乗者Ｐの方向に向かう。反射光が破線で示す光路で搭乗者Ｐの瞳に入射したときに、搭乗者Ｐはフロントガラス３１０の投射エリア３１１に投影された画像を視認する。このとき、搭乗者Ｐは、光像があたかも虚像位置Ｉからの点線の光路を通って瞳に入射しているかのように感じる。表示された画像は、虚像位置Ｉに存在するかのように認識される。

虚像位置Ｉにおける虚像は、自動車３００の前方の現実環境、たとえば走行路上に重畳されて表示される。この意味で、形成される画像をＡＲ（Augmented Reality：拡張現実）画像と呼んでもよい。

図１Ｂは、投射エリア３１１の配置例を示す図である。投射エリア３１１は、たとえば運転席から見てフロントガラス３１０の正面位置よりもやや下方に配置される比較的小さな領域である。搭乗者Ｐの視点と虚像位置Ｉを結ぶ線分は、投射エリア３１１の範囲内に含まれる。

自動車３００には、自動車３００の周囲環境の情報を取得する検知装置５が搭載されている。検知装置５は、たとえば自動車３００の前方、側方等の外部環境における物体を検知し、必要に応じて検知対象の画像を取り込む。検知装置５は、ＡＣＣモードと連動して自動車３００と前方の車両との間の車間距離を測定してもよい。検知装置５は、外部情報取得用のセンサの一例であり、カメラ、超音波レーダ、レーザレーダ、これらの組み合わせ等を含む。

検知装置５で取得された画像から、自動車３００の走行に危険を与える可能性のある対象物、たとえば他の車両、人工構造物、人間、動物、交通標識等の情報が抽出されて、実施形態の予定経路の判断材料に用いられてもよい。

図２は、実施形態の表示装置１のハードウェア構成例である。表示装置１の光学装置１０は、光源としてのレーザダイオード（ＬＤ）１０１と、光走査デバイスとしてのＭＥＭＳ（Micro Electro Mechanical System）１０２を有する。ＬＤ１０１は、たとえば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を出力するレーザ素子を含む。ＭＥＭＳ１０２は、ＬＤ１０１から出力されるレーザ光を、スクリーン上に二次元走査して光画像（中間像）を描画する。光走査デバイスとしては、ＭＥＭＳの他にポリゴンミラー、カルバノミラー等を用いてもよい。スクリーンに形成された中間像が投射エリア３１１に入射して、搭乗者の方向に反射される。スクリーンは、マイクロレンズアレイ、マイクロミラーアレイ等で構成することができる。

制御装置２０は、ＦＰＧＡ（Field-Programmable Gate Array）２０１、ＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４、インターフェース（以下、「Ｉ／Ｆ」という）２０５、バスライン２０６、ＬＤドライバ２０７、ＭＥＭＳコントローラ２０８、及び補助記憶装置としてのＳＳＤ（Solid State Drive）２０９を備えている。また、着脱可能に配置される記録媒体２１１を有していてもよい。

ＦＰＧＡ２０１は、ＬＤドライバ２０７とＭＥＭＳコントローラ２０８の動作を制御する。ＬＤドライバ２０７は、ＦＰＧＡ２０１の制御の下で、ＬＤ１０１を駆動するドライブ信号を生成し、出力する。ドライブ信号によって、Ｒ，Ｇ，Ｂの光を出色する各レーザ素子の発光タイミングが制御される。ＭＥＭＳコントローラ２０８は、ＦＰＧＡ２０１の制御の下でＭＥＭＳ制御信号を生成して出力し、ＭＥＭＳ１０２の走査角度と走査タイミングを制御する。ＦＰＧＡ２０１に替えて、ＰＬＧ（Programmable Logic Device）等のその他のロジックデバイスを用いてもよい。

ＣＰＵ２０２は、表示装置１の画像データ処理の全般を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が表示装置１の各機能を制御するために実行するプログラムを含む各種のプログラムを記憶している。ＲＡＭ２０４は、ＣＰＵ２０２のワークエリアをして使用される。

Ｉ／Ｆ２０５は、外部コントローラ等と通信するためのインターフェースであり、例えば、自動車３００のＣＡＮ（Controller Area Network）を介して、検知装置５、車両ナビゲーション装置、各種センサ装置等に接続される。

表示装置１は、Ｉ／Ｆ２０５を介して記録媒体２１１の読み取りや書き込みを行うことができる。表示装置１での処理を実現する画像処理プログラムは、記録媒体２１１によって提供されてもよい。この場合、画像処理プログラムは、記録媒体２１１からＩ／Ｆ２０５を介してＳＳＤ２０９にインストールされる。画像処理プログラムのインストールは必ずしも記録媒体２１１よって行う必要はなく、ネットワークを介して他のコンピュータからダウンロードするようにしてもよい。ＳＳＤ２０９は、インストールされた画像処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

記録媒体２１１の一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤディスク、ＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置としてはＳＳＤ２０９に替えて、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等を用いてもよい。ＳＤＤ２０９等の補助記憶装置と、記録媒体２１１は、いずれもコンピュータ読み取り可能な記録媒体である。

図３は、実施形態の表示装置１と、自動車３００に搭載されるその他の電子機器との接続関係を示す模式図である。表示装置１は、光学部２３０と画像制御部２５０を有する。光学部２３０は、大まかには光学装置１０に対応するが、ＦＰＧＡ２０１、ＬＤドライバ２０７、及びＭＥＭＳコントローラ２０８を光学部２３０に含めてもよい。画像制御部２５０は、制御装置２０の少なくとも一部によって実現される。

画像制御部２５０は、Ｉ／Ｆ２０５及びＣＡＮを介して、ＥＣＵ（Electronic Control Unit：電子制御ユニット）６００、車両ナビゲーション装置４００、センサ群５００、検知装置５等の電子機器に接続されている。画像制御部２５０、車両ナビゲーション装置４００、センサ群５００、ＥＣＵ６００、及び検知装置５は、ＣＡＮ－ＢＵＳにより相互通信が可能であり、画像制御部２５０は相互接続されている装置の少なくとも一部から外部情報を取得する。画像制御部２５０は、自車両がとるべき予定経路を判断し、は予定経路を示すオブジェクトとともに、その判断根拠を示す補助画像を生成する。予定経路の判断自体は、後述するように、ＥＣＵ６００によって行われてもよい。画像制御部２５０はまた、ＥＣＵ６００とセンサ群５００から自動車３００の内部情報を取得して、予定経路をたどるときの自動車３００の走行動作を表わす補助画像を生成してもよい。補助画像の生成と表示については、図６以降を参照して後述する。

センサ群５００は、ハンドルの角度センサ、タイヤの角度センサ、加速度センサ、ジャイロセンサ、レーザレーダ装置、明るさセンサ等を含み、自動車３００の挙動、状態、周囲の状態、前方の走行車両との間の距離等を検知する。センサ群５００で得られた情報は画像制御部２５０に供給され、センサ情報の少なくとも一部が、予定経路の判断と、補助画像の生成に用いられる。

車両ナビゲーション装置４００は、道路地図、ＧＰＳ情報、交通規制情報、各道路の工事情報等を含むナビゲーション情報を有している。画像制御部２５０は、予定経路の判断に、車両ナビゲーション装置４００が有するナビゲーション情報の少なくとも一部を用いてもよい。

検知装置５は、単眼カメラ、ステレオカメラ、全方位カメラ等のカメラであってもよいし、ＬｉＤＡＲ（Light Detection and Ranging：光検出及び測距）によるリモートセンシングデバイスであってもよい。検知装置５は、走行路の状況、前方の車両、自転車、人間、標識等を検出する。検知装置５で取得された情報は、画像制御部２５０とＥＣＵ６００に供給され、検知情報の少なくとも一部が予定経路の判断に用いられる。

図４は、画像制御部２５０の機能ブロック図である。画像制御部２５０は、画像データ生成部８２０と、画像描画部８４０を有する。画像データ生成部８２０は、経路画像生成部８２１０と補助画像生成部８２２０を有する。画像データ生成部８２０は、情報入力部８００と、画像解析部８１０から入力される情報に基づいて、経路画像と補助画像を生成する。図４では、便宜上、経路画像生成部８２１０と補助画像生成部８２２０は別ブロックとして描かれているが、経路画像と補助画像は同じ機能によって同時に生成されてもよい。

情報入力部８００は、たとえばＥＣＵ６００で実現され、車両ナビゲーション装置４００、センサ群５００、及び検知装置５からの情報を入力する。情報入力部８００は、たとえば、センサ群５００からＣＡＮ等を介して自動車３００のハンドル角度、タイヤの向き現在の速度を含む内部情報を受け取る。また、検知装置５と車両ナビゲーション装置４００からそれぞれ検知情報とナビゲーション情報を受け取る。

画像解析部８１０は、障害物検出部８１１０を有し、検知情報から人物、物体、他の車両等、自車両の走行の障害になる障害物を抽出する。画像解析部８１０は、たとえばＥＣＵ６００によって実現され得る。

画像データ生成部８２０は、情報入力部８００で得られた情報と、画像解析部８１０の解析結果に基づいて、周囲環境（走行路面など）に重畳表示される予定経路と、必要に応じて補助画像を生成する。

画像描画部８４０は制御部８４１０を有し、画像データ生成部８２０によって生成された画像データに基いて、光学装置１０の動作を制御する。画像描画部８４０は、ＦＰＧＡ２０１、ＬＤドライバ２０７、及びＭＥＭＳコントローラ２０８によって実現され得る。

図４の機能構成は一例であって、情報入力部８００と画像解析部８１０がＥＣＵ６００で実現される場合、車両ナビゲーション装置４００、検知装置５、センサ群５００等からの情報に基づいて、ＥＣＵ６００が予定経路を生成してもよい。この場合、予定経路の生成にかかわった外部情報が画像データ生成部８２０の補助画像生成部８２２０に入力されてもよい。

また、情報入力部８００と画像解析部８１０を、画像制御部２５０に含めてもよい。この場合、画像制御部２５０は、車両ナビゲーション装置４００、検知装置５、センサ群５００等からの情報に基づいて障害物を検出し、予定経路と補助画像を生成してもよい。

以下で、予定経路と補助画像の具体例を説明する。以下の説明では、自動車３００がＡＣＣモードで走行していることを想定しているが、本発明の制御技術は、手動運転のときの表示制御にも適用可能である。

＜予定経路と補助画像の例＞
図５は、自動車３００の予定経路を示す案内マーク４１の一例である。図５は、２車線の道路で右車線を走行する自車両の前方に普通車３１が走行しており、左車線の前方にバス３２が走行している。表示装置１は、たとえば、車両ナビゲーション装置４００から取得する情報により、自車両が前方の信号で左折することを検知し、左車線に入る予定経路を示す案内マーク４１を生成し、表示する。表示装置１は、センサ群５００から取得する自車両の内部情報により、現在の車速と、位置を検出し、案内マーク４１を生成及び出力するタイミングを判断してもよい。

案内マーク４１は、一例として複数の円４１ａ～４１ｉで形成されており、円４１ａ～４１ｉは手前から遠近的に、左斜め上に向かって徐々に小さく、かつ間隔を狭めながら配置されている。このような案内マーク４１は、オブジェクトデータとしてあらかじめＲＯＭ２０３等に保存されていてもよい。案内マーク４１の光像は、実際は図１Ｂに示した所定の投射エリア３１１にレーザ光を２次元走査することで形成されており、搭乗者の視点からみたときに、案内マーク４１は前方の走行路３３に重畳されて表示される。

予定経路の案内マーク４１を表示することで、搭乗者は自車両の経路を予測することができるので、自動走行の際の安心感を高めることができる。実施形態では、案内マーク４１とともに、安心感をさらに高める補助画像を重畳する。

図６は、案内マーク４１とともに重畳表示される補助画像４２Ａの一例である。補助画像４２として、２本の線分で自車両のタイヤの軌跡４２１、４２２を表示する。搭乗者は案内マーク４１で予定経路を認識するとともに、自車両がどのように動くかを予測でき安心して自動走行機能を使うことができる。

図７は、予定経路を示す案内マーク４１とともに、ハンドルの動作を示す補助画像４２Ｂを表示する。補助画像４２Ｂは、ステアリングホイール４８と矢印４９で形成されている。ステアリングホイール４８の向きの矢印４９の方向で、ハンドルが左に切られる様子が示される。

画像制御部２５０は、予定経路を進行する場合にステアリングホイールがどれだけの角度で回転するかの演算情報を、ＡＣＣ機能と関連するＥＣＵ６００から取得してステアリングホイール４８の画像データを生成してもよい。あるいは、センサ群５００からハンドル角度情報を取得して、ほぼリアルタイムで、ステアリングホイール４８の画像データを生成して重畳表示してもよい。ステアリングホイール４８と矢印２９のオブジェクトをあらかじめＲＯＭ２０４等に格納しておき、演算結果に応じで画像データを調整する手法を用いてもよい。

一般的な仕様では、自動走行中にハンドルは自動的に動くが、案内マーク４１とともに走行路にハンドル操作の補助画像４２を重畳表示することで、搭乗者は進行経路と車両の挙動を同時に直感的に把握することができる。

図８は、予定経路を示す案内マーク４１とともに、タイヤの向きを示す補助画像４２Ｃを示す。補助画像４２Ｃは、一対のタイヤ５１Ｌ、５１Ｒと、各タイヤの角度を示す矢印５２Ｌ、５２Ｒで形成される。タイヤ５１Ｌ、５１Ｒと矢印５２Ｌ、５２Ｒで、自車両が左側に進行することを搭乗者は直感的に把握することができる。

画像制御部２５０は、予定経路を進行する場合にタイヤがどのくらいの角度が向きを変えるかの演算情報を、ＡＣＣ機能と関連するＥＣＵ６００から取得してタイヤ５１Ｒ、５１Ｌの画像データを生成してもよい。あるいは、センサ群５００からタイヤ角度情報を取得して、ほぼリアルタイムでタイヤ５１Ｒ，及び５１Ｌの画像データを生成して重畳表示してもよい。タイヤ５１Ｒ、及び５１Ｌと、矢印５２Ｒ、及び５２ＬのオブジェクトをあらかじめＲＯＭ２０４等に格納しておき、演算結果に応じで画像データを調整する手法を用いてもよい。

図９は、予定経路を示す案内マーク４１とともに、ブレーキペダルを示す補助画像４２Ｄを重畳表示する例を示す。現在の車線をそのまま走行する経路を示す案内マーク４１が重畳表示されている。前方で渋滞が検出され、右車線にも他の車両３８が検知されると、自動走行する自車両の速度は減速制御される。このとき、案内マーク４１とともに、ブレーキペダルの補助画像４２Ｄを重畳することで、搭乗者は自車両の挙動を容易に把握することができ、安心して自動走行を継続することができる。

図１０は、別のシチュエーションでの予定経路と補助画像の表示を示す。図６～図９では予定経路の決定の結果、自車両が行う動作を補助画像４２Ａ～４２Ｄで示した。図１０では、予定経路が選択される判断根拠を補助画像で示す。

自動車３００は、二車線の道路の左車線を走行しており、自車両の前方をバス３２が走っている。右車線の前方に普通車３１が走行している。自車両から見て左側の路肩を、人３４がジョギングしている。このとき、予定経路として、中央の白線３５寄りに走ることを示す案内マーク４１が生成され、走行路３３に重畳表示される。

案内マーク４１とともに、予定経路が決定された判断根拠を示す補助画像４３Ａが走行路３３に重畳表示される。補助画像４３Ａは、左側の路肩をランニングする人３４の存在を強調する画像であり、一例として、人３４を示す矢印４３ａと、人３４から一定範囲の領域を示す領域線４３ｂを含む。このような補助画像４３Ａは、搭乗者の注意を喚起するためにハイライト表示されてもよいし、案内マーク４１と異なる色で表示されてもよい。

また、案内マーク４１の少なくとも一部を強調的に表示してもよい。たとえば人３４を回避して白線３５の方へ寄る部分の案内マーク４１を強調マーク４１ｅで示してもよい。

補助画像４３Ａは、障害物等が存在するが予定経路が変更されなかった場合に、その根拠を示すために生成され、表示されてもよい。たとえば、自動車３００の走行位置が、人３４がランニングする路肩から十分に距離が保たれている場合は、案内マーク４１を生成せずに、補助画像４３Ａあるいは人３４を表わす画像を生成して、前方の路面に重畳表示してもよい。自動車３００の搭乗者は、路上に障害物等が存在するが、現状の走行位置を維持できることを認識し、安心感を持つことができる。

画像制御部２５０は、たとえば検知装置５から所定フレームごとに撮像情報を取得し、撮像情報を解析して、障害物を示す画像が含まれていないかどうかをモニタする。撮像情報に障害物を示す画像が含まれているときは、障害物の位置を特定し、自車両の位置、速度等からとるべき予定経路を決定する。図１０の例では、人３４の存在が検出され、左側の路肩を回避する予定経路を示す案内マーク４１が生成されるとともに、人３４の存在を示す補助画像４３Ａが生成される。

案内マーク４１と補助画像４３の光像は、図１Ｂで示した投射エリア３１１の範囲内に投影され、搭乗者の方向に反射される。搭乗者は、虚像位置Ｉに結像された案内マーク４１と補助画像４３Ａが、走行路３３に重畳されて表示されていることを視認する。予定経路をとることになる根拠が提示されるので、搭乗者は自車両の挙動を想定しやすくなり、自動走行中でも安心感を維持することができる。

図１１は、予定経路の判断根拠を示す補助画像の別の例を示す図である。図１１では、予定経路の重畳表示後に、障害物を検知したことによる経路変更の例を示す。自動車３００は走行路３３を走行中である。このとき、予定経路として直線状に配置される案内マーク４１が走行路３３に重畳表示されている。

走行中に、自車両から見て左側の路肩に停止する車両３６が検知されると、画像制御部２５０は予定経路を変更する画像データを生成し、出力する。当初は、クロスマーク４５で示される直線経路が提示されていたが、停止する車両３６を回避するために、右側に迂回する新たな予定経路を示す案内マーク４１newが生成される。

案内マーク４１newの更新とともに、経路変更の判断根拠を示す補助画像４３Ｂが生成され、走行路３３に重畳表示される。一例として、補助画像４３Ｂは、三角停止板４３ｃと停車中の車両３６から一定範囲の領域を示す領域線４３ｄを含む。このような補助画像４３Ｂは、搭乗者の注意を喚起するためにハイライト表示されてもよいし、案内マーク４１と異なる色で表示されてもよい。

画像制御部２５０は、たとえば検知装置５から所定フレームごとに検知情報または撮像情報を取得し、検知情報を解析して、障害物を示す画像が含まれていないかどうかをモニタする。検知情報に障害物を示す画像が含まれているときは、障害物の位置を特定し、自車両の位置、速度等からとるべき予定経路を決定する。図１０の例では、停車中の車両３６の存在が検出され、左側の路肩を回避する変更後の予定経路を示す案内マーク４１newが生成されるとともに、停車中の車両３６の存在を示す補助画像４３Ｂが生成される。

予定経路として、予定経路の更新後の案内マーク４１newとともに、変更前の直進経路をクロスマーク４５で重畳表示してもよい。搭乗者は変更前と変更後の経路の違いを直感的に把握することができ、自動走行中でも自車両の挙動を予測しやすくなる。

図１２は、さらに別のシチュエーションでの予定経路と補助画像の表示を示す。自動車３００は、二車線の道路の左車線を走行しており、右車線へ車線変更するところである。画像制御部２５０は、たとえば車両ナビゲーション装置４００から取得される情報と、自車両の車速及び位置に基づいて、所定のタイミングで右車線に車線変更する予定経路を示す案内マーク４１を生成し出力する。

このとき、右側車線を走る別の車両３７が検出されると、予定経路を示す案内マーク４１が現状で維持されたまま、右車線への車線変更の「待ち」を示す補助画像４７が重畳表示される。図１２の例では、補助画像４７は、「WAITING」の文字オブジェクト４７ａとハイライト４７ｂで形成されているが、この例に限定されず、たとえば手のひらの画像オブジェクトであってもよい。

自車両の周りの所定の範囲内で車両３７が検知されなくなりと、補助画像４７の重畳表示は終了し、車両は案内マーク４１にしたがって車線を変更する。

搭乗者は、自車両が右車線へ車線変更することをあらかじめ認識し、かつ右車線に別の車両３７が存在するため、直ちに車線変更することはできないことを直感的に把握することができる。自車両の挙動を容易に予測することができ、安心感をもって自動走行を継続することができる。

図１３は、画像制御部２５０で行われる表示制御のフローチャートである。

画像制御部２５０は、自車両の内部情報と外部情報を取得する（Ｓ１１）。内部情報は、センサ群５００、ＥＣＵ６００から取得される速度情報、ハンドル角度情報、タイヤ角情報、自車両で推定した位置情報などである。外部情報は、車両ナビゲーション装置４００、検知装置５、センサ群５００（レーザレーダ等）、ＧＰＳ等から取得される地図情報、撮像情報、周囲の環境情報、測距情報等である。

画像制御部２５０は、取得した情報に基づいて予定経路を生成する（Ｓ１２）。内部情報と外部情報は、常時、取得されており、画像制御部２５０は、予定経路上に障害物が検知されたかを判断する（Ｓ１３）。

障害物が検知された場合（Ｓ１３でＹＥＳ）、その障害物を回避するかしないかを判断する（Ｓ１４）。回避しない場合は（Ｓ１４でＮＯ）、回避しない障害物を示す補助画像を生成し（Ｓ２２）、生成された画像を出力する（Ｓ２３）。障害物を回避しない場合とは、たとえば、障害物と自車両の間に十分な間隔が保たれている場合、自車両の速度が安全性が確保される程度の低速である、等である。障害物を回避しないが、障害物の存在を示すことで、移動体の搭乗者は周囲環境の状況を把握して安心感を得ることができる。

検知された障害物を回避する場合は（Ｓ１４でＹＥＳ），回避経路があるか否かを判断する（Ｓ１５）。車線変更等により障害物を回避する経路があると判断される場合は（Ｓ１５でＹＥＳ）、予定経路を示す案内マーク４１の画像データに変更が加えられる（Ｓ１６）。たとえば、直進予定であった経路が、迂回または車線変更を表わす曲線状の経路に変更される。画像制御部２５０は、予定経路の変更とともに、経路変更の根拠を示す補助画像を生成する（Ｓ１７）。補助画像は、たとえば障害物の存在と、その周囲の一定範囲を示す強調画像であってもよい。変更された予定経路と補助画像のデータは出力され、重畳表示される（Ｓ２３）。

回避経路がない場合は（Ｓ１４でＮＯ）、画像制御部２５０は、生成した予定経路を維持して、減速動作、及び／又は「待ち」を示す補助画像を生成する（Ｓ２１）。予定経路と補助画像のデータは出力され、重畳表示される（Ｓ２３）。

ステップＳ１３で経路上に障害物が検知されない場合は、予定経路が直進のみか否かを判断する。直進以外の要素、たとえば、車線の変更、右左折等を含む場合、画像制御部２５０は自車両の挙動を示す補助画像を生成する（Ｓ１９）。補助画像は、ハンドル操作、タイヤの向き、軌跡等であってもよい。生成された予定経路と補助画像のデータは出力され、重畳表示される（Ｓ２３）。

生成された経路が直進のみの場合は、予定経路の画像データが出力され、重畳表示される（Ｓ２３）。ステップＳ１１～Ｓ２３は、表示制御が終了するまで繰り返し行われる（Ｓ２４でＮＯ）。車両の走行が終了したとき（エンジンが切られたとき）は、表示制御が終了し（Ｓ２４でＹＥＳ）、処置を終了する。

この制御をプログラムで実行する場合は、制御用のプログラムをＲＯＭ２０３またはＳＳＤ２０９に格納しておき、ＣＰＵ２０２でプログラムを読み出して実行してもよい。この場合、ＣＰＵ２０２は少なくとも、
(a) 自車（すなわち移動体）の予定経路の決定に関わる物体の情報に基づき、当該予定経路の決定に関わる移動体外の物体を示す画像のデータを生成する手順、
を実行する。

本発明は上述した実施形態に限定されない。たとえば、補助画像として予定経路の判断の根拠と、予定経路を進行するときの自車両の挙動の双方を組み合わせて重畳表示してもよい。図６～図９のように自車両のタイヤの軌跡、ステアリングホイールの動き等を補助画像として重畳表示するとともに、図１０～図１２のように路肩の歩行者、停車中の車両等の障害物をサークル等で囲んで示す強調的に示す補助画像を重畳表示してもよい。

移動体の周囲の環境に重畳表示される画像のデータを生成する制御装置は、
前記移動体の予定経路を示す経路画像と、前記予定経路を進むときの前記移動体の挙動を表わす補助画像と、を画像データとして生成する画像データ生成部、
を備える構成であってもよい。

予定経路の案内マーク４１とともに重畳表示する自車両の挙動は、タイヤ、ハンドル等の動作に限定されない。たとえば、ハンドル、タイヤ等に替えて、ウィンカーの点滅画像など、その他のパーツの動作を重畳表示してもよい。

光学装置１０として、レーザ走査方式に替えてパネル方式を採用してもよい。パネル方式として、液晶パネルＤＭＤ（Digital Mirror Device：デジタルミラーデバイス）パネル、ドット蛍光表示管（ＶＦＤ：Vacuum Fluorescent Display）等のイメージングデバイスを用いてもよい。

フロントガラス３１０の投射エリア３１１に、ハーフミラー、ホログラム等で形成されるコンバイナが設けられていてもよい。フロントガラス３１０の表面または層間に、光透過型または反射型の反射膜が蒸着されていてもよい。

表示装置１の各機能の少なくとも一部を、１以上のコンピュータで構成されるクラウドコンピューティングによって実現してもよい。

１表示装置
５検知装置
１０光学装置
２０制御装置
４１、４１new 案内マーク
４２Ａ～４２Ｃ、４３Ａ、４３Ｂ、４７補助画像
２５０画像制御部
３００自動車（移動体）
３１０フロントガラス
３１１投射エリア
４００車両ナビゲーション装置
５００センサ群
６００ＥＣＵ
８００情報入力部
８１０画像解析部
８１１０障害物検出部
８２０画像データ生成部
８４０画像描画部
８４１０制御部

特開２０１６－１４５７８３号

Claims

移動体の周囲の環境に重畳表示される画像の画像データを生成する制御装置であって、
前記移動体の予定経路の決定に関わる物体の情報に基づき、当該予定経路の決定に関わる移動体外の物体を示す第１の画像と、前記予定経路を示す第２の画像と、決定された前記予定経路をたどって自動走行するときの前記移動体の進行方向に応じたハンドルの動作、または前記予定経路をたどって自動走行するときの前記移動体の減速動作を示す第３の画像と、を含む画像データを生成する画像データ生成部、
を備え、
前記第３の画像は、前記第２の画像としての前記予定経路における、前記移動体の進行方向手前側に配置されることを特徴とする制御装置。
前記制御装置は、前記予定経路の決定に関わる物体の情報を取得し、
前記画像データ生成部は、前記予定経路の変更があった場合、前記第２の画像を変更する、請求項１に記載の制御装置。
前記予定経路の決定に関わる物体の情報は、前記移動体の進行方向に存在する障害物の情報である、請求項１または２に記載の制御装置。
前記制御装置は、前記障害物を回避するか否かの情報を取得し、
前記画像データ生成部は、前記第１の画像とともに、前記障害物を回避するために、前記予定経路を変更する場合は、前記ハンドルの動作を示す前記第３の画像を、前記予定経路の変更がない場合は、前記減速動作を示す前記第３の画像を生成する、請求項３に記載の制御装置。
請求項１乃至４のいずれか１項に記載の制御装置と、
前記制御装置が出力する画像を表示する光学部と、
を備える表示装置。
請求項１乃至４のいずれか１項に記載の制御装置を搭載した移動体。
移動体の周囲の環境に重畳表示される画像のデータを生成する制御方法であって、
前記移動体の予定経路の決定に関わる物体の情報に基づき、当該予定経路の決定に関わる移動体外の物体を示す第１の画像と、前記予定経路を示す第２の画像と、決定された前記予定経路をたどって自動走行するときの前記移動体の進行方向に応じたハンドルの動作、または前記予定経路をたどって自動走行するときの前記移動体の減速動作を示す第３の画像と、を含む画像データを生成し、
前記第３の画像を、前記第２の画像としての前記予定経路における、前記移動体の進行方向手前側に配置することを特徴とする制御方法。
移動体の周囲の環境に重畳表示される画像のデータを生成するプログラムであって、コンピュータに、
前記移動体の予定経路の決定に関わる物体の情報に基づき、当該予定経路の決定に関わる移動体外の物体を示す第１の画像と、前記予定経路を示す第２の画像と、決定された前記予定経路をたどって自動走行するときの前記移動体の進行方向に応じたハンドルの動作、または前記予定経路をたどって自動走行するときの前記移動体の減速動作を示す第３の画像と、を含む画像データを生成する手順、
を実行させ、
前記第３の画像を、前記第２の画像としての前記予定経路における、前記移動体の進行方向手前側に配置させることを特徴とするプログラム。