JPWO2019092846A1 - 表示システム、表示方法、およびプログラム - Google Patents

Abstract

表示システムにおいて、画像を表示する表示部（４００）と、所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように前記表示部を制御する表示制御部（１２０）であって、前記車両の走行状態に基づいて、前記所定の表示範囲を変更する表示制御部と、を備える。

Description

本発明は、表示システム、表示方法、およびプログラムに関する。

従来、自車両に設置された撮像手段で撮像された画像を、他車両との関係において変更される仮想視点から見た画像に変換して表示部に表示させる技術が知られている（特許文献１参照）。

特開２０１７−６９８５２号公報

しかしながら、自車両の周辺において確認したい状況は、自車両の状態によって異なる。従って、仮想視点を他車両との関係において変更した場合、自車両の状態に基づいた車両周辺の適切な表示ができない場合があった。

本発明は、このような事情を考慮してなされたものであり、車両の状態に基づいて、適切な車両周辺の画像を表示することができる表示システム、表示方法、およびプログラムを提供することを目的の一つとする。

（１）：画像を表示する表示部と、所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように前記表示部を制御する表示制御部であって、前記車両の走行状態に基づいて、前記所定の表示範囲を変更する表示制御部と、を備える表示システムである。

（２）：（１）において、前記表示制御部は、前記車両の速度が所定速度以上である場合に、前記車両の速度が所定速度未満である場合に比して、前記所定の表示範囲を大きくするものである。

（３）：（２）において、前記表示制御部は、前記車両の速度が所定速度未満である場合に、前記所定の表示範囲を前記車両の速度に依らずに固定するものである。

（４）：（１）〜（３）において、前記車両の周辺に存在する物体を認識する物体認識部を更に備え、前記表示制御部は、前記物体認識部により認識された物体に関する画像を前記所定の表示範囲上に表示するものである。

（５）：（１）〜（４）において、互いに異なる複数の度合で車両の運転支援を実行する運転制御部を更に備え、前記表示制御部は、前記車両が走行する道路の環境と、前記運転制御部により制御される運転支援の度合に基づいて、前記仮想視点の視点位置、前記仮想視点からの画角、または前記仮想視点からの撮像方向を決定し、決定した前記視点位置、前記画角、または前記撮像方向に基づいて前記所定の表示範囲を変更するものである。

（６）：（１）〜（５）において、前記表示制御部は、前記車両の走行状態に基づいて、前記所定の表示範囲に表示する前記車両が走行する道路の形状および前記道路を区画する区画線を変更するものである。

（７）：（１）〜（６）において、前記表示制御部は、前記所定の表示範囲に、前記車両の後方領域と前方領域とを表示するとともに、前記車両の走行状態に基づいて、前記所定の表示範囲のうち、前方領域に関する表示範囲を変更するものである。

（８）：（１）〜（７）において、前記表示制御部は、前記車両の走行状態に基づいて、前記所定の表示範囲の上端の位置を変更するものである。

（９）：コンピュータが、所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように表示部を制御し、前記車両の走行状態に基づいて、前記所定の表示範囲を変更する、表示方法である。

（１０）：コンピュータに、所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように表示部を制御させ、前記車両の走行状態に基づいて、前記所定の表示範囲を変更させる、プログラムである。

（１）〜（１０）によれば、車両の状態に基づいて、適切な車両周辺の画像を表示することができる。

実施形態の表示システムを含む車両システム１の構成図である。 表示制御部１２０の機能構成図である。 仮想視点パラメータを固定にした場合において、周辺画像を異なる表示範囲で表示装置に表示させた画像ＩＭ１〜ＩＭ３の一例を示す図である。 仮想視点パラメータを固定にした場合の周辺画像範囲について説明するための図である。 運転支援の度合に基づいて周辺画像範囲が変化することについて説明するための図である。 運転支援の度合における周辺画像範囲について説明するための図である。 実施形態の表示システムにより実行される処理の流れの一例を示すフローチャートである。 実施形態の表示制御部１２０のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の表示システム、表示方法、およびプログラムの実施形態について説明する。なお、実施形態では、車両が自動運転（自律運転）を行うにあたり、表示システムが車両の周辺を認識した結果を表示させる場合を一例として示す。自動運転とは、乗員による操作に依らず操舵制御または速度制御のうち一方または双方を制御して車両を走行させることをいい、運転支援の一種である。また、実施形態において、運転支援には、例えば、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）等の運転支援装置が作動することで運転支援を実行する第１の度合と、第１の度合よりも制御度合が高く、乗員が車両の運転操作子に対する操作を行わずに、車両の加減速または操舵のうち少なくとも一方を自動的に制御して自動運転を実行するが、乗員に、ある程度の周辺監視義務を課す第２の度合と、第２の度合よりも制御度合が高く、乗員に周辺監視義務を課さない（或いは第２の度合よりも低い周辺監視義務を課す）第３の度合とがあるものとする。本実施形態において、第２の度合および第３の度合の運転支援が、自動運転に相当するものとする。また、実施形態における「乗員」とは、例えば、運転席すなわち運転操作子が設けられた座席に着座した乗員であるものとする。

［全体構成］
図１は、実施形態の表示システムを含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

図１において、車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、車両センサ７０と、運転操作子８０と、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００と、表示装置（表示部の一例）４００と、走行駆動力出力装置５００と、ブレーキ装置５１０と、ステアリング装置５２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す車両システム１の構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、表示装置４００と表示制御部１２０とを合わせたものが「表示システム」の一例である。また、物体認識装置１６と外界認識部３２１とを合わせたものが、「物体認識部」の一例である。また、運転支援制御部２００と自動運転制御ユニット３００とを合わせたものが、「運転制御部」の一例である。

カメラ１０は、自車両Ｍの周辺を撮像し、撮像画像を生成する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に取り付けられる。自車両の周辺とは、自車両の前方を含み、自車両の側方又は後方を含んでいてもよい。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラー等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺の所定の照射方向に対してミリ波等の電波を放射するとともに、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。物体とは、例えば、自車両周辺の他車両、障害物、構造物等である。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、自車両Ｍの周辺の所定の照射方向に対して照射された照射光に対する散乱光を測定し、物体までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、自車両の周辺に存在する物体の位置、種類、速度等を認識する。物体が他車両である場合、物体認識装置１６は、認識結果を運転支援制御部２００および自動運転制御ユニット３００に出力する。

通信装置２０は、例えば、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。通信装置２０は、自車両Ｍの周辺に存在する他車両と通信することによって、他車両の車種、他車両の走行状態（車速、加速度、走行車線）等を取得してもよい。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ（Human Machine Interface）５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、後述する表示装置４００と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（例えば、目的地まで走行するときの経由地に関する情報を含む）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を、第２地図情報６２を参照してブロックごとに推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報、車線の境界の情報、道路情報、交通規制情報、住所情報、施設情報、電話番号情報等を有している。また、第２地図情報６２は、車線変更が可能な区間や追い越しが可能な区間に関する情報が含まれていてもよい。

車両センサ７０は、例えば、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含み、自車両の走行状態を検出する。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール等を含む。

［マスター制御部］
マスター制御部１００は、例えば、切替制御部１１０と、表示制御部１２０とを備える。切替制御部１１０は、表示装置４００に含まれる所定のスイッチ（例えば、メインスイッチおよびオートスイッチ）から入力される操作信号に基づいて、運転支援のオンオフ、または運転支援の度合を切り替える。また、切替制御部１１０は、アクセルペダルやブレーキペダル、ステアリングホイール等の運転操作子８０に対する加速、減速または操舵を指示する操作に基づいて、運転支援をキャンセルして手動運転に切り替えてもよい。

表示制御部１２０は、表示装置４００に画像を表示させる。表示制御部１２０の機能の詳細については後述する。

［運転支援制御部］
運転支援制御部２００は、例えば、第１の度合や、その他の運転支援制御を実行する。例えば、運転支援制御部２００は、ＡＣＣを実行する際には、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置５００およびブレーキ装置５１０を制御する。すなわち、運転支援制御部２００は、前走車両との車間距離に基づく加減速制御（速度制御）を行う。また、運転支援制御部２００は、ＬＫＡＳを実行する際には、自車両Ｍが、現在走行中の走行車線を維持（レーンキープ）しながら走行するようにステアリング装置５２０を制御する。すなわち、運転支援制御部２００は、車線維持のための操舵制御を行う。

［自動運転制御ユニット］
自動運転制御ユニット３００は、例えば、第２の度合および第３の度合の運転支援を実行する。自動運転制御ユニット３００は、例えば、第１制御部３２０と、第２制御部３４０とを備える。第１制御部３２０は、例えば、外界認識部３２１と、自車位置認識部３２２と、行動計画生成部３２３とを備える。外界認識部３２１は、自車両Ｍの周辺状況を認識する。例えば、外界認識部３２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、周辺車両（他車両の一例）の位置、速度、加速度、走行車線等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、外界認識部３２１は、周辺車両に加えて、路上の障害物、ガードレールや電柱、駐車車両、歩行者等の人物、その他の物体の位置を認識してもよい。

自車位置認識部３２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部３２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。自車位置認識部３２２は、走行車線に対する自車両Ｍの位置や姿勢を認識してもよい。

行動計画生成部３２３は、自車両Ｍが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部３２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、低速（例えば４０［ｋｍ／ｈ］以下）を条件に、前走車両に追従する低速追従イベント、自車両Ｍの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で自車両Ｍを目的の方向に走行させる分岐イベント、自車両Ｍを緊急停車させる緊急停車イベント等がある。また、これらのイベントの実行中に、自車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄等）に基づいて、回避のための行動が計画される場合もある。

第２制御部３４０は、例えば、走行制御部３４２を備える。走行制御部３４２は、行動計画生成部３２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０を制御する。

表示装置４００は、例えば、運転席正面に設けられる。また、表示装置４００は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等の各種表示装置である。表示装置４００は、後述する表示制御部１２０により出力された画像を表示する。また、表示装置４００は、スピードメーターやタコメーター等の計器類を表示するインストルメントパネルとして機能し、計器類を表示する領域以外の領域において、後述する周辺画像を表示してもよい。

走行駆動力出力装置５００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置５００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ブレーキ装置５１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置５２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。ステアリングＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［表示制御部］
次に、実施形態の表示制御部１２０の構成例について説明する。図２は、表示制御部１２０の機能構成図である。表示制御部１２０は、例えば、画像取得部１２１と、認識結果取得部１２２と、走行状態取得部１２３と、表示範囲決定部１２４と、画像変換部１２５と、表示画像生成部１２６とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

画像取得部１２１は、カメラ１０により撮像された自車両Ｍの周辺の撮像画像を取得する。

認識結果取得部１２２は、自動運転制御ユニット３００において認識された、自車両Ｍの周辺に存在する他車両等の物体の位置、速度、加速度、走行車線、距離等の認識結果を取得する。また、認識結果取得部１２２は、自動運転制御ユニット３００により認識された、道路形状や道路区画線等の情報を取得してもよい。

走行状態取得部１２３は、例えば、車両センサ７０により検出された自車両Ｍの走行状態を取得する。

表示範囲決定部１２４は、自車両Ｍの周辺状況を示す周辺画像（仮想画像）を表示装置４００の表示面に表示させる場合に、走行状態取得部１２３により取得された走行状態に基づいて、表示面における周辺画像の表示範囲を決定する。走行状態とは、例えば、自車両Ｍの速度、加速度、ジャーク（躍度）、鉛直軸回りの角速度（ヨーレート）等のうち一部または全部を含む。また、走行状態には、自車両Ｍの走行環境や、自車両Ｍの運転支援の度合が含まれてもよい。また、走行状態は、自車両Ｍの現在の走行状態であるが、これに代えて（または加えて）、自車両Ｍの将来の走行状態であってもよい。将来の走行状態とは、例えば、現在の走行状態や周辺状況等から予測される自車両Ｍの所定時間後（数秒後または数分後）の走行状態である。表示範囲決定部１２４の機能の詳細については後述する。

画像変換部１２５は、画像取得部１２１により取得された撮像画像を仮想画像に変換する。画像変換部１２５は、例えば、実視点から撮像された撮像画像の元データを、予め決められた変換テーブルを用いて、仮想視点からみたデータに変換する。変換テーブルは、元データの各画素の座標と、変換後の仮想画像の各画素の座標とをマッピングしたテーブルである。代替的には、仮想画像への変換処理を演算式に従って行ってもよい。

また、画像変換部１２５は、カメラ１０の撮像画像に含まれる自車両Ｍ、他車両、道路、障害物等の画像の大きさ、形状、および表示範囲における表示位置等を、表示範囲決定部１２４により決定された周辺画像の表示範囲に基づいて変更してもよい。

表示画像生成部１２６は、画像変換部１２５により変換された画像に基づいて、表示装置４００の表示面に表示させる表示画像を生成する。以下、表示画像生成部１２６における表示画像の生成処理の一例について説明する。

まず、表示画像生成部１２６は、画像変換部１２５により変換された撮像画像に含まれる物体を認識する。物体とは、例えば、自車両、他車両、道路上の標示（区画線を含む）、障害物、構造物等である。物体を認識するとは、例えば、他車両の車種、区画線の種類、路面に描かれた記号の種類、障害物の種類、構造物の種類等を認識することである。物体の認識は、例えばディープラーニング等の機械学習手法によって行うことができる。表示画像生成部１２６は、撮像画像に複数の物体が含まれるときには、それぞれの物体を認識する。

また、表示画像生成部１２６は、認識結果取得部１２２により取得した自動運転制御ユニット３００における認識結果を撮像画像に基づく認識結果に追加する。この場合、表示画像生成部１２６は、撮像画像の認識結果と自動運転制御ユニット３００における認識結果とが相違する場合には、情報の信頼度に基づいて物体を取捨選択し、選択結果を学習させてもよい。

次に、表示画像生成部１２６は、認識した物体の位置に基づいて、アニメーション画像を生成する。より具体的には、表示画像生成部１２６は、認識した物体、物体の位置、およびナビゲーション装置５０から取得した自車両Ｍが走行中の道路に関する情報（道路の形状や車線の数）等に基づいて、アニメーション画像を生成してもよい。アニメーション画像とは、撮像画像に含まれる、自車両Ｍ、他車両、道路上のペイント、構造物等の物体や、ナビゲーション装置５０から取得した道路に関する情報等を、アイコン、文字、サンプル画像、車両、道路等の外形を示す多角形等で表した画像等である。アニメーション画像には、他車両までの距離、他車両の速度等の表示を含んでいてもよい。また、アニメーション画像は、動画であってもよいし、所定間隔で更新される静止画であってもよい。表示画像生成部１２６は、アニメーション画像に付随させて、自車両Ｍまたは他車両の速度や加速度、旋回角等の情報を計算して表示させてもよい。

また、表示画像生成部１２６は、同一方向に進行可能な複数の車線を区画する区画線である場合に、一方の車線から他の車線への車線変更が可能であるか否かを乗員が視認できるように、異なる区画線のアニメーション画像を生成してもよい。また、表示画像生成部１２６は、追い越し車線であるか否かを乗員が視認できるように、異なるアニメーション画像を生成してもよい。表示画像生成部１２６は、車線変更の可否および追い越しの可否に関する情報を第２地図情報６２から取得する。

表示画像生成部１２６は、物体の絶対座標を基準として、画角、視点、撮像方向等のパラメータを加味して想定される範囲のアニメーション画像を生成する。アニメーション画像における物体の位置は、絶対座標に基づいて計算されたものである。その結果、表示範囲決定部１２４により周辺画像の表示範囲が変更された前後においても、アニメーション画像の元となった絶対的な位置関係は変化しない。これによって、表示画像生成部１２６は、物体同士の相対的な位置関係が表示範囲の変更の前後において変化しないように表示画像を生成することができる。

上述したように表示画像が生成されることにより、自車両Ｍの走行状態に基づいて、周辺画像の表示範囲が変更された場合であっても、自車両Ｍと物体認識装置１６により認識された物体との位置関係が表示範囲に追随して変更される。その結果、乗員は、上記の相対的な位置関係をより確実に認識することができる。

［表示範囲決定部］
次に、表示範囲決定部１２４による機能の詳細について説明する。例えば、表示範囲決定部１２４は、自車両Ｍの走行状態に基づいて、仮想視点の視点位置、仮想視点からの画角、および仮想視点からの撮像方向（注視方向）等の仮想視点パラメータを決定し、その後、周辺画像の表示範囲を決定する。この場合、表示範囲決定部１２４は、仮想視点パラメータを固定とし、自車両Ｍの走行状態に基づいて、周辺画像の表示範囲のみ可変にしてもよい。また、表示範囲決定部１２４は、自車両Ｍの将来の走行状態（例えば、将来の加減速情報や移動方向等）に基づいて、表示範囲を可変にしてもよい。

表示範囲決定部１２４は、例えば、視点位置決定部１２４Ａと、画角決定部１２４Ｂと、撮像方向決定部１２４Ｃとを備える。視点位置決定部１２４Ａは、仮想視点の視点位置を決定する。仮想視点とは、例えば、実際のカメラ１０の撮像位置を実視点とした場合の仮想的なカメラ（仮想カメラ）の撮像位置である。カメラ１０で撮像された撮像画像に対して所定の補正処理（画像変換）を行うことにより、実視点から撮像された撮像画像を、仮想視点から撮像されたような仮想画像に変換することができる。例えば、視点位置決定部１２４Ａは、仮想視点の視点位置を、自車両Ｍを上方から俯瞰する位置に決定する。また、視点位置決定部１２４Ａは、仮想視点の視点位置を、自車両Ｍを後方から見る位置に決定してもよい。

画角決定部１２４Ｂは、仮想視点からの画角を決定する。例えば、画角を広げる画像補正が行われた仮想画像は、元画像に比して広くなる。一方、画角を狭める画像補正が行われた仮想画像は、元画像に比して狭くなる。

撮像方向決定部１２４Ｃは、仮想カメラの撮像方向（注視方向、光軸方向）を決定する。仮想カメラの撮像方向は、仮想視点から立体角として表すことができる。撮像方向は、水平方向の方位角と高さ方向の俯角（又は仰角）において表すことができる。

以下に、仮想視点パラメータを固定にした場合と、可変にした場合とにおいて、表示範囲決定部１２４が表示範囲を決定する例について説明する。

［仮想視点パラメータを固定にした場合］
図３は、仮想視点パラメータを固定にした場合において、周辺画像を異なる表示範囲で表示装置に表示させた画像ＩＭ１〜ＩＭ３の一例を示す図である。図３では、自車両Ｍの速度の上昇に応じて周辺画像の表示範囲がＡ１→Ａ２に変化する様子を示している。また、図３の例では、自車両Ｍが同一方向に進行可能な二車線Ｌ１およびＬ２のうち、車線Ｌ１を走行しているものとする。ＬＬ、ＣＬ、およびＲＬは、それぞれの車線Ｌ１およびＬ２を区画する区間線のアニメーション画像である。また、ＢＰは、自車両Ｍの基準表示位置を示している。

表示範囲決定部１２４は、自車両Ｍの速度に基づいて、周辺画像の全範囲（以下、周辺画像範囲と称する）のうち、表示面に表示する周辺画像の表示範囲を変更する。図４は、仮想視点パラメータを固定にした場合の周辺画像範囲について説明するための図である。図４において、Ｐは仮想視点の視点位置、ｖは仮想カメラの撮像方向、ａは仮想カメラの画角を示す。なお、図４では、自車両Ｍの進行方向に対して側面から見た場合の平面的な概略を示している。実際は、視点位置Ｐは自車両Ｍに対して３次元の座標を有し、更に撮像方向ｖは３次元におけるベクトルを有している。視点位置Ｐ、撮像方向ｖ、画角ａが固定である場合、周辺画像全範囲は、Ｒで表される。周辺画像範囲Ｒは、平面の領域である。また、以下では、周辺画像範囲Ｒの全体に対応する表示範囲は、図３に示すＡ２であるものとする。

例えば、表示範囲決定部１２４は、自車両Ｍの速度が第１の所定速度未満である場合に、周辺画像範囲Ｒのうち、表示面に表示する周辺画像の表示範囲を、図３のＡ１に決定する。第１の所定速度は、例えば、４０［ｋｐｈ］程度である。表示画像生成部１２６は、表示範囲Ａ１の周辺画像を含む画像ＩＭ１を生成し、生成した画像ＩＭ１を表示装置４００の表示面に表示させる。なお、図３の上図には、表示範囲Ａ１に含まれる自車両Ｍおよび他車両Ｎ１のアニメーション画像が、表示範囲Ａ１に重畳されている。

また、表示範囲決定部１２４は、自車両Ｍの速度が第１の所定速度未満の場合に、表示範囲Ａ１より小さくならないように、自車両Ｍの速度に依らずに固定してもよい。これにより、表示範囲が小さすぎて、乗員が周辺画像から自車両Ｍの周辺の様子を把握できなくなることを抑制することができる。

また、表示範囲決定部１２４は、自車両Ｍの速度が第１の所定速度以上である場合に、自車両Ｍの速度が所定速度未満である場合に比して、周辺画像の表示範囲を大きくする。表示範囲を大きくするとは、図３の中図に示すように、表示範囲Ａ１の上端の位置を変更して、表示範囲全体を上側に広げることである。この場合、表示範囲決定部１２４は、自車両Ｍの速度が第１の所定速度以上になった時点から、第１の所定速度よりも大きい第２の所定速度になるまでの速度の変化に応じて、線形または非線形に表示範囲を大きくしてもよい。第２の所定速度は、例えば、９０［ｋｐｈ］程度である。

表示画像生成部１２６は、自車両Ｍの速度が第１の所定速度以上であって、且つ第２の所定速度未満である場合に、図３の中図に示すように、画像ＩＭ２を表示装置４００の表示面に表示させる。画像ＩＭ２は、画像ＩＭ１に比して、自車両Ｍの前方方向の表示範囲が広くなり、結果として、区画線ＬＬ、ＣＬ、ＲＬが、表示範囲Ａ１で表示された位置から自車両Ｍの遠方方向に延伸している。これにより、自車両Ｍの速度に応じた道路形状を表示することができ、乗員への周辺監視に必要な情報を表示させることができる。

また、表示画像生成部１２６は、自車両Ｍの速度が第２の所定速度以上である場合に、図３の下図に示すような画像ＩＭ３を表示装置４００の表示面に表示させる。なお、図３の下図には、自車両Ｍ、他車両Ｎ１に加えて、他車両Ｎ２の画像が、表示範囲Ａ２に重畳されている。

また、図３の下図には、車線Ｌ１とＬ２との間で車線変更が可能であることを示す点線の区画線ＣＬの画像と、車線変更が不可能を示す実線の区画線ＣＬ２の画像とが表示されている。このように、自車両Ｍの走行する道路の車線変更が可能であるか否かに基づいて、異なる区画線を表示することで、乗員に車線変更が可能であるか否かを容易に把握させることができる。

一方、自車両Ｍの速度が第２の所定速度以上の状態から次第に低下する場合、表示範囲決定部１２４は、表示範囲をＡ２→Ａ１のように変更する。

また、表示範囲決定部１２４は、図４に示すように、周辺画像範囲Ｒを、自車両Ｍの後端部から所定の距離（Ｒｂ）内の領域（後方領域）を含むように決定してもよい。これにより、表示制御部１２０は、自車両Ｍの前方の遠方側を広く表示する場合であっても自車両Ｍの後方領域が見えなくなることを防止して自車両Ｍの後方の状況を常に把握できるようにすることができる。

また、表示範囲決定部１２４は、表示範囲をＡ１からＡ２に変更させる場合に、端部からの距離Ｒｂを揃えてもよい。これにより、表示範囲が大きくなるように変更された場合に、自車両Ｍの前方領域の表示範囲のみが大きくなる。その結果、画像ＩＭ１〜画像３に示すように、自車両Ｍの基準表示位置ＢＰを略一定にすることができ、乗員は、自車両Ｍと他車両等の相対的な位置関係を容易に把握することができる。

また、表示制御部１２０は、画像ＩＭ１〜ＩＭ３に、例えばスピードメーターやタコメーター等の計器類のアニメーション画像や、自車両Ｍに対する運転支援の度合を示す情報を表示させてもよい。

このように、表示制御部１２０は、自車両Ｍの走行状態によって、表示装置４００に自車両Ｍの近傍から遠方までの周辺画像を適切に表示させることができる。また、高速走行時における乗員の注視点は、低速走行時に比して遠方であるため、表示制御部１２０は、乗員の注視点に適した表示を行うことができる。

［仮想視点パラメータを可変にした場合］
次に、仮想視点パラメータを可変にした場合について説明する。表示範囲決定部１２４は、例えば、自車両Ｍの走行環境や自車両Ｍの運転支援の度合が変化したときに、仮想視点パラメータを可変にする。走行環境とは、例えば、道路種別（例えば、高速道路、一般道路）、道路の勾配、道路形状等である。仮想視点パラメータを可変にするとは、仮想視点の視点位置Ｐ、仮想視点Ｐからの撮像方向ｖ、および仮想視点からの画角ａのうち、少なくとも一つを可変にすることである。仮想視点パラメータを可変にすることで、速度に応じて表示範囲を変更する元となる周辺画像範囲が変化することになる。

図５は、運転支援の度合に基づいて周辺画像範囲が変化することについて説明するための図である。図５において、Ｐ１〜Ｐ３は仮想視点の視点位置、ｖ１〜Ｖ３は仮想カメラの撮像方向を示す。視点位置Ｐ１〜Ｐ３に対応する周辺画像範囲はＲ１〜Ｒ３で表される。図５の例では、視点位置Ｐ１〜Ｐ３における画角ａは固定であるものとするが、運転支援の度合に基づいて可変にしてもよい。

表示範囲決定部１２４は、例えば、自車両Ｍの運転支援の度合が第１の度合→第２の度合→第３の度合に変化するとき、視点位置をＰ１→Ｐ２→Ｐ３に変更するとともに、撮像方向をｖ１→ｖ２→ｖ３に変更させせる。その結果、周辺画像範囲は、Ｒ１→Ｒ２→Ｒ３のように、自車両Ｍから前方のより遠方までの風景を含むように変更される。一方、運転支援の度合が、第３の度合→第２の度合→第１の度合のように変化する場合、周辺画像範囲は、Ｒ３→Ｒ２→Ｒ１のように変更される。これにより、周辺画像範囲における自車両Ｍの前方側の端は、運転支援の度合が低くなるほど自車両Ｍに近くなり、運転支援の度合が高い場合に比して狭くなる。また、運転支援の度合が高くなるほど自車両Ｍから前方のより遠方までの風景を含むように変更される。これにより、乗員に対して運転支援に対する余裕を持たせることができる。

図６は、運転支援の度合における周辺画像範囲について説明するための図である。図６の例において、運転支援の度合が、第１の度合および第２の度合における周辺画像範囲を示している。第１の度合における周辺画像範囲Ｒ１は、図６の左図に示すように、仮想視点からの俯角（水平方向に対する角度）が大きいため、運転支援の度合が低い場合に自車両Ｍの周辺を詳細に表示させることができる。また、第２の度合における周辺画像範囲Ｒ２は、図６の右図に示すように、仮想視点からの俯角が小さいため、自動運転中において自車両Ｍの前方をより遠方まで表示させることができる。また、表示範囲決定部１２４は、運転支援の度合によって得られた周辺画像範囲を用いて、自車両Ｍの速度に基づいて表示範囲をＡ１からＡ２の範囲で変更する。なお、図６の例では、周辺画像範囲Ｒ１の場合と、周辺画像範囲Ｒ２の場合とで視点位置が異なるため、周辺画像範囲内に存在する車両（自車両Ｍおよび他車両）の見え方も異なっている。表示画像生成部１２６は、図６に示すように、視点位置等の仮想視点パラメータに応じて見え方の異なる車両の画像を生成し、生成した画像を表示範囲内に表示させる。

このように、運転支援の度合により仮想視点パラメータを可変にして周辺画像範囲を決定し、決定した周辺画像範囲に対して自車両Ｍの速度に基づく表示範囲を決定することで、より適切な周辺画像を表示させることができる。

［処理フロー］
図７は、実施形態の表示システムにより実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定周期で繰り返し実行される。図７の例において、画像取得部１２１は、カメラ１０により撮像された自車両周辺の撮像画像を取得する（ステップＳ１００）。次に、認識結果取得部１２２は、自動運転制御ユニット３００において認識された、自車両周辺の物体の認識結果を取得する（ステップＳ１０２）。

次に、走行状態取得部１２３は、自車両Ｍの走行状態を取得する（ステップＳ１０４）。次に、表示範囲決定部１２４は、自車両Ｍの走行状態に基づいて、周辺画像の表示範囲を決定する（ステップＳ１０６）。

次に、画像変換部１２５は、画像取得部１２１により取得された撮像画像を周辺画像に変換する（ステップＳ１０８）。次に、表示画像生成部１２６は、表示範囲決定部１２４により決定された周辺画像の表示範囲に基づいて、ステップＳ１０８の処理で変換した周辺画像の表示範囲における表示画像を生成し（ステップＳ１１０）、生成した表示画像を表示装置４００の表示面に表示させる（ステップＳ１１２）。これにより、本フローチャートの処理は、終了する。

以上説明した実施形態によれば、表示システムにおいて、画像を表示する表示装置４００と、所定の仮想視点から見た自車両Ｍの周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように表示装置４００を制御する表示制御部１２０であって、自車両Ｍの走行状態に基づいて、所定の表示範囲を変更する表示制御部１２０と、を備えることにより、自車両Ｍの状態に応じた車両周辺の適切な表示をすることができる。

［ハードウェア構成］
上述した実施形態の表示システムの表示制御部１２０は、例えば、図８に示すようなハードウェアの構成により実現される。図８は、実施形態の表示制御部１２０のハードウェア構成の一例を示す図である。

表示制御部１２０は、通信コントローラ１２０−１、ＣＰＵ１２０−２、ＲＡＭ１２０−３、ＲＯＭ１２０−４、フラッシュメモリやＨＤＤ等の二次記憶装置１２０−５、およびドライブ装置１２０−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１２０−６には、光ディスク等の可搬型記憶媒体が装着される。二次記憶装置１２０−５に格納されたプログラム１２０−５ａがＤＭＡコントローラ（不図示）等によってＲＡＭ１２０−３に展開され、ＣＰＵ１２０−２によって実行されることで、表示制御部１２０の機能部が実現される。また、ＣＰＵ１２０−２が参照するプログラムは、ドライブ装置１２０−６に装着された可搬型記憶媒体に格納されていてもよいし、ネットワークＮＷを介して他の装置からダウンロードされてもよい。

上記実施形態は、以下のように表現することができる。
記憶装置と前記記憶装置に格納されたプログラムを実行するハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
所定の仮想視点から見た自車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように表示部を制御し、
前記自車両の走行状態に基づいて、前記所定の表示範囲を変更する、
ように構成されている表示システム。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、５０…ナビゲーション装置、６０…ＭＰＵ、７０…車両センサ、８０…運転操作子、１００…マスター制御部、１１０…切替制御部、１２０…表示制御部、１２１…画像取得部、１２２…認識結果取得部、１２３…走行状態取得部、１２４表示範囲決定部、１２４Ａ…視点位置決定部、１２４Ｂ…画角決定部、１２４Ｃ…撮像方向決定部、１２５…画像変換部、１２６…表示画像生成部、２００…運転支援制御部、３００…自動運転制御ユニット、３２０…第１制御部、３４０…第２制御部、４００…表示装置、５００…走行駆動力出力装置、５１０…ブレーキ装置、５２０…ステアリング装置、Ｍ…自車両

Claims (10)

1. 画像を表示する表示部と、
   所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように前記表示部を制御する表示制御部であって、前記車両の走行状態に基づいて、前記所定の表示範囲を変更する表示制御部と、
   を備える表示システム。
2. 前記表示制御部は、前記車両の速度が所定速度以上である場合に、前記車両の速度が所定速度未満である場合に比して、前記所定の表示範囲を大きくする、
   請求項１に記載の表示システム。
3. 前記表示制御部は、前記車両の速度が所定速度未満である場合に、前記所定の表示範囲を前記車両の速度に依らずに固定する、
   請求項２に記載の表示システム。
4. 前記車両の周辺に存在する物体を認識する物体認識部を更に備え、
   前記表示制御部は、前記物体認識部により認識された物体に関する画像を前記所定の表示範囲上に表示する、
   請求項１から３のうち何れか１項に記載の表示システム。
5. 互いに異なる複数の度合で車両の運転支援を実行する運転制御部を更に備え、
   前記表示制御部は、前記車両が走行する道路の環境と、前記運転制御部により制御される運転支援の度合に基づいて、前記仮想視点の視点位置、前記仮想視点からの画角、または前記仮想視点からの撮像方向を決定し、決定した前記視点位置、前記画角、または前記撮像方向に基づいて前記所定の表示範囲を変更する、
   請求項１から４のうち何れか１項に記載の表示システム。
6. 前記表示制御部は、前記車両の走行状態に基づいて、前記所定の表示範囲に表示する前記車両が走行する道路の形状および前記道路を区画する区画線を変更する、
   請求項１から５のうち何れか１項に記載の表示システム。
7. 前記表示制御部は、前記所定の表示範囲に、前記車両の後方領域と前方領域とを表示するとともに、前記車両の走行状態に基づいて、前記所定の表示範囲のうち、前方領域に関する表示範囲を変更する、
   請求項１から６のうち、何れか１項に記載の表示システム。
8. 前記表示制御部は、
   前記車両の走行状態に基づいて、前記所定の表示範囲の上端の位置を変更する、
   請求項１から７のうち、何れか１項に記載の表示システム。
9. コンピュータが、
   所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように表示部を制御し、
   前記車両の走行状態に基づいて、前記所定の表示範囲を変更する、
   表示方法。
10. コンピュータに、
    所定の仮想視点から見た車両の周辺状況を示す周辺画像を、表示面における所定の表示範囲に表示するように表示部を制御させ、
    前記車両の走行状態に基づいて、前記所定の表示範囲を変更させる、
    プログラム。

Images