JP7333445B2 - 画像生成装置 - Google Patents

Description

特許法第３０条第２項適用 平成２９年１０月２５日東京国際展示場において開催された第４５回東京モーターショー２０１７で発表

本発明は、物体の外観画像を生成する生成部を備えた画像生成装置に関する。

従来、レーザレーダを用いて、車両の前方等の検出領域（すなわち、物体を検出するための対象となる領域）に存在する物体上の複数の点に対して３次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献１には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。

特開２０１７－１５１０４３号公報

上述したように、レーザレーダ（以下、ＬｉＤＡＲ（Light Detection And Ranging）とも称する）は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報（所謂点群情報）は、このような物体の認識以外に利用されてはいない。

一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。

本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、移動体が有する表示部に表示される画像を生成する生成部を備える画像生成装置であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部を備え、前記生成部は、前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体及び前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する、ことを特徴としている。

請求項８に記載の発明は、移動体が有する表示部に表示される画像を生成する画像生成装置で実行される画像生成方法であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体及び前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、を含むことを特徴としている。

請求項９に記載の発明は、請求項８に記載の画像生成方法を、コンピュータにより実行させることを特徴としている。

本発明の第１の実施例にかかる情報処理装置が搭載された車両及び路側機の概略構成図である。 図１に示された情報処理装置のブロック構成図ある。 図１に示された情報処理装置における三次元モデルの生成と表示の動作のフローチャートである。 本実施例における三次元モデル画像の表示の具体例の前提となる状況の説明図である。 図４の時刻ｔ１における三次元モデル画像の表示の具体例である。 図４の時刻ｔ２における三次元モデル画像の表示の具体例である。 図４の時刻ｔ３における三次元モデル画像の表示の具体例である。 本発明の第２の実施例にかかる情報処理装置における三次元モデルの生成と表示の動作のフローチャートである。 本実施例における三次元地図画像の表示の具体例の前提となる状況の説明図である。 図９のアングルＡ１における三次元地図画像の表示の具体例である。 図９のアングルＡ２における三次元地図画像の表示の具体例である。 図９のアングルＡ３における三次元地図画像の表示の具体例である。 サーバ装置を利用した場合の構成例である。

以下、本発明の一実施形態にかかる画像生成装置を説明する。本発明の一実施形態にかかる画像生成装置は、取得部が画像生成装置が配置された移動体の外部にある外部装置から、当該外部装置の周囲の物体を複数の点により表した点群情報を取得し、生成部が取得部によって取得された点群情報に基づいて外観画像を生成する。このようにすることにより、自身が取得した点群情報によらない、他の移動体等が取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、移動体の搭乗者からは本来見えない情報を含むものであり、あたかも外から移動体の方向を見ているような表示、演出が可能となる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、周囲の物体には、移動体を含み、生成部は、少なくとも移動体を示す移動体画像を含んだ外観画像を生成してもよい。このようにすることにより、移動体の搭乗者からは通常視認することができない、例えば、移動体が現在走行している状態を示す画像を外観画像として生成することができる。

また、外部装置は、移動体とは異なる他の移動体に搭載され、取得部は、他の移動体から点群情報を取得してもよい。このようにすることにより、移動体の周囲を走行している他の移動体が取得した点群情報に基づいて外観画像を生成することができる。

また、外部装置は、移動体の走行路に設置された路側機に搭載され、取得部は、路側機から点群情報を取得してもよい。このようにすることにより、他の移動体が少ない場合であっても、路側機が取得した点群情報に基づいて外観画像を生成することができる。

また、生成部は、生成対象とする物体の外観画像の生成の度合いが所定値以上となった場合は、点群情報の取得を停止してもよい。このようにすることにより、外観画像としてある程度完成した場合は、点群情報の取得を停止して外部機器との通信量及び自装置の処理負荷を削減することができる。

また、外観画像のアングルを調整操作可能な操作部を備え、表示部は、操作部によるアングル調整に応じて外観画像のアングルを変化させて表示するようにしてもよい。このようにすることにより、例えば移動体の外観画像を様々なアングルから視認するように表示をさせることが可能となる。したがって、搭乗者等の好みに合わせてアングルを変化させることができるので、飽きさせない表示をすることができる。

また、本発明の一実施形態にかかる画像生成方法は、取得工程で画像生成装置が配置された移動体の外部にある外部装置から、当該外部装置の周囲の物体を複数の点により表した点群情報を取得し、生成工程で取得部によって取得された点群情報に基づいて外観画像を生成する。このようにすることにより、自身が取得した点群情報によらない、他の移動体等が取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、移動体の搭乗者からは本来見えない情報を含むものであり、あたかも外から移動体の方向を見ているような表示、演出が可能となる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、上述した画像生成方法をコンピュータにより実行させる画像生成プログラムとしてもよい。このようにすることにより、コンピュータを利用して自身が取得した点群情報によらない、他の移動体等が取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、移動体の搭乗者からは本来見えない情報を含むものであり、あたかも外から移動体の方向を見ているような表示、演出が可能となる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

本発明の第１の実施例にかかる画像生成装置としての情報処理装置１を図１～図７を参照して説明する。情報処理装置１は、図１に示したように、移動体としての車両Ｃ（Ｃａ、Ｃｂ）に搭載されている。なお、本実施例において、車両Ｃは、常時自律的に走行可能な車両（自動運転車両）又は、自動運転と手動運転とを切り替え可能な車両として説明する。また、図１において、車両Ｃａは以後の説明では必要に応じて自車両（自車）として扱い、車両Ｃｂは他車両（他車）として扱う。

また、車両Ｃには、ライダ２が搭載されている。ライダ２は、当該ライダ２が搭載された周囲に存在する物体を認識するためのセンサであり、ＬｉＤＡＲ（Light Detection And Ranging）とも表記される。ライダ２は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ２で取得された点群は車両Ｃが移動する周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報（点群情報）となる。尚、ライダ２は、自車が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、自車の周辺に存在する歩行者や他車等を認識してもよい。

図１では主に車両Ｃの前方の物体を検出するライダ２ａ、主に車両Ｃの後方の物体を検出するライダ２ｂ、主に車両Ｃの左側方の物体を検出するライダ２ｃ、主に車両Ｃの右側方の物体を検出するライダ２ｄが記載されている。ライダ２の搭載位置や数は図１に限らず他の配置や数であってもよい。

また、本実施例では、ライダは車両Ｃ以外に路側機５としても設置されている。路側機５として設置されるのは、例えば信号機や高速道路等における合流地点や、各種道路標識や看板等が挙げられる。図１の場合、路側機５は、上下線それぞれに路側機５ａ、路側機５ｂとして設置されている。

図２に本実施例にかかる情報処理装置１の機能構成図を示す。情報処理装置１は、通信部１１と、処理部１２と、記憶部１３と、表示部１４と、操作部１５と、Ｉ／Ｆ１６と、を備えている。

通信部１１は、他車両である車両Ｃｂや路側機５から点群情報等を受信する。通信部１１は、例えば車車間通信や路車間通信により点群情報を受信することができる。或いは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）等の既存の無線通信により点群情報を受信してもよい。

処理部１２は、例えばＣＰＵ（Central Processing Unit）とメモリ等を有するマイクロコントローラ等により構成されている。処理部１２は、通信部１１が受信した点群情報と、ＧＰＳ受信機３で検出した車両Ｃａの現在位置と、記憶部１３に記憶されている地図情報と、に基づいて、受信した点群情報から自車である車両Ｃａにかかる部分を抜き出して、その抜き出した点群情報に基づいて車両Ｃａの外観画像としての三次元モデル画像を生成する。即ち、処理部１２は、物体の外観画像を生成する生成部として機能する。車両Ｃａの三次元モデル画像を生成についての詳細は後述する。

記憶部１３は、ハードディスクドライブやＳＳＤ（Solid State Drive）等により構成される大容量記憶装置である。記憶部１３は、車両Ｃが自律的に走行可能な程度の詳細な情報を含む地図データが記憶されている。そして、この地図データは、三次元の地図データであり、地図データに含まれる地物等には、絶対的な位置情報（緯度経度情報）が含まれている。

表示部１４は、例えばセンターコンソールに設置されるディスプレイ装置やＨＵＤ（Head-Up Display）等で構成されている。表示部１４は、処理部１２で生成された車両Ｃａの三次元モデル画像等を表示する。なお、以下の説明では、出力部が表示部１４に出力することとして説明するが、通信部１１を出力部として機能させ、通信部１１が自車Ｃａの搭乗者が所持する端末機器等に処理部１２で生成された車両Ｃａの三次元モデル画像等を無線により出力するようにしてもよい。この場合は、搭乗者が所持する端末機器等が移動体内に配置された表示部となる。また、表示部１４は、車両Ｃａのフロントガラスやドアガラス、サンルーフガラス等の、車両Ｃａが有するガラス部であっても良い。このように、表示部４は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両が有していればよい。

操作部１５は、例えばタッチパネルや押しボタン等で構成されている。操作部１５は、表示部１４に表示された車両Ｃａの三次元モデル画像等のアングルを調整等の操作をすることができる。

Ｉ／Ｆ１６は、車両Ｃに設置されているライダ２、ＧＰＳ（Global Positioning System）受信機３、その他のセンサ類４との接続インターフェース（Ｉ／Ｆ）である。Ｉ／Ｆ１６は、ライダ２、ＧＰＳ受信機３等から出力された信号、データ等を処理部１２へ出力するデータ形式や信号レベルに変換する。

ＧＰＳ受信機３は、周知のように複数のＧＰＳ衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を検出する。

その他のセンサ類４としては、車両の姿勢（向きなど）を認識して他のセンサの取得データを補正するための慣性計測装置（ＩＭＵ：Inertial Measurement Unit）やジャイロセンサ、車両Ｃの外界の状況を表す色付きの画像を生成する車載カメラ、車両Ｃの加速度を検出する加速度センサ、車両Ｃの速度を検出する速度センサ、などが挙げられる。

次に、上述した構成の情報処理装置１における三次元モデルの生成と表示の動作（画像生成方法）について図３のフローチャートを参照して説明する。図３のフローチャートは、例えば処理部１２で実行されるコンピュータプログラムとして構成されている。

まず、ステップＳ１１において、処理部１２は、他車Ｃｂや路側機５ａ、５ｂから点群情報を通信部１１を介して取得する。即ち、処理部１２は、情報処理装置１を備える自車Ｃａ（移動体）の外部にある他車Ｃｂ等（外部装置）から当該他車Ｃｂ等（外部装置）の周囲の物体を複数の点により表した点群情報を取得する取得部として機能する。この点群情報は、例えは外部装置が有するライダによって取得される点群情報である。この点群情報の取得は、例えば他車Ｃｂや路側機５ａ、５ｂが点群情報をブロードキャストで送信して、そのブロードキャストで送信された点群情報を通信部１１が受信して取得する。他車Ｃｂ等が送信する点群情報には、点群の情報（距離、方向等）だけでなく送信元の識別情報や送信元の位置情報も含まれている。

次に、ステップＳ１２において、処理部１２は、自車Ｃａの位置情報をＧＰＳ受信機３からＩ／Ｆ１６を介して取得する。

次に、ステップＳ１３において、処理部１２が三次元モデル画像を生成する。三次元モデル画像の生成は、まず、受信した点群情報から自車Ｃａの部分にかかる点群を抜き出す。これは、ステップＳ１１で取得した点群情報に含まれる送信元の位置情報とステップＳ１２で取得した自車Ｃａの位置情報から送信元から自車Ｃａへの方位と距離が分かる。点群情報には、本来距離と方向の情報が各点に含まれるため、自車Ｃａの方位と距離に合致する点群を抜き出せばよい。また、この処理は複数の送信元がある場合はそれぞれの送信元の点群情報について行われる。そして、抜き出した点群に対して周知の方法によりポリゴン等によりモデリングをして三次元モデル画像を生成する。複数の送信元がある場合は、点群を合成あるいはモデリングの際に合成して三次元モデル画像を生成してもよい。また、当該処理においては、少なくとも自車Ｃａの部分にかかる点群を抜き出せばよく、例えば自車Ｃａ及びその周囲に存在する地物等を含む背景にかかる点群を抜き出すようにしてもよい。

次に、ステップＳ１４において、処理部１２は、ステップＳ１３で生成した三次元モデル画像を表示部１４に出力して表示させる。即ち、処理部１２は、三次元モデル画像（外観画像）を自車Ｃａ（移動体）内に配置された表示部１４へ出力する出力部として機能する。

そして、図３のフローチャートは逐次繰り返して実行することで、表示部１４に表示する三次元モデル画像が略リアルタイムに更新され、例えば自車Ｃａが町中を走行するような演出や表示をすることができる。

上述した説明から明らかなように、ステップＳ１１が取得工程、ステップＳ１３が生成工程、ステップＳ１４が出力工程として機能する。

次に、上述した三次元モデル画像の表示の具体例を図４～図７を参照して説明する。図４は、具体例の状況を説明した図である。図４において、左側の車線を自車Ｃａが走行し、右側の車線を他車Ｃｂが走行している。また、他車Ｃｂのライダ２の検出範囲をＡとする。このとき、自車Ｃａが他車Ｃｂを追い抜いた場合における各時刻ｔ１～ｔ３の三次元モデル画像を図５～図７に示す。図５～図７に例示された三次元モデル画像は、それぞれ異なるアングル（視点）から、自車Ｃａを見たような画像を示している。

時刻ｔ１は、他車Ｃｂから見て左後方に自車Ｃａが走行している。そのため図５のように、点群情報として、自車Ｃａの右斜め前方方向からの点群が取得されるため、自車Ｃａを右斜め前方から見たような三次元モデル画像となる。

時刻ｔ２は、他車Ｃｂから見て左側に自車Ｃａが走行している。そのため図６のように、点群情報として、自車Ｃａの右方向からの点群が取得されるため、自車Ｃａを右から見たような三次元モデル画像となる。なお、時刻ｔ２において、前の時刻である時刻ｔ１で取得した点群情報も参照して三次元モデル画像を生成してもよい。

時刻ｔ３は、他車Ｃｂから見て左前方に自車Ｃａが走行している。そのため図５のように、点群情報として、自車Ｃａの右斜め前方方向からの点群が取得されるため、自車Ｃａを右斜め後方から見たような三次元モデル画像となる。なお、時刻ｔ３においても、前の時刻である時刻ｔ１、ｔ２で取得した点群情報も参照して三次元モデル画像を生成してもよい。

なお、本実施例では、図５～図７に示したように外観画像としては、自車Ｃａを点群情報からモデリングした三次元モデル画像としているが、点群をそのまま自車Ｃａの形状となるような表示をした画像であってもよいし、ワイヤーフレーム等であってもよい。つまり、本実施例における外観画像とは、対象物の外観形状が識別可能である画像であればよい。

また、図５～図７において、自車Ｃａ以外の背景部分は、各時刻で取得した点群情報のうち自車Ｃａとして抜き出した部分以外から生成してもよいし、取得した位置情報に基づいて記憶部１３に記憶されている地図データから該当する建物等の地物を抜き出して表示してもよい。また、背景部分は、車両Ｃａのようにモデリングした三次元の画像に限らず、点群をそのまま表示したような画像であってもよいし、ワイヤーフレーム等であってもよい。

そして、利用者は、操作部１５による操作によって、表示される三次元モデル画像のアングルを変更することができる。例えば、表示部１４は、操作部１５が利用者から受け付けたアングルに関する情報に基づき、図５から図７に示す三次元モデル画像を切り換えて表示する。即ち、表示部１４は、利用者が操作部１５を操作することによって指定するアングルに対応する三次元モデル画像を表示するように制御される。したがって、自車Ｃａの搭乗者の好みに合わせて表示される画像のアングルを変化させることができるので、飽きさせない表示をすることができる。なお、表示部１４が表示する画像のアングルについては、上述した操作部１５による操作以外によって決定されてもよい。例えば、車両Ｃａがライダを備えた外部装置（例えば路側器）に近づいた場合（当該外部装置から所定の範囲内に車両Ｃａが進入した場合）に、表示部１４に表示される画像のアングルが自動的に当該外部装置からのアングル（外部装置視点の画像）に切り替わるようにしてもよい。

本実施例によれば、通信部１１が他車Ｃｂから点群情報を取得し、処理部１２が取得した点群情報に基づき自車Ｃａの三次元モデル画像を生成して、表示部１４が三次元モデル画像を表示する。このようにすることにより、自車Ｃａ自身が取得した点群情報によらない、他車Ｃｂが取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、自車Ｃａの搭乗者からは本来見えない情報を含むものであり、あたかも外から自車Ｃａの方向を見ているような表示、演出が可能となる。例えば、自車Ｃａが現在走行している状態を示す画像を三次元モデル画像として生成して自車Ｃａの内部に表示することができる。したがって、ライダによって取得された点群情報を利用して、エンタテインメント性を向上させることができる。また、当該点群情報には、ライダの周辺に存在する物体を示す情報が含まれており、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性をもった三次元モデル画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーがもつ安心感を向上させることができることとなる。

また、処理部１２は、自車Ｃａの走行路に設置された路側機５から通信部１１を介して点群情報を取得するようにしてもよい。このようにすることにより、他車Ｃｂが少ない場合であっても、路側機５が取得した点群情報に基づいて三次元モデル画像を生成することができる。なお、路側機５が取得した点群情報に基づいて三次元モデル画像を生成する場合、例えば図１に示した自車Ｃａが走行している車線に対応する路側機５ａに限らず、反対車線に対応する路側機５ｂが取得した点群情報も利用してもよい。これは路側機５ｂの設置位置や画角によっては、自車Ｃａが走行している車線を走行する車両の点群情報を取得することも可能だからである。

なお、上述した実施例では、取得可能な場合は常に点群情報を取得していたが、例えば、自車Ｃａの三次元モデルがある程度の完成度で生成された場合は、これ以上の点群情報の取得は不要として通信部１１に点群情報の取得を停止させてもよい。即ち、外観画像の生成の度合いが所定値以上となった場合は点群情報の取得を停止してもよい。この完成度は、例えば、前後左右の全ての方角からの点群情報を取得することができた場合等である。このようにすることにより、三次元モデル画像としてある程度完成した場合は、点群情報の取得を停止して外部機器との通信量及び自装置の処理負荷を削減することができる。

次に、本発明の第２の実施例にかかる画像生成装置としての情報処理装置１を図８～図１３を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例では、情報処理装置１の構成は図２と同様である。本実施例では、特定の対象物の三次元モデルを生成して表示するだけでなく、自車も含めた複数の車両や路側機等の点群を取得する装置（ライダ）から取得した点群に基づいて、少なくとも自車の走行路周辺の三次元空間を再現した画像である三次元地図画像を生成する。

本実施例にかかる情報処理装置１における三次元地図画像の生成と表示の動作（画像生成方法）について図８のフローチャートを参照して説明する。図８のフローチャートは、例えば処理部１２で実行されるコンピュータプログラムとして構成されている。

まず、ステップＳ２１において、処理部１２は、自車Ｃａのライダ２が取得した点群情報をＩ／Ｆを介して取得し、他車Ｃｂ１、Ｃｂ２や路側機５等から点群情報を通信部１１を介して取得する。

次に、ステップＳ２２において、処理部１２が三次元地図画像を生成する。三次元地図画像の生成は、各機器から受信した点群情報に基づいて、その検出範囲における三次元地図画像を生成し、それらを合成して全体の三次元地図画を生成する。或いは、各機器から受信した点群情報を合成し、その合成点群情報から全体の三次元地図画像を生成してもよい。なお、この際生成される三次元地図画像は、建物等の地物の外観が再現されているレベルでなくてもよく、点群やワイヤーフレーム等の状態で形状が再現されたものでもよい。また、このステップＳ２２で生成される三次元地図画像には、各ライダで取得された車両や歩行者等も含まれる。即ち、処理部１２は、取得した点群情報に基づき、少なくとも自車Ｃａ（移動体）の周辺を含む三次元空間を示す三次元地図画像（三次元空間画像）を生成する生成部として機能する。また、処理部１２は、外部機器から受信した点群情報と、自車Ｃａのライダ２が取得した点群情報とを組み合わせて（言い換えれば、合成して）、当該三次元地図画像の生成するようにしてもよい。

次に、ステップＳ２３において、処理部１２が、ステップＳ２２で生成した三次元地図画像を表示部１４に表示させる。即ち、処理部１２は、三次元地図画像（三次元空間画像）を自車Ｃａ（移動体）内に配置された表示部１４へ出力する出力部として機能する。

上述した説明から明らかなように、ステップＳ２１が取得工程、ステップＳ２２が生成工程、ステップＳ２３が出力工程として機能する。

次に、本実施例における三次元地図画像の表示の具体例を図９～図１２を参照して説明する。図９は、具体例の状況を説明した図である。図９においては、自車Ｃａは道路Ｒ１を走行している。この自車Ｃａのライダ２の検出範囲をＬ１とする。また、他車Ｃｂ１は道路Ｒ１を走行している。この他車Ｃｂ１のライダ２の検出範囲をＬ２とする。また、他車Ｃｂ２は道路Ｒ２を走行している。この他車Ｃｂ２のライダ２の検出範囲をＬ３とする。

路側機５は、道路Ｒ２沿いに設置されている。路側機５（ライダ）の検出範囲をＬ４とする。信号機６は、道路Ｒ１と道路Ｒ２の交差点に設置されている。信号機６にもライダが設けられ、このライダの検出範囲をＬ５とする。

また、道路Ｒ２沿いには所定の建物等の地物である地物ＢＬ１、地物ＢＬ２があり、道路Ｒ１沿いには所定の建物等の地物である地物ＢＬ３がある。

図９の場合において、各ライダの検出範囲から図９に示した道路Ｒ１、Ｒ２に沿った地物の情報を得ることが可能であるので、各ライダで検出された点群情報に基づいて生成された三次元地図情報を合成して道路Ｒ１、Ｒ２の三次元地図画像を生成する。

このようにして生成された三次元地図画像には建物等の地物ＢＬ１～ＢＬ３が含まれるに限らず、例えば他車Ｃｂ１のライダ２の検出範囲Ｌ２にある自車Ｃａも含まれる。また、図示しないが、各検出範囲Ｌ１～Ｌ５で検出された歩行者を含めてよい。また、この三次元地図画像は逐次更新されるので、各車両が移動すれば三次元地図画像内で移動する。例えば、自車Ｃａが他車Ｃｂ１、Ｃｂ２等から点群情報を受信し続ければ、他車Ｃｂ１、Ｃｂ２が検出した物体が略リアルタイムに三次元地図画像に反映される。したがって、本実施例の三次元地図画像は、静止画ではなく動画像とすることができる。

また、三次元地図画像は、例えば自車Ｃａの搭乗者の操作に応じて任意の視点からみた視界で表示することができる。例えば、図９の視界Ａ１は、自車Ｃａから前方の視点から見た視界であり、例えば、図１０のように表示部１４に表示される。

また、図９の視界Ａ２は、自車Ｃａの右方の視点からみた視界であり、例えば、図１１のように表示部１４に表示される。また、図９の視界Ａ３は、自車Ｃａの右後方の視点からみた視界であり、例えば、図１２のように表示部１４に表示される。

なお、三次元地図画像は、車両Ｃに搭載された情報処理装置１で生成するに限らず、例えば外部のサーバ装置等で生成して車両Ｃに配信するようにしてもよい。構成例を図１３に示す。

図１３において、サーバ装置１０は、インターネット等のネットワークＮと接続されている。そして、サーバ装置１０は、自車Ｃａや他車Ｃｂ、路側機５及び信号機６から点群情報を取得して、図８のフローチャートのように三次元地図画像を生成する。

そして、自車Ｃａの情報処理装置１からの要求に応じて三次元地図画像を配信し、その三次元地図画像が情報処理装置１の表示部１４に表示される。

なお、図１３の場合でも視点の変更は自在であるが、情報処理装置１の処理能力が高くない場合は、視点の情報をサーバ装置１０に送信し、その視点に応じた画像を生成して情報処理装置１へ配信するようにしてもよい。

本実施例によれば、情報処理装置１は、処理部１２が、自車Ｃａや他車Ｃｂ１、Ｃｂ２或いは路側機５、信号機６から点群情報を取得し、その取得した点群情報に基づき、少なくとも自車Ｃａ周辺の三次元地図画像を生成して、表示部１４に三次元地図画像を表示する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車Ｃａ周辺の三次元空間を再現した他車Ｃｂ１、Ｃｂ２や歩行者等も含む街並みの地図画像を生成することができる。そして、その再現した三次元空間を自車Ｃａが走行するような表示や演出をすることができる。

また、処理部１２は逐次点群情報を取得し、その逐次取得された点群情報に基づいて三次元地図画像を更新するようにしている。このようにすることにより、三次元地図画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。また、三次元地図画像を動画像とすることで、よりリアルな表示や演出をすることができる。

また、処理部１２は、自車Ｃａの外部にある他車Ｃｂ１、Ｃｂ２や路側機５、信号機６から点群情報と、自車Ｃａに配置されたライダ２が取得した点群情報と、に基づいて三次元地図画像を生成している。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元地図画像を生成することができる。

また、三次元地図画像の視点の位置を調整操作可能な操作部１５を備え、表示部１４は、操作部１５による視点の位置の調整に応じて三次元地図画像の視点の位置を変化させて表示してもよい。このようにすることにより、例えば三次元地図で表された空間内の様々な視点からみた画像を表示させることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像生成装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１ 情報処理装置（画像生成装置）
２ ライダ
３ ＧＰＳ受信機
４ その他のセンサ類
５ 路側機（外部装置）
６ 信号機（外部装置）
１１ 通信部
１２ 処理部（取得部、生成部、出力部）
１３ 記憶部
１４ 表示部
１５ 操作部
１６ Ｉ／Ｆ

Claims (9)

1. 移動体が有する表示部に表示される画像を生成する生成部を備える画像生成装置であって、
   前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部を備え、
   前記生成部は、前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体及び前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する、
   ことを特徴とする画像生成装置。
2. 前記取得部は逐次前記点群情報を取得し、
   前記生成部は、逐次取得された前記点群情報に基づいて前記三次元空間画像を更新することを特徴とする請求項１に記載の画像生成装置。
3. 前記生成部は、前記三次元空間画像を動画像として生成することを特徴とする請求項２に記載の画像生成装置。
4. 前記生成部は、前記外部装置から取得した前記点群情報と、前記移動体に配置されたセンサが取得した点群情報と、に基づいて前記三次元空間画像を生成することを特徴とする請求項１から３のうちいずれか一項に記載の画像生成装置。
5. 前記外部装置には、他の移動体に搭載された前記点群情報を取得する装置が含まれ、
   前記取得部は、前記他の移動体から前記点群情報を取得することを特徴とする請求項４に記載の画像生成装置。
6. 前記外部装置には、走行路に設置された路側機が含まれ、
   前記取得部は、前記路側機から前記点群情報を取得することを特徴とする請求項４または５に記載の画像生成装置。
7. 前記三次元空間画像の視点の位置を調整操作可能な操作部を備え、
   前記生成部は、前記操作部による視点の位置の調整に応じて視点の位置を変化させた前記三次元空間画像を生成することを特徴とする請求項１から６のうちいずれか一項に記載の画像生成装置。
8. 移動体が有する表示部に表示される画像を生成する画像生成装置で実行される画像生成方法であって、
   前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、
   前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体及び前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、
   を含むことを特徴とする画像生成方法。
9. 請求項８に記載の画像生成方法を、コンピュータにより実行させることを特徴とする画像生成プログラム。

Images