JP7272334B2

JP7272334B2 - 地図生成装置および地図生成方法

Info

Publication number: JP7272334B2
Application number: JP2020142787A
Authority: JP
Inventors: 雅浩田中
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-08-26
Filing date: 2020-08-26
Publication date: 2023-05-12
Anticipated expiration: 2040-08-26
Also published as: US20220067397A1; JP2022038340A; US11790628B2; CN114202623A; DE102021121834A1

Description

本発明は、画像に基づいて地図を生成する地図生成装置および地図生成方法に関する。

上空から道路を撮影した衛星写真に基づいて高精度地図を生成する地図生成装置が知られている。高精度地図は、車両の自動運転制御に使用される。

特許文献１には、上空から撮影した画像データに基づいて地表面の道路ネットワークデータを抽出し、デジタル道路地図に道路ネットワークデータを重畳させてデジタル地図データを生成する地図データ処理装置が記載されている。

特開平１１－１８４３７５号公報

上空から撮影した道路の画像では、撮影位置と道路との間に建造物や街路樹などの障害物が存在していることがある。このような状況で撮影された画像では、道路が障害物に覆われている。道路に隠れ領域（オクルージョン）を有する画像からは道路上の白線や特徴物を適切に識別することができず、その結果、地図を適切に生成できない。

本発明は、上空から撮影した画像を用いて適切に地図を生成することができる地図生成装置を提供することを目的とする。

本発明にかかる地図生成装置は、上空から下方に向けて所定の位置の道路を撮影した第１画像から、道路上の車線区画線および車線区画線以外の特徴物を識別する第１識別部と、車両に設けられた撮像部により車両の周囲を撮影することで生成された複数の画像に基づいて作成され所定の位置の道路の表された第２画像から、車線区画線および車線区画線以外の特徴物を識別する第２識別部と、所定の位置に基づいて第１画像と第２画像とを位置合わせする位置合わせ部と、第１画像および第２画像における車線区画線以外の特徴物が最も重なるように第２画像を変形する第１変形部と、車線区画線以外の特徴物の位置を変更せず、かつ、第１画像における車線区画線の位置と第２画像における車線区画線の位置とが合うように、第１変形部により変形された第２画像を車線区画線と直交する方向にさらに変形する第２変形部と、第１画像と第２変形部によりさらに変形された第２画像とを合成する合成部と、を備える。

本発明にかかる地図生成装置において、第１識別部は、第１画像に表された道路が他の物体に覆われた隠れ領域を有するか否かを判定し、合成部は、隠れ領域を有しないと判定された第１画像を第２画像と合成しないことが好ましい。

本発明にかかる地図生成装置において、第１変形部は、アフィン変換により第２画像を変形し、第２変形部は、第１変形部により変形された第２画像をスプライン変形することが好ましい。

本発明にかかる地図生成方法は、上空から下方に向けて所定の位置の道路を撮影した第１画像から、車線区画線および車線区画線以外の特徴物を識別し、車両に設けられた撮像部により撮影した複数の画像に基づいて作成され所定の位置の道路の表された第２画像から、車線区画線および車線区画線以外の特徴物を識別し、所定の位置に基づいて第１画像と第２画像とを位置合わせし、車線区画線以外の特徴物が最も重なるように第２画像を変形し、車線区画線以外の特徴物の位置を変更せず、かつ、第１画像における車線区画線の位置と第２画像における車線区画線の位置とが合うように、変形された第２画像を車線区画線と直交する方向にさらに変形し、第１画像とさらに変形された第２画像とを合成する、ことを含む。

本発明にかかる地図生成装置によれば、上空から撮影した画像を用いて適切に地図を生成することができる。

地図生成装置の動作の概略を説明する図である。地図生成装置のハードウェア構成図である。地図生成装置が有するプロセッサの機能ブロック図である。（ａ）は第１画像の例を示す図であり、（ｂ）は第２画像の例を示す図である。（ａ）は第１画像に位置合わせされた第２画像の例を示す図であり、（ｂ）は第１変形部による第２画像の変形を説明する図である。（ａ）は第１変形部により変形された第２画像を示す図であり、（ｂ）は第２変形部による第２画像の変形を説明する図である。地図生成処理のフローチャートである。

以下、図面を参照して、地図生成装置について詳細に説明する。地図生成装置は、上空から下方に向けて道路を撮影した第１画像および車両に設けられた撮像部により撮影した画像に基づいて作成された第２画像に基づいて地図を生成する。地図生成装置は、まず、所定の位置の道路を撮影した第１画像から、道路上の車線区画線および車線区画線以外の特徴物を識別する。また、地図生成装置は、所定の位置の道路の表された第２画像から、車線区画線および車線区画線以外の特徴物を識別する。次に、地図生成装置は、所定の位置に基づいて第１画像と第２画像とを位置合わせする。続いて、地図生成装置は、第１画像および第２画像における車線区画線以外の特徴物が最も重なるように第２画像を変形する。地図生成装置は、車線区画線以外の特徴物の位置を変更せず、かつ、第１画像における車線区画線の位置と第２画像における車線区画線の位置とが合うように、第２画像を道路の前後方向と直交する方向にさらに変形する。そして、地図生成装置は、第１画像と変形された第２画像とを合成する。

図１は、地図生成装置の動作の概略を説明する図である。

人工衛星３は、上空から下方に向けて、道路Ｒ１が道路Ｒ２と交差する地点近傍の位置Ｌ１を含む第１画像Ｐ１を撮影する。また、道路Ｒ１を走行する車両２の車室内前方には、車両２の前方を向くようにカメラが設けられている。カメラは撮像部の一例であり、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。カメラは、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両２の前方領域を撮影し、その前方領域が写った部分画像ＰＰ１－ＰＰｎを生成する。部分画像ＰＰ１－ＰＰｎのそれぞれを、共通の部分が重なり合うようにつなぎ合わせることにより、第２画像Ｐ２が作成される。地図生成装置１は、第１画像Ｐ１および第２画像Ｐ２を用いて地図生成処理を実行し、地図Ｍを生成する。

図２は、地図生成装置１のハードウェア構成図である。地図生成装置１は、通信インタフェース１１と、ストレージ装置１２と、メモリ１３と、プロセッサ１４とを有する。

通信インタフェース１１は、通信部の一例であり、地図生成装置１を通信ネットワークに接続するためのインタフェース回路を有する。通信インタフェース１１は、通信ネットワークを介して他の機器と通信可能に構成される。すなわち、通信インタフェース１１は、通信ネットワークを介して他の機器から受信したデータ等をプロセッサ１４に渡す。また、通信インタフェース１１は、プロセッサ１４から受け取ったデータ等を、通信ネットワークを介して他の機器に送信する。

ストレージ装置１２は、記憶部の一例であり、例えばハードディスク装置または不揮発性の半導体メモリ装置などの記憶装置を有する。ストレージ装置１２は、上空から下方に向けて道路を撮影した第１画像、車両に設けられた撮像部により撮影した画像に基づいて作成された第２画像、および、第１画像および第２画像に基づいて生成された地図を記憶する。第１画像および第２画像は、通信インタフェース１１を介して他の機器から受信される。

メモリ１３は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ１３は、プロセッサ１４による処理に用いられる各種データ、例えば通信インタフェース１１を介して受信したデータ等を一時記憶する。また、メモリ１３は、各種アプリケーションプログラム、例えば第１画像および第２画像に基づいて地図を生成する地図生成プログラム等を記憶する。

プロセッサ１４は、１個または複数個のＣＰＵ（Central Processing Unit）およびその周辺回路を有する。プロセッサ１４は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路をさらに有していてもよい。

図３は、地図生成装置１が有するプロセッサ１４の機能ブロック図である。

地図生成装置１のプロセッサ１４は、機能ブロックとして、第１識別部１４１と、第２識別部１４２と、位置合わせ部１４３と、第１変形部１４４と、第２変形部１４５と、合成部１４６と有する。プロセッサ１４が有するこれらの各部は、プロセッサ１４上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ１４が有するこれらの各部、独立した集積回路、マイクロプロセッサ、またはファームウェアとして地図生成装置１に実装されてもよい。

第１識別部１４１は、予め取得されストレージ装置１２に記憶された、上空から下方に向けて所定の位置の道路を撮影した第１画像を、ストレージ装置１２から読み出す。そして、第１識別部１４１は、第１画像を、道路上の車線区画線および車線区画線以外の特徴物を識別するように予め学習された識別器に入力することにより、第１画像から車線区画線および車線区画線以外の特徴物を識別する。

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め検出対象の車線区画線および車線区画線以外の特徴物を含む画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは検出対象の車線区画線および車線区画線以外の特徴物を検出する識別器として動作する。

第１識別部１４１は、第１画像に表された道路が他の物体に覆われた隠れ領域（オクルージョン）を有するか否かを判定してもよい。第１識別部１４１は、例えば道路の車線区画線が不連続に検出された場合、その道路がオクルージョンを有すると判定する。第１識別部１４１は、オクルージョンを有する道路を含む第１画像を以降の処理の対象とし、オクルージョンを有する道路を含まない第１画像については以降の処理を行うことなく処理を終了する。

第１画像は、人工衛星に搭載されたカメラにより撮影された衛星写真である。第１画像は、航空機に搭載されたカメラにより撮影された航空写真であってもよい。

第１画像における各画素には、位置情報を有する地図データと位置合わせすることにより、位置情報が付与されている。

第２識別部１４２は、予め取得されストレージ装置１２に記憶された、車両２に設けられた撮像部により撮影した複数の画像に基づいて作成され所定の位置の道路の表された第２画像を、ストレージ装置１２から読み出す。そして、第２識別部１４２は、第２画像を、道路上の車線区画線および車線区画線以外の特徴物を識別するように予め学習された識別器に入力することにより、第２画像から車線区画線および車線区画線以外の特徴物を識別する。識別器は、ＣＮＮであってよい。

第２画像は、車両２に設けられた撮像部の一例であるカメラにより、所定の撮影周期ごとに撮影された部分画像を、共通の部分が重なり合うようにつなぎ合わせることにより作成される。第２画像における各画素には、車両２に設けられたＧＮＳＳ（Global Navigation Satellite System）受信機により取得された、各部分画像が撮影されたときの位置情報に基づいて、位置情報が付与されている。

図４（ａ）は第１画像の例を示す図であり、図４（ｂ）は第２画像の例を示す図である。

図４（ａ）に示される第１画像Ｐ１には、所定の位置Ｌ１を通る道路Ｒ１と、道路Ｒ１の上方で道路Ｒ１と立体交差する道路Ｒ２とが含まれている。第１識別部１４１により、第１画像Ｐ１から、車線区画線として、外側線ＳＬ１１、ＳＬ１２ａ、ＳＬ１２ｂおよび中央線ＣＬ１１ａ、ＣＬ１１ｂ、ＣＬ１２が識別される。また、第１識別部１４１により、第１画像Ｐ１から、車線区画線以外の特徴物として、停止線ＨＬ１１、ＨＬ１２および横断歩道ＰＸ１が識別される。第１画像Ｐ１の道路Ｒ１は、外側線ＳＬ１２ａ、ＳＬ１２ｂおよび中央線ＣＬ１１ａ、ＣＬ１１ｂが不連続となっており、道路Ｒ２により覆われた隠れ領域Ｏ１を有する。なお、図４（ａ）では他の領域と区別するために隠れ領域Ｏ１に斜線を付して示しているが、実際の第１画像Ｐ１において隠れ領域Ｏ１は、道路Ｒ２の他の領域と同様の外観を有する。

図４（ｂ）に示される第２画像Ｐ２には、所定の位置Ｌ１を通る道路Ｒ２が含まれている。第２識別部１４２により、第２画像Ｐ２から、車線区画線として、外側線ＳＬ２１、ＳＬ２２および中央線ＣＬ２１、ＣＬ２２が識別される。また、第２識別部１４２により、第２画像Ｐ２から、車線区画線以外の特徴物として、停止線ＨＬ２１、ＨＬ２２および横断歩道ＰＸ２が識別される。

位置合わせ部１４３は、第１画像における所定の位置と第２画像における所定の位置とが一致するように、第１画像および第２画像を配置することにより、所定の位置に基づいて第１画像と第２画像とを位置合わせする。

第１変形部１４４は、第１画像および第２画像における車線区画線以外の特徴物が最も重なるように第２画像を変形し、メモリ１３に一時保存する。第１変形部１４４は、例えば、第１画像および第２画像を位置合わせするための所定の位置と、第１画像および第２画像でそれぞれ識別された車線区画線以外の特徴物の位置とが一致するように１次多項式の係数を決定する。そして、第１変形部１４４は、決定された１次多項式を用いて第２画像の各画素をアフィン変換することにより、第２画像を変形する。アフィン変換による変形には、拡大縮小、剪断、回転および平行移動が含まれる。

図５（ａ）は第１画像Ｐ１に位置合わせされた第２画像Ｐ２の例を示す図であり、図５（ｂ）は第１変形部１４４による第２画像Ｐ２の変形を説明する図である。図５（ａ）および図５（ｂ）では、第１画像Ｐ１と第２画像Ｐ２との関係を明確に把握できるように、第２画像Ｐ２とともに位置合わせされた第１画像Ｐ１もあわせて示されている。

図５（ａ）において、第２画像Ｐ２は、所定の位置Ｌ１が第１画像Ｐ１における所定の位置Ｌ１に一致するように配置される。このとき、第２画像Ｐ２における車線区画線以外の特徴物である停止線ＨＬ２１、ＨＬ２２および横断歩道ＰＸ２の位置は、第１画像Ｐ１における停止線ＨＬ１１、ＨＬ１２および横断歩道ＰＸ１の位置と一致していない。

第２画像は、停止線ＨＬ２１、ＨＬ２２および横断歩道ＰＸ２の位置を第１画像Ｐ１における停止線ＨＬ１１、ＨＬ１２および横断歩道ＰＸ１の位置と一致させる１次多項式を用いて変形される。図５（ｂ）では、位置Ｌ１を中心とした第２画像Ｐ２の各画素の移動方向が矢印Ｄ１ａ、Ｄ１ｂで示されている。また、図５（ｂ）では、変形前の外側線ＳＬ２１、ＳＬ２２が点線で示され、変形後の外側線ＳＬ３１、ＳＬ３２が実線で示されている。

第２変形部１４５は、車線区画線以外の特徴物の位置を変更せず、かつ、第１画像における車線区画線の位置と第２画像における車線区画線の位置とが合うように、第１変形部１４４により変形された第２画像をさらに変形し、メモリ１３に一時保存する。このとき、第２変形部１４５は、第１変形部１４４により変形された第２画像を、道路の前後方向と直交する方向に変形する。第２変形部１４５は、例えば、第１画像および第２画像を位置合わせするための所定の位置と、第１画像および第２画像でそれぞれ識別された車線区画線以外の特徴物の位置とを、変形により移動しない制御点として指定する。そして、第２変形部１４５は、第２画像における車線区画線上の点から車線区画線と直交する方向における第１画像の対応する車線区画線上の点を特定し、特定された点を通り、かつ、曲率が最も小さくなく曲線を定める。そして、第２変形部１４５は、定められた曲線を用いて第２画像をスプライン変形する。なお、第２変形部１４５は、第２画像に対し、スプライン変形以外の変形、例えばベジエ曲線に沿った変形を行ってもよい。

図６（ａ）は第１変形部１４４により変形された第２画像Ｐ２の例を示す図であり、図６（ｂ）は第２変形部１４５による第２画像Ｐ２の変形を説明する図である。図６（ａ）および図６（ｂ）では、第１画像Ｐ１と第２画像Ｐ２との関係を明確に把握できるように、第２画像Ｐ２とともに位置合わせされた第１画像Ｐ１もあわせて示されている。

図６（ａ）において、第１変形部１４４により変形された第２画像Ｐ２の車線区画線の位置は、第１画像Ｐ１の車線区画線の位置と一致していない（図６（ａ）では説明の簡単化のため外側線の位置の相違のみ示している）。第２変形部１４５は、第１画像Ｐ１における位置と一致しない外側線ＳＬ３１上に、制御点ＣＰ３１、ＣＰ３２を設定する。制御点は、車線区画線上の、例えば第１画像Ｐ１における位置との乖離が所定の乖離閾値を超えた地点から所定距離だけ離間した位置に設定される。

第２変形部１４５は、図６（ｂ）に示すように、第２画像Ｐ２における制御点ＣＰ３１、ＣＰ３２から外側線ＳＬ３１と直交する方向Ｄ３１、Ｄ３２における第１画像Ｐ１の対応する外側線ＳＬ１１上の制御点ＣＰ４１、ＣＰ４２を特定する。第２変形部１４５は、特定された制御点ＣＰ４１、ＣＰ４２を通り、かつ、曲率が最も小さくなく曲線を定める。そして、第２変形部１４５は、定められた曲線を用いて第２画像をスプライン変形する。図６（ｂ）では、変形前の外側線ＳＬ３１が点線で示され、変形後の外側線ＳＬ４１、ＳＬ４２が実線で示されている。なお、変形前の外側線３２は、変形後の道路Ｒ１に覆われるため、図示していない。

合成部１４６は、ストレージ装置１２に記憶された第１画像と、第２変形部により変形されメモリ１３に一時保存された第２画像とを合成し、ストレージ装置１２に保存する。これにより、地図生成装置１は、第１画像に表された道路がオクルージョンを有する場合であっても、第２画像により適切に補完された地図を生成することができる。

図７は、地図生成処理のフローチャートである。地図生成装置１のプロセッサ１４は、処理の対象となる第１画像および第２画像ごとに、図７に示すデータ収集処理を実行する。

まず、プロセッサ１４の第１識別部１４１は、第１画像から、道路上の車線区画線および車線区画線以外の特徴物を識別する（ステップＳ１）。第１画像は、上空から下方に向けて所定の位置の道路を撮影した画像である。

次に、第１識別部１４１は、第１画像に表された道路がオクルージョンを有するか否かを判定し（ステップＳ２）、オクルージョンを有しないと判定された場合（ステップＳ２：Ｎ）、地図生成処理を終了する。

第１画像に表された道路がオクルージョンを有すると判定された場合（ステップＳ２：Ｙ）、プロセッサ１４の第２識別部１４２は、第２画像から、車線区画線および車線区画線以外の特徴物を識別する（ステップＳ３）。第２画像は、車両に設けられた撮像部により撮影した複数の画像に基づいて作成され所定の位置の道路の表された画像である。

次に、プロセッサ１４の位置合わせ部１４３は、所定の位置に基づいて第１画像と第２画像とを位置合わせする（ステップＳ４）。

続いて、プロセッサ１４の第１変形部１４４は、第１画像および第２画像における車線区画線以外の特徴物が最も重なるように第２画像を変形する（ステップＳ５）。

次に、プロセッサ１４の第２変形部１４５は、車線区画線以外の特徴物の位置を変更せず、かつ、第１画像における車線区画線の位置と第２画像における車線区画線の位置とが合うように、第１変形部により変形された第２画像をさらに変形する（ステップＳ６）。このとき、第２変形部１４５は、第２画像を道路の前後方向と直交する方向に変形する。

そして、プロセッサの合成部１４６は、第１画像と第２変形部１４５により変形された第２画像とを合成し（ステップＳ７）、地図生成処理を終了する。

このように地図生成処理を実行することにより、地図生成装置１は、上空から撮影した画像を用いて適切に地図を生成することができる。

また、第１変形部１４４が第２画像Ｐ２をアフィン変換により変形し、第２変形部１４５がアフィン変換により変形された第２画像Ｐ２をさらにスプライン変形することにより、プロセッサ１４の処理負荷を低減しつつ適切に地図を生成することができる。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１地図生成装置
１４１第１識別部
１４２第２識別部
１４３位置合わせ部
１４４第１変形部
１４５第２変形部
１４６合成部

Claims

上空から下方に向けて所定の位置の道路を撮影した第１画像から、道路上の車線区画線および車線区画線以外の特徴物を識別する第１識別部と、
車両に設けられた撮像部により前記車両の周囲を撮影することで生成された複数の画像に基づいて作成され前記所定の位置の道路の表された第２画像から、前記車線区画線および前記車線区画線以外の特徴物を識別する第２識別部と、
前記所定の位置に基づいて前記第１画像と前記第２画像とを位置合わせする位置合わせ部と、
前記第１画像および前記第２画像における前記車線区画線以外の特徴物が最も重なるように前記第２画像を変形する第１変形部と、
前記車線区画線以外の特徴物の位置を変更せず、かつ、前記第１画像における車線区画線の位置と前記第２画像における車線区画線の位置とが合うように、前記第１変形部により変形された第２画像を前記車線区画線と直交する方向にさらに変形する第２変形部と、
前記第１画像と前記第２変形部によりさらに変形された第２画像とを合成する合成部と、
を備える地図生成装置。
前記第１識別部は、前記第１画像に表された前記道路が他の物体に覆われた隠れ領域を有するか否かを判定し、
前記合成部は、前記隠れ領域を有しないと判定された第１画像を前記第２画像と合成しない、請求項１に記載の地図生成装置。
前記第１変形部は、アフィン変換により前記第２画像を変形し、
前記第２変形部は、前記第１変形部により変形された第２画像をスプライン変形する、請求項１または２に記載の地図生成装置。
上空から下方に向けて所定の位置の道路を撮影した第１画像から、車線区画線および車線区画線以外の特徴物を識別し、
車両に設けられた撮像部により撮影した複数の画像に基づいて作成され前記所定の位置の道路の表された第２画像から、前記車線区画線および前記車線区画線以外の特徴物を識別し、
前記所定の位置に基づいて前記第１画像と前記第２画像とを位置合わせし、
前記車線区画線以外の特徴物が最も重なるように前記第２画像を変形し、
前記車線区画線以外の特徴物の位置を変更せず、かつ、前記第１画像における車線区画線の位置と前記第２画像における車線区画線の位置とが合うように、変形された前記第２画像を前記車線区画線と直交する方向にさらに変形し、
前記第１画像と前記さらに変形された第２画像とを合成する、
ことを含む地図生成方法。