JP7440367B2 - 外界認識システム、および、外界認識方法 - Google Patents

Description

本発明は、車両の進路の詳細地図を生成する、車載の外界認識システム、および、外界認識方法に関する。

道路上や倉庫内などを自動走行する自動運転車両は、事前に設定された経路を走行して目的地に到達する。しかし、走行経路の設定時に利用する地図情報には、道路上の駐車車両や倒木などの一時的な障害物は含まれておらず、地図情報が古い場合には、地図情報の示す道路構造と実際の道路構造が異なっている可能性もあるため、地図情報に基づいて設定した走行経路が実際に通行できるかは確かではない。また、走行経路の設定時に利用する地図情報が、ノードとリンクで道路構造を表現した簡易地図の場合には、道路上の走行可能領域（例えば、道幅や車線数）を高精度に記録していない可能性もあり、道幅の広い道路のどこを走行すれば良いのか事前に判断できない。

そのため、実際の自動運転車両では、車載カメラやLiDARなどの車載の外界認識センサにより自車両周辺の走行可能な領域を検知し、自車両周辺の詳細地図をリアルタイムで生成しながら進路を決定する必要があった。

この種の自動運転車両として、カーブや交差点などの見通しが悪い場所では、路上カメラの撮影画像を利用することで、走行先の道路情報を検知する車両が知られている。例えば、特許文献１には、死角領域の画像を交差点カメラ（以下、「路上カメラ」と称する）から入手する車両用視界支援システムが開示されており、同文献の図７等には、路上カメラの撮影画像を車載カメラの視点からの画像に変換し、これを車載カメラの撮影画像と合成することで、死角領域の画像を補完する方法が開示されている。

同文献では、車載カメラの死角が、路上カメラとの相対位置が不変の固定障害物（建物など）によって発生することが想定されており、所定位置にいる車両を前提とすれば、その車両の車載カメラの死角領域を路上カメラの撮影画像上で特定することが可能となる。従って、路上カメラから見て所定位置にいる車両に対し、その車両の車載カメラの死角に相当する画像を、路上カメラが自発的に送信することに格別の困難はなかった（同文献の図５のＳ２３５など参照）。

特開２００９－７０２４３号公報

車載カメラを利用してリアルタイムで詳細地図を生成する自動運転車両では、先行車両が存在する場合、先行車両の先の路面が車載カメラの死角領域になるため、先行車両の先の詳細地図を生成できず、先行車両の先の進路を決定できないという問題がある。

この問題に対しても特許文献１を応用し、路上カメラが死角の画像を自発的に送信できれば良いが、先行車両（移動障害物）と自車両の相対位置や相対速度は刻々と変化するものであるし、また、先行車両の車体の大きさ（全長、全幅、全高、形状など）は様々であるため、路上カメラ側で車載カメラの死角領域を特定し、死角領域に相当する画像を自発的に自動運転車両に送信することは非常に困難である。

そこで、本発明は、先行車両などの移動障害物によって生じる車載カメラの死角領域を、路上カメラから入手した撮影画像で補完して自動走行用の詳細地図を生成できる外界認識システムの提供を目的とする。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。車載カメラの撮影画像と外部カメラの撮影画像を合成して、自車両の外部環境を認識する外界認識システムであって、自車両の前方を撮影する車載カメラと、前記外部カメラと通信する車載通信部と、前記車載カメラの撮影画像に基づいて、前方の移動体を検知する前方移動体検知部と、前記移動体による死角領域を抽出する死角領域抽出部と、受信した前記外部カメラの撮影画像を前記車載カメラの視点に変換する画像変換部と、前記車載カメラの撮影画像の前記死角領域に、前記画像変換部による視点変換画像を合成する画像合成部と、該画像合成部の合成画像に基づいて自車両の進行方向の詳細地図を生成する詳細地図生成部と、を具備することを特徴とする外界認識システム。

本発明の外界認識システムによれば、先行車両などの移動障害物によって生じる車載カメラの死角領域を、路上カメラの撮影画像で補完して自動走行用の詳細地図を生成することで、路面上の走行可能な領域をスムーズに判定することが可能となる。上記した以外の課題、構成及び効果は以下の実施例の説明により明らかにされる。

実施例１の外界認識システムと路上カメラのシステム構成図 交差点における車両と路上カメラの配置を示す図 先行車両により走行先の路面が死角となったときの車載カメラ画像の例 図３と同時刻の路上カメラ画像の例 車載カメラ画像の死角領域を路上カメラ画像で補完した画像例 外界認識システムの動作フローチャート 実施例２の外界認識システムと路上カメラのシステム構成図 複数の路上カメラ画像を用いて路面の死角領域を補完する画像の例 実施例３の外界認識システムと路上カメラのシステム構成図

以下、図面等を用いて、本発明の外界認識システムの実施例について説明する。なお、以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

まず、図１から図６を用いて、本発明の実施例１の外界認識システム１を説明する。

図１は、自動運転車両Ｖ_０に搭載された外界認識システム１と、交差点付近などに設置された路上カメラ２の構成を示すシステム構成図である。なお、外界認識システム１は、図示しない車両制御装置に接続されている。車両制御装置は、外界認識システム１が生成した詳細地図を利用して、自動運転車両Ｖ_０の駆動系、制動系、操舵系を制御する。

＜路上カメラ２＞
路上カメラ２は、交差点付近に設置された外部カメラであり、撮影部２０、画像配信部２１、路上通信部２２を備えている。撮影部２０は、路上を撮影するための単眼カメラやステレオカメラである。画像配信部２１は、外界認識システム１の要求に従って、撮影部２０の撮影画像と撮影時のカメラパラメータを可逆形式で圧縮処理して配信データを生成するコンピュータである。カメラパラメータには、画角、画素数、焦点距離などの内部パラメータと、カメラの位置、路上からの高さ、視点方向などの外部パラメータを含む。路上通信部２２は、外界認識システム１に配信データを配信するための通信装置である。

＜外界認識システム１＞
外界認識システム１は、自動運転車両Ｖ_０の外部環境を認識するための車載システムであり、障害物の検知と、自動運転車両Ｖ_０の進路決定に利用する詳細地図の生成を行う。上記したように、自動運転の実現には、路上の通過可能な領域を常に判断する必要があるため、その前提として、外界認識システム１は、車載カメラ１０の撮影画像に基づいて、路面の形状を常に認識している。そこで、本実施例の外界認識システム１は、先行する車両Ｖ_１などの移動障害物により死角が発生した場合には、その死角部分を補完するために、路上カメラ２の撮影画像の一部を切り出して、車載カメラ１０の撮影画像と合成する。そして、合成後の画像に基づいて、路上の通過可能な領域を常に判断し、詳細地図を作成する。

この外界認識システム１は、図１に示すように、車載カメラ１０、前方移動体検知部１１、車載通信部１２、死角領域抽出部１３、画像変換部１４、画像合成部１５、簡易地図１６、詳細地図生成部１７、を備えている。なお、外界認識システム１は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。そして、主記憶装置にロードされたプログラムを演算装置が実行することで、上記した各機能を実現するが、以下では、このような周知技術を適宜省略しながら説明する。

車載カメラ１０は、車両の進行方向の画像を撮影するための単眼カメラやステレオカメラである。前方移動体検知部１１は、車載カメラ１０の撮影画像から車両や歩行者などの移動障害物を検知する。車載通信部１２は、路上カメラ２と通信するための通信装置である。死角領域抽出部１３は、車載カメラ１０の撮影画像の死角領域の補完に利用する画像を、路上カメラ２の撮影画像から抽出する。画像変換部１４は、死角領域抽出部１３の抽出画像を車載カメラ１０の視点に合わせて視点変換する。画像合成部１５は、車載カメラ１０の撮影画像と、画像変換部１４が視点変換した死角領域の画像を合成する。詳細地図生成部１７は、画像合成部１５の合成画像と簡易地図１６に基づいて、走行可能領域の詳細を示す詳細地図を生成する。なお、簡易地図１６には、道路構造を示すノードとリンク、および、各地の路上カメラ２のカメラパラメータ（設置位置、撮影範囲等）が記録されている。

＜外界認識システム１の処理内容＞
次に、図２から図５を用いて、具体的な状況下での外界認識システム１の処理内容を説明する。

図２は、２台の路上カメラ２Ａ、２Ｂを対角に設置した交差点における、ある時刻の車両交通の一例である。ここでは、外界認識システム１を搭載した自動運転車両Ｖ_０の前を車両Ｖ_１が走行しており、その車両Ｖ_１が交差点に進入しようとしている。この図のように、自動運転車両Ｖ_０の車載カメラ１０の視線が、車両Ｖ_１によって遮られている場合、自動運転車両Ｖ_０の外界認識システム１は、死角領域Ａ_Ｂを認識できないため、交差点より先の進路を決定できない。

また、図３は、図２の自動運転車両Ｖ_０の車載カメラ１０が撮影した画像の一例である。ここに示すように、車載カメラ１０は、車両Ｖ_１の前方の路面（図２の死角領域Ａ_Ｂ）を撮影できないため、死角領域Ａ_Ｂを通過する前にその部分の詳細地図を生成するためには、交差点に進入する前に車両Ｖ_１との距離を大きく離しておき交差点の先の路面が車載カメラ１０に写るようにするなどの対策が必要となる。但し、そのような対策を採ると、自動運転車両Ｖ_０が減速するため円滑な自動運転ができないという課題がある。

一方、図４は、自動運転車両Ｖ_０の進路方向を撮影可能な、路上カメラ２Ａの撮影画像の一例である。図から明らかなように、路上カメラ２Ａの撮影画像には、車載カメラ１０にとっての死角である死角領域Ａ_Ｂを含む路面が撮影されている。そこで、外界認識システム１は、自動運転車両Ｖ_０に搭載された車載カメラ１０の視点方向に近い路上カメラ２Ａに対し、撮影画像の送信を要求する。そして、外界認識システム１が路上カメラ２Ａの撮影画像を受信すると、まず、死角領域抽出部１３は死角領域Ａ_Ｂを含む画像を抽出し、次に、画像変換部１４は抽出画像を車載カメラ１０の視点に合わせて視点変換する。なお、外界認識システム１が、路上カメラ２Ｂに対してではなく、路上カメラ２Ａに対して撮影画像を要求するのは、車載カメラ１０の視点により近い路上カメラ２Ａの撮影画像を利用すれば、画像変換部１４による加工の程度が少なくなり、画質低下を抑えることができるからである。

図５は、外界認識システム１の画像合成部１５が生成した合成画像の一例であり、車載カメラ１０の撮影画像（図３）における車両Ｖ_１の写る領域を、画像変換部１４による視点変換画像（図４）に置換した画像である。このような合成画像を生成することで、詳細地図生成部１７は、車両Ｖ_１の死角となる交差点についても、詳細地図を生成することができ、車両制御装置は、その詳細地図に基づいて、交差点を通過する際の進路を決定することができる。

＜外界認識システム１のフローチャート＞
次に、図６のフローチャートを用いて、外界認識システム１の処理を順次説明する。

まず、ステップＳ１では、車載カメラ１０が前方の画像を撮影する。ステップＳ２では、前方移動体検知部１１は、車載カメラ１０の撮影画像で進行方向の路上の障害物を検知する。例えば、図３の車両Ｖ_１を障害物として検知する。ステップＳ３では、前方移動体検知部１１は、障害物が存在したかを判定し、障害物があれば前方の路上が死角になっていると判断し、ステップＳ４に進む。一方、障害物がなければ、前方の路上に死角はないと判断し、ステップＳ９に進む。

路上に死角がある場合、ステップＳ４では、外界認識システム１は、路上カメラ２Ａに撮影画像を要求する。なお、各路上カメラのカメラパラメータ（位置と向きなど）は簡易地図１６に記載されているため、外界認識システム１は、自動運転車両Ｖ_０の現在地と簡易地図１６に基づいて、車載カメラ１０の視線により近い路上カメラ２Ａに対して撮影画像を要求できる。

次に、ステップＳ５では、外界認識システム１は、路上カメラ２Ａから撮影画像を受信する。そして、ステップＳ６では、死角領域抽出部１３は、受信した撮影画像の中から合成に必要な部分を抽出する。ステップＳ７では、画像変換部１４は、死角領域抽出部１３の抽出画像に対し、車載カメラ１０と同じ視点の画像にするための視点変換処理を行う。ここでの視点変換処理は、路上カメラ２Ａの内部パラメータを車載カメラ１０の内部パラータに相当するように画像サイズを変換し、次に路上カメラ２Ａの外部パラメータを車載カメラ１０の外部パラメータに合わせるように路上カメラ２Ａの画像の視点変換を行うというものである。視点変換処理は、例えば特許文献１に記載の方法などの周知の方法で処理される。そして、ステップＳ８では、画像合成部１５は、車載カメラ１０の撮影画像と、画像変換部１４による視点変換画像を合成する。

最後に、ステップＳ９では、詳細地図生成部１７は、障害物が無ければ、車載カメラ１０の撮影画像を用いて詳細地図データを生成し、障害物があれば、画像合成部１５による合成画像（図５参照）を用いて詳細地図を生成する。なお、詳細地図の生成方法は、例えば特願２０１９－０５４６４９に記載の方法を用いることができる。この文献の方法はカメラとしてステレオカメラで３次元点群情報を生成する例が開示されているが、本実施例では単眼カメラを使用する例を示す。単眼カメラで３次元点群情報を生成する手法としては、公知の技術としてＳｆＭ（Structure from motion）がある。

以上で説明した本実施例の外界認識システム１によれば、自車両の前方を走行している車両Ｖ_１により、進行方向の路面が死角になっている場合であっても、路上カメラ２の撮影画像と車載カメラ１０の撮影画像を合成処理することで、死角領域をなくした合成画像を作成することが可能となり、進路の決定に用いる詳細地図をスムーズに作成することができる。

次に、本発明の実施例２に係る外界認識システムを説明する。なお、実施例１との共通点は重複説明を省略する。

実施例１では、外界認識システム１から路上カメラ２に撮影画像全体の送信を要求し、外界認識システム１の死角領域抽出部１３側で路上カメラ２の撮影画像から必要な領域を抽出していた。これに対し、本実施例では、外界認識システム１から路上カメラ２に対し、撮影画像の中の外界認識システム１で必要となる部分だけを切り出して送信するよう要求する。この場合、外界認識システム１は、死角領域抽出部１３を必要としないため、図７の外界認識システム１では、死角領域抽出部１３が省略されている。

路上カメラ２側で外界認識システム１に必要な画像の切り出すため、本実施例では、外界認識システム１の前方移動体検知部１１が車両Ｖ_１を検知すると、前方移動体検知部１１は、車載カメラ１０の撮影画像上での車両Ｖ_１の位置とサイズを判断する。その後、外界認識システム１の画像変換部１４は、車載カメラ１０の撮影画像上での車両Ｖ_１の位置とサイズを、路上カメラ２の撮影画像上での座標とサイズに変換する。そして、車載通信部１２は、路上カメラ２に画像の要求を送信するときに、画像の切り出し位置として前記の画像上の座標とサイズも含めて送信する。

路上カメラ２の路上通信部２２が車載通信部１２からの情報を受信すると、画像切り出し部２３が、外界認識システム１から受信した画像の切り出し位置に従って画像を切り出す。そして、その切り出された画像を、画像配信部２１を介して、外界認識システム１の車載通信部１２に配信する。

このようにして、外界認識システム１は、路上カメラ２側で切り出した画像を受信した後、画像変換部１４で車載カメラ１０の画像の視点に合うように視点変換し、画像合成部１５で合成する。

以上で説明したように、本実施例の外界認識システム１によれば、実施例１と同様の効果に加え、路上カメラ２から外界認識システム１に配信するデータ量を削減することが可能となる。

次に、本発明の実施例３に係る外界認識システムを説明する。なお、上記の実施例との共通点は重複説明を省略する。

図８は、一つの路上カメラ２が撮影した、撮影時間の異なる複数枚の画像を用いて、路面の死角領域をなくした画像を生成する方法を例示したものである。図８（ａ）は、図２の路上カメラ２Ａによる、ある時刻の撮影画像であり、車両Ｖ_１が交差点の進入直前に位置する画像である。この画像では車両Ｖ_１が位置する部分Ｐ_０の路面を撮影できていない。また、図８（ｂ）は、車両Ｖ_１が交差点を通過した直後の画像であり、車両Ｖ_１が位置する部分Ｐ_１の路面を撮影できていない。

そこで、本実施例では、図８（ａ）から部分Ｐ_０を削除した画像と、図８（ｂ）から部分Ｐ_１を削除した画像を組み合わせることで、車両Ｖ_１が映っていない、図８（ｃ）の合成画像を生成する。

図９は、図８（ｃ）に例示する合成画像の生成に用いる、本実施例の外界認識システム１の構成図であり、図１に示した実施例１の構成に、移動体認識部１８ａ、移動体削除部１８ｂ、画像保存部１８ｃ、路上カメラ画像合成部１８ｄを追加したものである。

本実施例の外界認識システム１では、路上カメラ２から受信した撮影画像に対し、まず、移動体認識部１８ａで走行中の車両Ｖ_１の位置と大きさを判定する。その後、移動体削除部１８ｂは、その検知された車両Ｖ_１の画像を削除して、画像保存部１８ｃに車両Ｖ_１の部分がない画像を保存する。路上カメラ２からは、複数の画像が送信されてくるので、各々の画像について同様の処理を行う。そして、路上カメラ画像合成部１８ｄは、車両Ｖ_１を削除した後の、撮影時間の異なる複数枚の画像を合成することで、車両Ｖ_１の写っていない合成画像を生成する。この合成画像が死角領域抽出部１３に入力されて以降の処理は、実施例１と同等である。

なお、路上に駐車車両Ｖ_２がいる場合であっても、移動体削除部１８ｂは、移動体ではない駐車車両Ｖ_２を画像から削除しない。従って、車両Ｖ_１が削除された合成画像にも、駐車車両Ｖ_２は残っており、詳細地図生成部１７が合成画像を利用して詳細地図を生成する際には、駐車車両Ｖ_２も含めて詳細地図に組み込まれることになる。その結果、駐車車両Ｖ_２の駐車部分を自動運転車両Ｖ_０の走行可能領域から除外することが可能となる。

以上で説明したように、本実施例の外界認識システム１によれば、交通量が多く、路上カメラ２の撮影画像の各々に車両による死角が多い場合であっても、撮影時間の異なる多数の撮影画像を組み合わせることで、走行中の車両による死角がない、路上カメラ２視点での撮影画像を生成することができる。また、本実施例による合成画像には駐車車両Ｖ_２が残っているため、この合成画像を利用して進路を決定する自動運転車両Ｖ_０は、駐車車両Ｖ_２を避けて通行することができる。

１ 外界認識システム
１０ 車載カメラ
１１ 前方移動体検知部
１２ 車載通信部
１３ 死角領域抽出部
１４ 画像変換部
１５ 画像合成部
１６ 簡易地図
１７ 詳細地図生成部
１８ａ 移動体認識部
１８ｂ 移動体削除部
１８ｃ 画像保存部
１８ｄ 路上カメラ画像合成部
２、２Ａ、２Ｂ 路上カメラ
２０ 撮影部
２１ 画像配信部
２２ 路上通信部
２３ 画像切り出し部
Ａ_Ｂ 死角領域
Ｖ_０ 自動運転車両
Ｖ_１ 車両
Ｖ_２ 駐車車両
２０ 撮影部
２１ 画像配信部
２２ 路上通信部
２３ 画像切り出し部

Claims (4)

1. 車載カメラの撮影画像と外部カメラの撮影画像を合成して、自車両の外部認識を認識する外界認識システムであって、
   自車両の前方を撮影する車載カメラと、
   前記外部カメラと通信する車載通信部と、
   前記車載カメラの撮影画像に基づいて、前方の移動体を検知する前方移動体検知部と、
   前記移動体による死角領域に相当する撮影画像だけを送信するよう前記外部カメラに要求するとともに、受信した前記外部カメラの撮影画像を前記車載カメラの視点に変換する画像変換部と、
   前記車載カメラの撮影画像の前記死角領域に、前記画像変換部による視点変換画像を合成する画像合成部と、
   該画像合成部の合成画像に基づいて自車両の進行方向の詳細地図を生成する詳細地図生成部と、を具備し、
   前記車載通信部は、前記外部カメラに画像を要求するときに、前記外部カメラが処理する画像の切り出し位置として画像上の座標とサイズを送信することを特徴とする外界認識システム。
2. 請求項１に記載の外界認識システムにおいて、
   前記前方移動体検知部は、前記車載カメラの撮影画像上での前方の移動体の位置とサイズを検知し、
   前記画像変換部は、前記車載カメラの撮影画像上での前方移動体の位置とサイズを、外部カメラの撮影画像上での座標とサイズに変換することを特徴とする外界認識システム。
3. 請求項１に記載の外界認識システムにおいて、
   前記外部カメラは、路上に設置されたカメラであることを特徴とする外界認識システム。
4. 請求項１に記載の外界認識システムにおいて、
   利用可能な外部カメラが複数存在する場合は、前記画像変換部は、前記車載カメラの視点により近い外部カメラの撮影画像を処理対象とすることを特徴とする外界認識システム。

Images