JP6610994B2

JP6610994B2 - 障害物検出装置、及び、障害物検出方法

Info

Publication number: JP6610994B2
Application number: JP2015133814A
Authority: JP
Inventors: ともえ大築; 稔藤岡
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2015-07-02
Filing date: 2015-07-02
Publication date: 2019-11-27
Anticipated expiration: 2035-07-02
Also published as: JP2017016474A

Description

本発明は、障害物検出装置、及び、障害物検出方法に関する。

車両に搭載されるカメラを用いて、車両周辺の障害物を検出するシステムが知られている。また、車両周辺の障害物を検知して、車両と障害物との衝突を防止するための警報、ブレーキ制御、操舵制御等を行うシステムがある。車両周辺の障害物の検出には、予め記憶された障害物等のテンプレートとカメラで撮影された画像とを比較するテンプレートマッチング等が用いられている。また、テールランプや物体の縦横比等の条件に合致するものを障害物として検出する方法がある。

特開２００９−１７７６６６号公報特開２００４−３５５１３９号公報特開２０１０−２３７８１０号公報

テンプレートマッチングでは、予め記憶された障害物等以外のものを検出することは困難であるという問題がある。また、所定の条件に合致するものを障害物として検出する場合、所定の条件に合致しない障害物を検出することが困難であるという問題がある。車両での走行中に、障害物が障害物として検知されないと、車両が障害物を避けられないおそれがあり、重大な事故につながるおそれがある。

本発明は、車両周辺の障害物を検出する障害物検出装置を提供することを目的とする。

本発明は、上記課題を解決するために、以下の手段を採用する。
即ち、本発明の第１の態様は、
車両に搭載されたカメラで撮影された撮影画像、前記車両の位置、前記位置の周辺の地図情報を取得する取得部と、
前記車両の位置と、前記地図情報とに基づいて、前記撮影画像を模擬する模擬画像を作成する画像作成部と、
前記撮影画像と前記模擬画像とに基づいて、前記撮影画像に含まれる障害物を検出する障害物検出部と、を備える、
障害物検出装置とする。

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。

本発明によれば、車両周辺の障害物を検出する障害物検出装置を提供することができる。

図１は、障害物検出装置を含む車載システムの構成例を示す図である。図２は、情報処理装置のハードウェア構成例を示す図である。図３は、障害物検出装置を含む車載システムの動作フローの例を示す図である。図４（Ａ）は、カメラ１１０で撮影された撮影画像の例を示す図である。図４（Ｂ）は、２Ｄ画像作成部１４２で作成された模擬画像の例を示す図である。図５は、図４（Ａ）の撮影画像において、白線の領域として抽出された領域の例を示す図である。図６は、図４（Ａ）の撮影画像において、路面の領域として抽出された領域の例を示す図である。図７は、図４（Ａ）の撮影画像において、影の領域として抽出された領域の例を示す図である。図８は、図４（Ａ）の撮影画像において、白線、路面または影の領域として抽出された領域の例を示す図である。図９は、図８の白線、路面または影の領域として抽出された領域を示す画像から、ノイズを除去した画像の例を示す図である。図１０は、撮影画像に、検知された障害物の領域を重ねた画像の例を示す図である。図１１は、表示装置に表示される画像の例を示す図である。図１２は、変形例のシステムの構成例を示す図である。

以下、図面を参照して、本発明にかかるシステムについて説明する。実施形態の構成は例示であり、本発明は開示の実施形態の構成に限定されない。

〔実施形態〕
（構成例）
図１は、障害物検出装置を含む車載システムの構成例を示す図である。車載システム１００は、カメラ１１０、ＧＰＳ（Global Positioning System）１２０、３Ｄ地図ＤＢ（Database）１３０、障害物検出装置１４０、車両制御装置１５０、表示装置１６０、音声
装置１７０を含む。車載システム１００は、車両１０に搭載される。車両１０は、道路を走行する自動車などである。障害物検出装置１４０は、視点視線一致部１４１、２Ｄ画像作成部１４２、障害物検知部１４３、障害物距離算出部１４４、通知制御判定部１４５を含む。

カメラ１１０は、車両１０の進路前方（進行方向）を撮影した画像を取得するデバイスである。カメラ１１０は、車両１０に取り付けられる。カメラ１１０の光軸方向は、車両１０の進路前方の道路（路面）を撮影できる所定の方向を向いて、車両１０に取り付けられている。カメラ１１０で撮影される画像は、所定の画角を有している。カメラ１１０の光軸方向は、カメラ１１０のレンズの中心軸の方向である。カメラ１１０の光軸方向は、視線方向ともいう。

カメラ１１０で撮影された画像内の路面上の任意の点の車両１０（カメラ１１０）からの距離は、カメラ１１０が取り付けられた位置（高さ）、カメラ１１０の光軸方向、画像の画角から、容易に算出される。例えば、画像の中心位置（光軸と路面との交点）に表れる路面までの車両１０からの距離ｘは、カメラ１１０の路面からの高さがｈ、カメラ１１
０の光軸方向と路面とのなす角がθであるとすると、ｘ＝ｈ／ｔａｎθである。画像の高さ方向の幅（ピクセル数）と画像の高さ方向の画角から、画像における高さ方向の位置と、画像内の路面の任意の点とカメラとを結ぶ線と路面との角度との関係（例えば、画像１ピクセル当たりの角度）が算出される。従って、画像の中心位置以外の路面の点と車両１０との距離も同様に算出され得る。

ＧＰＳ１２０は、車両１０の現在位置を数ｍ以内の精度で取得するシステムである。現在位置は、例えば、緯度、経度、高度で特定される。ＧＰＳ１２０は、車両１０の進行方向等から、車両１０の向き（方角）を取得することができる。

３Ｄ地図ＤＢ１３０は、路面、白線、道路標識、路面標示のデータ（位置、形状、色等）を３次元地図情報として有している３次元地図のデータベースである。白線は、路面に記載された白線である。３次元地図情報に基づいて、任意の視点からの任意の視線方向の路面、白線等を含む２次元画像を作成することができる。よって、３次元地図情報に基づいて、カメラ１１０で撮影された画像の撮影位置、方向、画角と、同じ位置、方向、画角の画像（２次元画像）を作成することができる。白線には、黄線が含まれてもよい。３次元地図情報は、地図情報の一例である。

障害物検出装置１４０は、カメラ１１０で撮影された画像、ＧＰＳ１２０による現在位置及び向き、３Ｄ地図ＤＢ１３０による３次元地図等の情報に基づいて、車両１１０の進路前方の障害物を検出する。障害物検出装置１４０は、視点視線一致部１４１、２Ｄ画像作成部１４２、障害物検知部１４３、障害物距離算出部１４４、通知制御判定部１４５を含む。

視点視線一致部１４１は、ＧＰＳ１２０からの情報により車両１０の現在位置（緯度、経度、高度）を把握する。視点視線一致部１４１は、現在位置の周辺の３次元地図情報を３Ｄ地図ＤＢ１３０から取得する。視点視線一致部１４１は、現在位置においてカメラ１１０の位置から撮影される画像の視点及び視線方向を、３Ｄ地図ＤＢ１３０からの３次元地図情報に基づいて、算出する。視点視線一致部１４１は、取得部の一例である。

２Ｄ画像作成部１４２は、視点視線一致部１４１で算出された視点及び視線方向に基づいて、現在位置においてカメラ１１０の位置から撮影される画像を模擬した模擬画像（２Ｄ画像）を作成する。模擬画像には、障害物は含まれない。２Ｄ画像作成部１４２は、画像作成部の一例である。

障害物検知部１４３は、カメラ１１０によって撮影された画像と、２Ｄ画像作成部１４２によって作成された画像などに基づいて、路面上の障害物を検出する。
障害物距離算出部１４４は、車両１０と検出された障害物との距離を算出する。

通知制御判定部１４５は、車両１０の運転者に運転を誘導しなければならないか否かを判定する。また、車両１０が自動運転されている場合、通知制御判定部１４５は、車両１０の制御をしなければならないか否かを判定する。

車両制御装置１５０は、車両１０を制御し、安全に障害物との衝突を回避する装置である。

表示装置１６０は、車両１０の運転者に対して、障害物の存在を通知する表示を行う装置である。表示装置１６０は、例えば、液晶ディスプレイによって実現される。

音声装置１７０は、車両１０の運転者に対して、障害物の存在を通知する音声を出力す
る装置である。表示装置１６０は、例えば、スピーカによって実現される。

障害物検出装置１４０は、ＰＣ（Personal Computer）のような専用または汎用のコン
ピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。

図２は、情報処理装置のハードウェア構成例を示す図である。図２に示す情報処理装置９０は、一般的なコンピュータの構成を有している。障害物検出装置１４０は、図２に示すような情報処理装置９０を用いることによって、実現される。図２の情報処理装置９０は、プロセッサ９１、メモリ９２、記憶部９３、入力部９４、出力部９５、通信制御部９６を有する。これらは、互いにバスによって接続される。メモリ９２及び記憶部９３は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図２に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。

情報処理装置９０は、プロセッサ９１が記録媒体に記憶されたプログラムをメモリ９２の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。

プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。

メモリ９２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。メモリ９２は、主記憶装置とも呼ばれる。

記憶部９３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスク
ドライブ（ＨＤＤ、Hard Disk Drive）である。また、記憶部９３は、リムーバブルメデ
ィア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。記憶部９３は、二次記憶装置とも呼ばれる。

記憶部９３は、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部９３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。記憶部９３に格納される情報は、メモリ９２に格納されてもよい。また、メモリ９２に格納される情報は、記憶部９３に格納されてもよい。

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部１０１２を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他の情報処理装置、外部記憶装置等が含まれる。

入力部９４は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部９４は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。

出力部９５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）パ
ネル、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）等の表示装置、プリンタ等の出力装置を含む。また、出力部９５は、スピーカのような音声の出力装置を含むことができる。

通信制御部９６は、他の装置と接続し、情報処理装置９０と他の装置との間の通信を制御する。通信制御部９６は、例えば、ＬＡＮ（Local Area Network）インタフェースボード、無線通信のための無線通信回路、電話通信のための通信回路である。ＬＡＮインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。

（動作例）
図３は、障害物検出装置を含む車載システムの動作フローの例を示す図である。図３の動作フローは、カメラ１１０で画像が撮影される毎に実行される。例えば、カメラ１１０による撮影間隔が１／３０秒である場合、１／３０秒毎に実行される。また、図３の動作フローは、ＧＰＳ１２０で緯度、経度を取得するタイミングで実行されてもよい。

Ｓ１０１では、障害物検出装置１４０の視点視線一致部１４１は、カメラ１１０より、車両１０の進路前方を撮影した画像（撮影画像）を取得する。また、視点視線一致部１４１は、ＧＰＳ１２０より、車両１０の現在位置（緯度、経度，高度）を取得する。さらに、視点視線一致部１４１は、ＧＰＳ１２０より、車両１０の向き（進行方向）の方角を取得する。ＧＰＳ１２０は、車両１０の進行方向、車両１０の車輪の向き等により、車両１０の向きを検出することができる。

図４（Ａ）は、カメラ１１０で撮影された撮影画像の例を示す図である。図４（Ａ）の画像には、白線の引かれた路面、道路標識、路面を走行する他の車両、路面の周辺の建物等が含まれている。画像において、路面は、下の方がより手前であり、上の方がより奥である。

Ｓ１０２では、視点視線一致部１４１は、カメラ１１０から取得された画像の取得時刻と、ＧＰＳ１２０から取得した現在位置の取得時刻とが一致するか否かを判定する。これらの取得時刻が異なる場合、カメラ１１０で撮影された画像が撮影された位置と、ＧＰＳ１２０で取得した現在位置とが異なる可能性があるため、両方を再度取得する。これらの取得時刻が異なる場合（Ｓ１０２；ＮＯ）、処理がＳ１０１に戻る。これらの取得時刻が一致する場合（Ｓ１０２；ＹＥＳ）、処理がＳ１０３に進む。

Ｓ１０３では、視点視線一致部１４１は、３Ｄ地図ＤＢ１３０より、ＧＰＳ１２０から取得した現在位置の周辺の３次元地図情報を取得する。

Ｓ１０４では、視点視線一致部１４１は、カメラ１１０で撮影された撮影画像の視点及び視線方向を求める。視点は、撮影画像が撮影された位置（緯度、経度、高度）の情報である。視線方向は、撮影画像を撮影した際のカメラ１１０の光軸方向である。視点視線一致部１４１は、Ｓ１０１で取得された車両１０の現在位置及び車両１０の向きと、Ｓ１０３で取得された現在位置の周辺の３次元地図情報とに基づいて、現在位置の車両１０の向きにおける画像を生成する。現在位置には、数ｍ程度の誤差が含まれるため、現在位置からの画像を３次元地図情報に基づいて作成しても、位置がずれることがある。そこで、視点視線一致部１４１は、現在位置の周辺についても、３次元地図情報に基づいて、車両１０の向きにおける画像を作成する。現在位置の周辺の画像には、現在位置の周囲からの画像、及び、視線方向を変更した画像も含まれる。即ち、視点視線一致部１４１は、複数の視点（位置）、及び、視線方向（光軸方向）からの画像を作成する。カメラ１１０の視線方向は、例えば、路面に対する角度（例えば、パン、チルト、ロール）によって表される。現在位置の周辺については、複数の画像が作成される。作成される画像には、路面、白線、道路標識、路面標示等が含まれる。

視点視線一致部１４１は、現在位置の画像及び現在位置の周辺の画像と、カメラ１１０
で撮影された撮影画像とを比較して、現在位置及び現在位置の周辺の画像の中から、撮影画像と最も一致する画像を抽出する。画像の比較は例えば次のように行う。視点視線一致部１４１は、現在位置の画像、現在位置の周辺の画像、撮影画像のエッジ画像を作成する。エッジ画像は、元の画像の色の境界部分を示す画像である。視点視線一致部１４１は、撮影画像のエッジ画像と、他の各画像のエッジ画像とのすべての画素の差分を比較し、差分が最も小さい現在位置の画像または現在位置の周辺の画像を抽出する。エッジ画像を使用することで、画像の明暗に影響されずに画像の比較をすることができる。差分が小さいことは、画像における、路面、白線、道路標識、路面標示等の位置が一致している可能性が高いことを示す。視点視線一致部１４１は、抽出した画像の視点（位置）及び視線方向を算出する。算出された視点及び視線方向は、撮影画像の視点及び撮影方向であるとみなされる。

Ｓ１０５では、２Ｄ画像作成部１４２は、視点視線一致部１４１で求めた視点及び視線方向に基づいて、カメラ１１０で撮影された撮影画像を模擬した模擬画像（２次元画像）を作成する。２Ｄ画像作成部１４２は、視点視線一致部１４１で求めた視点の周辺の３次元地図情報を３Ｄ地図ＤＢ１３０から取得する。２Ｄ画像作成部１４２は、取得した３次元地図情報に基づいて、模擬画像を作成する。模擬画像には、路面、白線、道路標識、路面標示等が含まれる。模擬画像には、障害物は含まれない。

図４（Ｂ）は、２Ｄ画像作成部１４２で作成された模擬画像の例を示す図である。図４（Ｂ）の模擬画像には、路面、白線、道路標識等が含まれている。図４（Ｂ）の模擬画像は、図４（Ａ）の撮影画像を模擬した画像である。

Ｓ１０６では、障害物検知部１４３は、カメラ１１０で撮影された撮影画像の路面に存在する障害物を検出する。障害物は、例えば、他の車両、道路工事位置を示す標識、他の車両からの落下物などである。

障害物検知部１４３は、２Ｄ画像作成部１４２で作成された模擬画像における路面の領域を検出する。障害物検知部１４３は、カメラ１１０で撮影された撮影画像から、模擬画像における路面の領域と同じ位置の領域を、路面の領域として、抽出する。障害物検知部１４３は、撮影画像の抽出した路面の領域の各画素の画素値（Ｒ、Ｇ、Ｂ）の平均値（Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅ）及び分散値（Ｒ_σ、Ｇ_σ、Ｂ_σ）を算出する。Ｒ（Ｒｅｄ）は画素値の赤成分、Ｇ（Ｇｒｅｅｎ）は画素値の緑成分、Ｂ（Ｂｌｕｅ）は画素値の青成分を示す。また、障害物検知部１４３は、カメラ１１０で撮影された撮影画像から、模擬画像における白線の領域と同じ位置の領域を、白線の領域として、抽出する。白線は路面に引かれるため、白線の領域は、路面の領域に含まれる。

障害物検知部１４３は、抽出された白線の領域で、次のすべての条件を満たす画素値を含む領域を抽出する（条件１）。条件１では、路面上の白線の領域が抽出される。ここで抽出される白線の領域は、撮影画像に現れている白線の領域である。即ち、障害物等によって見えない白線の領域は含まれない。白線となる色の範囲は、条件１に限定されるものではない。

図５は、図４（Ａ）の撮影画像において、白線の領域として抽出された領域の例を示す図である。図５の例では、白色の部分が白線の領域として抽出された領域である。

また、障害物検知部１４３は、抽出された路面の領域で、次のすべての条件を満たす画素値を含む領域を抽出する（条件２）。条件２では、路面の領域が抽出される。ここで抽出される路面の領域は、撮影画像に現れている路面の領域である。即ち、障害物等によって見えない路面の領域は含まれない。路面となる色の範囲は、条件２に限定されるものではない。

画素値の３色の成分（Ｒ、Ｇ、Ｂ）を使用することで、より誤検知を低減することができる。

図６は、図４（Ａ）の撮影画像において、路面の領域として抽出された領域の例を示す図である。図６の例では、白色の部分が路面の領域として抽出された領域である。

また、障害物検知部１４３は、抽出された路面の領域で、次のすべての条件を満たす画素値を含む領域を抽出する（条件３）。条件３では、路面上の影の領域が抽出される。路面上の影は、障害物ではない。

日陰の道路の色は、日向の道路の色に比べて青側にシフトしている。ここでは、実測に基づいて、影となる色の範囲を決定している。影となる色の範囲は、これに限定されるものではない。

図７は、図４（Ａ）の撮影画像において、影の領域として抽出された領域の例を示す図である。図７の例では、白色の部分が影の領域として抽出された領域である。

図８は、図４（Ａ）の撮影画像において、白線、路面または影の領域として抽出された領域の例を示す図である。図８の例では、白色の部分が白線、路面または影の領域として抽出された領域である。

障害物検知部１４３は、条件１、条件２、条件３により、模擬画像における路面の領域から、撮影画像に含まれる白線、路面、影の領域を抽出する。また、障害物検知部１４３は、模擬画像における路面の領域において、ある１つの画素の周囲の８画素のうち、半分以上の画素が白線、路面または影の領域である場合、当該１つの画素は路面の領域であるとする。これによりノイズを除去することができる。

図９は、図８の白線、路面または影の領域として抽出された領域を示す画像から、ノイズを除去した画像の例を示す図である。図９の例では、白色の部分が、最終的に、白線、路面または影の領域として抽出された領域である。図８の例と比べて、白線の周囲等が路面として抽出されている。

障害物検知部１４３は、模擬画像における路面の領域であって、撮影画像に含まれる白線、路面、影の領域とされなかった領域を、障害物として検知する。

図１０は、撮影画像に、検知された障害物の領域を重ねた画像の例を示す図である。図１０の例では、右手前方の路面上に、障害物が検知されている。図１０の例では、障害物の領域が白く塗りつぶされている。

Ｓ１０７では、障害物距離算出部１４４は、障害物検知部１４３で検知された障害物までの距離を算出する。撮影画像のピクセル数（横のピクセル数、縦のピクセル数）及び画角（横の画角、縦の画角）は、予め設定されている。よって、画像の縦方向及び横方向について、１ピクセル当たりの角度が容易に算出される。また、カメラ１１０の視線方向は、模擬画像を作成する際の視線方向であるとする。視線方向は、画像の中央に相当する。よって、画像の中央から離れた点（画像内の路面上の点）についても、視線方向とのなす角が算出される。よって、画像内の路面上の点と車両を結ぶ直線と路面とのなす角が求められる。また、カメラ１１０の取り付けられる高さは既知である。よって、障害物距離算出部１４４は、カメラ１１０の視線方向と、カメラ１１０が取り付けられている位置（高さ）と、障害物の撮影画像における位置とに基づいて、車両１０から障害物までの距離を算出することができる。ここで、障害物との距離を算出する際の障害物の位置は、撮影画像における障害物の領域の縦方向の一番低い位置を障害物の位置とする。一番低い位置は、画像内の路面において、車両１０に一番近い位置である。

Ｓ１０８では、通知制御判定部１４５は、検知された障害物を、避けるべきか否かを判定する。通知制御判定部１４５は、車両１０の状態（スピード、進行方向、操舵角）等を取得し、検知された障害物を避けるべきか否かを判定する。通知制御判定部１４５は、車両１０が障害物に衝突するおそれがあると判断する場合、障害物を避けるべきと判定する。また、通知制御判定部１４５は、車両１０が障害物に衝突するおそれがないと判断する場合、障害物を避けるべきと判定しない。障害物を避けるべきと判定する場合（Ｓ１０８；ＹＥＳ）、処理がＳ１０９に進む。障害物を避けるべきと判定しない場合（Ｓ１０８；ＮＯ）、図３の動作フローの処理が終了する。

Ｓ１０９では、通知制御判定部１４５が障害物を避けるべきと判断すると、表示装置１６０は、図１０のように、障害物の領域を示された撮影画像に、算出された障害物までの距離を重ねて表示する。また、音声装置１７０は、算出された障害物までの距離を、音声として、出力する。例えば、音声装置１７０は、「障害物までの距離は２０ｍです」との
音声を出力する。これらによって、車両１０の運転者は、前方の障害物と障害物までの距離とを認識することができる。また、車両１０が自動運転されている場合、車両制御装置１５０は、安全に障害物を避けるように車両１０を制御する。

図１１は、表示装置に表示される画像の例を示す図である。図１１の表示装置１６０に表示される画像は、図１０の画像に障害物までの距離の情報が重ねられている。図１１の例では、車両１０から障害物までの距離は、２０ｍである。車両１０から障害物までの距離は、画像内の障害物の領域の一番低い位置を基準としている。

（変形例）
図１２は、変形例のシステムの構成例を示す図である。図１２のシステムは、車両１００及びサーバ２００を含む。車両１０及びサーバ２０は、ネットワークを介して、通信可能に接続されている。車両１０は、車載システム１００を含む。ここでは、車載システム１００は、障害物検出装置１４０を含まない。

ここでは、障害物検出装置１４０及び３次元地図ＤＢ１３０は、サーバ２０に含まれる。また、３次元地図ＤＢ１３０も、このとき、車両１０の車載システム１００は、カメラ１１０で撮影した撮影画像をサーバ２０に送信する。また、車両１０の車載システム１００は、ＧＰＳ１２０で取得した車両１０の現在位置及び車両１０の向き等の情報を、サーバ２０に送信する。サーバ２０では、障害物検出装置１４０が、撮影画像、車両１０の現在位置、３次元地図ＤＢ１３０の３次元地図情報などに基づいて、障害物を検出する。サーバ２０における障害物検出装置１４０の動作は、図３で示される動作フローの動作と同様である。障害物検出装置１４０は、障害物を検知すると、障害物の情報を、車両１０に送信する。障害物の情報を送信された車両１０では、図３で示される動作フローの動作と同様に、表示装置１６０、音声装置１７０、車両制御装置１５０において、障害物の検知に対する処理が行われる。

一方、車両１０が障害物検出装置１４０を含み、サーバ２０が３次元地図ＤＢ１３０を含んでもよい。このとき、必要に応じて、車両１０がサーバ２０に利用する範囲の３次元地図情報を要求する。３次元地図情報は、データ容量が大きく、また、頻繁に更新されるため、サーバ２０に含むことで、車両１０に搭載される記憶容量を削減し、サーバ２０の３次元地図情報を更新することで、車両に対して最新の地図情報を提供することができる。

（実施形態の作用、効果）
障害物検出装置１４０は、３次元地図情報と、カメラ１１０に撮影された撮影画像とに基づいて、路面上の障害物を検知する。

障害物検出装置１４０は、模擬画像の路面の領域から、撮影画像に含まれる路面、白線、影の領域を除去し、残りの領域を障害物の領域として検知する。障害物検出装置１４０は、事前に想定していない（テンプレートにない）障害物を検知することができる。障害物検出装置１４０は、あらかじめ、路面と、白線と、影とを除去して、障害物を検知するため、影を障害物として誤検知することを防止できる。

障害物検出装置１４０は、路面の障害物を検知して、運転者に通知することで、事故を回避し、車両１０の運転者により安全な運転を促すことができる。

１０車両
２０サーバ
９０情報処理装置
９１プロセッサ
９２メモリ
９３記憶部
９４入力部
９５出力部
９６通信制御部
１００車載システム
１１０カメラ
１２０ＧＰＳ
１３０３次元地図情報
１４０障害物検出装置
１４１視点視線一致部
１４２２Ｄ画像作成部
１４３障害物検知部
１４４障害物距離算出部
１４５通知制御判定部
１５０車両制御装置
１６０表示装置
１７０音声装置

Claims

車両に搭載されたカメラで撮影された撮影画像、前記車両の位置、前記位置の周辺の地図情報を取得する取得部と、
前記車両の位置と、前記地図情報とに基づいて、前記撮影画像を模擬する模擬画像を作成する画像作成部と、
前記撮影画像と前記模擬画像とに基づいて、前記撮影画像に含まれる障害物を検出する障害物検知部と、を備え、
前記地図情報は、路面の位置情報及び白線の位置情報を含み、
前記画像作成部は、前記路面の位置情報及び前記白線の位置情報を含む前記地図情報に基づいて、前記路面の領域及び前記白線の領域を含む前記模擬画像を作成し、
前記障害物検知部は、前記模擬画像における路面の領域及び白線の領域から、前記撮影画像における路面の領域、白線の領域及び影の領域を除外した領域を、障害物の領域として検知する、
障害物検出装置。
コンピュータが、
車両に搭載されたカメラで撮影された撮影画像、前記車両の位置、及び、路面の位置情報及び白線の位置情報を含む、前記位置の周辺の地図情報を取得し、
前記車両の位置と、前記路面の位置情報及び前記白線の位置情報を含む前記地図情報とに基づいて、前記撮影画像を模擬する、前記路面の領域及び前記白線の領域を含む模擬画像を作成し、
前記撮影画像と前記模擬画像とに基づいて、前記模擬画像における路面の領域及び白線の領域から、前記撮影画像における路面の領域、白線の領域及び影の領域を除外した領域を、前記撮影画像に含まれる障害物の領域として検出する、
ことを実行する障害物検出方法。