JP7138718B2

JP7138718B2 - 地物検出装置、地物検出方法および地物検出プログラム

Info

Publication number: JP7138718B2
Application number: JP2020553743A
Authority: JP
Inventors: 衛三浦; 亞矢子根本; 芳美守屋; 秀之増井; 裕介伊谷; 昌志渡辺; 克之亀井; 卓磨角谷
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-10-30
Filing date: 2019-10-15
Publication date: 2022-09-16
Anticipated expiration: 2039-10-15
Also published as: WO2020090428A1; EP3876189A4; US11625851B2; JPWO2020090428A1; US20210342620A1; EP3876189A1

Description

本発明は、点群データと画像データとをもとに高精度な地物検出を実現するための技術に関するものである。

安全な自動運転を実現するために、道路上の物体（地物）について位置および種類を示す図化データが作成される。
図化データは、自動運転を実現するためのダイナミックマップデータにおいて基盤データとなる。
そのため、図化データは、実際の道路の変化に合わせて更新されることが求められている。

図化データでは、路肩縁、区画線、標識および道路標示などの位置が地球上の座標（緯度および経度、または、平面直角座標）で記述されている。
自動運転車は、図化データを参照することで現在の走行環境を把握できる。そして、自動運転車は、リアルタイムでセンシングされた周辺の動的な情報（他車両および歩行者の位置など）を現在の走行環境と組み合わせることで、自身にとって最適な移動経路および移動制御を導き出すことが可能となる。

特開２０１７－２６４３０号公報

Ｚ．Ｚｈａｎｇ， "Ａｆｌｅｘｉｂｌｅｎｅｗｔｅｃｈｎｉｑｕｅｆｏｒｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，" ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２２，ｎｏ．１１，ｐｐ．１３３０－１３３４，Ｎｏｖ．２０００．Ｊ．Ｊｉｎ，Ｋ．Ｆｕ，Ｃ．Ｚｈａｎｇ， "ＴｒａｆｆｉｃＳｉｇｎＲｅｃｏｇｎｉｔｉｏｎＷｉｔｈＨｉｎｇｅＬｏｓｓＴｒａｉｎｅｄｃｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，" ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎｓｙｓｔｅｍｓ，ｖｏｌ．１５（５），ｐｐ．１９９１－２０００，２０１４．Ｙ．ＬｅＣｕｎ，Ｌ．Ｂｏｔｔｏｕ，Ｙ．ＢｅｎｇｉｏａｎｄＰ．Ｈａｆｆｎｅｒ， "Ｇｒａｄｉｅｎｔ－ｂａｓｅｄｌｅａｒｎｉｎｇａｐｐｌｉｅｄｔｏｄｏｃｕｍｅｎｔｒｅｃｏｇｎｉｔｉｏｎ，" ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ，ｖｏｌ．８６，ｎｏ．１１，ｐｐ．２２７８－－２３２４，１９９８．

モービルマッピングシステム（ＭＭＳ）によって、点群データおよび画像データが取得される。そして、図化データは、点群データと画像データとをもとに、人手によって作成されている。
しかしながら、広範囲にわたる道路の図化データを作成するには、膨大な人的コストお
よび膨大な時間的コストを要する。そのため、図化データを自動的に作成する自動図化技術が求められている。そして、自動図化技術には、高精度な図化が求められている。ここでいう高精度とは、図化データにおいて地物の種類に誤りがないこと、つまり、図化データに示される地物の種類が現実の道路に存在する地物の種類と齟齬がないことを指す。

点群データまたは画像データを用いた地物の抽出は公知である。
特許文献１には、点群クラスタから標識を見つけることが記載されている。
しかしながら、高精度な図化データを作成するには、それぞれのデータのみを用いた抽出では不十分である。点群データのみを用いた抽出では、地物の３次元位置が特定できる一方で、地物の種類を認識することが困難である。画像データのみを用いた抽出では、地物の種類が特定できる一方で、地物の３次元位置を特定できない。加えて、画像の撮影タイミングまたは撮影時の地物との位置関係によっては、地物の誤認識または地物の見落としが発生する。

非特許文献１から非特許文献３には、点群データと画像データとを利用するための技術が開示されている。それぞれの非特許文献については後述する。

本発明は、点群データと画像データとをもとに高精度な地物検出を実現できるようにすることを目的とする。

本発明の地物検出装置は、
地物が存在する計測地域での撮影によって得られた画像データを用いて、前記画像データが表す画像から前記地物の種類を認識する地物認識部と、
前記計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、前記地物の位置を特定する位置特定部と、を備える。

本発明によれば、画像データを用いて地物の種類を認識し、点群データを用いて地物の位置を特定することができる。
したがって、点群データと画像データとをもとに、高精度な地物検出を実現することが可能となる。

実施の形態１における地物検出装置１００の構成図。実施の形態１における記憶部１９０の構成図。実施の形態１における地物検出方法のフローチャート。実施の形態１における３次元点群２００を示す図。実施の形態１における３次元点群２００と画像２１０との関連付けを示す図。実施の形態１における画像２１０と３次元空間２２０との関連付けを示す図。実施の形態１における候補抽出処理（Ｓ１１０）のフローチャート。実施の形態１における平面点群抽出処理（Ｓ１１１）のフローチャート。実施の形態１における候補領域２０２に対応する画像領域を算出するための情報の説明図。実施の形態１における候補画像領域算出処理（Ｓ１２０）のフローチャート。実施の形態１における認識処理（Ｓ１３０）のフローチャート。実施の形態１における画像２１０を示す図。実施の形態１における矩形画像２１２Ａを示す図。実施の形態１における矩形画像２１２Ｂを示す図。実施の形態１における識別処理（Ｓ１３５）のフローチャート。実施の形態１における領域画像２１４のガンマ補正を示す図。実施の形態１における畳み込みニューラルネットワーク２３０の概要図。実施の形態１におけるＣＮＮによる識別誤りを示す図。実施の形態１における案内標識（Ｇ１～Ｇ３）と入力画像とを示す図。実施の形態１における案内標識特徴データ２４０と入力特徴ベクトル２４１とを示す図。実施の形態１における暫定領域算出処理（Ｓ１４０）のフローチャート。実施の形態１における画像座標値から３次元座標値への変換の様子を示す図。実施の形態１における統合処理（Ｓ１５０）のフローチャート。実施の形態２における候補抽出処理（Ｓ１１０）のフローチャート。実施の形態２における認識処理（Ｓ１３０）のフローチャート。実施の形態２における矩形画像２１５から俯瞰画像２１６への変換を示す図。実施の形態２における暫定領域（２１７Ａ、２１７Ｂ）から地物領域２１８への統合を示す図。

実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
計測地域に存在する地物を３次元点群データと画像データとを用いて検出する形態について、図１から図２３に基づいて説明する。
特に、道路標識を検出する形態について説明する。

＊＊＊構成の説明＊＊＊
図１に基づいて、地物検出装置１００の構成を説明する。
地物検出装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。

プロセッサ１０１は、演算処理を行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）であり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、またはＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。
メモリ１０２は揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、またはフラッシュメモリである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信
チップまたはＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）である。
入出力インタフェース１０５は入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。ＵＳＢはＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓの略称である。

地物検出装置１００は、候補抽出部１１０と地物認識部１２０と位置特定部１３０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置１０３には、候補抽出部１１０と地物認識部１２０と位置特定部１３０としてコンピュータを機能させるための地物検出プログラムが記憶されている。地物検出プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
さらに、補助記憶装置１０３にはＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）が記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
つまり、プロセッサ１０１は、ＯＳを実行しながら、地物検出プログラムを実行する。
地物検出プログラムを実行して得られるデータは、メモリ１０２、補助記憶装置１０３、プロセッサ１０１内のレジスタ、または、プロセッサ１０１内のキャッシュメモリといった記憶装置に記憶される。

メモリ１０２は記憶部１９０として機能する。但し、他の記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。

地物検出装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１０１の役割を分担する。

地物検出プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図２に基づいて、記憶部１９０の構成を説明する。
記憶部１９０には、３次元点群データ１９１と複数の画像データ１９２とが記憶される。さらに、記憶部１９０には、地物検出装置１００で使用される各種のデータが記憶される（図示省略）。
３次元点群データ１９１および複数の画像データ１９２は、モービルマッピングシステム（ＭＭＳ）によって生成される。

ＭＭＳでは、ＧＰＳ受信機、ＩＭＵ、レーザレーダおよびカメラなどの各種の計測装置が搭載された計測車両が使用される。ＧＰＳはＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍの略称である。ＧＰＳ受信機は測位装置である。ＩＭＵはＩｎｅｒｔｉａｌ
ＭｅａｓｕｒｅｍｅｎｔＵｎｉｔの略称である。

計測車両は、移動しながら各種の計測を行う車両である。
例えば、ＧＰＳ受信機とＩＭＵとによって、各時刻における計測車両の位置および姿勢が計測される。レーザレーダによってレーザ計測が行われる。カメラによって、計測地域の各箇所で計測地域が撮影される。
計測地域は、計測車両によって計測された地域である。

計測車両によって、計測地域に関する各種の計測データが得られる。
例えば、位置姿勢データ、距離方位点群データおよび画像データ１９２などが得られる。
位置姿勢データは、各時刻における計測車両の位置および姿勢を示す。
距離方位点群データは、各時刻におけるレーザレーダから各地点への距離と方位とを示す。
画像データ１９２は、計測地域のうちの撮影された領域が映った画像を表す。

３次元点群データ１９１は、車両位置データおよび距離方位点群データなどを用いて生成される。
３次元点群データ１９１は、計測地域の中の複数の地点のそれぞれの３次元座標値を示す。３次元点群データ１９１は、複数の３次元点を含む。それぞれの３次元点は、レーザ光を反射した地点を表すデータである。
それぞれの３次元点は、計測時刻、３次元座標値および反射強度などを示す。３次元点が示す計測時刻は、３次元点で表される地点に対するレーザ計測が行われた時刻である。３次元点が示す３次元座標値は、３次元点で表される地点の位置を特定する。３次元点が示す反射強度は、３次元点で表される地点からレーザレーダが受光したレーザ光の強度である。

画像データ１９２は、計測地域での撮影によって得られる。
複数の画像データ１９２は、複数の撮影地点での撮影によって得られる。
計測地域には、道路標識または道路標示などの各種の地物が存在する。そして、画像データ１９２が表す画像には、計測地域に存在する各種の地物が映っている。

＊＊＊動作の説明＊＊＊
地物検出装置１００の動作は地物検出方法に相当する。また、地物検出方法の手順は地物検出プログラムの手順に相当する。

図３に基づいて、地物検出方法の概要を説明する。
ステップＳ１１０において、候補抽出部１１０は、３次元点群データ１９１を用いて、候補領域群を算出する。
候補領域群は、１つ以上の候補領域である。
候補領域は、地物領域の候補である。候補領域には、地物領域の少なくとも一部が含まれる。
地物領域は、地物が位置する３次元領域である。

図４に、３次元点群２００を示す。
３次元点群２００は、３次元点群データ１９１に含まれる３次元点群の一例を表している。３次元点群２００には、道路標識または道路標示などの地物の候補領域２０２が含まれる。
地物領域２０１は、「車両数減少」を示す道路標識が位置する領域である。地物領域２０１には、複数の３次元点が位置している。

図３に戻り、ステップＳ１２０から説明を続ける。
ステップＳ１２０において、地物認識部１２０は、画像データ１９２毎に、画像データ１９２を用いて、候補領域群に対応した候補画像領域群を算出する。
候補画像領域群は、１つ以上の候補画像領域である。
候補画像領域は、画像データ１９２が表す画像の中で候補領域が映っている領域である。

ステップＳ１３０において、地物認識部１２０は、画像データ１９２毎に、候補画像領域群に基づいて、地物別に地物画像領域と識別結果候補とを得る。
具体的には、地物認識部１２０は、画像データ１９２が表す画像の中の候補画像領域に
対する画像処理によって、地物画像領域と識別結果候補とを得る。

地物画像領域は、画像データ１９２が表す画像の中で地物が映っている領域である。つまり、地物画像領域は、画像データ１９２が表す画像の中で地物領域が映っている領域である。
識別結果候補は、地物を識別する識別結果の候補である。

ある地物が１枚の画像に映っている場合、１つの地物画像領域と１つの識別結果候補とが得られる。
同じ地物が複数の画像に映っている場合、複数の地物画像領域と複数の識別結果候補とが得られる。
つまり、地物毎に、１つ以上の地物画像領域と１つ以上の識別結果候補とが得られる。各地物の１つ以上の地物画像領域を「地物画像領域群」と称する。各地物の１つ以上の識別結果候補を「識別結果候補群」と称する。

図５に、３次元点群２００と画像２１０との関連付けを示す。
画像２１０Ａは、画像データ１９２Ａが表す画像である。
画像２１０Ｂは、画像データ１９２Ｂが表す画像である。
画像２１０Ｃは、画像データ１９２Ｃが表す画像である。
地物画像領域２１１Ａは、画像２１０Ａの中で地物領域２０１が映っている領域である。
地物画像領域２１１Ｂは、画像２１０Ｂの中で地物領域２０１が映っている領域である。
地物画像領域２１１Ｃは、画像２１０Ｃの中で地物領域２０１が映っている領域Ｄである。
それぞれの地物画像領域２１１に基づいて、道路標示「車両数減少」が識別される。

図３に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０において、位置特定部１３０は、３次元点群データ１９１を用いて、各画像の地物画像領域毎に暫定領域を算出する。
暫定領域は、地物画像領域に対応する暫定の３次元領域である。つまり、暫定領域は、暫定の地物領域である。

ある地物が１枚の画像に映っている場合、１枚の画像の１つの地物画像領域に対応する１つの暫定領域が算出される。
同じ地物が複数の画像に映っている場合、複数の画像の複数の地物画像領域に対応する複数の暫定領域が算出される。
つまり、地物毎に、１つ以上の地物画像領域に対応する１つ以上の暫定領域が算出される。各地物の１つ以上の暫定領域を「暫定領域群」と称する。

ステップＳ１５０において、位置特定部１３０は、地物毎に、暫定領域群に基づいて地物領域を算出する。
さらに、地物認識部１２０は、地物毎に、識別結果候補群に基づいて識別結果を決定する。

図６に、画像２１０と３次元空間２２０との関連付けを示す。
３次元空間２２０は、計測地域を表すための３次元空間である。
地物領域２２１は、３次元空間２２０における地物領域である。
地物領域２２１は、地物画像領域２１１Ａに対応する３次元領域と地物画像領域２１１Ｂに対応する３次元領域と地物画像領域２１１Ｃに対応する３次元領域とを統合すること
によって得られる。
地物の種類は、地物画像領域２１１Ａに基づく識別結果と地物画像領域２１１Ｂに基づく識別結果と地物画像領域２１１Ｃに基づく識別結果とを統合することによって得られる。

以下に、地物検出方法の詳細を説明する。
地物は平面を有する。具体的には、地物は平面形状を成す。
以下の説明において、地物検出装置１００は道路標識を検出する。道路標識は、地物検出装置１００によって検出される地物の具体例である。

図７に基づいて、候補抽出処理（Ｓ１１０）の手順を説明する。
ステップＳ１１１において、候補抽出部１１０は、３次元点群データ１９１から、候補領域をなす平面点群を抽出する。抽出される平面点群は複数であってもよい。
平面点群は、同じ平面に位置する１つ以上の地点を表す１つ以上の３次元点である。「平面」には、近似的な平面が含まれる。

図８に基づいて、平面点群抽出処理（Ｓ１１１）を説明する。
ステップＳ１１１１において、候補抽出部１１０は、３次元点毎に、３次元点が含まれる平面に対する法線ベクトルを算出する。

候補抽出部１１０は、３次元点の法線ベクトルを次のように算出する。対象となる３次元点を「対象点」と称する。
まず、候補抽出部１１０は、対象点の周辺領域を決定する。周辺領域は、対象点を含む３次元領域である。周辺領域の大きさは予め決められる。
次に、候補抽出部１１０は、周辺領域に含まれる１つ以上の３次元点を３次元点群データ１９１から抽出する。抽出される１つ以上の３次元点を「周辺領域点群」と称する。
次に、候補抽出部１１０は、周辺領域点群に含まれる１つ以上の３次元点が示す１つ以上の３次元座標値に基づいて、近似平面を算出する。
そして、候補抽出部１１０は、近似平面の法線ベクトルを算出する。

ステップＳ１１１２において、候補抽出部１１０は、各３次元点の法線ベクトルに基づいて、１つ以上の平面点群を抽出する。

候補抽出部１１０は、１つ以上の平面点群を次のように抽出する。
候補抽出部１１０は、各３次元点の３次元座標値と各３次元点の法線ベクトルとに基づいて、複数の３次元点をクラスタリングする。
これにより、１つ以上のクラスタが得られる。各クラスタは複数の３次元点を含み、複数の３次元点は近傍領域に位置し、複数の３次元点のそれぞれの法線ベクトルが成す角度は近似範囲に含まれる。近傍領域は、予め決められた大きさを有する３次元領域である。近似範囲は、角度について予め決められた範囲である。
得られる１つ以上のクラスタが、１つ以上の平面点群である。

ステップＳ１１１３において、候補抽出部１１０は、抽出した平面点群毎に法線ベクトルを算出する。

候補抽出部１１０は、平面点群の法線ベクトルを次のように算出する。対象となる平面点群を「対象点群」と称する。
まず、候補抽出部１１０は、対象点群に含まれる複数の３次元点に基づいて、近似平面を算出する。
そして、候補抽出部１１０は、近似平面の法線ベクトルを算出する。

ステップＳ１１１４において、候補抽出部１１０は、各平面点群の法線ベクトルに基づいて、候補領域をなす平面点群を選択し、抽出する。

候補抽出部１１０は、候補領域をなす平面点群を次のように選択し、抽出する。
記憶部１９０には、計測車両の移動ベクトルが予め記憶されている。移動ベクトルは、移動軌跡の方向を示す。
候補抽出部１１０は、平面点群毎に、計測車両の移動ベクトルと平面点群の法線ベクトルとが成す角度を算出する。算出される角度を「相対角度」と称する。
候補抽出部１１０は、相対角度が規定範囲に含まれる平面点群を選択する。選択される平面点群が候補領域をなす平面点群である。規定範囲は、角度について予め決められた範囲である。具体的には、規定範囲は０度付近を示す。

図７に戻り、ステップＳ１１２を説明する。
ステップＳ１１２において、候補抽出部１１０は、抽出した候補領域をなす平面点群に含まれる１つ以上の３次元点が示す１つ以上の３次元座標値に基づいて、３次元平面領域を算出する。
算出される３次元平面領域が「候補領域」である。複数の平面点群がある場合、複数の候補領域が算出される。

３次元平面領域は、平面点群が位置する平面状の範囲を特定する矩形の３次元領域である。３次元平面領域、すなわち、候補領域は４つの端点（頂点）を示す４つの３次元座標値で表される。

次に、候補画像領域算出処理（Ｓ１２０）の詳細を説明する。
地物認識部１２０は、画像データ１９２毎に候補画像領域群を算出する。

図９に基づいて、候補領域２０２に対応する候補画像領域を算出するための情報を説明する
ＭＭＳにより、計測車両の周辺についての３次元点群２００のほか、一定の時間間隔で行われるＮ回の撮影によってＮ枚の画像（Ｉ_１～Ｉ_Ｎ）が得られる。各画像を「フレーム」と称する。さらに、ＭＭＳにより、撮影時刻における計測車両の位置および姿勢が記録される。
候補領域２０２は、４つの端点（Ｐ_１～Ｐ_４）で表される。
「Ｐ^－」は、候補領域２０２の重心である。
「Ｔ_Ｃ ^（ｉ）」は、計測車両に搭載されたカメラについて、ｉフレーム目の画像Ｉ_ｉが得られた撮影時の位置を表している。
「Ｒ_Ｃ ^（ｉ）」は、計測車両に搭載されたカメラについて、ｉフレーム目の画像Ｉ_ｉが得られた撮影時の姿勢を表している。
カメラ位置Ｔ_Ｃは、ＧＰＳ測位によって求められた計測車両の位置を、ＧＰＳ受信機とカメラとの位置関係（オフセット）に基づいて補正することによって、算出される。
カメラの姿勢Ｒ_Ｃは、計測車両に搭載されるジャイロセンサによって計測される。ジャイロセンサは、計測車両に搭載されるＩＭＵに備わる。

図１０に基づいて、候補画像領域算出処理（Ｓ１２０）の手順を説明する。
ステップＳ１２１において、地物認識部１２０は、未選択の候補領域を１つ選択する。

ステップＳ１２２において、地物認識部１２０は、選択された候補領域が映っている１枚以上の画像を選択する。
選択される１枚以上の画像を「対象画像群」と称する。

地物認識部１２０は、対象画像群を次のように選択する。
まず、地物認識部１２０は、候補領域の４つの端点（Ｐ_１～Ｐ_４）を示す４つの３次元座標値に基づいて、候補領域の重心Ｐ^－を算出する。
次に、地物認識部１２０は、候補領域の重心Ｐ^－までの距離が閾値ｄ以下であるカメラ位置Ｔ_Ｃの集合Ｘを選択する。集合Ｘは、式（１）で表すことができる。

そして、地物認識部１２０は、集合Ｘに含まれるカメラ位置Ｔ_Ｃ毎に、カメラ位置Ｔ_Ｃでの撮影によって得られた画像データ１９２を選択する。
これにより、１つ以上の画像データ１９２が選択される。選択された１つ以上の画像データ１９２が表す１つ以上の画像Ｉ_ｋが、１つ以上の対象画像Ｉからなる対象画像群である。

ステップＳ１２３において、地物認識部１２０は、対象画像Ｉ毎に、候補領域に対応する候補画像領域を算出する。
具体的には、地物認識部１２０は、対象画像Ｉの中で候補領域の４つの端点（Ｐ_１～Ｐ_４）が投影される４つの画素を特定する。つまり、地物認識部１２０は、４つの画素を示す４つの２次元座標値を算出する。４つの画素のそれぞれは、候補領域の端点（Ｐ_１～Ｐ_４）が対応する画素である。

以下に、端点Ｍ_Ｗが投影される画素ｍを特定する方法について説明する。例えば、端点Ｍ_Ｗは端点（Ｐ_１～Ｐ_４）であり、画素ｍは候補領域の端点（Ｐ_１～Ｐ_４）が対応する画素である。
端点Ｍ_Ｗの３次元座標値を［Ｘ，Ｙ，Ｚ］^Ｔと表す。
ｉフレーム目の画像Ｉ_ｉの中で端点Ｍ_Ｗに対応する画素ｍの２次元座標値を［ｕ，ｖ］^Ｔと表す。
これらの座標値の関係は、カメラモデルによって特定される。カメラモデルの具体例はピンホールカメラモデルである。ピンホールカメラモデルは、一般に広く用いられているモデルである。但し、端点Ｍ_Ｗの３次元座標値と画素ｍの２次元座標値との関係は、ピンホールカメラモデル以外のモデルによって特定されてもよい。

３次元空間中の端点Ｍ_Ｗが与えられたとき、カメラ座標系における端点Ｍ_Ｃは式（２）で表される。カメラ座標系は、撮影時のカメラを中心とする３次元座標系である。
カメラ姿勢Ｒ_Ｃは、回転を表す３×３の行列である。
カメラ位置Ｔ_Ｃは、並進を表す３×１のベクトルである。

画像Ｉ_ｉの中で端点Ｍ_Ｃが投影される画素ｍ_ｎの２次元座標値は、式（３）を計算することによって算出される。
焦点距離（ズーム率）などの特性が異なる各種のカメラを統一的に取り扱うため、画像
Ｉ_ｉの撮影に用いられたカメラが正規化カメラであると仮定する。正規化カメラは、焦点距離が１画素に相当する仮想的なカメラである。

さらに、レンズ歪みを考慮した後の画素ｍ_ｄの２次元座標値は、式（４）を計算することによって算出される。
但し、「ｒ’^２＝ｘ’^２＋ｙ’^２」が成り立つものとする。

そして、式（５）を計算することによって、画素ｍの２次元座標値が算出される。
「Ａ」は、カメラの内部パラメータを意味する。
「ａ_ｘ」は、水平方向の焦点距離を意味する。
「ａ_ｙ」は、垂直方向の焦点距離を意味する。
［ｕ_０，ｖ_０］は、カメラの光軸と画像平面との交点の２次元座標値を意味する。

内部パラメータＡは、カメラの校正（キャリブレーション）が事前に行われることによって決定される。内部パラメータＡについては、非特許文献１に開示されている。

ステップＳ１２４において、地物認識部１２０は、ステップＳ１２１で選択されていない候補領域（未選択の候補領域）があるか判定する。
未選択の候補領域がある場合、処理はステップＳ１２１に進む。
未選択の候補領域がない場合、処理は終了する。

図１１に基づいて、認識処理（Ｓ１３０）の手順を説明する。
ステップＳ１３１において、地物認識部１２０は、未選択の画像データ１９２を１つ選択する。

ステップＳ１３２からステップＳ１３５は、ステップＳ１３１で選択された画像データ
１９２の候補画像領域群に対して実行される。

ステップＳ１３２において、地物認識部１２０は、選択された画像データ１９２が表す画像から、候補画像領域群に対応する矩形画像群を切り出す。
具体的には、地物認識部１２０は、候補画像領域毎に、候補画像領域を含んだ矩形領域を画像から切り出す。切り出される矩形領域を「矩形画像」と称する。

図１２において、画像２１０から２つの矩形画像（２１２Ａ、２１２Ｂ）が切り出される。各矩形画像２１２には、道路標識が映っている。
矩形画像２１２Ａの一部は、矩形画像２１２Ｂの一部と重複している。

図１１に戻り、ステップＳ１３３から説明を続ける。
ステップＳ１３３において、地物認識部１２０は、各矩形画像に対する機械学習手法により、認識結果集合を得る。
この機械学習手法は、画像処理の１種である。機械学習の具体例は深層学習である。
認識結果集合は、１つ以上の認識結果である。
認識結果は、地物画像領域と地物クラスとクラス信頼度とを含む。
地物クラスは、地物の種類を示す。地物クラスには、案内標識と、警戒標識（および警戒指示）と、規制標識と、補助標識との４種類がある。
クラス信頼度は、地物クラスの信頼度である。

図１３において、矩形画像２１２Ａに基づいて、２つの道路標識（２１３Ａ、２１３Ｂ）に対応する２つの認識結果が得られる。
図１４において、矩形画像２１２Ｂに基づいて、３つの道路標識（２１３Ａ～２１３Ｃ）に対応する３つの認識結果が得られる。
つまり、矩形画像２１２Ａと矩形画像２１２Ｂとに基づいて、道路標識２１３Ａについての２つの認識結果と、道路標識２１３Ｂについての２つの認識結果と、道路標識２１３Ｃについての１つの認識結果とが得られる。

図１１に戻り、ステップＳ１３４から説明を続ける。
ステップＳ１３４において、地物認識部１２０は、認識結果集合を統合することにより、地物別に統合結果を得る。
統合結果は、複数の認識結果を統合して得られる結果である。

地物認識部１２０は、統合結果を次のように得る。
まず、地物認識部１２０は、各認識結果の地物画像領域に基づいて、認識結果集合をグループ分けする。具体的には、地物認識部１２０は、地物画像領域の重なり率が閾値を超える複数の認識結果を１つのグループにまとめる。
そして、地物認識部１２０は、認識結果グループ毎に、認識結果グループを統合することにより、統合結果を生成する。
具体的には、地物認識部１２０は、統合結果を次のように生成する。
地物認識部１２０は、認識結果グループが示す複数の地物画像領域を統合することによって、１つの地物画像領域を算出する。そして、地物認識部１２０は、算出された地物画像領域を統合結果に設定する。
認識結果グループが示す複数の地物クラスが同じ種類を示す場合、地物認識部１２０は、その種類を示す地物クラスを統合結果に設定する。
認識結果グループが示す複数の地物クラスが異なる種類を示す場合、地物認識部１２０は、クラス信頼度が最も高い地物クラスを選択する。そして、地物認識部１２０は、選択された地物クラスを統合結果に設定する。

ステップＳ１３５において、地物認識部１２０は、統合結果毎に、統合結果に示される地物クラスに対応する識別器を用いて、地物を識別する。

図１５に基づいて、識別処理（Ｓ１３５）の手順を説明する。
ステップＳ１３５１において、地物認識部１２０は、未選択の統合結果を１つ選択する。

ステップＳ１３５２において、地物認識部１２０は、選択された統合結果に示される地物画像領域を画像から切り出す。切り出される地物画像領域を「領域画像」と称する。

ステップＳ１３５３において、地物認識部１２０は、領域画像のコントラストを調整する。
具体的には、地物認識部１２０は、領域画像に対してガンマ補正を行う。これにより、木影などによって識別が困難な地物を識別することが可能となる。

図１６において、領域画像２１４Ａに対してガンマ補正を行うことにより、領域画像２１４Ｂが得られる。
領域画像２１４Ａでは識別困難な道路標識が、領域画像２１４Ｂでは識別可能である。

図１５に戻り、ステップＳ１３５４から説明を続ける。
ステップＳ１３５４において、地物認識部１２０は、複数種類の道路標識に対応する複数の識別器から、統合結果に示される地物クラスに対応する識別器を選択する。複数の識別器は予め用意される。

ステップＳ１３５５において、地物認識部１２０は、選択された識別器を用いて、調整後の領域画像に映っている地物を識別する。
識別方法は、案内標識と案内標識以外の道路標識とで異なる

まず、案内標識以外の道路標識を識別する方法を説明する。
識別器として、複数の層から成る畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）が用いられる。
図１７は、畳み込みニューラルネットワーク２３０の概要図を示す。畳み込みニューラルネットワーク２３０は、複数の層から成る畳み込みニューラルネットワークである。
畳み込みニューラルネットワーク２３０については、非特許文献２に開示されている。

学習用のデータセットは、道路標識の種類（警戒標識（および指示）、規制標識、補助標識）毎に作成される。そして、それぞれのデータセットに対して、ＣＮＮを学習させる。
つまり、３つのＣＮＮはネットワーク構造が同じであるが、３つのＣＮＮはネットワークの重みパラメータが互いに異なる。

次に、案内標識を識別する方法を説明する。
案内標識は、同じ種類のものでも様々なデザインが存在する。
学習用データセットにないデザインについては、ＣＮＮによる識別率が悪化する。
図１８において、入力画像に映っている案内標識と同じデザインは学習用データセットに含まれない。この場合、ＣＮＮにより、誤った案内標識が識別される。

そのため、案内標識については、形状、色および文字などが異なる複数のデザインにおいて共通する特徴に焦点をあてる。
まず、地物認識部１２０は、領域画像から地物の特徴を検出する。特徴の検出には、画
像認識、物体検出および文字認識などの手法が用いられる。
そして、地物認識部１２０は、検出された特徴に基づいて、案内標識を以下のように識別する。

まず、地物認識部１２０は、特徴の種類毎に特徴の有無を判定する。各種類の特徴の有無は２値（０または１）で表される。各種類の特徴の有無を表す情報を「特徴ベクトル」と称する。
そして、地物認識部１２０は、案内標識特徴データから、特徴ベクトルと類似度が高い案内標識を選択する。案内標識特徴データは、案内標識毎に特徴ベクトルを示す。

図１９に、３つの案内標識（Ｇ１～Ｇ３）と入力画像とを示す。入力画像は領域画像に相当する。
図２０に、案内標識特徴データ２４０と入力特徴ベクトル２４１とを示す。
案内標識特徴データ２４０は、３つの案内標識（Ｇ１～Ｇ３）のそれぞれの特徴ベクトルを示している。
入力特徴ベクトル２４１は、入力画像に映っている案内標識の特徴ベクトルである。
入力特徴ベクトル２４１と類似度が高い特徴ベクトルは、案内標識Ｇ１の特徴ベクトルである。そのため、入力画像に映っている案内標識の識別結果は案内標識Ｇ１となる。

２つの特徴ベクトルの類似度として、コサイン類似度が用いられる。コサイン類似度は、類似度を測るための評価指標の一例である。
第１案内標識の特徴ベクトルｘと第２案内標識の特徴ベクトルｙとのコサイン類似度は、式（６）によって求められる。

入力特徴ベクトル２４１と案内標識Ｇ１の特徴ベクトルとのコサイン類似度は「１．０」である。
入力特徴ベクトル２４１と案内標識Ｇ２の特徴ベクトルとのコサイン類似度は「０．２４」である。
入力特徴ベクトル２４１と案内標識Ｇ３の特徴ベクトルとのコサイン類似度は「０．５」である。
したがって、入力画像に映っている案内標識の識別結果は案内標識Ｇ１となる。

上記の例では、入力特徴ベクトル２４１が案内標識Ｇ１の特徴ベクトルと一致した。しかし、実際には、特徴の検出漏れまたは特徴の誤検出があるため、入力特徴ベクトル２４１がいずれの案内標識の特徴ベクトルとも一致しないことが考えられる。その場合には、コサイン類似度が最も高い特徴ベクトルに対応する案内標識が識別結果として選択される。

図１５に戻り、ステップＳ１３５６を説明する。
ステップＳ１３５６において、地物認識部１２０は、ステップＳ１３５１で選択されていない統合結果（未選択の統合結果）があるか判定する。
未選択の統合結果がある場合、処理はステップＳ１３５１に進む。
未選択の統合結果がない場合、処理は終了する。

図２１に基づいて、暫定領域算出処理（Ｓ１４０）の手順を説明する。
ステップＳ１４１において、位置特定部１３０は、未選択の地物画像領域を１つ選択する。

ステップＳ１４２において、位置特定部１３０は、地物画像領域に対応する候補領域を選択する。
そして、位置特定部１３０は、選択された候補領域に対応する基準平面を算出する。
基準平面は、３次元空間において候補領域の各端点を含む平面である。

具体的には、位置特定部１３０は、候補領域の４つの端点に対する平面フィッティングによって、基準平面の方程式を算出する。基準平面の方程式は「ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０」という形式で表される。

候補領域の４つの端点について補足する。
自動図化では、点群から検出された道路標識領域点に対して、以下の（１）から（３）の処理が行われる。
（１）点群から画像への関連付けで画像上の大まかな領域を特定する。
（２）画像上で正確な領域を特定する。
（３）特定された（矩形）領域の四隅の画素について、画像から点群への関連付けによって３次元座標値を算出する。
したがって、画像から点群への関連付けの入力となる画素について、対応する道路標識領域点が既知である。

ステップＳ１４３において、位置特定部１３０は、地物画像領域の端点毎に視線ベクトルを算出する。
視線ベクトルは、撮影地点から画像平面の中の地物画像領域の端点へのベクトルである。画像平面は、地物画像領域を含む画像に対応する３次元平面である。

位置特定部１３０は、地物画像領域の端点に対応する視線ベクトル（Ｐ_Ｐ－Ｐ_Ｃ）を次のように算出する。
まず、位置特定部１３０は、レーザ座標系におけるカメラ中心の位置Ｐ_Ｃを求める。具体的には、位置特定部１３０は、式（７）を計算することによって、レーザ座標系におけるカメラ中心の位置Ｐ_Ｃを求める。
式（７）は、カメラ座標系の点Ｍ_Ｃをレーザ座標系の点Ｍ_Ｗに変換するための式である。

次に、位置特定部１３０は、レーザ座標系における画素の位置Ｐ_Ｐを次のように求める。
具体的には、位置特定部１３０は、正規化カメラ座標系における点ｍ_ｎを求める。そして、位置特定部１３０は、上記式（７）を用いて点ｍｎをレーザ座標系に変換することにより、レーザ座標系における位置Ｐ_Ｐを得る。

点ｍ_ｎは式（８）で表すことができる。

そして、位置特定部１３０は、視線ベクトル（Ｐ_Ｐ－Ｐ_Ｃ）を算出する。

ステップＳ１４４において、位置特定部１３０は、地物画像領域の端点毎に、視線ベクトルと基準平面との交点の３次元座標値を算出する。

ステップＳ１４５において、位置特定部１３０は、ステップＳ１４１で選択されていない地物画像領域（未選択の地物画像領域）があるか判定する。
未選択の地物画像領域がある場合、処理はステップＳ１４１に進む。
未選択の地物画像領域がない場合、処理は終了する。

図２２に、画像座標値から３次元座標値への変換の様子を示す。
図２２に示すように、地物画像領域の端点（入力）に対応する３次元点（出力）は、視線ベクトル（Ｐ_Ｐ－Ｐ_Ｃ）と基準平面との交点に相当する。

図２３に基づいて、統合処理（Ｓ１５０）の手順を説明する。
ステップＳ１５１において、位置特定部１３０は、暫定領域群をクラスタ分けする。
具体的には、位置特定部１３０は、近接する１つ以上の暫定領域を１つのクラスタにまとめる。
例えば、位置特定部１３０は、各暫定領域の重心に基づいて、近接する１つ以上の暫定領域を決定する。第１暫定領域の重心と第２暫定領域の重心との距離が閾値以下である場合、第１暫定領域と第２暫定領域とは互いに近接する。

ステップＳ１５２において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域を統合することによって、地物領域を算出する。
例えば、位置特定部１３０は、各暫定領域の４つの端点について、端点毎に３次元座標値の平均を算出する。算出される４つの平均値で表される３次元領域が暫定領域を統合化して得られる地物領域である。

ステップＳ１５３において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域に対応する１つ以上の識別結果を統合することによって、識別結果を決定する。
具体的には、位置特定部１３０は、１つ以上の識別結果に対する投票処理を行い、最も投票数が多い識別結果を採用する。投票処理において、位置特定部１３０は、識別結果毎に重みを付けるとよい。例えば、重みは、識別結果のクラス信頼度に比例し、識別結果に対応する地物領域からカメラまでの距離に反比例する。

＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、ＭＭＳで取得される点群データと画像データとをもとに、高精度な図化を実現することが可能となる。
点群データと画像データとの双方が活用されるため、地物をより精度良く認識することができる。
点群データを用いて候補領域が絞り込まれるため、画像内の全領域を対象に地物を探索する必要がなくなる。その結果、図化処理が高速化される。
点群データだけでなく画像データも用いられるため、地物をより精度良く認識することができる。

＊＊＊他の構成＊＊＊
候補抽出処理（Ｓ１１０）により、以降の処理が画像内の候補領域のみを対象に実行することができる。そのため、以降の処理を画像内の全領域を対象に実行する場合に比べて、データ処理の演算量を削減することができる。その結果、処理時間が短縮される。
但し、データ処理の演算量を削減する必要がない場合、候補抽出処理（Ｓ１１０）は省略することができる。この場合、以降の処理は画像内の全領域を対象に実行される。

実施の形態２．
道路面に記された道路標示を検出する形態について、主に実施の形態１と異なる点を図２４から図２７に基づいて説明する。

道路標示は、分離された２つ以上の文字を有する。
道路標示は、分離された２つ以上の構成要素を有する地物の一例である。

候補画像領域および地物画像領域は、２つ以上の構成要素に対応する２つ以上の要素画像領域に相当する。要素画像領域は、画像の中で構成要素が映っている領域である。
候補領域は、要素領域に相当する。要素領域は、要素画像領域に対応する３次元領域である。
暫定領域群は、２つ以上の要素領域に相当する。

＊＊＊構成の説明＊＊＊
地物検出装置１００の構成は、実施の形態１における構成と同じである（図１および図２参照）。

＊＊＊動作の説明＊＊＊
地物検出方法の概要は、実施の形態１における概要と同じである（図３参照）。

図２４に基づいて、候補抽出処理（Ｓ１１０）の手順を説明する。
ステップＳ１１１において、候補抽出部１１０は、３次元点群データ１９１から、道路面点群を抽出する。
道路面点群は、道路面に位置する複数の地点を表す複数の３次元点である。

候補抽出部１１０は、道路面点群を次のように抽出する。
まず、候補抽出部１１０は、道路面の高度を算出する。例えば、計測車両に搭載されたＩＭＵの位置が計測車両の基準位置として扱われる場合、候補抽出部１１０は、計測車両の高度から、道路からＩＭＵまでの高さを引くことによって、道路面の高度を算出する。
そして、候補抽出部１１０は、道路面の高度に基づいて、道路面点群を３次元点群データ１９１から抽出する。例えば、候補抽出部１１０は、道路面との高度差が閾値以下である複数の３次元点を抽出する。

ステップＳ１１２において、候補抽出部１１０は、３次元点群データ１９１から区画線点群を抽出する。
区画線点群は、区画線に位置する複数の地点を表す複数の３次元点である。

候補抽出部１１０は、区画線点群を次のように抽出する。
まず、候補抽出部１１０は、反射強度が閾値以上である３次元点群を３次元点群データ１９１から抽出する。
そして、候補抽出部１１０は、抽出された３次元点群から、計測車両の走行軌跡に沿って並んでいる複数の３次元点を抽出する。抽出される複数の３次元点が区画線点群である。
但し、候補抽出部１１０は、上記以外の方法で区画線点群を抽出してもよい。

ステップＳ１１３において、候補抽出部１１０は、区画線点群に基づいて、道路面点群から対象点群を抽出する。
対象点群は、道路面点群から区画線点群を除いた残りの３次元点群である。

具体的には、候補抽出部１１０は、区画線からの距離が閾値以上である３次元点群を抽出する。区画線は、区画線点群の各３次元点の３次元座標値に基づいて算出される。

ステップＳ１１４において、候補抽出部１１０は、各対象点の反射強度と各対象点の３次元座標値とに基づいて、対象点群から候補点群を抽出する。
候補点群は、道路標示の文字の部分に位置する２つ以上の３次元点。

具体的には、候補抽出部１１０は、候補点群を次のように抽出する。
まず、候補抽出部１１０は、反射強度が閾値以上である３次元点群を対象点群から抽出する。
次に、候補抽出部１１０は、各３次元点の３次元座標値に基づいて、抽出された３次元点群をクラスタリングする。これにより、１つ以上クラスタが得られる。各クラスタは複数の３次元点を含み、複数の３次元点は近傍領域に位置する。近傍領域は、予め決められた大きさを有する３次元領域である。
そして、候補抽出部１１０は、閾値以上の数の３次元点を含むクラスタを選択する。選択されるクラスタが候補点群である。

ステップＳ１１５において、候補抽出部１１０は、候補点群に基づいて、候補領域を算出する。

候補抽出部１１０は、候補領域を次のように算出する。
まず、候補抽出部１１０は、候補点群毎に、各候補点の３次元座標値に基づいて、候補点群が位置する矩形領域を算出する。
そして、候補抽出部１１０は、大きさが規定範囲に含まれる矩形領域を選択する。選択される矩形領域が候補領域である。

候補抽出処理（Ｓ１１０）により、道路標示に含まれる文字毎に候補領域が算出される。

候補画像領域算出処理（Ｓ１２０）の手順は、実施の形態１における手順と同じである（図１０参照）。

図２５に基づいて、認識処理（Ｓ１３０）の手順を説明する。
ステップＳ１３１において、地物認識部１２０は、未選択の画像データ１９２を１つ選択する。

ステップＳ１３２からステップＳ１３５は、ステップＳ１３１で選択された画像データ１９２の候補画像領域群に対して実行される。

ステップＳ１３２において、地物認識部１２０は、選択された画像データ１９２が表す画像から、候補画像領域群に対応する矩形画像群を切り出し。
具体的には、地物認識部１２０は、候補画像領域毎に、候補画像領域を含んだ矩形領域を画像から切り出す。切り出される矩形領域を「矩形画像」と称する。

ステップＳ１３３において、地物認識部１２０は、各矩形画像を俯瞰画像に変換する。
矩形画像から俯瞰画像への変換は、画像視点変換に相当する。

地物認識部１２０は、次のように変換を行う。
まず、地物認識部１２０は、矩形画像の４頂点のそれぞれの２次元座標値と俯瞰画像の４頂点のそれぞれの２次元座標値とに基づいて、変換行列を算出する。

変換行列Ｍは、式（９）の関係を満たす。
（ｘ_ｉ，ｙ_ｉ）は、変換前（矩形画像）の４頂点のそれぞれの２次元座標値である。
（ｘ’_ｉ，ｙ’_ｉ）は、変換後（俯瞰画像）の４頂点のそれぞれの２次元座標値である。
「ｔ_ｉ」は、変換に応じた拡縮のパラメータである。

そして、地物認識部１２０は、変換行列を用いて、矩形画像の各画素に対応する俯瞰画像の画素を求める。
変換後（俯瞰画像）の画素の２次元座標値（ｕ_ｉ，ｖ_ｉ）は、式（１０）を計算することによって算出される。

図２６に、矩形画像２１５から俯瞰画像２１６への変換を示している。
「１００」を斜め方向から撮影することと矩形画像２１５が得られる。矩形画像２１５には、「１００」が斜めに映っている。一方、俯瞰画像２１６には、正面から撮影した場合の「１００」が映っている。
矩形画像２１５の各頂点の２次元座標値（ｘ_ｉ，ｙ_ｉ）｛ｉ＝１～３｝は、俯瞰画像２１６の各頂点の２次元座標値（ｘ’_ｉ，ｙ’_ｉ）に変換される。

図２５に戻り、ステップＳ１３４から説明を続ける。
ステップＳ１３４において、地物認識部１２０は、各俯瞰画像に対する識別処理により、地物を識別する。
具体的には、地物認識部１２０は、各俯瞰画像を入力として識別処理を実行する。これにより、道路標示の文字毎に識別結果が得られる。
例えば、識別処理として、ニューラルネットワークを用いた手法を適用することができる。ニューラルネットワークを用いた手法については、非特許文献３に開示されている。

暫定領域算出処理（Ｓ１４０）の手順は、実施の形態１における手順と同じである（図２１参照）。
基準平面の算出について補足する。画素が路面上の道路標示領域に属する場合は、点群に基づいて、路面に対応する平面の方程式を求める。

統合処理（Ｓ１５０）の手順は、実施の形態１における手順と同じである（図２３参照）。但し、各ステップの詳細が実施の形態１における詳細と異なる。

ステップＳ１５１において、位置特定部１３０は、暫定領域群をクラスタ分けする。
クラスタ分けの方法は、実施の形態１における方法と同じである。

ステップＳ１５２において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域を統合することによって、地物領域を算出する。
具体的には、位置特定部１３０は、クラスタに属する１つ以上の暫定領域を連結した矩形領域を算出する。算出される領域が地物領域である。

図２７に、暫定領域２１７Ａと暫定領域２１７Ｂと地物領域２１８とを示す。
地物領域２１８は、暫定領域２１７Ａと暫定領域２１７Ｂとを連結した矩形領域である。

ステップＳ１５３において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域に対応する１つ以上の識別結果を統合することによって、識別結果を決定する。
具体的には、位置特定部１３０は、１つ以上の識別結果が示す１つ以上の文字を連結することによって、１つの道路標示（文字列）を生成する。生成される道路標示が識別結果である。

＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、分離された２つ以上の構成要素を有する地物を検出することができる。具体的には、道路面に記された道路標示を識別することができる。

＊＊＊実施の形態のまとめ＊＊＊
実施の形態では、画像データと点群データとが互いに関連付けられ、画像データを用いて検出された地物が点群データを用いて復元される。これにより、地物の検出、地物の種類の特定および地物の３次元位置の特定を精度よく実現することができる。
画像データのみを用いて地物を検出する場合には、点群データが保有する高精度な３次元座標値を利用することができない。しかし、実施の形態のように画像データと点群データとの双方が利用されることで、地物の３次元位置を精度よく特定することができる。
点群データのみを用いて地物を検出する場合には、地物の具体的な種類を特定することが困難である。例えば、道路標識の種類または道路標示の種類を特定することが困難である。実施の形態では、地物の検出および地物の種類の特定が画像データを用いて行われる。そのため、地物をより細かく分類することが可能となる。
実施の形態では地物の候補領域が点群データを用いて特定される。そして、特定された候補領域に対して、画像データを用いた処理が行われる。これにより、データ処理の演算量を削減することができる。その結果、処理時間が短縮される。
実施の形態では、道路標識の種類（クラス）を特定するための識別器と、具体的な種類を特定するための識別器とが用いられる。これにより、標識の種類を識別する精度を向上させることができる。
実施の形態では、画像視点変換の後に道路標示が識別される。そのため、道路標示を識別する精度を向上させることができる。
実施の形態では、フレーム（画像）ごとに地物の検出および地物の種類の特定が行われる。そして、点群データを用いた復元の後、近接する地物がまとめられ、フレームごとの検出結果に基づいて、地物の種類が特定される。そのため、１つの画像を用いて地物の種類を特定する場合と比較して、誤検出を削減することができる。

＊＊＊実施の形態の補足＊＊＊
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。

実施の形態で説明された各装置は、複数の装置で実現されてもよい。つまり、実施の形態で説明された各装置は、システムによって実現されてもよい。
「部」は、「処理」または「工程」と読み替えてもよい。

１００地物検出装置、１０１プロセッサ、１０２メモリ、１０３補助記憶装置、１０４通信装置、１０５入出力インタフェース、１１０候補抽出部、１２０地物認識部、１３０位置特定部、１９０記憶部、１９１３次元点群データ、１９２画像データ、２０１地物領域、２０２候補領域、２１０画像、２１１地物画像領域、２１２矩形画像、２１３道路標識、２１４領域画像、２１５矩形画像、２１６俯瞰画像、２１７暫定領域、２１８地物領域、２２０３次元空間、２２１地物領域、２３０畳み込みニューラルネットワーク、２４０案内標識特徴データ、２４１入力特徴ベクトル。

Claims

計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出する候補抽出部と、
前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識する地物認識部と、
前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する位置特定部と、
を備え、
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定領域を算出し、算出された複数の暫定領域の端点毎に前記地物領域の端点を算出する
ことを特徴とする地物検出装置。
前記地物は、道路標識であり、
前記地物認識部は、前記道路標識の種類を識別し、複数種類の道路標識に対応する複数の識別器から、識別された種類の道路標識に対応する識別器を選択し、選択された識別器を用いて前記道路標識を識別する
請求項１に記載の地物検出装置。
候補抽出部が、計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出し、
地物認識部が、前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識し、
位置特定部が、前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する
地物検出方法であって、
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定領域を算出し、算出された複数の暫定領域の端点毎に前記地物領域の端点を算出する
ことを特徴とする地物検出方法。
計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出する候補抽出部と、
前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識する地物認識部と、
前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する位置特定部として、
コンピュータを機能させるための地物検出プログラムであって、
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定領域を算出し、算出された複数の暫定領域の端点毎に前記地物領域の端点を算出する
ことを特徴とする地物検出プログラム。