JP7069927B2

JP7069927B2 - 物体認識装置、及び物体認識方法

Info

Publication number: JP7069927B2
Application number: JP2018058279A
Authority: JP
Inventors: 映酒井
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-03-26
Filing date: 2018-03-26
Publication date: 2022-05-18
Anticipated expiration: 2038-03-26
Also published as: JP2019168417A

Description

本開示は、３次元距離センサが生成する測距点群データに基づいて、当該３次元測距センサの検出範囲に存在する物体を認識する物体認識装置、及び物体認識方法に関する。

従来、レーザ光を照射するとともに、当該レーザ光が物体で反射されて返ってくる反射光を受光することで、複数の検出方向毎の物体までの距離情報を示す測距点群データを生成する３次元距離センサ（例えばＬＩＤＡＲ： LIght Detection And Ranging、Laser Imaging Detection And Ranging）がある。なお、３次元距離センサが生成する測距点群データは、換言すれば、検出方向毎の物体までの距離を示す距離画像に相当する。

また、当該３次元距離センサを用いた物体認識装置として、３次元距離センサが生成した測距点群データが示すレーザ光の反射点（以降、測距点）を、測距点毎の距離情報に基づいてクラスタリングし、当該クラスタリングの結果として得られるクラスタの特徴量（例えば大きさ）に基づいて、クラスタに対応する検出物体の種別等を識別する技術がある。

特許文献１には、過去のフレームにおいて得られたクラスタ点群と、今回のフレームにおいて得られたクラスタ点群とを統合することで、クラスタの点群密度を増加させ、クラスタの情報量を増大させる技術が開示されている。なお、過去のフレームとは、過去に３次元距離センサが生成した測距点群データであって、具体的には、前回の測距結果としての測距点群データや、前々回の測距結果としての測距点群データなど、現時刻から直近所定数分のフレームを指す。今回のフレームとは３次元距離センサが生成した最新の測距点群データに相当する。

特開２０１６－２０６０２６号公報

特許文献１に開示の構成によれば、複数時点での３次元距離センサの検出結果（すなわち測距点群データ）を統合することで、クラスタを構成する測距点の数を増やす（換言すれば解像度を上げる）ことができる。クラスタの解像度が高くなれば、クラスタの幅、高さ、アスペクト比といった、当該クラスタの特徴量の特定精度が高まるとともに、識別処理に使用可能な特徴量の種類も増えるため、物体の識別精度が向上することが期待できる。

しかしながら、特許文献１に開示の構成では、解像度を高めたクラスタを得るためには、直近所定数分のフレームが必要であるため、或る物体を初めて捉えた時点では、当該物体についてのクラスタの解像度を上げることができない。また、同一物体について連続的に捕捉できている必要があり、検出物体が見え隠れする状況では過去のフレームを用いて解像度を高めることが困難となることが想定される。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、複数分のフレームを用いずに、３次元距離センサが生成した測距点群データの解像度を高めることが可能な物体認識装置、及び物体認識方法を提供することにある。

その目的を達成するための本開示の物体認識装置は、レーザ光を照射するとともに、当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する３次元距離センサを用いて、レーザ光の照射範囲内に存在する物体を認識する物体認識装置であって、３次元距離センサである第１距離センサから、当該第１距離センサが生成した測距点群データである低解像点群データを取得する点群データ取得部（Ｆ１）と、第１距離センサとは別の３次元距離センサであって、第１距離センサよりも高い解像度を備える第２距離センサが生成した測距点群データである高解像点群データから抽出した局所領域のデータである高解像パッチと、当該高解像パッチの解像度を所定量低下させた低解像パッチとを対応付けて記憶しているパッチペア記憶部（１３３、２３）と、パッチペア記憶部が備えている低解像パッチ及び高解像パッチを用いて、点群データ取得部が取得した低解像点群データに対して超解像処理を実行する超解像処理部（Ｆ３）と、を備え、超解像処理部は、点群データ取得部が取得した低解像点群データから、所定の抽出単位の大きさを有する局所領域を対象パッチとして抽出するパッチ抽出部（Ｆ３２）と、パッチペア記憶部が記憶している低解像パッチの中から、パッチ抽出部が抽出した対象パッチと類似している低解像パッチを探索するとともに、探索結果として発見された低解像パッチと対応付けられている高解像パッチを置換用パッチとして取得するパッチ探索部（Ｆ３３、Ｇ４）と、低解像点群データにおいて対象パッチとして抽出した領域である抽出元領域に、置換用パッチを配置するパッチ合成部（Ｆ３４）と、を備える。

以上の構成によれば、超解像処理部が、パッチペア記憶部に保存されている低解像パッチと高解像パッチのペアデータを用いて、第１距離センサが生成した測距点群データの解像度を高める。

このような構成によれば、第１距離センサが生成した測距点群データの解像度を高めるために、過去に第１距離センサから取得した測距点群データを用いる必要がない。つまり、複数分のフレームを用いずに、第１距離センサが生成した測距点群データの解像度を高めることが可能な物体認識装置を提供することができる。

また、上記目的を達成するための本開示における物体認識方法は、レーザ光を照射するとともに、当該レーザ光が物体で反射されて返ってくる反射光を受光することによって３次元距離センサが生成する、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを用いて、レーザ光の照射範囲内に存在する物体を認識する物体認識方法であって、３次元距離センサである第１距離センサから、当該第１距離センサが生成した測距点群データを低解像点群データとして取得する点群データ取得ステップ（Ｓ２００）と、記第１距離センサとは別の３次元距離センサであって、第１距離センサよりも高い解像度を備える第２距離センサが生成した測距点群データである高解像点群データから抽出した局所領域のデータである高解像パッチと、当該高解像パッチの解像度を所定量低下させた低解像パッチとを対応付けて記憶しているパッチペア記憶部に保存されている低解像パッチ及び高解像パッチを用いて、点群データ取得ステップで取得した低解像点群データに対して超解像処理を実行する超解像ステップ（Ｓ２２０）と、を備え、超解像ステップは、点群データ取得ステップで取得された低解像点群データから、所定の抽出単位の大きさを有する局所領域を対象パッチとして抽出するステップ（Ｓ２２２）と、パッチペア記憶部が記憶している低解像パッチの中から、対象パッチと類似している低解像パッチを探索するとともに、探索結果として発見された低解像パッチと対応付けられている高解像パッチを置換用パッチとして取得するステップ（Ｓ２２３）と、低解像点群データにおいて対象パッチとして抽出した領域である抽出元領域に、置換用パッチを配置するステップ（Ｓ２２４）と、を備える。

上記の方法は前述の物体認識装置に対応するものであって、上記の方法によれば、前述の物体認識装置として開示の構成と同様の効果を奏する。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

物体認識システム１００の概略的な構成を示すブロック図である。車載システム１の概略的な構成を示すブロック図である。車載ＬＩＤＡＲ１１の動作及び測距点群データについて説明するための図である。物体認識ＥＣＵ１３が備える機能について説明するためのブロック図である。センタ２の概略的な構成を示すブロック図である。サーバ２４が備える機能について説明するためのブロック図である。パッチペアＤＢ更新処理のフローチャートである。クラスタリングの結果について説明するための図である。クラスタ点群の向きを正規化する処理を説明するための概念図である。低解像クラスタの生成に係る一連の処理を説明するための図である。パッチとして抽出する領域の設定態様の一例を示す図である。パッチとして抽出する領域の設定態様の一例を示す図である。パッチ同士がオーバーラップしている状態を示す図である。パッチとして抽出する領域の設定態様の一例を示す図である。パッチペアＤＢ２３の構成の一例を示す概念図である。物体認識処理のフローチャートである。超解像処理のフローチャートである。パッチ探索処理のフローチャートである。採用判定処理についてのフローチャートである。パッチ合成処理の概念図を説明するための図である。変形例１における物体認識ＥＣＵ１３の構成を示すブロック図である。変形例２における物体認識ＥＣＵ１３の構成を示すブロック図である。変形例３における物体認識ＥＣＵ１３の構成を示すブロック図である。変形例４における物体認識ＥＣＵ１３の構成を示すブロック図である。変形例５における物体認識ＥＣＵ１３の構成を示すブロック図である。変形例６として開示の低解像パッチの内部位置情報を説明するための概念図である。変形例９における物体認識ＥＣＵ１３の構成を示すブロック図である。変形例１１における物体認識システム１００の構成を示すブロック図である。変形例１２における超解像処理の実施態様を示す概念図である。

以下、本開示の実施形態について図を用いて説明する。図１は、本開示に係る物体認識システム１００の概略的な構成の一例を示す図である。図１に示すように物体認識システム１００は、車載システム１と、センタ２と、を備えている。

＜車載システム１の概略的な構成＞
車載システム１の概略的な構成について説明する。車載システム１は、例えば乗用車等の車両に搭載されており、図２に示すように、車載ＬＩＤＡＲ１１、通信装置１２、及び物体認識ＥＣＵ１３を備える。物体認識ＥＣＵ１３は、車載ＬＩＤＡＲ１１及び通信装置１２と車両内に構築されている通信ネットワーク１０を介して相互通信可能に接続されている。なお、車載ＬＩＤＡＲ１１や通信装置１２は、専用線によって物体認識ＥＣＵ１３と相互通信可能に接続されていても良い。以降では、車載システム１が搭載されている車両を自車両とも記載する。

車載ＬＩＤＡＲ１１は、レーザ光を複数の方向に照射し、その反射光を受光した方向と時間とに基づいて、反射点毎の３次元位置を測定する装置（いわゆるＬＩＤＡＲ：LIght Detection And Ranging、Laser Imaging Detection And Ranging）である。本実施形態では一例として車載ＬＩＤＡＲ１１は、車両前方の所定範囲を検出範囲とするように車両の所定位置に設置されており、垂直方向に配された複数ラインのレーザを水平方向に走査することで、車両前方の検出範囲内に存在する物体表面上の複数の点の位置を検出するように構成されている。車載ＬＩＤＡＲ１１の搭載位置としては、例えばフロントバンパやフロントグリル、フロントウインドウの上端付近を採用することができる。車載ＬＩＤＡＲ１１は、３次元距離センサ、特に第１距離センサに相当する。

なお、ここでの垂直方向及び水平方向とは車載ＬＩＤＡＲ１１にとっての垂直方向及び水平方向であって、車載ＬＩＤＡＲ１１に対して予め設定されている。車載ＬＩＤＡＲ１１は、垂直方向が車両の高さ方向と平行となり、かつ、水平方向が車両水平面と平行となる姿勢で取り付けられている。車両水平面は車両の高さ方向に直交する平面である。

垂直方向においてレーザ光を照射する角度範囲が、垂直方向における車載ＬＩＤＡＲ１１の検出範囲に相当する。また、水平方向においてレーザ光を照射する角度範囲が、水平方向における車載ＬＩＤＡＲ１１の検出範囲に相当する。垂直方向及び水平方向のそれぞれのおけるレーザ光の照射角度範囲が、車載ＬＩＤＡＲ１１の視野角（つまり検出範囲）を定める。

車載ＬＩＤＡＲ１１は、レーザ光を多数の照射方向に照射することで、レーザ光の照射方向毎の反射光の受光強度（以降、反射強度）と、レーザ光を照射してからその反射光を受光するまでの時間に応じて定まる距離情報を検出する。また、レーザ光を反射した点（つまり反射点）が存在する方向と距離が定まれば、当該反射点の車載ＬＩＤＡＲ１１に対する相対的な３次元位置を特定することもできる。レーザ光の照射方向が物体の検出方向に相当する。

本実施形態の車載ＬＩＤＡＲ１１は、検出結果を示す測距点群データとして、車両前方に存在する物体表面上の反射点（以降、測距点）の３次元位置と反射強度を表すデータを生成する。つまり、測距点群データは、測距点毎の位置情報と反射強度の情報とを示す。測距点の位置情報は、車載ＬＩＤＡＲ１１から当該測距点までの距離を間接的に示す。

なお、車載ＬＩＤＡＲ１１が検出結果を示すデータとして生成する測距点群データは、検出方向毎の物体までの距離と反射強度を示すデータであってもよい。このような測距点群データは別の観点によれば、距離画像データに相当する。いわゆる距離画像も測距点群データに含まれる。なお、反射光を受光したことを示す有意な受光強度の変化を検出しなかった照射方向には、反射強度として定常ノイズレベルを示す受光強度情報と、物体を検出しなかったことを示す距離情報（例えば無限大に相当する所定値）とが設定されればよい。

また、本実施形態では一例として、測距点群データが示す測距点毎の位置情報は、例えば車載ＬＩＤＡＲ１１の位置を基準（換言すれば原点）とする３次元直交座標系によって表現されている。なお、測距点の位置情報は、車載ＬＩＤＡＲ１１から測距点までの距離及び方向を示す極座標で表されていてもよい。

検出範囲を構成する多数のレーザ光の照射方向は、水平方向における照射方向と、垂直方向における照射方向によって識別される。水平方向の照射方向については左から順に番号を付し、この番号を方位番号と呼ぶ。水平方向においてレーザ光を照射する数（以降、水平照射数）は適宜設計されればよい。図３では一例として水平照射数が４０１に設定されている態様を図示している。また、垂直方向における照射方向については上から順に番号を付し、この番号をライン番号と呼ぶ。ここでのラインとは、車載ＬＩＤＡＲ１１が水平方向に１回走査を行うことによるレーザ照射方向の軌跡に相当する。図３では一例として、ライン数が８に設定されている態様を示している。

本実施形態の車載ＬＩＤＡＲ１１は、水平照射数＝４０１、ライン数＝８に設定されているものとする。車載ＬＩＤＡＲ１１が備えるライン数や水平照射数は適宜設計されればよい。車載ＬＩＤＡＲ１１の検出範囲（換言すれば視野角）を一定とした場合、ライン数が多いほど、また、水平照射数が多いほど、密にレーザ光を照射することを意味する。つまり、ライン数や水平照射数が多いほど解像度が高いことを意味する。

一般的にＬＩＤＡＲの解像度は、水平方向の解像度（換言すれば角度分解能）と、垂直方向の解像度に分けられる。水平方向の解像度は、例えば水平方向にレーザ光を照射する角度間隔によって表されて、水平方向にレーザ光を照射する角度間隔が細かいほど水平方向の解像度が高いことを意味する。例えば水平方向の解像度が２倍であるということは、半分の角度間隔でレーザ光を掃引照射するように構成されていることを意味する。また垂直方向の解像度は、例えばライン同士がなす角度差によって表され、ライン間隔が狭いほど垂直方向の解像度が高いことを意味する。なお、ＬＩＤＡＲの解像度は、物体の有無を検出する方向の密度であって、スキャン型のＬＩＤＡＲにおいては、検出範囲に対してレーザ光を照射する方向の数（つまり照射密度）に相当する。

なお、本実施形態で車載ＬＩＤＡＲ１１はレーザ光を掃引照射することで所望の検出範囲を形成する、いわゆるスキャン型のＬＩＤＡＲとするが、これに限らない。車載ＬＩＤＡＲ１１は、レーザ光を広範囲に照射し、車両の周辺にある物体によって反射したレーザ光を距離画像素子で撮像し、所定のアルゴリズムで解析することで測距点群データを生成するタイプ（いわゆるフラッシュ型）のＬＩＤＡＲであってもよい。フラッシュ型のＬＩＤＡＲにおいては反射光を受光する方向が検出方向に相当し、検出方向毎の角度差が小さいほど解像度が高いことを意味する。レーザ光は、赤外線を用いて実現されていても良い。

車載ＬＩＤＡＲ１１は、所定の間隔で（例えば１００ミリ秒毎に）動作することで、逐次、測距点群データを生成する。車載ＬＩＤＡＲ１１が生成した測距点群データは、物体認識ＥＣＵ１３に提供される。なお、車載システム１が備える車載ＬＩＤＡＲ１１は、後述する高解像ＬＩＤＡＲ５よりも解像度が低いものとする。以降における１プロセスとは、車載ＬＩＤＡＲ１１が１つの測距点群データを生成することである。また、１フレームとは、１プロセスにて得られた測距点群データのことである。

通信装置１２は、広域通信網３に無線接続し、センタ２と通信するための通信モジュール（換言すれば無線通信装置）である。通信装置１２は、物体認識ＥＣＵ１３から入力されたデータを変調して、センタ２に送信する。また、センタ２から送信されたデータを受信して物体認識ＥＣＵ１３に提供する。なお、ここでの広域通信網３とは、携帯電話網やインターネット等の、電気通信事業者によって提供される公衆通信ネットワークを指す。図１に示す基地局４は、車載システム１が広域通信網３に接続するための無線基地局である。

物体認識ＥＣＵ１３は、車載ＬＩＤＡＲ１１から入力された測距点群データに基づいて、車両の前方に存在する物体を検出する電子制御装置（ＥＣＵ：Electronic Control Unit）である。物体認識ＥＣＵ１３が物体認識装置に相当する。物体認識ＥＣＵ１３は、入出力部１３１、演算部１３２、及び車載パッチペアＤＢ１３３を備える。なお、部材名称中のＤＢはデータベース（database）の略である。演算部１３２は、入出力部１３１及び車載パッチペアＤＢ１３３のそれぞれと相互通信可能に接続されている。

入出力部１３１は、演算部１３２が通信ネットワーク１０に接続する他の装置と相互通信するためのインターフェースとして機能する回路モジュールである。例えば入出力部１３１は、車載ＬＩＤＡＲ１１から出力されたデータ（すなわち測距点群データ）を取得して、演算部１３２に提供する。また、演算部１３２から入力されたデータを所定の外部デバイス（例えば通信装置１２）に出力する。

演算部１３２は、種々の演算処理を実行する構成であって、コンピュータとして構成されている。すなわち、演算部１３２は、ＣＰＵ１３２１、ＲＡＭ１３２２、フラッシュメモリ１３２３、Ｉ／Ｏ、及びこれらの構成を接続するバスラインなどを備える。フラッシュメモリ１３２３には、コンピュータを演算部１３２として機能させるためのプログラム（以降、物体認識プログラム）等が格納されている。

なお、演算部１３２は、ＣＰＵの代わりに、ＧＰＵやＭＰＵを用いて実現されていても良い。さらにＣＰＵやＧＰＵ、ＭＰＵを組み合わせて実現されていてもよい。また、上述の物体認識プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよく、その具体的な格納媒体は、フラッシュメモリ１３２３に限定されない。ＣＰＵ１３２１が物体認識プログラムを実行することは、物体認識プログラムに対応する方法である物体認識方法が実行されることに相当する。

演算部１３２は、ＣＰＵ１３２１が物体認識プログラムを実行することによって、図４に示す種々の機能ブロックに対応する機能を提供する。すなわち、演算部１３２は機能ブロックとして車載ＤＢ更新部Ｆ０、点群データ取得部Ｆ１、クラスタリング部Ｆ２、超解像処理部Ｆ３、及び識別処理部Ｆ４を備える。これらの機能の詳細については別途後述する。なお、これらの種々の機能ブロックの一部又は全部は、ハードウェアとして実現されていても良い。或る機能をハードウェアとして実現する態様には１つ又は複数のＩＣを用いて実現する態様も含まれる。なお、超解像処理部Ｆ３は、より細かい機能として、距離特定部Ｆ３１、パッチ抽出部Ｆ３２、パッチ探索部Ｆ３３、及びパッチ合成部Ｆ３４を備える。超解像処理部Ｆ３は、距離特定部Ｆ３１、パッチ抽出部Ｆ３２、パッチ探索部Ｆ３３、及びパッチ合成部Ｆ３４が互いに協働（換言すれば連携）することにより提供される機能に相当する。

車載パッチペアＤＢ１３３は、後述するパッチペアデータを記憶しているデータベースである。車載パッチペアＤＢ１３３は、例えばハードディスクドライブやソリッドステートドライブ等といった、書き換え可能であって且つ不揮発性の記憶媒体を用いて実現されている。車載パッチペアＤＢ１３３は、演算部１３２によってデータの読み出し及び書き込みが可能に構成されている。車載パッチペアＤＢ１３３はパッチペア記憶部に相当する。

＜センタ２の概略的な構成＞
次に、センタ２の構成について述べる。センタ２は、図５に示すように通信装置２１、高解像点群ＤＢ２２、パッチペアＤＢ２３、及びサーバ２４を備える。サーバ２４は、通信装置２１、高解像点群ＤＢ２２、及びパッチペアＤＢ２３のそれぞれと相互通信可能に接続されている。

通信装置２１は、サーバ２４が広域通信網３を介して車載システム１と通信するための通信モジュールである。通信装置２１は、受信したデータをサーバ２４に出力するとともに、サーバ２４から入力されたデータを変調して広域通信網３に出力する。広域通信網３に出力されたデータは、車載システム１に伝送される。

高解像点群ＤＢ２２は、車載システム１が備える車載ＬＩＤＡＲ１１よりも相対的に照射密度が高いＬＩＤＡＲ（以降、高解像ＬＩＤＡＲ）５が生成した測距点群データ（以降、高解像点群データ）を記憶しているデータベースである。高解像ＬＩＤＡＲ５としては、例えば、垂直方向の解像度が０．１°、ライン数が６４、水平方向の解像度が０．０５°のＬＩＤＡＲを採用することができる。

ここでは一例として、高解像ＬＩＤＡＲ５は、水平方向及び垂直方向での解像度が車載ＬＩＤＡＲ１１の２倍以上に設定されているＬＩＤＡＲとする。故に、高解像ＬＩＤＡＲ５が生成する測距点群データは、車載ＬＩＤＡＲ１１が生成する測距点群データの４倍以上の解像度を有する。解像度が高いほど、検出物体を表す測距点群の数が多くなる。高解像ＬＩＤＡＲ５が生成する高解像点群データとしての測距点群データもまた、車載ＬＩＤＡＲ１１が生成する測距点群データと同様に、反射点毎の３次元座標と反射強度を示すデータである。高解像ＬＩＤＡＲ５として採用可能なＬＩＤＡＲの仕様は多様なものを採用可能である。高解像ＬＩＤＡＲ５は３次元距離センサ、特に第２距離センサに相当する。

高解像点群ＤＢ２２は、ハードディスクドライブなどの多様な記憶装置を用いて実現することができる。なお、高解像点群ＤＢ２２を構成する記憶媒体は、書き換え可能であって不揮発性の記憶媒体とする。高解像点群ＤＢ２２は、サーバ２４によってデータの読み出し及び書き換えが可能に構成されている。

パッチペアＤＢ２３は、サーバ２４が後述するパッチペアＤＢ更新処理を実行することで生成されるパッチペアデータを記憶しているデータベースである。パッチペアＤＢ２３も、高解像点群ＤＢ２２と同様に、書き換え可能であって不揮発性の記憶媒体を用いて実現されている。パッチペアＤＢ２３は、サーバ２４によってデータの読み出し及び書き換えが可能に構成されている。パッチペアＤＢ２３はパッチペア記憶部に相当する。

サーバ２４は、コンピュータとして構成されている。すなわち、サーバ２４は、ＣＰＵ２４１、ＲＡＭ２４２、フラッシュメモリ２４３、Ｉ／Ｏ、及びこれらの構成を接続するバスラインなどを備える。フラッシュメモリ２４３には、コンピュータをサーバ２４として機能させるためのプログラム（以降、サーバ用プログラム）等が格納されている。なお、サーバ２４は、複数設けられていても良い。また、サーバ２４は仮想サーバであってもよい。

上述のサーバ用プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよく、その具体的な格納媒体は、フラッシュメモリ２４３に限定されない。ＣＰＵ２４１がサーバ用プログラムを実行することは、サーバ用プログラムに対応する方法が実行されることに相当する。

サーバ２４は、ＣＰＵ２４１がサーバ用プログラムを実行することによって発現する機能ブロックとして、図６に示すように、高解像点群データ取得部Ｇ１、更新処理部Ｇ２、及び配信処理部Ｇ３を備える。

高解像点群データ取得部Ｇ１は、高解像ＬＩＤＡＲ５が生成する高解像点群データを取得して、高解像点群ＤＢ２２に保存する構成である。高解像点群データ取得部Ｇ１が取得した高解像点群データは、取得時刻や取得場所を示すデータなどと対応付けて保存されればよい。高解像点群データは、例えば高解像ＬＩＤＡＲ５を搭載した車両（以降、試験車両）を、実際の道路上を走行させることで収集すれば良い。試験車両は、当該システムの設計者や提供者等が管理する、高解像点群データを生成するための車両である。

また、他の態様として、高解像点群データは、高解像ＬＩＤＡＲ５として利用可能な解像度を備えるＬＩＤＡＲを搭載している一般車両から、無線通信によって自動的に随時収集するように構成されていても良い。その場合、所定のレベル以上の解像度を備えるＬＩＤＡＲを搭載している一般車両は、測距点群データを逐次アップロードするように構成されていればよい。ここでの一般車両とは試験車両以外の車両、具体的には、一般のユーザが使用する車両や、バスやタクシー、トラックなどの商用車を指す。

なお、高解像ＬＩＤＡＲ５として利用可能な解像度を備えるＬＩＤＡＲを搭載している一般車両から高解像点群データを収集する構成においては、当該データの提供元のＬＩＤＡＲの製造メーカや、型式（モデル）、型番等を示す情報（以降、生成元情報）も合わせて取得し、高解像点群データと対応付けて保存することが好ましい。ＬＩＤＡＲの型番等によって、解像度がばらつくことが想定されるためである。なお、生成元情報は、後述する低解像データ生成処理やノイズ付与処理等で利用されればよい。

更新処理部Ｇ２は、高解像点群ＤＢ２２に保存されている高解像点群データを用いてパッチペアＤＢ更新処理を実行する。更新処理部Ｇ２の作動については後述する。配信処理部Ｇ３は、通信装置２１と協働して、パッチペアＤＢ２３に保存されているパッチペアデータを配信する構成である。パッチペアデータの配信は、車載システム１からの要求に基づいて実施されれば良い。パッチペアデータの配信は、例えばＫＤ－Ｔｒｅｅとしての構造を維持するために、パッチペアＤＢ２３に保存されている全てのパッチペアデータをパッケージ化したパッチペアモジュールとして配信されればよい。なお、配信処理部Ｇ３は他の態様として、定期的に又はパッチペアＤＢ更新処理を実施する度に、配信済みのデータとの差分データを配信するように構成されていても良い。

＜パッチペアＤＢ更新処理＞
次に、図７に示すフローチャートを用いて、更新処理部Ｇ２が実施するパッチペアＤＢ更新処理について説明する。図７に示すフローチャートは、高解像点群ＤＢ２２に新たな高解像点群データが追加された場合に、当該高解像データを対象として開始されればよい。もちろん、パッチペアＤＢ更新処理の実行タイミングについては適宜設計されればよい。パッチペアデータの生成がまだ実施されていない（つまり未処理の）高解像点群データが高解像点群ＤＢ２２に存在する場合に、当該未処理の高解像点群データを対象として実行されればよい。なお、高解像点群ＤＢ２２に保存されている高解像点群データには、当該データを用いたパッチペアデータの生成処理が実施済みであるか否かを示す管理データ（例えばフラグ）が付与されており、当該管理データによって、処理済みであるか否かが識別されれば良い。

まず、ステップＳ１０１では、パッチペアデータの生成が未処理の１つの高解像点群データを読み出してステップＳ１０２に移る。ステップＳ１０２では、高解像点群データが示す測距点群のクラスタリングを行う。クラスタリングとは、点間距離が所定距離より小さい測距点同士を、１つの物体に対応するものとしてグループ化することである。図８は測距点群とクラスタリングの結果の一例を示す図である。なお、本実施形態では、車両右方向をｘ軸の正とし、車両の前方をｙ軸の正とする。また、鉛直方向の上方向をｚ軸の正とする。なお、ｘ軸やｙ軸は、車両の進行方向を基準として定まるように構成されていてもよい。

以降におけるクラスタとは、クラスタリングによって得られる測距点のグループ（換言すればまとまり）のことである。クラスタリングを行うことにより、高解像点群データが示す点群は、各検出物体に対応するクラスタとして区分される。便宜上、１つのクラスタを構成する点群のことをクラスタ点群とも記載する。なお、図中のｗｋ、ｄｋは、或るクラスタＣｋの幅（ｘ軸方向の長さ）、及び奥行き幅（ｙ軸方向の長さ）を表している。

ステップＳ１０２のクラスタリングによって、処理の対象としている高解像点群データから１つ又は複数のクラスタが得られた場合には以降の処理を継続する。クラスタが１つも得られなかった場合には、以降の処理はキャンセルされればよい。複数のクラスタが得られた場合には、各クラスタに対してステップＳ１０３以降の処理を実行する。なお、本実施形態では一例としてステップＳ１０２のクラスタリングは、部分的に／全面的に、管理者／開発者による手入力によって行われるものとするが、これに限らない。他の態様としてクラスタリングはソフトウェアによって全て自動で行われても良い。

ステップＳ１０３では、高解像ＬＩＤＡＲ５から処理の対象とするクラスタ（以降、対象クラスタ）までの距離である代表距離を算出する。例えばステップＳ１０３では、対象クラスタの重心に相当する座標（以降、重心座標）を演算し、高解像ＬＩＤＡＲ５の位置に相当する原点から当該重心座標までの距離を代表距離として算出する。なお、重心座標は、クラスタ点群を構成する各測距点の座標に基づいて算出することができる。図中のｘｋ、ｙｋは、クラスタＣｋの重心のｘ座標、ｙ座標を表している。

ステップＳ１０４では、クラスタ点群の位置情報及び向きを正規化する。まずは、クラスタ点群を構成する各測距点の座標情報を、クラスタ点群の重心（以降、クラスタ重心）を原点とした座標系に変換する。具体的にはクラスタ重心を座標系の原点に位置するように平行移動させる。これにより、クラスタ点群が備える高解像ＬＩＤＡＲ５に対する相対位置情報を除去する。また、ステップＳ１０４では、図９の上段及び中段に示すように、クラスタ点群の長手方向が３次元座標系を構成する所定の軸（例えばｘ軸）と平行になるように、クラスタ点群を回転する座標変換を行う。なお、クラスタ点群の回転補正の方法としては、特開２０１６－２０６０２６号公報などに開示されている方法など、多様な方法を援用することができる。ステップＳ１０４での処理が完了するとステップＳ１０５を実行する。

ステップＳ１０５では、解像度を低下させたクラスタ点群を生成する処理（以降、低解像データ生成処理）を実施する。具体的には、クラスタ点群を複製し、複製したクラスタ点群の解像度を所定量低下させる。つまり、クラスタ点群を低解像化（換言すればダウンサンプリング）する。クラスタ点群の低解像化は、クラスタ点群を構成する測距点群を一定間隔で間引くことで実現されれば良い。便宜上、解像度を低下させる前の元となったクラスタ点群を高解像クラスタ点群とも称し、解像度を低下させたクラスタ点群を低解像クラスタ点群とも称する。

なお、クラスタ点群の低解像化は、高解像クラスタ点群を車載ＬＩＤＡＲ１１の仕様に合わせて間引くことによって実現されることが好ましい。例えば、車載ＬＩＤＡＲ１１の水平解像度が、高解像ＬＩＤＡＲ５の水平解像度の半分である場合には、水平方向における測距点の数が半分となるように１つおきに測距点を間引く。垂直方向における間引き処理も同様に、高解像ＬＩＤＡＲ５と車載ＬＩＤＡＲ１１の性能差を考慮して行われれば良い。

また、本実施形態では車両でのピッチング等に由来する垂直方向（換言すれば高さ方向）及び水平方向における位置ズレを想定し、１つの高解像クラスタ点群から、間引き対象とする方位やラインが異なる複数のパターンの低解像クラスタ点群を生成する。ステップＳ１０５での処理が完了するとステップＳ１０６を実行する。なお、図１０は低解像クラスタ生成処理の作用を概念的に表した図であって、高解像クラスタに対応する検出物体が人間である場合を示している。もちろん、高解像クラスタに対応する物体は人間に限らず、ガードレールや、電柱、自転車、車両など何でもよい。図１０の（Ａ）は高解像クラスタを表しており、（Ｂ）は低解像クラスタを表している。（Ｃ）は次のステップＳ１０６実行後の低解像クラスタを表している。

ステップＳ１０６では、車載ＬＩＤＡＲ１１が仕様として備える照射方位誤差及び測距誤差の範囲内において、ランダムに低解像クラスタ点群を構成する各測距点の位置情報を変動させた低解像クラスタ点群を複数パターン生成する。このような処理は、高解像クラスタ点群から生成した低解像クラスタ点群に、車載ＬＩＤＡＲ１１の仕様に応じたノイズを印加する処理に相当する。

なお、図１０の（Ｃ）では、測距点を示す丸の線の太さで、同図（Ｂ）に示す測距点に対する位置情報の変動量を概念的に示している。すなわち、同図（Ｂ）に示す測距点の丸の線の太さに対する変化量が、位置情報の変化量の多寡を概念的に示している。同図（Ｂ）に対して相対的に線が細くなっている測距点はｙ軸正方向（つまり奥側）に移動した点を表しており、相対的に線が太くなっている測距点は、ｙ軸負方向（つまり手前側）に移動した点を表している。

低解像クラスタ点群を構成する各測距点の位置情報を、車載ＬＩＤＡＲ１１が仕様として備える照射方位誤差及び測距誤差の範囲内においてランダムに変動させることで、低解像クラスタ点群を、車載ＬＩＤＡＲ１１が実際に生成しうるクラスタ点群に近づけることができる。なお、ここでの照射方位誤差とは、設計上の（換言すればコンピュータが認識する）照射方向と、実際のレーザ光の照射方向とのずれに相当するものである。

照射方位誤差は、車載ＬＩＤＡＲ１１を構成する機械的な要素が提供する誤差に由来する。照射方位誤差は、掃引照射時の照射間隔の誤差とみなすこともできる。また、測距誤差は、距離の算出誤差である。測距誤差は、例えばレーザ光を照射してから反射光の受光を検出するまでの時間の計測精度、具体的には、クロック発振器の精度や、受光素子の応答性などといったハードウェア的な要素と、反射光の受光を検出するためのアルゴリズムなどのソフトウェア的な要素の両方に由来して定まる。ステップＳ１０６での処理が完了するとステップＳ１０７を実行する。

便宜上、以降では高解像クラスタ点群と、当該高解像クラスタ点群から生成した１つの低解像クラスタを１つのクラスタ点群ペアとして取り扱う。クラスタ点群ペアは、低解像クラスタ点群の数だけ発生する。例えば図１０に示すように１つの高解像クラスタ点群から複数の低解像クラスタ点群を生成する場合には、複数のクラスタ点群ペアが発生する。以降の処理はクラスタ点群ペア毎に実施されれば良い。

ステップＳ１０７では、図１１に示すように、クラスタ点群ペアを構成する高解像クラスタ点群と低解像クラスタ点群のそれぞれにおいて同じ位置に存在する所定のサイズ及び形状の局所領域をパッチとして抽出し、高解像パッチと低解像パッチのペアとしてパッチペアＤＢ２３に登録する。具体的には、ＸＺ平面視において高解像クラスタの全領域をカバーするように（換言すれば測距点の漏れがないように）パッチとして抽出する領域の境界を設定することにより、１つ高解像クラスタから複数の高解像パッチを抽出する。そして、低解像クラスタに対しても同様の設定態様でパッチの境界を設定し、各高解像パッチに対応する低解像クラスタを抽出する。

高解像パッチとは、高解像クラスタ点群から抽出したパッチのことであり、低解像パッチとは、低解像クラスタ点群から抽出したパッチのことである。低解像パッチは、高解像パッチの解像度を所定量低下させたデータに相当する。このようにして生成される高解像パッチや低解像パッチは、高解像クラスタ点群と低解像クラスタ点群のそれぞれを所定の抽出単位で分割してなる点群データに相当する。本実施形態におけるパッチとは、クラスタ点群の一部を示すデータに相当する。

本実施形態では一例として図１１に示すように、ＸＺ平面視におけるパッチの形状（換言すればパッチの型）を正方形状とするが、これに限らない。パッチ形状は図１２に示すように長方形状であってもよい。その他、パッチ形状は、三角形や六角形などであっても良い。なお、パッチの形状を長方形とする場合には、長辺がスキャン方向と一致するようにパッチの境界を設定することが好ましい。図１１や図１２、図１４の（Ａ）は、高解像クラスタ点群に対するパッチの境界線の設定態様を示しており、図１１や図１２、図１４の（Ｂ）は、低解像クラスタ点群に対するパッチ境界線の設定態様を表している。

なお、図１１、図１２では図の視認性を確保するために、パッチ同士が重ならないように（換言すればオーバーラップが生じないように）、パッチの境界を設定している態様を示しているがこれに限らない。隣接するパッチ間でオーバーラップが生じるようにパッチの境界を設定しても良い。パッチ同士にオーバーラップが生じている状態とは、図１３に示すように、隣接するパッチ同士が境界付近で重なり合っている状態、換言すれば、境界付近に存在する測距点のデータが隣接するパッチにも含まれている状態に相当する。クラスタ点群から複数のパッチを抽出する際の各パッチの境界の設定方法（換言すれば切り出し方）としては多様な方法を採用する事ができる。

オーバーラップの幅は適宜設計されればよく、例えばパッチ幅の３分の１程度に設定されれば良い。パッチ同士にオーバーラップが生じるようにパッチの境界を設定することで、後述するパッチ探索処理の精度を高めることができる。故に、本実施形態ではパッチ同士にオーバーラップが生じるようにパッチの抽出を行うものとする。図１３に示すパッチＰ１，Ｐ２，Ｐ３は何れもパッチを表しており、パッチＰ１，Ｐ３はパッチＰ２に隣接するパッチである。なお、図１３においては上下方向においてパッチＰ２に隣接するパッチの図示は省略している。パッチの境界は、上下方向においても隣接するパッチとオーバーラップするように設定されることが好ましい。図１３において斜線のハッチングを施している領域が他のパッチとオーバーラップしている部分を表している。

なお、オーバーラップが生じるようにパッチを抽出する態様では、パッチ探索処理の精度を高めることができる一方、１つのクラスタ点群から抽出されるパッチの総数が多くなり、パッチペアＤＢ２３に格納されるデータ量が大きくなる。故に、パッチペアＤＢ２３のデータサイズ低減の観点から、オーバーラップが生じないように抽出元領域を設定するように構成されていても良い。抽出元領域は、パッチとして抽出する領域のことである。

さらに、パッチとして抽出する（換言すれば切り出す）領域のサイズを複数パターン用意しておき、１つのクラスタ点群ペアから、異なるサイズのパッチペアを生成してもよい。例えばパッチの型として、小、中、大の３段階のサイズの型を用意しておき、それぞれのサイズの型でパッチペアデータを生成しても良い。そのような態様は、同一のクラスタ点群ペアから多重解像度でパッチペアを生成する態様に相当する。

ところで、本実施形態ではクラスタ点群データからパッチとして抽出するデータ領域の形状は一定（具体的には所定のパッチ型の単位）とするがこれに限らない。パッチとして抽出するデータ領域は、クラスタの種別に応じたパーツ単位としても良い。例えば、歩行者に対応するクラスタ点群からは、図１４に示すように頭、腕、胴、脚といった各パーツを抽出単位としてパッチの抽出を実施するように構成されていても良い。１つのクラスタを複数に分割する方法は特許文献１に開示されている方法など、多様な方法を援用することができる。

処理の対象としているクラスタ点群に対応する物体の種別（例えば歩行者や車両）は、手動で識別されてもよいし、別途、クラスタ点群が備える特徴量を用いて自動的に（換言すればソフトウェアによって）識別されても良い。クラスタ点群のパーツ識別も同様である。歩行者のパーツとしては上述の通り、頭や、腕、胴、脚を採用することができ、自転車であれば、前輪、後輪、フレーム部分などを採用することができる。勿論、自転車に乗車している人に対しては、歩行者と同様に頭、腕、胴、脚といったパーツ単位をパッチとして採用することができる。クラスタ点群の種別ごとのパーツの設定は適宜設計されればよい。

また、パッチは、クラスタ点群をライン単位で分割したものであってもよい。一般的に、スキャン型のＬＩＤＡＲは、ライン数よりも方位数のほうが多い。つまり、スキャン方向に相当する水平方向のほうが、垂直方向よりも解像度が高い。故に、ライン別に分割したものをパッチとして抽出する態様によれば、１つのパッチが備える点群密度が高くなる。その結果、後述するパッチ探索処理が成功する確率を高めることができる。

ステップＳ１０８では、低解像パッチが備える各測距点の反射強度情報を加工する。具体的には、反射強度の二乗則に従い、測距点毎の反射強度の検出値（換言すれば生値）に、高解像ＬＩＤＡＲ５から当該測距点までの距離の二乗を乗算することで、測距点毎の反射強度の値を距離に非依存な値へと正規化する。なお、反射強度の正規化に使用する距離は、ステップＳ１０３で算出した代表距離であっても良い。反射強度の正規化は、レーザ光反射面の面積に応じて距離の三乗や四乗した値を乗じることで実現されても良い。加えて、測距点毎の反射強度に対してガウス関数を用いて測距点毎の反射強度を平滑化する処理（以降、平滑化処理）を実行し、パッチ探索処理時のロバスト性を高める。

なお、他の態様として、反射強度の空間変化に着目し、測距点毎の反射強度に基づいて、低解像パッチの反射強度の勾配（換言すれば微分値）情報を抽出し、低解像パッチと対応付けて保存しても良い。このように生成された反射強度の勾配を示す情報（以降、強度勾配情報）には強度自体の大きさは含まれない。故に、強度勾配情報を用いて後述するパッチ探索処理を実施する構成によれば、実際の検出データが備える反射強度自体の多様性の影響を低減でき、探索時のロバスト性を高めることができる。反射強度の勾配情報は、エッジフィルタを用いて抽出することができる。なお、強度勾配情報をガウス関数で平滑化したものを探索用の情報として用いても良い。

ステップＳ１０８での処理が完了するとステップＳ１０９を実行する。ステップＳ１０９では、ステップＳ１０８で生成したパッチペアデータを、ステップＳ１０３で特定している、パッチペアデータの元となったクラスタ点群（以降、元クラスタ）の代表距離と対応付けて保存する。また、本実施形態では一例として、種々の点群クラスタから生成される種々のパッチペアデータは、元クラスタの代表距離に応じて区別して保存されているものとする。具体的にはパッチペアＤＢ２３は、図１５に示すように、第１レンジＤＢ２３ａ、第２レンジＤＢ２３ｂ、第３レンジＤＢ２３ｃ、第４レンジＤＢ２３ｄ、及び第５レンジＤＢ２３ｅを備える。

第１レンジＤＢ２３ａは、代表距離が所定の第１距離未満であるクラスタ点群から生成したパッチペアを保存するデータ領域である。第２レンジＤＢ２３ｂは、代表距離が第１距離以上、所定の第２距離未満となっているクラスタ点群から生成したパッチペアを保存するデータ領域である。第３レンジＤＢ２３ｃは、代表距離が第２距離以上、所定の第３距離未満となっているクラスタ点群から生成したパッチペアを保存するデータ領域である。第４レンジＤＢ２３ｄは、代表距離が第３距離以上、所定の第４距離未満となっているクラスタ点群から生成したパッチペアを保存するデータ領域である。第５レンジＤＢ２３ｅは、代表距離が第４距離以上となっているクラスタ点群から生成したパッチペアを保存するデータ領域である。

第１～４距離の具体的な値は適宜設計されれば良い。ここでは一例として、第１～４距離を順に１０ｍ、２０ｍ、３０ｍ、４０ｍに設定されているものとする。故に、例えば高解像ＬＩＤＡＲ５から１５ｍ離れた位置に存在するクラスタ点群６から生成したパッチペアデータは、第２レンジＤＢ２３ｂに保存される。なお、ここでは一例として、１０ｍ単位でパッチペアデータを５分割して管理するものとするが、パッチペアデータを分けて保存する際の分割数や分割距離単位はこれに限らない。また、本実施形態では一例として元クラスタの代表距離で分けてＤＢ化しているが、これに限らない。代表距離で分けずに保存してもよい。

このような態様は、パッチペアＤＢ２３を高解像ＬＩＤＡＲ５からの距離に応じて複数のデータベースに分割して運用する構成に相当する。このような構成によれば、パッチペアＤＢ２３が備える多数のパッチペアデータは、当該データの元となったクラスタ点群の代表距離に応じたデータベースに格納されるため、パッチ探索処理の速度や精度を高めることができる。

第１～５レンジＤＢといった、距離別の記憶領域のことを以降では距離別ＤＢとも称する。本実施形態のように、パッチペアＤＢ２３を元クラスタの代表距離で分割して運用する構成は、種々のパッチペアデータからなるパッチペアデータの集合を元クラスタの代表距離で分けて管理する構成に相当する。

ところで、本実施形態では一例として、種々のパッチペアデータの集合を元クラスタの代表距離によって複数の部分集合に分割して管理するが、これに限らない。元クラスタの解像度（換言すれば点密度）で分割してもよい。

また、パッチペアデータの全集合を、元クラスタを含む高解像点群データ取得時の天候・時間帯といった環境情報によって部分集合に分割して保存するように構成しても良い。そのような態様によれば、ノイズレベルの近いパッチペア群が１つの部分集合が形成される。そのため、パッチ探索処理においても実際の検出環境に対応する部分集合内を探索することでマッチング精度を高めることができる。

さらに、パッチペアデータの全集合は、元クラスタの形状や大きさによって部分集合に分割して保存するように構成しても良い。そのような構成によれば、形状や反射強度が近いパッチペア群が１つの部分集合が形成される。そのため、パッチ探索処理においても実際に検出しているクラスタ点群の大きさ等に対応する部分集合内を探索することでマッチング精度を高めることができる。その他、元クラスタが歩行者であるか否かなど、元クラスタに対応する物体の種類に応じて、パッチペアデータの集合は複数の部分集合に分割されていても良い。なお、距離や、解像度、環境、大きさ等といった種々の分類指標を組み合わせて、パッチペアデータの全集合を分割して管理するように構成されていても良い。

ステップＳ１１０では、ステップＳ１０９で新たに保存した低解像パッチに対して予め設定されているＫ種類の特徴量を算出する。ここでの特徴量としては、パッチのサイズや、パッチが備える測距点の数、各測距点の反射強度の平均値、反射強度の分散、パッチに含まれる測距点が示す円度（又は球度）などを採用することができる。その他、反射強度の中央値や最大値、パッチ内における測距点の重心位置や偏り度なども採用可能である。パッチの特徴量としては多様な指標を採用することができる。本実施形態ではより好ましい態様として、例えば各測距点の反射強度の平均値や分散といった反射強度に係る特徴量が含まれているものとする。

また、ステップＳ１１０では以上により求めたＫ種類の特徴量を成分として備えるＫ次元ベクトルを生成する。当該Ｋ次元ベクトルは、対象としている低解像パッチをＫ次元のユークリッド空間内における点（換言すれば座標）で表すものである。当該Ｋ次元ベクトルは、対象としている低解像パッチを含むパッチペアデータと対応付けて保存される。

さらに、ステップＳ１１０では、対象としている低解像パッチが属する距離別ＤＢ（以降、対象ＤＢ）が保持している低解像パッチ毎のＫ次元ベクトルを用いて、ＫＤ（K-Dimensional）－Ｔｒｅｅを構成する。ＫＤ－Ｔｒｅｅは、Ｋ次元のユークリッド空間にある点を分類する空間分割データ構造であって、各点が低解像パッチに相当する。このように対象ＤＢ内のパッチペアデータ（具体的には低解像パッチ）をＫＤ－Ｔｒｅｅで表現することにより、多次元探索鍵を使った探索速度を高めることができる。

ところで、本実施形態では一例として低解像パッチ（ひいてはパッチペアデータ）を、距離別ＤＢ毎のＫＤ－Ｔｒｅｅで保持するが、これに限らない。例えば他の態様として、距離別ＤＢ内のパッチペアデータを、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて低解像パッチ同士の類似度（以降、ＩＣＰ類似度）を算出し、ＩＣＰ類似度によってパッチペアデータをグループ化しても良い。パッチペアデータのグループ化には例えばk-means法を援用できる。ＩＣＰ類似度の算出には、例えばEfficient Variants of the ICP Algorithm, 3D Digital Imaging and Modeling, 2001等に開示の方法を援用することができる。

なお、ＩＣＰ類似度を用いて距離別ＤＢ内のパッチペアデータを複数のグループに分類して管理する構成においては、グループごとに代表パッチを設定しておくことが好ましい。或るグループの代表パッチは、そのグループに属する低解像パッチを代表的に表す低解像パッチである。例えば代表パッチは、グループ内の低解像パッチの平均や重心に相当する低解像パッチとすれば良い。

また、他の態様として、各低解像パッチは、元クラスタ内における位置（以降、内部位置）を示す情報と対応付けて保存されていてもよい。例えば、元クラスタにおいて上部に存在していた低解像パッチに対してはクラスタ上部用のパッチとして保存され、元クラスタにおいて下部に存在していた低解像パッチに対してはクラスタ下部用のパッチとして保存されればよい。内部位置情報は、上部、下部の２段階で分けられても良いし、上部、中部、下部の３段階で分けられても良い。また、内部位置は右側（換言すればｘ軸正方向側）と、左側（換言すればｘ軸負方向側）とで表現されても良い。内部位置情報は元クラスタの重心に対する、低解像パッチの重心位置を示す座標で表現されていてもよい。

さらに、他の態様として、パッチペアデータ毎に、同一の元クラスタから抽出された他のパッチペアデータと、元クラスタ内での相対位置情報を保存しておいてもよい。そのような構成によれば、後述するパッチ探索処理において、相対位置情報から探索範囲を制限でき、誤マッチングが発生する恐れを低減することができる。なお、多重解像度でパッチペアデータを生成する態様においては、異なる解像度で生成したパッチペアデータとの相対位置情報も対応付けて保存しておいても良い。

ステップＳ１１０で処理が完了すると一連のパッチペアＤＢ更新処理を終了する。なお、以上の処理によって生成／更新されたパッチペアＤＢ２３が備えるデータは、車載システム１からの要求等に基づいて配信処理部Ｇ３によってパッケージ化されて車載システム１に配信される。

尚、上記では、高解像クラスタ点群をダウンサンプリングして低解像クラスタ点群を求め、低解像クラスタ点群から低解像パッチを抽出したが、これに限らない。高解像クラスタ点群から抽出した高解像パッチを直接ダウンサンプリングして低解像パッチを抽出しても良い。

＜演算部１３２の機能＞
次に、車載システム１の演算部１３２が備える種々の機能及びその作用について説明する。演算部１３２は、前述の通り機能ブロックとして図４に示す車載ＤＢ更新部Ｆ０、点群データ取得部Ｆ１、クラスタリング部Ｆ２、超解像処理部Ｆ３、及び識別処理部Ｆ４を備える。

車載ＤＢ更新部Ｆ０は、通信装置１２と連携してセンタ２から最新のパッチペアデータモジュールを取得し、車載パッチペアＤＢ１３３に保存する構成である。例えば車載ＤＢ更新部Ｆ０は、車両のユーザやディーラーショップの作業員の操作に基づいて、センタ２に対してパッチペアデータモジュールの配信を要求する通信パケットを送信する。そして、センタ２から送信されてきたデータを車載パッチペアＤＢ１３３に格納する。なお、パッチペアデータモジュールの配信に係るセンタ２側での処理は、前述の通り、配信処理部Ｇ３によって実行される。

なお、センタ２から受信するパッチペアデータモジュールは、車載パッチペアＤＢ１３３に保存されているデータ群との差分を示すデータ（つまり差分データ）であっても良い。また、パッチペアデータモジュールの取得は、例えば毎週月曜日や、毎月１日など、所定のタイミングで自動的に実行するように構成されていても良い。その他、センタ２がパッチペアＤＢ更新処理を実施したことに基づいて、車載システム１に対してデータの更新があることを通知し、当該通知をトリガとしてパッチペアデータモジュールの取得処理を実行するように構成されていても良い。

また、本実施形態では広域通信網３を介してパッチペアデータモジュールを取得するものとするがこれに限らない。道路上に設置された狭域通信装置である路側機から狭域通信によってダウンロードするように構成されていても良い。ここでの狭域通信とは、広域通信網を介さない直接的な無線通信である。狭域通信の規格としては例えば、ＷＡＶＥ（Wireless Access in Vehicular Environments）等、多様な規格を採用することができる。

点群データ取得部Ｆ１は、車載ＬＩＤＡＲ１１から測距点群データを取得する。なお、車載ＬＩＤＡＲ１１から提供される測距点群データは、高解像ＬＩＤＡＲ５が生成する高解像点群データよりも解像度が低いデータであって、ここでは低解像点群データとも称する。

演算部１３２は、点群データ取得部Ｆ１が取得した測距点群データを用いて物体認識処理を実行する。物体認識処理は、車両前方に存在する物体を認識する処理である。クラスタリング部Ｆ２、距離特定部Ｆ３１、パッチ抽出部Ｆ３２、パッチ探索部Ｆ３３、パッチ合成部Ｆ３４、及び識別処理部Ｆ４は、当該物体認識処理を実行するための要素であって、その具体的な機能及び作動については、物体認識処理の説明の中にて言及する。

＜物体認識処理＞
次に、図１６に示すフローチャートを用いて、演算部１３２が実施する物体認識処理について説明する。図１６に示すフローチャートは、例えば車載ＬＩＤＡＲ１１の動作間隔に対応する周期で定期的に実行されれば良い。

まずステップＳ２００では点群データ取得部Ｆ１が車載ＬＩＤＡＲ１１から測距点群データを取得し、ステップＳ２１０に移る。ステップＳ２００が点群データ取得ステップに相当する。ステップＳ２１０ではクラスタリング部Ｆ２が、点群データ取得部Ｆ１が車載ＬＩＤＡＲ１１から取得した測距点群データのクラスタリングを行い、クラスタ点群を抽出する。ステップＳ２１０のクラスタリングによって、少なくとも１つのクラスタが得られた場合にはステップＳ２２０以降の処理を継続する。クラスタが１つも得られなかった場合には、以降の処理はキャンセルされればよい。また、複数のクラスタが得られた場合には、各クラスタに対して以降の処理を実行する。なお、ステップＳ２１０のクラスタリングは、ソフトウェアとして実現されているクラスタリング部Ｆ２によって行われる。

ステップＳ２２０では超解像処理部Ｆ３が、処理の対象とする１つのクラスタに対して別途、図１７を用いて説明する超解像処理を実施する。超解像処理は、対象クラスタを構成する測距点群データの点密度（すなわち解像度）をパッチ単位で高める処理である。超解像処理は例えば図１７に示すようにＳ２２１～Ｓ２２４を備える。ステップＳ２２２～ステップＳ２２４を含むステップＳ２２０が超解像ステップに相当する。

まず、ステップＳ２２１では距離特定部Ｆ３１が、対象クラスタと車載ＬＩＤＡＲ１１との距離を算出する。ステップＳ２２１での処理が完了するとステップＳ２２２を実行する。ステップＳ２２２ではパッチ抽出部Ｆ３２が、まず、対象クラスタの向きをステップＳ１０４と同様に、クラスタ点群の長手方向が、３次元座標系を構成する所定の軸（例えばｘ軸）と平行になるように回転する座標変換を行う。そして、対象クラスタを複数のパッチに分割し、対象クラスタから複数のパッチを抽出する。

パッチ抽出部Ｆ３２によるパッチの抽出方法は、センタ２でのパッチペアデータの生成時と同様とすればよい。対象クラスタの全ての測距点が、少なくとも何れか１つのパッチに含まれるように（換言すれば漏れがないように）パッチの境界が設定される。パッチ抽出部Ｆ３２がパッチとして抽出する領域のサイズ、形状は、センタ２でのパッチペアデータの生成時と同一とする。つまり、センタ２でのパッチペアデータの生成時と同一のパッチ型で、パッチを抽出する。パッチ抽出部Ｆ３２は、隣接するパッチ同士が所定の幅でオーバーラップするようにパッチを抽出する。

なお、本実施形態では、クラスタ点群の向きが、パッチペアＤＢ２３に保存されている低解像パッチの元となったクラスタ点群と向きが揃うように回転させてから対象パッチの抽出を行うものとしたがこれに限らない。他の態様としてパッチ抽出部Ｆ３２はクラスタ点群の回転補正をせずにパッチの抽出を実施するように構成されていてもよい。便宜上、ステップＳ２２２で抽出した複数のパッチのそれぞれを対象パッチとも称する。

ステップＳ２２３ではパッチ探索部Ｆ３３が、ステップＳ２２２で抽出した複数の対象パッチのそれぞれを処理の対象として、パッチ探索処理を実施する。パッチ探索処理は、概略的には、車載パッチペアＤＢ１３３に登録されている複数の低解像パッチの中から対象パッチと最も類似している低解像パッチを特定し、当該低解像パッチと対応付けられている高解像パッチを置換用パッチとして取得する処理である。

パッチ探索処理は、図１８に示すように、ステップＳ３１０～Ｓ３４０を備える。まずステップＳ３１０では対象パッチが備える各測距点の反射強度の検出値（換言すれば生値）に、車載ＬＩＤＡＲ１１から当該測距点までの距離の二乗を乗算することで、測距点毎の反射強度の値を距離に非依存な値へと正規化する。なお、反射強度の正規化に使用する距離はステップＳ２２１で算出した代表距離であっても良い。反射強度の正規化は、レーザ光反射面の面積に応じて距離の三乗や四乗した値を乗じることで実現されても良い。また、ステップＳ３１０では、反射強度の正規化に加えて、測距点毎の反射強度に対してガウス関数を用いた平滑化を実行してもよい。そのような構成によれば、パッチ探索処理時のロバスト性をより一層高めることができる。

ステップＳ３２０では、対象パッチについての所定のＫ種類の特徴量を算出し、当該対象パッチについてのＫ次元ベクトルを生成する。ここで算出される特徴量の種類は、ステップＳ１１０で算出される特徴量と同じ組み合わせである。すなわち、対象パッチを構成する複数の反射強度に係る特徴量が含まれている。反射強度に係る特徴量とは、対象パッチを構成する複数の測距点の反射強度の平均値や分散などである。

ステップＳ３３０では、ステップＳ３２０で生成したＫ次元ベクトルを用いて、車載パッチペアＤＢ１３３の中から、対象パッチと最も類似している低解像パッチ（以降、最近傍パッチ）を探索する。具体的には、ステップＳ２２１で特定した対象クラスタの代表距離に応じた距離別ＤＢを参照し、当該距離別ＤＢに保存されている低解像パッチの中から、最近傍パッチを探索する。

なお、本実施形態では、各距離別ＤＢにおいて複数の低解像パッチはＫＤ－Ｔｒｅｅ構造で保存されているため、ＫＤ－Ｔｒｅｅの特性を利用した探索アルゴリズムで最近傍パッチを特定すれば良い。また、本実施形態ではより好ましい態様として、対象パッチと２番目に類似している低解像パッチ（以降、準近傍パッチ）も特定する。

ところで、本実施形態ではＫ種類の特徴量の中に、反射強度についての特徴量を含むように設定している。このような構成は、パッチのサイズや測距点の数（又は密度）といった測距点の位置座標に由来する特徴量に加えて、反射強度についての特徴量も用いて最近傍パッチの探索を行う構成に相当する。このような構成によれば、測距点の位置座標に由来する特徴量のみを用いて探索を行う構成よりもより、マッチング精度を高めることができる。

なお、パッチ探索部Ｆ３３は、車載パッチペアＤＢ１３３に保存されている低解像パッチ毎に対象パッチとのＫ次元空間内でのユークリッド距離を算出することによって、最近傍パッチを特定するように構成されていてもよい。また、パッチ探索部Ｆ３３は、低解像パッチ毎に対象パッチとのＩＣＰ類似度を算出し、最近傍パッチを特定しても良い。ＩＣＰ類似度を算出する際には、ＩＣＰアルゴリズムが備えるマッチングのステップにおいて、点群の座標と反射強度を併せたベクトルで対応点の探索を行うように構成されていることが好ましい。反射強度情報を用いて対応点を探索する構成によれば、ＩＣＰ類似度をより適切に（換言すれば精度良く）算出でき、その結果、最近傍パッチの特定精度も高めることができる。

ステップＳ３４０ではパッチ探索部Ｆ３３が採用判定処理を実施する。採用判定処理は、以上の処理で発見した最近傍パッチを、以降の置換処理で用いる置換用パッチとして採用するか否かを判定する処理である。換言すれば、採用判定処理は、ステップＳ３３０で発見した最近傍パッチが所定の採用条件を充足しているか否かを判定する処理に相当する。採用条件は、ステップＳ３３０で発見した最近傍パッチを、以降の置換処理で用いる置換用パッチとして採用するための条件である。採用判定処理は例えば図１９に示すようにステップＳ３４１～Ｓ３４７を備える。

ステップＳ３４１では、対象パッチと最近傍パッチとの類似度（以降、第１類似度）を算出する。第１類似度は、Ｋ次元空間におけるユークリッド距離とすることができる。すなわち、最近傍パッチについてのＫ次元ベクトルが指し示す点と、対象パッチについてのＫ次元ベクトルが指し示す点との距離を、第１類似度として採用することができる。なお、第１類似度はＩＣＰアルゴリズムを援用して算出されてもよい。つまり、第１類似度はＩＣＰ類似度であってもよい。ステップＳ３４１での処理が完了するとステップＳ３４２を実行する。

ステップＳ３４２では、ステップＳ３４１と同様の算出方法によって、対象パッチと準近傍パッチとの類似度（以降、第２類似度）を算出する。第２類似度は第１類似度と同様の方法で算出されれば良い。ステップＳ３４２での処理が完了するとステップＳ３４３を実行する。

ステップＳ３４３では、第１類似度が所定の採用閾値以上であるか否かを判定し、第１類似度が採用閾値以上である場合には次にステップＳ３４４を実行する。一方、第１類似度が採用閾値未満である場合には、ステップＳ３４６を実行する。採用閾値は、最近傍パッチを置換処理で用いる置換用パッチとして適切であるか否かを判定するための閾値である。採用閾値の具体的な値は適宜設定されれば良い。

ステップＳ３４４では第２類似度が採用閾値以上であるか否かを判定する。第２類似度も採用閾値以上である場合には、ステップＳ３４５を実行する。一方、第２類似度が採用閾値未満である場合には、ステップＳ３４７を実行する。

ステップＳ３４５では第１類似度と第２類似度の差がギャップ閾値以上である場合であるか否かを判定する。第１類似度と第２類似度の差がギャップ閾値以上である場合には、ステップＳ３４７を実行する。第１類似度と第２類似度の差がギャップ閾値未満である場合には、ステップＳ３４６を実行する。ギャップ閾値は、第１類似度と第２類似度に有意な差があるか否かを判定するための閾値である。

ステップＳ３４６では、最近傍パッチは採用条件を充足していないと判定し、採用判定フラグを０に設定して本フローを終了する。採用判定フラグは、処理の対象とする対象パッチに対応する置換用パッチは存在するか否かを内部情報として保持するためのフラグである。採用判定フラグが０に設定されている対象パッチは、当該対象パッチに対応する置換用パッチが存在しないことを示す。また、採用判定フラグが１に設定されている対象パッチは、当該対象パッチに対応する置換用パッチが存在することを示す。

ステップＳ３４７では最近傍パッチが採用条件を充足していると判定し、採用判定フラグを１に設定する。また、ステップＳ３３０で発見した最近傍パッチに対応付けられている高解像パッチを置換用パッチとして取得して、本フローを終了する。

このように本実施形態では一例として、第１類似度と第２類似度の両方が採用閾値以上である場合には、第１類似度と第２類似度の差がギャップ閾値以上である場合に、最近傍パッチが採用条件を充足していると判定する。また、第１類似度と第２類似度の両方が採用閾値以上である場合であって、かつ、第１類似度と第２類似度の差がギャップ閾値未満である場合には、最近傍パッチが採用条件を充足していないと判定する。なお、他の態様として、パッチ探索部Ｆ３３は、第２類似度が採用閾値以上であるか否かを考慮せずに、第１類似度が所定の採用閾値以上である場合に最近傍パッチが採用条件を充足していると判定するように構成されていてもよい。

或る対象パッチを対象としたパッチ探索処理が完了した段階で、対象クラスタから抽出した全ての対象パッチの中にまだパッチ探索処理を実施していない対象パッチが残っている場合にはその未処理の対象パッチを対象として、パッチ探索処理を実施する。対象クラスタから抽出した全ての対象パッチに対するパッチ探索処理が完了すると図１７のステップＳ２２４を実行する。

ステップＳ２２４ではパッチ合成部Ｆ３４が、対象クラスタにおいて各対象パッチに対応する領域を、ステップＳ２２３で特定した対象パッチ毎の高解像パッチで置き換える。対象クラスタにおいて或る対象パッチに対応する領域とは、対象クラスタにおいて当該対象パッチを抽出した場所（以降、抽出元領域）のことである。なお、採用判定処理において対応する置換用パッチが存在しないと判定された（つまり採用判定フラグが０に設定されている）対象パッチに対応する領域については、超解像処理はスキップされる。

高解像パッチを対象パッチの抽出元領域に当てはめる際には、対象パッチが示す点群の向きと整合するように高解像パッチを回転させて当てはめるものとする。また、高解像パッチが備える測距点毎の反射強度は、抽出元領域において対応する測距点の反射強度と同レベルとなるように調整される。例えば、車載ＬＩＤＡＲ１１から対象パッチまでの距離の二乗で除算することによって抽出元領域の反射強度を再現するものとする。高解像パッチが備える測距点毎の反射強度を抽出元領域での反射強度のレベルに揃える方法は、多様な方法を採用することができる。

また、パッチ同士がオーバーラップする領域において、超解像処理の結果、３次元座標が完全に一致する測距点（以降、重複点）が生じた場合には、当該重複点は１つの点として集約（統合）する。その際、当該測距点の反射強度については、重複点の各反射強度の平均が設定されるものとする。対象クラスタに対して設定している全てのパッチに対して以上の置換処理（換言すれば超解像処理）が完了するとステップＳ２３０を実行する。

図２０は上述した物体認識処理のステップＳ２２２～Ｓ２２４までの処理の結果を概念的に示したものである。図２０に示すように、超解像処理を実行した結果として得られるクラスタ点群は、元のクラスタ点群よりも点群の密度が高い（換言すれば解像度が高い）クラスタ点群となっている。

ステップＳ２３０では識別処理部Ｆ４が、対象クラスタを構成する点群情報に基づいて、対象クラスタの種別を特定するための特徴量を抽出する。便宜上、物体の種別を識別するためにクラスタ点群から抽出する特徴量のことを、パッチ探索処理で用いる特徴量と区別するため、識別用特徴量と記載する。識別用特徴量としては、例えば、クラスタの幅、高さ、アスペクト比、円度、直線度、点間角度、相対速度、スライス特徴量、局所強度等を採用することができる。また、識別用特徴量としては、例えば「低解像ＬＩＤＡＲを用いた歩行者検出のための特徴量に関する検討」、電子情報通信学会技術研究報告、日本、一般社団法人電子情報通信学会、２０１４年１０月２日、vol.114,No.230 (PRMU2014 54-64),pp.7-12に記載の種々の特徴量を援用することができる。ステップＳ２３０において抽出（換言すれば算出）する特徴量の種類や数（すなわち組み合わせ）は適宜設計されればよい。ステップＳ２３０での特徴量の算出が完了するとステップＳ２４０を実行する。

ステップＳ２４０では識別処理部Ｆ４が、ステップＳ２３０で算出した複数種類の識別用特徴量を用いて、対象クラスタの種別を特定する。識別用特徴量を用いた物体の識別方法は態様な方法を援用することができる。例えば、予め物体の種別毎にＳＶＭ（Support Vector Machine）モデルを学習しておき、各モデルと抽出した識別用特徴量を用いて種別毎の識別スコアを求める。そして、スコアが最大となるモデルの種別を、そのクラスタを示す種別として決定する。識別結果は、物体の位置情報と対応付けられて適宜所定のアプリケーションへと提供される。

＜実施形態のまとめ＞
以上の構成では、クラスタリング部Ｆ２が車載ＬＩＤＡＲ１１から提供された測距点群データからクラスタ点群を抽出し、パッチ抽出部Ｆ３２が処理の対象とするクラスタ点群から複数の対象パッチを抽出する。そして、パッチ探索部Ｆ３３が対象クラスタから抽出した対象パッチと、車載パッチペアＤＢ１３３内で最も類似する低解像パッチを探索すし、パッチ合成部Ｆ３４が対象パッチの抽出元領域に、当該対象パッチと類似度が高い（換言すれば最も類似している）低解像パッチと対応付けられている高解像パッチを当てはめる。

このような構成によれば、少なくとも抽出元領域の解像度は高解像ＬＩＤＡＲ５が提供する解像度まで高められる。つまり、車載ＬＩＤＡＲ１１が生成した測距点群データよりも相対的に解像度が高い測距点群データが得られる。また、上記構成においては、車載ＬＩＤＡＲ１１が生成した測距点群データの解像度を高めるために、過去のフレームを用いる必要がない。つまり、複数分のフレームを用いずに、車載ＬＩＤＡＲ１１が生成した測距点群データの解像度を高めることができる。

加えて、上記のパッチ置換処理を、クラスタ点群に設定した全ての抽出元領域に行うことで、車載ＬＩＤＡＲ１１から提供される測距点群データが示すクラスタ点群の解像度を高める。すなわち、車載ＬＩＤＡＲ１１から提供される測距点群データが示すクラスタ点群よりも解像度を高めたクラスタ点群を生成する。

このような物体認識ＥＣＵ１３によれば、複数のフレームを用いずに、ＬＩＤＡＲが検出している物体の測距点群データの解像度を高めることができる。なお、クラスタ点群データの解像度を高めることは、１フレームとしての測距点群データの解像度を高めることに相当する。

また、以上の構成では、パッチ探索部Ｆ３３は、測距点毎の反射強度情報を用いて、最近傍パッチ等を探索する。このような構成によれば、対象パッチと反射強度のレベルや分布が近い低解像パッチを母集団として探索を行う事となる。その結果、測距点毎の距離情報（又は位置情報）のみを用いて探索を行う構成よりも効率的に探索を実施できる。

更に、上記の実施形態ではサーバ２４の更新処理部Ｇ２は、測距点群データをクラスタリングし、各物体の向きを揃えた状態でパッチペアデータの抽出を行い、パッチペアＤＢ２３に保存する。これに伴い、パッチ抽出部Ｆ３２もまた、クラスタ点群の向きを更新処理部Ｇ２と同様の規則で補正した状態で対象パッチを抽出し探索を行う。このような構成によれば、探索しようとしている対象パッチに対応するクラスタと、ＤＢ化されている低解像パッチの元となっているクラスタの向きが揃っている。従って、パッチ探索処理時に、パッチそのものを回転させながら類似性を算出する必要性がなくなり、計算量を低減できる。

また、クラスタの向きを揃えずにパッチペアデータを生成する構成では、クラスタの向きに応じたパッチペアデータを生成する必要が生じ、データベースのサイズが増大してしまう。これに対し、本実施形態の構成によれば、クラスタの向き毎のパッチペアデータを用意する必要性が低減され、クラスタの向きの違いに起因してデータベースのサイズが増大してしまう恐れを抑制することができる。

ところで、一般的に、人体は車両等に比べてレーザ光の反射強度が弱く、さらに、歩行者は姿勢や服装による見えの多様性が大きい。そのため、ＬＩＤＡＲを用いた物体認識では、検出物体が、歩行者であるのか否かの識別が難しい。特に、ＬＩＤＡＲの解像度が低いほど、検出物体が歩行者であるか否かの識別が困難となる。このような事情に対して上述した超解像処理によれば、検出物体の情報量が増えるため、使用可能な識別用特徴量が増え、歩行者であるか否かの識別精度を高めることができる。なお、ここでは解像度が低いＬＩＤＡＲによる識別が難しい物体の例として歩行者を例示したが、移動体としての自転車も同様である。移動体としての自転車とは人が乗車している自転車のことである。

以上では距離情報を用いて、距離画像の解像度を高める構成を開示した。他の技術分野の技術としては、カメラで撮像した画像を超解像処理する技術が知られている。しかしながら、カメラの撮影画像の超解像処理では色分布の類似性のみを用いて対象パッチに対する高解像パッチを選定する。このような構成をそのまま距離画像の超解像処理に適用すると、色が異なるパッチも探索することになるため、データベースサイズが増大するとともに、誤マッチングが発生しやすくなる。これに対し、本実施形態のように距離情報を用いたマッチングを行うことにより、近い形状のパッチのみ探索可能となり、誤マッチングが発生する恐れを低減できる。

また、以上では、検出物体の向きを揃えてデータベース化するとともに、パッチ探索処理においても向きを正規化して、対象パッチと対応する高解像パッチを探索する。一般的に、フレームデータでは、当該フレームに含まれている検出物体の向きが不明であるため、様々な向きのパッチペアデータをデータベースに登録しておく必要がある。そのため、パッチ探索処理においても、多数のパッチペアデータがデータベース内に存在するため、計算量が多くなってしまう。対して、上述した実施形態では、クラスタリングの結果に基づき、検出物体の向きを揃えてデータベース化する。その為、データベースに登録しておくパッチペアデータの数を抑制することができ、その結果として、パッチ探索処理の計算量も抑制できる。

以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。

なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。

［変形例１］
上述した実施形態では、例えば自車両が走行しているか否かといった車両の走行状態に関わらずに、車載ＬＩＤＡＲ１１から測距点群データが提供される度に、当該測距点群データの超解像処理としてのステップＳ２２１～Ｓ２２４を行うものとした。つまり、車両の走行状態に関わらずに、逐次、超解像処理を施した測距点群データを用いて物体の識別処理を実施する態様を開示したが、これに限らない。

自車両が停車中の場合には、自車両が走行中である場合に比べ、自車両と他の物体との衝突する可能性が低いため、物体を精度良く識別する必要性は低い。故に、物体認識ＥＣＵ１３は、自車両が停車中の場合には超解像処理を省略して物体の認識（具体的には識別）を行うように構成されていても良い。そのような態様によれば、演算部１３２での演算負荷を低減することができる。

図２１は、上記の思想に対応する車載システム１の構成の一例を示したものであって、物体認識ＥＣＵ１３は、車両に搭載されたセンサ１４の検出結果に基づいて、自車両の走行状態を判定する走行状態判定部Ｆ５を備える。なお、図２１においては、車載ＬＩＤＡＲ１１や入出力部１３１等の図示を省略している。センサ１４は自車両の走行状態を示す状態量を検出するセンサである。センサ１４としては、車速を検出する車速センサや、シフトポジションを検出するシフトポジションセンサ、パーキングブレーキのオンオフ状態を検出するセンサなどを採用することができる。

物体認識ＥＣＵ１３は、走行状態判定部Ｆ５によって車両が停車していると判定されている場合には、超解像処理を省略して物体の識別を行う一方、車両は走行中であると判定されている場合には、超解像処理を用いた物体の識別を行う。超解像処理を用いた物体の識別とは超解像処理を施した測距点群データを用いて物体を識別することである。

なお、自車両が停車中であるか否かを含む車両の走行状態は、車速や、シフトポジション、ブレーキペダルの操作状態、パーキングブレーキのオンオフなどを用いて判定する事ができる。つまり、自車両の走行状態の判定アルゴリズムとしては、多様な判定アルゴリズムを採用可能である。

ところで、超解像処理を用いた物体認識処理を実行すれば、車両前方の物体を精度良く識別でき、その結果、歩行者の注意喚起等、ドライバに対してより適切な運転支援や車両制御が実施可能となる。そのような事情を鑑みると、停車時にも超解像処理を用いた物体認識処理を実行しておくことで、発進直前直後においても、車両前方に存在する歩行者の注意喚起等、ドライバに対してより適切な運転支援や車両制御が実施可能となる。故に、より適切な情報提供、車両制御といった観点から、停車中においても超解像処理を実行するように構成されていてもよい。

なお、ドライバによるブレーキ操作のみによって車両が停止している状態においては超解像処理を用いた識別処理を実施する一方、シフト操作やパーキングブレーキを用いて（換言すればブレーキ操作以外の方法で）停車している状態においては超解像処理を省略して物体の認識を実施するように構成されていても良い。ブレーキ操作のみによって車両が停止している状態とは、信号待ちなどといった、比較的に短い時間以内に自車両が走行開始することが見込まれるためである。

［変形例２］
物体認識ＥＣＵ１３は、歩行者の進入が原則的に禁止されている道路（以降、自動車用道路）走行中であると判定されている場合には、測距点群データに対する超解像処理を実施しないように構成されていても良い。なお、ここでの自動車用道路とは、例えば高速道路等の有料道路である。また、自動車用道路には、自動車以外の交通が禁止されている一般道路（いわゆる自動車専用道路）も含めることができる。

図２２は、上記の技術的思想に対応する車載システム１の構成の一例を示したものであって、物体認識ＥＣＵ１３は、車両に搭載されているロケータ１５の出力データに基づいて、自車両が走行している道路の種別を特定する走行路特定部Ｆ６を備える。なお、図２２においては、車載ＬＩＤＡＲ１１や入出力部１３１等の図示を省略している。

ロケータ１５は、自車両の現在位置を測位する装置である。ロケータ１５は、例えばＧＮＳＳ受信機、慣性センサ、地図データベース（以下、地図ＤＢ）を用いて実現されている。ＧＮＳＳ受信機は、ＧＮＳＳ（Global Navigation Satellite System）を構成する測位衛星から送信される航法信号を受信することで、当該ＧＮＳＳ受信機の現在位置を逐次（例えば１００ミリ秒毎に）検出するデバイスである。慣性センサは、例えば３軸ジャイロセンサ及び３軸加速度センサである。地図ＤＢは、道路の接続関係等を示す地図データを記憶している不揮発性メモリである。

ロケータ１５は、ＧＮＳＳ受信機の測位結果、慣性センサでの計測結果、及び、地図データを組み合わせることにより、自車両の現在位置及び自車両が走行している道路（以降、走行路）を逐次特定する。そして、その特定した現在位置及び走行路情報を物体認識ＥＣＵ１３等に逐次提供する。自車両の現在位置は、例えば緯度、経度、高度によって表現されれば良い。走行路情報とは、走行路についてのデータであって、少なくとも走行路の道路種別が含まれていればよい。走行路情報には、その他、制限速度や、道路形状などを示すデータが含まれていても良い。なお、ロケータ１５としては、ナビゲーション装置を採用することもできる。また、ロケータ１５の機能は次の走行路特定部Ｆ６が備えていても良い。

走行路特定部Ｆ６は、ロケータ１５から走行路情報を取得し、当該走行路情報に基づいて、走行路が自動車用道路であるか否かを判定する構成である。本変形例の物体認識ＥＣＵ１３は、走行路特定部Ｆ６が自車両の走行路は自動車用道路であると判定している場合には超解像処理を省略して物体の識別を行う一方、自動車用道路ではないと判定している場合には、超解像処理を施した測距点群データを用いて物体の識別を行う。

一般的に、自動車用道路には歩行者が存在している可能性は低く、これに伴い、歩行者が車載ＬＩＤＡＲ１１の検出範囲内に存在する可能性は低い。また、自動車用道路を走行している場合に車載ＬＩＤＡＲ１１が検出する物体は、他車両や、道路構造物である可能性が高い。これらの物体は、人体よりもレーザ光を反射しやすく且つ大きい。故に、低解像ＬＩＤＡＲであっても、クラスタ点群として、物体の識別に必要な数の測距点を得られる可能性が高い。なお、道路構造物とは、路面のほか、ガードレールや、道路沿いに配置されている壁などを指す。

これらの事情を鑑みると自車両が走行している道路（以降、走行路）が自動車用道路である場合には、自車両の走行路が非自動車用道路である場合よりも、超解像処理をする必要性は低い。本変形例として開示の構成によれば、自車両の走行路が非自動車用道路である場合には、超解像処理を施した測距点群データを用いて物体の識別を行うため、検出物体としてのクラスタが歩行者であるか否かの判定精度を高めることができる。一方、自動車用道路走行中においては超解像処理をせずに物体認識処理を実行するように構成されているため、物体認識ＥＣＵ１３の演算負荷を低減することができる。

［変形例３］
上述した実施形態では１フレームとしての測距点群データに含まれる全てのクラスタに対して超解像処理を施す態様を開示したが、これに限らない。例えば車載ＬＩＤＡＲ１１から１０ｍ以内となるエリアなど、車載ＬＩＤＡＲ１１から相対的に近いエリアに存在する物体からは、相対的に測距点を高密度に得ることが期待できる。また、相対的に大きい物体については、小さい物体よりも多数の測距点が得られることが見込まれる。１つのクラスタを構成する測距点が多いほど当該クラスタについての情報は多くなり、識別の精度も上がる。つまり、クラスタとの距離やサイズによっては、超解像処理を施さなくても物体の識別に必要十分な量の情報（実態的には測距点）を得られる場合がある。加えて、超解像処理には相応の演算負荷がかかるため、全てのクラスタに対して超解像処理を実施すると、物体認識処理に要する時間が増大することが懸念される。

本変形例は上記の点に着眼して成されたものであって、物体認識ＥＣＵ１３は、図２３に示すように優先度決定部Ｆ７を備える。優先度決定部Ｆ７は、１フレームから複数のクラスタが抽出されている場合に、クラスタ毎の代表距離、サイズ、点群密度、及び測距点の数といった種々の指標の少なくとも何れか１つに基づいて、各クラスタに対して超解像処理を実施する優先度を決定する構成である。

具体的には、優先度決定部Ｆ７は、１フレームから抽出されたクラスタのそれぞれについて、距離が遠いほど、サイズが小さいほど、点群密度が低いほど、クラスタを構成する測距点の数が少ないほど、優先度を高く設定する。なお、サイズ等の複数の指標を組み合わせて優先度を決定する場合には、例えば指標毎に優先度の高さを示すスコアを計算し、指標毎のスコアの合計値によって最終的な優先度を決定すればよい。

そして、物体認識ＥＣＵ１３は、複数のクラスタを、優先度決定部Ｆ７が決定した優先度に従って、ＣＰＵ１３２１の演算リソースを割り当てて超解像処理を実行する。このような構成によれば、多数のクラスタが存在する場合においては、遠距離にあるクラスタや、サイズが小さいクラスタなど、点群密度が低いクラスタを優先的に超解像処理し、超解像処理の必要性が乏しいクラスタに対しては超解像処理を省略する。そのため、多数のクラスタが存在する場合において、ＣＰＵの演算リソースを効率的に割り当てることができ、例えば車両から離れた位置に存在するクラスタに対して精度よく識別することが可能となる。

なお、上記の構成では優先度を予め用意された評価関数に従って絶対値として算出するが、優先度は相対的な値として算出するように構成されていても良い。また、優先度を絶対値的に算出する構成においては、優先度が所定の閾値以下となっているクラスタに対しては超解像処理を省略するように構成されていても良い。優先度が低いということは、近くに存在したり、十分な測距点の数を取得できていたりするなど、超解像処理を施す必要性が低いことを示唆するためである。なお、上記の構成は、ＣＰＵの演算リソースは有限であることを鑑みれば、クラスタのサイズや距離等に応じて超解像処理を実施するクラスタを取捨選択する（換言すれば絞り込む）構成に相当する。

［変形例４］
上記の変形例３に関連し、物体認識ＥＣＵ１３は図２４に示すように、クラスタリング部Ｆ２によって抽出されているクラスタ点群に対して、超解像処理を施すべきか否かを判定する対象選定部Ｆ８を備えていてもよい。対象選定部Ｆ８は、クラスタ毎の代表距離、サイズ、点群密度、及び測距点の数といった種々の指標の少なくとも何れか１つに基づいて、超解像処理を施すべきクラスタであるか否かを判別する構成である。クラスタの代表距離、サイズ、点群密度、及び測距点の数は、クラスタ点群との距離を表現する指標に相当する。

例えば対象選定部Ｆ８は、車載ＬＩＤＡＲ１１からの距離（つまり代表距離）が所定の距離閾値（例えば１０ｍ）未満となっているクラスタに対しては超解像処理を施す必要はないと判定する一方、代表距離が距離閾値以上であるクラスタに対して超解像処理を施すべきであると判定する。距離以外の指標についても、指標毎に設定した閾値を用いて超解像処理を施すべきクラスタ点群であるか否かを判定すればよい。そして本変形例の物体認識ＥＣＵ１３は、対象選定部Ｆ８によって超解像処理を施すべきであると判定されているクラスタに対してのみ超解像処理を実行する。物体認識ＥＣＵ１３は、対象選定部Ｆ８によって超解像処理を施すべきであると判定されていないクラスタについては超解像処理を実行しない。

このようにクラスタの距離やサイズ等に応じて超解像処理を実施するクラスタを取捨選択する構成では、例えば自車両から２０ｍ以内に存在する他車両などといった相対的に超解像処理を実施しなくともよい物体に対応するクラスタについては超解像処理が省略され、物体認識ＥＣＵ１３の演算負荷を低減することができる。

なお、以上では、クラスタの距離やサイズ等に応じて超解像処理を施すべきクラスタを抽出する態様を開示したが、これに限らない。対象選定部Ｆ８はクラスタの幅や高さ、サイズ等の形状情報に基づいて当該クラスタが歩行者である可能性があるか否かを大まかに判定し、歩行者である可能性があると判定した場合に、超解像処理を実施するべきクラスタであると判定するように構成されていてもよい。そのような構成によれば、物体認識ＥＣＵ１３は、歩行者である可能性があるクラスタについてのみ、超解像処理を施すように作動する。

このような構成によれば、例えば歩行者ではあり得ないほど大きいクラスタに対しては超解像処理が省略され、上述した変形例３と同様の効果を奏する。また、歩行者といった、精度良く識別する必要性があるクラスタについては超解像処理を施すため、当該クラスタが真に歩行者であるか否かの判定精度を高めることができる。

［変形例５］
物体認識ＥＣＵ１３は、所定の物体追跡手法を用いて前フレームで検出したクラスタと、新たに取得した最新のフレームから抽出したクラスタとの対応付けを行い、前フレームにて既に超解像処理を施しているクラスタに対しては、前回使用した高解像パッチを流用するように構成されていても良い。そのような構成によれば、パッチ探索処理を省略でき、物体認識ＥＣＵ１３の演算負荷を低減することができる。

図２５は上記の技術的思想に対応する物体認識ＥＣＵ１３の構成の一例を示したものであって、物体認識ＥＣＵ１３は、前フレームで抽出したクラスタを追跡する追跡処理部Ｆ９を備える。追跡処理部Ｆ９は、前フレームから抽出したクラスタ点群である前フレームクラスタ点群と、新たに取得したフレームから抽出したクラスタ点群である現フレームクラスタ点群との対応付けを行う。なお、図２５においては、車載ＬＩＤＡＲ１１や入出力部１３１等の図示を省略している。

なお、物体追跡アルゴリズムとしては、例えばICP類似度の利用や、「Multilayer LIDAR-Based Pedestrian Tracking in Urban Environments, S. Sato, M. Hashimoto, M. Takita, K. Takagi, T. Ogawa; IV2010」等にて開示されている手法を採用することができる。すなわち、物体追跡手法としては多様なアルゴリズムを援用することができる。

そして本変形例のパッチ探索部Ｆ３３は、今回のフレームからクラスタリング部Ｆ２が抽出したクラスタが前フレーム以前において検出済みであるかを追跡処理部Ｆ９と協働して判定し、前フレームにて既に超解像処理を施しているクラスタに対しては、前回使用した高解像パッチを流用する。

ただし、上記の構成において、同一のクラスタについての前フレームでの解像度よりも今回のフレームでの解像度のほうが高い場合には、前回処理時に採用した高解像パッチは流用せずにパッチ探索処理を再実行するように構成されていることが好ましい。解像度が上がった場合には、パッチ探索処理の精度が向上し、より適切な高解像パッチを発見できる可能性があるためである。なお、クラスタの解像度が前フレームに対して上がる場合とはクラスタとの距離が縮まった場合や、対象クラスタの向きが変わり、車載ＬＩＤＡＲ１１と対向する部分の表面積が増加した場合などである。

また、過去のパッチ探索処理によって発見した高解像パッチを流用するクラスタは、路側物などの静止物に限定することが好ましい。ここでの静止物とは、電柱や、標識、ガードレール等などといった、道路上に固定されており且つ形状が一定の物体である。

対象クラスタが静止物であるか否かは、過去の識別結果に基づいて判定されれば良い。例えば物体認識ＥＣＵ１３は、対象クラスタが静止物に相当するか否かを判定するための準備処理として、クラスタを検出する度に当該クラスタの絶対位置座標を超解像結果と対応付けて保存していく。クラスタの絶対位置座標は、ロケータ１５等が実施する自己位置推定によって定まる自車両の絶対位置及び方向と、車載ＬＩＤＡＲ１１の検出結果から定まるクラスタの相対位置を組み合わせることで特定することができる。そして、物体認識ＥＣＵ１３は、超解像処理後の識別処理の結果、対象クラスタが静止物であると判定した場合には、当該静止物の絶対位置を識別結果と対応付けて保存する。このような構成によれば物体認識ＥＣＵ１３は検出したクラスタの位置座標から、当該クラスタが静止物であるか否かを判定することができる。

［変形例６］
更新処理部Ｇ２は、パッチペアＤＢ２３にパッチペアデータを登録する際、図２６に例示するように元クラスタにおけるパッチペアデータの内部位置情報を付加して保存しておく。そして、パッチ探索部Ｆ３３は対象パッチに対応する低解像パッチを探索する際に、対象クラスタ内における対象パッチの内部位置を検索条件の１つとして最近傍パッチを探索するように構成されていても良い。

そのような構成によれば、例えば対象クラスタの上端付近（具体的には歩行者の頭部付近）の対象パッチに対して、路面付近の高解像パッチを最近傍パッチとして採用することを抑制することができる。つまり、誤ったパッチで置換処理を行う恐れを低減することができる。

［変形例７］
更新処理部Ｇ２は、パッチペアＤＢ２３にパッチペアデータを登録する際、元クラスタにおける他のパッチペアデータとの相対位置情報を付加して保存しておき、パッチ探索部Ｆ３３は対象パッチに対応する低解像パッチを探索する際に、相対位置情報を用いて探索範囲に制限をかけても良い。

そのような構成によれば、例えば１つのクラスタ点群の超解像処理に用いる高解像パッチとして無関係な高解像パッチが採用される恐れを低減できる。その結果、不適切なパッチで置換処理を行う恐れを低減することができる。

［変形例８］
複数の連続フレームのそれぞれに対して超解像処理を実施している状況において、同一クラスタ内の同一領域に対して選定しているパッチペアデータが不安定である（例えば毎回異なる）場合には、Ｋ次元ユークリッド空間において、選定された複数の低解像パッチの平均位置から最も近い位置に存在する低解像パッチと対応付けられている高解像パッチを置換用パッチとして採用しても良い。そのような構成によれば、高解像パッチのばらつきを抑制することができる。また、パッチ探索処理において探索鍵として使用するＫ次元ベクトルは、クラスタ内の同一領域に対して抽出した直近複数回分のＫ次元ベクトルの平均ベクトルであっても良い。

［変形例９］
以上で述べた構成に、特許文献１に開示されている複数フレームを用いた超解像処理を組み合わせて実施しても良い。すなわち、過去のフレームから抽出した同一クラスタの点群情報を統合してなるクラスタ点群に対して、上述した実施形態の超解像処理（ステップＳ２２２～Ｓ２２４）を実施することで、最終的なクラスタ点群を生成しても良い。このような構成は、１次的な超解像処理（以降、１次超解像処理）として複数フレームでのクラスタ点群を統合し、さらに、２次的な超解像処理（以降、２次超解像処理）として、パッチ合成を行う構成に相当する。

図２７は上記の技術的思想に対応する物体認識ＥＣＵ１３の構成の一例を示したものであって、本変形例の物体認識ＥＣＵ１３は、追跡処理部Ｆ９と、統合処理部Ｆ１０を備える。追跡処理部Ｆ９は、変形例５にて言及している通り、前回のフレームから抽出したクラスタ点群である前フレームクラスタ点群と、新たに取得したフレームから抽出したクラスタ点群である現フレームクラスタ点群との対応付けを行うものである。

統合処理部Ｆ１０は互いに対応する（換言すれば同一の物体についての）前フレームクラスタ点群と現フレームクラスタ点群とを統合してなる統合クラスタ点群を生成する。すなわち、統合処理部Ｆ１０は、１次超解像処理を実施する構成である。統合クラスタの生成方法は特許文献１に開示の方法を援用することができる。例えば前フレームクラスタ点群の重心の位置を、現フレームクラスタ点群の重心と一致させるとともに、各クラスタ点群の向きが一致するようにどちらか一方のクラスタ点群（例えば前フレームクラスタ点群）を回転させる。統合処理部Ｆ１０はこれらの処理を実行することにより、統合クラスタ点群を生成する。

そして、本変形例９のパッチ抽出部Ｆ３２は、統合クラスタ点群に対して漏れがないように複数の抽出元領域を設定し、対象パッチの抽出を行う。以降の処理は上述の通りである。本変形例に開示の構成によれば、パッチ探索処理に用いる対象パッチに含まれる測距点数が増えるため、より適切な高解像パッチを置換用パッチとして採用できる可能性を高めることができる。

また、１フレームから抽出してなるクラスタ点群が備える測距点の数が少なすぎてパッチ探索処理の実行が困難な状況においても、パッチ探索処理を実行し、最近傍パッチを発見できる可能性を高めることができる。なお、複数フレームでの点群を統合してなる点群は、１フレームで得られる点群とは異なる点群配置となることが想定される。そのような事情を鑑みて１次超解像処理を実施したクラスタ点群用のパッチペアデータを別途用意しておくことが好ましい。

［変形例１０］
車載ＬＩＤＡＲ１１がマルチエコーを検出可能に構成されている場合には、当該マルチエコーによって取得される複数の測距点に対してクラスタリングを行い、パッチ単位での超解像処理を実施するように構成されていても良い。なお、ここでのマルチエコーを検出可能なＬＩＤＡＲとは、１つのレーザ光から複数の物体の距離情報を取得可能なＬＩＤＡＲである。このような構成によれば、或る物体の奥に隠れた物体の超解像も可能となる。

［変形例１１］
上述した実施形態では車載システム１内で、超解像処理が完結するように構成されている態様を開示したがこれに限らない。車載システム１が備えていた機能の一部はサーバ２４に設けられてあって、サーバ２４と車載システム１が協働（換言すれば連携）することによって超解像処理が完結するように構成されていても良い。

例えば図２８に示すようにパッチ探索部Ｆ３３に相当する機能は、サーバ２４がパッチ探索部Ｇ４として備えていても良い。この場合、物体認識ＥＣＵ１３は、パッチ抽出部Ｆ３２が抽出した対象パッチに対応する高解像パッチの探索をサーバ２４に依頼する探索要求部Ｆ３５を備える。なお、図２８では超解像処理部Ｆ３が探索要求部Ｆ３５を備える態様を図示しているが、これに限らない。探索要求部Ｆ３５は演算部１３２が備えていればよい。

探索要求部Ｆ３５は、通信装置１２と連携して、対象パッチに対応する高解像パッチの探索を要求するとともに、その探索結果を取得する。また、サーバ２４が備えるパッチ探索部Ｇ４は、車載システム１（具体的には探索要求部Ｆ３５）からの要求に基づいてパッチ探索処理を実施し、通信装置２１と連携してその探索結果を返送する構成である。なお、センタ２は、サーバ２４が広域通信網３に接続するための通信装置２１を備える。サーバ２４でのパッチペア探索処理は、パッチペアＤＢ２３を用いて実施されれば良い。

このような構成において物体認識ＥＣＵ１３は、車載パッチペアＤＢ１３３を備えている必要はない。また、パッチ探索処理はサーバ２４が実行するため、物体認識ＥＣＵ１３での演算負荷を低減することができる。

なお、以上で述べたサーバ２４と物体認識ＥＣＵ１３の機能分担は一例であってこれに限らない。例えばクラスタリング（ステップＳ２１０）～パッチ合成（ステップＳ２２４）をサーバ２４が実行するように構成されていても良い。その場合、物体認識ＥＣＵ１３は、点群データ取得部Ｆ１が取得した測距点群データをサーバ２４に送信するように構成されていればよい。サーバ２４は、車載システム１から送信されてきた測距点群データに対してステップＳ２１０～Ｓ２２４に相当する処理を実行し、その結果として得られるデータを車載システム１に返送するように構成されていれば良い。

［変形例１２］
以上では、１フレームの測距点群データからクラスタ点群を抽出し、クラスタ毎に超解像処理を実施する態様を開示したがこれに限らない。図２９に示すようにクラスタリングを行わずに、１フレームの測距点群データそのままの状態で（換言すれば距離画像の状態で）パッチ抽出を行い、超解像処理を実施するように構成されていても良い。

［変形例１３］
以上では、車両に搭載されているＬＩＤＡＲが生成した測距点群データに対して超解像処理を実行する態様を開示したが、本開示の構成は、車両に搭載されていないＬＩＤＡＲが生成した測距点群データにも適用可能である。例えば、施設の出入り口付近を検出範囲とするように当該出入り口付近に設置されているＬＩＤＡＲが、生成した測距点群データにも適用可能である。

１００…物体認識システム、１…車載システム、２…センタ、５…高解像ＬＩＤＡＲ（第２距離センサ）、１１…車載ＬＩＤＡＲ（第１距離センサ）、１２…通信装置、１３…物体認識ＥＣＵ（物体認識装置）、２１…通信装置、２２…高解像点群ＤＢ、２３…パッチペアＤＢ（パッチペア記憶部）、２４…サーバ、１３１…入出力部、１３２…演算部、１３３…車載パッチペアＤＢ（パッチペア記憶部）、Ｆ１…点群データ取得部、Ｆ２…クラスタリング部、Ｆ３２…パッチ抽出部、Ｆ３３・Ｇ４…パッチ探索部、Ｆ３４…パッチ合成部、Ｆ４…識別処理部、Ｆ５…走行状態判定部、Ｆ６…走行路特定部、Ｆ７…優先度決定部、Ｆ８…対象選定部、Ｆ９…追跡処理部、Ｆ１０…統合処理部、Ｆ３５…探索要求部、Ｆ３…超解像処理部

Claims

レーザ光を照射するとともに、当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する３次元距離センサを用いて、前記レーザ光の照射範囲内に存在する物体を認識する物体認識装置であって、
前記３次元距離センサである第１距離センサから、当該第１距離センサが生成した前記測距点群データである低解像点群データを取得する点群データ取得部（Ｆ１）と、
前記第１距離センサとは別の３次元距離センサであって、前記第１距離センサよりも高い解像度を備える第２距離センサが生成した前記測距点群データである高解像点群データから抽出した局所領域のデータである高解像パッチと、当該高解像パッチの解像度を所定量低下させた低解像パッチとを対応付けて記憶しているパッチペア記憶部（１３３、２３）と、
前記パッチペア記憶部が備えている前記低解像パッチ及び前記高解像パッチを用いて、前記点群データ取得部が取得した前記低解像点群データに対して超解像処理を実行する超解像処理部（Ｆ３）と、を備え、
前記超解像処理部は、
前記点群データ取得部が取得した前記低解像点群データから、所定の抽出単位の大きさを有する局所領域を対象パッチとして抽出するパッチ抽出部（Ｆ３２）と、
前記パッチペア記憶部が記憶している前記低解像パッチの中から、前記パッチ抽出部が抽出した前記対象パッチと類似している前記低解像パッチを探索するとともに、探索結果として発見された前記低解像パッチと対応付けられている前記高解像パッチを置換用パッチとして取得するパッチ探索部（Ｆ３３、Ｇ４）と、
前記低解像点群データにおいて前記対象パッチとして抽出した領域である抽出元領域に、前記置換用パッチを配置するパッチ合成部（Ｆ３４）と、
を備える物体認識装置。
請求項１に記載の物体認識装置であって、
前記測距点群データは、前記測距点毎の位置情報と、前記反射光の受光強度を示す反射強度情報とを備えるデータとして構成されており、
前記低解像パッチ及び前記対象パッチのそれぞれにも、前記測距点毎の反射強度情報が含まれており、
前記パッチ探索部は、前記対象パッチと類似している前記低解像パッチを探索する際に、それぞれが備える前記測距点毎の前記反射強度情報を用いて、前記対象パッチと前記低解像パッチとの類似度を算出する
ように構成されている物体認識装置。
請求項２に記載の物体認識装置であって、
前記パッチペア記憶部に保存されている前記低解像パッチが備える前記測距点毎の前記反射強度情報は、反射強度の検出値に前記第２距離センサから前記測距点までの距離に基づいて正規化されており、
前記パッチ探索部は、
前記対象パッチが備える前記測距点毎の前記反射強度情報を、反射強度の検出値に前記第１距離センサから前記測距点までの距離に応じた値を乗算することで正規化し、
前記対象パッチと類似している前記低解像パッチを探索する際に、正規化された前記測距点毎の前記反射強度情報を用いて、前記対象パッチと前記低解像パッチとの類似度を算出する
ように構成されている物体認識装置。
請求項２又は３に記載の物体認識装置であって、
前記パッチペア記憶部に保存されている前記低解像パッチが備える前記測距点毎の前記反射強度情報は、平滑化処理が施されていること
を特徴とする物体認識装置。
請求項２から４の何れか１項に記載の物体認識装置であって、
前記パッチ探索部は、前記対象パッチが備える前記測距点毎の前記反射強度情報を平滑化した状態で、前記測距点毎の前記反射強度情報を用いて、前記対象パッチと前記低解像パッチとの類似度を算出する
ように構成されている物体認識装置。
請求項１から５の何れか１項に記載の物体認識装置であって、
前記パッチペア記憶部に保存されている前記低解像パッチには、予め定められている複数種類の特徴量を示すデータが付与されており、
前記パッチ探索部は、前記対象パッチに対して前記複数種類の特徴量を算出し、その算出した前記対象パッチについての前記複数種類の特徴量を用いて、前記対象パッチと最も類似している前記低解像パッチである最近傍パッチを探索する
ように構成されている物体認識装置。
請求項６に記載の物体認識装置であって、
前記パッチ探索部は、前記最近傍パッチと前記対象パッチとの類似度が所定の採用条件を充足していない場合には、前記対象パッチに対応する前記抽出元領域に当てはめるべき前記置換用パッチは存在しないと判定し、
前記パッチ合成部は、前記パッチ探索部によって前記置換用パッチが発見されなかった前記対象パッチに対応する前記抽出元領域には、前記高解像パッチを配置する処理を実行しない
ように構成されている物体認識装置。
請求項７に記載の物体認識装置であって、
前記パッチ探索部は、前記対象パッチに対して前記複数種類の特徴量を算出し、前記対象パッチについての前記複数種類の特徴量を用いて、前記対象パッチとの２番目に類似している前記低解像パッチである準近傍パッチを抽出し、
前記最近傍パッチと前記対象パッチとの類似度である第１類似度と、前記準近傍パッチと前記対象パッチとの類似度である第２類似度との差が、所定のギャップ閾値未満である場合には、前記対象パッチに対応する前記抽出元領域に当てはめるべき前記置換用パッチは存在しないと判定する
ように構成されている物体認識装置。
請求項１から８の何れか１項に記載の物体認識装置であって、
前記パッチペア記憶部が記憶している前記高解像パッチは、前記高解像点群データが備える複数の前記測距点をクラスタリングしてなるクラスタ点群から抽出したものであり、
前記低解像パッチは、前記クラスタ点群の解像度を低下させてなる低解像クラスタ点群において前記高解像パッチと対応する位置に存在する局所領域を抽出したもの、または前記高解像パッチの解像度を低下させたものであり、
前記低解像点群データが備える複数の前記測距点をクラスタリングし、前記クラスタ点群を抽出するクラスタリング部（Ｆ２）を備え、
前記超解像処理は、前記クラスタリング部が前記低解像点群データから抽出した前記クラスタ点群毎に前記超解像処理を実施する
ように構成されている物体認識装置。
請求項９に記載の物体認識装置であって、
前記クラスタ点群との距離を表現する指標を用いて、前記クラスタリング部によって抽出された前記クラスタ点群毎に、前記超解像処理を施すための優先度を決定する優先度決定部（Ｆ７）を備え、
前記超解像処理部は、前記優先度決定部によって決定された前記優先度が高い前記クラスタ点群に対して優先的に演算リソースを割り当てて前記超解像処理を施す
ように構成されている物体認識装置。
請求項９又は１０に記載の物体認識装置であって、
前記クラスタ点群との距離を表現する指標を用いて、前記クラスタリング部によって抽出された前記クラスタ点群に前記超解像処理を施すべきであるか否かを判定する対象選定部（Ｆ８）を備え、
前記超解像処理部は、前記対象選定部によって前記超解像処理を施すと判定されなかった前記クラスタ点群に対しては前記超解像処理を実施しない
ように構成されている物体認識装置。
請求項９から１１の何れか１項に記載の物体認識装置であって、
前記第１距離センサは前記測距点群データを逐次生成するとともに、前記点群データ取得部は前記第１距離センサが生成した前記測距点群データを前記低解像点群データとして逐次取得し、
前記超解像処理部は、前記点群データ取得部が前記低解像点群データを取得する度に、その新たに取得した前記低解像点群データに含まれる前記クラスタ点群に対して前記超解像処理を実施するように構成されており、
前回取得した前記低解像点群データから前記クラスタリング部によって抽出された前記クラスタ点群である前フレームクラスタ点群と、新たに取得した前記低解像点群データから前記クラスタリング部によって抽出された前記クラスタ点群である現フレームクラスタ点群との対応付けを行う追跡処理部（Ｆ９）と、
前記クラスタ点群の特徴量を用いて当該クラスタ点群が示す物体が静止物であるか否かを識別する識別処理部（Ｆ４）と、を備え、
前記パッチ探索部は、前記超解像処理を前回施しており且つ前記識別処理部によって前記静止物を示すものであると判定されている前記クラスタ点群に対しては、前回使用した前記高解像パッチを流用する
ように構成されている物体認識装置。
請求項１２に記載の物体認識装置であって、
前記パッチ探索部は、前記超解像処理を前回施しており且つ前記識別処理部によって前記静止物を示すものであると判定されている前記クラスタ点群であっても、前記現フレームクラスタ点群を構成する前記測距点の数が、前記前フレームクラスタ点群を構成する前記測距点の数に比べて増加している場合には、前回使用した前記高解像パッチは流用せずに、新たに前記高解像パッチの探索を行う
ように構成されている物体認識装置。
請求項９から１３の何れか１項に記載の物体認識装置であって、
前記パッチペア記憶部に保存されている前記低解像パッチには、当該低解像パッチの抽出元に相当する前記クラスタ点群内での位置を示す内部位置情報が対応付けて保存されており、
前記パッチ探索部は、前記対象パッチの抽出元に相当する前記クラスタ点群内での位置を示す前記内部位置情報と、前記低解像パッチに対応付けられている前記内部位置情報とを用いて、前記高解像パッチを探索する
ように構成されている物体認識装置。
請求項９から１１の何れか１項に記載の物体認識装置であって、
前記第１距離センサは前記測距点群データを逐次生成するとともに、前記点群データ取得部は前記第１距離センサが生成した前記測距点群データを前記低解像点群データとして逐次取得し、
前記超解像処理部は、前記点群データ取得部が前記低解像点群データを取得する度に、その新たに取得した前記低解像点群データに含まれる前記クラスタ点群に対して前記超解像処理を実施するように構成されており、
前回取得した前記低解像点群データから前記クラスタリング部によって抽出された前記クラスタ点群である前フレームクラスタ点群と、新たに取得した前記低解像点群データから前記クラスタリング部によって抽出された前記クラスタ点群である現フレームクラスタ点群との対応付けを行う追跡処理部（Ｆ９）と、
前記前フレームクラスタ点群と前記現フレームクラスタ点群とを統合してなる統合クラスタ点群を生成する統合処理部（Ｆ１０）と、を備え、
前記超解像処理部は、前記統合処理部が生成した前記統合クラスタ点群に対して前記超解像処理を実施する
ように構成されている物体認識装置。
請求項１から１５の何れか１項に記載の物体認識装置は、車両に搭載されて使用されるものであって、
前記第１距離センサは前記車両の周辺の所定範囲を検出範囲とするように前記車両の所定位置に搭載されている
物体認識装置。
請求項１６に記載の物体認識装置であって、
前記車両の走行状態を示す状態量を検出するセンサ（１４）の検出結果に基づいて、前記車両の走行状態を判定する走行状態判定部（Ｆ５）を備え、
前記超解像処理部は、前記走行状態判定部が前記車両は停車していると判定している場合には前記超解像処理を実行しない一方、前記車両は走行していると判定している場合には前記超解像処理を実行する
ように構成されている物体認識装置。
請求項１６又は１７に記載の物体認識装置であって、
前記車両の現在位置と地図データとに基づいて前記車両の走行路を特定し、前記車両の前記走行路が、歩行者の進入が原則的に禁止されている道路である自動車用道路に該当するか否かを判定する走行路特定部（Ｆ６）を備え、
前記超解像処理部は、前記走行路特定部が前記走行路は前記自動車用道路であると判定している場合には前記超解像処理を実行しない一方、前記走行路は前記自動車用道路ではないと判定している場合には前記超解像処理を実行する
ように構成されている物体認識装置。
請求項１６から１８の何れか１項に記載の物体認識装置であって、
前記車両に搭載されている無線通信装置を介して前記車両の外部に設けられているセンタと相互に通信可能に構成されており、
前記パッチペア記憶部は前記センタに設けられているとともに、前記センタは前記パッチ探索部としての機能を備えるサーバ（２４）を備え、
前記超解像処理部は前記サーバと協働して前記超解像処理を実施する
ように構成されている物体認識装置。
レーザ光を照射するとともに、当該レーザ光が物体で反射されて返ってくる反射光を受光することによって３次元距離センサが生成する、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを用いて、前記レーザ光の照射範囲内に存在する物体を認識する物体認識方法であって、
前記３次元距離センサである第１距離センサから、当該第１距離センサが生成した前記測距点群データを低解像点群データとして取得する点群データ取得ステップ（Ｓ２００）と、
前記第１距離センサとは別の３次元距離センサであって、前記第１距離センサよりも高い解像度を備える第２距離センサが生成した前記測距点群データである高解像点群データから抽出した局所領域のデータである高解像パッチと、当該高解像パッチの解像度を所定量低下させた低解像パッチとを対応付けて記憶しているパッチペア記憶部に保存されている前記低解像パッチ及び前記高解像パッチを用いて、前記点群データ取得ステップで取得した前記低解像点群データに対して超解像処理を実行する超解像ステップ（Ｓ２２０）と、を備え、
前記超解像ステップは、
前記点群データ取得ステップで取得された前記低解像点群データから、所定の抽出単位の大きさを有する局所領域を対象パッチとして抽出するステップ（Ｓ２２２）と、
前記パッチペア記憶部が記憶している前記低解像パッチの中から、前記対象パッチと類似している前記低解像パッチを探索するとともに、探索結果として発見された前記低解像パッチと対応付けられている前記高解像パッチを置換用パッチとして取得するステップ（Ｓ２２３）と、
前記低解像点群データにおいて前記対象パッチとして抽出した領域である抽出元領域に、前記置換用パッチを配置するステップ（Ｓ２２４）と、
を備える物体認識方法。