JP7444136B2 - 物体認識システム、物体認識方法、物体認識プログラム - Google Patents

物体認識システム、物体認識方法、物体認識プログラム Download PDF

Info

Publication number
JP7444136B2
JP7444136B2 JP2021096063A JP2021096063A JP7444136B2 JP 7444136 B2 JP7444136 B2 JP 7444136B2 JP 2021096063 A JP2021096063 A JP 2021096063A JP 2021096063 A JP2021096063 A JP 2021096063A JP 7444136 B2 JP7444136 B2 JP 7444136B2
Authority
JP
Japan
Prior art keywords
observation
dimensional
dynamic map
voxel
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021096063A
Other languages
English (en)
Other versions
JP2022187855A (ja
JP2022187855A5 (ja
Inventor
駿 山▲崎▼
智之 大石
基木 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2021096063A priority Critical patent/JP7444136B2/ja
Priority to PCT/JP2022/020385 priority patent/WO2022259823A1/ja
Priority to CN202280039970.5A priority patent/CN117425924A/zh
Publication of JP2022187855A publication Critical patent/JP2022187855A/ja
Publication of JP2022187855A5 publication Critical patent/JP2022187855A5/ja
Priority to US18/531,515 priority patent/US20240119745A1/en
Application granted granted Critical
Publication of JP7444136B2 publication Critical patent/JP7444136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、移動物体を認識する物体認識技術に、関する。
ホスト車両の観測デバイスにより観測された観測空間において移動可能な移動物体を認識する物体認識技術は、近年、重要となってきている。例えば特許文献１に開示される物体認識技術は、三次元距離画像データと三次元環境地図データとを比較することで、移動物体に関する点群データを抽出している。
特開２０１８－１７３７０７号公報
しかし、特許文献１の開示技術では、三次元環境地図データに記録されていない観測点群が、移動物体に関する点群データとして抽出されている。そのため、三次元環境地図データに点群として記録されている物標に移動物体が近接又は重畳して観測される場合には、移動物体を精確に認識することが困難となる。
本開示の課題は、移動物体を高精度で認識する物体認識システムを、提供することにある。本開示の別の課題は、移動物体を高精度で認識する物体認識方法を、提供することにある。本開示のさらに別の課題は、移動物体を高精度で認識する物体認識プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
本開示の第一態様は、
プロセッサ（１２）を有し、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識する物体認識システムであって、
プロセッサは、
観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、マッチングに基づく移動物体の候補点（Ｐｃ）として三次元観測データから探索することと、
候補点に基づき移動物体を識別することとを、実行するように構成され、
三次元ダイナミックマップと三次元観測データとをマッチングすることは、
観測空間を複数に分割した各三次元ボクセル（３００）毎に、三次元ダイナミックマップと三次元観測データとをマッチングすることを、含み、
候補点を探索することは、
三次元ボクセルを大ボクセル（３００Ｌ）と定義して、大ボクセルをさらに分割した複数の小ボクセル（３００Ｓ）を設定することと、
大ボクセルにおける三次元ダイナミックマップと三次元観測データとのマッチング結果に基づき、大ボクセルのうち候補点の抽出が予測される候補ボクセル（３００Ｌｃ）を探索することと、
各三次元ボクセル毎における三次元ダイナミックマップと三次元観測データとの点群分布の対比であって、候補ボクセルに設定された小ボクセルにおける三次元ダイナミックマップと三次元観測データとの点群分布の対比により、小ボクセルにおいて三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、小ボクセルにおいて三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを区別して、候補点を抽出することとを、含む。
本開示の第二態様は、
プロセッサ（１２）を有し、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識する物体認識システムであって、
プロセッサは、
観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、マッチングに基づく移動物体の候補点（Ｐｃ）として三次元観測データから探索することと、
抽出された特定時刻における候補点の実数（Ｎｒ）と、特定時刻よりも前の過去時刻における候補点の実数に基づき予測される特定時刻での候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視することと、
候補点に基づき移動物体を識別することとを、実行するように構成され、
移動物体を識別することは、
差分が許容範囲内となる場合に、特定時刻での候補点に基づき移動物体を識別することを、含む。
本開示の第三態様は、
ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）により実行される物体認識方法であって、
観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、マッチングに基づく移動物体の候補点（Ｐｃ）として三次元観測データから探索することと、
候補点に基づき移動物体を識別することとを、含み、
三次元ダイナミックマップと三次元観測データとをマッチングすることは、
観測空間を複数に分割した各三次元ボクセル（３００）毎に、三次元ダイナミックマップと三次元観測データとをマッチングすることを、含み、
候補点を探索することは、
三次元ボクセルを大ボクセル（３００Ｌ）と定義して、大ボクセルをさらに分割した複数の小ボクセル（３００Ｓ）を設定することと、
大ボクセルにおける三次元ダイナミックマップと三次元観測データとのマッチング結果に基づき、大ボクセルのうち候補点の抽出が予測される候補ボクセル（３００Ｌｃ）を探索することと、
各三次元ボクセル毎における三次元ダイナミックマップと三次元観測データとの点群分布の対比であって、候補ボクセルに設定された小ボクセルにおける三次元ダイナミックマップと三次元観測データとの点群分布の対比により、小ボクセルにおいて三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、小ボクセルにおいて三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを区別して、候補点を抽出することとを、含む。
本開示の第四態様は、
ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）により実行される物体認識方法であって、
観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、マッチングに基づく移動物体の候補点（Ｐｃ）として三次元観測データから探索することと、
抽出された特定時刻における候補点の実数（Ｎｒ）と、特定時刻よりも前の過去時刻における候補点の実数に基づき予測される特定時刻での候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視することと、
候補点に基づき移動物体を識別することとを、含み、
移動物体を識別することは、
差分が許容範囲内となる場合に、特定時刻での候補点に基づき移動物体を識別することを、含む。
本開示の第五態様は、
記憶媒体（１０）に記憶され、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）に実行させる命令を含む物体認識プログラムであって、
命令は、
観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングさせることと、
三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、マッチングに基づく移動物体の候補点（Ｐｃ）として三次元観測データから探索させることと、
候補点に基づき移動物体を識別させることとを、含み、
三次元ダイナミックマップと三次元観測データとをマッチングさせることは、
観測空間を複数に分割した各三次元ボクセル（３００）毎に、三次元ダイナミックマップと三次元観測データとをマッチングさせることを、含み、
候補点を探索させることは、
三次元ボクセルを大ボクセル（３００Ｌ）と定義して、大ボクセルをさらに分割した複数の小ボクセル（３００Ｓ）を設定させることと、
大ボクセルにおける三次元ダイナミックマップと三次元観測データとのマッチング結果に基づき、大ボクセルのうち候補点の抽出が予測される候補ボクセル（３００Ｌｃ）を探索させることと、
各三次元ボクセル毎における三次元ダイナミックマップと三次元観測データとの点群分布の対比であって、候補ボクセルに設定された小ボクセルにおける三次元ダイナミックマップと三次元観測データとの点群分布の対比により、小ボクセルにおいて三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、小ボクセルにおいて三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを区別して、候補点を抽出させることとを、含む。
本開示の第六態様は、
記憶媒体（１０）に記憶され、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）に実行させる命令を含む物体認識プログラムであって、
命令は、
観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングさせることと、
三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、マッチングに基づく移動物体の候補点（Ｐｃ）として三次元観測データから探索させることと、
抽出された特定時刻における候補点の実数（Ｎｒ）と、特定時刻よりも前の過去時刻における候補点の実数に基づき予測される特定時刻での候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視させることと、
候補点に基づき移動物体を識別させることとを、含み、
移動物体を識別させることは、
差分が許容範囲内となる場合に、特定時刻での候補点に基づき移動物体を識別させることを、含む。
これら第一～第六態様によると、観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップと、観測空間においてホスト車両の観測デバイスにより観測された観測点群の状態を表す三次元観測データとが、マッチングされる。そこで三次元観測データからは、三次元ダイナミックマップに存在しない観測点だけでなく、三次元ダイナミックマップのマッピング点とは異なる観測点が、マッチングに基づく移動物体の候補点として探索される。これによれば、特に三次元ダイナミックマップのマッピング点が表す物標に、三次元観測データの観測点が表す移動物体が近接又は重畳していたとしても、移動物体の候補点としてダイナミックマップとは乖離した後者の観測点が抽出され得る。故に、こうした候補点に基づく識別により、移動物体を高精度に認識することが可能となる。
一実施形態による物体認識システムの全体構成を示すブロック図である。 一実施形態によるホスト車両の観測デバイスと移動物体との関係を示す模式図である。 一実施形態による物体認識システム装置の機能構成を示すブロック図である。 一実施形態による物体認識方法を示すフローチャートである。 一実施形態によるボクセル設定を説明するための模式図である。 一実施形態による三次元ダイナミックマップとボクセルとの関係を示す模式図である。 一実施形態による候補点探索を説明するための模式図である。 一実施形態による候補点探索を説明するための模式図である。 一実施形態による候補点探索を説明するための模式図である。 一実施形態による候補点探索を説明するための模式図である。 一実施形態による候補点探索を説明するための模式図である。 一実施形態による候補点探索を説明するための模式図である。 一実施形態による候補点に関しての、位置情報の可視化表示を説明するための模式図である。 一実施形態による差分監視を説明するための模式図である。 一実施形態による差分監視を説明するための模式図である。 一実施形態による異常通知に関しての、地点情報の可視化表示を説明するための模式図である。
以下、本開示の一実施形態を図面に基づき説明する。
図１に示す一実施形態の物体認識システム１は、図２に示すようにホスト車両２に搭載される観測デバイス３により観測された観測空間３０において、移動可能な移動物体９を認識する。物体認識システム１の認識対象とする移動物体９は、例えばホスト車両２以外の他車両、バイク、人、動物、及びドローン（即ち、移動ロボット）等のうち、複数種類である。
物体認識システム１のホスト車両２は、例えば自動車等、乗員の搭乗状態において道路を走行可能となっている。ホスト車両２では、運転タスクにおける乗員の手動介入度に応じてレベル分けされるように、自動運転モードが実行される。自動運転モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての運転タスクを実行する自律走行制御により、実現されてもよい。自動運転モードは、運転支援、又は部分運転自動化といった、乗員が一部若しくは全ての運転タスクを実行する高度運転支援制御により、実現されてもよい。自動運転モードは、それら自律走行制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。
ホスト車両２には、図１に示すセンサ系４、通信系５、情報提示系６、及び地図データベース７が搭載される。センサ系４は、物体認識システム１により利用可能なセンサ情報を、ホスト車両２の外界及び内界から取得する。そのためにセンサ系４は、外界センサ４０、及び内界センサ４１を含んで構成される。
外界センサ４０は、ホスト車両２の周辺環境となる外界の情報を、取得する。外界センサ４０には、ホスト車両２の外界のうち観測空間３０を観測することで外界情報を取得する、観測デバイス３が含まれている。観測デバイス３は、例えば三次元ＬｉＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）、及び三次元レーダ等のうち、後述する三次元観測データＤｔ（以下、単に観測データＤｔともいう）を生成可能な少なくとも一種類である。尚、観測デバイス３の他に外界センサ４０としては、ホスト車両２の外界をセンシングすることで外界情報を取得する、例えばカメラ及びソナー等のうち少なくとも一種類が含まれていてもよい。
外界センサ４０のうち観測デバイス３は、ホスト車両２の外界へ向けて設定された視野角に応じて決まる観測空間３０（図２参照）を観測することで、当該空間３０に存在する物標に関連して外界情報を取得する。特に本実施形態の観測デバイス３により取得される外界情報は、観測空間３０において観測された観測点群の状態を三次元で表す、観測データＤｔである。観測データＤｔは、例えば位置座標、距離、方位角、速度、及びビーム反射強度等のうち、少なくとも一種類に関する三次元状態値を含んでいる。
内界センサ４１は、ホスト車両２の内部環境となる内界の情報を、取得する。内界センサ４１は、ホスト車両２の内界において特定の運動物理量を検知することで、内界情報を取得してもよい。物理量検知タイプの内界センサ４１は、例えば走行速度センサ、加速度センサ、及びジャイロセンサ等のうち、少なくとも一種類である。内界センサ４１は、ホスト車両２の内界において乗員の特定状態を検知することで、内界情報を取得してもよい。乗員検知タイプの内界センサ４１は、例えばドライバーステータスモニター（登録商標）、生体センサ、着座センサ、アクチュエータセンサ、及び車内機器センサ等のうち、少なくとも一種類である。
通信系５は、物体認識システム１により利用可能な通信情報を、無線通信により取得する。通信系５には、ホスト車両２の外界に存在するＶ２Ｘシステムとの間において通信信号を送受信する、Ｖ２Ｘタイプが含まれている。Ｖ２Ｘタイプの通信系５は、例えばＤＳＲＣ（Dedicated Short Range Communications）通信機、及びセルラＶ２Ｘ（C-V2X）通信機等のうち、少なくとも一種類である。Ｖ２Ｘタイプの通信系５は、ホスト車両２外部のリモートセンタ８と通信可能な通信ネットワークを、構築している。
ここでリモートセンタ８は、例えばクラウドサーバ及びエッジサーバ等のうち少なくとも一種類のサーバユニット、並びに通信ルータを主体として、構成されている。例えばリモートセンタ８は、ホスト車両２の運転を管理する管理センタ、又はホスト車両２に関連するサービスを提供するサービスセンタ等である。リモートセンタ８では、通信ルータを通じて通信可能な、ホスト車両２を含む道路ユーザに関連する情報を、例えばリモートセンタ８のオペレータへ表示する等の出力制御処理が、実行される。それに伴ってリモートセンタ８では、通信可能な道路ユーザへフィードバックされる情報を、例えばリモートセンタ８のオペレータから受付する等の入力制御処理が、実行される。
通信系５としては、こうしたリモートセンタ８との通信を実現するＶ２Ｘタイプに加えて、ホスト車両２の外界に存在するＧＮＳＳ（Global Navigation Satellite System）の人工衛星から測位信号を受信する、測位タイプも含まれている。測位タイプの通信系５は、例えばＧＮＳＳ受信機等である。その他に通信系５としては、ホスト車両２の内界に存在する端末との間において通信信号を送受信する、端末通信タイプが含まれていてもよい。端末通信タイプの通信系５は、例えばブルートゥース（Bluetooth：登録商標）機器、Ｗｉ－Ｆｉ（登録商標）機器、及び赤外線通信機器等のうち、少なくとも一種類である。
情報提示系６は、ホスト車両２の乗員へ向けた報知情報を提示する。情報提示系６は、乗員の視覚を刺激することで、報知情報を提示してもよい。視覚刺激タイプの情報提示系６は、例えばＨＵＤ（Head-Up Display）、ＭＦＤ（Multi-Function Display）、コンビネーションメータ、ナビゲーションユニット、及び発光ユニット等のうち、少なくとも一種類である。情報提示系６は、乗員の聴覚を刺激することで、報知情報を提示してもよい。聴覚刺激タイプの情報提示系６は、例えばスピーカ、ブザー、及びバイブレーションユニット等のうち、少なくとも一種類である。
地図データベース７は、物体認識システム１により利用可能な地図情報を、記憶する。地図データベース７は、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）を含んで構成される。地図データベース７は、ホスト車両２の位置を含む運動状態を推定するロケータの、データベースであってもよい。地図データベース７は、ホスト車両２の走行経路をナビゲートするナビゲーションユニットの、データベースであってもよい。地図データベース７は、これらのデータベース等のうち複数種類の組み合わせにより、構成されてもよい。
地図データベース７は、Ｖ２Ｘタイプの通信系５を通じたリモートセンタ８との通信により、最新の地図情報を取得して記憶する。特に本実施形態の地図情報は、ホスト車両２の走行環境を表すように三次元にデータ化された、高精度地図のデジタルデータとしての三次元ダイナミックマップＭｔ（以下、単にダイナミックマップＭｔともいう）である。ダイナミックマップＭｔは、観測デバイス３の観測空間３０に存在する物標をマッピングしたマッピング点群の状態を、表している。ダイナミックマップＭｔは、例えば物標の位置座標、距離、方位角、及び形状等のうち、少なくとも一種類に関する三次元状態値を含んでいる。ダイナミックマップＭｔのマッピング対象とする物標は、例えば道路、標識、信号機、建造物、及び樹木等のうち、道路を含む少なくとも一種類の静止物である。
物体認識システム１は、例えばＬＡＮ（Local Area Network）回線、ワイヤハーネス、内部バス、及び無線通信回線等のうち、少なくとも一種類を介してセンサ系４、通信系５、情報提示系６、及び地図データベース７に接続されている。物体認識システム１は、少なくとも一つの専用コンピュータを含んで構成されている。
物体認識システム１を構成する専用コンピュータは、ホスト車両２の運転を制御する、運転制御ＥＣＵ（Electronic Control Unit）であってもよい。物体認識システム１を構成する専用コンピュータは、ホスト車両２の走行経路をナビゲートする、ナビゲーションＥＣＵであってもよい。物体認識システム１を構成する専用コンピュータは、ホスト車両２の位置を含む運動状態を推定する、ロケータＥＣＵであってもよい。物体認識システム１を構成する専用コンピュータは、ホスト車両２において情報提示系６による情報提示を制御する、ＨＣＵ（HMI（Human Machine Interface） Control Unit）であってもよい。物体認識システム１を構成する専用コンピュータは、例えば通信系５との間で通信可能な外部サーバ又はモバイル端末等を構築する、ホスト車両２以外のコンピュータであってもよい。
物体認識システム１を構成する専用コンピュータは、メモリ１０及びプロセッサ１２を、少なくとも一つずつ有している。メモリ１０は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ、ＤＦＰ（Data Flow Processor）、及びＧＳＰ（Graph Streaming Processor）等のうち、少なくとも一種類をコアとして含んでいる。
プロセッサ１２は、観測デバイス３により観測された観測空間３０において移動可能な移動物体９を認識するためにメモリ１０に記憶された、物体認識プログラムに含まれる複数の命令を実行する。これにより物体認識システム１は、観測空間３０の移動物体９を認識するための機能ブロックを、複数構築する。物体認識システム１において構築される複数の機能ブロックには、図３に示すようにマッチングブロック１００、探索ブロック１１０、監視ブロック１２０、及び識別ブロック１３０が含まれる。
これら各ブロック１００，１１０，１２０，１３０の共同により、物体認識システム１が観測空間３０の移動物体９を認識する物体認識方法のフロー（以下、認識フローという）を、図４に従って以下に説明する。認識フローのアルゴリズムサイクルは、ホスト車両２の起動中において繰り返し実行される。尚、認識フローにおける各「Ｓ」は、物体認識プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
認識フローのＳ１０１においてマッチングブロック１００は、通信系５を通じてリモートセンタ８から最新のダイナミックマップＭｔを取得する。Ｓ１０１におけるマッチングブロック１００は、取得したダイナミックマップＭｔにより地図データベース７を更新する。Ｓ１０１によるダイナミックマップＭｔの取得は、前回の取得からダイナミックマップＭｔがリモートセンタ８において更新されていない場合には、スキップされてもよい。Ｓ１０１によるダイナミックマップＭｔの取得は、一定時間の経過毎に実行され、当該実行タイミング以外にはスキップされてもよい。Ｓ１０１によるダイナミックマップＭｔの取得は、ホスト車両２における認識フローとは別の制御フローに従って、例えば更新時等の必要に応じて、又は一定時間毎に実行されることで、認識フローでは省かれてもよい。
認識フローのＳ１０２においてマッチングブロック１００は、観測デバイス３により取得された最新の観測データＤｔを取得する。認識フローのＳ１０３においてマッチングブロック１００は、ダイナミックマップＭｔと観測データＤｔとをマッチングする。
具体的にＳ１０３におけるマッチングブロック１００は、図５に示すように観測空間３０を複数に分割した三次元ボクセル３００（以下、分割ボクセル３００ともいう）３００を、図６に示すようにダイナミックマップＭｔに対して設定する。各分割ボクセル３００は、観測空間３０に割り当てられる三次元絶対座標軸に沿って六辺を有した、立方体又は直方体の三次元格子状に定義される。但し、観測デバイス３の視野角に応じて決まる観測空間３０の最外縁付近では、立方体又は直方体の一部となる、三次元格子の部分形状に分割ボクセル３００が定義される。こうした各分割ボクセル３００の格子サイズは、観測空間３０内に各分割ボクセル３００間の隙間空間が発生しない限りにおいて、互いに同一サイズ、又は互いに異なる複数サイズのいずれかに、設定される。例えば互いに同一な立方体格子状の各分割ボクセル３００において六辺の長さは、１．５ｍ等の長さに設定される。
Ｓ１０３におけるマッチングブロック１００は、マッチングに必要なマッチング用データを、ダイナミックマップＭｔから各分割ボクセル３００毎に抽出する。ダイナミックマップＭｔから抽出されるマッチング用データは、特に本実施形態では、例えば分割ボクセル３００のサイズ、分割ボクセル３００の頂点座標、分割ボクセル３００の識別情報、マッピング点群の有無、マッピング点群の平均座標、及びマッピング点群の分散値等のうち、少なくとも一種類を含んでいる。そこで、各分割ボクセル３００毎の形状定義及びマッチング用データは、ダイナミックマップＭｔに含まれる地図情報としてリモートセンタ８から与えられてもよいし、ダイナミックマップＭｔに含まれる地図情報に基づきＳ１０３において生成されてもよいし、それらの組み合わせであってもよい。
Ｓ１０３におけるマッチングブロック１００は、特に本実施形態ではＮＤＴ（Normal Distribution Transform）アルゴリズムに基づくことで、ダイナミックマップＭｔ及び観測データＤｔ間での各分割ボクセル３００毎のＮＤＴスキャンマッチングを実行する。ＮＤＴスキャンマッチングでは、まず、ダイナミックマップＭｔの点群座標系に観測データＤｔの点群座標系を変換するための並進回転パラメータが、設定される。並進回転パラメータの設定は、例えば測位タイプの通信系５からの取得情報、過去のホスト車両２における運転状態の推定結果等のうち、少なくとも一種類に基づく初期パラメータから、開始される。
ＮＤＴスキャンマッチングでは、設定された並進回転パラメータの下、観測データＤｔのダイナミックマップＭｔに対するマッチング度が、数１に従って各観測点毎に演算される。ここで数１のｋは、ダイナミックマップＭｔにおいて分割ボクセル３００を識別するインデックである。数１のｉは、観測データＤｔにおいて観測点を識別するインデックスである。数１のｐｉは、観測データＤｔにおいてインデックスｉの観測点に関しての、並進回転パラメータによる変換後位置座標である。数１のｑｋは、ダイナミックマップＭｔにおいて変換後位置座標ｐｉが属するインデックスｋの分割ボクセル３００に含まれたマッピング点群の、平均座標である。数１のΣｋは、ダイナミックマップＭｔにおいて変換後位置座標ｐｉが属するインデックスｋの分割ボクセル３００に含まれたマッピング点群の、共分散値である。数１のｓｉは、変換後位置座標ｐｉの観測点に関しての、即ち設定された並進回転パラメータでのインデックスｉの観測点に関する、マッチング度である。
Figure 0007444136000001
ＮＤＴスキャンマッチングでは、全てのインデックスｉの観測点に関するマッチング度ｓｉの数２に従う総和値が、設定された並進回転パラメータに対するスコアＳＣとして、演算される。そこでＮＤＴスキャンマッチングでは、並進回転パラメータを変化させながらスコアＳＣの最適化処理を反復実行するニュートン法により、最適マッチングとなる並進回転パラメータを用いての変換後位置座標ｐｉが、各インデックスｉの観測点に対して確定される。これにより、観測データＤｔを構成する各インデックスｉの観測点は、それぞれ変換後位置座標ｐｉの属する分割ボクセル３００と対応付けられる。
Figure 0007444136000002
Ｓ１０３におけるマッチングブロック１００は、各分割ボクセル３００毎でのマッチング結果として、観測データＤｔにおける観測点の平均マッチング度を演算する。平均マッチング度の演算は、ＮＤＴスキャンマッチングにより変換後位置座標ｐｉの確定した各インデックスｉの観測点に関しての、マッチング度ｓｉに基づいた数３に従う。このとき平均マッチング度は、最大値が１且つ最小値が０となるように、数３に従う値から全ての分割ボクセル３００間において正規化されるとよい。ここで数３のｌｋは、確定した変換後位置座標ｐｉがインデックスｋの分割ボクセル３００に属する観測点の、観測データＤｔにおけるインデックスである。数３のｎｋは、確定した変換後位置座標ｐｉがインデックスｋの分割ボクセル３００に属する観測点の、存在数である。数３のμｋは、確定した変換後位置座標ｐｉがインデックスｋの分割ボクセル３００に属する観測点間での、平均マッチング度である。
Figure 0007444136000003
Ｓ１０３におけるマッチングブロック１００は、図７に示すように、ダイナミックマップＭｔにおいてマッピング点が存在しない分割ボクセル３００のうち、観測データＤｔの観測点が少なくとも一つ存在している注目ボクセル３００Ａを、抽出する。抽出された注目ボクセル３００Ａには、各分割ボクセル３００毎でのマッチング結果として、注目フラグＦが付与される。尚、上述した平均マッチング度μｋの演算よりも注目ボクセル３００Ａの抽出が先に実行されることで、注目ボクセル３００Ａに対する当該演算は省かれてもよい。
Ｓ１０３におけるマッチングブロック１００はさらに、ＮＤＴスキャンマッチングによるマッチング結果として確定された、各インデックスｉの観測点での変換後位置座標ｐｉに基づくことで、ホスト車両２の位置及び姿勢を含む運動状態を推定する。このとき運転状態の推定処理は、例えば拡張カルマンフィルタ等を用いて実行される。
図４に示す認識フローのＳ１０４において探索ブロック１１０は、Ｓ１０３のマッチングブロック１００によるマッチング結果に基づくことで、移動物体９の候補点Ｐｃを観測データＤｔから探索する。候補点Ｐｃとしては、分割ボクセル３００を模式的に二次元表示した図８に示すように、観測データＤｔにおいてダイナミックマップＭｔには存在しない観測点Ｐｎと、同データＤｔにおいてダイナミックマップＭｔのマッピング点とは異なる観測点Ｐｄとが、探索される。
具体的にＳ１０４における探索ブロック１１０は、Ｓ１０３のマッチングブロック１００により図７の如く注目フラグＦが付与された注目ボクセル３００Ａに属する観測点、即ちダイナミックマップＭｔには対応するマッピング点が存在しない観測点Ｐｎの全てを、候補点Ｐｃに設定する。このようにマッチング結果としての注目フラグＦが利用されることで、探索処理の効率化を図ることが可能となる。
Ｓ１０４における探索ブロック１１０は、図９に示すように、注目ボクセル３００Ａ以外の分割ボクセル３００を大ボクセル３００Ｌと定義して、当該大ボクセル３００Ｌをさらに分割した複数の小ボクセル３００Ｓを設定する。各小ボクセル３００Ｓの形状及びサイズは、大ボクセル３００Ｌとしての分割ボクセル３００の場合に準じて、設定される。例えば互いに同一な立方体格子状の各小ボクセル３００Ｓにおいて六辺の長さは、０．５ｍ等の長さに設定される。
Ｓ１０４における探索ブロック１１０は、図１０に示すように、注目ボクセル３００Ａの除かれた大ボクセル３００Ｌのうち、候補点Ｐｃの抽出が予測されるメイン候補ボクセル３００Ｌｃを、探索する。メイン候補ボクセル３００Ｌｃは、Ｓ１０３のマッチングブロック１００により大ボクセル３００Ｌに定義の分割ボクセル３００に対して取得された、マッチング結果としての平均マッチング度μｋに基づき探索される。探索により選定されるメイン候補ボクセル３００Ｌｃは、特に本実施形態では、平均マッチング度μｋが選定閾値以下の大ボクセル３００Ｌに定義される。ここで選定閾値は、候補点Ｐｃの抽出信頼性を確保するように、規定される。尚、上述した小ボクセル３００Ｓの設定よりもメイン候補ボクセル３００Ｌｃの探索及び選定が先に実行されることで、メイン候補ボクセル３００Ｌｃから外れた大ボクセル３００Ｌに対する当該設定は省かれてよい。
Ｓ１０４における探索ブロック１１０は、メイン候補ボクセル３００Ｌｃとしての大ボクセル３００Ｌに設定された各小ボクセル３００Ｓ毎に、ダイナミックマップＭｔと観測データＤｔとの点群分布を対比する。点群分布の対比により探索ブロック１１０は、ダイナミックマップＭｔにおいてマッピング点が存在しない小ボクセル３００Ｓのうち、観測データＤｔの観測点が少なくとも一つ存在しているサブ候補ボクセル３００Ｓｃから、図１１に示すように当該観測点を候補点Ｐｃに設定する。即ち、サブ候補ボクセル３００ＳｃにおいてダイナミックマップＭｔには対応するマッピング点の存在しない観測点Ｐｎが、全て候補点Ｐｃとして抽出される。
Ｓ１０４における探索ブロック１１０は、図１２に示すように、メイン候補ボクセル３００Ｌｃとしての大ボクセル３００Ｌにおいてサブ候補ボクセル３００Ｓｃを除く小ボクセル３００Ｓに対しては、点群分布の違いを定量化した対比をさらに進める。特に本実施形態における点群分布の対比は、例えばＭＭＤ（Maximum Mean Discrepancy）による推定値又はマハラノビス距離等の、分布間距離が対比閾値以上となる小ボクセル３００Ｓに存在する観測点を、候補点Ｐｃに設定する。ここで対比閾値は、候補点Ｐｃの抽出信頼性を確保するように、規定される。以上により、マッピング点も観測点も存在する小ボクセル３００Ｓのうち、ダイナミックマップＭｔのマッピング点とは異なる観測点Ｐｄが、ダイナミックマップＭｔに存在しない観測点Ｐｎとは区別される候補点Ｐｃとして、抽出される。
図４に示す認識フローのＳ１０５において探索ブロック１１０は、Ｓ１０４において候補点Ｐｃは抽出されたか否かを、判定する。その結果、否定判定が下された場合には、認識フローの今回サイクルが終了する。一方、肯定判定が下された場合には、認識フローがＳ１０６以降のステップへと進む。Ｓ１０６では、観測データＤｔにおいてダイナミックマップＭｔとは乖離した乖離点Ｐｅの情報として、Ｓ１０４の探索ブロック１１０により抽出された候補点Ｐｃの位置情報を、探索ブロック１１０がリモートセンタ８へと送信する。送信される位置情報は、例えば抽出候補点Ｐｃの変換後位置座標ｐｉ、抽出候補点Ｐｃを含む小ボクセル３００Ｓ若しくは分割ボクセル３００の頂点座標等のうち、少なくとも一種類を含んでいる。
Ｓ１０６の探索ブロック１１０により位置情報が送信されたリモートセンタ８では、当該送信後となる次回サイクル以降のＳ１０１においてマッチングブロック１００の取得することになるダイナミックマップＭｔが、当該位置情報に基づく更新により書き換えられる。このときリモートセンタ８では、図１３に示すように抽出候補点Ｐｃの位置情報が、ダイナミックマップＭｔに重畳して可視化表示されることで、更新処理に関わるオペレータに提示されるとよい。尚、図１３は、抽出候補点Ｐｃを含む分割ボクセル３００の頂点座標が可視化表示された例を、示している。
図４に示す認識フローのＳ１０７において監視ブロック１２０は、Ｓ１０４の探索ブロック１１０によって候補点Ｐｃの抽出された特定時刻において図１４，１５に示すように現出する、候補点Ｐｃの実数Ｎｒと予測数Ｎｐとの差分ΔＮを、監視する。差分ΔＮの監視において候補点Ｐｃの実数Ｎｒと対比される予測数Ｎｐは、特定時刻よりも前の過去時刻となる、過去複数サイクルの各々において抽出された候補点Ｐｃの実数Ｎｒに基づき、予測される。予測には、例えば線形回帰モデル等が用いられる。
図４に示す認識フローのＳ１０８において監視ブロック１２０は、Ｓ１０７により特定時刻に認識された差分ΔＮが、許容範囲外となる異常閾値以上であるか否かを、判定する。ここで許容範囲を規定する異常閾値は、ダイナミックマップＭｔ自体の異常と、Ｓ１０４のマッチングブロック１００によるダイナミックマップＭｔ及び観測データＤｔのマッチング異常とを、判別可能に設定される。差分ΔＮが許容範囲外との判定は、図１４に示すように特定時刻の一点のみで下されてもよいし、図１５に示すように特定時刻及び過去時刻の複数点に亘って許容範囲外の差分ΔＮが連続した場合に下されてもよい。
差分ΔＮが許容範囲外であるのに応じて、Ｓ１０８の監視ブロック１２０により肯定判定が下された場合には、図４に示すように認識フローがＳ１０９へ移行する。Ｓ１０９では、候補点Ｐｃの抽出された特定時刻でのホスト車両２の走行情報を含むようにダイナミックマップＭｔと関連付けた異常通知を、監視ブロック１２０がリモートセンタ８へと送信する。この異常通知の送信完了により、認識フローの今回サイクルが終了する。尚、Ｓ１０８における監視ブロック１２０は、情報提示系６を通じて異常通知をホスト車両２の乗員に提示してもよいし、異常通知の記録をタイムスタンプと共にメモリ１０に蓄積してもよい。
Ｓ１０９の監視ブロック１２０により異常通知が送信されたリモートセンタ８では、当該送信後となる次回以降サイクルのＳ１０１においてマッチングブロック１００の取得することになるダイナミックマップＭｔが、当該異常通知に基づく更新により書き換えられる。このときリモートセンタ８では、図１６に示すように異常通知が発生した特定時刻での車両２の走行情報として走行地点を表す地点情報Ｉが、ダイナミックマップＭｔに重畳して可視化表示されることで、更新処理に関わるオペレータに提示されるとよい。尚、図１６は、複数点に亘って許容範囲外の差分ΔＮが連続した場合の地点情報Iが可視化表示された例を、示している。
さて、差分ΔＮが許容範囲内であるのに応じて、Ｓ１０８の監視ブロック１２０により否定判定が下された場合には、図４に示すように認識フローがＳ１１０へ移行する。Ｓ１１０では、Ｓ１０４の探索ブロック１１０により抽出された特定時刻での候補点Ｐｃに基づくことで、識別ブロック１３０が移動物体９を識別する。候補点Ｐｃに基づく移動物体９の識別は、例えばディープラーニング等のニューラルネットワークベースでの学習モデルを用いて実行されてもよい。候補点Ｐｃに基づく移動物体９の識別は、例えばマシンビジョン等のルールベースでの判定アルゴリズムを用いて実行されてもよい。この移動物体９の識別完了により、認識フローの今回サイクルが終了する。尚、Ｓ１１０における識別ブロック１３０は、移動体９の識別による認識結果をホスト車両２の乗員に提示してもよいし、当該認識結果の記録をタイムスタンプと共にメモリ１０に蓄積してもよい。
（作用効果）
以上説明した本実施形態の作用効果を、以下に説明する。
本実施形態によると、観測空間３０に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップＭｔと、観測空間３０においてホスト車両２の観測デバイス３により観測された観測点群の状態を表す三次元観測データＤｔとが、マッチングされる。そこで観測データＤｔからは、ダイナミックマップＭｔに存在しない観測点Ｐｎだけでなく、ダイナミックマップＭｔのマッピング点とは異なる観測点Ｐｄが、マッチングに基づく移動物体９の候補点Ｐｃとして探索される。これによれば、特にダイナミックマップＭｔのマッピング点が表す物標に、観測データＤｔの観測点が表す移動物体９が近接又は重畳していたとしても、移動物体９の候補点ＰｃとしてダイナミックマップＭｔとは乖離した観測点Ｐｄが抽出され得る。故に、こうした候補点Ｐｃに基づく識別により、移動物体９を高精度に認識することが可能となる。
本実施形態によると、観測空間３０を複数に分割した各三次元ボクセル３００毎に、ダイナミックマップＭｔと観測データＤｔとがマッチングされる。そこで、マッチングされた各三次元ボクセル３００毎にダイナミックマップＭｔと観測データＤｔとの点群分布を対比することによれば、候補点Ｐｃを精確に抽出することができる。故に、移動物体９の高精度認識に貢献することが可能となる。
本実施形態によると、大ボクセル３００Ｌとして定義される三次元ボクセル３００をさらに分割した、複数の小ボクセル３００Ｓが設定される。そこで、大ボクセル３００ＬにおけるダイナミックマップＭｔと観測データＤｔとのマッチング結果に基づくことで、大ボクセル３００Ｌのうち候補点Ｐｃの抽出が予測される候補ボクセル３００Ｌｃは、大局的に探索され得る。これによれば、小ボクセル３００ＳにおけるダイナミックマップＭｔと観測データＤｔとの点群分布の対比による候補点Ｐｃの抽出を、候補ボクセル３００Ｌｃに設定された小ボクセル３００Ｓに局所的に集中させることができる。故に、移動物体９の認識を高精度且つ高効率に実現することが可能となる。
本実施形態によると、小ボクセル３００ＳにおいてダイナミックマップＭｔには存在しない観測点Ｐｎと、小ボクセル３００ＳにおいてダイナミックマップＭｔのマッピング点とは異なる観測点Ｐｄとが、区別して抽出される。このように小ボクセル３００Ｓに集中した局所的な探索によれば、ダイナミックマップＭｔのマッピング点が表す物標に、観測データＤｔの観測点が表す移動物体９が近接又は重畳していたとしても、候補点Ｐｃとしての観測点Ｐｄを精確に抽出することができる。故に、移動物体９の高精度且つ高効率な認識に貢献することが可能となる。
本実施形態によると、観測データＤｔにおいてダイナミックマップＭｔとは乖離した乖離点Ｐｅの情報として、抽出された場合における候補点Ｐｃの位置情報が、ホスト車両２と通信可能なリモートセンタ８へ送信される。そこで位置情報の送信後にリモートセンタ８から、更新されたダイナミックマップＭｔが取得されることによれば、ダイナミックマップＭｔとは乖離した観測点Ｐｎ，Ｐｄの存在が、マッチング対象のマッピング点として反映され得る。故に、移動物体９の高精度認識に貢献することが可能となる。
本実施形態によると、特定時刻における候補点Ｐｃの実数Ｎｒと、特定時刻よりも前の過去時刻における候補点Ｐｃの実数Ｎｒに基づき予測される特定時刻での候補点Ｐｃの予測数Ｎｐとの、差分ΔＮが監視される。ここで、特定時刻における候補点Ｐｃの実数Ｎｒと予測数Ｎｐとの差分ΔＮが許容範囲外となる場合には、ダイナミックマップＭｔ自体の異常と、ダイナミックマップＭｔと観測データＤｔとのマッチング異常が、想定され得る。そこで逆に、特定時刻における差分ΔＮが許容範囲内となる場合には、同時刻での候補点Ｐｃに基づき移動物体９を識別することで、移動物体９の認識精度及び信頼性を高めることが可能となる。
本実施形態によると、特定時刻における候補点Ｐｃの実数Ｎｒと予測数Ｎｐとの差分ΔＮが許容範囲外となる場合に、ダイナミックマップＭｔと関連付けられた異常通知が、ホスト車両２と通信可能なリモートセンタ８へ送信される。そこで異常通知の送信後にリモートセンタ８から、更新されたダイナミックマップＭｔが取得されることによれば、マッチング対象となるマッピング点に異常通知の対象状態が反映され得る。故に、移動物体９の高精度認識に貢献することが可能となる。
（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該説明の実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
変形例において物体認識システム１を構成する専用コンピュータは、デジタル回路、及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。
変形例における分割ボクセル３００は、観測空間３０内に各分割ボクセル３００間の隙間空間が発生しない限りにおいて、三次元格子状以外の三次元形状に定義されてもよい。変形例における小ボクセル３００Ｓは、大ボクセル３００Ｌとしての分割ボクセル３００内に各小ボクセル３００Ｓ間の隙間空間が発生しない限りにおいて、三次元格子状以外の三次元形状に定義されてもよい。変形例において分割ボクセル３００を大ボクセル３００Ｌと定義しての小ボクセル３００Ｓの設定は、Ｓ１０４の探索ブロック１１０による処理から省かれてもよい。この場合には、点群分布の違いを定量化した対比が大ボクセル３００Ｌに対して実行されるとよい。
変形例における平均マッチング度μｋの演算は、Ｓ１０３のマッチングブロック１００による処理から省かれると共に、Ｓ１０４の探索ブロック１１０による探索に伴って実行されてもよい。変形例における注目ボクセル３００Ａの抽出は、Ｓ１０３のマッチングブロック１００による処理から省かれると共に、Ｓ１０４の探索ブロック１１０による探索に伴って実行されることで、注目フラグＦが付与されなくてもよい。変形例においてマッチング結果に基づく運動状態の推定は、Ｓ１０３のマッチングブロック１００による処理から省かれてもよい。この場合に、マッチング結果に基づく運動状態の推定は、認識プログラムとは別のプログラムにより、認識フローとは別のフローに従って実行されてもよい。
変形例においてＳ１０６の探索ブロック１１０による位置情報の送信は、省かれてもよい。変形例においてＳ１０７の監視ブロック１２０による差分ΔＮの監視は、省かれてもよい。この場合、又は差分ΔＮの監視が実行される場合の変形例においてＳ１０８の監視ブロック１２０による異常通知の送信は、省かれてもよい。以上の他、変形例において物体認識システム１の適用されるホスト車両は、例えばリモートセンタ８により走行をリモート制御可能なドローン等であってもよい。
２：ホスト車両、３：観測デバイス、８：リモートセンタ、９：移動物体、１０：メモリ、１２：プロセッサ、３０：観測空間、３００：三次元ボクセル・分割ボクセル、３００Ｌ：大ボクセル、３００Ｌｃ：メイン候補ボクセル、３００Ｓ：小ボクセル、Ｄｔ：三次元観測データ・観測データ、Ｍｔ：三次元ダイナミックマップ・ダイナミックマップ、Ｎｐ：予測数、Ｎｒ：実数、Ｐｃ：候補点、Ｐｄ，Ｐｎ：観測点、Ｐｅ：乖離点、ΔＬ：差分

Claims (9)

  1. プロセッサ（１２）を有し、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識する物体認識システムであって、
    前記プロセッサは、
    前記観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、前記観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
    前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、前記マッチングに基づく前記移動物体の候補点（Ｐｃ）として前記三次元観測データから探索することと、
    前記候補点に基づき前記移動物体を識別することとを、実行するように構成され、
    前記三次元ダイナミックマップと前記三次元観測データとをマッチングすることは、
    前記観測空間を複数に分割した各三次元ボクセル（３００）毎に、前記三次元ダイナミックマップと前記三次元観測データとをマッチングすることを、含み、
    前記候補点を探索することは、
    前記三次元ボクセルを大ボクセル（３００Ｌ）と定義して、前記大ボクセルをさらに分割した複数の小ボクセル（３００Ｓ）を設定することと、
    前記大ボクセルにおける前記三次元ダイナミックマップと前記三次元観測データとのマッチング結果に基づき、前記大ボクセルのうち前記候補点の抽出が予測される候補ボクセル（３００Ｌｃ）を探索することと、
    各前記三次元ボクセル毎における前記三次元ダイナミックマップと前記三次元観測データとの点群分布の対比であって、前記候補ボクセルに設定された前記小ボクセルにおける前記三次元ダイナミックマップと前記三次元観測データとの点群分布の対比により、前記小ボクセルにおいて前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記小ボクセルにおいて前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを区別して、前記候補点を抽出することとを、含む物体認識システム。
  2. 前記プロセッサは、
    抽出された特定時刻における前記候補点の実数（Ｎｒ）と、前記特定時刻よりも前の過去時刻における前記候補点の実数に基づき予測される前記特定時刻での前記候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視することとを、さらに実行するように構成され、
    前記移動物体を識別することは、
    前記差分が許容範囲内となる場合に、前記特定時刻での前記候補点に基づき前記移動物体を識別することを、含む請求項１に記載の物体認識システム。
  3. プロセッサ（１２）を有し、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識する物体認識システムであって、
    前記プロセッサは、
    前記観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、前記観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
    前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、前記マッチングに基づく前記移動物体の候補点（Ｐｃ）として前記三次元観測データから探索することと、
    抽出された特定時刻における前記候補点の実数（Ｎｒ）と、前記特定時刻よりも前の過去時刻における前記候補点の実数に基づき予測される前記特定時刻での前記候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視することと、
    前記候補点に基づき前記移動物体を識別することとを、実行するように構成され、
    前記移動物体を識別することは、
    前記差分が許容範囲内となる場合に、前記特定時刻での前記候補点に基づき前記移動物体を識別することを、含む物体認識システム。
  4. 前記移動物体を識別することは、
    前記差分が許容範囲外となる場合に、前記三次元ダイナミックマップと関連付けた異常通知を、前記ホスト車両と通信可能なリモートセンタ（８）へ送信することを、含み、
    前記プロセッサは、
    前記異常通知の送信後に前記リモートセンタから、更新された前記三次元ダイナミックマップを取得することを、さらに実行するように構成される請求項２又は３に記載の物体認識システム。
  5. 前記候補点を探索することは、
    前記三次元観測データにおいて前記三次元ダイナミックマップとは乖離した乖離点（Ｐｅ）の情報として、抽出された場合における前記候補点の位置情報を、前記ホスト車両と通信可能なリモートセンタ（８）へ送信することを、含み、
    前記プロセッサは、
    前記位置情報の送信後に前記リモートセンタから、更新された前記三次元ダイナミックマップを取得することを、さらに実行するように構成される請求項１～４のいずれか一項に記載の物体認識システム。
  6. ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）により実行される物体認識方法であって、
    前記観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、前記観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
    前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、前記マッチングに基づく前記移動物体の候補点（Ｐｃ）として前記三次元観測データから探索することと、
    前記候補点に基づき前記移動物体を識別することとを、含み、
    前記三次元ダイナミックマップと前記三次元観測データとをマッチングすることは、
    前記観測空間を複数に分割した各三次元ボクセル（３００）毎に、前記三次元ダイナミックマップと前記三次元観測データとをマッチングすることを、含み、
    前記候補点を探索することは、
    前記三次元ボクセルを大ボクセル（３００Ｌ）と定義して、前記大ボクセルをさらに分割した複数の小ボクセル（３００Ｓ）を設定することと、
    前記大ボクセルにおける前記三次元ダイナミックマップと前記三次元観測データとのマッチング結果に基づき、前記大ボクセルのうち前記候補点の抽出が予測される候補ボクセル（３００Ｌｃ）を探索することと、
    各前記三次元ボクセル毎における前記三次元ダイナミックマップと前記三次元観測データとの点群分布の対比であって、前記候補ボクセルに設定された前記小ボクセルにおける前記三次元ダイナミックマップと前記三次元観測データとの点群分布の対比により、前記小ボクセルにおいて前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記小ボクセルにおいて前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを区別して、前記候補点を抽出することとを、含む物体認識方法。
  7. ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）により実行される物体認識方法であって、
    前記観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、前記観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングすることと、
    前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、前記マッチングに基づく前記移動物体の候補点（Ｐｃ）として前記三次元観測データから探索することと、
    抽出された特定時刻における前記候補点の実数（Ｎｒ）と、前記特定時刻よりも前の過去時刻における前記候補点の実数に基づき予測される前記特定時刻での前記候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視することと、
    前記候補点に基づき前記移動物体を識別することとを、含み、
    前記移動物体を識別することは、
    前記差分が許容範囲内となる場合に、前記特定時刻での前記候補点に基づき前記移動物体を識別することを、含む物体認識方法。
  8. 記憶媒体（１０）に記憶され、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）に実行させる命令を含む物体認識プログラムであって、
    前記命令は、
    前記観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、前記観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングさせることと、
    前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、前記マッチングに基づく前記移動物体の候補点（Ｐｃ）として前記三次元観測データから探索させることと、
    前記候補点に基づき前記移動物体を識別させることとを、含み、
    前記三次元ダイナミックマップと前記三次元観測データとをマッチングさせることは、
    前記観測空間を複数に分割した各三次元ボクセル（３００）毎に、前記三次元ダイナミックマップと前記三次元観測データとをマッチングさせることを、含み、
    前記候補点を探索させることは、
    前記三次元ボクセルを大ボクセル（３００Ｌ）と定義して、前記大ボクセルをさらに分割した複数の小ボクセル（３００Ｓ）を設定させることと、
    前記大ボクセルにおける前記三次元ダイナミックマップと前記三次元観測データとのマッチング結果に基づき、前記大ボクセルのうち前記候補点の抽出が予測される候補ボクセル（３００Ｌｃ）を探索させることと、
    各前記三次元ボクセル毎における前記三次元ダイナミックマップと前記三次元観測データとの点群分布の対比であって、前記候補ボクセルに設定された前記小ボクセルにおける前記三次元ダイナミックマップと前記三次元観測データとの点群分布の対比により、前記小ボクセルにおいて前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記小ボクセルにおいて前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを区別して、前記候補点を抽出させることとを、含む物体認識プログラム。
  9. 記憶媒体（１０）に記憶され、ホスト車両（２）の観測デバイス（３）により観測された観測空間（３０）において移動可能な移動物体（９）を認識するために、プロセッサ（１２）に実行させる命令を含む物体認識プログラムであって、
    前記命令は、
    前記観測空間に存在する物標をマッピングしたマッピング点群の状態を表す三次元ダイナミックマップ（Ｍｔ）と、前記観測空間において観測された観測点群の状態を表す三次元観測データ（Ｄｔ）とを、マッチングさせることと、
    前記三次元ダイナミックマップに存在しない観測点（Ｐｎ）と、前記三次元ダイナミックマップのマッピング点とは異なる観測点（Ｐｄ）とを、前記マッチングに基づく前記移動物体の候補点（Ｐｃ）として前記三次元観測データから探索させることと、
    抽出された特定時刻における前記候補点の実数（Ｎｒ）と、前記特定時刻よりも前の過去時刻における前記候補点の実数に基づき予測される前記特定時刻での前記候補点の予測数（Ｎｐ）との、差分（ΔＬ）を監視させることと、
    前記候補点に基づき前記移動物体を識別させることとを、含み、
    前記移動物体を識別させることは、
    前記差分が許容範囲内となる場合に、前記特定時刻での前記候補点に基づき前記移動物体を識別させることを、含む物体認識プログラム。
JP2021096063A 2021-06-08 2021-06-08 物体認識システム、物体認識方法、物体認識プログラム Active JP7444136B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021096063A JP7444136B2 (ja) 2021-06-08 2021-06-08 物体認識システム、物体認識方法、物体認識プログラム
PCT/JP2022/020385 WO2022259823A1 (ja) 2021-06-08 2022-05-16 物体認識システム、物体認識方法、物体認識プログラム
CN202280039970.5A CN117425924A (zh) 2021-06-08 2022-05-16 物体识别系统、物体识别方法、物体识别程序
US18/531,515 US20240119745A1 (en) 2021-06-08 2023-12-06 Object recognition system, object recognition method, and nontransitory computer-readable storage medium storing object recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021096063A JP7444136B2 (ja) 2021-06-08 2021-06-08 物体認識システム、物体認識方法、物体認識プログラム

Publications (3)

Publication Number Publication Date
JP2022187855A JP2022187855A (ja) 2022-12-20
JP2022187855A5 JP2022187855A5 (ja) 2023-06-02
JP7444136B2 true JP7444136B2 (ja) 2024-03-06

Family

ID=84424858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021096063A Active JP7444136B2 (ja) 2021-06-08 2021-06-08 物体認識システム、物体認識方法、物体認識プログラム

Country Status (4)

Country Link
US (1) US20240119745A1 (ja)
JP (1) JP7444136B2 (ja)
CN (1) CN117425924A (ja)
WO (1) WO2022259823A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007069726A1 (ja) 2005-12-16 2007-06-21 Ihi Corporation 自己位置同定方法と装置および三次元形状の計測方法と装置
JP2014178789A (ja) 2013-03-14 2014-09-25 Advanced Telecommunication Research Institute International 追跡装置、追跡プログラムおよび追跡方法
JP2018173707A (ja) 2017-03-31 2018-11-08 株式会社国際電気通信基礎技術研究所 人推定システムおよび推定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007069726A1 (ja) 2005-12-16 2007-06-21 Ihi Corporation 自己位置同定方法と装置および三次元形状の計測方法と装置
JP2014178789A (ja) 2013-03-14 2014-09-25 Advanced Telecommunication Research Institute International 追跡装置、追跡プログラムおよび追跡方法
JP2018173707A (ja) 2017-03-31 2018-11-08 株式会社国際電気通信基礎技術研究所 人推定システムおよび推定プログラム

Also Published As

Publication number Publication date
US20240119745A1 (en) 2024-04-11
WO2022259823A1 (ja) 2022-12-15
CN117425924A (zh) 2024-01-19
JP2022187855A (ja) 2022-12-20

Similar Documents

Publication Publication Date Title
US10732004B2 (en) Method and apparatus for displaying virtual route
US10748426B2 (en) Systems and methods for detection and presentation of occluded objects
EP3252657B1 (en) Information processing device and information processing method
CN110959143B (zh) 信息处理装置、信息处理方法、程序和移动体
CN116710977B (zh) 用于构建远程机器学习模型的数据的智能车载选择的自主车辆系统
US20210082143A1 (en) Information processing apparatus, information processing method, program, and mobile object
CN112506222A (zh) 一种无人机智能化避障方法及装置
CN108427438A (zh) 飞行环境检测方法、装置、电子设备及存储介质
JP2019045892A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US10766616B2 (en) Environment map automatic creation device
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN116420096A (zh) 用于标记lidar点云数据的方法和系统
JP6856750B2 (ja) 方法および装置
JP7444136B2 (ja) 物体認識システム、物体認識方法、物体認識プログラム
WO2020213275A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN116630931A (zh) 障碍物检测方法、系统、农业机械、电子设备和存储介质
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
US20230121905A1 (en) Information processing apparatus, information processing method, and program
JP7444141B2 (ja) 処理システム、処理装置、処理方法、処理プログラム
WO2023157394A1 (ja) 認識システム、認識装置、認識方法、認識プログラム
CN109901589B (zh) 移动机器人控制方法和装置
WO2023223659A1 (ja) 認識システム、認識装置、認識方法、認識プログラム、認識データ生成方法
JP2023118655A (ja) 認識システム、認識装置、認識方法、認識プログラム
JP2023171241A (ja) 認識システム、認識装置、認識方法、認識プログラム、認識データ生成方法
US20230234617A1 (en) Determining perceptual spatial relevancy of objects and road actors for automated driving

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R151 Written notification of patent or utility model registration

Ref document number: 7444136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151