JP7094411B1 - センサデータ処理システム - Google Patents

Abstract

【課題】物体の検知精度を維持しつつ、センサデータの処理負荷を低減できるセンサデータ処理システムを得る。【解決手段】推論装置１００と学習装置２００から構成され、推論装置１００は、センサ装置１１、１２から入力される点群を含むセンサデータをセンサデータ記憶部１０１で記憶するとともに、寄与度推測部１０２でこのセンサデータにおける点群の各点の物体検知への寄与度を推測し、低寄与点削除部１０３により、低寄与点を点群から削除した後、センサデータ処理部１０４で、センサフュージョンなどの処理を行って物体検知を行い、学習装置２００の寄与度学習部２０３が、推論装置１００から、センサデータとセンサデータ処理結果を取得して、その関連を学習して、寄与度推測部１０２による推測に使用される寄与度算出アルゴリズムを導出するようにした。【選択図】図１

Description

本願は、センサデータ処理システムに関するものである。

近年、物体を検知するセンサを利用して、車両、障害物を検知し、自動車の自動運転あるいは衝突低減機能に応用するシステムが多く提案されている。さらに、特定域内にセンサが内蔵された路側装置を設置して、自動車のセンサ死角を補う狭域自動運転システムも研究開発・実証実験が盛んに行われている。
このようなシステムで必要となる技術として、特許文献１には、複数の異種センサを統合して、各センサの観測値から実際の物体の形状、運動などを算出するセンサフュージョン技術が開示されている。さらに、昨今では、一定間隔ごとに光線を照射して、障害物の位置を座標点の集合（点群）で表すセンサが多く用いられている。

ＷＯ２０２０／００３７７６号公報（第１７～１８頁、第２図）

しかしながら、従来技術には、以下のような課題がある。
上述のようなシステムにあっては、特にセンサから出力される点群が膨大であり、処理を高速化することが困難である。
また、センサデータを自動運転に応用するシステムでは、リアルタイム性が求められることが多く、高速なハードウェア要件が求められるため、システムのコストが大きくなるという課題があった。
一方で、単純に一定のパターンで点群を削減すると、センサの精度劣化となり、物体の誤検知あるいは検知もれを誘発する恐れがあるため、上述のシステムのように、センサの精度劣化が致命的になる場合では、点群の削減が困難になるという課題もあった。

本願は、上記のような課題を解決するための技術を開示するものであり、物体の検知精度を維持しつつ、センサデータの処理負荷を低減できるセンサデータ処理システムを提供することを目的とする。

本願に開示されるセンサデータ処理システムは、センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、この処理装置の処理内容を学習する学習装置を備え、処理装置は、センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、この寄与度推測部により推測された寄与度が低い点を、センサデータから削除する低寄与点削除部と、この低寄与点削除部により削除されたセンサデータを処理して物体検知を行うセンサデータ処理部とを有し、学習装置は、センサ装置から入力されたセンサデータと物体検知との関連を、当該センサデータに対応するセンサデータ処理部による物体検知結果を用いて学習して、寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有するものである。

本願に開示されるセンサデータ処理システムによれば、物体の検知精度を維持しつつ、センサデータの処理負荷を低減することができる。

実施の形態１によるセンサデータ量削減システムの概略構成を示すブロック図である。 実施の形態１によるセンサデータ量削減システムの寄与度学習部を示す構成図である。 実施の形態１によるセンサデータ量削減システムの処理フローを示すタイミング図である。 実施の形態２によるセンサデータ量削減システムの概略構成を示すブロック図である。 実施の形態２によるセンサデータ量削減システムの全体構成の処理フローを示すタイミング図である。 実施の形態２によるセンサデータ量削減システムの別の概略構成を示すブロック図である。 実施の形態１、２による推論装置および学習装置のハードウェア構成を示す図である。

実施の形態１．
図１は、実施の形態１によるセンサデータ量削減システムの概略構成を示すブロック図である。
図１において、センサデータ量削減システム（センサデータ処理システム）は、推論装置１００（処理装置）と学習装置２００とを有する。推論装置１００と学習装置２００は、それぞれ同一の機器、またはサーバと路側装置などの分離した機器であってもよい。

推論装置１００は、次のように構成されている。
センサ装置１１は、ＬｉＤＡＲ（Ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）装置であり、点群を含むセンサデータを取得し、後述するセンサデータ記憶部１０１、寄与度推測部１０２に出力する。
センサ装置１２は、ミリ波レーダ、カメラなどの他のセンサ装置であり、点群を含むセンサデータを取得し、後述するセンサデータ記憶部１０１、寄与度推測部１０２に出力する。
センサデータ記憶部１０１は、各センサ装置１１、１２からの入力値を同期的に保存する。

寄与度推測部１０２は、あらかじめ、後述する寄与度学習部２０３から取得した寄与度算出アルゴリズム、または初期状態の寄与度算出アルゴリズムのどちらか１つを用いて、入力されたセンサデータの点群について、点ごとに寄与度を割り当てる。
低寄与点削除部１０３は、寄与度付きの点群を参照し、与えられた削除ポリシ１３に当てはまる条件の低寄与度をもつ点群の点を削除する。
センサデータ処理部１０４は、低寄与点削除部１０３により低寄与点が取り除かれた点群を入力として、センサフュージョンなどの任意の処理を行い、物体検知を行う。すなわち、センサデータ処理部１０４は、点群を処理し、その点群処理結果が、センサデータ処理結果１４であり、物体検知結果である。センサデータ処理部１０４のセンサデータ処理結果１４は、センサデータ記憶部１０１に、センサデータと対にして記憶されるようになっている。

学習装置２００は、寄与度学習部２０３を有する。
寄与度学習部２０３は、点群を含むセンサデータとセンサデータ処理結果から、各点の寄与度を算出する。ここで、寄与度は、点ごとに割り当てられ、点群処理結果（物体検知結果）に影響力が高い点ほど高い寄与度が設定される。
また、寄与度学習部２０３は、センサデータと、算出した各寄与度との関係から、その傾向を学習して、任意の点に対して、寄与度を算出するための寄与度算出アルゴリズムを導出する。

図２は、実施の形態１によるセンサデータ量削減システムの寄与度学習部を示す構成図である。
図２において、寄与度学習部２０３は、寄与度算出部２０４と学習部２０５とを有する。寄与度算出部２０４は、センサデータ処理結果１４と、点群を含むセンサデータ１５を、与えられた寄与式２２に入力して寄与度を得る。
学習部２０５は、点群とその各点の寄与度の間にある関係性を定式化し、点群を入力とした寄与度算出アルゴリズム２４を導出する。学習部２０５は、指定された任意の学習ポリシ（学習アルゴリズム）２３を用いて、寄与度算出アルゴリズム２４を導出する。
ここで、学習ポリシ２３は、ニューラルネットワーク、ロジスティック回帰のような、機械学習、あるいは、一定時間範囲で寄与度の低い点が多発する座標範囲を取得するなどの統計的な手法であってもよい。

図３は、実施の形態１によるセンサデータ量削減システムの処理フローを示すタイミング図である。
図３において、符号１１、１２、１００～１０４、２０３は図１におけるものと同一のものである。図３は、図１の各部による処理の流れを示している。

次に、実施の形態１によるセンサデータ量削減システムの動作について説明する。
学習装置２００の寄与度学習部２０３は、センサデータ（点群含む）とセンサデータ処理結果（点群処理結果）から、各点の寄与度を算出する。寄与度は、点群の点ごとに割り当てられ、点群処理結果に影響力が高い点ほど、高い寄与度が設定される。
そして、寄与度学習部２０３は、算出した各寄与度とセンサデータの関係から、任意の点に対して寄与度を算出する寄与度算出アルゴリズムを導出する。
推論装置１００では、現時刻にセンサ装置１１、１２から得た点群から、学習装置２００が導出した寄与度算出アルゴリズムを用いて、点群の各点の寄与度を算出し、一定の寄与度未満の点を削除する。削除後に残った点からなる点群を、センサデータ処理部１０４で処理する。
また、同時にセンサ装置１１、１２から得たセンサデータ（点群）を、センサデータ記憶部１０１が、センサデータ処理部１０４の処理結果と対にして保存する。

次に、実施の形態１によるセンサデータ量削減システムのより詳細な動作について、図３を用いて説明する。
まず、フローａで、センサ装置１１、１２から、点群を含むセンサデータが、センサデータ記憶部１０１、寄与度推測部１０２に入力される。
センサデータ記憶部１０１は、各センサ装置１１、１２からの入力値（センサデータ）を同期的に保存する。

次に、寄与度推測部１０２は、あらかじめ学習部２０５から取得した寄与度算出アルゴリズム、または初期状態の寄与度算出アルゴリズムのどちらか１つを用いて、入力された点群の各点に寄与度を割り当てる。そして、フローｂで、寄与度が割り当てられた点群を低寄与点削除部１０３に出力する。

低寄与点削除部１０３は、寄与度付きの点群を参照し、与えられた削除ポリシ１３に当てはまる条件の低寄与度をもつ点を点群から削除する。そして、フローｃで、削除後の点群をセンサデータ処理部１０４に出力する。

センサデータ処理部１０４は、低寄与点削除部１０３により低寄与点が取り除かれた点群を入力として、センサフュージョンなどの任意の処理を行う。
そして、フローｄで、センサデータ処理結果１４をセンサデータ記憶部１０１に出力し、センサデータ記憶部１０１で、センサデータ処理結果１４をセンサデータに対応付けて記憶させる。

次に、フローｅで、学習装置２００における寄与度学習部２０３が、推論装置１００とは非同期、かつ前回の読み込みから指定された時間が経過した場合、あるいは点群に前時間と比較して一定の差が観測された場合などに、推論装置１００のセンサデータ記憶部１０１に対して、点群を含むセンサデータを要求する。
センサデータ記憶部１０１は、フローｆで、寄与度学習部２０３からの要求をもとに、寄与度学習部２０３に対して、蓄積していたセンサデータとセンサデータ処理結果を送信する。

次に、寄与度学習部２０３は、受信したセンサデータとセンサデータ処理結果から、寄与度算出アルゴリズムを導出し、フローｇで、推論装置１００の寄与度推測部１０２に出力する。
推論装置１００の寄与度推測部１０２は、寄与度算出アルゴリズムを更新する。

実施の形態１によれば、センサデータ処理結果に対する寄与度の低い点のみを点群から取り除くことで、センサデータ処理の精度に及ぼす影響を低減しつつ、処理の高速化が得られる。

実施の形態２．
図４は、実施の形態２によるセンサデータ量削減システムの概略構成を示すブロック図である。
図４において、符号１１～１４、１００～１０４、２００、２０３は図１におけるものと同一のものである。図４では、学習装置２００に、センサデータ再生部２０１とセンサデータ処理部２０２（学習装置側センサデータ処理部）とを設けている
センサデータ再生部２０１は、推論装置１００のセンサデータ記憶部１０１から、点群（センサデータ）を読み込み、センサデータ処理部２０２に入力する。センサデータ処理部２０２は、推論装置１００のセンサデータ処理部１０４と同一の機能を持ち、推論装置１００と同一のセンサデータ処理結果２１を得る。得られたセンサデータ処理結果２１には、点群から算出された物体座標等が含まれている。

なお、センサデータ再生部２０１が、センサデータ記憶部１０１内に保存された点群（センサデータ）を読み込むタイミングは、前回の読み込みから指定された時間が経過した場合、あるいは点群に前時間と比較して一定の差が観測された場合などでもよい。

図５は、実施の形態２によるセンサデータ量削減システムの全体構成の処理フローを示すタイミング図である。
図５において、符号１１、１２、１００～１０４、２００、２０３は図１におけるものと、２０１、２０２は図４におけるものとそれぞれ同一のものである。図５は、推論装置１００と学習装置２００内の各部の処理の流れを示している。

図６は、実施の形態２によるセンサデータ量削減システムの別の概略構成を示すブロック図である。
図６において、符号１１～１４、２１、１００～１０４、２００～２０３は図４におけるものと同一のものである。図６では、センサデータ再生部２０１に教師データ２５が入力される。教師データ２５は、センサデータ記憶部１０１と同じく、各センサ装置１１、１２の出力データとセンサデータ処理結果が対になったものである。

次に、実施の形態２によるセンサデータ量削減システムの動作について説明する。
実施の形態２によるセンサデータ量削減システムでは、学習装置２００が推論装置１００のセンサデータ処理部１０４と同一機能のセンサデータ処理部２０２をもつ。
学習装置２００内で推論装置１００と同様のセンサデータ処理を行うことで、推論装置１００で観測されるセンサデータに依存することなく、学習装置２００内でセンサデータ処理結果を再現できるようになる。

次に、実施の形態２によるセンサデータ量削減システムのより詳細な動作について、図５を用いて説明する。
フローａ、ｂ、ｃまでの処理の流れは、図３におけるものと同じものであり、その説明を省略する。
センサデータ処理部１０４は、低寄与点削除部１０３が低寄与点を取り除いた点群（センサデータ）を入力として、センサフュージョンなどの任意の処理を行う。

次いで、学習装置２００におけるセンサデータ再生部２０１が、推論装置１００とは非同期、かつ前回の読み込みから指定された時間が経過した場合、あるいは点群に前時間と比較して一定の差が観測された場合などに、推論装置１００のセンサデータ記憶部１０１に対して、フローｈで、点群（センサデータ）を要求する。
センサデータ記憶部１０１は、フローｉで、この要求をもとに、センサデータ再生部２０１に対して、蓄積していたセンサデータを送信する。

このとき、図６に示すように、センサデータ再生部２０１は、センサデータ記憶部１０１に記憶されたセンサデータではなく、任意の教師データ２５を入力に用いてもよい。教師データ２５は、センサデータ記憶部１０１に記憶されたセンサデータと同じく、センサ装置１１、１２の出力データとセンサデータ処理結果が対になっており、推論装置１００で生成されるセンサデータ処理結果に依存しない学習が可能となる。

次に、センサデータ再生部２０１は、フローｊで、取得した点群をセンサデータ処理部２０２に送り、フローｋで、同じ点群を寄与度学習部２０３に送る。
センサデータ処理部２０２は、推論装置１００と同一のセンサデータを用いた処理を行い、処理結果を、フローｌで、寄与度学習部２０３に送る。

寄与度学習部２０３は、センサデータ再生部２０１とセンサデータ処理部２０２との出力値から、寄与度算出アルゴリズム２４を導出し、フローｍで、推論装置１００の寄与度推測部１０２における寄与度算出アルゴリズムの更新を行う。

実施の形態２によれば、学習装置２００内で推論装置１００と同様のセンサデータ処理を行うことで、推論装置１００で観測されるセンサデータに依存することなく、学習装置２００内でセンサデータ処理結果を再現することができる。

なお、推論装置１００および学習装置２００は、ハードウェアの一例を図７に示すように、プロセッサ１０００と記憶装置１００１から構成される。記憶装置は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１０００は、記憶装置１００１から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１０００にプログラムが入力される。また、プロセッサ１０００は、演算結果等のデータを記憶装置１００１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

本開示は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１１ センサ装置、１２ センサ装置、１３ 削除ポリシ、
１４ センサデータ処理結果、１５ センサデータ、２１ センサデータ処理結果、
２２ 寄与式、２３ 学習ポリシ、２４ 寄与度算出アルゴリズム、
２５ 教師データ、１００ 推論装置、１０１ センサデータ記憶部、
１０２ 寄与度推測部、１０３ 低寄与点削除部、１０４ センサデータ処理部、
２００ 学習装置、２０１ センサデータ再生部、２０２ センサデータ処理部、
２０３ 寄与度学習部、２０４ 寄与度算出部、２０５ 学習部、
１０００ プロセッサ、１００１ 記憶装置

Claims (6)

1. センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、
   この処理装置の処理内容を学習する学習装置を備え、
   上記処理装置は、
   上記センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、
   この寄与度推測部により推測された寄与度が低い点を、上記センサデータから削除する低寄与点削除部と、
   この低寄与点削除部により削除された上記センサデータを処理して物体検知を行うセンサデータ処理部とを有し、
   上記学習装置は、
   上記センサ装置から入力されたセンサデータと物体検知との関連を、当該センサデータに対応する上記センサデータ処理部による物体検知結果を用いて学習して、上記寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有することを特徴とするセンサデータ処理システム。
2. センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、
   この処理装置の処理内容を学習する学習装置を備え、
   上記処理装置は、
   上記センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、
   この寄与度推測部により推測された寄与度が低い点を、上記センサデータから削除する低寄与点削除部と、
   この低寄与点削除部により削除された上記センサデータを処理して物体検知を行うセンサデータ処理部とを有し、
   上記学習装置は、
   上記処理装置から取得したセンサデータを用いて、上記センサデータ処理部と同じ処理を行う学習装置側センサデータ処理部と、
   上記センサ装置から入力されたセンサデータと物体検知との関連を、当該センサデータに対応する上記学習装置側センサデータ処理部による物体検知結果を用いて学習して、上記寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有することを特徴とするセンサデータ処理システム。
3. センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、
   この処理装置の処理内容を学習する学習装置を備え、
   上記処理装置は、
   上記センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、
   この寄与度推測部により推測された寄与度が低い点を、上記センサデータから削除する低寄与点削除部と、
   この低寄与点削除部により削除された上記センサデータを処理して物体検知を行うセンサデータ処理部とを有し、
   上記学習装置は、
   上記センサ装置から入力されたセンサデータと物体検知との関連を、予め準備された、センサデータとこのセンサデータの物体検知結果とが対になった教師データを用いて学習して、上記寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有することを特徴とするセンサデータ処理システム。
4. 上記寄与度学習部は、上記センサ装置から入力されたセンサデータと、このセンサデータの物体検知結果との関連に基づき、上記点群の各点の寄与度を算出するとともに、算出した寄与度を用いて、上記点群の各点と、当該点の寄与度の傾向を学習して、寄与度算出アルゴリズムを導出するようにしたことを特徴とする請求項１から請求項３のいずれか一項に記載のセンサデータ処理システム。
5. 上記寄与度推測部は、上記寄与度学習部によって導出された寄与度算出アルゴリズムに基づき、上記点群の各点に対する寄与度を算出するようにしたことを特徴とする請求項１から請求項４のいずれか一項に記載のセンサデータ処理システム。
6. 上記低寄与点削除部は、上記寄与度推測部により推測された上記点群の点ごとの寄与度が、予め準備された削除ポリシに合致する場合に、当該点を削除するようにしたことを特徴とする請求項１から請求項５のいずれか一項に記載のセンサデータ処理システム。

Images