JP7056084B2 - Decoding device - Google Patents
Decoding device Download PDFInfo
- Publication number
- JP7056084B2 JP7056084B2 JP2017213341A JP2017213341A JP7056084B2 JP 7056084 B2 JP7056084 B2 JP 7056084B2 JP 2017213341 A JP2017213341 A JP 2017213341A JP 2017213341 A JP2017213341 A JP 2017213341A JP 7056084 B2 JP7056084 B2 JP 7056084B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- filter
- decoding
- vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本開示は、圧縮センシング技術を用いて符号化されたデータを復号する復号装置に関する。 The present disclosure relates to a decoding device that decodes data encoded by using compressed sensing technology.
近年、スパース性を持つデータに対して適用できる圧縮技術として、圧縮センシング技術が注目されている。例えば特許文献1には、圧縮センシング技術を用いて圧縮した車載カメラの撮像画像を車車間通信によって共有するシステムが開示されている。
In recent years, compressed sensing technology has been attracting attention as a compression technology that can be applied to data having sparsity. For example,
なお、圧縮センシングの技術分野で使用される公知の復号アルゴリズムとしては、Matching Pursuit(MP)や、Orthogonal Matching Pursuit(OMP)、Iterative Hard Thresholding(IHT)、Weak MP、LS-OMP、Basis Pursuit(BP)、Least Angle Regression(LARS)、Iterated-Reweighted-Least-Squares(IRLS)Approximate Message Passing(AMP)など、様々なアルゴリズムが提案されている。MPや、OMP、IHT、Weak MP、LS-OMPは貪欲法に該当する復号アルゴリズムである。BPや、IRLS、LARSはコスト関数を凸関数として近似する凸緩和法の一種である。 As known decoding algorithms used in the technical field of compressed sensing, Matching Pursuit (MP), Orthogonal Matching Pursuit (OMP), Iterative Hard Thresholding (IHT), Weak MP, LS-OMP, Basis Pursuit (BP) ), Least Angle Regression (LARS), Iterative-Reweighted-Least-Squares (IRLS) Approximate Message Passing (AMP), and various other algorithms have been proposed. MP, OMP, IHT, Weak MP, and LS-OMP are decoding algorithms corresponding to the greedy algorithm. BP, IRLS, and LARS are a kind of convex relaxation method that approximates the cost function as a convex function.
圧縮センシングにおける復号処理は、全ての組み合わせを試さないと最適解が得られない最適化問題に該当し、NP困難である。そこで、現実的な復号アルゴリズムとして、上述の通り、OMPやIHTなどが提案されている。しかしながら、これらのヒューリスティックな手法では、出力解に誤差が含まれることが想定される。そのため、圧縮センシング技術の分野で使用される復号装置としては、より精度良く元データを復元するための構成が求められている。 Decoding processing in compressed sensing corresponds to an optimization problem in which an optimum solution cannot be obtained unless all combinations are tried, and NP-hardness is difficult. Therefore, as a realistic decoding algorithm, OMP, IHT, and the like have been proposed as described above. However, in these heuristic methods, it is assumed that the output solution contains an error. Therefore, as a decoding device used in the field of compressed sensing technology, a configuration for restoring original data with higher accuracy is required.
本開示は、この事情に基づいて成されたものであり、その目的とするところは、圧縮センシングを用いて圧縮符号化されたデータをより精度良く復号する復号装置を提供することにある。 The present disclosure has been made based on this circumstance, and an object of the present invention is to provide a decoding device for more accurately decoding compression-encoded data using compressed sensing.
その目的を達成するための本開示に係る復号装置は、圧縮センシングを用いて圧縮されているデータである圧縮データを復号する復号装置であって、圧縮データは、時間的な連続性を有しつつ動的に変化する所定の状態量についての或る1時点における状態を示すデータである状態量データを所定の要素数を備える1つの列ベクトルに変換してなる圧縮前元データを、さらに、所定の圧縮行列で圧縮符号化してなるデータであり、圧縮データを他の装置から逐次受信する圧縮データ受信部(241)と、圧縮データ受信部が圧縮データを受信する度に、その受信した圧縮データに対して所定の復号アルゴリズムを実行することによって、要素数を備える復号データを生成する復号処理部(242)と、復号処理部が生成した復号データに基づいて状態量データを復元する復元部(243)と、過去一定時間以内に復元部が生成した複数の状態量データに基づいて、状態量の現在の状態を推定する推定部(246)と、要素数を備える1つの列ベクトルであって、分布推定部が推定した状態量の現在の状態に応じた位置に非零の要素を備えるフィルタベクトルを生成するフィルタ生成部(247)と、を備え、復号処理部は、フィルタ生成部がフィルタベクトルを生成可能である場合には、復号アルゴリズムとして、フィルタベクトルと圧縮データと圧縮行列とを用いて元データに相当する推定解を生成するとともに、推定解と元データとのずれ度合いを示す指標である残差を算出し、所定の終了条件を充足するまでフィルタベクトルと圧縮行列を用いて推定解を補正する処理を繰り返し実施するアルゴリズムを用いて復号データを生成するように構成されている。 The decoding device according to the present disclosure for achieving the object is a decoding device that decodes compressed data which is data compressed by using compression sensing, and the compressed data has temporal continuity. Further, the uncompressed original data obtained by converting the state quantity data, which is the data indicating the state of a predetermined state quantity that changes dynamically at a certain time point, into one column vector having a predetermined number of elements, is further added. The data is compressed and encoded by a predetermined compression matrix, and each time the compressed data receiving unit (241) that sequentially receives the compressed data from another device and the compressed data receiving unit receives the compressed data, the received compression is performed. A decoding processing unit (242) that generates decoded data having the number of elements by executing a predetermined decoding algorithm on the data, and a restoration unit that restores state quantity data based on the decoding data generated by the decoding processing unit. (243), an estimation unit (246) that estimates the current state of the state quantity based on a plurality of state quantity data generated by the restoration unit within a certain period of time in the past, and one column vector having the number of elements. A filter generation unit (247) that generates a filter vector having a non-zero element at a position corresponding to the current state of the state quantity estimated by the distribution estimation unit is provided, and the decoding processing unit is provided by the filter generation unit. When a filter vector can be generated, an estimated solution corresponding to the original data is generated using the filter vector, compressed data, and a compressed matrix as a decoding algorithm, and the degree of deviation between the estimated solution and the original data is shown. It is configured to generate decoded data using an algorithm that repeatedly calculates the residual, which is an index, and corrects the estimated solution using a filter vector and a compression matrix until a predetermined end condition is satisfied. ..
以上の構成が備える復号処理部は、フィルタ生成部がフィルタベクトルを生成できている場合には、フィルタ生成部が生成したフィルタベクトルを用いて圧縮データの復号を実施する。ここで用いられるフィルタベクトルは、分布推定部が推定した状態量の現在の状態に応じた位置に非零の要素を備えるベクトルである。このようなフィルタベクトルは、別の観点によれば、受信した圧縮データの圧縮前のデータにおいて非零要素の位置を推定した結果を示すベクトルに相当する。 When the filter generation unit can generate the filter vector, the decoding processing unit provided with the above configuration decodes the compressed data using the filter vector generated by the filter generation unit. The filter vector used here is a vector having a non-zero element at a position corresponding to the current state of the state quantity estimated by the distribution estimation unit. From another point of view, such a filter vector corresponds to a vector showing the result of estimating the position of the non-zero element in the uncompressed data of the received compressed data.
つまり、上記の構成は、受信した圧縮データの圧縮前のデータにおいて非零要素の位置を推定した結果を用いて、圧縮データの復号を行う構成に相当する。また、圧縮前のデータにおいて非零要素の位置を推定した結果を用いて復号を行う構成によれば、受信した圧縮データの圧縮前のデータにおいて非零要素が配置されている位置についての情報を何も用いずに復号する構成に比べて、復号精度が高まることが期待できる。故に、上記の構成によれば、圧縮センシングを用いて圧縮符号化されたデータをより精度良く復号することが可能となる。なお、フィルタ生成部がフィルタベクトルを生成できている場合とは、過去一定時間以内に復元部が生成した状態量データが少なくとも1つ存在する場合に相当する。フィルタベクトルの生成には、過去一定時間以内に復元部が生成した複数の状態量データが少なくとも1つは必要であるためである。 That is, the above configuration corresponds to a configuration in which the compressed data is decoded using the result of estimating the position of the non-zero element in the data before compression of the received compressed data. Further, according to the configuration in which decoding is performed using the result of estimating the position of the non-zero element in the data before compression, the information about the position where the non-zero element is arranged in the data before compression of the received compressed data can be obtained. It can be expected that the decoding accuracy will be higher than the configuration in which decoding is performed without using anything. Therefore, according to the above configuration, it is possible to more accurately decode the compressed coded data by using compressed sensing. The case where the filter generation unit can generate the filter vector corresponds to the case where at least one state quantity data generated by the restoration unit exists within the past fixed time. This is because the generation of the filter vector requires at least one of a plurality of state quantity data generated by the restoration unit within a certain period of time in the past.
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 The reference numerals in parentheses described in the claims indicate, as one embodiment, the correspondence with the specific means described in the embodiments described later, and limit the technical scope of the present disclosure. is not.
以下、本開示の実施形態について図を用いて説明する。図1は、本開示に係る通信システムの概略的な構成の一例を示す図である。図1に示すように通信システムは、車両Maに搭載されている送信側システム1と、車両Mbに搭載されている受信側システム2を備えている。便宜上、送信側システム1を搭載している車両Maを送信車両Maとも記載する。また、受信側システム2を搭載している車両Mbを受信車両Mbとも記載する。送信車両Maと受信車両Mbとを区別しない場合には車両と記載する。なお、図1では便宜上、送信側システム1を1つしか図示していないが、複数存在しうる。これに伴い送信車両Maは複数存在しうる。受信側システム2及び受信車両Mbも同様に、それぞれ複数存在しうる。送信側システム1が受信側システム2にとっての他の装置に相当する。
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. FIG. 1 is a diagram showing an example of a schematic configuration of a communication system according to the present disclosure. As shown in FIG. 1, the communication system includes a transmitting
受信車両Mbは、道路上を走行する車両である。受信車両Mbは、四輪自動車のほか、二輪自動車、三輪自動車等であってもよい。二輪自動車には原動機付き自転車も含まれる。本実施形態では一例として受信車両Mbは、四輪自動車とする。送信車両Maも受信車両Mbと同様に道路上を走行する車両であって、その具体的な種別は限定されない。一例として送信車両Maも四輪自動車とする。 The receiving vehicle Mb is a vehicle traveling on the road. The receiving vehicle Mb may be a two-wheeled vehicle, a three-wheeled vehicle, or the like, in addition to the four-wheeled vehicle. Motorcycles also include motorized bicycles. In the present embodiment, as an example, the receiving vehicle Mb is a four-wheeled vehicle. The transmitting vehicle Ma is also a vehicle traveling on the road like the receiving vehicle Mb, and the specific type thereof is not limited. As an example, the transmitting vehicle Ma is also a four-wheeled vehicle.
送信側システム1と受信側システム2は、所定の周波数帯の電波を用いて狭域通信可能に構成されている。ここでの狭域通信とは、広域通信網を介さない、直接的な無線通信である。狭域通信に用いられる周波数帯は、たとえば、760MHz帯である。その他、2.4GHz、5.9GHz帯などを用いることもできる。狭域通信を実現するための周波数、変調方式等を規定する規格は、任意の規格を採用する事ができる。
The transmitting
ここでは一例として、送信側システム1及び受信側システム2は何れも車両に搭載されていることを踏まえ、狭域通信は、IEEE1609等にて開示されているWAVE(Wireless Access in Vehicular Environment)の規格に準拠している実施されるものとする。なお、WAVEは車両同士の直接的な無線通信(いわゆる車車間通信)についての規格である。送信側システム1と受信側システム2との無線通信は、別の観点によれば、車車間通信に相当する。
Here, as an example, based on the fact that both the transmitting
複数の車両のそれぞれは、狭域通信としての車車間通信によって、現在位置や、走行速度、進行方向などの車両情報を示す通信パケット(以降、車両情報パケット)を逐次同報送信するとともに、他車両から送信された車両情報パケットを逐次受信する。車両情報パケットには、車両情報のほかに、当該通信パケットの送信時刻や、送信元情報などの情報を含む。送信元情報とは、送信元に相当する車両に割り当てられている識別番号(いわゆる車両ID)である。 Each of the plurality of vehicles sequentially broadcasts communication packets (hereinafter referred to as vehicle information packets) indicating vehicle information such as the current position, traveling speed, and traveling direction by vehicle-to-vehicle communication as narrow area communication, and others. The vehicle information packet transmitted from the vehicle is sequentially received. In addition to vehicle information, the vehicle information packet includes information such as the transmission time of the communication packet and source information. The source information is an identification number (so-called vehicle ID) assigned to the vehicle corresponding to the source.
また、送信側システム1と受信側システム2は、狭域通信としての車車間通信によって送信車両Ma(換言すれば送信側システム1)周辺に存在する車両や歩行者、落下物等の物体の位置をグリッドマップ形式で表した周辺物体データを共有するように構成されている。周辺物体データは、換言すれば、送信車両Ma周辺の交通状況や走行環境を示すデータである。交通状況は時間的な連続性を有しつつ動的に変化する。つまり、送信側システム1周辺の交通状況は、時間的な連続性を有しつつ動的に変化する状態量に相当する。また、送信側システム1の走行環境(落下物や構造物との位置関係など)は送信車両Maの移動に伴って連続性を有しつつ動的に変化する状態量に相当する。故に、周辺物体データは状態量データに相当する。なお、ここでの送信車両Maの周辺とは、送信車両Maの現在位置を基準として定まる所定範囲に相当する。
Further, the transmitting
<送信側システム1の構成について>
送信側システム1は、図2に示すように、狭域通信モジュール11、周辺監視センサ12、グリッドマップ生成部13、及び圧縮処理部14を備える。狭域通信モジュール11は前述の狭域通信を実施するための通信モジュールである。狭域通信モジュール11は、圧縮処理部14と通信可能に接続されている。また、狭域通信モジュール11は、グリッドマップ生成部13とも通信可能に接続されている。狭域通信モジュール11は、圧縮処理部14等から入力されたデータを変調し、図示しないアンテナを介して無線送信する。また、狭域通信モジュール11は、他車両から送信される車両情報パケットを受信すると、当該車両情報パケットに示されるデータ(以降、他車両データ)をグリッドマップ生成部13に提供する。
<About the configuration of the transmitting
As shown in FIG. 2, the transmitting
周辺監視センサ12は、送信車両Maの周辺に存在する物体を検出するセンサである。周辺監視センサ12は、例えば、送信車両Ma周囲の所定範囲を撮像する周辺監視カメラ、送信車両Ma周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、LIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として出力するデバイスである。ソナー、ミリ波レーダ、LIDAR等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号yに基づく走査結果をセンシング情報として出力するセンサである。周辺監視センサ12が出力するセンシング情報は、グリッドマップ生成部13に入力される。
The
グリッドマップ生成部13は、周辺監視センサ12が出力するセンシング情報に基づいて、送信側システム1の周辺に存在する物体の位置を逐次特定する。本実施形態のグリッドマップ生成部13は、より好ましい態様として、狭域通信モジュール11から提供される他車両データも用いて、送信側システム1の周辺に存在する物体の位置を特定する。そして、図3の(B)に示すように、送信側システム1周辺に存在する物体の位置をグリッドマップ形式で表したデータ(つまり周辺物体データ)を生成する。ここでの物体には車両の他、歩行者も含まれる。周辺物体データは、換言すれば車両が走行可能な空間を示すデータとして機能しうる。
The grid
周辺物体データは、送信側システム1を基準として定まる所定範囲を、複数のセルに分割して、各セルに物体が存在するか否かを、数値や、色、ハッチングパターンなどによって表現したデータである。図3の(A)は、推定解と圧縮前元データとのずれ度合いを示す送信側システム1の周辺の交通状況を俯瞰的に示す概念図であり、図3の(B)は、図3の(A)に例示する交通状況に対応する周辺物体データである。ハッチングを施しているセルが、物体が存在するセル(以降、占有セル)を表している。ハッチングを施していないセルは、物体が存在しないセル(以降、空白セル)を表している。図3の(B)では、物体が存在するか否かをハッチングの有無によって表現している。
Peripheral object data is data that divides a predetermined range determined with reference to the
周辺物体データとしてのグリッドマップを構成する行の数や、列の数、セルの総数(以降、セル総数)Nは、グリッドマップが表現する範囲の大きさ等に応じて適宜設計されれば良い。ここでは一例としてグリッドマップは、6行、10列のセルで構成されているものとする。つまり、セル総数Nは6×10=60である。グリッドマップが表す実空間の大きさは送信車両Maの周辺と見なす範囲に応じて、適宜設計されればよい。 The number of rows, the number of columns, and the total number of cells (hereinafter referred to as the total number of cells) N constituting the grid map as peripheral object data may be appropriately designed according to the size of the range represented by the grid map and the like. .. Here, as an example, it is assumed that the grid map is composed of cells having 6 rows and 10 columns. That is, the total number of cells N is 6 × 10 = 60. The size of the real space represented by the grid map may be appropriately designed according to the range regarded as the periphery of the transmitting vehicle Ma.
単位セルが表現する実空間の大きさもまた適宜設計されば良い。ここでは一例として1つのセルは2メートル四方の実空間に対応するものとする。本実施形態のグリッドマップは車幅方向に6行、車両前後方向に10列備える構成であるため、当該グリッドマップは、実空間において車幅方向に12m、車両前後方向に20mの矩形範囲内に存在する物体の位置を示すデータとして機能する。 The size of the real space represented by the unit cell may also be appropriately designed. Here, as an example, one cell corresponds to a real space of 2 meters square. Since the grid map of the present embodiment has 6 rows in the vehicle width direction and 10 columns in the vehicle front-rear direction, the grid map is within a rectangular range of 12 m in the vehicle width direction and 20 m in the vehicle front-rear direction in the real space. It functions as data indicating the position of an existing object.
なお、ここでは説明の簡単化のために、周辺物体データは、各セルに物体が存在するか否かの2状態を表すデータするものとするがこれに限らない。他の態様として、周辺物体データは各セルに物体が存在する確率を表すものとしてもよい。その場合、各セルには、物体が存在する確率を示す数値(例えば0.5などの小数)が挿入されればよい。 Here, for the sake of simplification of the explanation, the peripheral object data shall be data representing two states of whether or not an object exists in each cell, but the data is not limited to this. In another aspect, the peripheral object data may represent the probability that an object exists in each cell. In that case, a numerical value (for example, a decimal number such as 0.5) indicating the probability that the object exists may be inserted into each cell.
また、周辺物体データとしてのグリッドマップは、例えば図4に示すように行列で表現されてもよい。周辺物体データとしての行列は、グリッドマップの各セルに対応する要素を備える。周辺物体データとしての行列において、空白セルに対応する要素の値は0に設定され、占有セルに対応する要素は非零の値(ここでは1)に設定される。つまり、図4に示す行列において非零の値が設定されている要素は、図3の(B)に示すグリッドマップにおいてハッチングが施されているセルである占有セルと対応している。 Further, the grid map as peripheral object data may be represented by a matrix as shown in FIG. 4, for example. The matrix as peripheral object data includes elements corresponding to each cell of the grid map. In the matrix as peripheral object data, the value of the element corresponding to the blank cell is set to 0, and the element corresponding to the occupied cell is set to a non-zero value (here, 1). That is, the element in which the non-zero value is set in the matrix shown in FIG. 4 corresponds to the occupied cell which is the hatched cell in the grid map shown in FIG. 3 (B).
グリッドマップ生成部13が生成した周辺物体データとしてのグリッドマップは、圧縮処理部14に提供される。なおグリッドマップ生成部13は、送信側システム1周辺に存在する物体の位置を特定し、周辺物体データとしてのグリッドマップを生成する処理を所定の生成間隔で逐次実施する。生成間隔は、送信側システム1周辺の交通状況が大きくは変化しない程度の値に設定されていればよい。例えば生成間隔は、100ミリ秒や、200ミリ秒、500ミリ秒、1秒、2秒など、3秒以内の値に設定されていることが好ましい。ここでは一例として生成間隔は250ミリ秒に設定されているものとする。なお、生成間隔はグリッドマップが表現する実空間の大きさ等に応じて適宜設計されれば良い。
The grid map as peripheral object data generated by the grid
圧縮処理部14は、所定の圧縮行列(いわゆる観測行列)を用い、周辺物体データとしてのグリッドマップを圧縮符号化したデータである圧縮データを生成する。具体的には次の通りである。圧縮処理部14は、周辺物体データとしてのグリッドマップを、セル総数Nと同等の要素数(換言すれば次元数)を備える1つの列ベクトルxに変換する。グリッドマップから列ベクトルへの変換は、グリッドマップを構成する列ベクトルを列番号順に連結させることで実現すればよい。もちろん、他の態様として、列ベクトルxは、グリッドマップを構成する行ベクトルを行番号順に連結させてなるN次元の行ベクトルを転置することで生成してもよい。
The
つまり、圧縮処理部14は、周辺物体データとしてのグリッドマップをN次元ベクトルxに変換する。このN次元のベクトルx自体も、物体の分布を示すデータであって、圧縮センシングにおける元データに相当する。周辺物体データとしてのグリッドマップを変換してなるN次元のベクトルxが圧縮前元データに相当する。そして、圧縮処理部14は、当該N次元ベクトルxを、所定の圧縮行列を用いて線形変換したM次元(M<N)のベクトルyを生成する。圧縮行列Aは、M×N行列であり、M次元ベクトルyが圧縮データに相当する。圧縮データは、周辺物体データとしてのグリッドマップを所定の圧縮行列Aを用いて線形変換したものに相当する。圧縮処理部14は、生成した圧縮データを狭域通信モジュール11に出力する。これにより、圧縮データは生成間隔に応じた周期で同報送信される。
That is, the
なお、圧縮データは、圧縮前の周辺物体データが備える非零要素数kを示す情報を付加された状態で送信されてもよい。そのような態様によれば受信側システム2は受信したデータの非零要素数kを特定することができる。そのような事情を鑑み、本実施形態ではより好ましい態様として、送信データとしての圧縮データには、圧縮前の周辺物体データが備える非零要素数kを示す情報を付加されているものとする。もちろん、送信データとしての圧縮データは、非零要素数kを示す情報を備えていなくともよい。
The compressed data may be transmitted with information indicating the number of non-zero elements k included in the peripheral object data before compression added. According to such an aspect, the receiving
グリッドマップ生成部13及び圧縮処理部14のそれぞれは、図示しないCPUが所定のソフトウェアを実行することによって実現される機能ブロックとして送信側システム1に備えられている。なお、グリッドマップ生成部13や圧縮処理部14は、ハードウェアとして実現されていても良い。ハードウェアとして実現されている態様には1つ又は複数のICを用いて実現されている態様も含まれる。
Each of the grid
<受信側システム2の構成について>
次に図5を用いて受信側システム2の構成について説明する。受信側システム2は図5に示すように、狭域通信モジュール21、地図データ記憶部22、ロケータ23、復号装置24、及びグリッドマップ記憶部25を備える。狭域通信モジュール21は、前述の狭域通信を実施するための通信モジュールである。狭域通信モジュール21は、復号装置24と通信可能に接続されている。狭域通信モジュール21は、送信側システム1から逐次送信される圧縮データを受信すると、当該圧縮データを復号装置24に提供する。なお、狭域通信モジュール21は、他車両から送信される車両情報パケットを受信した場合には、当該車両情報パケットに示されるデータ(以降、他車両データ)を、復号装置24や、受信車両Mbに搭載されている所定のECU(Electronic Control Unit)に提供する。
<About the configuration of the receiving
Next, the configuration of the receiving
地図データ記憶部22は、道路の接続関係等を示す地図データを記憶している不揮発性メモリである。地図データは、例えば、複数の道路が交差、合流、分岐する地点(以降、ノード)に関するノードデータと、その地点間を結ぶ道路(以降、リンク)に関するリンクデータを有する。リンクデータは、リンクの始端と終端とのノード座標(緯度/経度)の他、リンクの長さや幅、車線数、道路種別などを備えるデータである。なお、地図データは、道路形状及び構造物の特徴点の点群からなる三次元地図を含む構成であってもよい。また、受信側システム2は、外部のサーバ等から地図データを取得するように構成されていてもよい。
The map
ロケータ23は、受信車両Mbの現在位置を算出する装置である。ロケータ23は、例えばGNSS(Global Navigation Satellite System)受信機、慣性センサを備えている。GNSS受信機は、複数の人工衛星からの測位信号を受信する。慣性センサは、例えばジャイロセンサ及び加速度センサを備える。ロケータ23は、GNSS受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、受信車両Mbの現在位置を逐次測位する。なお、ロケータ23は、車速センサから逐次出力される車速情報や走行距離等を相補的に測位に用いるように構成されていてもよい。ロケータ23の測位結果は復号装置24に提供される。
The
復号装置24は、狭域通信モジュール21が受信した圧縮データに対して、所定の復号アルゴリズムを実行することで復号データを生成する構成である。復号データとは、圧縮データとしてのM次元ベクトルを、N次元のベクトルに復号(換言すれば復元)したデータである。復号データは、N次元のベクトルxとして表現される元データと同様に、間接的に送信車両Maの周辺における物体の分布を示す。
The
復号装置24はCPUやRAM、フラッシュメモリ等を備えるコンピュータを用いて実現されている。復号装置24はより細かい機能として圧縮データ受信部241、復号処理部242、グリッドマップ復元部243、保存処理部244、物体追跡部245、分布推定部246、及びフィルタ生成部247を備える。復号装置24が備える各機能は、図示しないCPUが所定のソフトウェアを実行することによって実現されている。なお、復号装置24が備える機能の一部又は全部は、ハードウェアとして実現されていても良い。ハードウェアとして実現されている態様には1つ又は複数のICを用いて実現されている態様も含まれる。
The
圧縮データ受信部241は、狭域通信モジュール21が受信した圧縮データを取得する構成である。なお、ここでの圧縮データは、前述の通り、送信車両Maの周辺における物体の分布を示すN次元ベクトルを、圧縮行列Aで圧縮符号化してなるM次元ベクトルyである。
The compressed
復号処理部242は所定の復号アルゴリズムを用いて、圧縮データの復号を行う構成である。この復号処理部242の作動の詳細については別途後述する。復号処理部242は、所定の復号アルゴリズムを実行することで、受信データとしてのM次元ベクトルから、元データの推定解に相当するN次元ベクトルzを生成する。このN次元ベクトルzは受信した圧縮データについての復号データに相当する。復号処理部242が生成した復号データとしてのN次元ベクトルzはグリッドマップ復元部243に提供される。
The
グリッドマップ復元部243は、N次元ベクトルzをグリッドマップに変換する。これにより、送信側システム1が生成した周辺物体データとしてのグリッドマップが復元される。なお、N次元の列ベクトルzからグリッドマップへの変換(換言すれば復元)は、グリッドマップからN次元の列ベクトルへの変換と逆の手順によって実施されれば良い。グリッドマップ復元部243が復元部に相当する。
The grid
保存処理部244は、グリッドマップ復元部243が生成したグリッドマップを、当該グリッドマップ(実際にはその圧縮データ)の送信元を示す情報(つまり送信元情報)や受信時刻情報と対応付けてグリッドマップ記憶部25に保存する構成である。
The
物体追跡部245は、受信したグリッドマップに示されている物体毎に、固有の物体番号を付与するとともに、周知の物体追跡手法を援用して同一の物体を追跡する。なお、受信したグリッドマップとは、グリッドマップ復元部243及び復号処理部242が連携(換言すれば協働)して、圧縮データ受信部241が受信した圧縮データから再生したグリッドマップのことを指す。
The
図6は当該物体追跡部245の作動を概念的に示した図である。図中のIDは、物体番号を表している。このように物体番号を用いて各物体を識別するとともに、前回受信したグリッドマップと新たに受信したグリッドマップに示されている物体を対応づける。そして、複数の連続するフレーム間における同一の物体の位置の変化度合いから、その物体の相対的な移動方向や移動速度を特定する。物体毎の移動方向や移動速度は、物体番号と対応付けて保持されれば良い。
FIG. 6 is a diagram conceptually showing the operation of the
分布推定部246は、過去一定時間以内にグリッドマップ復元部243が生成した同一の送信車両Maからの複数のグリッドマップに基づいて、その送信車両Maの周辺に存在する物体の現在位置を推定する。分布推定部246が推定部に相当する。
The
例えば分布推定部246は図7に示すように、物体番号001が割り当てられている物体がグリッドマップを受信する度に紙面右側に1セルずつ動いている場合には、現在位置は、前回受信したグリッドマップに示されている位置よりも右側に1セル移動した位置であると推定する。なお、或る物体がグリッドマップを受信する度に紙面右側に2セルずつ動いている場合には、現在位置は、前回受信したグリッドマップに示されている位置よりも右側に2セル移動した位置であると推定する。図中のtは前回のグリッドマップの受信時刻を表しており、t-1は前々回のグリッドマップの受信時刻を表している。図7においてt+1は現在時刻を表している。
For example, as shown in FIG. 7, when the object to which the
分布推定部246は上述した現在位置の推定処理を、物体毎に実施することによって、送信車両Maの周辺所定の範囲内に存在する物体の現在位置を推定する。各物体の現在位置は、物体追跡部245によって特定されている移動方向及び移動速度に基づいて推定することができる。
The
そして、分布推定部246は、送信車両Maの周辺に相当する所定範囲に物体が存在する確率を表すグリッドマップ(以降、占有確率マップ)を生成する。占有確率マップは、送信車両Maで生成されるグリッドマップと同数の行、列を備える。つまり、占有確率マップの構成自体は、送信車両Maで生成されるグリッドマップと同様とする。故に、占有確率マップが備えるセルの数もN=60である。
Then, the
占有確率マップを構成する各セルには、そのセルに物体が存在する確率(つまり占有確率)を表す数値が挿入されている。占有確率が0に設定されているセルは、当該セルには物体が存在しないと推定していることを意味する。占有確率マップにおいて、受信済みのグリッドマップに基づいて推定した各物体の現在位置に対応するセルは、非零の要素となっている。 In each cell constituting the occupancy probability map, a numerical value indicating the probability that an object exists in the cell (that is, the occupancy probability) is inserted. A cell whose occupancy probability is set to 0 means that it is estimated that there is no object in the cell. In the occupancy probability map, the cell corresponding to the current position of each object estimated based on the received grid map is a non-zero element.
或るセルの占有確率は、当該セルに物体が存在する確率である存在確率に相当する。分布推定部246は、追跡できている物体のそれぞれに対して現在位置を推定し、それぞれの物体についてのセル毎の存在確率を算出する。或るセルにおける或る1つの物体の存在確率とは、当該物体が当該セルに存在する確率である。或る物体についてのセルごとの存在確率は、当該物体の現在位置等に応じて定まる。物体のセル毎の存在確率は、検出(換言すれば追跡)している物体の進行方向に位置するセルほど高い値に設定することが好ましい。
The occupancy probability of a cell corresponds to the existence probability, which is the probability that an object exists in the cell. The
例えば、図7に示す物体番号001の物体は、紙面右方向に移動しているため、推定した現在位置の上下方向に隣接するセルよりも左右方向に隣接するセルのほうを高い値に設定する。図8は、図7に示す推定結果に対応する占有確率マップを、便宜上、行列形式で表したものである。図8中の破線は、分布推定部246が推定した物体番号001の物体の現在位置を表している。
For example, since the object with the
また、物体番号001の物体は紙面右側に進行していることを踏まえ、図7に示す推定結果に対応する占有確率マップは、図9に示すように、推定した現在位置の左側に隣接するセルよりも、右側に隣接するセルの方が高い値となるように設定してもよい。本実施形態ではこのように物体の移動方向を考慮して当該物体のセル毎の存在確率を算出する。
Further, considering that the object with the
さらに、物体のセル毎の存在確率は、物体の移動速度が大きいほど、移動方向に沿って広範囲に分布させて設定することが好ましい。例えば物体としての物体番号001の物体は、図7では1セルずつ右側に移動しているものとしたが、仮に2セルずつ右側に移動している場合には、図10に示すように推定される現在位置から右側2セルまで占有確率として非零の値を設定する。
Further, it is preferable that the existence probability of each cell of the object is set by distributing it over a wide range along the moving direction as the moving speed of the object increases. For example, the object with the
分布推定部246は、以上の規則によって算出した各物体についてのセル毎の存在確率を足し合わせることで、セルごとの占有確率を示す占有確率マップを生成する。複数の物体についての存在確率が互いに重なるセルには、それぞれの物体の存在確率の和を当該セルの占有確率として設定すればよい。つまり、分布推定部246は、各物体の現在位置に応じたセル毎の存在確率を算出することによって占有確率マップを生成する。占有確率マップは、受信信号yの元データとしてのグリッドマップにおいて各セルが占有セルとなっている確率を示すデータに相当する。
The
フィルタ生成部247は、分布推定部246が生成した占有確率マップをN次元の列ベクトルに変換したフィルタベクトルFを生成する。占有確率マップ自体が、送信車両Ma周辺における地点毎(具体的にはセル毎)の物体の存在確率を表すデータであるため、このフィルタベクトルFもまた、送信車両Maの周辺領域に該当する地点毎の物体の存在確率を示す。フィルタベクトルFは、送信車両Maの周辺における物体の分布に応じた位置に非零の要素を備える。
The
なお、受信信号yに対応する元データとしてのベクトルxは、送信車両Ma周辺に存在する物体の分布を示すデータであり、且つ、フィルタベクトルFは、送信車両Maの周辺領域に該当する地点毎の物体の存在確率を示すデータである。そして、フィルタベクトルFとベクトルxが備える各要素が実空間において示す地点は互いに対応する。 The vector x as the original data corresponding to the received signal y is data indicating the distribution of objects existing around the transmitting vehicle Ma, and the filter vector F is for each point corresponding to the peripheral region of the transmitting vehicle Ma. It is the data which shows the existence probability of the object of. Then, the points indicated by the elements of the filter vector F and the vector x in the real space correspond to each other.
つまり、フィルタベクトルFは、別の観点によれば、受信信号yの元信号としてのベクトルxにおいて非零要素の位置を推定した結果を示すベクトルに相当する。フィルタベクトルFが備える要素毎の数値は、その要素が元信号としてのベクトルxにおいて非零の値が設定されている確率に相当する。フィルタ生成部247が生成するフィルタベクトルFは、復号処理部242によって使用される。
That is, according to another viewpoint, the filter vector F corresponds to a vector showing the result of estimating the position of the non-zero element in the vector x as the original signal of the received signal y. The numerical value for each element included in the filter vector F corresponds to the probability that the element has a non-zero value set in the vector x as the original signal. The filter vector F generated by the
グリッドマップ記憶部25は、他車両としての送信車両Maから受信した周辺物体データとしてのグリッドマップを記憶する。グリッドマップ記憶部25は、RAMやフラッシュメモリなどの書き換え可能な記憶媒体を用いて実現されている。グリッドマップは、当該圧縮データの送信元を示す情報(つまり送信元情報)や受信時刻情報と対応付けられて保存される。グリッドマップは、受信時刻から少なくとも所定時間保存され、その後、随時削除される。保存期間は例えば30秒や1分などである。
The grid
<復号処理>
次に図11に示すフローチャートを用いて、復号装置24が実施する復元処理について説明する。復元処理は、圧縮データ受信部241が取得した圧縮データからグリッドマップを復元するための処理である。復元処理は図6に示すように、ステップS101~ステップS107を備える。復元処理は、例えば圧縮データ受信部241が狭域通信モジュール21から圧縮データを受信したことをトリガとして開始されればよい。
<Decryption process>
Next, the restoration process performed by the
まずステップS101では、今回受信した圧縮データの送信元と同一の送信車両Maから受信したグリッドマップであって、且つ、受信時刻が現在から所定の抽出条件時間以内となっているグリッドマップが2個以上グリッドマップ記憶部25に保存されているか否かを判定する。抽出条件時間は、送信車両Maでのグリッドマップの生成間隔に応じて適宜設計されればよく、ここでは生成間隔の4倍の値、つまり2秒に設定されているものとする。このステップS101は、分布推定部246が受信済みのグリッドマップに基づいて送信車両Maの周辺に存在する物体の現在位置を推定可能であるか否か、換言すればフィルタベクトルFを生成可能であるか否かを判定する処理に相当する。
First, in step S101, there are two grid maps received from the same transmission vehicle Ma as the source of the compressed data received this time, and the reception time is within a predetermined extraction condition time from the present. It is determined whether or not the data is stored in the grid
ステップS101で、今回受信した圧縮データ(つまり受信信号y)の送信元と同一の送信車両Maから受信したグリッドマップであって、且つ、受信時刻が現在から抽出条件時間以内となっているグリッドマップが2つ以上存在する場合にはステップS103を実行する。一方、今回受信した圧縮データの送信元と同一の送信車両Maから受信したグリッドマップであって、且つ、受信時刻が現在から抽出条件時間以内となっているグリッドマップが0個又は1個である場合にはステップS102を実行する。 In step S101, the grid map received from the same transmitting vehicle Ma as the source of the compressed data (that is, the received signal y) received this time, and the reception time is within the extraction condition time from the present. If two or more are present, step S103 is executed. On the other hand, there are 0 or 1 grid maps received from the same transmission vehicle Ma as the source of the compressed data received this time, and the reception time is within the extraction condition time from the present. In that case, step S102 is executed.
なお、本実施形態では物体の移動方向や移動速度を用いて占有確率マップ(ひいてはフィルタベクトルF)を生成するために、現時点から抽出条件時間以内に受信したグリッドマップが2つ以上存在することを、占有確率マップを生成するための条件とするが、これに限らない。移動速度や移動方向を考慮せずに占有確率マップを生成する場合には、今回受信した圧縮データの送信元と同一の送信車両Maからのグリッドマップを、現時点から抽出条件時間以内に少なくとも1つ受信できていればよい。つまりステップS101では、今回受信した圧縮データの送信元と同一の送信車両Maから受信したグリッドマップであって、且つ、受信時刻が現在から抽出条件時間以内となっているグリッドマップが1個以上グリッドマップ記憶部25に保存されているか否かを判定するように構成されていてもよい。
In this embodiment, in order to generate an occupancy probability map (and thus a filter vector F) using the moving direction and moving speed of the object, it is required that there are two or more grid maps received within the extraction condition time from the present time. , It is a condition for generating an occupancy probability map, but it is not limited to this. When generating the occupancy probability map without considering the movement speed and the movement direction, at least one grid map from the same transmission vehicle Ma as the source of the compressed data received this time is within the extraction condition time from the present time. It suffices if it can be received. That is, in step S101, one or more grid maps are grid maps received from the same transmission vehicle Ma as the source of the compressed data received this time, and the reception time is within the extraction condition time from the present. It may be configured to determine whether or not it is stored in the
ステップS102では復号処理部242が、圧縮センシングの技術分野において公知となっている所定の復号アルゴリズムを用いて、受信信号yとしての圧縮データを復号する。圧縮センシングの技術分野で使用される公知の復号アルゴリズムとしては、Matching Pursuit(MP)や、Iterative Hard Thresholding(IHT)、Orthogonal MP(いわゆるOMP)、Weak MP、LS-OMP、Basis Pursuit(BP)、Iterated-Reweighted-Least-Squares(IRLS)、Least Angle Regression(LARS)、Approximate Message Passing(AMP)などがある。なお、MPや、IHT、OMP、Weak MP、LS-OMPは貪欲法に該当する復号アルゴリズムである。BPや、IRLS、LARSはコスト関数を凸関数として近似する凸緩和法の一種である。
In step S102, the
ここでは一例として復号処理部242は、OMPを用いて受信信号yを復号する。OMPは、概略的には、圧縮行列Aが備えるN個の列ベクトルai(i=1、2,…,N)のうち、受信信号yに基づいて定まる残差rと相関が強いk個(kは自然数)の列ベクトルを用いて、元データとしてのベクトルx(つまり元データ)を復元する手法である。
Here, as an example, the
図12はOMPのアルゴリズムをまとめたものであって具体的な手順は図12に示す通りである。図12に示す通りOMPは処理1~処理4を備える。処理1は、元データにおいて非零の値が設定されている要素の番号の集合であるサポート集合Sを更新する処理である。処理1では圧縮行列Aにおいて残差rと最も相関の高い(内積の絶対値が大きい)の列ベクトルaiを特定し、当該列ベクトルaiの添字iをサポート集合Sに追加する。なお、処理1においてサポート集合Sに追加する見かけ上の変数はjとなっているが、変数jは上記条件を充足する添字iに設定されている。そのため、処理1は、実体的には上記条件を充足する列ベクトルaiの添字iをサポート集合Sに追加する処理となっている。なお、iやjは、1からNまでの整数に設定される変数である。
FIG. 12 summarizes the OMP algorithm, and the specific procedure is as shown in FIG. As shown in FIG. 12, the OMP includes
処理2は、サポート集合S内での最良解を算出する処理である。処理3は、処理2で算出した推定解が提供する残差を算出する処理であり、処理4は処理3の結果が終了条件を充足しているか否かを判定する処理である。なお、終了条件は適宜設計されれば良い。ここでは残差rが近似閾値ε未満となった場合、又は、繰り返し回数pが繰り返し上限値qを超過した場合には繰り返しの処理を終了するように設定されているものとする。近似閾値εや、繰り返し上限値qの具体的な値は適宜設計されれば良い。
OMPにおける残差rとは、受信信号yから、暫定的な推定解を圧縮行列Aで圧縮変換してなる信号(具体的にはM次元の列ベクトル)を引いた結果である。残差rは、推定解と元データとのずれ度合いを示す指標として機能するパラメータである。圧縮行列Aにおいて受信信号yに基づいて定まる残差rと相関の強い列ベクトルとは、残差rとの内積の絶対値が大きい列ベクトルである。つまり、OMPは、残差rとの内積の絶対値が大きい列から順にサポートとして採用していく方法である。非零要素数kは圧縮データに付加されているものを用いれば良い。また、非零要素数kは予め設定されている値としてもよい。ステップS102での演算処理が完了すると、ステップS106を実行する。 The residual r in the OMP is the result of subtracting a signal (specifically, an M-dimensional column vector) obtained by compressing and converting a provisional estimated solution with a compression matrix A from the received signal y. The residual r is a parameter that functions as an index indicating the degree of deviation between the estimated solution and the original data. In the compression matrix A, the column vector having a strong correlation with the residual r determined based on the received signal y is a column vector having a large absolute value of the inner product with the residual r. That is, OMP is a method of adopting as a support in order from the column having the largest absolute value of the inner product with the residual r. As the number of non-zero elements k, the one added to the compressed data may be used. Further, the number of non-zero elements k may be a preset value. When the arithmetic processing in step S102 is completed, step S106 is executed.
なお、本実施形態では一例として、受信済みのグリッドマップに基づいて送信車両Maの周辺に存在する物体の現在位置を推定できない場合にはOMPを用いて圧縮データを復号するものとするが、これに限らない。受信済みのグリッドマップに基づいて送信車両Maの周辺に存在する物体の現在位置を推定できない場合に用いる公知の復号アルゴリズム(以降、代替アルゴリズム)は、OMP以外のアルゴリズムも採用可能である。例えば代替アルゴリズムは、IHTであってもよい。また、代替アルゴリズムはBPなどであってもよい。公知となっている種々の復号アルゴリズムを採用することができる。 In this embodiment, as an example, when the current position of an object existing around the transmitting vehicle Ma cannot be estimated based on the received grid map, the compressed data is decoded using OMP. Not limited to. As a known decoding algorithm (hereinafter referred to as an alternative algorithm) used when the current position of an object existing around the transmitting vehicle Ma cannot be estimated based on the received grid map, an algorithm other than OMP can also be adopted. For example, the alternative algorithm may be IHT. Further, the alternative algorithm may be BP or the like. Various known decoding algorithms can be adopted.
IHTは、概略的には、仮の復号データである推定解に対して残差rを算出し、当該残差rによって推定解を補正する処理を反復することで、最終的な解(つまり復号データ)を得るアルゴリズムである。なお、IHTでは推定解の補正のフェーズにおいて、元データの非零要素数kを既知として、推定解がk-スパースであることを保つために、補正された推定解の要素の絶対値の大きいk個以外は0に設定する。残差rは、圧縮データとしての受信信号yから、圧縮行列を用いて推定解を線形変換した信号を減算したベクトルである。 Generally, the IHT calculates a residual r for an estimated solution that is tentatively decoded data, and repeats a process of correcting the estimated solution by the residual r to obtain a final solution (that is, decoding). It is an algorithm to obtain data). In IHT, in the phase of correction of the estimated solution, the absolute value of the elements of the corrected estimated solution is large in order to keep the estimated solution k-sparse, assuming that the number of non-zero elements k of the original data is known. Set to 0 except for k. The residual r is a vector obtained by subtracting a signal obtained by linearly transforming an estimated solution using a compression matrix from a received signal y as compressed data.
ステップS103では分布推定部246が、過去一定時間以内に受信した送信車両Maからの複数のグリッドマップに基づいて、送信車両Maの周辺に該当する地点毎の物体の存在確率を示す占有確率マップを生成する。ステップS103での処理が完了するとステップS104を実行する。
In step S103, the
ステップS104ではフィルタ生成部247が、分布推定部246が生成した占有確率マップに基づいて、送信車両Maの周辺に該当する地点毎の物体の存在確率を示すフィルタベクトルFを生成する。ステップS104での処理が完了するとステップS105が実行される。
In step S104, the
ステップS105では復号処理部242が、提案手法として図13に示すアルゴリズムを用いて、受信信号yとしての圧縮データを復号する。本実施形態における提案手法としてのアルゴリズムは、OMPをベースとする新規のアルゴリズムであって、便宜上、フィルタ併用OMPと称する。図13はフィルタ併用OMPをまとめたものであって具体的な手順は図13に示す通りである。図13に示す通りフィルタ併用OMPは、処理1~処理4を備える。処理1は、サポート集合Sを更新する処理であって、圧縮行列Aにおいて、残差rとの内積にフィルタベクトルFのi番目の要素の値fiを乗じた値が最大となる列ベクトルaiの添字iをサポート集合Sに追加する。処理2~4は図12に示すOMPの処理2~4と同様である。
In step S105, the
つまり、フィルタ併用OMPと従来のOMPとの相違点は、処理1でのサポート集合の選定(更新)にフィルタベクトルFによる重み付けを導入している点にあって、次の通りである。OMPでは、圧縮行列Aにおいて残差rと最も相関の高い(内積の絶対値が大きい)の列ベクトルaiの添字iをサポート集合Sに追加する。対して、提案手法では、圧縮行列Aにおいて、残差rとの内積にフィルタベクトルFのi番目の要素の値fiを乗じた値が最大となる列ベクトルaiの添字iをサポート集合Sに追加する。
That is, the difference between the OMP with a filter and the conventional OMP is that the weighting by the filter vector F is introduced in the selection (update) of the support set in the
このような構成によれば、圧縮行列Aにおいて元信号としてのベクトルxと相関が薄い列ベクトルの添字iがサポートとして選択される恐れを低減することができる。つまり、元データとしてのベクトルxと相関が薄い列ベクトル成分を推定解の最適化の過程から除外できる可能性が高まる。その結果、推定誤差を抑制できる。 According to such a configuration, it is possible to reduce the possibility that the subscript i of the column vector having a weak correlation with the vector x as the original signal is selected as the support in the compression matrix A. That is, there is a high possibility that the column vector component having a weak correlation with the vector x as the original data can be excluded from the process of optimizing the estimated solution. As a result, the estimation error can be suppressed.
ステップS106ではグリッドマップ復元部243が、以上の処理で得られた復号データとしてのN次元ベクトルzをグリッドマップに変換し、ステップS107では保存処理部244が、ステップS106で生成したグリッドマップを、送信元情報や受信時刻情報と対応付けてグリッドマップ記憶部25に保存し、本フローを終了する。
In step S106, the grid
なお、本実施形態で取り扱う周辺物体データとしてのグリッドマップは時間軸上において空間的相関が高い。本開示は、送受信するデータの時空間的な相関性に着眼してなるものであって、送受信するデータの時空間的な相関性を利用して定まるフィルタベクトルFを利用することで復号精度を高める。さらに、本実施形態では、物体の移動特徴量(例えば移動速度や移動方向)をフィルタベクトルFに織り込むことで、より精度の高い復号が可能になる。 The grid map as peripheral object data handled in this embodiment has a high spatial correlation on the time axis. The present disclosure focuses on the spatiotemporal correlation of the data to be transmitted and received, and the decoding accuracy is improved by using the filter vector F determined by utilizing the spatiotemporal correlation of the data to be transmitted and received. Increase. Further, in the present embodiment, by incorporating the moving feature amount of the object (for example, the moving speed and the moving direction) into the filter vector F, more accurate decoding becomes possible.
ところで、本実施形態では一例として、フィルタベクトルFと圧縮行列を用いて推定解を補正するアルゴリズムとして、フィルタ併用OMPを用いるものとするが、これに限らない。フィルタベクトルFは種々の復号アルゴリズムに適用可能であって、その復号精度や最適解への収束速度の向上に寄与する。例えばフィルタベクトルFによる重み付けを用いたサポート集合Sの更新方法は、OMPの基礎となるアルゴリズムであるMPにも適用可能である。MPをベースとする他のアルゴリズム(例えばWeak MP、LS-OMPなど)にも適用可能である。 By the way, in the present embodiment, as an example, the filter combined OMP is used as an algorithm for correcting the estimated solution by using the filter vector F and the compression matrix, but the present invention is not limited to this. The filter vector F can be applied to various decoding algorithms and contributes to the improvement of the decoding accuracy and the convergence speed to the optimum solution. For example, the method of updating the support set S using the weighting by the filter vector F is also applicable to MP, which is the algorithm underlying OMP. It can also be applied to other MP-based algorithms (eg Weak MP, LS-OMP, etc.).
さらに、フィルタベクトルFを用いた推定解の更新はIHTにも適用可能である。図14は、第2の提案手法として、IHTでの推定解の更新にフィルタベクトルFによる重み付け処理を適用したアルゴリズム(以降、フィルタ併用IHT)を表している。フィルタ併用IHTは、図14に示すように処理1~5を備える。処理1は、基本更新ベクトルvを算出する処理である。基本更新ベクトルは、残差rを圧縮行列Aの転置行列で線形写像したベクトルである。処理2は、処理1で生成した基本更新ベクトルvをフィルタベクトルFで重み付けを行い、重み付け更新ベクトルcを生成する。処理3では、処理2で生成した重み付け更新ベクトルを用いて推定解を更新する。処理4は残差rを算出する処理である。処理5は終了条件が充足されたか否かを判定する処理である。
Furthermore, updating the estimated solution using the filter vector F is also applicable to IHT. FIG. 14 shows, as the second proposed method, an algorithm (hereinafter, filter-combined IHT) in which weighting processing by the filter vector F is applied to the update of the estimated solution in the IHT. The filter combined IHT includes
提案手法としてのフィルタ併用IHTと通常のIHTとの相違点は次の通りである。通常のIHTでは、図14中で定義されている基本更新ベクトルvを推定解に加算してなるベクトルが備える要素のうち、絶対値の大きいk個以外の要素を0に設定する処理を繰り返すことで、推定解を更新していく。対して、第2の提案手法では、処理2として定義しているように、基本更新ベクトルvが備える各要素と、フィルタベクトルFが備える各要素を乗じてなるベクトルを推定解に加算し、その加算後のベクトルが備える要素のうち、絶対値の大きいk個以外の要素を0に設定する処理を繰り返すことで、推定解を更新していく。このような態様によっても前述のフィルタ併用OMPと同様の効果を奏する。フィルタ併用OMPやフィルタ併用IHTなど、フィルタベクトルFと圧縮行列Aを用いて推定解を更新する処理を繰り返し実施するアルゴリズムがフィルタ併用アルゴリズムに相当する。
The differences between the IHT with a filter as the proposed method and the normal IHT are as follows. In a normal IHT, among the elements included in the vector obtained by adding the basic update vector v defined in FIG. 14 to the estimated solution, the process of setting the elements other than k having a large absolute value to 0 is repeated. So, I will update the estimated solution. On the other hand, in the second proposed method, as defined as
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。 Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and various modifications described below are also included in the technical scope of the present disclosure, and other than the following. Can be changed and implemented within the range that does not deviate from the gist. For example, the following various modifications can be appropriately combined and carried out within a range that does not cause a technical contradiction.
なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。 The members having the same functions as those described in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted. Further, when only a part of the configuration is referred to, the configuration of the embodiment described above can be applied to the other parts.
[変形例1]
上述した提案手法において、繰り返し回数pが所定のフィルタ解除閾値を超えた場合には、その時点での推定解を用いて(換言すれば初期解として)通常のOMPや通常のIHTでの復号を継続するように制御しても良い。つまり、ステップS105では、繰り返し回数pがフィルタ解除閾値を超過するまでは提案手法(例えばフィルタ併用OMPや、フィルタ併用IHT)で推定解を算出する一方、繰り返し回数pがフィルタ解除閾値を超過した以降においてはその時点での推定解を引き継いで通常のOMP等での推定解の算出を継続する。このような構成は、提案手法と従来手法を組み合わせて復号する構成に相当する。
[Modification 1]
In the proposed method described above, when the number of repetitions p exceeds a predetermined filter release threshold value, decoding with a normal OMP or a normal IHT is performed using the estimated solution at that time (in other words, as an initial solution). It may be controlled to continue. That is, in step S105, the estimated solution is calculated by the proposed method (for example, OMP with a filter or IHT with a filter) until the number of repetitions p exceeds the filter cancellation threshold value, while the number of repetitions p exceeds the filter cancellation threshold value. In, the estimated solution at that time is taken over and the calculation of the estimated solution by ordinary OMP or the like is continued. Such a configuration corresponds to a configuration in which the proposed method and the conventional method are combined for decoding.
変形例1の作用及び効果は次の通りである。提案手法はフィルタベクトルFを用いることで、最適解への収束を促す一方、これまで検出されていなかった新規の物体の存在を排除する方向にも作用しうる。そのような課題に対して本変形例の構成によれば、これまで検出されていなかった新規の物体の登場にも柔軟に対応可能となる。つまり、上述した実施形態で述べた効果と、新規に検出された物体への対応の柔軟性とを両立させることができる。
The actions and effects of
なお、これまで検出されていなかった新規の物体とは、保存済みのグリッドマップで表現されていない物体であって、例えばグリッドマップが表す実空間に進入した物体や、追跡中(換言すれば検出済み)の物体から分離した物体である。追跡中の物体から分離した物体とは、追跡中の物体としての車両からの落下物や、降車した人物などである。 The new object that has not been detected so far is an object that is not represented by the saved grid map, for example, an object that has entered the real space represented by the grid map, or is being tracked (in other words, detected). It is an object separated from the object (already done). The object separated from the object being tracked is an object falling from the vehicle as an object being tracked, a person who got off the vehicle, or the like.
上記の構成において適用されるフィルタ解除閾値は、繰り返し上限値qよりも小さい範囲において適宜設計されれば良い。例えばフィルタ解除閾値は繰り返し上限値qの2分の1や、3分の1、4分の1などの値に設定されれば良い。フィルタ解除閾値は、過剰なフィルタ効果を抑制するために、受信したグリッドマップの非零要素数kに応じて動的に設定してもよい。例えば非零要素数kが小さいほど、フィルタ解除閾値も小さい値に設定する。 The filter release threshold applied in the above configuration may be appropriately designed in a range smaller than the repeat upper limit value q. For example, the filter release threshold value may be set to a value such as one-half, one-third, one-fourth of the repetition upper limit value q. The filter release threshold value may be dynamically set according to the number of non-zero elements k of the received grid map in order to suppress an excessive filter effect. For example, the smaller the number of non-zero elements k, the smaller the filter release threshold value is set.
[その他の変形例]
・周辺物体データを配信する装置は、道路上/道路沿いに設置された装置(いわゆる路側機)であってもよい。その場合、路側機が生成した周辺移動体データ(厳密にはその圧縮データ)は、路車間通信によって受信側システム2に提供されれば良い。
・以上の復号処理では複数の復号アルゴリズムを順番に実施する態様を開示したがこれに限らない。複数の復号アルゴリズムを並列的に実施してもよい。また、複数の復号アルゴリズムを並列的に実施し、多数決によって誤りを検出してもよい。
・1つの車両に受信側システム2と送信側システム1とが搭載されていてもよい。そのような構成は別の観点によれば、復号装置24を備える受信側システム2が送信側システム1の機能も備える構成に相当する。
・以上では送信側システム1の周辺に存在する移動体の位置を示すデータを圧縮符号化して送信する態様を開示したが、圧縮符号化するデータはこれに限らない。温度の分布や降雨量の分布を示すグリッドマップなど、時間的な連続性を有しつつ動的に変化する所定の状態量について或る1時点でのデータに対して、上記の構成を適用することができる。
・受信側システム2は、車両に搭載されている必要はなく、路側機に構築されていてもよい。また、受信側システム2は、スマートフォンやウェアラブルデバイスなどの携帯端末であってもよい。
・圧縮データの送受信は、例えばWi-Fi(登録商標)(IEEE802.11a/b/g/n/p)やBluetooth(登録商標)といった公知の近距離無線通信規格に準拠して実施されても良い。また、圧縮データの送受信は広域通信網を介して実施されても良い。
[Other variants]
-The device that distributes peripheral object data may be a device installed on / along the road (so-called roadside machine). In that case, the peripheral mobile object data (strictly speaking, the compressed data thereof) generated by the roadside machine may be provided to the receiving
-In the above decoding process, the embodiment in which a plurality of decoding algorithms are executed in order is disclosed, but the present invention is not limited to this. A plurality of decoding algorithms may be executed in parallel. Further, a plurality of decoding algorithms may be executed in parallel, and an error may be detected by a majority vote.
-The
In the above, the aspect of compressing and encoding the data indicating the position of the moving body existing around the transmitting
-The
-Even if the transmission and reception of compressed data is performed in accordance with known short-range wireless communication standards such as Wi-Fi (registered trademark) (IEEE802.11a / b / g / n / p) and Bluetooth (registered trademark). good. Further, transmission / reception of compressed data may be performed via a wide area communication network.
1 送信側システム、2 受信側システム、11 狭域通信モジュール、12 周辺監視センサ、13 元データ生成部、14 圧縮処理部、21 狭域通信モジュール、22 地図データ記憶部、23 ロケータ、24 復号装置、25 グリッドマップ記憶部、241 圧縮データ受信部、242 復号処理部、243 グリッドマップ復元部(復元部)、244 保存処理部、245 物体追跡部、246 分布推定部(推定部)、247 フィルタ生成部 1 Transmitter system, 2 Receiver system, 11 Narrow area communication module, 12 Peripheral monitoring sensor, 13 Original data generation unit, 14 Compression processing unit, 21 Narrow area communication module, 22 Map data storage unit, 23 Locator, 24 Decoding device , 25 Grid map storage unit, 241 Compressed data reception unit, 242 Decoding processing unit, 243 Grid map restoration unit (restoration unit), 244 Storage processing unit, 245 Object tracking unit, 246 Distribution estimation unit (estimation unit), 247 Filter generation Department
Claims (6)
前記圧縮データは、時間的な連続性を有しつつ動的に変化する所定の状態量についての或る1時点における状態を示すデータである状態量データを所定の要素数を備える1つの列ベクトルに変換してなる圧縮前元データを、さらに、所定の圧縮行列で圧縮符号化してなるデータであり、
前記圧縮データを他の装置から逐次受信する圧縮データ受信部(241)と、
前記圧縮データ受信部が前記圧縮データを受信する度に、その受信した前記圧縮データに対して所定の復号アルゴリズムを実行することによって、前記要素数を備える復号データを生成する復号処理部(242)と、
前記復号処理部が生成した前記復号データに基づいて前記状態量データを復元する復元部(243)と、
過去一定時間以内に前記復元部が生成した複数の前記状態量データに基づいて、前記状態量の現在の状態を推定する推定部(246)と、
前記要素数を備える1つの列ベクトルであって、前記推定部が推定した前記状態量の現在の状態に応じた位置に非零の要素を備えるフィルタベクトルを生成するフィルタ生成部(247)と、を備え、
前記復号処理部は、前記フィルタ生成部が前記フィルタベクトルを生成可能である場合には、前記復号アルゴリズムとして、前記フィルタベクトルと前記圧縮データと前記圧縮行列とを用いて前記圧縮前元データに相当する推定解を生成するとともに、前記推定解と前記圧縮前元データとのずれ度合いを示す指標である残差を算出し、所定の終了条件を充足するまで前記フィルタベクトルと前記圧縮行列を用いて前記推定解を補正する処理を繰り返し実施するアルゴリズムを用いて前記復号データを生成するように構成されている復号装置。 A decoding device that decodes compressed data, which is compressed data using compressed sensing.
The compressed data is a single column vector having a predetermined number of elements of state quantity data, which is data indicating a state at a certain time point for a predetermined state quantity that dynamically changes while having temporal continuity. The original data before compression, which is converted to, is further compressed and encoded by a predetermined compression matrix.
A compressed data receiving unit (241) that sequentially receives the compressed data from another device, and
Decoding processing unit (242) that generates decoding data having the number of elements by executing a predetermined decoding algorithm for the received compressed data each time the compressed data receiving unit receives the compressed data. When,
A restoration unit (243) that restores the state quantity data based on the decoding data generated by the decoding processing unit, and
An estimation unit (246) that estimates the current state of the state quantity based on a plurality of state quantity data generated by the restoration unit within a certain period of time in the past.
A filter generation unit (247) that generates a filter vector having a non-zero element at a position corresponding to the current state of the state quantity estimated by the estimation unit, which is one column vector having the number of elements. Equipped with
When the filter generation unit can generate the filter vector, the decoding processing unit corresponds to the pre-compression original data using the filter vector, the compression data, and the compression matrix as the decoding algorithm. The estimated solution is generated, the residual, which is an index indicating the degree of deviation between the estimated solution and the original data before compression, is calculated, and the filter vector and the compression matrix are used until a predetermined end condition is satisfied. A decoding device configured to generate the decoded data using an algorithm that repeatedly performs a process of correcting the estimated solution.
前記状態量データは、前記他の装置の現在位置に応じて定まる所定範囲内の各地点における物体の有無又は物体の存在確率をグリッドマップ形式で表す周辺物体データであって、
前記復号処理部は、前記復号データを前記周辺物体データに変換し、
前記推定部は、過去一定時間以内に前記復元部が生成した複数の前記周辺物体データに基づいて、前記所定範囲内における前記物体の分布を推定し、
前記フィルタ生成部は、前記フィルタベクトルとして、前記推定部が推定した前記物体の分布に応じた位置に非零の要素を備えるベクトルを生成するように構成されている復号装置。 The decoding device according to claim 1.
The state quantity data is peripheral object data representing the presence or absence of an object or the existence probability of an object at each point within a predetermined range determined according to the current position of the other device in a grid map format.
The decoding processing unit converts the decoded data into the peripheral object data, and then converts the decoded data into the peripheral object data.
The estimation unit estimates the distribution of the object within the predetermined range based on the plurality of peripheral object data generated by the restoration unit within a certain period of time in the past.
The filter generation unit is a decoding device configured to generate a vector having a non-zero element at a position corresponding to the distribution of the object estimated by the estimation unit as the filter vector.
前記推定部は、過去一定時間以内に前記復元部が生成した複数の前記周辺物体データに基づいて、前記周辺物体データに示されている物体毎の移動方向を特定し、その特定した移動方向に基づいて、前記所定範囲内における前記物体毎の現在位置を推定するように構成されている復号装置。 The decoding device according to claim 2.
The estimation unit identifies the movement direction of each object shown in the peripheral object data based on the plurality of peripheral object data generated by the restoration unit within a certain period of time in the past, and determines the movement direction of each object in the specified movement direction. Based on this, a decoding device configured to estimate the current position of each object within the predetermined range.
前記推定部は、過去一定時間以内に前記復元部が生成した複数の前記周辺物体データに基づいて、前記周辺物体データに示されている物体毎の移動速度を特定し、前記物体毎の移動方向及び移動速度に基づいて、前記所定範囲内における前記物体毎の現在位置を推定するように構成されている復号装置。 The decoding device according to claim 3.
The estimation unit specifies the moving speed of each object shown in the peripheral object data based on a plurality of peripheral object data generated by the restoration unit within a certain period of time in the past, and the moving direction of each object. And a decoding device configured to estimate the current position of each object within the predetermined range based on the moving speed.
前記復号処理部は、
前記フィルタ生成部が前記フィルタベクトルを生成可能ではない場合には、前記圧縮センシングで使用されるOrthogonal Matching Pursuit(OMP)、Matching Pursuit(MP)、及びIterative Hard Thresholding(IHT)の何れかを用いて前記復号データを生成する一方、
前記フィルタ生成部が前記フィルタベクトルを生成可能である場合には、前記圧縮行列において、下記の式を満たす整数jを、前記圧縮前元データにおいて非零の値が設定されている要素の番号の集合であるサポート集合に追加することによって、前記推定解を生成するとともに、前記推定解と前記圧縮前元データとのずれ度合いを示す指標である残差を算出し、所定の終了条件を充足するまで前記フィルタベクトルと前記圧縮行列を用いて前記推定解を補正する処理を繰り返し実施するフィルタ併用アルゴリズムを用いて前記復号データを生成するように構成されている復号装置。
The decoding processing unit is
If the filter generator is not capable of generating the filter vector, it may use any of the Orthogonal Matching Pursuit (OMP), Matching Pursuit (MP), and Iterative Hard Thresholding (IHT) used in the compressed sensing. While generating the decoded data,
When the filter generation unit can generate the filter vector, the integer j satisfying the following equation in the compression matrix is the number of the element in which the non-zero value is set in the original data before compression. By adding to the support set, which is a set, the estimated solution is generated, and the residual, which is an index indicating the degree of deviation between the estimated solution and the original data before compression, is calculated, and a predetermined end condition is satisfied. A decoding device configured to generate the decoding data by using a filter combined algorithm that repeatedly performs a process of correcting the estimated solution using the filter vector and the compression matrix.
前記復号処理部は、前記フィルタ生成部が前記フィルタベクトルを生成可能である場合であって、且つ、前記フィルタ併用アルゴリズムにおいて前記処理の繰り返し回数が所定のフィルタ解除閾値を超えた場合には、その時点で得られている前記推定解を初期解として前記OMP、前記MP、及び前記IHTの何れかを用いて前記復号データを生成するように構成されている復号装置。 The decoding device according to claim 5.
When the filter generation unit can generate the filter vector and the number of repetitions of the processing exceeds a predetermined filter release threshold value in the filter combined algorithm, the decoding processing unit includes the case. A decoding device configured to generate the decoding data using any of the OMP, the MP, and the IHT with the estimated solution obtained at a time point as an initial solution.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017213341A JP7056084B2 (en) | 2017-11-03 | 2017-11-03 | Decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017213341A JP7056084B2 (en) | 2017-11-03 | 2017-11-03 | Decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019087829A JP2019087829A (en) | 2019-06-06 |
JP7056084B2 true JP7056084B2 (en) | 2022-04-19 |
Family
ID=66763443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017213341A Active JP7056084B2 (en) | 2017-11-03 | 2017-11-03 | Decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7056084B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1321178A3 (en) * | 2001-12-07 | 2005-01-05 | Kolon Industries, Inc. | A braid-reinforced hollow fiber membrane |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7333063B2 (en) | 2019-11-22 | 2023-08-24 | 国立大学法人信州大学 | Sensing data compression device, sensing data restoration device, sensing data transmission device, sensing data compression program, sensing data restoration program, and sensing data transmission program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048711A (en) | 2002-05-22 | 2004-02-12 | Matsushita Electric Ind Co Ltd | Method for coding and decoding moving picture and data recording medium |
JP2015050659A (en) | 2013-09-02 | 2015-03-16 | 日本電信電話株式会社 | Signal processing system and signal processing method |
JP2015220687A (en) | 2014-05-20 | 2015-12-07 | 日本電気株式会社 | Signal processing system, restoration device, compression device, signal processing method, decompression method, and computer program |
JP2016115143A (en) | 2014-12-15 | 2016-06-23 | 株式会社デンソー | Track determination method, track setting device, and automatic operation system |
-
2017
- 2017-11-03 JP JP2017213341A patent/JP7056084B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048711A (en) | 2002-05-22 | 2004-02-12 | Matsushita Electric Ind Co Ltd | Method for coding and decoding moving picture and data recording medium |
JP2015050659A (en) | 2013-09-02 | 2015-03-16 | 日本電信電話株式会社 | Signal processing system and signal processing method |
JP2015220687A (en) | 2014-05-20 | 2015-12-07 | 日本電気株式会社 | Signal processing system, restoration device, compression device, signal processing method, decompression method, and computer program |
JP2016115143A (en) | 2014-12-15 | 2016-06-23 | 株式会社デンソー | Track determination method, track setting device, and automatic operation system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1321178A3 (en) * | 2001-12-07 | 2005-01-05 | Kolon Industries, Inc. | A braid-reinforced hollow fiber membrane |
Also Published As
Publication number | Publication date |
---|---|
JP2019087829A (en) | 2019-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11214268B2 (en) | Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles | |
CN108574929B (en) | Method and apparatus for networked scene rendering and enhancement in an onboard environment in an autonomous driving system | |
JP6832370B2 (en) | Vehicle positioning technology | |
CN110291788B (en) | Image processing apparatus and image processing method | |
US11760386B2 (en) | Systems and methods for vehicle-to-vehicle communications for improved autonomous vehicle operations | |
US20200370890A1 (en) | Systems and methods for increasing the accuracy of vehicle positioning | |
US10732598B2 (en) | Method for the transformation of position information into a local coordinates system | |
JP7056084B2 (en) | Decoding device | |
US20170162048A1 (en) | Collision determination apparatus, pseudo range information transmitting apparatus | |
JP6977470B2 (en) | Decoding device | |
CN111751859B (en) | Method, device and system for matching positioning information of positioning terminal with map | |
US20130103302A1 (en) | Electronic map creation process | |
US11880428B2 (en) | Methods and systems for updating perception models based on geolocation features | |
US20230306729A1 (en) | Device and method for decision support of an artificial cognitive system | |
EP4325446A1 (en) | Method and system for in-vehicle self-supervised training of perception functions for an automated driving system | |
EP4307250A1 (en) | Method and system for in-vehicle self-supervised training of perception functions for an automated driving system | |
EP4138048A1 (en) | Training of 3d lane detection models for automotive applications | |
Mekala et al. | Object-aware Multi-criteria Decision-Making Approach using the Heuristic data-driven Theory for Intelligent Transportation Systems | |
JP2022552690A (en) | A method for providing object messages regarding objects detected in the vicinity of a road user in a communication network for communicating with other road users | |
CN116964591A (en) | Information processing apparatus, information processing system, information processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220321 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7056084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |