JPWO2017057041A1 - 信号処理装置、信号処理方法、およびプログラム - Google Patents
信号処理装置、信号処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2017057041A1 JPWO2017057041A1 JP2017543132A JP2017543132A JPWO2017057041A1 JP WO2017057041 A1 JPWO2017057041 A1 JP WO2017057041A1 JP 2017543132 A JP2017543132 A JP 2017543132A JP 2017543132 A JP2017543132 A JP 2017543132A JP WO2017057041 A1 JPWO2017057041 A1 JP WO2017057041A1
- Authority
- JP
- Japan
- Prior art keywords
- target
- coordinate system
- signal processing
- correspondence
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 248
- 230000033001 locomotion Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 abstract description 16
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 114
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4026—Antenna boresight
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
- G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4052—Means for monitoring or calibrating by simulation of echoes
- G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
- G01S7/4086—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder in a calibrating environment, e.g. anechoic chamber
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9324—Alternative operation using ultrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52004—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
1.物体検出システムの構成例
2.対応検出処理の詳細説明
3.運用時キャリブレーション処理
4.キャリブレーション処理の処理フロー
5.出荷時キャリブレーション処理におけるターゲットの例
6.運用時キャリブレーション処理におけるターゲットの例
7.コンピュータ構成例
図1は、本技術を適用した物体検出システムの構成例を示すブロック図である。
Pcam(k)=R・PMMW(k)+V ・・・・・・・(1)
<第1の対応検出処理>
次に、対応検出部36が行う、ターゲットの事前配置情報を用いた第1の対応検出処理についてさらに詳しく説明する。
上述した第1の対応検出処理は、ターゲットの事前配置情報を用いた検出方法であるが、ターゲットの事前配置情報を用いずに、レーダ3次元座標系で検出されたターゲットと、カメラ3次元座標系で検出されたターゲットとの対応関係を検出することもできる。
次に、運用時キャリブレーション処理について説明する。
図16乃至図21を参照しながら、運用時キャリブレーション処理について具体的に説明する。
次に、図22のフローチャートを参照して、信号処理装置13により実行されるキャリブレーション処理について説明する。
図25は、出荷時キャリブレーション処理において用いることができるターゲットのその他の例を示している。
次に、運用時キャリブレーション処理において用いることができるターゲットのその他の例について説明する。
上述したキャリブレーション処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
(1)
ステレオカメラにより撮像されたステレオ画像から、第1の座標系におけるターゲットの3次元位置を算出する第1位置算出部と、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第2の座標系における前記ターゲットの3次元位置を算出する第2位置算出部と、
前記第1の座標系上の前記ターゲットと、前記第2の座標系上の前記ターゲットとの対応関係を検出する対応検出部と、
検出された前記対応関係に基づいて、前記第1の座標系と前記第2の座標系の位置関係情報を推定する位置関係情報推定部と
を備える信号処理装置。
(2)
前記対応検出部は、前記第1の座標系上の前記ターゲットと前記第2の座標系上の前記ターゲットのそれぞれを前記ターゲットの事前配置情報と照合し、前記ターゲットを特定した上で、前記対応関係を検出する
前記(1)に記載の信号処理装置。
(3)
前記対応検出部は、前記第1の座標系上の前記ターゲットの3次元位置と前記第2の座標系上の前記ターゲットの3次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させ、前記対応関係を検出する
前記(1)または(2)に記載の信号処理装置。
(4)
前記第1位置算出部は、動きが検出された前記ターゲットの3次元位置を算出し、
前記第2位置算出部は、動きが検出された前記ターゲットの3次元位置を算出する
前記(1)乃至(3)のいずれかに記載の信号処理装置。
(5)
前記第1位置算出部は、1フレーム以上のステレオ画像から複数の前記ターゲットの3次元位置を算出し、
前記第2位置算出部は、1フレーム以上のセンサ信号から複数の前記ターゲットの3次元位置を算出し、
前記対応検出部は、複数の前記ターゲットについて対応関係を検出する
前記(1)乃至(4)のいずれかに記載の信号処理装置。
(6)
前記第1位置算出部は、1フレームのステレオ画像から複数の前記ターゲットの3次元位置を算出し、
前記第2位置算出部は、1フレームのセンサ信号から複数の前記ターゲットの3次元位置を算出する
前記(5)に記載の信号処理装置。
(7)
前記第1位置算出部及び前記第2位置算出部により算出された前記ターゲットの3次元位置を記憶する記憶部をさらに備え、
前記対応検出部は、所定数以上の前記ターゲットの3次元位置が前記記憶部に蓄積された場合に、前記対応関係の検出を開始する
前記(1)乃至(6)のいずれかに記載の信号処理装置。
(8)
前記ターゲットは、前記奥行き方向の位置が異なる位置に複数配置される
前記(1)乃至(7)のいずれかに記載の信号処理装置。
(9)
前記ターゲットは、前記横方向の位置が異なる位置に複数配置される
前記(1)乃至(8)のいずれかに記載の信号処理装置。
(10)
前記ターゲットは、同じ高さ位置に複数配置される
前記(1)乃至(9)のいずれかに記載の信号処理装置。
(11)
前記ターゲットは、前記ステレオカメラから見て、重ならない位置に複数配置される
前記(1)乃至(10)のいずれかに記載の信号処理装置。
(12)
前記ターゲットは、人である
前記(1)乃至(10)のいずれかに記載の信号処理装置。
(13)
前記ターゲットは、所定のテクスチャを有する物体である
前記(1)乃至(10)のいずれかに記載の信号処理装置。
(14)
前記ターゲットは、ポール状の物体である
前記(1)乃至(10)のいずれかに記載の信号処理装置。
(15)
前記第1の座標系と前記第2の座標系の位置関係情報は、回転行列と並進ベクトルである
前記(1)乃至(14)のいずれかに記載の信号処理装置。
(16)
前記センサは、ミリ波レーダである
前記(1)乃至(15)のいずれかに記載の信号処理装置。
(17)
ステレオカメラにより撮像されたステレオ画像から、第1の座標系におけるターゲットの3次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第2の座標系における前記ターゲットの3次元位置を算出し、
前記第1の座標系上の前記ターゲットと、前記第2の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第1の座標系と前記第2の座標系の位置関係情報を推定する
ステップを含む信号処理方法。
(18)
コンピュータに、
ステレオカメラにより撮像されたステレオ画像から、第1の座標系におけるターゲットの3次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第2の座標系における前記ターゲットの3次元位置を算出し、
前記第1の座標系上の前記ターゲットと、前記第2の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第1の座標系と前記第2の座標系の位置関係情報を推定する
ステップを含む処理を実行させるためのプログラム。
Claims (18)
- ステレオカメラにより撮像されたステレオ画像から、第1の座標系におけるターゲットの3次元位置を算出する第1位置算出部と、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第2の座標系における前記ターゲットの3次元位置を算出する第2位置算出部と、
前記第1の座標系上の前記ターゲットと、前記第2の座標系上の前記ターゲットとの対応関係を検出する対応検出部と、
検出された前記対応関係に基づいて、前記第1の座標系と前記第2の座標系の位置関係情報を推定する位置関係情報推定部と
を備える信号処理装置。 - 前記対応検出部は、前記第1の座標系上の前記ターゲットと前記第2の座標系上の前記ターゲットのそれぞれを前記ターゲットの事前配置情報と照合し、前記ターゲットを特定した上で、前記対応関係を検出する
請求項1に記載の信号処理装置。 - 前記対応検出部は、前記第1の座標系上の前記ターゲットの3次元位置と前記第2の座標系上の前記ターゲットの3次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させ、前記対応関係を検出する
請求項1に記載の信号処理装置。 - 前記第1位置算出部は、動きが検出された前記ターゲットの3次元位置を算出し、
前記第2位置算出部は、動きが検出された前記ターゲットの3次元位置を算出する
請求項1に記載の信号処理装置。 - 前記第1位置算出部は、1フレーム以上のステレオ画像から複数の前記ターゲットの3次元位置を算出し、
前記第2位置算出部は、1フレーム以上のセンサ信号から複数の前記ターゲットの3次元位置を算出し、
前記対応検出部は、複数の前記ターゲットについて対応関係を検出する
請求項1に記載の信号処理装置。 - 前記第1位置算出部は、1フレームのステレオ画像から複数の前記ターゲットの3次元位置を算出し、
前記第2位置算出部は、1フレームのセンサ信号から複数の前記ターゲットの3次元位置を算出する
請求項5に記載の信号処理装置。 - 前記第1位置算出部及び前記第2位置算出部により算出された前記ターゲットの3次元位置を記憶する記憶部をさらに備え、
前記対応検出部は、所定数以上の前記ターゲットの3次元位置が前記記憶部に蓄積された場合に、前記対応関係の検出を開始する
請求項1に記載の信号処理装置。 - 前記ターゲットは、前記奥行き方向の位置が異なる位置に複数配置される
請求項1に記載の信号処理装置。 - 前記ターゲットは、前記横方向の位置が異なる位置に複数配置される
請求項1に記載の信号処理装置。 - 前記ターゲットは、同じ高さ位置に複数配置される
請求項1に記載の信号処理装置。 - 前記ターゲットは、前記ステレオカメラから見て、重ならない位置に複数配置される
請求項1に記載の信号処理装置。 - 前記ターゲットは、人である
請求項1に記載の信号処理装置。 - 前記ターゲットは、所定のテクスチャを有する物体である
請求項1に記載の信号処理装置。 - 前記ターゲットは、ポール状の物体である
請求項1に記載の信号処理装置。 - 前記第1の座標系と前記第2の座標系の位置関係情報は、回転行列と並進ベクトルである
請求項1に記載の信号処理装置。 - 前記センサは、ミリ波レーダである
請求項1に記載の信号処理装置。 - ステレオカメラにより撮像されたステレオ画像から、第1の座標系におけるターゲットの3次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第2の座標系における前記ターゲットの3次元位置を算出し、
前記第1の座標系上の前記ターゲットと、前記第2の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第1の座標系と前記第2の座標系の位置関係情報を推定する
ステップを含む信号処理方法。 - コンピュータに、
ステレオカメラにより撮像されたステレオ画像から、第1の座標系におけるターゲットの3次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第2の座標系における前記ターゲットの3次元位置を算出し、
前記第1の座標系上の前記ターゲットと、前記第2の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第1の座標系と前記第2の座標系の位置関係情報を推定する
ステップを含む処理を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015194134 | 2015-09-30 | ||
JP2015194134 | 2015-09-30 | ||
PCT/JP2016/077397 WO2017057041A1 (ja) | 2015-09-30 | 2016-09-16 | 信号処理装置、信号処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017057041A1 true JPWO2017057041A1 (ja) | 2018-08-09 |
JP6825569B2 JP6825569B2 (ja) | 2021-02-03 |
Family
ID=58427496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017543132A Active JP6825569B2 (ja) | 2015-09-30 | 2016-09-16 | 信号処理装置、信号処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10908257B2 (ja) |
EP (1) | EP3358368A4 (ja) |
JP (1) | JP6825569B2 (ja) |
CN (1) | CN108139475A (ja) |
WO (1) | WO2017057041A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108139475A (zh) | 2015-09-30 | 2018-06-08 | 索尼公司 | 信号处理设备、信号处理方法和程序 |
JP6660751B2 (ja) * | 2016-02-04 | 2020-03-11 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP6194520B1 (ja) * | 2016-06-24 | 2017-09-13 | 三菱電機株式会社 | 物体認識装置、物体認識方法および自動運転システム |
US11067996B2 (en) | 2016-09-08 | 2021-07-20 | Siemens Industry Software Inc. | Event-driven region of interest management |
US10481243B2 (en) * | 2016-10-31 | 2019-11-19 | Aptiv Technologies Limited | Automated vehicle radar system with self-calibration |
CN106767852B (zh) * | 2016-12-30 | 2019-10-11 | 东软集团股份有限公司 | 一种生成探测目标信息的方法、装置和设备 |
JP2019015553A (ja) * | 2017-07-05 | 2019-01-31 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法および個体撮像装置 |
DE102017212868A1 (de) | 2017-07-26 | 2019-01-31 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Erkennen einer Position eines Objekts |
US20190120934A1 (en) * | 2017-10-19 | 2019-04-25 | GM Global Technology Operations LLC | Three-dimensional alignment of radar and camera sensors |
CN110044371A (zh) * | 2018-01-16 | 2019-07-23 | 华为技术有限公司 | 一种车辆定位的方法以及车辆定位装置 |
US11041941B2 (en) * | 2018-02-26 | 2021-06-22 | Steradian Semiconductors Private Limited | Method and device for calibrating a radar object detection system |
CN110609274B (zh) * | 2018-06-15 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 一种测距方法、装置及系统 |
JP7135579B2 (ja) * | 2018-08-20 | 2022-09-13 | 株式会社Soken | 物体検知装置 |
CN109059902B (zh) * | 2018-09-07 | 2021-05-28 | 百度在线网络技术(北京)有限公司 | 相对位姿确定方法、装置、设备和介质 |
KR20200028648A (ko) * | 2018-09-07 | 2020-03-17 | 삼성전자주식회사 | 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치 |
TWI734932B (zh) * | 2018-09-17 | 2021-08-01 | 為昇科科技股份有限公司 | 雷達偵測角度校正系統及其方法 |
EP3861370A1 (en) * | 2018-10-01 | 2021-08-11 | KPIT Technologies Limited | Perception sensors based fusion system for vehicle control and method thereof |
JP7148064B2 (ja) * | 2018-10-25 | 2022-10-05 | 株式会社アイシン | カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム |
KR102524293B1 (ko) * | 2018-11-07 | 2023-04-21 | 현대자동차주식회사 | 전방 차량 오인식 제거 장치 및 그의 오인식 제거 방법과 그를 포함하는 차량 |
JP2022034086A (ja) | 2018-12-07 | 2022-03-03 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
EP3907721A4 (en) * | 2019-01-02 | 2022-03-09 | Panasonic Intellectual Property Corporation of America | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
JP7238422B2 (ja) * | 2019-01-22 | 2023-03-14 | 株式会社リコー | 測距方法、測距装置、車載装置、移動体、測距システム |
JP2020118567A (ja) * | 2019-01-24 | 2020-08-06 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、車載システム及び測距方法 |
US10942267B2 (en) | 2019-06-17 | 2021-03-09 | Advanced New Technologies Co., Ltd. | Video object processing |
CN110263700B (zh) * | 2019-06-17 | 2021-04-27 | 创新先进技术有限公司 | 视频处理方法、装置、设备及视频监控系统 |
CN112208529B (zh) * | 2019-07-09 | 2022-08-02 | 毫末智行科技有限公司 | 用于目标检测的感知系统、驾驶辅助方法和无人驾驶设备 |
CN110597390B (zh) * | 2019-09-12 | 2022-05-20 | Oppo广东移动通信有限公司 | 控制方法、电子装置和存储介质 |
US11892559B2 (en) * | 2019-12-18 | 2024-02-06 | Rohde & Schwarz Gmbh & Co. Kg | Radar calibration system and method for moving a radar calibration target along a desired movement path |
CN111060904B (zh) * | 2019-12-25 | 2022-03-15 | 中国汽车技术研究中心有限公司 | 一种基于毫米波与视觉融合感知的盲区监测方法 |
US20210325520A1 (en) * | 2020-04-17 | 2021-10-21 | Velodyne Lidar, Inc. | Systems and Methods for Calibrating a LIDAR Device |
JP7359107B2 (ja) * | 2020-08-26 | 2023-10-11 | 株式会社デンソー | 対象物認識装置、移動体衝突予防装置および車両 |
US20220113419A1 (en) * | 2020-10-13 | 2022-04-14 | Waymo, LLC | LIDAR Based Stereo Camera Correction |
KR102484691B1 (ko) * | 2021-03-15 | 2023-01-05 | 주식회사 바이다 | 스테레오 카메라 및 레이더를 이용한 차량 감지 시스템 및 차량 감지 방법 |
US20230204749A1 (en) * | 2021-12-23 | 2023-06-29 | Gm Cruise Holdings Llc | Radar sensor processing chain |
CN114509762A (zh) * | 2022-02-15 | 2022-05-17 | 南京慧尔视智能科技有限公司 | 一种数据处理方法、装置、设备及介质 |
EP4310534A1 (en) * | 2022-07-21 | 2024-01-24 | Inxpect S.p.A. | Target detection in world reference system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006011570A (ja) * | 2004-06-23 | 2006-01-12 | Daihatsu Motor Co Ltd | カメラキャリブレーション方法及びカメラキャリブレーション装置 |
JP2006252473A (ja) * | 2005-03-14 | 2006-09-21 | Toshiba Corp | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
JP2007218738A (ja) * | 2006-02-16 | 2007-08-30 | Kumamoto Univ | 校正装置、物標検知装置および校正方法 |
JP2008304344A (ja) * | 2007-06-08 | 2008-12-18 | Kumamoto Univ | 物標検出装置 |
US20090292468A1 (en) * | 2008-03-25 | 2009-11-26 | Shunguang Wu | Collision avoidance method and system using stereo vision and radar sensor fusion |
JP2010151682A (ja) * | 2008-12-25 | 2010-07-08 | Topcon Corp | レーザスキャナ及びレーザスキャナ測定システム及びレーザスキャナ測定システムの較正方法及び較正用ターゲット |
US20110122257A1 (en) * | 2009-11-25 | 2011-05-26 | Honeywell International Inc. | Geolocation of objects in an area of interest |
JP2012189445A (ja) * | 2011-03-10 | 2012-10-04 | Panasonic Corp | 物体検出装置及び物体検出方法 |
JP2014153211A (ja) * | 2013-02-08 | 2014-08-25 | Furukawa Electric Co Ltd:The | 周辺監視システム及び周辺監視システムの軸ずれ検知方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3212218B2 (ja) * | 1994-05-26 | 2001-09-25 | 三菱電機株式会社 | 車両用障害物検出装置 |
US6859705B2 (en) * | 2001-09-21 | 2005-02-22 | Ford Global Technologies, Llc | Method for operating a pre-crash sensing system with object classifier in a vehicle having a countermeasure system |
EP1648746B1 (en) * | 2003-07-11 | 2008-09-10 | Toyota Jidosha Kabushiki Kaisha | Crash-safe vehicle control system |
JP3918791B2 (ja) * | 2003-09-11 | 2007-05-23 | トヨタ自動車株式会社 | 物体検出装置 |
EP1887382A1 (en) * | 2005-05-19 | 2008-02-13 | Olympus Corporation | Distance measuring apparatus, distance measuring method and distance measuring program |
JP4304517B2 (ja) * | 2005-11-09 | 2009-07-29 | トヨタ自動車株式会社 | 物体検出装置 |
US20070182623A1 (en) * | 2006-02-03 | 2007-08-09 | Shuqing Zeng | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
JP4595833B2 (ja) * | 2006-02-24 | 2010-12-08 | トヨタ自動車株式会社 | 物体検出装置 |
JP2008116357A (ja) * | 2006-11-06 | 2008-05-22 | Toyota Motor Corp | 物体検出装置 |
US8855848B2 (en) * | 2007-06-05 | 2014-10-07 | GM Global Technology Operations LLC | Radar, lidar and camera enhanced methods for vehicle dynamics estimation |
JP4434296B1 (ja) * | 2008-09-05 | 2010-03-17 | トヨタ自動車株式会社 | 物体検出装置 |
JP5632762B2 (ja) * | 2011-01-25 | 2014-11-26 | パナソニック株式会社 | 測位情報形成装置、検出装置、及び測位情報形成方法 |
US8970425B2 (en) * | 2011-06-09 | 2015-03-03 | Sony Corporation | Radar apparatus and method |
WO2014033957A1 (ja) * | 2012-09-03 | 2014-03-06 | トヨタ自動車株式会社 | 衝突判定装置及び衝突判定方法 |
CN104318561B (zh) * | 2014-10-22 | 2017-05-03 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
CN108139475A (zh) * | 2015-09-30 | 2018-06-08 | 索尼公司 | 信号处理设备、信号处理方法和程序 |
-
2016
- 2016-09-16 CN CN201680055407.1A patent/CN108139475A/zh active Pending
- 2016-09-16 US US15/762,136 patent/US10908257B2/en active Active
- 2016-09-16 EP EP16851215.0A patent/EP3358368A4/en not_active Withdrawn
- 2016-09-16 JP JP2017543132A patent/JP6825569B2/ja active Active
- 2016-09-16 WO PCT/JP2016/077397 patent/WO2017057041A1/ja active Application Filing
-
2020
- 2020-12-31 US US17/139,290 patent/US11719788B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006011570A (ja) * | 2004-06-23 | 2006-01-12 | Daihatsu Motor Co Ltd | カメラキャリブレーション方法及びカメラキャリブレーション装置 |
JP2006252473A (ja) * | 2005-03-14 | 2006-09-21 | Toshiba Corp | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
JP2007218738A (ja) * | 2006-02-16 | 2007-08-30 | Kumamoto Univ | 校正装置、物標検知装置および校正方法 |
JP2008304344A (ja) * | 2007-06-08 | 2008-12-18 | Kumamoto Univ | 物標検出装置 |
US20090292468A1 (en) * | 2008-03-25 | 2009-11-26 | Shunguang Wu | Collision avoidance method and system using stereo vision and radar sensor fusion |
JP2010151682A (ja) * | 2008-12-25 | 2010-07-08 | Topcon Corp | レーザスキャナ及びレーザスキャナ測定システム及びレーザスキャナ測定システムの較正方法及び較正用ターゲット |
US20110122257A1 (en) * | 2009-11-25 | 2011-05-26 | Honeywell International Inc. | Geolocation of objects in an area of interest |
JP2012189445A (ja) * | 2011-03-10 | 2012-10-04 | Panasonic Corp | 物体検出装置及び物体検出方法 |
JP2014153211A (ja) * | 2013-02-08 | 2014-08-25 | Furukawa Electric Co Ltd:The | 周辺監視システム及び周辺監視システムの軸ずれ検知方法 |
Also Published As
Publication number | Publication date |
---|---|
US10908257B2 (en) | 2021-02-02 |
US20210124013A1 (en) | 2021-04-29 |
EP3358368A4 (en) | 2019-03-13 |
US11719788B2 (en) | 2023-08-08 |
WO2017057041A1 (ja) | 2017-04-06 |
CN108139475A (zh) | 2018-06-08 |
US20180267142A1 (en) | 2018-09-20 |
EP3358368A1 (en) | 2018-08-08 |
JP6825569B2 (ja) | 2021-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017057041A1 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
CN111191600B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
CA3028653C (en) | Methods and systems for color point cloud generation | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
EP3283843B1 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
US10145951B2 (en) | Object detection using radar and vision defined image detection zone | |
WO2017159382A1 (ja) | 信号処理装置および信号処理方法 | |
WO2019237307A1 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
JP5632762B2 (ja) | 測位情報形成装置、検出装置、及び測位情報形成方法 | |
US11061122B2 (en) | High-definition map acquisition system | |
TW202020811A (zh) | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 | |
US11768272B2 (en) | Systems and methods for LiDAR detection | |
WO2020140164A1 (en) | Systems and methods for updating a high-definition map | |
US20200341150A1 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
JP2017151043A (ja) | 物体認識装置及びプログラム | |
US11532100B2 (en) | Method for environmental acquisition, data processing unit | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
US20240098231A1 (en) | Image processing device, image processing method, and computer-readable medium | |
US20230266469A1 (en) | System and method for detecting road intersection on point cloud height map | |
CN117953046A (zh) | 数据处理方法、装置、控制器、车辆及存储介质 | |
JP2022152835A (ja) | 情報処理装置、車両、路側機、および情報処理方法 | |
CN115511975A (zh) | 一种单目相机的测距方法及计算机程序产品 | |
JP2023106163A (ja) | 自己位置推定方法、自己位置推定プログラム及び自己位置推定装置 | |
CN110926425A (zh) | 一种3d结构光相机的导航物流运输系统及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6825569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |