JP7417859B2 - 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 - Google Patents
距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 Download PDFInfo
- Publication number
- JP7417859B2 JP7417859B2 JP2020049592A JP2020049592A JP7417859B2 JP 7417859 B2 JP7417859 B2 JP 7417859B2 JP 2020049592 A JP2020049592 A JP 2020049592A JP 2020049592 A JP2020049592 A JP 2020049592A JP 7417859 B2 JP7417859 B2 JP 7417859B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- measurement
- distances
- actual measurement
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 54
- 238000005259 measurement Methods 0.000 claims description 314
- 230000003287 optical effect Effects 0.000 claims description 132
- 238000000034 method Methods 0.000 claims description 43
- 239000006059 cover glass Substances 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Description
図1は、本実施形態におけるステレオカメラ装置100の外観を示す斜視図である。
図2は、本実施形態におけるステレオカメラ装置100の概略構成を示す説明図である。
本実施形態のステレオカメラ装置100は、主に、カメラ10A,10Bと、測距装置としての光測距部20と、保持部材30と、装置筐体40と、制御部50とを備えている。ステレオカメラ装置100は、カメラ10A,10Bにより撮像した測定対象物の画像データ(撮像画像)に基づいて制御部50が画像処理や距離測定処理などを行い、測定対象物との距離を取得(測距)する画像測距部を有する。なお、ステレオカメラ装置100は、3つ以上のカメラを用いて距離測定処理を行うものであってもよい。一方、光測距部20は、画像測距部の校正(キャリブレーション)を実施するために、測定対象物に照射した照射光の反射光を受光することで測定対象物との距離を測定する。
詳しく説明すると、発光制御部61により変調されて光源21から照射された光は、投光レンズ23を介して微小な広がり角を有する光ビームとなる。光測距部20から照射された光ビームは、保持部材30の取付面に垂直な方向(Z軸方向)に出射される。光測距部20から出射された光ビームは、測定対象物に照射される。測定対象物に照射された光ビームは、測定対象物の反射点において一様な方向に散乱して反射される散乱光となる。散乱光のうち、測定対象物に照射された光ビームと同様の光路を経て反射する光成分のみが、光源21とほぼ同軸に配置された受光レンズ26を介して受光素子24に反射光として入光することになる。受光素子24に入光された反射光は、受光素子24によって受光信号として検出される。
図3及び図4は、一般的なステレオカメラの測距原理と校正方法とを示す模式図である。
図3及び図4では、カメラ10A,10Bにより校正用対象物(校正用ターゲット)Tを撮像した際の校正用ターゲットT上の特徴点kとカメラ10A,10B上の撮像素子11A,11Bの特徴点jとの関係を示している。なお、図3及び図4において、校正用ターゲットTの面に沿って水平方向をX軸方向とし、校正用ターゲットTの面に沿って垂直方向をY軸方向とする。
図6は、ステレオカメラ装置100のカメラ10A,10Bの測距原点と光測距部20の測距原点との位置関係を示すZY平面図である。
図5に示すように、ステレオカメラ装置100の校正を行うには、カメラ10A,10Bの前方に校正用ターゲットTを配置し、視差d0を測定する。校正用ターゲットTについて、Z軸方向(測定方向)において設置位置を異ならせた2組以上の視差d0と距離Zとを得ることにより、前記式(6)から、Bf値とΔdを求めることができる。
図8は、ステレオカメラ装置100の校正方法を示すフローチャートである。
本実施形態においては、ステレオカメラ装置100の校正を、ステレオカメラ装置100の工場出荷前における製品検査時に行う例で説明するが、ステレオカメラ装置100を移動体などに設置した後の使用時に行うようにしてもよい。
本実施形態のステレオカメラ装置100の校正方法においては、上述したとおり、ステレオカメラ装置100から校正用ターゲットTまでの距離Zを正確に把握しておくことが、ステレオカメラ装置100の校正精度の向上に不可欠である。ところが、本実施形態のステレオカメラ装置100の構成要素である画像測距部及び光測距部20は、図1及び図2に示すように、外装ケース101の内部に収容され、照射光及び反射光の光路上の外装ケース部分にはカバーガラス102が配置されている。
図10は、10個の光測距部20を用い、測定対象物との間に光透過部材(厚さ1mmのガラス)が配置した状況下で、距離1m~10mまでの1mごとの距離に配置した測定対象物までの距離を光測距部20により測定したときの平均誤差(%)を示すグラフである。
図9及び図10からわかるとおり、測定対象物との間に光透過部材(厚さ1mmのガラス)が配置した状況下では、測定誤差が大きくなっている。また、測定誤差が最大となる距離がシフトしている。
以下、距離補正情報を算出して光測距部20の校正を行う一例(以下「校正例1」という。)について説明する。
本校正例1は、予め決められた1つの規定距離に配置される校正用ターゲットT(校正用対象物)との間にカバーガラス102(光透過部材)が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定して実測距離を得て、この実測距離と当該規定距離との誤差を示す実測誤差情報に基づいて、光測距部20の距離補正情報を算出する。
本校正例1では、まず、ステレオカメラ装置100の測定方向前方の予め決められた規定距離に、校正用ターゲットTを設置する(S11)。次に、光測距部20から照射される光ビームが校正用ターゲットTを照射するように、ステレオカメラ装置100を所定の位置に設置する(S12)。これにより、校正用ターゲットTとの間にカバーガラス102が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定することができる。
光測距部20では、上述したとおり、光源21から所定パルス幅のパルス光(繰り返しパルス光)を周期的に照射し、校正用ターゲットTで反射して戻ってきた反射光を受光素子24で受光する。ここで、本実施形態の光測距部20では、照射光として繰り返しパルス光を用いているため、パルス光の周期に応じて、図9及び図10に示したように、距離に対応する測定誤差が周期的に変動する。
図10と図12とを比較すると、初期誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(図12)は、補正を行わない場合の誤差(図10)よりも小さくなっていることがわかる。ただし、測定対象物との間に光透過部材(カバーガラス102)が配置されている状況下であるため、いまだおおきな誤差が残っている。
図12と図13とを比較すると、本校正例1で算出した誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(図13)は、初期誤差補正情報を用いて補正した場合の誤差(図12)よりも小さくなっていることがわかる。
次に、距離補正情報を算出して光測距部20の校正を行う他の例(以下「校正例2」という。)について説明する。
本校正例2は、初期誤差補正情報を用いず、予め決められた2つの規定距離に配置される校正用ターゲットT(校正用対象物)との間にカバーガラス102(光透過部材)が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定して実測距離を得て、この実測距離と当該規定距離との誤差を示す実測誤差情報に基づいて、光測距部20の距離補正情報を算出する。
本校正例2では、まず、ステレオカメラ装置100の測定方向前方の予め決められた第一規定距離(3m)に、校正用ターゲットTを設置する(S21)。次に、光測距部20から照射される光ビームが校正用ターゲットTを照射するように、ステレオカメラ装置100を所定の位置に設置する(S22)。その後、光測距部20により、校正用ターゲットTとの間にカバーガラス102が配置された状態での距離測定を行って実測距離L3を取得し(S23)、この実測距離L3と規定距離(3m)との誤差ΔL3を算出する(S24)。
本校正例2では、上述した校正例1の場合とは異なり、パルス光の周期が33.3ナノ秒である。そのため、光速を3×108m/sとしたとき、33.3ナノ秒×3×108m/s=約10mの周期で、距離に対応する測定誤差が変動する。そして、本校正例2においては、誤差のピークが3mの距離で現れることから、誤差のピークは3mと8mとなる。そのため、本校正例2においては、3mと8mの距離における実測距離L3,L8を測定し、その誤差ΔL3,ΔL8を求め、これらの誤差ピーク間を線形補間して誤差近似直線を得ている。
図12と図15とを比較すると、パルス光の周期が異なるので直接の比較はできないものの、本校正例2で算出した誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(図15)は、初期誤差補正情報を用いて補正した場合の誤差(図12)よりも小さくなっていることがわかる。
次に、距離補正情報を算出して光測距部20の校正を行う更に他の例(以下「校正例3」という。)について説明する。
本校正例3も、上述した校正例2と同様に、初期誤差補正情報を用いず、予め決められた2つの規定距離に配置される校正用ターゲットT(校正用対象物)との間にカバーガラス102(光透過部材)が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定して実測距離を得て、この実測距離と当該規定距離との誤差を示す実測誤差情報に基づいて、光測距部20の距離補正情報を算出する。
本校正例3における誤差補正情報は、以下の式(7)により表される。
図12と図16とを比較すると、パルス光の周期が異なるので直接の比較はできないものの、本校正例3で算出した誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(図16)は、初期誤差補正情報を用いて補正した場合の誤差(図12)よりも小さくなっていることがわかる。
図17は、本実施形態における建設車両としてのブルドーザ500を示す模式図である。
本実施形態のブルドーザ500には、リーフ501の後方の外壁にステレオカメラ装置100が装着されている。また、本実施形態のブルドーザ500には、ピラー502の側方の外壁にもステレオカメラ装置100が装着されている。これらのステレオカメラ装置100により、ブルドーザ500の後方や側方に存在する人や障害物などの距離を把握できるので、衝突の危険等を判断する危険判断処理などの各種情報処理を実行することができる。
[第1態様]
第1態様は、測定対象物との間に光透過部材(例えばカバーガラス102)が配置される状態で、該測定対象物に照射した照射光(例えば繰り返しパルス光)の反射光を受光することで該測定対象物との距離を測定する測距装置(例えば光測距部20)における距離補正情報の算出方法であって、予め決められた規定距離に配置される校正用対象物(例えば校正用ターゲットT)との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有することを特徴とするものである。
近年、測距装置は多種多様な場面で利用されることが多くなり、その利用環境によっては、防水性、防塵性、堅牢性などの機能を確保するために、測距装置が外装ケース内に配置される場合がある。この場合、測距装置からの照射光を外装ケース外へ射出し、かつ、測定対象物からの反射光を外装ケース内の測距装置へ入射させることが必要となるため、照射光及び反射光の光路上の外装ケース部分に、光透過部材を配置することが求められる。
従来の測距装置では、測距装置と測定対象物との間に光透過部材が配置される状況下で測距装置が使用された場合、照射光や反射光が光透過部材を透過する際の速度変動などに起因して、測定距離に誤差が生じる。
本態様においては、このような誤差を補正するための距離補正情報を算出するため、予め決められた規定距離に配置される校正用対象物との間に光透過部材を配置した状態で、測距装置により当該校正用対象物との距離を測定する。そして、この測定により得られる光透過部材を配置した状態での実測距離と規定距離との誤差を示す実測誤差情報を得る。この実測誤差情報は、照射光や反射光が光透過部材を透過する際の速度変動などに起因した誤差を示すものである。したがって、この実測誤差情報に基づいて算出される距離補正情報を用いて測距装置の測定距離を補正すれば、測定対象物との間に光透過部材が配置される状況下での使用が想定されていない測距装置を用いて当該状況下での測距を行う場合に、誤差の少ない測定距離を得ることができる。
第2態様は、第1態様において、前記規定距離は、前記距離補正情報を用いた距離補正を行わないときの前記測距装置による測定誤差が略最大となる距離を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合において、その誤差変動の誤差ピークにおける測定誤差の実測誤差情報を得ることができる。これにより、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
第3態様は、第1又は第2態様において、測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報又は該測定誤差情報から得られる第2の距離補正情報(例えば初期誤差補正情報)を取得する取得工程と、前記算出工程では、前記実測誤差情報と前記取得工程で取得した測定誤差情報又は前記第2の距離補正情報とに基づいて、前記距離補正情報を算出することを特徴とするものである。
測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報は、既知の情報である場合が多い。よって、本態様においては、既知の情報を利用して距離補正情報を算出できるので、簡易に距離補正情報を算出することが可能である。
第4態様は、第1乃至第3態様のいずれかにおいて、前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との実測誤差情報ΔL3,ΔL8に基づいて、前記距離補正情報を算出することを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
第5態様は、第4態様において、前記測距装置は、光量が周期的に変動する照射光(例えば繰り返しパルス光)を測定対象物に照射し、該測定対象物からの反射光と該照射光との位相差に基づいて測定対象物との距離を導出するものであり、前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報のものである。ただし、nは自然数である。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
第6態様は、光量が周期的に変動する照射光(例えば繰り返しパルス光)を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離L3,L8を得る実測工程と、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報ΔL3,ΔL8に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報のものである。ただし、nは自然数である。
本態様によれば、測定対象物との間に光透過部材が配置されているか否かにかかわらず、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
第7態様は、第4乃至第6態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8の平均値(=(ΔL3+ΔL8)/2)を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の全体にわたって誤差を小さくできる誤差補正情報を算出することが可能となる。
第8態様は、第4乃至第7態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8間における差分の絶対値の平均値(=|ΔL3-ΔL8|/2)を含むことを特徴とする距離補正情報のものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の誤差ピークにおける誤差を小さくできる誤差補正情報を算出することが可能となる。
第9態様は、第4乃至第8態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8を線形近似した直線近似誤差情報を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の中で線形に近い波形をもつ範囲についての誤差を小さくできる誤差補正情報を簡易に算出することが可能となる。
第10態様は、第4乃至第8態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8を曲線近似した曲線近似誤差情報を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形についての誤差を小さくできる適切な誤差補正情報を算出することが可能となる。
第11態様は、第10態様において、前記曲線近似誤差情報は、前記誤差値を正弦曲線で近似したものであることを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形が正弦曲線に近いときの誤差を小さくできる適切な誤差補正情報を算出することが可能となる。
第12態様は、第10又は第11態様において、前記曲線近似誤差情報は、前記照射光及び前記反射光が光透過部材を透過する時の光の速度変化に応じて位相が修正されたものであることを特徴とするものである。
これによれば、測距装置と測定対象物との間に配置される光透過部材の影響で、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の位相がずれる場合でも、測定誤差を小さくできる適切な誤差補正情報を算出することが可能となる。
第13態様は、測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距部(例えば光測距部20)と、前記測距部と前記測定対象物との間に配置される光透過部材(例えばカバーガラス102)とを備えた測距装置(例えば、ステレオカメラ装置100における光測距部20とカバーガラス102とで構成される装置部分)であって、予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離と前記規定距離との実測誤差情報に基づいて得られる距離補正情報を用いて、測定距離を補正する補正手段(例えば距離補正部65)を有することを特徴とするものである。
これによれば、測定対象物との間に光透過部材が配置される状況下での使用が想定されていない測距部を用いて当該状況下での測距を行う場合に、誤差の少ない測定距離を得ることのできる測距装置を実現できる。
第14態様は、光量が周期的に変動する照射光を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置であって、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて得られる距離補正情報を用いて、測定距離を補正する補正手段を有し、前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とするものである。
これによれば、測定対象物との間に光透過部材が配置されているか否かにかかわらず、誤差の少ない測定距離を得ることのできる測距装置を実現できる。
第15態様は、移動体(例えばブルドーザ500)であって、第13又は第14態様の測距装置を備えることを特徴とするものである。
移動体では、通常、距離不明の測定対象物の位置が移動体に対して刻々と変化するので、移動体に搭載される測距装置においてキャリブレーションを行うことが困難であり、測定した距離が正しいかどうかを当該測距装置で自ら判断することが難しい。特に、路上を直線的に走る乗用車等の車両と異なり、建設機械車両などは、前進、後退、回転を頻繁に繰り返すため、キャリブレーションを行うことが困難である。本態様によれば、このような移動体においても、距離測定値を補正して、誤差の少ない測定距離を取得することが可能である。
第16態様は、第15態様において、当該移動体は、荷役車両であり、前記測距装置は、前記荷役車両の外部に配置されることを特徴とするものである。
これによれば、誤差の少ない測定距離を取得できる荷役車両を提供できる。
第17態様は、ステレオカメラ装置であって、画像測距部の校正を実施するための光測距部を有し、画像測距部と光測距部のカバーガラスを共通としたことを特徴とするものである。
これによれば、画像測距部と光測距部のそれぞれの光路上に配置されるカバーガラス間の位置合わせ精度が向上し、画像測距部及び光測距部のそれぞれの測定距離の精度を高めやすい。
11A,11B:撮像素子
12A,12B:撮像素子基板
13A,13B:カメラレンズ
14A,14B:カメラ筐体
20 :光測距部
21 :光源
22 :光源基板
23 :投光レンズ
24 :受光素子
25 :受光素子基板
26 :受光レンズ
27 :光測距部筐体
30 :保持部材
40 :装置筐体
50 :制御部
51 :画像処理部
52 :視差演算部
53 :校正演算部
54 :距離演算部
60 :光測距制御部
61 :発光制御部
62 :時間計測部
63 :補正情報算出部
64 :記憶部
65 :距離補正部
100 :ステレオカメラ装置
101 :外装ケース
101a :カメラ用開口部
101b :光測距用開口部
102 :カバーガラス
500 :ブルドーザ
501 :リーフ
502 :ピラー
Claims (20)
- 測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記規定距離は、前記距離補正情報を用いた距離補正を行わないときの前記測距装置による測定誤差が略最大となる距離を含むことを特徴とする距離補正情報の算出方法。 - 請求項1に記載の距離補正情報の算出方法において、
測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報又は該測定誤差情報から得られる第2の距離補正情報を取得する取得工程を有し、
前記算出工程では、前記実測誤差情報と前記取得工程で取得した測定誤差情報又は前記第2の距離補正情報とに基づいて、前記距離補正情報を算出することを特徴とする距離補正情報の算出方法。 - 測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程と、
測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報又は該測定誤差情報から得られる第2の距離補正情報を取得する取得工程とを有し、
前記算出工程では、前記実測誤差情報と前記取得工程で取得した測定誤差情報又は前記第2の距離補正情報とに基づいて、前記距離補正情報を算出することを特徴とする距離補正情報の算出方法。 - 請求項1乃至3のいずれか1項に記載の距離補正情報の算出方法において、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出することを特徴とする距離補正情報の算出方法。 - 請求項4に記載の距離補正情報の算出方法において、
前記測距装置は、光量が周期的に変動する照射光を測定対象物に照射し、該測定対象物からの反射光と該照射光との位相差に基づいて測定対象物との距離を導出するものであり、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報の算出方法。
ただし、nは自然数である。 - 測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記測距装置は、光量が周期的に変動する照射光を測定対象物に照射し、該測定対象物からの反射光と該照射光との位相差に基づいて測定対象物との距離を導出するものであり、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報の算出方法。 - 光量が周期的に変動する照射光を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離を得る実測工程と、
前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報の算出方法。
ただし、nは自然数である。 - 請求項4乃至7のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値の平均値を含むことを特徴とする距離補正情報の算出方法。 - 測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値の平均値を含むことを特徴とする距離補正情報の算出方法。 - 請求項4乃至9のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値間における差分の絶対値の平均値を含むことを特徴とする距離補正情報の算出方法。 - 測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値間における差分の絶対値の平均値を含むことを特徴とする距離補正情報の算出方法。 - 請求項4乃至11のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値を線形近似した直線近似誤差情報を含むことを特徴とする距離補正情報の算出方法。 - 請求項4乃至11のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値を曲線近似した曲線近似誤差情報を含むことを特徴とする距離補正情報の算出方法。 - 請求項13に記載の距離補正情報の算出方法において、
前記曲線近似誤差情報は、前記照射光及び前記反射光が光透過部材を透過する時の光の速度変化に応じて位相が修正されたものであることを特徴とする距離補正情報の算出方法。 - 測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値を曲線近似した曲線近似誤差情報を含み、
前記曲線近似誤差情報は、前記照射光及び前記反射光が光透過部材を透過する時の光の速度変化に応じて位相が修正されたものであることを特徴とする距離補正情報の算出方法。 - 請求項13乃至15のいずれか1項に記載の距離補正情報の算出方法において、
前記曲線近似誤差情報は、前記誤差値を正弦曲線で近似したものであることを特徴とする距離補正情報の算出方法。 - 光量が周期的に変動する照射光を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置であって、
互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて得られる距離補正情報を用いて、測定距離を補正する補正手段を有し、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする測距装置。
ただし、nは自然数である。 - 請求項17に記載の測距装置を備えることを特徴とする移動体。
- 請求項18に記載の移動体において、
当該移動体は、荷役車両であり、
前記測距装置は、前記荷役車両の外部に配置されることを特徴とする移動体。 - 画像測距部の校正を実施するための光測距部を有し、画像測距部と光測距部のカバーガラスを共通としたステレオカメラ装置であって、
前記光測距部として、請求項17に記載の測距装置を用いることを特徴とするステレオカメラ装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020049592A JP7417859B2 (ja) | 2020-03-19 | 2020-03-19 | 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 |
EP21163401.9A EP3882659A1 (en) | 2020-03-19 | 2021-03-18 | Method of calculating distance-correction data, range-finding device, and mobile object |
US17/204,984 US20210293942A1 (en) | 2020-03-19 | 2021-03-18 | Method of calculating distance-correction data, range-finding device, and mobile object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020049592A JP7417859B2 (ja) | 2020-03-19 | 2020-03-19 | 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021148643A JP2021148643A (ja) | 2021-09-27 |
JP7417859B2 true JP7417859B2 (ja) | 2024-01-19 |
Family
ID=75108191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020049592A Active JP7417859B2 (ja) | 2020-03-19 | 2020-03-19 | 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210293942A1 (ja) |
EP (1) | EP3882659A1 (ja) |
JP (1) | JP7417859B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11587260B2 (en) * | 2020-10-05 | 2023-02-21 | Zebra Technologies Corporation | Method and apparatus for in-field stereo calibration |
JP2022146480A (ja) | 2021-03-22 | 2022-10-05 | リコーインダストリアルソリューションズ株式会社 | ステレオカメラ装置 |
CN113945134B (zh) * | 2021-10-21 | 2023-03-21 | 中国水利水电科学研究院 | 一种滑动测微计的零飘测定装置及其测定方法 |
JP2023167618A (ja) * | 2022-05-12 | 2023-11-24 | ソニーセミコンダクタソリューションズ株式会社 | 受光装置、制御方法、及び測距システム |
CN115685162B (zh) * | 2022-10-25 | 2023-11-10 | 杭州简并激光科技有限公司 | 一种激光测距校准方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008256504A (ja) | 2007-04-04 | 2008-10-23 | Nikon Corp | 形状測定装置 |
JP2012225111A (ja) | 2011-04-22 | 2012-11-15 | Kajima Corp | 建設車両周辺の作業者検出装置 |
US20130175435A1 (en) | 2012-01-09 | 2013-07-11 | Stmicroelectronics (Grenoble 2) Sas | Device for detecting an object using spad photodiodes |
WO2014208018A1 (ja) | 2013-06-26 | 2014-12-31 | パナソニックIpマネジメント株式会社 | 測距システム |
JP2015028469A (ja) | 2013-06-27 | 2015-02-12 | 株式会社リコー | 測距装置、車両、測距装置の校正方法 |
JP2015169583A (ja) | 2014-03-07 | 2015-09-28 | 株式会社リコー | 校正方法、校正装置及びプログラム |
JP2017062198A (ja) | 2015-09-25 | 2017-03-30 | 富士重工業株式会社 | 幾何歪除去再現装置 |
WO2018042954A1 (ja) | 2016-08-29 | 2018-03-08 | 日立オートモティブシステムズ株式会社 | 車載カメラ、車載カメラの調整方法、車載カメラシステム |
WO2019057897A1 (en) | 2017-09-22 | 2019-03-28 | Ams Ag | CALIBRATION METHOD OF FLIGHT TIME SYSTEM AND FLIGHT TIME TYPE SYSTEM |
US20190250258A1 (en) | 2018-02-14 | 2019-08-15 | Raytheon Company | Compact test range for active optical target detectors |
JP2019152580A (ja) | 2018-03-05 | 2019-09-12 | 日立建機株式会社 | 路面状態検出装置 |
JP2019194074A (ja) | 2018-04-27 | 2019-11-07 | 新明和工業株式会社 | 作業車両 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6027631A (ja) | 1983-07-26 | 1985-02-12 | 清水建設株式会社 | コンクリート類の耐熱補強剤 |
JP4402400B2 (ja) * | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
US7471376B2 (en) * | 2006-07-06 | 2008-12-30 | Canesta, Inc. | Method and system for fast calibration of three-dimensional (3D) sensors |
WO2018194682A1 (en) * | 2017-04-21 | 2018-10-25 | Hewlett-Packard Development Company, L.P. | Sensors calibration |
-
2020
- 2020-03-19 JP JP2020049592A patent/JP7417859B2/ja active Active
-
2021
- 2021-03-18 EP EP21163401.9A patent/EP3882659A1/en active Pending
- 2021-03-18 US US17/204,984 patent/US20210293942A1/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008256504A (ja) | 2007-04-04 | 2008-10-23 | Nikon Corp | 形状測定装置 |
JP2012225111A (ja) | 2011-04-22 | 2012-11-15 | Kajima Corp | 建設車両周辺の作業者検出装置 |
US20130175435A1 (en) | 2012-01-09 | 2013-07-11 | Stmicroelectronics (Grenoble 2) Sas | Device for detecting an object using spad photodiodes |
WO2014208018A1 (ja) | 2013-06-26 | 2014-12-31 | パナソニックIpマネジメント株式会社 | 測距システム |
JP2015028469A (ja) | 2013-06-27 | 2015-02-12 | 株式会社リコー | 測距装置、車両、測距装置の校正方法 |
JP2015169583A (ja) | 2014-03-07 | 2015-09-28 | 株式会社リコー | 校正方法、校正装置及びプログラム |
JP2017062198A (ja) | 2015-09-25 | 2017-03-30 | 富士重工業株式会社 | 幾何歪除去再現装置 |
WO2018042954A1 (ja) | 2016-08-29 | 2018-03-08 | 日立オートモティブシステムズ株式会社 | 車載カメラ、車載カメラの調整方法、車載カメラシステム |
WO2019057897A1 (en) | 2017-09-22 | 2019-03-28 | Ams Ag | CALIBRATION METHOD OF FLIGHT TIME SYSTEM AND FLIGHT TIME TYPE SYSTEM |
US20190250258A1 (en) | 2018-02-14 | 2019-08-15 | Raytheon Company | Compact test range for active optical target detectors |
JP2019152580A (ja) | 2018-03-05 | 2019-09-12 | 日立建機株式会社 | 路面状態検出装置 |
JP2019194074A (ja) | 2018-04-27 | 2019-11-07 | 新明和工業株式会社 | 作業車両 |
Also Published As
Publication number | Publication date |
---|---|
EP3882659A1 (en) | 2021-09-22 |
US20210293942A1 (en) | 2021-09-23 |
JP2021148643A (ja) | 2021-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7417859B2 (ja) | 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 | |
JP6427984B2 (ja) | 測距装置、車両、測距装置の校正方法 | |
US9335220B2 (en) | Calibration of time-of-flight measurement using stray reflections | |
US10488550B2 (en) | Optoelectronic detection of objects by measurement of angular position to determine relative movement of a deflection unit | |
US9638519B2 (en) | Method for determining a change in distance to a movable and reflective target by means of interferometer to determine if the movement of the reflective target is really executable | |
US6741082B2 (en) | Distance information obtaining apparatus and distance information obtaining method | |
US10488501B2 (en) | Device and method for calibrating a light propagation time camera | |
KR20160111030A (ko) | 거리 측정 장치 및 시차 연산 시스템 | |
US10514447B2 (en) | Method for propagation time calibration of a LIDAR sensor | |
US11252359B1 (en) | Image compensation for sensor array having bad pixels | |
US10864679B2 (en) | Method of manufacturing an optoelectronic sensor | |
CN115066629A (zh) | 用于校准激光雷达传感器的方法 | |
JP2019200184A (ja) | 厚み測定装置及び厚み測定方法 | |
US7764358B2 (en) | Distance measuring system | |
JP6186863B2 (ja) | 測距装置及びプログラム | |
CN102834692B (zh) | 光学位移传感器的调整方法及光学位移传感器的制造方法 | |
JP4862300B2 (ja) | レーザ測距装置 | |
US20220364849A1 (en) | Multi-sensor depth mapping | |
JPH07248374A (ja) | 距離測定装置 | |
JP7316277B2 (ja) | センサシステム | |
US20220260717A1 (en) | Determining a pitch angle position of an active optical sensor system | |
US20110149269A1 (en) | Method and device for measuring the speed of a movable member relative a fixed member | |
US20200200908A1 (en) | Object monitoring system including distance measuring device | |
JP6693757B2 (ja) | 距離画像生成装置および方法 | |
CN111352122B (zh) | 用于检测对象的传感器和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7417859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |