JP6771697B2 - 移動体観測装置及び移動体観測方法 - Google Patents
移動体観測装置及び移動体観測方法 Download PDFInfo
- Publication number
- JP6771697B2 JP6771697B2 JP2020518936A JP2020518936A JP6771697B2 JP 6771697 B2 JP6771697 B2 JP 6771697B2 JP 2020518936 A JP2020518936 A JP 2020518936A JP 2020518936 A JP2020518936 A JP 2020518936A JP 6771697 B2 JP6771697 B2 JP 6771697B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- image
- unit
- wave surface
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 66
- 230000004907 flux Effects 0.000 claims description 128
- 230000003287 optical effect Effects 0.000 claims description 75
- 238000009826 distribution Methods 0.000 claims description 66
- 238000003384 imaging method Methods 0.000 claims description 48
- 239000012141 concentrate Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 description 44
- 238000012545 processing Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 27
- 230000005540 biological transmission Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000007480 spreading Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 238000004441 surface measurement Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
移動体からの光束は、大気の屈折率分布のゆらぎが原因で、光の位相が乱されてしまうために、広がってしまうことがある。
したがって、移動体観測装置は、移動体の観測精度を高めるには、光の位相の等しい面である波面を取得する必要がある。
以下の特許文献1には、波面を計測する波面センサが開示されている。
波面センサは、波面のチルト及び焦点のそれぞれを制御するための機構として、高速ステアリングミラー、結像レンズ及びレンズレットアレイにおけるそれぞれの高速移動を実現する制御機構を備えている。
したがって、従来の移動体観測装置は、制御機構の制御精度によっては、波面センサにおける波面の計測精度が劣化してしまうことがあるため、波面センサを実装していても、移動体の観測精度が劣化してしまうことがあるという課題があった。
図1は、実施の形態1による移動体観測装置を示す構成図である。
図2は、実施の形態1による移動体観測装置の波面計測部15を示す構成図である。
図1及び図2において、移動体1は、大気の外、あるいは、大気中に存在している天体などの物体である。
移動体1に反射された光束又は移動体1から送信された光束は、大気の屈折率分布のゆらぎが原因で、広がってしまった光束2であり、光束2は、望遠鏡装置10に入射される。
望遠鏡装置10は、結像光学系11、光束分割部12、強度画像取得部13、リレー光学系14、波面計測部15及び指向装置16を備えている。
結像光学系11は、入射された光束2を集光する光学系である。
光束分割部12は、例えば、ビームスプリッタによって実現される。
光束分割部12は、結像光学系11により集光された光束2の光量又は波長を2つに分割することで、光束2を2つに分割する。
光束分割部12は、分割後の一方の光束2を強度画像取得部13に出力し、分割後の他方の光束2をリレー光学系14に出力する。
強度画像取得部13は、光束分割部12から出力された光束2から、移動体1の像を検出し、移動体1の像を示す強度画像を画像変形部41に出力する。
リレー光学系14は、波面計測部15のレンズアレイ23において、光束分割部12から出力された光束2のピントが合うように、レンズアレイ23を結像光学系11の瞳と光学的に等価とする光学系である。
空間分割部21は、遮光部22及びレンズアレイ23を備えている。
空間分割部21は、リレー光学系14から出力された光束2を複数の空間領域の光束2aに分割し、複数の空間領域の光束2aを光検出器25の受光面25a(図8又は図9を参照)に集光する。
遮光部22は、リレー光学系14から出力された光束2を部分的に遮光することで、光束2を複数の空間領域の光束2aに分割する。
レンズアレイ23は、複数のレンズ23a(図6から図9を参照)を含んでおり、それぞれのレンズ23aがそれぞれの空間領域の光束2aを光検出器25の受光面25aに集光する。
光検出器25は、例えば、イメージセンサによって実現される。
光検出器25は、シャッタ24を通過してきた複数の空間領域の光束2aのそれぞれを受光する受光面25aを有している。
光検出器25は、受光面25aで受光されるそれぞれの光束2aから、移動体1の像として、集光スポット像を検出し、それぞれの集光スポット像を示す強度画像を波面推定部26及び移動体復元部42に出力する。
波面推定部26は、光検出器25から出力された強度画像が示す複数の集光スポット像の位置から、結像光学系11の開口における光束の波面を推定する処理を実施する。
即ち、波面推定部26は、複数の集光スポット像の位置から、結像光学系11の開口における光束2の波面の概算値を算出する。
指向装置16は、制御装置49から出力された制御信号に従って結像光学系11の指向方向を変更する装置である。
レーダ装置30は、送受信部31、距離画像取得部32及び指向装置33を備えている。
送受信部31は、アンテナ、変調器、復調器及び無線機などによって実現される。
送受信部31は、マイクロ波又はミリ波などのレーダ波を移動体1に向けて送信する一方、移動体1に反射されたレーダ波を反射波として受信する。
距離画像取得部32は、送受信部31からレーダ波が送信されてから、反射波を受信するまでの時間に基づいて、移動体1までの距離を示す距離画像を生成し、距離画像を画像変形部41に出力する処理を実施する。
指向装置33は、制御装置49から出力された制御信号に従って送受信部31の指向方向を変更する装置である。
画像変形部41は、パーソナルコンピュータなどの計算機、あるいは、画像変形回路などによって実現される。
画像変形部41は、距離画像取得部32から出力された距離画像が、強度画像取得部13から出力された強度画像と整合するように、距離画像を変形し、変形後の距離画像を移動体復元部42に出力する処理を実施する。
移動体復元部42は、画像変形部41から出力された変形後の距離画像から、移動体1が存在している領域を検出する処理を実施する。
移動体復元部42は、強度画像取得部13から出力された強度画像のうち、移動体1が存在している領域内の画像と、光検出器25から出力された強度画像が示す複数の集光スポット像あるいは波面推定部26により推定された波面とから、移動体1の輝度分布を推定する処理を実施する。
記録装置43は、例えば、記録処理回路によって実現される。
記録装置43は、波面推定部26により推定された波面及び移動体復元部42により推定された移動体1の輝度分布などを記録する装置である。
カウンタ45は、時刻校正部44により校正されたクロックの時刻が或る時刻になると、或る時刻からの経過時間を計測する。
軌道情報記録部46は、移動体1の軌道を示す軌道情報などを記録している。
軌道計算部47は、パーソナルコンピュータなどの計算機、あるいは、軌道計算回路などによって実現される。
軌道計算部47は、軌道情報記録部46に記録されている軌道情報に基づいて、移動体1が存在している将来の時刻の位置を予測する処理を実施する。
計画装置48は、軌道計算部47により予測された位置に基づいて、将来の時刻における結像光学系11の指向方向及び送受信部31の指向方向などを計算する装置である。
制御装置49は、パーソナルコンピュータなどの計算機によって実現される。
制御装置49は、カウンタ45により計測された経過時間及び計画装置48の計算結果に基づいて、結像光学系11の指向方向を示す制御信号を指向装置16に出力するとともに、送受信部31の指向方向を示す制御信号を指向装置33に出力する。
また、制御装置49は、カウンタ45により計測された経過時間に基づいて、強度画像取得部13、波面計測部15、距離画像取得部32及び画像変形部41のそれぞれを制御する装置である。
また、記録処理回路は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、DVD(Digital Versatile Disc)が該当する。
図3において、図1及び図2と同一符号は同一又は相当部分を示すので説明を省略する。
筐体51は、結像光学系11、光束分割部12、強度画像取得部13、リレー光学系14、空間分割部21、シャッタ24及び光検出器25を実装している。
筐体52は、波面推定部26、距離画像取得部32、画像変形部41、移動体復元部42、記録装置43、時刻校正部44、カウンタ45、軌道情報記録部46、軌道計算部47、計画装置48及び制御装置49を実装している。
地球の大気は、酸素、窒素及び水蒸気などの媒質によって構成されており、レンズなどの光学部品と同様に、光が透過する。
酸素等の媒質は、温度の変化及び気圧の変化に伴って屈折率が変動するため、地球の大気を透過する光の位相分布は、温度の変化及び気圧の変化に伴って変化する。光は、電磁波であるため、光の位相分布は、波面として捉えることが可能である。
媒質の屈折率の変化自体は小さいが、光が伝搬される光路が長くなると、屈折率の変化は、光の波長と比較して、無視できない大きさとなるため、波面の推定においては、大気のゆらぎの影響を強く受ける。
また、地上の大気は、太陽からの輻射の影響及び熱輸送の影響を受けるとともに、地球の自転の影響を受けるため、地上と上空の間には、大気の層が形成される。大気の層を透過してくる光の波面は、複雑に乱れる。
一方、レーダ装置30により送受信されるレーダ波は、大気ゆらぎの影響をほとんど受けない。
図4において、図1及び図3と同一符号は同一又は相当部分を示している。
図4では、移動体1は、照明光源60である太陽からの光が照射されている。
移動体1により反射された太陽光である波長λ1の反射光は、地上と上空の間の大気層を透過して、望遠鏡装置10に到達する。図4は、地上と上空の間に2つの大気層がある例を示しており、101は第1の大気層、102は第2の大気層である。
結像光学系11が、入射された波長λ1の光束2を光検出器25の受光面25aに集光することで、光検出器25の受光面25aには、移動体1の像が形成される。
光束2が第1の大気層101及び第2の大気層102を透過する際に波面が乱されるため、移動体1の像は、仮に移動体1が点とみなせる物体であっても、広がってしまう。
したがって、結像光学系11の収差を要因とする移動体1の像の広がり及び光検出器25の分解能を要因とする移動体1の像の広がりを除外すれば、移動体1の像の広がりの要因は、大気ゆらぎである。移動体1が、広がりを有する物体である場合、結像光学系11の収差及び光検出器25の分解能を要因とする広がりを除外すれば、移動体1の像の広がりは、物体自体の広がりと、大気ゆらぎによる広がりで表される。数学的には物体自体の広がりが、波面が等しいとみなせる角度範囲及びアイソプラナテック角を満たす場合、像1の広がりは物体自体の広がりと大気揺らぎによる広がりの畳み込みで表される。
以上より、光検出器25により検出された複数の集光スポット像のそれぞれは、大気ゆらぎによって広がっており、複数の集光スポット像を示す強度画像は、図4に示すような強度画像62となる。
図4において、61は、望遠鏡装置10及びレーダ装置30から、移動体1を見たときの移動体1の形状を示している。
図4において、L1,L2,L3のそれぞれは、移動体1におけるそれぞれの部位までの距離を示している。
レーダ装置30は、移動体1におけるそれぞれの部位までの距離を算出することで、図4に示すような距離画像63を得ることができる。
波長λ2のレーダ波は、大気ゆらぎの影響をほとんど受けないため、距離画像63は、大気ゆらぎによる像の広がりが生じていない画像となっている。
図5は、図1に示す移動体観測装置の処理手順である移動体観測方法を示すフローチャートである。
指向装置16は、移動体1が望遠鏡装置10と相対的に移動している場合でも、結像光学系11が、移動体1に反射された光束2又は移動体1から送信された光束2を集光することができるようにするため、結像光学系11の指向方向を変更する。
指向装置33は、移動体1がレーダ装置30と相対的に移動している場合でも、送受信部31が、移動体1からの反射波を受信することができるようにするため、送受信部31の指向方向を変更する。
例えば、移動体1が恒星である場合、移動体1は、日周運動によって、1秒間に15秒角(=15/3600度)ほど、移動する。したがって、移動体1の追尾を可能にするには、指向装置16及び指向装置33のそれぞれが、指向方向を秒角精度で制御できる必要がある。
カウンタ45は、時刻校正部44により校正されたクロックの時刻が或る時刻になると、或る時刻からの経過時間を計測する。
計画装置48は、軌道計算部47により予測された位置に基づいて、将来の時刻における結像光学系11の指向方向及び送受信部31の指向方向などを計算する。
移動体1の予測位置から指向方向を計算する処理自体は、公知の技術であるため詳細な説明を省略する。
また、制御装置49は、カウンタ45により計測された経過時間と、計画装置48により計算された将来の時刻における送受信部31の指向方向とに基づいて、送受信部31の指向方向を示す制御信号を指向装置33に出力する。
指向装置16は、制御装置49から出力された制御信号に従って結像光学系11の指向方向を変更する。
指向装置33は、制御装置49から出力された制御信号に従って送受信部31の指向方向を変更する。
光束分割部12は、結像光学系11により集光された光束2の光量等を2つに分割することで、光束2を2つに分割する。
光束分割部12は、分割後の一方の光束2を強度画像取得部13に出力し、分割後の他方の光束2をリレー光学系14に出力する。
強度画像取得部13から画像変形部41に出力される強度画像には、移動体1の像の検出時刻を示す時刻情報が付加されている。
リレー光学系14は、空間分割部21のレンズアレイ23を結像光学系11の瞳と光学的に等価とする光学系であり、光束分割部12から光束2を受けると、光束2を空間分割部21の遮光部22に出力する。
即ち、遮光部22は、リレー光学系14から光束2を受けると、光束2を部分的に遮光することで、光束2を複数の空間領域の光束2aに分割する。
遮光部22は、複数の空間領域の光束2aをレンズアレイ23に出力する。
レンズアレイ23に含まれているそれぞれのレンズ23aは、遮光部22からそれぞれの空間領域の光束2aを受けると、それぞれの空間領域の光束2aを光検出器25の受光面25aに集光する。
光検出器25での光束2aの露光時間がコヒーレンス時間よりも長くなると、大気の状態が変わるため、光検出器25により検出される移動体1の像の広がりが大きくなる。コヒーレンス時間は一般に1〜10ms程度である。
移動体1が高速で移動している場合、制御装置49は、光検出器25での光束2aの露光時間がコヒーレンス時間よりも短くなるように、シャッタ24における光束2aの通過時間を制御する。
制御装置49が、上記のように、シャッタ24における光束2aの通過時間を制御する場合、光検出器25により受光される光束2aの光量が少なくなってしまうことがある。光束2aの光量が少なくなってしまう場合、制御装置49が、シャッタ24において、光束2aの通過と遮光が複数回繰り返されるように制御することで、光検出器25が、複数回、移動体1の像を検出できるようにする。
ここで、図6は、光検出器25により検出される移動体1の像を示す説明図である。
図6は、地上と上空の間に3つの大気層がある例を示しており、101は第1の大気層、102は第2の大気層、103は第3の大気層である。
図6では、結像光学系11及びリレー光学系14による光束の変化を省略している。
レンズアレイ23に含まれているそれぞれのレンズ23aが、それぞれの空間領域の光束2aを光検出器25の受光面25aに集光することで、光検出器25の受光面25aには、空間領域の個数分だけ、移動体1の像104が形成される。
光検出器25の受光面25aに形成される複数の像104は、大気のゆらぎを要因とする広がりを持っており、波面の推定に用いることができる。
光束4、光束5及び光束6のそれぞれは、移動体1に反射された光束又は移動体1から送信された光束である。光束4、光束5及び光束6は、途中の大気層の揺らぎの寄与が互いに異なっており、光束4の伝搬経路、光束5の伝搬経路及び光束6の伝搬経路は、互いに異なっている。
レンズアレイ23によって、光検出器25の受光面25aに集光される複数の空間領域の光束2aが、光束4、光束5及び光束6のそれぞれであるとみなすと、受光面25aには、光束4、光束5及び光束6のそれぞれによって移動体1の像105が形成される。
光検出器25の受光面25aに形成される複数の像105は、大気のゆらぎを要因とする広がりを持っており、波面の推定に用いることができる。
図8は、光束2が進行方向に対して広がらずに伝搬されている例を示し、図9は、光束2が進行方向に対して広がりながら伝搬されている例を示している。
図8及び図9において、105aは、光束2が進行方向に対して広がらずに伝搬されている場合の移動体1の像であり、105bは、光束2が進行方向に対して広がりながら伝搬されている場合の移動体1の像である。
光束2が進行方向に対して広がらずに伝搬されている場合、図8に示すように、レンズアレイ23のそれぞれのレンズ23aにより集光される移動体1の像105aの位置は、遮光部22により分割された複数の空間領域のそれぞれの位置と一致している。
光束2が進行方向に対して広がりながら伝搬されている場合、図9に示すように、レンズアレイ23のそれぞれのレンズ23aにより集光される移動体1の像105bの位置は、遮光部22により分割された複数の空間領域のそれぞれの位置とずれている。
波面106aは、移動体1の複数の像105aの位置から求められ、波面106bは、移動体1の複数の像105bの位置から求められる。
図8及び図9では、遮光部22において、光束2が遮光される遮光領域、即ち、光束2が透過する透過領域以外の領域が、黒く塗られている例を示している。しかし、遮光部22において、遮光領域は、不要な光を透過させなければよく、黒以外の色が塗られていてもよい。
また、遮光部22において、遮光領域は、不要な光を吸収する着色又は加工が施されていてもよいし、不要な光を散乱する着色又は加工が施されていてもよい。
図10は、波面推定部26の処理手順を示すフローチャートである。
以下、図10を参照しながら、波面推定部26の処理内容を具体的に説明する。
複数の集光スポット像の位置から、波面の概算値を算出する処理自体は、公知の技術であるため詳細な説明を省略する。
複数の集光スポット像の位置から波面を推定する方法は、例えば、以下の非特許文献1に開示されている。
[非特許文献1]国立天文台報 vol.2 No.2
そして、波面推定部26は、N枚の強度画像のうち、n(n=1,2,・・・,N)枚目の強度画像が示す複数の集光スポット像の位置から、波面の概算値を算出しているものとする。
なお、移動体1が点像である場合、あるいは、移動体1が点像と近似できる場合、集光スポット像の位置として、点像の重心の位置を求める態様が考えられる。
また、移動体1が広がりのある物体である場合、波面は、複数の集光スポット像の間隔又は複数の集光スポット像の相対位置から求めることができる。したがって、集光スポット像の位置として、複数の集光スポット像の相互相関又は複数の集光スポット像の特徴的な位置の間隔を求める態様が考えられる。
波面推定部26は、以下の式(1)に示すように、結像光学系11の開口における光束2の波面の位相Φn(u,v)の初期値として、位相Φ0,nを用いることで、概算値よりも高精度な波面を推定する。(u,v)は、瞳空間の座標である。
以下、高精度な波面の推定処理を説明する前に、高精度な波面の推定処理の原理及び移動体1の輝度分布推定処理の原理を説明する。
M0(u,v)は、結像光学系11の開口である。
M1(u,v)、M2(u,v)、・・・、MM(u,v)のそれぞれは、複数の空間領域におけるそれぞれの開口である。MM(u,v)における添え字のMは、2以上の整数であり、例えば、m=1,2,・・・,Mである。
波面収差と瞳上の振幅分布で表される瞳関数Gm,n(u,v)は、以下の式(2)に示すように、n枚目の強度画像に対応する、結像光学系11の開口における光束2の波面の位相Φn(u,v)と、開口Mm(u,v)とで表される。
開口Mm(u,v)は、既知であり、位相Φn(u,v)の初期値は、概算値である波面の位相Φ0,nであるため、瞳関数Gm,n(u,v)は、位相Φn(u,v)と開口Mm(u,v)から算出される。
式(4)において、F−1は、逆フーリエ変換を表す記号である。
点像強度分布を示す点広がり関数km,n(x,y)は、以下の式(5)に示すように、振幅広がり関数am,n(u,v)と、振幅広がり関数am,n(u,v)の複素共役との積で表される。(x,y)は、実空間の座標である。
移動体1の輝度分布o(p,q)は、移動体1に反射される光束2の強度又は移動体1から送信される光束2の強度である。
式(6)における畳み込み積分を“*”の記号で表記すると、式(6)は、以下の式(7)で表される。
一般的には、移動体1の像im,n(x,y)は、点広がり関数km,n(x,y)と、移動体1の輝度分布o(p,q)との畳み込み積分で得られるが、式(6)及び式(7)には、光検出器25で生じるノイズem,n(x,y)が付加されている。
式(8)において、点広がり関数km,n(x,y)は、式(2)、式(4)及び式(5)から得られる。したがって、式(8)において、未知の値は、移動体1の輝度分布o(p,q)のみである。
移動体1の輝度分布o(p,q)は、差分の二乗和eが最小になるo(p,q)を探索することで求まる。
したがって、時刻tが変わることで、移動体1の相対位置が変わる。
時刻tが変わる回数と、波面推定部26が得る強度画像の枚数であるフレーム数とは、同じである必要はないが、フレーム数が例えば10であれば、10点の時刻の強度画像が得られることになるため、フレームの番号は、時刻の番号と対応する。
ここでは、移動体1の輝度分布o(p,q)は、フレームに依存しておらず、変化していないものとする。ただし、波面は、フレーム毎に、変化しているものとする。
以下の式(9)は、式(8)がフーリエ変換されたものであり、式(8)に示す差分の二乗和eが、位相空間での差分の二乗和Eになっている。
式(9)において、Im,n(u,v)は、im,n(x,y)のスペクトルであり、以下の式(10)のように表される。
式(9)において、O(u,v)は、o(p,q)のスペクトルであり、以下の式(11)のように表される。
光検出器25で生じるノイズem,n(x,y)があるために、O(u,v)=im,n(u,v)/Km,n(u,v)のように表現することができないので、式(11)のように、表されている。
式(11)において、γは、解の安定化のために導入している係数である。
Km,n(u,v)は、瞳関数Gm,n(u,v)の自己相関であり、以下の式(12)で表される。Km,n(u,v)は、規格化されていないが、光学伝達関数である。
式(13)に示す差分の二乗和Eは、開口Mm(p,q)と、位相Φn(p,q)と、移動体1の像im,n(x,y)のスペクトルIm,n(u,v)とで表されており、未知である移動体1の輝度分布o(p,q)のスペクトルO(u,v)に依存していない。
波面Wn(u,v)は、以下の式(14)に示す差分の二乗和Errが最小になる位相Φn(u,v)を求めれば、式(2)よって推定することができる。
移動体1の輝度分布o(p,q)が実空間で0よりも大きい実数であるという制約を与えるには、実空間における差分の二乗和eを示す式(8)に対して、さらに制約を与えればよい。
以下の式(15)は、実空間における差分rm,n(x,y)を示している。
読み出しノイズは、正規分布に従い、中央値が0で、標準偏差がσであるとする。ショットノイズは、取得したフレームの輝度分布に比例する。
したがって、式(15)をノイズで規格化すると、式(16)のようになる。
ノイズに対する実空間における差分rm,n(x,y)の比が、1よりも大きければ、ずれが大きく、1であれば、ずれがなく、1よりも小さければ、ずれが小さいことを意味する。
式(17)において、dm(x,y)は、差分rm,n(x,y)に与える重みであり、例えば、ずれが大きいフレームは、信頼度が低いので、小さい重みが与えられる。
また、実空間上において、計算する領域の重みを1、計算を省略する領域の重みを0として、計算量を減らすことが可能である。
以上が、波面の推定処理の原理及び移動体1の輝度分布推定処理の原理である。
波面推定部26は、式(2)、式(4)及び式(5)を算出することで、点像強度分布を示す点広がり関数km,n(x,y)を算出する(図10のステップST12)。
波面推定部26は、点広がり関数km,n(x,y)及び移動体1の像im,n(x,y)のそれぞれをフーリエ変換することで、光学伝達関数Km,n(u,v)及び移動体1の像im,n(x,y)のスペクトルIm,n(u,v)を得る(図10のステップST13)。
波面推定部26は、差分の二乗和Errを算出すると、位相の探索処理が収束しているか否かを判定する(図10のステップST15)。
位相の探索処理の収束判定として、例えば、算出した差分の二乗和Errが事前に設定されている第1の許容誤差以下であれば、収束していると判定する方法がある。収束していると判定したときの算出した差分の二乗和Errは、最小の二乗和Errである。第1の許容誤差は、例えば、波面推定部26の内部メモリ又は記録装置43に格納されているものとする。
また、位相の探索処理の収束判定として、例えば、位相Φn(u,v)を変更しながら、事前に設定された回数だけ差分の二乗和Errを算出し、算出した二乗和Errの中で、最小の二乗和Errを特定したら、収束していると判定する方法がある。
波面推定部26は、ステップST12〜ST15の処理を再度実施する。
変更後の位相Φn(u,v)は、未だ式(2)に設定していない位相であれば、どのような位相でもよいが、差分の二乗和Errが小さくなるような位相であることが望ましい。
波面推定部26は、位相の探索処理が収束していれば(図10のステップST15:YESの場合)、位相の探索処理を終了する。
推定された波面Wn(u,v)は、ステップST11で算出された概算値としての波面よりも高精度な波面である。
波面推定部26は、波面Wn(u,v)を記録装置43に出力する。波面推定部26から記録装置43に出力される波面Wn(u,v)には、波面Wn(u,v)の算出時刻を示す時刻情報が付加されている。
また、波面推定部26は、最小の二乗和Errが算出された位相Φn(u,v)に対応する点広がり関数km,n(x,y)を移動体復元部42に出力する。波面推定部26から移動体復元部42に出力される点広がり関数km,n(x,y)には、点広がり関数km,n(x,y)の算出時刻を示す時刻情報が付加されている。
ここでは、波面推定部26が、点広がり関数km,n(x,y)を移動体復元部42に出力しているが、波面Wn(u,v)を移動体復元部42に出力するようにしてもよい。
以下、レーダ装置30による距離画像の生成処理を具体的に説明する。
送受信部31は、マイクロ波又はミリ波などのレーダ波を移動体1に向けて送信するとともに、レーダ波を距離画像取得部32に出力する。
送受信部31は、移動体1に反射されたレーダ波を反射波として受信し、反射波を距離画像取得部32に出力する。
レーダ装置30から移動体1までの距離は、レーダ装置30がレーダ波を送信してから、反射波を受信するまでの時間に正比例する。
距離画像取得部32は、計測した時間に基づいて、移動体1までの距離を示す距離画像を生成し、距離画像を画像変形部41に出力する。
計測時間に基づいて距離画像を生成する処理自体は、公知の技術であるため詳細な説明を省略する。
距離画像取得部32から画像変形部41に出力される距離画像には、距離画像の生成時刻を示す時刻情報が付加されている。
以下、画像変形部41による距離画像の変形処理を具体的に説明する。
まず、画像変形部41は、強度画像取得部13から異なる時刻の強度画像を順次取得し、距離画像取得部32から異なる時刻の距離画像を順次取得する。
画像変形部41は、例えば、生成時刻tcの距離画像の変形処理を行う場合、取得した複数の強度画像の中から、検出時刻tdが生成時刻tcと最も近い強度画像を選択する。
望遠鏡装置10のステータス情報は、結像光学系11の指向方向及び強度画像の縮尺などを示す情報である。
レーダ装置30のステータス情報は、送受信部31の指向方向及び距離画像の縮尺などを示す情報である。
画像変形部41は、結像光学系11の指向方向を参照して、強度画像の向きを確認し、送受信部31の指向方向を参照して、距離画像の向きを確認する。
画像変形部41は、生成時刻tcの距離画像の向きが、選択した強度画像の向きと一致するように、距離画像を回転等させるアフィン変換処理などを実施する。
また、画像変形部41は、アフィン変換処理などを実施した距離画像の縮尺が、選択した強度画像の縮尺と一致するように、当該距離画像の拡大処理又は当該距離画像の縮小処理を実施する。
また、画像変形部41が、距離画像取得部32から出力された距離画像が、強度画像取得部13から出力された強度画像と整合するように、距離画像を変形している。しかし、これは一例に過ぎず、画像変形部41が、距離画像取得部32から出力された距離画像が、光検出器25から出力された強度画像と整合するように、距離画像を変形するものであってもよい。
ここでは、移動体復元部42が、点広がり関数km,n(x,y)を用いて、移動体1の輝度分布o(p,q)を推定しているが、波面推定部26から出力された波面Wn(u,v)を用いて、移動体1の輝度分布o(p,q)を推定するようにしてもよい。
移動体復元部42は、距離画像と、強度画像と、複数の集光スポット像あるいは算出した点広がり関数km,n(x,y)とから、移動体1の輝度分布o(p,q)を推定する。
図12は、移動体復元部42の処理手順を示すフローチャートである。
図13は、移動体復元部42による移動体1の輝度分布推定処理を示す説明図である。
図13において、距離画像111は、画像変形部41から出力された変形後の距離画像である。
強度画像112は、強度画像取得部13から出力された強度画像である。
即ち、移動体復元部42は、距離画像111から、移動体1の輪郭を抽出する輪郭抽出処理を実施する。輪郭抽出処理自体は、公知の技術であるため詳細な説明を省略する。
移動体復元部42は、抽出した輪郭の内側の領域を移動体1が存在している領域とし、輪郭の外側の領域を移動体1が存在していない領域とする。
処理対象領域は、移動体1が存在している領域を包含する領域であり、処理対象領域は、移動体1が存在している領域と一致する領域であってもよいし、移動体1が存在している領域も大きい領域であってもよい。移動体1が存在している領域も大きい領域としては、移動体1の影に対応するマージンだけ、抽出した移動体1の輪郭よりも大きい領域などが考えられる。マージンとしては、例えば、移動体1が存在している領域の約10%の大きさが考えられる。
移動体復元部42は、処理対象領域に含まれている1つ以上の移動体1の像im,n(x,y)の中から、1つの移動体1の像im,n(x,y)を選択する。
移動体復元部42は、選択した移動体1の像im,n(x,y)と、選択した移動体1の像im,n(x,y)に対応する点広がり関数km,n(x,y)とを式(16)に代入して、差分rm,n(x,y)を算出する。
移動体復元部42は、処理対象領域に含まれている1以上の移動体1の像im,n(x,y)をすべて選択して、差分rm,n(x,y)の算出が終了するまで、上記の処理を繰り返し実施する。
また、移動体復元部42は、算出した全ての差分rm,n(x,y)を式(17)に代入して、差分の二乗和eを算出する(図12のステップST24)。
移動体復元部42は、式(17)において、処理対象領域内の差分rm,n(x,y)に対応する重みdm(x,y)を1とし、処理対象領域外の差分rm,n(x,y)に対応する重みdm(x,y)を0とする。
移動体1の輝度分布推定処理の収束判定として、例えば、算出した差分の二乗和eが事前に設定されている第2の許容誤差以下であれば、収束していると判定する方法がある。収束していると判定したときの算出した差分の二乗和eは、最小の二乗和eである。第2の許容誤差は、例えば、移動体復元部42の内部メモリ又は記録装置43に格納されているものとする。
また、移動体1の輝度分布推定処理の収束判定として、例えば、移動体1の輝度分布o(p,q)を変更しながら、事前に設定された回数だけ差分の二乗和eを算出し、算出した二乗和eの中で、最小の二乗和eを特定したら、収束していると判定する方法がある。
変更後の輝度分布o(p,q)は、未だ式(16)に設定していない輝度分布であれば、どのような輝度分布でもよいが、差分の二乗和eが小さくなるような輝度分布であることが望ましい。
移動体復元部42は、移動体1の輝度分布推定処理が収束していれば(図12のステップST25:YESの場合)、移動体1の輝度分布推定処理結果として、最小の二乗和eが算出された移動体1の輝度分布o(p,q)を記録装置43に出力する(図12のステップST27)。
実施の形態1の移動体観測装置では、移動体復元部42が、距離画像111から、移動体1の輪郭を抽出し、輪郭の内側の領域を移動体1が存在している領域としている。
実施の形態2では、移動体復元部70が、距離画像111に含まれている複数の画素の中で、第1の閾値よりも大きく、かつ、第2の閾値よりも小さい距離値を有する画素が集まっている領域を移動体1が存在している領域として検出する移動体観測装置を説明する。
図14において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
移動体復元部70は、パーソナルコンピュータなどの計算機、あるいは、移動体復元回路などによって実現される。
移動体復元部70は、軌道情報記録部46から軌道情報を取得し、軌道情報に基づいて、距離の下限を示す第1の閾値Lref1及び距離の上限を示す第2の閾値Lref2をそれぞれ決定する処理を実施する。
移動体復元部70は、距離画像111に含まれている複数の画素の中で、第1の閾値Lref1よりも大きく、かつ、第2の閾値Lref2よりも小さい距離値を有する画素が集まっている領域を移動体1が存在している領域として検出する処理を実施する。
移動体復元部70は、光検出器25により検出された複数の集光スポット像のうち、移動体1が存在している領域内の集光スポット像と、波面推定部26により推定された波面とから、移動体1の輝度分布を推定する処理を実施する。
まず、移動体復元部70は、軌道情報記録部46から軌道情報を取得する。
移動体1が、地球の軌道を周回している隕石、宇宙ゴミ、人工衛星などである場合、移動体1に対する重力は、主に地球による重力である。
移動体1と地球の2対問題であると仮定すると、移動体1の運動の軌跡は、図15に示すように、二次曲線で表される。移動体1の運動の軌跡は、軌道に相当する。二次曲線は、例えば、法物線、双曲線又は楕円のいずれかである。
図15は、移動体1の軌道を示す説明図である。
ここで、恒星及び彗星などの天体の軌道を示す軌道情報は、既知とする。また、人工衛星及び国際宇宙ステーションなどの移動体の軌道を示す軌道情報も、ここでは既知とする。
図16において、図13と同一符号は同一又は相当部分を示している。
距離画像111において、L1,L2,L3のそれぞれは、図4に示すように、レーダ装置30から移動体1におけるそれぞれの部位までの距離を示している。L1<L2<L3である。
移動体復元部70は、レーダ装置30の位置と移動体1の位置とから、レーダ装置30から移動体1までの距離の概算値を算出する。
移動体復元部70は、移動体1における外形寸法の最大値の1.0〜2.5倍などをαとして、(距離の概算値−α)を第1の閾値Lref1に設定し、(距離の概算値+α)を第2の閾値Lref2に設定する。この設定は、一例に過ぎず、第1の閾値Lref1及び第2の閾値Lref2は、他の方法で設定してもよいことは言うまでもない。
移動体1における外形寸法の最大値は、例えば、移動体1が横長の物体であれば、移動体1の横寸法であり、例えば、移動体1が縦長の物体であれば、移動体1の縦寸法である。
ここでは、説明の便宜上、Lref1<L1<L2<L3<Lref2であるものとする。
移動体復元部70は、特定した領域の内側の領域を移動体1が存在している領域とし、特定した領域の外側の領域を移動体1が存在していない領域とする。
処理対象領域は、移動体1が存在している領域を包含する領域であり、処理対象領域は、移動体1が存在している領域と一致する領域であってもよいし、移動体1が存在している領域も大きい領域であってもよい。移動体1が存在している領域も大きい領域としては、移動体1の影に対応するマージンだけ、抽出した移動体1の輪郭よりも大きい領域などが考えられる。
Claims (7)
- 移動体に反射された光束又は前記移動体から送信された光束を集光する結像光学系と、
前記結像光学系により集光された光束を複数の空間領域の光束に分割し、前記複数の空間領域の光束のそれぞれを集光する空間分割部と、
前記空間分割部により集光されたそれぞれの光束から、前記移動体の像として、集光スポット像を検出する光検出器と、
前記光検出器により検出された複数の集光スポット像の位置から、前記結像光学系の開口における光束の波面を推定する波面推定部と、
前記移動体に反射されたレーダ波を受信し、前記レーダ波に基づいて前記移動体までの距離を示す距離画像を生成するレーダ装置と、
前記レーダ装置により生成された距離画像から、前記移動体が存在している領域を検出し、前記光検出器により検出された複数の集光スポット像のうち、前記移動体が存在している領域内の集光スポット像と、前記波面推定部により推定された波面とから、前記移動体の輝度分布を推定する移動体復元部と
を備えた移動体観測装置。 - 前記結像光学系により集光された光束から、前記移動体の像を検出し、前記移動体の像を示す強度画像を出力する強度画像取得部を備え、
前記レーダ装置により生成された距離画像が前記強度画像と整合するように、前記距離画像を変形し、変形後の距離画像を前記移動体復元部に出力する画像変形部を備えたことを特徴とする請求項1記載の移動体観測装置。 - 前記レーダ装置により生成された距離画像が前記光検出器により検出された複数の集光スポット像を示す強度画像と整合するように、前記距離画像を変形し、変形後の距離画像を前記移動体復元部に出力する画像変形部を備えたことを特徴とする請求項1記載の移動体観測装置。
- 前記移動体復元部は、前記レーダ装置により生成された距離画像から、前記移動体の輪郭を抽出し、前記輪郭の内側の領域を前記移動体が存在している領域として検出することを特徴とする請求項1記載の移動体観測装置。
- 前記移動体復元部は、
前記移動体の軌道を示す軌道情報に基づいて、距離の下限を示す第1の閾値及び距離の上限を示す第2の閾値をそれぞれ決定し、
前記距離画像に含まれている複数の画素の中で、前記第1の閾値よりも大きく、かつ、前記第2の閾値よりも小さい距離値を有する画素が集まっている領域を前記移動体が存在している領域として検出することを特徴とする請求項1記載の移動体観測装置。 - 前記波面推定部は、前記光検出器により検出された複数の集光スポット像の位置から、前記結像光学系の開口における光束の波面の概算値を算出し、前記概算値を用いて、前記複数の集光スポット像の点像強度分布を算出し、前記点像強度分布と前記複数の集光スポット像とから、前記波面を推定することを特徴とする請求項1記載の移動体観測装置。
- 結像光学系が、移動体に反射された光束又は前記移動体から送信された光束を集光し、
空間分割部が、前記結像光学系により集光された光束を複数の空間領域の光束に分割して、前記複数の空間領域の光束のそれぞれを集光し、
光検出器が、前記空間分割部により集光されたそれぞれの光束から、前記移動体の像として、集光スポット像を検出し、
波面推定部が、前記光検出器により検出された複数の集光スポット像の位置から、前記結像光学系の開口における光束の波面を推定し、
レーダ装置が、前記移動体に反射されたレーダ波を受信し、前記レーダ波に基づいて前記移動体までの距離を示す距離画像を生成し、
移動体復元部が、前記レーダ装置により生成された距離画像から、前記移動体が存在している領域を検出し、前記光検出器により検出された複数の集光スポット像のうち、前記移動体が存在している領域内の集光スポット像と、前記波面推定部により推定された波面とから、前記移動体の輝度分布を推定する
移動体観測方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/019366 WO2019220639A1 (ja) | 2018-05-18 | 2018-05-18 | 移動体観測装置及び移動体観測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6771697B2 true JP6771697B2 (ja) | 2020-10-21 |
JPWO2019220639A1 JPWO2019220639A1 (ja) | 2020-12-10 |
Family
ID=68540275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020518936A Active JP6771697B2 (ja) | 2018-05-18 | 2018-05-18 | 移動体観測装置及び移動体観測方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6771697B2 (ja) |
WO (1) | WO2019220639A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5610707A (en) * | 1995-07-07 | 1997-03-11 | Lockheed Missiles & Space Co., Inc. | Wavefront sensor for a staring imager |
US7551121B1 (en) * | 2004-03-12 | 2009-06-23 | Oceanit Laboratories, Inc. | Multi-target-tracking optical sensor-array technology |
US7405834B1 (en) * | 2006-02-15 | 2008-07-29 | Lockheed Martin Corporation | Compensated coherent imaging for improved imaging and directed energy weapons applications |
US8259212B2 (en) * | 2009-01-05 | 2012-09-04 | Applied Quantum Technologies, Inc. | Multiscale optical system |
US8873168B2 (en) * | 2010-12-17 | 2014-10-28 | The Johns Hopkins University | System and method of solar flux concentration for orbital debris remediation |
US9305378B1 (en) * | 2014-12-17 | 2016-04-05 | The Boeing Company | Lenslet, beamwalk and tilt diversity for anisoplanatic imaging by large-aperture telescopes |
-
2018
- 2018-05-18 JP JP2020518936A patent/JP6771697B2/ja active Active
- 2018-05-18 WO PCT/JP2018/019366 patent/WO2019220639A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019220639A1 (ja) | 2019-11-21 |
JPWO2019220639A1 (ja) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9759605B2 (en) | Low-orbit satellite-borne image-spectrum associated detection method and payload | |
JP6570991B2 (ja) | 大口径望遠鏡における、非同一平面上の(anisoplanatic)画像形成のためのレンズレット、ビームウォーク(beamwalk)、及びチルトの多様化 | |
US7957608B2 (en) | Image correction across multiple spectral regimes | |
US20070077071A1 (en) | System for measuring atmospheric turbulence | |
US20100278387A1 (en) | Passive Electro-Optical Tracker | |
US5350911A (en) | Wavefront error estimation derived from observation of arbitrary unknown extended scenes | |
JP6509456B1 (ja) | 波面計測装置、波面計測方法及び移動体観測装置、移動体観測方法 | |
Saha | Modern optical astronomy: technology and impact of interferometry | |
JP6632468B2 (ja) | 移動体検出装置、観測システム及び移動体検出方法 | |
JP6771697B2 (ja) | 移動体観測装置及び移動体観測方法 | |
US11994365B2 (en) | Projectile tracking and 3D traceback method | |
Rodríguez-Ramos et al. | Wavefront and distance measurement using the CAFADIS camera | |
Marquis | High-performance adaptive optics control for the Gran Telescopio Canarias | |
US20230055616A1 (en) | Rayleigh-raman polychromatic laser guide star | |
JP6494885B1 (ja) | 波面計測装置、波面計測方法及び移動体観測装置、移動体観測方法 | |
Rodríguez-Ramos et al. | The plenoptic camera as a wavefront sensor for the European Solar Telescope (EST) | |
Kudak et al. | QHY-174M-GPS camera as the device for photometry of artificial satellites | |
JP6906732B1 (ja) | 移動体撮像システム、運用計画設定装置および移動体撮像方法 | |
JP7570582B1 (ja) | 形状姿勢推定装置、形状姿勢推定方法及び形状姿勢推定システム | |
Delaite et al. | Performance of an Optical COTS Station for the wide-field Detection of Resident Space Objects | |
JP7038940B1 (ja) | 形状姿勢推定装置、形状姿勢推定方法及び形状姿勢推定システム | |
US12080000B2 (en) | Initial orbit determination using angular velocity and angular acceleration measurements | |
Bolbasova et al. | Measurements of atmospheric turbulence from image motion of laser beam by shack-hartmann wavefront sensor | |
WO2022013948A1 (ja) | 軌道算出装置、軌道算出方法及び軌道算出システム | |
McKechnie | Focusing infrared laser beams on targets in space without using adaptive optics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200804 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200804 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6771697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |