JP7249410B2 - 測量システム、測量方法、装置及びデバイス - Google Patents
測量システム、測量方法、装置及びデバイス Download PDFInfo
- Publication number
- JP7249410B2 JP7249410B2 JP2021527152A JP2021527152A JP7249410B2 JP 7249410 B2 JP7249410 B2 JP 7249410B2 JP 2021527152 A JP2021527152 A JP 2021527152A JP 2021527152 A JP2021527152 A JP 2021527152A JP 7249410 B2 JP7249410 B2 JP 7249410B2
- Authority
- JP
- Japan
- Prior art keywords
- survey
- area
- points
- shooting
- surveying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 110
- 238000005070 sampling Methods 0.000 claims description 141
- 238000013507 mapping Methods 0.000 claims description 48
- 239000002131 composite material Substances 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 65
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 230000004807 localization Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003905 agrochemical Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- -1 vegetation Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Radar Systems Or Details Thereof (AREA)
- Variable-Direction Aerials And Aerial Arrays (AREA)
- Instructional Devices (AREA)
- Studio Devices (AREA)
Description
測量区域に対応する測量パラメータを確定するステップであって、前記測量パラメータは、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含むステップと、
前記測量パラメータを前記測量無人機に送信するステップと、を含む。
前記測量区域に対応する参照撮影位置点を取得し、組み合わせ撮影点集合のうちの1つの撮影点と前記参照撮影位置点とに対して写像関係を構築するステップと、
前記組み合わせ撮影点集合のうちの各撮影点の間のプリセットの相対位置関係及び前記写像関係に基づいて、前記参照撮影位置点に対応する複数の補助撮影位置点を確定するステップと、
前記参照撮影位置点及び前記複数の補助撮影位置点を、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点として確定するステップと、を含む。
組み合わせ撮影点集合に対応する組み合わせ撮影区域及び測量区域情報に基づいて、前記測量区域の中で1つ又は複数の測量組み合わせ撮影区域を確定するステップと、
前記組み合わせ撮影点集合のうちの各撮影点の間のプリセットの相対位置関係に基づいて、前記測量組み合わせ撮影区域の中で複数の撮影位置点を確定するステップと、
前記複数の撮影位置点を、前記測量区域において測量無人機により測量される複数の測量サンプリング点として確定するステップと、を含む。
前記測量区域の中で確定される複数の測量組み合わせ撮影区域の間には重複区域を有する。
ユーザがヒューマンマシンインターフェース上で行うタッチ操作を感知し、前記タッチ操作に基づいて1つのスクリーン位置点を確定するステップと、
前記ヒューマンマシンインターフェースにより表示されている測量区域の地図データから、前記スクリーン位置点に対応する1つの地理的位置の座標を取得して、前記参照撮影位置点として確定するステップと、を含む。
前記ユーザのタッチ操作がワンポイントのタッチ操作であると感知した場合、前記ユーザがタッチした点を前記スクリーン位置点として確定するステップと、
前記ユーザのタッチ操作がスライドのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された線分上で1つの点を選んで前記スクリーン位置点として確定するステップと、
前記ユーザのタッチ操作が枠描きのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された枠の内部で1つの点を選んで前記スクリーン位置点として確定するステップと、のうちの少なくとも1つを含む。
前記測量区域の中心点を取得して、前記参照撮影位置点として確定するステップ、を含む。
前記測量無人機に位置クエリ情報を送信し、前記測量無人機によりフィードバックされる地理的位置の座標を前記参照撮影位置点として確定するステップ、を含み、
ここで、前記測量無人機は、前記測量区域に対応する位置に予め配置される。
ユーザにより入力された、前記測量無人機に対する少なくとも1つの飛行制御命令を受信し、前記飛行制御命令を前記測量無人機に送信するステップと、
前記ユーザにより入力された位置確認応答を受信した後、前記測量無人機にホバリング命令を送信して、前記測量無人機が現在の位置でホバリングするように制御するステップと、を更に含み、
ここで、前記飛行制御命令は、前記測量無人機が空中で所定方向へ、及び/又は、所定距離を移動するように制御するために用いられる。
ユーザにより入力された地理的位置の座標を取得して前記参照撮影位置点として確定するステップ、を含む。
ユーザが前記組み合わせ撮影点集合の中で選択した1つの撮影点と、前記参照撮影位置点とに対して写像関係を構築するステップ、を含む。
前記組み合わせ撮影点集合のうちの前記中心撮影点と、前記参照撮影位置点とに対して写像関係を構築するステップ、を含む。
前記参照撮影位置点と前記測量区域中の各定位キーポイントとの間の距離を計算するステップと、
前記参照撮影位置点までの距離が最も小さい1つの定位キーポイントを取得して目標参照点として確定するステップと、
前記目標参照点の前記測量区域における位置情報に基づいて、前記組み合わせ撮影点集合のうちから前記位置情報にマッチする1つの撮影点を選出して、当該1つの撮影点と前記参照撮影位置点とに対して写像関係を構築するステップと、を含み、
ここで、前記定位キーポイントは前記測量区域の角の点及び前記測量区域の中心点を含む。
前記測量区域の中で1つの定位点を選択するステップと、
前記定位点及び前記組み合わせ撮影区域に基づいて、前記測量区域の中で1つの測量組み合わせ撮影区域を確定するステップと、
前記測量組み合わせ撮影区域が前記測量区域全体を覆っていない場合、前記測量区域を完全に覆うことができるすべての測量組み合わせ撮影区域を取得するまでに、前記測量区域の中で新しい定位点を選定するとともに、前記定位点及び前記組み合わせ撮影区域に基づいて前記測量区域の中で1つの測量組み合わせ撮影区域を確定するステップに戻って再度実施するステップと、を含む。
前記組み合わせ撮影点集合のうちの中心撮影点を前記測量組み合わせ撮影区域の区域中点へ写像し、前記区域中点を1つの撮影位置点として確定するステップと、
前記組み合わせ撮影点集合のうちの各周囲撮影点と前記中心撮影点との間のプリセットの相対位置関係に基づいて、各前記周囲撮影点をそれぞれ前記測量組み合わせ撮影区域の中へ写像し、形成される複数の写像点を前記撮影位置点として確定するステップと、を含む。
ユーザがヒューマンマシンインターフェース上で行うタッチ操作を感知し、前記タッチ操作に対応するスクリーン選択区域を取得するステップと、
前記ヒューマンマシンインターフェースにより表示されている地図データから前記スクリーン選択区域に対応する地理的位置区域を取得して前記測量区域情報として確定するステップと、を更に含む。
前記ユーザのタッチ操作がワンポイントのタッチ操作であると感知した場合、前記ユーザによりタッチされた少なくとも3つの点の連結線により囲まれる閉鎖区域を、前記スクリーン選択区域として確定するステップ、及び/又は、
前記ユーザのタッチ操作が枠描きのタッチ操作であると感知した場合、前記ユーザのタッチにより生成された枠を、前記スクリーン選択区域として確定するステップ、を含む。
前記測量無人機に搭載されている撮影デバイスの撮影パラメータを取得するステップであって、前記撮影パラメータは前記測量無人機の所定飛行高さにおけるシングル写真撮影区域を含み、いずれの撮影点も1つのシングル写真撮影区域に対応するステップと、
予め設定された写真重複度指標及び前記シングル写真撮影区域に基づいて、前記組み合わせ撮影点集合のうちの各撮影点の間のプリセットの相対位置関係を確定するステップと、を更に含み、
ここで、前記測量パラメータは前記所定飛行高さを更に含んでおり、前記所定飛行高さは、前記測量無人機が前記所定飛行高さを維持しながら前記測量区域の中で飛行撮影を行うように指示する。
前記撮影デバイスのフレームの大きさ及び前記撮影デバイスのピクセルの幅に基づいて、シングル写真の寸法を確定するステップと、
2次元の座標系を構築し、前記2次元の座標系の中で目標点を選んで中心撮影点として確定するステップと、
前記中心撮影点及び前記シングル写真の寸法に基づいて、前記2次元の座標系において中心写真を生成するステップと、
前記中心写真の左上端、左下端、右上端及び右下端において、前記中心写真に対して前記予め設定された写真重複度指標を満たす4枚の周囲写真をそれぞれ生成するステップと、
前記シングル写真の寸法と前記シングル写真撮影区域との間の写像関係に基づいて、それぞれの前記周囲写真に対応する周囲撮影点の、前記2次元の座標系における座標値を確定するステップと、
前記中心撮影点及び各前記周囲撮影点の、前記2次元の座標系における座標値に基づいて、前記組み合わせ撮影点集合のうちの各撮影点の間のプリセットの相対位置関係を確定するステップと、を含む。
前記撮影デバイスのピクセルの幅、前記撮影デバイスのレンズの焦点距離及び地上解像度に基づいて、前記所定飛行高さを算出するステップ、を更に含む。
前記撮影デバイスのピクセルの幅、前記撮影デバイスのフレームの大きさ及び地上解像度に基づいて、前記所定飛行高さにおける前記測量無人機のシングル写真撮影区域を算出するステップ、を含む。
制御端末により送信される測量パラメータを受信するステップであって、前記測量パラメータは前記測量区域に基づいて前記制御端末により確定されたものであり、前記測量パラメータは前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含むステップと、
前記測量パラメータに基づいて前記測量区域において飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得するステップと、を含む。
各前記測量サンプリング点の地理的位置情報に基づいて飛行して各前記測量サンプリング点まで到着したことを確認したら、各前記測量サンプリング点のそれぞれに対応する測量写真を撮影して前記測量写真集合を構築するステップ、を含む。
前記制御端末により送信される少なくとも1つの飛行制御命令を受信し、前記飛行制御命令に従って空中で所定方向へ、及び/又は、所定距離を移動するステップと、
前記制御端末により送信されるホバリング命令に従って、現在の位置でホバリングするステップと、
前記制御端末により送信される位置クエリ情報に基づいて、現在の位置の地理的位置の座標を前記制御端末にフィードバックするステップと、を更に含み、
ここで、前記地理的位置の座標は、前記制御端末が参照撮影位置点を確定するために用いられる。
前記測量パラメータに基づいて前記測量区域において飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得するステップは、
前記測量パラメータに基づいて前記所定飛行高さを維持しながら前記測量区域の中で飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得するステップ、を含む。
撮影の順番によって、前記測量写真集合のうちの各前記測量写真をそれぞれ地上端末に送信するステップ、及び/又は、
撮影の順番によって、前記測量写真集合のうちの各前記測量写真を内蔵メモリーカードに記憶するステップ、を更に含む。
前記測量写真集合を取得するステップであって、前記測量写真集合は制御端末により送信された測量パラメータに基づいて測量無人機が測量区域中で飛行撮影を行うことによって得られたものであり、前記測量パラメータは前記測量無人機が前記測量区域中で測量する複数の測量サンプリング点を含むステップと、
前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又はスティッチングを行って、前記測量区域に対応する測量地図を取得するステップと、を含む。
前記測量写真集合から、少なくとも1つの中心撮影点で撮影された中心測量写真及び各中心撮影点に関連する複数の周囲撮影点で撮影された周囲測量写真を取得するステップと、
各周囲測量写真の、それぞれの対応する中心測量写真との間の写真重複度に基づいて、各中心測量写真とそれぞれに対応する周囲測量写真とに対してスティッチングを行って組み合わせ撮影写真を取得するステップと、
各中心撮影点に対応する組み合わせ撮影写真に基づいて、前記測量区域に対応する測量地図を取得するステップと、を含む。
前記測量区域のデジタル表面モデル、前記測量区域の3次元地図及び前記測量区域の平面地図のうちの少なくとも1つを含む。
メモリ装置は1つ又は複数のプログラムを記憶し、
前記1つ又は複数のプログラムは前記1つ又は複数のプロセッサーにより実行され、したがって前記1つ又は複数のプロセッサーが本発明のいずれかの実施例に係る制御端末の測量方法を実現する。
メモリ装置は1つ又は複数のプログラムを記憶し、
前記1つ又は複数のプログラムは前記1つ又は複数のプロセッサーにより実行され、したがって前記1つ又は複数のプロセッサーが本発明のいずれかの実施例に係る測量無人機の測量方法を実現する。
メモリ装置は1つ又は複数のプログラムを記憶し、
前記1つ又は複数のプログラムは前記1つ又は複数のプロセッサーにより実行され、したがって前記1つ又は複数のプロセッサーが本発明のいずれかの実施例に係る地上端末の測量方法を実現する。
図1は、本発明の実施例1に係る測量システムの模式図である。図1に示すよう、当該測量システムの構成として、制御端末10、測量無人機20及び地上端末30を備える。
図2は、本発明の実施例2に係る制御端末の測量方法のフローチャートである。本実施例は、測量区域における複数の測量サンプリング点を確定するために適用されることができ、当該方法は制御端末の測量装置により実行されることができる。当該装置は、ソフトウェア及び/又はハードウェアの形態によって実現されることができ、一般に制御デバイス(例えば、無人機のリモコン)に集積されて、空撮を担当する測量無人機と協同で使用されることができる。対応するように、図2に示すように、当該方法は以下の操作を含む。
図3aは、本発明の実施例3に係る制御端末の測量方法のフローチャートである。本実施例においては、測量区域に対応する測量パラメータを確定するための1つの実現形態を開示する。対応するように、図3aに示すように、本実施例に係る方法は以下の内容を含むことができる。
前記ユーザのタッチ操作がワンポイントのタッチ操作であると感知した場合、前記ユーザがタッチした点を前記スクリーン位置点として確定するステップと、
前記ユーザのタッチ操作がスライドのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された線分上で1つの点を選んで前記スクリーン位置点として確定するステップと、
前記ユーザのタッチ操作が枠描きのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された枠の内部で1つの点を選んで前記スクリーン位置点として確定するステップと、のうちの少なくとも1つを含むことができる。
図4aは、本発明の実施例4に係る制御端末の測量方法のフローチャートである。本実施例においては、測量区域に対応する測量パラメータを確定するためのもう1つの実現形態が提供される。対応するように、図4aに示すように、本実施例に係る方法は以下の内容を含むことができる。
前記ユーザのタッチ操作がワンポイントのタッチ操作であると感知した場合、前記ユーザによりタッチされた少なくとも3つの点の連結線により囲まれる閉鎖区域を、前記スクリーン選択区域として確定するステップ、及び/又は、
前記ユーザのタッチ操作が枠描きのタッチ操作であると感知した場合、前記ユーザのタッチにより生成された枠を、前記スクリーン選択区域として確定するステップ、を含むことができる。
図5は、本発明の実施例5に係る測量無人機の測量方法のフローチャートである。本実施例は、複数の測量サンプリング点に対応する測量写真集合に基づく場合に適用されることができる。当該方法は測量無人機の測量装置により実行されることができ、当該装置は、ソフトウェア及び/又はハードウェアの形態により実現されることができ、一般には無人機デバイスに集積されて、無人機の制御を担当する制御端末と協同で使用されることができる。対応するように、図5に示すように、当該方法は以下の操作を含む。
撮影の順番によって、前記測量写真集合のうちの各前記測量写真をそれぞれ地上端末に送信するステップ、及び/又は、
撮影の順番によって、前記測量写真集合のうちの各前記測量写真を、内蔵メモリーカードに記憶するステップ、を更に含むことができる。
図6は、本発明の実施例6に係る地上端末の測量方法のフローチャートである。本実施例は、測量写真集合に基づいて測量区域に対応する測量地図を取得する場合に適用されることができる。当該方法は地上端末の測量装置により実行されることができ、当該装置はソフトウェア及び/又はハードウェアの形態で実現されることができ、一般には端末デバイスに集積されて、空撮を担当する測量無人機と協同で使用されることができる。対応するように、図6に示すように、当該方法は以下の操作を含む。
図7は、本発明の実施例7に係る制御端末の測量装置の模式図である。図7に示すように、前記装置は、測量パラメータ確定モジュール710及び測量パラメータ送信モジュール720を備える。
前記測量区域の中で確定される複数の測量組み合わせ撮影区域の間には重複区域を有する。ここで、前記測量組み合わせ撮影区域は、前記組み合わせ撮影点集合のうちの複数の撮影点によって複数枚の写真を撮影した後、前記複数枚の写真に対して組み合わせ及び/又はスティッチングを行うことによって形成した撮影区域である。前記測量区域の測量地図は、各前記測量組み合わせ撮影区域が組み合わせ及び/又はスティッチングされることによって形成されたものである。
前記ユーザのタッチ操作がスライドのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された線分上で1つの点を選択して前記スクリーン位置点として確定し、
前記ユーザのタッチ操作が四角描きのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された枠の中で1つの点を選択して前記スクリーン位置点として確定するように配置される。
前記ユーザのタッチ操作が四角描きのタッチ操作であると感知した場合、前記ユーザのタッチによって生成された枠を前記スクリーン選択区域として確定するように配置される。
図8は、本発明の実施例8に係る測量無人機の測量装置の模式図である。図8に示すように、前記装置は、測量パラメータ受信モジュール810及び測量写真集合撮影モジュール820を備える。
図9は、本発明の実施例9に係る地上端末の測量装置の模式図である。図9に示すように、前記装置は、測量写真集合取得モジュール910及び測量地図生成モジュール920を備える。
図10は、本発明の実施例10に係る制御端末の構造模式図である。図10は、本発明の実施形態を実現するための制御端末612のブロック図を示している。図10に示される制御端末612は1つの例に過ぎず、本発明の実施例の機能及び適用範囲に対する制限にはならない。
本実施例11は、本発明の実施例に係る、本発明のいずれかの実施例に係る測量無人機の測量方法を実行するために用いられる測量無人機である。当該測量無人機は、1つ又は複数のプロセッサーと、1つ又は複数のプログラムを記憶するように配置されるメモリ装置と、を備える。前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサーにより実行されるとき、前記1つ又は複数のプロセッサーは本発明のいずれかの実施例に係る測量無人機の測量方法を実現し、すなわち、制御端末により送信される、前記制御端末が前記測量区域に基づいて確定した、前記測量無人機が前記測量区域の中で測量する複数の測量サンプリング点を含む測量パラメータを受信し、前記測量パラメータに基づいて前記測量区域の中で飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得する。その構造及び細部の内容については、図10及び実施例10を参照することができる。
本実施例12は、本発明の実施例に係る、本発明のいずれかの実施例に係る地上端末の測量方法を実行する地上端末である。当該地上端末は、1つ又は複数のプロセッサーと、1つ又は複数のプログラムを記憶するように配置されるメモリ装置とを備える。前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサーにより実行されるとき、前記1つ又は複数のプロセッサーは本発明のいずれかの実施例に係る地上端末の測量方法を実現し、すなわち、測量無人機が制御端末により送信された測量パラメータ(前記測量パラメータは、前記測量無人機が前記測量区域の中で測量する複数の測量サンプリング点を含む)によって測量区域の中で飛行撮影を行うことによって取得した前記測量写真集合を取得し、前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又はスティッチングを行って、前記測量区域に対応する測量地図を取得する。その構造及び細部の内容については、図10及び実施例10を参照することができる。
本発明の実施例13は、コンピュータプログラムを記憶するコンピュータ記憶媒体を更に提供する。前記コンピュータプログラムがコンピュータプロセッサーにより実行されるときには、本発明の以上のいずれかの実施例に記載の制御端末の測量方法を実行するために用いられ、すなわち、測量区域に対応する、前記測量無人機が前記測量区域の中で測量する複数の測量サンプリング点を含む測量パラメータを確定し、前記測量パラメータを前記測量無人機に送信する。又は、前記コンピュータプログラムがコンピュータプロセッサーにより実行されるときには、本発明の以上のいずれかの実施例に記載の測量無人機の測量方法を実行するために用いられ、すなわち、制御端末により送信される、前記制御端末が前記測量区域に基づいて確定した、前記測量無人機が前記測量区域の中で測量する複数の測量サンプリング点を含む測量パラメータを受信し、前記測量パラメータに基づいて前記測量区域の中で飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得する。又は、前記コンピュータプログラムがコンピュータプロセッサーにより実行されるときには、本発明の以上のいずれかの実施例に記載の地上端末の測量方法を実行するために用いられ、すなわち、測量無人機が制御端末により送信された測量パラメータ(前記測量パラメータは、前記測量無人機が前記測量区域の中で測量する複数の測量サンプリング点を含む)によって測量区域の中で飛行撮影を行うことによって取得した前記測量写真集合を取得し、前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又はスティッチングを行って、前記測量区域に対応する測量地図を取得する。
Claims (12)
- 制御端末、測量無人機及び地上端末を備える測量システムであって、
前記制御端末は、測量区域に対応する測量パラメータを確定し、前記測量パラメータを前記測量無人機に送信し、
前記測量パラメータは、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含み、
前記測量無人機は、前記測量パラメータを受信し、前記測量パラメータに基づいて前記測量区域において飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得し、
前記地上端末は、前記測量写真集合を取得し、前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又は写真のスティッチングを行って、前記測量区域に対応する測量地図を取得し、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量システム。 - 前記地上端末は更に、前記測量区域に対応する測量地図に基づいて、前記測量区域に対応する地図タイルデータを生成するように構成され、
作業無人機を更に備え、
前記制御端末は更に、前記測量区域を作業区域とし、前記作業区域に対応する地図タイルデータを前記地上端末から取得し、前記地図タイルデータに基づいて前記作業区域の区域地図を生成して表示し、ユーザが前記区域地図で選択した少なくとも1つの区域定位点に基づいて、前記作業区域の中で少なくとも1つの作業土地領域を確定し、前記作業土地領域に対応する作業飛行ルートを生成して前記作業無人機に送信し、
前記作業無人機は、前記作業飛行ルートを受信し、前記作業飛行ルートに沿って前記少なくとも1つの作業土地領域の中で飛行作業を行う
ことを特徴とする請求項1に記載の測量システム。 - 請求項1又は2に記載の測量システムに適用される、制御端末の測量方法であって、
測量区域に対応する測量パラメータを確定するステップであって、前記測量パラメータは前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含むステップと、
前記測量パラメータを前記測量無人機に送信するステップと、を含み、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量方法。 - 測量区域に対応する測量パラメータを確定するステップは、
前記測量区域に対応する参照撮影位置点を取得し、前記組み合わせ撮影点集合のうちの1つの撮影点と前記参照撮影位置点とに対して写像関係を構築するステップと、
前記組み合わせ撮影点集合のうちの各撮影点の間のプリセットの相対位置関係及び前記写像関係に基づいて、前記参照撮影位置点に対応する複数の補助撮影位置点を確定するステップと、
前記参照撮影位置点及び前記複数の補助撮影位置点を、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点として確定するステップと、を含む
ことを特徴とする請求項3に記載の測量方法。 - 測量区域に対応する測量パラメータを確定するステップは、
前記組み合わせ撮影点集合に対応する組み合わせ撮影区域及び測量区域情報に基づいて、前記測量区域の中で1つ又は複数の測量組み合わせ撮影区域を確定するステップと、
前記組み合わせ撮影点集合のうちの各撮影点の間のプリセットの相対位置関係に基づいて、前記測量組み合わせ撮影区域の中で複数の撮影位置点を確定するステップと、
前記複数の撮影位置点を、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点として確定するステップと、を含む
ことを特徴とする請求項3に記載の測量方法。 - 前記組み合わせ撮影点集合のうちの複数の撮影点に基づいて撮影される複数枚の写真の間には重複区域を有し、
前記測量区域の中で確定される複数の測量組み合わせ撮影区域の間には重複区域を有し、
前記測量組み合わせ撮影区域は、前記組み合わせ撮影点集合のうちの複数の撮影点に基づいて複数枚の写真が撮影された後、前記複数枚の写真が組み合わせられ、及び/又は、スティッチングされることによって形成される撮影区域であり、
各前記測量組み合わせ撮影区域が組み合わせられ、及び/又は、スティッチングされることによって、前記測量区域の測量地図が形成される
ことを特徴とする請求項5に記載の測量方法。 - 請求項1又は2に記載の測量システムに適用される、測量無人機の測量方法であって、
前記制御端末により送信される測量パラメータを受信するステップであって、前記測量パラメータは前記制御端末により前記測量区域に基づいて確定されるものであり、前記測量パラメータは前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含むステップと、
前記測量パラメータに基づいて前記測量区域において飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得するステップと、を含み、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量方法。 - 請求項1又は2に記載の測量システムに適用される、地上端末の測量方法であって、
前記測量写真集合を取得するステップであって、前記測量写真集合は前記制御端末により送信された測量パラメータに基づいて前記測量無人機が前記測量区域中で飛行撮影を行うことによって得られるものであり、前記測量パラメータは前記測量無人機が前記測量区域中で測量する複数の測量サンプリング点を含むステップと、
前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又は写真のスティッチングを行って、前記測量区域に対応する測量地図を取得するステップと、を含み、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量方法。 - 前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又は写真のスティッチングを行って、前記測量区域に対応する測量地図を取得するステップは、
前記測量写真集合から、少なくとも1つの中心撮影点で撮影された中心測量写真及び各中心撮影点に関連する複数の周囲撮影点で撮影された周囲測量写真を取得するステップと、
各周囲測量写真の、それぞれの対応する中心測量写真との間の写真重複度に基づいて、各中心測量写真とそれぞれに対応する周囲測量写真とに対してスティッチングを行って組み合わせ撮影写真を取得するステップと、
各中心撮影点に対応する組み合わせ撮影写真に基づいて、前記測量区域に対応する測量地図を取得するステップと、を含む
ことを特徴とする請求項8に記載の測量方法。 - 請求項1又は2に記載の測量システムに適用される、制御端末の測量装置であって、測量パラメータ確定モジュール及び測量パラメータ送信モジュールを備え、
前記測量パラメータ確定モジュールは、測量区域に対応する測量パラメータを確定し、
前記測量パラメータは、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含み、
前記測量パラメータ送信モジュールは、前記測量パラメータを前記測量無人機に送信し、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量装置。 - 請求項1又は2に記載の測量システムに適用される、測量無人機の測量装置であって、測量パラメータ受信モジュール及び測量写真集合撮影モジュールを備え、
前記測量パラメータ受信モジュールは、前記制御端末により送信される測量パラメータを受信し、
前記測量パラメータは前記測量区域に基づいて前記制御端末により確定されるものであり、前記測量パラメータは、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含み、
前記測量写真集合撮影モジュールは、前記測量パラメータに基づいて前記測量区域において飛行撮影を行って、前記複数の測量サンプリング点に対応する測量写真集合を取得し、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量装置。 - 請求項1又は2に記載の測量システムに適用される、地上端末の測量装置であって、測量写真集合取得モジュール及び測量地図生成モジュールを備え、
前記測量写真集合取得モジュールは、前記測量写真集合を取得し、
前記測量写真集合は、前記測量無人機が前記制御端末により送信された測量パラメータに基づいて測量区域の中で飛行撮影を行うことによって得られるものであり、前記測量パラメータは、前記測量区域において前記測量無人機により測量される複数の測量サンプリング点を含み、
前記測量地図生成モジュールは、前記測量写真集合のうちの複数枚の写真に対して写真の組み合わせ及び/又は写真のスティッチングを行って、前記測量区域に対応する測量地図を取得し、
前記複数の測量サンプリング点は、組み合わせ撮影点集合に基づいて確定された測量サンプリング点を含み、
前記組み合わせ撮影点集合は複数の撮影点を含み、前記複数の撮影点は中心撮影点及び4つの周囲撮影点を含み、前記周囲撮影点は前記中心撮影点を中心とする矩形の頂点であり、前記組み合わせ撮影点集合中のすべての撮影点に基づいて撮影されて取得された合成写真の形状は矩形である
ことを特徴とする測量装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/116659 WO2020103022A1 (zh) | 2018-11-21 | 2018-11-21 | 一种测绘系统、测绘方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022508135A JP2022508135A (ja) | 2022-01-19 |
JP7249410B2 true JP7249410B2 (ja) | 2023-03-30 |
Family
ID=70774322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021527152A Active JP7249410B2 (ja) | 2018-11-21 | 2018-11-21 | 測量システム、測量方法、装置及びデバイス |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP3885871B1 (ja) |
JP (1) | JP7249410B2 (ja) |
KR (1) | KR20210104684A (ja) |
CN (1) | CN112470092B (ja) |
AU (1) | AU2018450490B2 (ja) |
CA (1) | CA3120725C (ja) |
WO (1) | WO2020103022A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117641107A (zh) * | 2020-07-16 | 2024-03-01 | 深圳市大疆创新科技有限公司 | 拍摄控制方法和装置 |
CN111947623A (zh) * | 2020-08-12 | 2020-11-17 | 湖南大狗科技有限公司 | 一种根据surf-scan快速得到现场地图的方法 |
CN112504236A (zh) * | 2020-12-12 | 2021-03-16 | 国网辽宁省电力有限公司铁岭供电公司 | 无人机航拍配电网台区测绘方法 |
CN114119858A (zh) * | 2021-10-14 | 2022-03-01 | 诚邦测绘信息科技(浙江)有限公司 | 一种绘制山体地形图的方法、系统、存储介质及智能终端 |
CN113932776B (zh) * | 2021-10-23 | 2024-02-13 | 昆山市城乡房产测量有限公司 | 一种实景建模无人机系统 |
US20230351690A1 (en) * | 2022-04-27 | 2023-11-02 | Snap Inc. | Three-dimensional mapping using disparate visual datasets |
CN114812516B (zh) * | 2022-05-05 | 2024-07-12 | 烟台腾辉地理信息工程有限公司 | 一种基于bim的无人机测绘方法、系统、装置及存储介质 |
CN114577191B (zh) * | 2022-05-06 | 2022-07-12 | 成都纵横通达信息工程有限公司 | 基于地理空间信息数据的测绘数据采集方法及系统 |
CN114877872B (zh) * | 2022-07-01 | 2022-10-14 | 北京今日蓝天科技有限公司 | 无人机及其操作系统、生成测绘图的方法、介质、设备 |
CN115034696B (zh) * | 2022-08-12 | 2022-11-01 | 北京迈平测绘技术开发有限公司 | 一种地质测绘协同作业方法和系统 |
CN115601471B (zh) * | 2022-12-16 | 2023-03-31 | 四川腾盾科技有限公司 | 基于大型无人机光电侦察扫过区域的绘制方法 |
CN116088584B (zh) * | 2023-04-07 | 2023-07-18 | 山东省地质矿产勘查开发局第五地质大队(山东省第五地质矿产勘查院) | 一种测绘协同作业方法、系统及一种电子设备 |
CN117707206B (zh) * | 2024-02-06 | 2024-05-14 | 天津云圣智能科技有限责任公司 | 无人机航测作业方法、装置及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014089160A (ja) | 2012-10-31 | 2014-05-15 | Topcon Corp | 航空写真測定方法及び航空写真測定システム |
JP2017509520A (ja) | 2014-10-27 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 飛行情報を提供する方法 |
CN108513648A (zh) | 2017-06-19 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 地图构建方法、地图构建系统、无人飞行器和控制终端 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3364257B2 (ja) * | 1993-01-27 | 2003-01-08 | 朝日航洋株式会社 | 空中写真撮影方法 |
US20110137547A1 (en) * | 2009-12-03 | 2011-06-09 | Electronics And Telecommunications Research Institute | System and method for generating spatial information |
CN104792313B (zh) * | 2015-03-31 | 2017-10-03 | 深圳一电航空技术有限公司 | 无人侦查系统的测绘控制方法、装置及系统 |
CN105843246A (zh) * | 2015-11-27 | 2016-08-10 | 深圳市星图智控科技有限公司 | 无人机跟踪方法、系统及无人机 |
CN105611277B (zh) * | 2016-01-16 | 2018-03-09 | 深圳先进技术研究院 | 一种基于无障碍导航飞艇的视频地图绘制系统 |
WO2017197556A1 (en) * | 2016-05-16 | 2017-11-23 | SZ DJI Technology Co., Ltd. | Systems and methods for coordinating device actions |
CN106502264B (zh) * | 2016-10-26 | 2018-05-01 | 广州极飞科技有限公司 | 植保无人机的作业系统 |
CN107636592B (zh) * | 2016-11-14 | 2021-03-16 | 深圳市大疆创新科技有限公司 | 航道规划方法、控制端、飞行器及航道规划系统 |
CN106774431B (zh) * | 2016-12-30 | 2020-01-17 | 深圳市九天创新科技有限责任公司 | 一种测绘无人机航线规划方法及装置 |
US10269133B2 (en) * | 2017-01-03 | 2019-04-23 | Qualcomm Incorporated | Capturing images of a game by an unmanned autonomous vehicle |
CN107797565A (zh) * | 2017-10-13 | 2018-03-13 | 南京涵曦月自动化科技有限公司 | 一种实时监控无人机控制面板 |
CN108151748B (zh) * | 2017-11-09 | 2021-04-06 | 广州极飞科技有限公司 | 飞行装置测绘作业航线规划方法、装置和终端 |
CN108536863A (zh) * | 2018-04-20 | 2018-09-14 | 曜宇航空科技(上海)有限公司 | 一种基于无人机的地图中选定区域更新方法及系统 |
-
2018
- 2018-11-21 EP EP18940964.2A patent/EP3885871B1/en active Active
- 2018-11-21 AU AU2018450490A patent/AU2018450490B2/en active Active
- 2018-11-21 JP JP2021527152A patent/JP7249410B2/ja active Active
- 2018-11-21 CA CA3120725A patent/CA3120725C/en active Active
- 2018-11-21 KR KR1020217016657A patent/KR20210104684A/ko active IP Right Grant
- 2018-11-21 WO PCT/CN2018/116659 patent/WO2020103022A1/zh unknown
- 2018-11-21 CN CN201880091789.2A patent/CN112470092B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014089160A (ja) | 2012-10-31 | 2014-05-15 | Topcon Corp | 航空写真測定方法及び航空写真測定システム |
JP2017509520A (ja) | 2014-10-27 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 飛行情報を提供する方法 |
CN108513648A (zh) | 2017-06-19 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 地图构建方法、地图构建系统、无人飞行器和控制终端 |
Non-Patent Citations (2)
Title |
---|
""画像の張り合わせ"で手軽に作れるようになったパノラマ画像",TECH+ マイナビニュース,日本,株式会社マイナビ,2012年05月29日,pp.1,2,https://news.mynavi.jp/techplus/article/computer_vision-27/,[2022年05月31日検索] |
谷口弘樹、外8名,"防災用飛行ロボットシステムの開発と適用",「計測自動制御学会論文集 Vol.46No.1 2010(平成22年1月)」,日本,社団法人計測自動制御学会,2010年01月31日,第46巻,第1号,pp.49-51,[ISSN]0453-4654 |
Also Published As
Publication number | Publication date |
---|---|
JP2022508135A (ja) | 2022-01-19 |
CN112470092A (zh) | 2021-03-09 |
EP3885871A1 (en) | 2021-09-29 |
EP3885871B1 (en) | 2023-03-15 |
WO2020103022A1 (zh) | 2020-05-28 |
CA3120725C (en) | 2023-09-26 |
CA3120725A1 (en) | 2020-05-28 |
AU2018450490A1 (en) | 2021-06-24 |
KR20210104684A (ko) | 2021-08-25 |
EP3885871A4 (en) | 2021-11-10 |
CN112470092B (zh) | 2022-11-08 |
AU2018450490B2 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7249410B2 (ja) | 測量システム、測量方法、装置及びデバイス | |
JP7182710B2 (ja) | 測量方法、装置及びデバイス | |
KR102382868B1 (ko) | 표본점을 매핑하는 계획 방법, 장치, 제어 단말기 및 기억 매체 | |
CN108981706B (zh) | 无人机航拍路径生成方法、装置、计算机设备和存储介质 | |
JP7220785B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
JP7220784B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
JP2022509082A (ja) | 作業制御システム、作業制御方法、装置及びデバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210708 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210708 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221228 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7249410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |