JP6722000B2 - Surveying support device - Google Patents
Surveying support device Download PDFInfo
- Publication number
- JP6722000B2 JP6722000B2 JP2016035353A JP2016035353A JP6722000B2 JP 6722000 B2 JP6722000 B2 JP 6722000B2 JP 2016035353 A JP2016035353 A JP 2016035353A JP 2016035353 A JP2016035353 A JP 2016035353A JP 6722000 B2 JP6722000 B2 JP 6722000B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- unit
- surveying
- designated
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、測量支援装置に関する。 The present invention relates to a surveying support device.
建設現場では、柱や梁などの垂直・水平や、平面位置・立面位置を調整する作業(建て入れ作業)や、施工対象物が設計通りになっているかを確認する作業(出来形測量)が行われる。建て入れ作業や出来形測量では、柱、梁などにターゲットを設定し、設定したターゲットの位置と設計に基づく目標点の位置(正規位置)との位置ずれを算出する。そして、建て入れ作業であれば位置ずれに基づいて柱や梁などの位置を調整し、また、出来形測量であれば位置ずれに基づいて施工対象物の評価を行う。ターゲットの位置は、測量機を使用して計測される。 At the construction site, work to adjust the vertical/horizontal position of the pillars and beams, as well as the plane position/elevation position (building work), and work to confirm that the construction target is as designed (measurement work) Is done. In building work and performance surveys, targets are set on columns, beams, etc., and the positional deviation between the set target position and the target point position (regular position) based on the design is calculated. Then, in the case of construction work, the positions of the pillars and beams are adjusted based on the positional deviation, and in the case of finished work measurement, the construction object is evaluated based on the positional deviation. The position of the target is measured using a surveying instrument.
従来、トータルステーションなどの測量機にカメラを備え付け、このカメラから送られる映像を利用して離れた位置から測量機を遠隔操作する技術が開発されている(例えば、特許文献1,2参照)。
2. Description of the Related Art Conventionally, a technique has been developed in which a surveying instrument such as a total station is equipped with a camera, and an image sent from the camera is used to remotely operate the surveying instrument from a distant position (for example, see
測量機を用いたターゲットの計測作業は、例えば、次の手順で行われる。最初に、カメラで映像を撮影しながら目標点に視準方向を向けることで、目標点が画面中央になるようにする。柱、梁などは、設計に基づいて施工されるので、通常、目標点を画面中央にして撮影した映像にはターゲットが写ることになる。次に、撮影された映像を見ながら、ターゲットが画面中央にくるように遠隔操作によってターゲットに視準方向を向けてからターゲットを測距する。これにより、ターゲットの座標を取得できるので、ターゲットと目標点との位置ずれが分かる。 The measurement work of the target using the surveying instrument is performed in the following procedure, for example. First, while aiming the collimation direction toward the target point while shooting the image with the camera, the target point is located in the center of the screen. Since the pillars and beams are constructed based on the design, the target is usually shown in the image taken with the target point in the center of the screen. Next, while looking at the captured image, the collimation direction is aimed at the target by remote control so that the target is located at the center of the screen, and then the target is measured. Thereby, the coordinates of the target can be acquired, and the positional deviation between the target and the target point can be known.
しかしながら、従来の測量機は、撮影された映像を見ながら遠隔操作されるので、測量機をどちらにどれだけ回転させればよいのかが分かりづらく、さらに回転方向や回転量が分かったとしても微調整が難しかった。その為、測量機を使用した作業(例えば、建て入れ作業や出来形測量作業など)を効率的に行うことができないという問題があった。 However, the conventional surveying instrument is operated remotely while watching the captured image, so it is difficult to know in which direction and how much the surveying instrument should be rotated. It was difficult to adjust. Therefore, there is a problem that the work using the surveying instrument (for example, the building work or the work surveying work) cannot be efficiently performed.
本発明は、前記問題に鑑みてなされたものであり、測量機を使用した作業を効率的に行うことができる測量支援装置を提供することを課題とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a surveying support device capable of efficiently performing work using a surveying instrument.
前記課題を解決するため、本発明に係る測量支援装置は、建設現場で行われる建て入れ作業を支援する測量支援装置である。
この測量支援装置は、測量機の視準点を含むように撮影された撮影画像を取得する画像取得部と、前記撮影画像を画像処理することによって、指定マークに関連付けられた指定点と前記視準点との位置ずれを算出する画像解析処理部と、算出された前記位置ずれに基づいて前記測量機を使用して行われる作業の支援を行う作業支援部と、を備える。
前記指定点は、建て入れをする対象物の代表点であり、前記視準点は、前記代表点における建て入れの目標点である。
前記作業支援部は、算出した前記位置ずれを撮影画像に重ねた位置合わせガイド画面を表示部に表示させる。
In order to solve the above problems, a surveying assistance device according to the present invention is a surveying assistance device that assists a building operation performed at a construction site.
This surveying support device includes an image acquisition unit that acquires a captured image captured so as to include a collimation point of a surveying instrument, and a designated point associated with a designated mark and the visual point by performing image processing on the captured image. An image analysis processing unit that calculates the positional deviation from the reference point, and a work support unit that supports the work performed using the surveying instrument based on the calculated positional deviation.
The designated point is a representative point of an object to be built, and the collimation point is a target point of building at the representative point.
The work support unit causes the display unit to display a positioning guide screen in which the calculated positional deviation is superimposed on the captured image.
このような測量支援装置によれば、測量機によって撮影された撮影画像から、測量機の視準点と指定マークの指定点との位置ずれを算出できる。そして、位置合わせガイド画面は、位置合わせの方向および距離を視覚的に示すので、計測者は、位置合わせガイド画面に従って建て入れ作業を行うことで、指定マークの指定点を視準点に簡単に合わせることができる。その為、指定マークの指定点の位置を計測することなしに、建て入れ作業を行える。 According to such a surveying support device, it is possible to calculate the positional deviation between the collimation point of the surveying instrument and the designated point of the designated mark from the photographed image photographed by the surveying instrument. Then, the alignment guide screen visually indicates the alignment direction and distance. Therefore, the measurer can perform the building work according to the alignment guide screen to easily set the designated point of the designated mark as the collimation point. Can be matched. Therefore, the building work can be performed without measuring the position of the designated point of the designated mark.
前記画像解析処理部は、二値化処理部と、指定点位置算出部と、位置ずれ算出部とをさらに備えるのがよい。
二値化処理部は、取得した前記撮影画像の前記指定マークをそれ以外の部分に対して判別可能に二値化処理した二値化画像データを作成する。
指定点位置算出部は、前記二値化画像データから前記指定マークを検出し、二値化画像データに設定された直交座標系における当該指定マークの指定点の座標を算出する。
位置ずれ算出部は、前記視準点の座標と前記指定マークの指定点の座標との位置ずれを算出する。
The image analysis processing unit may further include a binarization processing unit, a designated point position calculation unit, and a position shift calculation unit.
The binarization processing unit creates binarized image data in which the designated mark of the acquired captured image is binarized so as to be distinguishable from other portions.
The designated point position calculation unit detects the designated mark from the binarized image data, and calculates the coordinates of the designated point of the designated mark in the orthogonal coordinate system set in the binarized image data.
The positional shift calculation unit calculates a positional shift between the coordinates of the collimation point and the coordinates of the designated point of the designated mark.
前記指定マークは、円、四角形、ひし形、矢印の何れかの図形、十字線、前記図形と前記十字線とを組み合わせたもの、無地の領域の何れかであってよい。The designation mark may be any of a circle, a quadrangle, a rhombus, an arrow figure, a cross line, a combination of the figure and the cross line, and a plain area.
本発明によれば、測量機を使用した作業を効率的に行うことができる。 According to the present invention, work using a surveying instrument can be efficiently performed.
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、各部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
Hereinafter, modes for carrying out the present invention will be described in detail with reference to the drawings as appropriate.
The drawings are merely schematic representations so that the present invention can be fully understood. Therefore, the present invention is not limited to the illustrated examples. In addition, in the drawings to be referred to, the dimensions of each member may be exaggerated for clarity of explanation. In each figure, common or similar components are designated by the same reference numerals, and duplicated description thereof will be omitted.
[第1実施形態]
≪第1実施形態に係る測量支援装置の構成について≫
図1を参照して、第1実施形態に係る測量支援装置3Aについて説明する。図1は、第1実施形態に係る測量支援装置3Aを用いた出来形測量システム1Aの概略構成図である。出来形測量システム1Aは、一人の計測者による施工対象物の出来形測量を実現するものである。出来形測量システム1Aは、測量機2と、測量機2と通信可能である測量支援装置3Aと、を備えて構成されている。
[First Embodiment]
«Regarding the configuration of the surveying support device according to the first embodiment»
A surveying support device 3A according to the first embodiment will be described with reference to FIG. FIG. 1 is a schematic configuration diagram of a work-type survey system 1A using a survey support device 3A according to the first embodiment. The work-finding system 1A realizes work-finding of a construction object by one measurer. The performance measurement system 1A includes a
測量機2は、視準点までの距離、基準線に対する視準方向の水平角度、水平面に対する視準方向の角度(以下、まとめて「位置」と称す)を計測するものである。測量機2は、例えば、イメージングステーションであって、デジタルカメラが内蔵されたノンプリズム方式の三次元測量機である。本実施形態では出来形が設計通りになっていることの確認作業を行う場面を想定する。その為、本実施形態における測量機2は、目標点(正規位置)に対応する位置に設置されたターゲットTAを計測する。
測量支援装置3Aは、計測者によって操作されるものであり、測量機2を遠隔操作することができる。また、測量支援装置3Aは、測量機2を使用した作業(ここでは、出来形測量)を支援する機能を有している。当該機能の詳細は後記する。測量支援装置3Aは、例えば、モバイル端末やPC(Personal Computer)であってよく、ここでは測量支援装置3Aとしてモバイル端末を想定して図示している。
The
The surveying support device 3A is operated by a measurer, and can remotely operate the
図2を参照して、出来形測量システム1Aで使用されるターゲットTAの構成の一例を説明する。ここでのターゲットTAは、例えば、円と十字線とが組み合された指定マークUAを矩形状(正方形も含む)のシートに印したものである。指定マークUAの十字線の交点SAは、指定マークUAの中心点になっている。ターゲットTAは、測量機2の位置から指定マークUAが視認できるようにして施工対象物に設置されればよい。つまり、ターゲットTAは、測量機2に対して必ずしも正対していなくてもよく、測量機2に対して所定の角度を持って設置されてもよい。ターゲットTAの設置角度の許容量は、後記する画像解析処理に依存する。なお、画像解析処理を行い易くするために、ターゲットTAの下地の色と指定マークUAの色とは、コントラストに差があることが望ましい。例えば、指定マークUAの下地を「白色」にした場合、指定マークUAを「黒色」にする。なお、ターゲットTAは、必ずしも四角形である必要はなく、その他の形状(例えば、四角形以外の多角形や円形)であってもよい。
An example of the configuration of the target T A used in the work-measurement system 1A will be described with reference to FIG. The target T A here is, for example, one in which a designated mark U A in which a circle and a cross line are combined is printed on a rectangular (including square) sheet. Intersection S A of the cross-hairs of the specified mark U A has become the center point of the specified mark U A. The target T A may be installed on the construction object so that the designated mark U A can be visually recognized from the position of the surveying
図3を参照して、測量機2の具体的な構成について説明する。図3は、測量機2の機能構成図である。測量機2は、撮影部21と、駆動部22と、計測部23と、通信部24と、制御部25とを備えて構成されている。
撮影部21は、レンズの光軸方向(撮影方向)に存在する物体を撮影するものである。撮影部21は、例えば、撮影方向および焦点の調整可能なCCD(Charge Coupled Device)カメラである。
駆動部22は、水平面および垂直面に対して撮影部21を回転させるためのものであり、例えば、モータやギアなどからなる。
A specific configuration of the surveying
The
The
計測部23は、物体の位置(視準点の位置)を計測するものである。計測部23は、視準方向に存在する物体までの距離を測定する光波距離計と、視準方向の角度を測定するエンコーダとからなる。
光波距離計は、望遠鏡の対物レンズの中央部から視準方向に存在する物体に向けてレーザー光を照射してその反射光を検知し、検知までに光波が発振した回数から距離を算出する。レーザー光を物体に照射する位置が視準点となり、視準点の計測が行われるので視準点を計測点と呼ぶ場合がある。光波距離計の視準方向は、撮影部21の撮影方向と一致している。その為、図4(a)に示すように撮影部21により撮影された映像MAの画面中央LA(つまり、視準方向)とターゲットTAとがずれた状態では、ターゲットTAの計測を行うことができない。ターゲットTAの計測を行うためには、図4(b)に示すようにターゲットTAが画面中央LAに位置した状態でなければならない。なお、光波距離計は、撮影部21内部に収容されることで一体構造となっていてもよい。
エンコーダは、駆動部22に設置されており、光波距離計の水平面および垂直面における回転角度を検出する。
The measuring
The light wave range finder irradiates an object existing in the collimation direction with laser light from the center of the objective lens of the telescope, detects the reflected light, and calculates the distance from the number of times the light wave oscillates before the detection. The position where the laser beam is applied to the object becomes the collimation point, and the collimation point is measured, so the collimation point may be referred to as a measurement point. The collimation direction of the lightwave rangefinder coincides with the shooting direction of the
The encoder is installed in the
図3に戻って、測量機2の説明を続ける。通信部24は、測量支援装置3Aとの間で無線通信を行うものであり、例えば、無線通信用の送受信機である。
制御部25は、撮影部21、駆動部22、計測部23および通信部24を制御するものであり、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)からなる。CPUは、中央制御装置であり、プログラムの実行処理を行う。RAMは、CPUによって使用される一時記憶手段である。ROMは、不揮発性の記憶手段であり、CPUによって実行されるプログラムなどを記憶する。
Returning to FIG. 3, the description of the surveying
The
図5を参照して、測量支援装置3Aの具体的な構成について説明する。図5は、測量支援装置3Aの機能構成図である。測量支援装置3Aは、入力部31と、表示部32と、記憶部33と、通信部34と、制御部40Aとを備えて構成されている。
入力部31は、計測者による種々の情報の入力を受けるものである。表示部32は、計測者に対して種々の情報を表示するものである。入力部31と表示部32とは別々の装置(例えば、キーボード、マウス、ディスプレイ)であってもよいし、一体の装置(例えば、タッチディスプレイ)であってもよい。
A specific configuration of the surveying support device 3A will be described with reference to FIG. FIG. 5 is a functional configuration diagram of the surveying support device 3A. The surveying support device 3A includes an
The
記憶部33は、測量支援装置3Aで使用する様々な情報を記憶する。記憶部33には、例えば、入力部31を介して計測者によって入力される基準点の位置、測量機の位置、目標点の位置など(何れも全体座標系の三次元座標値)や通信部34を介して測量機2から受信する映像などが記憶される。
通信部34は、測量機2との間で無線通信ないし有線通信を行うものであり、例えば、無線通信用の送受信機である。測量支援装置3Aは、通信部34を介して、測量機2に制御信号を送信する。また、測量支援装置3Aは、通信部34を介して、測量機2から撮影部21によって撮影された映像を受信する。
The
The
制御部40Aは、例えば、CPU、RAM、ROMからなり、入力部31、表示部32、記憶部33、通信部34を制御する。また、制御部40Aは、遠隔操作部41と、画像取得部42と、画像解析処理部43と、作業支援部44とを備えている。これらの機能は、CPUによるプログラム実行処理により実現される。以下では、制御部40Aが備える機能を説明するが、ここでは概略のみ説明することにし、処理の詳細な説明は後記する。
The
遠隔操作部41は、測量機2を遠隔操作するものであり、例えば、入力部31を介して入力された操作情報を制御信号に変換し、通信部34を介して変換した制御信号を測量機2に送信する。
画像取得部42は、測量機2の撮影部21によって撮影された映像を画像データとして取り込む(キャプチャーする)。取り込まれた画像データは、記憶部33に格納される。
The
The
画像解析処理部43は、測量機2の撮影部21によって撮影された映像の画像解析処理を行う。画像解析処理部43は、コントラスト調整部43aと、二値化処理部43bと、指定点位置算出部43cと、位置ずれ算出部43dとからなる。
コントラスト調整部43aは、二値化処理部43bによる二値化処理を容易にするために、画像データのコントラストの調整を行う。
二値化処理部43bは、閾値判別法によって画像データを例えば白黒に二値化処理し、二値化画像データを作成する。この二値化画像データには、任意の位置を原点とする直交座標系(例えば、横方向をX軸、縦方向をY軸とする二次元座標)が設定されている。なお、二値化画像データは、白と黒以外の組み合わせであってもよい。
指定点位置算出部43cは、指定マークUAに関連付けられた指定点の位置を二値化画像データから算出する。ここで、指定点は、指定マークUAから位置が特定できる点であればよく、例えば、指定マークUAの中心点や重心点、指定マークUAを構成する線の交点や頂点などでよい。ここでは、指定マークUAの指定点として交点SA(図2参照)を二値化画像データから算出する。指定マークUAの交点SAは、指定マークUAの中心点でもある。なお、指定点位置算出部43cは、指定マークUAの重心位置を指定マークUAの指定点として算出してもよい。指定マークUAの交点SAは、二値化画像データに設定された直交座標系に基づく座標値として算出される。
位置ずれ算出部43dは、視準点である画面中央LAの座標値と、指定マークUAの指定点(ここでは、交点SA)の座標値との位置ずれを算出する。
The image
The
The
The designated point
The positional
作業支援部44は、位置ずれ通知部44aを備える。位置ずれ通知部44aは、位置ずれ算出部43dによって算出された位置ずれから、視準方向と指定マークUAの指定点(ここでは、交点SA)とが一致するのに要する測量機2の回転方向および回転角度を算出する。そして、位置ずれ通知部44aは、算出した測量機2の回転方向および回転角度を測量機2に通知する。測量機2は、通知された回転方向および回転角度に基づいて視準方向の角度を制御することにより、ターゲットTAが画面中央LAに位置した状態、つまり、視準点である画面中央LAの座標値と指定マークUAの指定点(ここでは、交点SA)の座標値との位置ずれがない状態になる。なお、位置ずれ通知部44aは、算出した回転方向や回転角度をそのままの情報として送信するのではなく、何らかの形に変換した情報(回転方向や回転角度を含む情報)として測量機2に対して送信してもよい。
The
≪第1実施形態に係る測量支援装置の処理について≫
図6を参照して、測量支援装置3Aの処理について説明する。図6は、第1実施形態に係る測量支援装置3Aを用いた出来形測量システム1Aの処理を示すフローチャートの例示である。
ここで、計測者は、施工対象物にターゲットTAを予め設置する。施工対象物は、設計に基づいて施工されているので、ターゲットTAは、概ね目標点の近傍に設置されることになる。また、計測者は、出来形測量に必要な情報を測量支援装置3Aに予め入力する。入力される情報は、例えば、測量機2の位置や目標点の位置など(何れも全体座標系の三次元座標値)である。
<<Processing of Surveying Assistance Device According to First Embodiment>>
The processing of the surveying support device 3A will be described with reference to FIG. FIG. 6 is an example of a flowchart showing the processing of the work-type surveying system 1A using the surveying assistance apparatus 3A according to the first embodiment.
Here, the measurer installs the target T A on the construction object in advance. Since the construction object is constructed based on the design, the target T A will be installed in the vicinity of the target point. Further, the measurer inputs in advance the information necessary for the quality measurement to the surveying support device 3A. The input information is, for example, the position of the surveying
最初に、測量機2は、駆動部22を制御して撮影部21を目標点に向けることで目標点を視準させ、画面中央LAを目標点にした目標点近傍の撮影を開始する(ステップS10)。この処理は、例えば、計測者が測量支援装置3Aを用いて測量機2に対して撮影の開始を指示することにより開始される。ターゲットTAは、概ね目標点の近傍に設置されているので、図4(a)に示すように、視準方向を目標点に向けて撮影した映像MAにはターゲットTAが写ることになる。ただし、この状態では位置ずれがあるので、ターゲットTAを計測することはできない。なお、もし仮にターゲットTAが写っていない場合には、ズームの倍率を小さくするなどして、ターゲットT1が映像に収まるようにする。撮影された映像は、測量支援装置3Aに送信される。
First, the surveying
続いて、測量支援装置3Aの画像取得部42aは、測量機2から取得した映像MAを画像データPとしてキャプチャーする(ステップS11)。以降では、各時点の画像データPを用いて処理が行われるので、ある時点(時刻ti)での画像データを画像データP(ti)で表すことにする(ここで、iは自然数)。次に、コントラスト調整部43aは、二値化処理が容易になるように画像データP(ti)のコントラストの調整を行う(ステップS12)。
Subsequently, the image acquisition unit 42a of the surveying support device 3A captures the image M A acquired from the surveying
続いて、二値化処理部43bは、閾値判別法によって画像データP(ti)の二値化処理を行う(ステップS13)。二値化処理は、例えば、指定マークUAをそれ以外の部分に対して判別可能にすることができればよい。例えば、指定マークUAが鮮明に抽出できる輝度を閾値として、画像データP(ti)内でこの閾値を超えない画素を指定マークUAに対応する画素として黒色画素に変換する。また、この閾値を超える画素をそれ以外の部分に対応する画素として白色画素に変換する。これによって、画像データP(ti)を二値化処理した二値化画像データQ(ti)が作成される(図7(a)参照)。なお、この二値化処理は、例えば、一般的な画像処理のソフトウェアにより実現されてもよく、また、ひび割れ画像処理技術で用いられるウェーブレット変換処理などの高度な画像処理技術を利用したソフトウェアにより実現されてもよい。
Subsequently, the
続いて、指定点位置算出部43cは、二値化画像データQ(ti)内に映る指定マークUAを抽出する(ステップS14)。指定マークUAを抽出できない場合(ステップS14で“無”)には、処理をステップS12に戻してコントラストの再調整を行う。一方、指定マークUAを抽出できた場合(ステップS14で“有り”)には、指定点位置算出部43cは、指定マークUAの指定点である交点SAの位置を算出する(ステップS15)。ここで、二値化画像データQ(ti)には、任意の位置を原点とする直交座標系(例えば、横方向をX軸、縦方向をY軸)が設定されており、指定マークUAの交点SAは、この座標系に基づく座標値(X(ti),Y(ti))として算出される(図7(b)参照)。ここでは、指定マークUAの指定点として交点SAを算出する場合を例示して説明を行う。
Subsequently, the designated point
位置ずれ算出部43dは、二値化画像データQ(ti)の画面中央LAの座標(Xo,Yo)と指定マークUAの指定点である交点SAの座標(X(ti),Y(ti))との位置ずれを算出し、算出した位置ずれが許容値以内であるか否かを判定する(ステップS16)。ここで、画面中央LAは視準方向である。算出した位置ずれが許容値を超えている場合(ステップS16で“有”)に、位置ずれ通知部44aは、視準方向である画面中央LAと指定マークUAの交点SAとが一致するのに要する測量機2の回転方向および回転角度を算出する。そして、位置ずれ通知部44aは、算出した測量機2の回転方向および回転角度を測量機2に通知し、測量機2は、通知された回転方向および回転角度に基づいて駆動部22を制御して撮影部21を旋回する(ステップS17)。旋回終了後、ステップS15に処理を戻して、旋回後の視準方向で撮影された二値化画像データQ(ti+1)の指定マークUAの交点SAを算出する。
The
つまり、ステップS15〜ステップS17は、位置ずれが許容値以内になるまでこの処理を繰り返し行うことを意味する。例えば、目標点に向けて撮影された最初の時点t1の二値化画像データQ(t1)における位置ずれに基づいて測量機2の撮影部21の旋回を行う。次に、旋回後の位置で撮影された次の時点(t2)の二値化画像データQ(t2)における位置ずれに基づいて測量機2の撮影部21の旋回をさらに行っていく。このようにして、位置ずれ量を徐々に縮めていき、最終的には、図4(b)に示すように、ターゲットTAが画面中央LAに位置した状態になる。
In other words, steps S15 to S17 mean that this process is repeated until the positional deviation is within the allowable value. For example, the
算出した位置ずれが許容値以内の場合(ステップS16で“無”)に、位置ずれ通知部44aは、測量機2にターゲットTAの測距の指示を送信する(ステップS18)。これにより、測量機2の計測部23は、ターゲットTAの計測を行う。
When the calculated positional deviation is within the permissible value (“NO” in step S16), the positional
以上のように、第1実施形態に係る測量支援装置3Aは、測量機2によって撮影された映像から画像解析処理によって指定マークUAの指定点である交点SAを算出する。また、指定マークUAの交点SAと視準方向である画面中央LAとの位置ずれを算出し、算出した位置ずれから画面中央LAと指定マークUAの交点SAとが一致するのに要する測量機2の回転方向および回転角度を算出する。そして、算出した回転方向および回転角度を測量機2に通知する。測量機2では、受信した回転方向および回転角度に基づいて撮影部21を旋回するので、視準方向である画面中央LAを指定マークUAの指定点である交点SAに合わせることができる。その為、計測者は、撮影された映像を見ながら測量機2を遠隔操作する必要がなく、ターゲットTAの計測が行える。
As described above, the surveying support apparatus 3A according to the first embodiment calculates the intersection point S A is the designated point in the specified mark U A by image analysis processing from video captured by the surveying
[第2実施形態]
≪第2実施形態に係る測量支援装置の構成について≫
図8を参照して、第2実施形態に係る測量支援装置3Bの構成について説明する。図8は、第2実施形態に係る測量支援装置3Bを用いた建て入れ調整システム1Bの概略構成図である。建て入れ調整システム1Bは、計測者による柱や梁などの垂直・水平を調整する建て入れの作業を実現するものである。
[Second Embodiment]
<<Regarding the Configuration of the Surveying Assistance Device According to the Second Embodiment>>
The configuration of the surveying
建て入れ調整システム1Bは、測量機2と、測量機2と通信可能である測量支援装置3Bと、を備えて構成されている。測量機2は、第1実施形態と同じ構成である。
測量支援装置3Bは、計測者によって操作されるものであり、測量機2を遠隔操作することができる。また、測量支援装置3Bは、測量機2を使用した作業(ここでは、建て入れ作業)を支援する機能を有している。当該機能の詳細は後記する。
The building adjustment system 1B includes a surveying
The surveying
図9を参照して、建て入れ調整システム1Bで使用されるターゲットTBの構成の一例を説明する。ここでのターゲットTBは、例えば、十字線からなる指定マークUBを矩形状(正方形を含む)のシートに印したものである。指定マークUBの十字線の交点SBは、指定マークUBの中心点になっている。ターゲットTBは、測量機2の位置から指定マークUBが視認でき、かつ測量機2に対して所定の角度を持って柱や梁に設置される。ターゲットTBの設置角度の許容量は、画像解析処理に依存する。なお、画像解析処理を行い易くするために、ターゲットTBの下地の色と指定マークUBの色とは、コントラストに差があることが望ましい。例えば、指定マークUBの下地を「白色」にした場合、指定マークUBを「黒色」にする。なお、ターゲットTBが、図9で説明するものに限定されないのは、ターゲットTAと同様である。例えば、ターゲットTBは、図2に示すターゲットTAと同じものであってもよい。
An example of the configuration of the target T B used in the placement adjustment system 1B will be described with reference to FIG. 9. The target T B here is, for example, one in which a designated mark U B formed of a cross line is printed on a rectangular (including square) sheet. Intersection S B of the cross line of the designated mark U B is made the center point of the specified mark U B. The target T B has the designated mark U B visible from the position of the surveying
図10(a)に示すように、目標点を視準方向として撮影された映像MBの画面中央LBとターゲットTBの交点SBとがずれた状態は、建て入れ位置の調整作業が必要な状態(建て入れ作業の完了前の状態)である。一方、図10(b)に示すように、目標点を視準方向として撮影された映像MBの画面中央LBとターゲットTBの交点SBとが一致した状態は、建て入れ作業が完了した状態である。 As shown in FIG. 10A, when the screen center L B of the image M B photographed with the target point as the collimation direction is displaced from the intersection S B of the target T B , the work for adjusting the installation position is not possible. It is in a necessary state (before the completion of construction work). On the other hand, as shown in FIG. 10B, when the screen center L B of the image M B captured with the target point as the collimation direction and the intersection S B of the target T B match, the building operation is completed. It is in the state of having done.
図11を参照して、測量支援装置3Bの具体的な構成について説明する。図11は、測量支援装置3Bの機能構成図である。測量支援装置3Bは、入力部31と、表示部32と、記憶部33と、通信部34と、制御部40Bとを備えて構成されている。制御部40B以外の構成は、第1実施形態と同様なので説明を省略する。
A specific configuration of the surveying
制御部40Bは、例えば、CPU、RAM、ROMからなり、入力部31、表示部32、記憶部33、通信部34を制御する。また、制御部40Bは、遠隔操作部41と、画像取得部42と、画像解析処理部43と、作業支援部44とを備えている。これらの機能は、CPUによるプログラム実行処理により実現される。第2実施形態に係る制御部40Bは、作業支援部44がガイド画面作成部44bと、ガイド画面出力部44cとからなる点で第1実施形態に係る制御部40Aと異なる。
The
ガイド画面作成部44bは、位置ずれ算出部43dによって算出された位置ずれを示す図形を、撮影部21によって撮影された映像に重ねた位置合わせガイド画面を作成する。ここでは、計測者は、位置ずれを示す図形に基づいて建て入れ作業を行うので、以下ではこの図形を「ガイドG」と称することにする。ガイド画面出力部44cは、ガイド画面作成部44bによって作成されたガイド画面を表示部32に表示させる。ガイドGは、例えば、全体座標系と同様の三次元座標系を撮影された映像に仮想的に設定し、その三次元座標系に基づいて生成される。ガイドGは、例えば、箱型(直方体状)のもの(図12(a),(b)参照)や、矢印型のもの(図12(c)参照)であってよい。
The guide
図12(a),(b)に示す箱型のガイドGは、直方体の対角線の一端が指定マークUBの指定点である交点SBに位置し、他端が画面中央LBに位置している。つまり、位置ずれが大きいほどにガイドGのサイズも大きくなり、位置ずれが小さいほどにガイドGのサイズも小さくなる。これにより、計測者は、箱型のガイドGの向きから位置合わせの方向を把握することができ、また、ガイドGの大きさから位置合わせの距離を把握することができる。なお、ガイドGの各辺の長さ(位置合わせの距離)を数値として表記してもよい。 In the box-shaped guide G shown in FIGS. 12A and 12B, one end of the diagonal line of the rectangular parallelepiped is located at the intersection S B which is the designated point of the designated mark U B , and the other end is located at the center L B of the screen. ing. That is, the larger the positional deviation, the larger the size of the guide G, and the smaller the positional deviation, the smaller the size of the guide G. Thereby, the measurer can grasp the alignment direction from the direction of the box-shaped guide G, and can also grasp the alignment distance from the size of the guide G. The length of each side of the guide G (positioning distance) may be expressed as a numerical value.
ガイドGの各辺の長さ(位置合わせの距離)は、種々の方法によって算出することができる。例えば、ターゲットTBや指定マークUBの実際の寸法を予め記憶しておき、撮影画像におけるターゲットTBや指定マークUBの大きさ(画素数)との比率からガイドGの各辺の長さを算出してもよい。この場合、撮影部21であるカメラを複眼にしてターゲットTBや指定マークUBの実際の寸法を取得するようにしてもよい。
また、撮影部21の画角から撮影画像のサイズを算出し、撮影画像の横幅および縦幅の画素数との比率からガイドGの各辺の長さを算出してもよい。
The length of each side of the guide G (positioning distance) can be calculated by various methods. For example, the actual dimensions of the target T B and the designated mark U B are stored in advance, and the length of each side of the guide G is calculated from the ratio with the size (the number of pixels) of the target T B and the designated mark U B in the captured image. May be calculated. In this case, the camera that is the
Alternatively, the size of the captured image may be calculated from the angle of view of the
図12(c)に示す矢印型のガイドGは、矢印の出発点が指定マークUBの交点SBになっており、矢印の向きが位置合わせの方向を示し、矢印の近傍の数字が位置合わせの距離を示す。これにより、計測者は、矢印型のガイドGの向きから位置合わせの方向を把握することができ、また、矢印近くの数値から位置合わせの距離を把握することができる。なお、矢印型のガイドGは、位置ずれが小さくなることによって箱型のガイドGでは表記が難しい場合に有効である。その為、位置ずれの距離に応じて、箱型のガイドGと矢印型のガイドGとを使い分けてもよい。 In the arrow-shaped guide G shown in FIG. 12C, the starting point of the arrow is the intersection S B of the designated mark U B , the direction of the arrow indicates the alignment direction, and the numbers near the arrow indicate the position. Indicates the distance of alignment. Thereby, the measurer can grasp the alignment direction from the direction of the arrow-shaped guide G, and can also grasp the alignment distance from the numerical value near the arrow. The arrow-shaped guide G is effective when it is difficult to describe the box-shaped guide G due to the small positional deviation. Therefore, the box-shaped guide G and the arrow-shaped guide G may be selectively used according to the displacement distance.
≪第2実施形態に係る測量支援装置の処理について≫
図13を参照して、測量支援装置3Bの処理について説明する。図13は、第2実施形態に係る測量支援装置3Bを用いた建て入れ調整システム1Bの処理を示すフローチャートの例示である。
ここで、計測者は、建て入れ作業に必要な情報を測量支援装置3Bに予め入力する。入力される情報は、例えば、測量機2の位置や目標点の位置など(何れも全体座標系の三次元座標値)である。また、計測者は、建て込む柱や梁にターゲットTBを予め設置し、ターゲットTBが目標点の近傍に位置するように柱等を誘導しておく。
<<Processing of Surveying Assistance Device According to Second Embodiment>>
The processing of the surveying
Here, the measurer inputs the information necessary for the installation work into the surveying
図13に示すステップS30〜ステップS36までの処理は、第1実施形態のステップS10〜ステップS16までの処理と同じである(図6参照)。その為、これらの処理については説明を省略する。
ステップS36で算出した位置ずれが許容値を超えている場合(ステップS36で“有”)に、ガイド画面作成部44bは、位置ずれ(方向や距離など)を示すガイドG(図12参照)を画像データP(ti)に重ねた位置合わせガイド画面を作成する。そして、ガイド画面出力部44cは、位置合わせガイド画面を表示部32に表示させる(ステップS37)。計測者は、表示部32に表示されるガイド画面に基づいて柱や梁の建て入れを行う(ステップS38)。建て入れ終了後、ステップS35に処理を戻して、建て入れ後に撮影された二値化画像データQ(ti+1)の指定マークUBの指定点である交点SBを算出する。
The processing from step S30 to step S36 shown in FIG. 13 is the same as the processing from step S10 to step S16 of the first embodiment (see FIG. 6). Therefore, the description of these processes will be omitted.
When the positional displacement calculated in step S36 exceeds the allowable value (“YES” in step S36), the guide
つまり、ステップS35〜ステップS38は、位置ずれが許容値以内になるまでこの処理を繰り返し行うことを意味する。例えば、計測者は、最初の時点t1のガイド画面(例えば、図12(a)参照)に従って建て入れを行う。次に、建て入れ後の位置で撮影された次の時点(t2)の映像から新たなガイド画面(例えば、図12(b)参照)を作成し、そのガイド画面に従ってさらに建て入れを行っていく。このようにして、例えば、図12(a)に示す状態から図12(b)に示す状態、図12(c)に示す状態と位置ずれ量を徐々に縮めていき、最終的には、図10(b)に示すように、ターゲットTBを画面中央LBに位置した状態にする。 That is, steps S35 to S38 mean that this process is repeated until the positional deviation is within the allowable value. For example, the measurer performs the installation according to the guide screen at the first time point t 1 (for example, see FIG. 12A). Next, create a new guide screen (for example, see FIG. 12(b)) from the image at the next time (t 2 ) taken at the position after the installation, and perform further installation according to the guide screen. Go In this way, for example, the position shift amount is gradually reduced from the state shown in FIG. 12A to the state shown in FIG. 12B and the state shown in FIG. As shown in 10(b), the target T B is placed in the center L B of the screen.
算出した位置ずれが許容値以内の場合(ステップS36で“無”)に、ガイド画面出力部44cは、建て入れ終了の画面を表示部32に表示させ、これにより、建て入れ作業が終了する(ステップS39)。なお、建て入れ終了後に、ターゲットTBの計測を行うのが好ましい。これによって、建て入れ作業をより精度よく行うことが可能になる。
When the calculated positional deviation is within the allowable value (“NO” in step S36), the guide
以上のように、第2実施形態に係る測量支援装置3Bは、測量機2によって撮影された映像から画像解析処理によって指定マークUBの指定点である交点SBを算出する。また、指定マークUBの交点SBと視準方向である画面中央LBとの位置ずれを算出し、算出した位置ずれを示すガイドGを映像に重ねた位置合わせガイド画面を表示部32に表示する。このガイドGは、位置合わせの方向および距離を視覚的に示すので、計測者は、位置合わせガイド画面に従って建て入れ作業を行うことで、指定マークUBの指定点である交点SBを画面中央LBに簡単に合わせることができる。その為、ターゲットTBの位置を計測することなしに、建て入れ作業を行える。
As described above, the surveying
[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。
[Modification]
Although the embodiments of the present invention have been described above, the present invention is not limited to the embodiments and can be carried out within the scope of the claims. A modified example of the embodiment will be described below.
各実施形態では、指定マークUAとして円と十字線とが組み合されたものを例示し、また、指定マークUBとして十字線を例示した。しかしながら、指定マークUA,UBはこれに限定されるものではなく、種々の形状を採用することができる。例えば、指定マークUA,UBとして、四角形、ひし形などの図形やこれらの図形と十字線とを組み合わせたものを用いてもよい。
また、図14(a)に示すように、円や十字線などの図形がない無地の四角形のシールをターゲットTCとしてもよい。この場合、ターゲットTCの外形が指定マークUCとなり、例えば、指定マークUCの指定点として重心を算出する。なお、ターゲットTCの色は任意のものであってよい。
また、図14(b)に示すように、矢印形状のシールをターゲットTDとしてもよい。この場合、ターゲットTDの外形が指定マークUDとなり、例えば、指定マークUDの指定点として矢印の先端SDを算出する。なお、ターゲットTDの色は任意のものであってよい。
In each embodiment, a combination of a circle and a crosshair is shown as the designation mark U A , and a crosshair is shown as the designation mark U B. However, the designation marks U A and U B are not limited to this, and various shapes can be adopted. For example, as the designation marks U A and U B , figures such as a quadrangle and a rhombus, or a combination of these figures and a cross line may be used.
Further, as shown in FIG. 14A, a plain rectangular sticker without a figure such as a circle or a cross line may be used as the target T C. In this case, the outer shape of the target T C becomes the designated mark U C , and for example, the center of gravity is calculated as the designated point of the designated mark U C. The color of the target T C may be arbitrary.
Further, as shown in FIG. 14B, an arrow-shaped seal may be used as the target T D. In this case, the outer shape of the target T D becomes the designated mark U D , and for example, the tip S D of the arrow is calculated as the designated point of the designated mark U D. The color of the target T D may be arbitrary.
また、各実施形態では、シールに指定マークUA,UBを印していたが、施工対象物(柱、梁などを含む)に直接指定マークUA,UBを印すようにしてもよいし、また、ターゲットとしてシール以外のもの(例えば、板材)を用い、これらのものに指定マークを印すようにしてもよい。例えば、図14(c)に示すように、矩形状の板材を直角に折り曲げたターゲットTEの外側の一方の面に指定マークUEを印したものを用いてもよい。 In the embodiments, specify the sealing marks U A, had marked the U B, execution object directly specified (column, including beams) mark U A, also be marks the U B Alternatively, a target other than the seal (for example, a plate material) may be used as the target, and the designation mark may be marked on these. For example, as shown in FIG. 14(c), a rectangular plate may be bent at a right angle and a designation mark U E may be formed on one outer surface of the target T E.
また、第1実施形態では、位置ずれ通知部44aが、視準方向である画面中央LAと指定マークUAの指定点である交点SAとが一致するのに要する測量機2の回転方向および回転角度を算出し、算出した測量機2の回転方向および回転角度を測量機2に通知していた。しかしながら、位置ずれ通知部44aは、位置ずれに関する情報(例えば、方向や距離など)を測量機2に送信し、測量機2が回転方向および回転角度を算出するようにしてもよい。
Further, in the first embodiment, the position
また、第2実施形態では、計測者が所有する測量支援装置3Bにガイド画面を表示していたが、計測者以外の者が建て入れ作業を行う場合に、その作業者が所有する装置にガイド画面を送信するようにしてもよい。
Further, in the second embodiment, the guide screen is displayed on the surveying
1A 出来形測量システム
1B 建て入れ調整システム
2 測量機
3A,3B 測量支援装置
42 画像取得部
43 画像解析処理部
43a コントラスト調整部
43b 二値化処理部
43c 指定点位置算出部
43d 位置ずれ算出部
44 作業支援部
44a 位置ずれ通知部
44b ガイド画面作成部
44c ガイド画面出力部
TA〜TE ターゲット
UA〜UE 指定マーク
G ガイド
1A Measurement system 1B Built-in
Claims (3)
測量機の視準点を含むように撮影された撮影画像を取得する画像取得部と、
前記撮影画像を画像処理することによって、指定マークに関連付けられた指定点と前記視準点との位置ずれを算出する画像解析処理部と、
算出された前記位置ずれに基づいて前記測量機を使用して行われる作業の支援を行う作業支援部と、を備え、
前記指定点は、建て入れをする対象物の代表点であり、
前記視準点は、前記代表点における建て入れの目標点であり、
前記作業支援部は、算出した前記位置ずれを撮影画像に重ねた位置合わせガイド画面を表示部に表示させる、
ことを特徴とする測量支援装置。 A surveying support device that supports the construction work performed at the construction site,
An image acquisition unit that acquires a captured image captured so as to include the collimation point of the surveying instrument,
An image analysis processing unit that calculates a positional deviation between a designated point associated with a designated mark and the collimation point by performing image processing on the captured image,
A work support unit that supports work performed using the surveying instrument based on the calculated positional deviation ,
The designated point is a representative point of the object to be built,
The collimation point is a target point for building in the representative point,
The work support unit causes a display unit to display a position alignment guide screen in which the calculated positional deviation is superimposed on a captured image.
A surveying support device characterized in that
取得した前記撮影画像の前記指定マークをそれ以外の部分に対して判別可能に二値化処理した二値化画像データを作成する二値化処理部と、
前記二値化画像データから前記指定マークを検出し、二値化画像データに設定された直交座標系における当該指定マークの指定点の座標を算出する指定点位置算出部と、
前記視準点の座標と前記指定マークの指定点の座標との位置ずれを算出する位置ずれ算出部と、
を備えることを特徴とする請求項1に記載の測量支援装置。 The image analysis processing unit,
A binarization processing unit that creates binarized image data in which the designated mark of the acquired captured image is binarized so as to be distinguishable from other portions.
A specified point position calculation unit that detects the specified mark from the binarized image data and calculates the coordinates of the specified point of the specified mark in the rectangular coordinate system set in the binarized image data,
A position shift calculation unit that calculates a position shift between the coordinates of the collimation point and the coordinates of the designated point of the designated mark;
The surveying assistance device according to claim 1, further comprising:
ことを特徴とする請求項1または請求項2に記載の測量支援装置。The surveying support device according to claim 1 or 2, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035353A JP6722000B2 (en) | 2016-02-26 | 2016-02-26 | Surveying support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035353A JP6722000B2 (en) | 2016-02-26 | 2016-02-26 | Surveying support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151013A JP2017151013A (en) | 2017-08-31 |
JP6722000B2 true JP6722000B2 (en) | 2020-07-15 |
Family
ID=59739699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016035353A Active JP6722000B2 (en) | 2016-02-26 | 2016-02-26 | Surveying support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6722000B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022026868A (en) * | 2020-07-31 | 2022-02-10 | 株式会社トプコン | Surveying support program, surveying support device, surveying support method, and surveying support system |
CN113638602A (en) * | 2021-07-12 | 2021-11-12 | 中国建筑第四工程局有限公司 | High-precision construction method for ultra-high large-section concrete independent column in hangar hall |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3565293B2 (en) * | 1995-06-02 | 2004-09-15 | 株式会社ニコン | Surveying device and angle measuring method |
JPH112518A (en) * | 1997-06-13 | 1999-01-06 | Shimizu Corp | Automatic surveying method and device |
JP3854168B2 (en) * | 2002-02-14 | 2006-12-06 | 株式会社ソキア | Total station controller |
JP2003279352A (en) * | 2002-03-25 | 2003-10-02 | Sokkia Co Ltd | Autocollimation surveying instrument |
EP2106533B1 (en) * | 2007-01-25 | 2011-03-09 | Trimble AB | Aiming of a geodetic instrument |
KR101497187B1 (en) * | 2008-10-21 | 2015-02-27 | 가부시키가이샤 소키아·토푸콘 | Manual Type Surveying Instrument Having Collimation Assisting Device |
JP5623227B2 (en) * | 2010-09-30 | 2014-11-12 | 株式会社トプコン | Measuring method and measuring device |
-
2016
- 2016-02-26 JP JP2016035353A patent/JP6722000B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017151013A (en) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3460394B1 (en) | Surveying instrument, augmented reality (ar)-system and method for referencing an ar-device relative to a reference system | |
EP3392612B1 (en) | Defect detection apparatus and program | |
EP2863174B1 (en) | Measuring method and measuring instrument | |
EP2707745B1 (en) | Calibration method for a device with scan functionality | |
JP5060358B2 (en) | Surveying system | |
JP6996925B2 (en) | Pile head analysis system, pile head analysis method, and pile head analysis program | |
US20130096873A1 (en) | Acquisition of Information for a Construction Site | |
EP2863173B1 (en) | Measuring method and measuring instrument | |
WO2011040239A1 (en) | Wide angle imaging device and measurement system | |
EP3640588B1 (en) | System, method and program for determining the size of a defect | |
WO2018038152A1 (en) | Gas measurement system and gas measurement program | |
US11953891B2 (en) | Work management system and work management method | |
JP6693616B1 (en) | Surveying system and surveying method | |
CN112415010A (en) | Imaging detection method and system | |
JP2017151026A (en) | Three-dimensional information acquiring device, three-dimensional information acquiring method, and program | |
JP6201252B1 (en) | Position measuring apparatus and position measuring method | |
JP6722000B2 (en) | Surveying support device | |
EP1469281B1 (en) | Electronic surveying apparatus | |
JP2021039013A (en) | Wall crack measuring machine and measuring method | |
JP2001264059A (en) | Method of measuring displacement quantity of measured object | |
JP4359083B2 (en) | Surveying system | |
JP7044331B2 (en) | Image processing systems, image processing methods and programs for efficiently inspecting structures such as bridges | |
JP4403546B2 (en) | Automatic survey system | |
CN115115802A (en) | Measurement information management system, measurement information management method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6722000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |