JP6448427B2 - Facility name superimposing device - Google Patents
Facility name superimposing device Download PDFInfo
- Publication number
- JP6448427B2 JP6448427B2 JP2015055561A JP2015055561A JP6448427B2 JP 6448427 B2 JP6448427 B2 JP 6448427B2 JP 2015055561 A JP2015055561 A JP 2015055561A JP 2015055561 A JP2015055561 A JP 2015055561A JP 6448427 B2 JP6448427 B2 JP 6448427B2
- Authority
- JP
- Japan
- Prior art keywords
- facility
- information
- camera
- angle
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
この発明は、カメラで撮影された映像に映っている施設等に係わる地図情報を、映像内のその施設付近に重畳させて表示する施設名称重畳装置に関するものである。 The present invention relates to a facility name superimposing apparatus that superimposes and displays map information relating to a facility or the like shown in a video photographed by a camera in the vicinity of the facility in the video.
大規模な災害が発生した際に、現場からの映像を送信して表示する映像表示システムは、その災害発生現場の状況を把握するために必要欠くべからざるものとなっている。そのために、国や地方自治体、民間企業では地域内の各箇所にカメラ装置を設置し、災害発生時にはその映像を防災拠点等で参照することによって、救援活動に役立てている。
また、防災ヘリコプター等をもつ自治体や省庁においては、それらのヘリコプターにカメラ装置を搭載し、カメラで撮影した映像を無線を通じて地上に配信し、地上で受信した映像を見る、というシステムも多く設置されている。防災ヘリコプターの整備によって災害発生場所の状況をリアルタイムで地上防防災拠点に送ることができるため、災害対策において必要欠くべからざるものとなっている。
ただし、救援活動を立案するためには、「どこでどれだけの被害が発生しているか」を特定する必要があるが、カメラから送られている映像からのみでは、「どこで」を特定するのは非常に困難で、その地域をよく知っている担当者による識別しか対応できない。この「どこで」を現場に不慣れな担当者でも容易に特定可能とするために、映像上にその地域に関する情報を重畳する技術が求められている。
A video display system that transmits and displays video from the site when a large-scale disaster occurs is indispensable to grasp the situation at the site of the disaster. For this purpose, national, local governments, and private enterprises install camera devices at various locations in the region, and when disasters occur, refer to the images at disaster prevention bases, etc., for use in relief activities.
In addition, many local government agencies and ministries with disaster prevention helicopters are equipped with a camera device that distributes the images captured by the cameras to the ground via radio and watches the images received on the ground. ing. Since disaster prevention helicopters can be installed, the situation of disasters can be sent in real time to ground-based disaster prevention bases, making them indispensable for disaster countermeasures.
However, in order to plan relief activities, it is necessary to specify “where and how much damage is occurring”, but it is necessary to specify “where” only from images sent from the camera. It is very difficult and can only be identified by a person who knows the area well. In order to make it possible to easily identify “where” even by a person inexperienced at the site, a technique for superimposing information on the area on the video image is required.
そのような技術として、特許文献１がある。特許文献１には、ヘリコプターに搭載したカメラ装置で撮影した映像と自機の位置情報及びカメラ装置の撮影方向及び機体の姿勢情報を地上に送信し、地上では受信した情報を基に撮影位置の３次元的特定処理を行い、その撮影位置データに対応する属性データを電子地図から抽出して、これを地上で受信した撮影映像に付加して表示するシステムが記載されている。
本技術は、撮影位置が特定できる場合には有効であるが、そうでない場合、例えば被災位置に特定の対象物が無いような場合または大規模災害等で広い範囲を俯瞰して確認したい場合などには向かない。
There exists patent document 1 as such a technique. In Patent Document 1, the image captured by the camera device mounted on the helicopter, the position information of the own device, the shooting direction of the camera device, and the attitude information of the aircraft are transmitted to the ground, and the position of the shooting position is based on the received information on the ground. A system is described in which three-dimensional identification processing is performed, attribute data corresponding to the shooting position data is extracted from an electronic map, and this is added to a shot video received on the ground and displayed.
This technology is effective when the shooting position can be specified, but when this is not the case, for example, when there is no specific object at the damaged position, or when it is desired to check over a wide range in a large-scale disaster, etc. Not suitable for.
そのような技術としては、特許文献２がある。この技術は、カメラ装置で撮影した映像に映っている施設に対して、その施設の位置に重なるように施設名称などを重ねて表示するものである。
自機の位置情報とカメラ装置の撮影方向及び機体の姿勢情報からカメラ撮影方向を算出し、格納している３次元の地図データを前記の算出した結果に基づいて透視変換して、撮影映像に応じた地図データを獲得し、その獲得した地図データを撮影映像と共に表示する映像表示システムである。この技術は、透視変換により地図データの位置を特定するところが特徴である。
There exists patent document 2 as such a technique. In this technology, a facility name or the like is displayed so as to overlap with the location of the facility shown in the video taken by the camera device.
The camera shooting direction is calculated from the position information of the own device, the shooting direction of the camera device, and the attitude information of the aircraft, and the stored three-dimensional map data is perspective-transformed based on the calculated result to obtain a shot image. This is a video display system that acquires corresponding map data and displays the acquired map data together with a captured video. This technique is characterized in that the position of map data is specified by perspective transformation.
特許文献２に記載された技術で用いられている透視変換は、三次元データの処理に一般的に用いられている技術である。三次元地図データの一つ一つに対して複数の行列計算を行う必要がある。
具体的には地図データ一つ一つに対して、姿勢情報、カメラ情報等での回転を行うことに加え、透視変換による行列計算が必要になる。姿勢情報は、一般にピッチ角、ロール角、ヨー角の三種類、カメラ情報はパン角、チルト角の二種類であるため、５度の行列演算に加えて、透視変換の、計６度の演算が必要になるという問題があった。
The perspective transformation used in the technique described in Patent Document 2 is a technique generally used for processing three-dimensional data. It is necessary to perform multiple matrix calculations for each piece of 3D map data.
Specifically, it is necessary to perform matrix calculation by perspective transformation in addition to performing rotation with attitude information, camera information, etc. for each map data. There are generally three types of posture information: pitch angle, roll angle, and yaw angle, and camera information is two types of pan angle and tilt angle. Therefore, in addition to matrix calculation of 5 degrees, a total of 6 degrees calculation of perspective transformation is performed. There was a problem that would be necessary.
この発明は、上述のような課題を解決するためになされたものであり、カメラ映像上の施設の名称をカメラ映像の施設位置に重畳させて表示する施設名称重畳装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a facility name superimposing apparatus that superimposes and displays a facility name on a camera image on a facility position of the camera image. .
この発明に係わる施設名称重畳装置においては、カメラで撮影した施設の映像に施設名称を重畳させて表示する施設名称重畳装置であって、カメラの位置情報を特定するＧＰＳ装置、カメラの姿勢情報を特定する姿勢装置、カメラの角度情報と画角情報を取得するカメラ情報取得手段、施設名称を含む三次元の施設情報を格納する施設情報データベース、カメラの姿勢情報および角度情報に基づき、カメラの撮影方向を算出する撮影方向特定手段、カメラの位置情報と三次元の施設情報に基づき、カメラを基準とした施設の存在する方向である施設方向を算出する施設方向特定手段、撮影方向と施設方向のなす角を算出し、このなす角に基づき施設が画角情報によって決まる撮影映像内に含まれるかどうかを判定し、撮影映像内に含まれる施設情報を検索する施設情報検索手段、およびこの施設情報検索手段によって検索された施設情報の施設名称を、施設方向と画角情報に基づき、カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、施設方向特定手段は、カメラの位置から施設の位置までの直線の水平線上の方位角と、直線の高さ方向の仰角とを求め、方位角および仰角を用いて、施設方向を求めるものである。 The facility name superimposing apparatus according to the present invention is a facility name superimposing apparatus that superimposes and displays a facility name on a facility image captured by a camera, and includes a GPS device that specifies camera position information, and camera posture information. Based on the posture apparatus to be identified, camera information acquisition means for acquiring camera angle information and angle of view information, a facility information database for storing three-dimensional facility information including the facility name, and camera shooting based on camera posture information and angle information A shooting direction specifying means for calculating a direction, a facility direction specifying means for calculating a facility direction which is a direction of the facility based on the camera based on the camera position information and the three-dimensional facility information, and the shooting direction and the facility direction The angle formed is calculated, and it is determined whether the facility is included in the captured video determined by the angle of view information based on the formed angle, and the application included in the captured video is determined. Facility information search means for searching for information and a facility name of the facility information searched by the facility information search means to be displayed superimposed on the video of the facility taken by the camera based on the facility direction and the angle of view information The facility direction specifying means is provided with a name display means, obtains an azimuth angle on the straight horizontal line from the camera position to the facility position, and an elevation angle in the height direction of the straight line, and uses the azimuth angle and the elevation angle to The direction is sought .
この発明によれば、カメラで撮影した施設の映像に施設名称を重畳させて表示する施設名称重畳装置であって、カメラの位置情報を特定するＧＰＳ装置、カメラの姿勢情報を特定する姿勢装置、カメラの角度情報と画角情報を取得するカメラ情報取得手段、施設名称を含む三次元の施設情報を格納する施設情報データベース、カメラの姿勢情報および角度情報に基づき、カメラの撮影方向を算出する撮影方向特定手段、カメラの位置情報と三次元の施設情報に基づき、カメラを基準とした施設の存在する方向である施設方向を算出する施設方向特定手段、撮影方向と施設方向のなす角を算出し、このなす角に基づき施設が画角情報によって決まる撮影映像内に含まれるかどうかを判定し、撮影映像内に含まれる施設情報を検索する施設情報検索手段、およびこの施設情報検索手段によって検索された施設情報の施設名称を、施設方向と画角情報に基づき、カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、施設方向特定手段は、カメラの位置から施設の位置までの直線の水平線上の方位角と、直線の高さ方向の仰角とを求め、方位角および仰角を用いて、施設方向を求めるので、カメラの映像上に映っている施設などの名称をその映像上の施設位置に重畳して表示することで、災害発生個所の特定を容易にすることができる。
According to the present invention, a facility name superimposing device that superimposes and displays a facility name on an image of a facility photographed by a camera, the GPS device that identifies camera position information, the posture device that identifies camera posture information, Camera information acquisition means for acquiring camera angle information and angle-of-view information, facility information database for storing three-dimensional facility information including facility names, and shooting for calculating the camera shooting direction based on camera posture information and angle information Based on the direction specifying means, the camera position information and the three-dimensional facility information, the facility direction specifying means for calculating the facility direction, which is the direction of the facility with respect to the camera, calculates the angle formed by the shooting direction and the facility direction. Based on the angle formed, it is determined whether or not the facility is included in the captured video determined by the angle of view information, and the facility information search for searching the facility information included in the captured image is performed. It means, and the facility name of the facility information retrieved by the facility information searching means, on the basis of facilities direction and angle of view information includes a facility name display means for displaying superimposed on the video of the facility taken by the camera, Property The direction specifying means obtains the azimuth angle on the straight horizontal line from the camera position to the facility position and the elevation angle in the height direction of the straight line, and finds the facility direction using the azimuth angle and elevation angle . It is possible to easily identify the location of the disaster by displaying the name of the facility or the like shown on the video superimposed on the location of the facility on the video.
実施の形態１．
以下に、実施の形態１について図を用いて説明する。
図１は、この発明の実施の形態１による施設名称重畳装置を示す構成図である。
図１において、カメラ１は、災害発生した地域などの映像を撮影する。ＧＰＳ装置２は、カメラ１の位置情報を特定する。姿勢装置３は、カメラ１の姿勢情報を特定する。カメラ情報取得手段４は、カメラ１の角度情報と画角情報を取得するためにカメラ１に設置される。施設情報データベース５は、施設名称や施設の属性を含む三次元の施設情報を格納する。
撮影方向特定手段６は、姿勢情報と角度情報からカメラ１の撮影方向を算出する。施設方向特定手段７は、カメラ１の位置情報と三次元施設情報から、カメラ位置から施設までの方向（施設方向）を算出する。施設情報検索手段８は、撮影方向と施設方向からそのなす角を算出し、このなす角に基づき当該施設が画角情報によって決まる撮影映像内に含まれるかどうかを判定して、撮影映像内に含まれる施設情報を取得する。施設名称表示手段９は、取得した施設情報を、その施設方向と画角情報に基づき、カメラ１で撮影した施設の映像に重畳して表示する。
Embodiment 1 FIG.
The first embodiment will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a facility name superimposing apparatus according to Embodiment 1 of the present invention.
In FIG. 1, a camera 1 captures an image of an area where a disaster has occurred. The GPS device 2 specifies position information of the camera 1. The posture apparatus 3 identifies posture information of the camera 1. The camera information acquisition unit 4 is installed in the camera 1 in order to acquire angle information and field angle information of the camera 1. The facility information database 5 stores three-dimensional facility information including facility names and facility attributes.
The shooting direction specifying unit 6 calculates the shooting direction of the camera 1 from the posture information and the angle information. The facility direction specifying means 7 calculates the direction from the camera position to the facility (facility direction) from the position information of the camera 1 and the three-dimensional facility information. The facility information search means 8 calculates the angle formed by the shooting direction and the facility direction, determines whether the facility is included in the captured video determined by the angle of view information based on the formed angle, and includes in the captured video. Get the included facility information. The facility name display means 9 superimposes and displays the acquired facility information on the facility image captured by the camera 1 based on the facility direction and angle-of-view information.
なお、カメラ１、ＧＰＳ装置２、姿勢装置３については、一般的に市販されている装置を選択可能である。またカメラ情報取得手段４については、そのような機能を有するカメラも市販されており、実施の形態としては問題ない。
施設情報データベース５のような施設情報は、市販の地図データベースとして入手可能である。高さ情報は、その施設の緯度経度から標高値を算出することで取得可能である。
また、施設名称表示手段９は、カメラ１からの映像を受信して、施設情報検索手段８からの施設情報に合わせて、その映像上に施設名称および施設属性を重ねて表示するものであり、通常のコンピュータで実現可能である。
In addition, about the camera 1, GPS apparatus 2, and attitude | position apparatus 3, the apparatus marketed generally can be selected. As the camera information acquisition means 4, a camera having such a function is also commercially available, and there is no problem as an embodiment.
Facility information such as the facility information database 5 is available as a commercially available map database. The height information can be acquired by calculating an altitude value from the latitude and longitude of the facility.
The facility name display means 9 receives the video from the camera 1 and displays the facility name and the facility attribute superimposed on the video according to the facility information from the facility information search means 8. It can be realized with a normal computer.
図２は、この発明の実施の形態１による施設名称重畳装置における回転行列を示す図である。
図２において、回転行列のＹａはヨー角、Ｐｉはピッチ角、Ｒｏはロール角、Ｐａはパン角、Ｔｉはチルト角を示している。
FIG. 2 is a diagram showing a rotation matrix in the facility name superimposing apparatus according to Embodiment 1 of the present invention.
In FIG. 2, Ya represents the yaw angle, Pi represents the pitch angle, Ro represents the roll angle, Pa represents the pan angle, and Ti represents the tilt angle.
図３は、この発明の実施の形態１による施設名称重畳装置におけるＧＰＳ情報と施設情報を用いてカメラのＧＰＳ位置から施設の位置に向けて伸ばした直線の方向を求めることを示す概念図である。
図３において、カメラのＧＰＳ位置（図ではカメラ位置）から施設位置に向けて直線（ベクトル）の方向（施設方向）を求める場合で、水平線上での方位角、高さ方向の仰角を示している。
FIG. 3 is a conceptual diagram showing that the direction of a straight line extending from the GPS position of the camera toward the facility position is obtained using the GPS information and the facility information in the facility name superimposing apparatus according to Embodiment 1 of the present invention. .
In FIG. 3, the direction of the straight line (vector) (facility direction) is determined from the GPS position of the camera (camera position in the figure) toward the facility position, and the azimuth angle on the horizontal line and the elevation angle in the height direction are shown. Yes.
図４は、この発明の実施の形態１による施設名称重畳装置における画角情報の範囲内に入る施設を抽出することを示す概念図である。
図４において、撮影方向のベクトルと、施設方向へのベクトルを基に、カメラ情報取得手段４から得た画角情報の範囲内に施設が入るかどうかを確認する場合の各ベクトルの係わり方を示している。
FIG. 4 is a conceptual diagram showing that a facility that falls within the range of angle-of-view information in the facility name superimposing apparatus according to Embodiment 1 of the present invention is extracted.
In FIG. 4, how to relate each vector when confirming whether or not the facility is within the range of the angle-of-view information obtained from the camera information acquisition means 4 based on the vector in the shooting direction and the vector in the facility direction. Show.
図５は、この発明の実施の形態１による施設名称重畳装置を示すシステム構成図である。
図５において、１〜９は図１におけるものと同一のものである。信号変換装置１０には、撮影方向特定手段６、施設方向特定手段７、施設情報検索手段８の各手段をプログラムとして実装し納めている。モニタ装置１１は、施設名称表示手段９の制御によって、施設の映像に施設名称や施設の属性を重畳させて表示したものを映し出す。
FIG. 5 is a system configuration diagram showing the facility name superimposing apparatus according to Embodiment 1 of the present invention.
In FIG. 5, 1 to 9 are the same as those in FIG. In the signal conversion apparatus 10, the photographing direction specifying means 6, the facility direction specifying means 7, and the facility information searching means 8 are mounted and stored as programs. Under the control of the facility name display means 9, the monitor device 11 projects what is displayed by superimposing the facility name and the facility attribute on the facility image.
次に、動作について説明する。
まず、撮影方向特定手段６の処理について説明する。
撮影方向特定手段６は、姿勢装置３からのカメラ１の姿勢情報およびカメラ情報取得手段４からのカメラ１の角度情報を取得する。この姿勢情報とは、当該カメラ設置時の傾きや方向に関する情報であり、一般にはピッチ角、ロール角、ヨー角の三種類存在する。
ヨー角は北方向を０度とした場合の方位角と呼ぶこともある。また、実施の形態１の場合は、カメラ１については定点固定カメラも想定しているので、ピッチ角およびロール角は０度としてもかまわない。
カメラ情報取得手段４からのカメラ１の角度情報は、カメラ１の横方向の回転を示すパン角と上下方向の回転を示すチルト角からなる。
撮影方向特定手段６の処理は、これらのピッチ角、ロール角、ヨー角、パン角、チルト角を順番に回転させることにより、カメラ位置を起点とした撮影方向のベクトルを計算するものである。
これは、一般的な同次座標変換の公式により、回転行列を作成することで計算可能であり、その回転行列を図２に示す。
Next, the operation will be described.
First, the processing of the photographing direction specifying unit 6 will be described.
The photographing direction specifying unit 6 acquires the posture information of the camera 1 from the posture device 3 and the angle information of the camera 1 from the camera information acquisition unit 4. This posture information is information related to the tilt and direction when the camera is installed, and generally there are three types of pitch angle, roll angle, and yaw angle.
The yaw angle is sometimes called the azimuth angle when the north direction is 0 degree. In the case of the first embodiment, since the camera 1 is also assumed to be a fixed point camera, the pitch angle and the roll angle may be 0 degrees.
The angle information of the camera 1 from the camera information acquisition unit 4 includes a pan angle indicating the horizontal rotation of the camera 1 and a tilt angle indicating the vertical rotation.
The processing of the shooting direction specifying means 6 calculates a shooting direction vector starting from the camera position by sequentially rotating the pitch angle, roll angle, yaw angle, pan angle, and tilt angle.
This can be calculated by creating a rotation matrix by a general homogeneous coordinate transformation formula, and the rotation matrix is shown in FIG.
次に、施設方向特定手段７の処理について説明する。
施設方向特定手段７は、ＧＰＳ装置２からのカメラ１の位置情報であるＧＰＳ情報と、施設情報データベース５からの施設情報を用いて、カメラ１のＧＰＳ位置（カメラ位置）から施設の位置に向けて伸ばした直線（ベクトル）の方向（施設方向）を求めるものである。図３にその概念図を示す。
実施の方法としては、第一に、カメラ位置の緯度経度情報と施設の緯度経度情報により、カメラ位置から施設までの直線の水平線上での方位角を求め、第二に、その直線の高さ方向の仰角を求める。
ここで、方位角の求め方は、高精度なものからそうでないものまで、さまざまな方法が提唱されている。高精度な結果を求めたいならば、ジョルダンの方式などを採用するが、その分、計算量が増加するため、実際上は、より高速で、実用的に十分な精度が求められるヒュベニの方式等を用いる場合が多い。
Next, the process of the facility direction specifying means 7 will be described.
The facility direction specifying means 7 uses the GPS information that is the position information of the camera 1 from the GPS device 2 and the facility information from the facility information database 5 to move from the GPS position (camera position) of the camera 1 to the position of the facility. The direction (facility direction) of the straight line (vector) extended in this way is obtained. The conceptual diagram is shown in FIG.
As a method of implementation, first, the azimuth on the horizontal line of the straight line from the camera position to the facility is obtained from the latitude / longitude information of the camera position and the latitude / longitude information of the facility, and secondly, the height of the straight line. Find the elevation angle of the direction.
Here, various methods have been proposed for obtaining the azimuth angle, from a highly accurate one to one that is not. If you want to obtain highly accurate results, you can use Jordan's method, etc., but the amount of calculation increases, and in fact, the Huveni's method, which requires higher speed and practically sufficient accuracy, etc. Is often used.
仰角の求め方は、カメラ１の位置情報である緯度経度座標と、施設の位置情報である緯度経度座標を用いて、カメラ１から施設までの水平面での直線状の距離を求め、さらにカメラ１の高度（ＧＰＳ装置２により取得可能）と施設情報からの施設の標高情報との差分からなる高さを求める。この二つの値から逆正接関数により仰角を求める。
最後に、この方位角と仰角を用いて、撮影方向特定手段６の場合と同様に、同次座標変換の公式などにより、回転行列を作成することで、施設方向へのベクトルを求めることができる。
The elevation angle is obtained by using a latitude / longitude coordinate which is position information of the camera 1 and a latitude / longitude coordinate which is position information of the facility to obtain a linear distance on the horizontal plane from the camera 1 to the facility. Is obtained from the difference between the altitude (which can be acquired by the GPS device 2) and the altitude information of the facility from the facility information. From these two values, the elevation angle is obtained by an arctangent function.
Finally, using this azimuth angle and elevation angle, as in the case of the imaging direction specifying means 6, a vector in the facility direction can be obtained by creating a rotation matrix by the homogeneous coordinate transformation formula or the like. .
次に、施設情報検索手段８の処理について説明する。
施設情報検索手段８は、撮影方向特定手段６から得た撮影方向のベクトルと、施設方向特定手段７から得た施設方向へのベクトルを基に、カメラ情報取得手段４から得たカメラ１の画角情報の範囲内に入るかどうかを確認して、入る施設であれば表示対象として抽出する。図４にその概念図を示す。
撮影方向ベクトルと施設方向ベクトルのなす角は、それぞれのベクトルの内積を求めることで特定できる。内積から求めた角度が、カメラ情報取得手段４からの画角の値以内の場合は、映像上に映っていると考えられるため、その施設の属性は表示の対象となる。そうでない場合は表示対象から外れることとなる。
Next, the process of the facility information search means 8 will be described.
The facility information search means 8 is an image of the camera 1 obtained from the camera information acquisition means 4 based on the vector of the photographing direction obtained from the photographing direction identification means 6 and the vector to the facility direction obtained from the facility direction identification means 7. Check whether it is within the range of the corner information, and if it is a facility to enter, extract it as a display target. FIG. 4 shows a conceptual diagram thereof.
The angle formed by the shooting direction vector and the facility direction vector can be specified by obtaining the inner product of the vectors. If the angle obtained from the inner product is within the value of the angle of view from the camera information acquisition means 4, it is considered that it is reflected on the video, so the attribute of the facility is the display target. Otherwise, it will be excluded from the display target.
これまでの技術と比較した場合の計算量の差は、施設方向特定手段７の部分との比較となる。同次座標変換の計算量として約１／３ほどに抑えられると考えられるため、本発明は有効と考えられる。 The difference in the amount of calculation when compared with the conventional technology is a comparison with the part of the facility direction specifying means 7. Since it is considered that the calculation amount of the homogeneous coordinate transformation can be suppressed to about 1/3, the present invention is considered effective.
実施の形態１の実際のシステム構成は、図５のようになる。図５の信号変換装置１０は、撮影方向特定手段６、施設方向特定手段７、施設情報検索手段８の各手段をプログラムとして実装しており、また、モニタ装置１１は、施設名称表示手段９の制御により、映像上に施設名称および施設の属性を重畳させて表示したものを映し出す。
撮影方向特定手段６、施設方向特定手段７および施設情報検索手段８は、それぞれ入力される情報が更新される都度、再計算を繰り返し、新しい結果を出力し続ける。
それによって、施設名称表示手段９により映像上に施設名称および施設属性が連続して表示されることとなる。
The actual system configuration of the first embodiment is as shown in FIG. The signal conversion apparatus 10 in FIG. 5 has the photographing direction specifying means 6, the facility direction specifying means 7, and the facility information searching means 8 mounted as programs, and the monitor device 11 includes the facility name display means 9. Under the control, what is displayed by superimposing the facility name and the facility attribute on the video is displayed.
The shooting direction specifying means 6, the facility direction specifying means 7 and the facility information searching means 8 repeat recalculation every time the input information is updated and continue to output new results.
Thereby, the facility name and facility attributes are continuously displayed on the video by the facility name display means 9.
実施の形態１によれば、災害発生した地域を撮影するカメラの映像上に映っている施設などの名称や属性情報をその映像上の施設位置に重畳させて表示することで、災害発生個所の特定を容易にすることができる。 According to the first embodiment, the name and attribute information of a facility or the like shown on the video of the camera that captures the area where the disaster occurred are displayed superimposed on the facility position on the video, so that Identification can be facilitated.
実施の形態２．
次に、実施の形態２について、図を用いて説明する。
図６は、この発明の実施の形態２による施設名称重畳装置を示す構成図である。
図６において、１、４〜９は図１におけるものと同一のものである。図６は、図１のＧＰＳ装置２および姿勢装置３をもたない構成である。
Embodiment 2. FIG.
Next, Embodiment 2 will be described with reference to the drawings.
FIG. 6 is a block diagram showing a facility name superimposing apparatus according to Embodiment 2 of the present invention.
In FIG. 6, numerals 1, 4 to 9 are the same as those in FIG. FIG. 6 shows a configuration without the GPS device 2 and the posture device 3 of FIG.
図７は、この発明の実施の形態２による施設名称重畳装置における回転行列を示す図である。
図７において、回転行列のＹａはヨー角、Ｐａはパン角、Ｔｉはチルト角を示している。
FIG. 7 is a diagram showing a rotation matrix in the facility name superimposing apparatus according to Embodiment 2 of the present invention.
In FIG. 7, Ya of the rotation matrix indicates the yaw angle, Pa indicates the pan angle, and Ti indicates the tilt angle.
実施の形態２は、カメラ１を定位置に設置した場合のものである。
定位置に設置されたカメラ１により撮影された映像を表示するシステムの場合は、ＧＰＳ装置２、および姿勢装置３は存在しない。
その代わり、カメラの設置位置座標（緯度経度高度）は、あらかじめ測定しておき、固定値としておく。
姿勢情報は、ピッチ角、ロール角は、常に水平として０度と想定する。ヨー角はカメラ１の設置方向の方位角を測定し固定値とする。
実施の形態２の場合の施設方向特定手段７の処理は、実施の形態１よりも短くなる。その同次座標変換の公式による回転行列を図７に示す。
In the second embodiment, the camera 1 is installed at a fixed position.
In the case of a system that displays an image taken by the camera 1 installed at a fixed position, the GPS device 2 and the posture device 3 do not exist.
Instead, the camera installation position coordinates (latitude and longitude altitude) are measured in advance and set as fixed values.
In the posture information, it is assumed that the pitch angle and the roll angle are always horizontal and 0 degrees. The yaw angle is set to a fixed value by measuring the azimuth angle in the installation direction of the camera 1.
The processing of the facility direction specifying means 7 in the case of the second embodiment is shorter than that in the first embodiment. FIG. 7 shows a rotation matrix according to the homogeneous coordinate transformation formula.
実施の形態２によれば、この構成により、実施の形態１と同じ効果が実現可能である。
また、施設方向特定手段の処理は短縮される。
According to the second embodiment, the same effect as in the first embodiment can be realized by this configuration.
Further, the processing of the facility direction specifying means is shortened.
実施の形態３．
次に、実施の形態３について図を用いて説明する。
図８は、この発明の実施の形態３による施設名称重畳装置を示すシステム構成図である。
図８において、１〜１１は図５におけるものと同一のものである。図８では、施設名称重畳装置は一つの航空機に搭載され、操作装置２１により、航空機搭乗員がカメラ１を自由に回転操作するようになっている。
Embodiment 3 FIG.
Next, Embodiment 3 will be described with reference to the drawings.
FIG. 8 is a system configuration diagram showing a facility name superimposing apparatus according to Embodiment 3 of the present invention.
In FIG. 8, 1 to 11 are the same as those in FIG. In FIG. 8, the facility name superimposing device is mounted on one aircraft, and the aircraft crew can freely rotate the camera 1 by the operation device 21.
実施の形態３は、施設名称重畳装置が、すべて一つの航空機に搭載されている場合についてのものである。
航空機やヘリコプター搭載のカメラ１には、操作装置２１にて自由に回転が可能であり、またカメラ情報取得手段４によりカメラ情報が簡単に取得できる機能を持っているものが多い。
したがって、実施の形態１で述べた施設名称重畳装置の各手段は、すべてこの実施の形態３でも実現可能である。
The third embodiment relates to a case where all the facility name superimposing devices are mounted on one aircraft.
Many cameras 1 mounted on an aircraft or helicopter can be freely rotated by the operation device 21 and have a function of easily acquiring camera information by the camera information acquisition means 4.
Therefore, all the means of the facility name superimposing apparatus described in the first embodiment can be realized in the third embodiment.
実施の形態３によれば、施設名称重畳装置が一つの航空機に搭載された場合でも、実施の形態１と同様の効果が得られる。 According to the third embodiment, the same effect as in the first embodiment can be obtained even when the facility name superimposing apparatus is mounted on one aircraft.
実施の形態４．
次に、実施の形態４について、図を用いて説明する。
図９は、この発明の実施の形態４による施設名称重畳装置を示すシステム構成図である。
図９において、１〜９、１１は図５におけるものと同一のものである。図９では、航空機側設備と地上側設備に分かれている。１〜４は航空機側設備に配置され、５〜９、１１は地上側設備に配置されている。
航空機側設備として、信号変換装置３１は、ＧＰＳ装置２、姿勢装置３、カメラ情報取得手段４からの各種情報を収集して地上送信用情報を作成する。信号重畳装置３２は、カメラ１からの映像に信号変換装置３１からの地上送信用情報を重畳する。送信装置３３は、信号重畳装置３２からの映像情報を地上に配信する。
地上側設備として、受信装置４１は、航空機からの映像情報を受信する。信号分岐装置４２は、受信装置４１が受信した映像から地上送信用情報を分岐して取り出す。名称表示位置計算装置４３は、地上側で位置情報、姿勢情報、カメラ情報から施設表示位置を算出する。
Embodiment 4 FIG.
Next, Embodiment 4 will be described with reference to the drawings.
FIG. 9 is a system configuration diagram showing a facility name superimposing apparatus according to Embodiment 4 of the present invention.
In FIG. 9, 1 to 9 and 11 are the same as those in FIG. In FIG. 9, it is divided into aircraft-side equipment and ground-side equipment. 1-4 are arrange | positioned at the aircraft side installation, and 5-9, 11 are arrange | positioned at the ground side installation.
As the aircraft equipment, the signal conversion device 31 collects various information from the GPS device 2, the posture device 3, and the camera information acquisition unit 4 to create information for ground transmission. The signal superimposing device 32 superimposes the information for ground transmission from the signal converting device 31 on the video from the camera 1. The transmission device 33 distributes the video information from the signal superimposing device 32 to the ground.
As ground equipment, the receiving device 41 receives video information from an aircraft. The signal branching device 42 branches and extracts the information for ground transmission from the video received by the receiving device 41. The name display position calculation device 43 calculates the facility display position from the position information, posture information, and camera information on the ground side.
実施の形態４は、航空機側で施設表示位置の算出処理を行うのではなく、地上側設備にて算出処理する場合についてのものである。
航空機側設備としての信号変換装置３１は、ＧＰＳ装置２、姿勢装置３、カメラ情報取得手段４からの各情報を収集し、信号重畳装置３２による映像への重畳に都合の良い形式に変換するための装置であり、通常の小型コンピュータで実現可能である。
信号重畳装置３２および信号分岐装置４２は、航空機の形態や送信装置３３および受信装置４１で実現している無線種別により、さまざまな形態が考えられる。従来のヘリテレシステムにおいてもこのような装置は広く活用されている。
The fourth embodiment relates to a case where the calculation processing of the facility display position is not performed on the aircraft side but the calculation processing is performed on the ground side equipment.
The signal conversion device 31 as the aircraft-side equipment collects each information from the GPS device 2, the attitude device 3, and the camera information acquisition means 4, and converts it into a format convenient for superimposing on the video by the signal superimposing device 32. This device can be realized by an ordinary small computer.
Various forms of the signal superimposing device 32 and the signal branching device 42 can be considered depending on the form of the aircraft and the wireless type realized by the transmitting device 33 and the receiving device 41. Such devices are also widely used in conventional heli-telesystems.
例えば、送信装置３３と受信装置４１が、アナログ映像信号を送受信する装置の場合は、映像信号のブランク領域に地上送信用情報を重ねる方式を実現した信号重畳装置・信号分岐装置を採用できる。
また、送信装置３３と受信装置４１が、デジタル映像信号を送受信する装置の場合は、映像信号に重畳して送られる複数の音声信号のうち１チャネル上に地上送信用信号を重ねて、映像と合わせて地上に配信するような装置を採用できる。
また、デジタル映像信号の場合には、デジタル信号の規格で決められている補助データ領域を利用して配信することもできる。
信号分岐装置４２によって、映像から位置情報、姿勢情報、カメラ情報を分岐した後は、実施の形態１に記載の各手段に従って、本発明の機能を実現することが可能である。
For example, when the transmission device 33 and the reception device 41 are devices that transmit and receive analog video signals, a signal superimposing device / signal branching device that realizes a method of superimposing information for ground transmission on a blank area of the video signal can be employed.
In addition, when the transmission device 33 and the reception device 41 are devices that transmit and receive digital video signals, a terrestrial transmission signal is superimposed on one channel among a plurality of audio signals transmitted by being superimposed on the video signal, It is possible to adopt a device that delivers to the ground together.
In the case of a digital video signal, it can be distributed using an auxiliary data area determined by the digital signal standard.
After the position information, the posture information, and the camera information are branched from the video by the signal branching device 42, the function of the present invention can be realized according to each means described in the first embodiment.
実施の形態４によれば、航空機側設備で施設表示位置の算出処理を行うのではなく、この算出処理を地上側設備にて行う場合であっても、実施の形態１と同様の効果を得ることができる。 According to the fourth embodiment, the same effect as in the first embodiment is obtained even when the calculation processing of the facility display position is not performed by the aircraft-side equipment but this calculation processing is performed by the ground-side equipment. be able to.
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。 It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.
１ カメラ、２ ＧＰＳ装置、３ 姿勢装置、４ カメラ情報取得手段、
５ 施設情報データベース、６ 撮影方向特定手段、７ 施設方向特定手段、
８ 施設情報検索手段、９ 施設名称表示手段、１０ 信号変換装置、
１１ モニタ装置、２１ 操作装置、３１ 信号変換装置、３２ 信号重畳装置、
３３ 送信装置、４１ 受信装置、４２ 信号分岐装置、４３ 名称表示位置計算装置
1 camera, 2 GPS device, 3 attitude device, 4 camera information acquisition means,
5 facility information database, 6 shooting direction specifying means, 7 facility direction specifying means,
8 facility information search means, 9 facility name display means, 10 signal converter,
11 monitor device, 21 operation device, 31 signal conversion device, 32 signal superimposing device,
33 transmitting device, 41 receiving device, 42 signal branching device, 43 name display position calculating device
Claims (4)
上記カメラの位置情報を特定するＧＰＳ装置、
上記カメラの姿勢情報を特定する姿勢装置、
上記カメラの角度情報と画角情報を取得するカメラ情報取得手段、
上記施設名称を含む三次元の施設情報を格納する施設情報データベース、
上記カメラの姿勢情報および上記角度情報に基づき、上記カメラの撮影方向を算出する撮影方向特定手段、
上記カメラの位置情報と上記三次元の施設情報に基づき、上記カメラを基準とした上記施設の存在する方向である施設方向を算出する施設方向特定手段、
上記撮影方向と上記施設方向のなす角を算出し、このなす角に基づき上記施設が上記画角情報によって決まる撮影映像内に含まれるかどうかを判定し、上記撮影映像内に含まれる施設情報を検索する施設情報検索手段、
およびこの施設情報検索手段によって検索された施設情報の施設名称を、上記施設方向と上記画角情報に基づき、上記カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、
上記施設方向特定手段は、上記カメラの位置から上記施設の位置までの直線の水平線上の方位角と、上記直線の高さ方向の仰角とを求め、上記方位角および上記仰角を用いて、上記施設方向を求めることを特徴とする施設名称重畳装置。 A facility name superimposing device that superimposes and displays a facility name on a facility image captured by a camera,
A GPS device for identifying position information of the camera;
A posture apparatus for identifying posture information of the camera;
Camera information acquisition means for acquiring angle information and angle of view information of the camera;
A facility information database for storing three-dimensional facility information including the facility name;
A shooting direction specifying means for calculating a shooting direction of the camera based on the posture information of the camera and the angle information;
A facility direction specifying means for calculating a facility direction which is a direction in which the facility exists based on the camera based on the position information of the camera and the three-dimensional facility information;
An angle formed by the shooting direction and the facility direction is calculated, and based on the formed angle, it is determined whether the facility is included in the captured video determined by the angle-of-view information, and the facility information included in the captured video is determined. Facility information search means to search,
And facility name display means for displaying the facility name of the facility information searched by the facility information search means on the basis of the facility direction and the angle-of-view information and superimposed on the image of the facility photographed by the camera ,
The facility direction specifying means obtains an azimuth angle on a straight horizontal line from the position of the camera to the position of the facility and an elevation angle in the height direction of the straight line, and uses the azimuth angle and the elevation angle, A facility name superimposing apparatus characterized by obtaining a facility direction .
上記カメラの角度情報と画角情報を取得するカメラ情報取得手段、
上記施設名称を含む三次元の施設情報を格納する施設情報データベース、
上記カメラの角度情報に基づき、上記カメラの撮影方向を算出する撮影方向特定手段、
上記三次元の施設情報と上記カメラの位置に基づき、上記カメラを基準とした上記施設の存在する方向である施設方向を算出する施設方向特定手段、
上記撮影方向と上記施設方向のなす角を算出し、このなす角に基づき上記施設が上記画角情報によって決まる撮影映像内に含まれるかどうかを判定し、上記撮影映像内に含まれる施設情報を検索する施設情報検索手段、
およびこの施設情報検索手段によって検索された施設情報の施設名称を、その施設方向と上記画角情報に基づき、上記カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、
上記施設方向特定手段は、上記カメラの位置から上記施設の位置までの直線の水平線上の方位角と、上記直線の高さ方向の仰角を求め、上記方位角および上記仰角を用いて、上記施設方向を求めることを特徴とする施設名称重畳装置。 A facility name superimposing device that superimposes and displays a facility name on a facility image captured by a camera installed at a fixed position,
Camera information acquisition means for acquiring angle information and angle of view information of the camera;
A facility information database for storing three-dimensional facility information including the facility name;
A shooting direction specifying means for calculating a shooting direction of the camera based on the angle information of the camera;
A facility direction specifying means for calculating a facility direction, which is a direction in which the facility exists based on the camera, based on the three-dimensional facility information and the position of the camera;
An angle formed by the shooting direction and the facility direction is calculated, and based on the formed angle, it is determined whether the facility is included in the captured video determined by the angle-of-view information, and the facility information included in the captured video is determined. Facility information search means to search,
And facility name display means for displaying the facility name of the facility information searched by the facility information search means on the basis of the facility direction and the angle-of-view information and superimposed on the image of the facility photographed by the camera ,
The facility direction specifying means calculates an azimuth angle on a straight horizontal line from the camera position to the facility position and an elevation angle in the height direction of the straight line, and uses the azimuth angle and the elevation angle to determine the facility A facility name superimposing apparatus characterized by obtaining a direction .
上記カメラを航空機搭乗員が回転操作するための操作装置を備えたことを特徴とする請求項１に記載の施設名称重畳装置。 The facility name superimposing device is mounted on an aircraft,
The facility name superimposing apparatus according to claim 1, further comprising an operation device for an aircraft crew member to rotate the camera.
上記施設情報データベース、上記撮影方向特定手段、上記施設方向特定手段、上記施設情報検索手段および上記施設名称表示手段は、地上側設備に配置され、
上記航空機側設備は、上記カメラにより撮影した映像データに、上記ＧＰＳ装置、上記姿勢装置および上記カメラ情報取得手段により取得された情報を重畳して上記地上側設備に送信するように構成されていることを特徴とする請求項１記載の施設名称重畳装置。 The camera, the GPS device, the attitude device, and the camera information acquisition means are arranged in an aircraft-side facility mounted on an aircraft,
The facility information database, the shooting direction specifying means, the facility direction specifying means, the facility information search means, and the facility name display means are arranged on the ground side equipment,
The aircraft-side equipment is configured to superimpose information acquired by the GPS device, the attitude device, and the camera information acquisition unit on video data captured by the camera and transmit the information to the ground-side equipment. The facility name superimposing apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015055561A JP6448427B2 (en) | 2015-03-19 | 2015-03-19 | Facility name superimposing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015055561A JP6448427B2 (en) | 2015-03-19 | 2015-03-19 | Facility name superimposing device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016178390A JP2016178390A (en) | 2016-10-06 |
| JP2016178390A5 JP2016178390A5 (en) | 2018-02-08 |
| JP6448427B2 true JP6448427B2 (en) | 2019-01-09 |
Family
ID=57069349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015055561A Active JP6448427B2 (en) | 2015-03-19 | 2015-03-19 | Facility name superimposing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6448427B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7162549B2 (en) * | 2019-02-14 | 2022-10-28 | 三菱電機株式会社 | Name display device |
| JP2021089458A (en) * | 2019-12-02 | 2021-06-10 | 株式会社リクルート | Order management system, user apparatus, and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03250870A (en) * | 1990-02-28 | 1991-11-08 | Matsushita Electric Ind Co Ltd | Television camera device for aerial photographing |
| JP2546299Y2 (en) * | 1993-11-25 | 1997-08-27 | 防衛庁技術研究本部長 | Optical camera gimbal controller |
| JP3225434B2 (en) * | 1996-04-23 | 2001-11-05 | 重之 山口 | Video presentation system |
| JP2000050156A (en) * | 1998-08-03 | 2000-02-18 | Nippon Telegr & Teleph Corp <Ntt> | News supporting system |
| JP2001238096A (en) * | 2000-02-22 | 2001-08-31 | Diamond Air Service Kk | Operating device for three-axis driven photographing device |
| JP5155266B2 (en) * | 2009-08-17 | 2013-03-06 | キャンバスマップル株式会社 | Image display device, image display method, and image display program |
-
2015
- 2015-03-19 JP JP2015055561A patent/JP6448427B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016178390A (en) | 2016-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3208774B1 (en) | Methods for localization using geotagged photographs and three-dimensional visualization | |
| US9749809B2 (en) | Method and system for determining the location and position of a smartphone based on image matching | |
| US11640651B2 (en) | Multiple georeferenced aerial image crop analysis and synthesis | |
| KR101285360B1 (en) | Point of interest displaying apparatus and method for using augmented reality | |
| US20110282580A1 (en) | Method of image based navigation for precision guidance and landing | |
| US20060215027A1 (en) | Picked-up image display method | |
| CN105627991A (en) | Real-time panoramic stitching method and system for unmanned aerial vehicle images | |
| KR101345554B1 (en) | Method of resampling high resolution digital multi band imagery from line senser into frame type imagery to construct gis(uis), digital map and 3d spatial information using ground control point and gps/ins data | |
| KR102075028B1 (en) | Unmanned High-speed Flying Precision Position Image Acquisition Device and Accurate Position Acquisition Method Using the same | |
| WO2007108580A1 (en) | Method and apparatus of correcting geometry of an image | |
| US20150070392A1 (en) | Aerial video annotation | |
| US20160169662A1 (en) | Location-based facility management system using mobile device | |
| Liu et al. | A new approach to fast mosaic UAV images | |
| JP2011169658A (en) | Device and method for pinpointing photographed position | |
| JP6448427B2 (en) | Facility name superimposing device | |
| Faraji et al. | Computer vision–based orthorectification and georeferencing of aerial image sets | |
| JP6799635B2 (en) | Aerial image positioning system and aerial image positioning method. | |
| JP5885974B2 (en) | Corresponding point setting method, corresponding point setting device, and corresponding point setting program for aerial photo image data | |
| Wu et al. | High-resolution planimetric mapping from UAV video for quick-response to natural disaster | |
| JP6328443B2 (en) | Method for preventing misperception caused by parallax by correcting viewpoint position of camera image and system for implementing the same | |
| KR100745105B1 (en) | Image display method and image display apparatus | |
| Hashimov et al. | GIS technology and terrain orthophotomap making for military application | |
| JP2020106919A (en) | Geographical coordinate estimation device, geographical coordinate estimation system, geographical coordinate estimation method and computer program for flying body | |
| Regmi et al. | Overview of the uncrewed aircraft system (uas) campus survey project at texas a&m university-corpus christi | |
| Liu et al. | Calibration of digital camera integration accuracy for low-cost oblique aerial photogrammetry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181204 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6448427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |