JP6553994B2 - Flying object position calculation system, flying object position calculation method, and flying object position calculation program - Google Patents

Flying object position calculation system, flying object position calculation method, and flying object position calculation program Download PDF

Info

Publication number
JP6553994B2
JP6553994B2 JP2015176849A JP2015176849A JP6553994B2 JP 6553994 B2 JP6553994 B2 JP 6553994B2 JP 2015176849 A JP2015176849 A JP 2015176849A JP 2015176849 A JP2015176849 A JP 2015176849A JP 6553994 B2 JP6553994 B2 JP 6553994B2
Authority
JP
Japan
Prior art keywords
flying object
projectile
image sensor
camera
launch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015176849A
Other languages
Japanese (ja)
Other versions
JP2017053687A (en
Inventor
孝行 浅井
孝行 浅井
藤田 学
学 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2015176849A priority Critical patent/JP6553994B2/en
Publication of JP2017053687A publication Critical patent/JP2017053687A/en
Application granted granted Critical
Publication of JP6553994B2 publication Critical patent/JP6553994B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、飛翔体位置算出システム、飛翔体位置算出方法及び飛翔体位置算出プログラムに関する。   Embodiments of the present invention relate to a projectile position calculation system, a projectile position calculation method, and a projectile position calculation program.

従来、観測対象の空間位置を測定する方法として三角測量法が知られている。カメラで撮影された映像に基づいて飛翔体の位置を三角測量により算出する場合には、飛翔体に対して異なる相対位置にカメラを配置して飛翔体を撮影することが必要である。具体的には、異なる位置に設置された複数のカメラによって撮影された飛翔体の方位及び仰角に基づいて幾何学的に飛翔体の位置を算出することができる。   Conventionally, a triangulation method is known as a method for measuring a spatial position of an observation target. In the case where the position of the projectile is calculated by triangulation based on the image captured by the camera, it is necessary to place the camera at a different relative position with respect to the projectile to shoot the projectile. Specifically, the position of the projectile can be geometrically calculated based on the azimuth and elevation angle of the projectile photographed by a plurality of cameras installed at different positions.

また、三角測量の応用として、単一のカメラで目標物の位置を算出する技術が考案されている(例えば特許文献1参照)。この技術は、単一のカメラを移動させて異なる位置から対象物を撮影することによって、複数のカメラで撮影した場合と同様な複数の画像を取得するものである。すなわち、単一のカメラであっても、カメラを移動させて複数の方向から対象物を撮影すれば、三角測量によって対象物の空間位置を算出することができる。   In addition, as an application of triangulation, a technology for calculating the position of an object with a single camera has been devised (see, for example, Patent Document 1). In this technique, a single camera is moved to capture an object from different positions, thereby obtaining a plurality of images similar to those captured by a plurality of cameras. That is, even with a single camera, if the object is photographed from a plurality of directions by moving the camera, the spatial position of the object can be calculated by triangulation.

国際公開第2007/142267号International Publication No. 2007/142267

しかしながら、観測対象物がミサイル等の高速で移動する飛翔体である場合には、従来の方法では、対象物の空間位置の測定が困難となる。例えば、複数のカメラで対象物を撮影する場合には、対象物が各カメラの撮影視野内に入るように、予め適切な位置に各カメラを設置しておくことが必要となる。しかも、対象物とカメラの距離が離れている場合には、測定誤差を低減させるためにカメラ間の距離を長くする必要がある。このため複数のカメラを用いて高速で移動する対象物を撮影する場合には、予め対象物の移動経路を事前に予測しておく必要が生じる。   However, when the observation target is a flying object such as a missile that moves at high speed, it is difficult to measure the spatial position of the target with the conventional method. For example, in the case of photographing an object with a plurality of cameras, it is necessary to install each camera at an appropriate position in advance so that the object falls within the field of view of each camera. Moreover, when the distance between the object and the camera is large, it is necessary to increase the distance between the cameras in order to reduce the measurement error. For this reason, when photographing an object moving at high speed using a plurality of cameras, it is necessary to predict in advance the movement path of the object.

一方、単一のカメラを用いて従来の方法でミサイル等の飛翔体を撮影する場合には、十分に離れた異なる位置で飛翔体を撮影するために、飛翔体を追従できる程度の十分な速度でカメラを移動させる必要がある。すなわち、カメラを飛翔体と同等な速度で飛翔体と概ね同じ方向に向かって移動させる必要がある。このため、単一のカメラを移動させて飛翔体を撮影する場合においても、予め飛翔体の移動方向を事前に予測しておくことが必要となる。   On the other hand, when shooting a projectile such as a missile by a conventional method using a single camera, the speed sufficient to follow the projectile in order to shoot the project at different positions sufficiently separated. It is necessary to move the camera. That is, it is necessary to move the camera in the same direction as the flying object at the same speed as the flying object. For this reason, even in the case of shooting a flying object by moving a single camera, it is necessary to predict in advance the moving direction of the flying object.

そこで、本発明は、移動方向が不確かな飛翔体の空間位置を簡易に測定できるようにすることを目的とする。   Therefore, an object of the present invention is to make it possible to easily measure the spatial position of a projectile whose movement direction is uncertain.

本発明の実施形態に係る飛翔体位置算出システムは、発射方位算出部及び飛翔体位置算出部を有する。発射方位算出部は、推力を維持しながら推力偏向せずに飛翔する飛翔体の捕捉情報であって、画像センサによる異なる3つ以上の時刻における前記捕捉情報に基づいて、前記飛翔体の移動を等速直線運動とみなす近似を行うことによって、前記飛翔体の水平面上における発射方位を算出する。飛翔体位置算出部は、前記飛翔体の発射方位、前記画像センサによる前記飛翔体の撮影方向、前記画像センサの空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の空間位置を算出する。
また、本発明の実施形態に係る飛翔体位置算出方法は、推力を維持しながら推力偏向せずに飛翔する飛翔体の捕捉情報であって、画像センサによる異なる3つ以上の時刻における前記捕捉情報に基づいて、前記飛翔体の移動を等速直線運動とみなす近似を行うことによって、前記飛翔体の水平面上における発射方位を算出するステップと、前記飛翔体の発射方位、前記画像センサによる前記飛翔体の撮影方向、前記画像センサの空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の空間位置を算出するステップとを有する。
また、本発明の実施形態に係る飛翔体位置算出プログラムは、コンピュータを、発射方位算出部及び飛翔体位置算出部として機能させる。発射方位算出部は、推力を維持しながら推力偏向せずに飛翔する飛翔体の捕捉情報であって、画像センサによる異なる3つ以上の時刻における前記捕捉情報に基づいて、前記飛翔体の移動を等速直線運動とみなす近似を行うことによって、前記飛翔体の水平面上における発射方位を算出する。飛翔体位置算出部は、前記飛翔体の発射方位、前記画像センサによる前記飛翔体の撮影方向、前記画像センサの空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の空間位置を算出する。
A projectile position calculation system according to an embodiment of the present invention includes a launch direction calculation unit and a projectile position calculation unit. The launch direction calculation unit is movement information of a flying object that flies without thrust deflection while maintaining the thrust, and the movement of the flight object is calculated based on the acquisition information at three or more different times by an image sensor. The launch orientation on the horizontal plane of the projectile is calculated by performing approximation to be regarded as uniform linear motion . The flying object position calculation unit calculates the flying object's spatial position based on the shooting direction of the flying object, the shooting direction of the flying object by the image sensor, the spatial position of the image sensor, and the emitting position of the flying object. .
Further, the flying object position calculation method according to the embodiment of the present invention is the capture information of the flying object that flies without deflecting the thrust while maintaining the thrust, and the capture information at three or more different times by the image sensor. Calculating an emission orientation on the horizontal plane of the projectile by performing approximation based on the movement of the projectile as constant velocity linear motion, the emission orientation of the projectile, and the flight by the image sensor Calculating a spatial position of the flying object based on a shooting direction of the body, a spatial position of the image sensor, and a launch position of the flying object.
In addition, the flying object position calculation program according to the embodiment of the present invention causes a computer to function as a launching direction calculation unit and a flying object position calculation unit. The launch direction calculation unit is movement information of a flying object that flies without thrust deflection while maintaining the thrust, and the movement of the flight object is calculated based on the acquisition information at three or more different times by an image sensor. The launch orientation on the horizontal plane of the projectile is calculated by performing approximation to be regarded as uniform linear motion . The flying object position calculation unit calculates the flying object's spatial position based on the shooting direction of the flying object, the shooting direction of the flying object by the image sensor, the spatial position of the image sensor, and the emitting position of the flying object. .

本発明の実施形態に係る飛翔体位置算出システムの構成を示す機能ブロック図。The functional block diagram which shows the structure of the flying body position calculation system which concerns on embodiment of this invention. 図1に示すカメラを航空機に搭載した状態で飛翔体を撮影する場合におけるカメラと飛翔体との間における幾何学的な位置関係を示す図。FIG. 2 is a diagram showing a geometrical positional relationship between a camera and a flying object when shooting a flying object in a state where the camera shown in FIG. 1 is mounted on an aircraft. 図2に示すカメラと飛翔体の位置関係を水平面上に投影した図。The figure which projected the positional relationship of the camera shown in FIG. 2 and a project object on the horizontal surface. 飛翔体の発射方位及び空間位置の算出のためのパラメータの定義を示す図。The figure which shows the definition of the parameter for calculation of the injection direction of a projectile, and a space position. 図1に示す飛翔体位置算出システムにより飛翔体の空間位置を算出する際の流れを示すフローチャート。The flowchart which shows the flow at the time of calculating the space position of a flying body by the flying body position calculation system shown in FIG.

本発明の実施形態に係る飛翔体位置算出システム、飛翔体位置算出方法及び飛翔体位置算出プログラムについて添付図面を参照して説明する。   A flying object position calculation system, a flying object position calculation method, and a flying object position calculation program according to an embodiment of the present invention will be described with reference to the accompanying drawings.

(構成及び機能)
図1は本発明の実施形態に係る飛翔体位置算出システムの構成を示す機能ブロック図である。
(Configuration and function)
FIG. 1 is a functional block diagram showing a configuration of a flying object position calculation system according to an embodiment of the present invention.

飛翔体位置算出システム1は、推力を維持しながら推力偏向せずに飛翔する飛翔体Oをカメラ2で撮影することによって、飛翔体Oの空間位置を測定するシステムである。そのために、飛翔体位置算出システム1は、カメラ2、航法装置3、発射方位算出部4、飛翔体位置算出部5、入力装置6及び表示装置7を有する。   The flying object position calculation system 1 is a system that measures the spatial position of the flying object O by photographing the flying object O that flies without deflecting thrust while maintaining the thrust. For this purpose, the flying object position calculation system 1 includes a camera 2, a navigation device 3, a launching direction calculation unit 4, a flying object position calculation unit 5, an input device 6, and a display device 7.

カメラ2は、飛翔体Oを撮像するための撮像素子2A及び撮影方向を検出する角度検出装置2Bを備えた画像センサである。角度検出装置2Bは、角度センサ及び傾斜センサ等のセンサで構成することができる。カメラ2は、航法装置3とともに、移動体の一例としての航空機8に搭載することができる。航法装置3は、搭載される航空機8の空間位置を算出する装置である。従って、航法装置3によって航空機8及びカメラ2の空間位置を算出することができる。尚、カメラ2及び航法装置3は、航空機8の設備として備えられるものであってもよい。   The camera 2 is an image sensor provided with an imaging element 2A for imaging the projectile O and an angle detection device 2B for detecting the imaging direction. The angle detection device 2B can be configured by sensors such as an angle sensor and a tilt sensor. The camera 2 can be mounted on the aircraft 8 as an example of a moving body together with the navigation device 3. The navigation device 3 is a device that calculates the spatial position of the mounted aircraft 8. Accordingly, the spatial position of the aircraft 8 and the camera 2 can be calculated by the navigation device 3. The camera 2 and the navigation device 3 may be provided as equipment of the aircraft 8.

従って、飛翔体位置算出システム1は、少なくとも発射方位算出部4及び飛翔体位置算出部5で構成される。発射方位算出部4及び飛翔体位置算出部5は、コンピュータ9に飛翔体位置算出プログラムを読込ませることによって構築することができる。換言すれば、飛翔体位置算出プログラムは、コンピュータ9を発射方位算出部4及び飛翔体位置算出部5として機能させるプログラムである。飛翔体位置算出プログラムは、情報記録媒体に記録してプログラムプロダクトとして流通させることもできる。   Therefore, the flying object position calculation system 1 includes at least a launching direction calculation unit 4 and a flying object position calculation unit 5. The launching direction calculation unit 4 and the flying object position calculation unit 5 can be constructed by causing the computer 9 to read the flying object position calculation program. In other words, the flying object position calculation program is a program that causes the computer 9 to function as the launching direction calculation unit 4 and the flying object position calculation unit 5. The flying object position calculation program can be recorded on an information recording medium and distributed as a program product.

但し、発射方位算出部4及び飛翔体位置算出部5を構成するために回路を用いてもよい。コンピュータ9も電子回路によって構成される。従って、コンピュータ9を回路の一種と捉えれば、発射方位算出部4及び飛翔体位置算出部5は、回路によって構成することができると言うこともできる。   However, a circuit may be used to configure the launch direction calculation unit 4 and the flying object position calculation unit 5. The computer 9 is also configured by an electronic circuit. Therefore, if the computer 9 is regarded as a kind of circuit, it can also be said that the launch direction calculation unit 4 and the flying object position calculation unit 5 can be configured by a circuit.

そして、必要に応じてカメラ2及び航法装置3が飛翔体位置算出システム1の構成要素として備えられる。また、カメラ2を自動車や船舶等の移動体に搭載してもよい。その場合においても、移動体には、カメラ2とともに公知の位置センサが搭載される。或いは、カメラ2を移動体に搭載せずに、静止させてもよい。その場合には、カメラ2の空間位置が既知であれば、位置センサが不要となる。以降では、カメラ2を航空機8に搭載し、航法装置3でカメラ2の空間位置を測定する場合を例に説明する。   The camera 2 and the navigation device 3 are provided as components of the aircraft position calculation system 1 as necessary. Also, the camera 2 may be mounted on a mobile object such as a car or a ship. Also in that case, a known position sensor is mounted on the moving body together with the camera 2. Alternatively, the camera 2 may be stationary without being mounted on a moving body. In that case, if the spatial position of the camera 2 is known, the position sensor is unnecessary. Hereinafter, the case where the camera 2 is mounted on the aircraft 8 and the spatial position of the camera 2 is measured by the navigation device 3 will be described as an example.

航法装置3としては、慣性航法装置、全地球測位網(GPS:Global Positioning System)航法装置及びドップラ・レーダ航法装置が知られている。慣性航法装置は、姿勢の変化を検出するジャイロ及び速度の変化を検出する加速度計等の慣性計測センサを用いて搭載される移動体の空間位置及び速度を検出する装置である。GPS航法装置は、複数のGPS衛星からの電波をGPS受信機で受信することによって搭載される移動体の空間位置を検出するシステムである。ドップラ・レーダ航法装置は、地表に向けて発射した電波ビームの反射ビームの周波数がドップラ効果により変化することを利用した航法装置である。また、航法装置3として電波高度計等の航法センサを併用してもよい。   As the navigation device 3, an inertial navigation device, a Global Positioning System (GPS) navigation device, and a Doppler radar navigation device are known. The inertial navigation device is a device that detects the spatial position and velocity of a mobile unit mounted using an inertial measurement sensor such as a gyro that detects a change in posture and an accelerometer that detects a change in velocity. The GPS navigation device is a system that detects the spatial position of a mobile unit mounted by receiving radio waves from a plurality of GPS satellites with a GPS receiver. The Doppler radar navigation system is a navigation system that utilizes the fact that the frequency of the reflected beam of a radio wave beam emitted toward the ground changes by the Doppler effect. Further, a navigation sensor such as a radio wave altimeter may be used as the navigation device 3 in combination.

図2は、図1に示すカメラ2を航空機8に搭載した状態で飛翔体Oを撮影する場合におけるカメラ2と飛翔体Oとの間における幾何学的な位置関係を示す図である。   FIG. 2 is a diagram showing a geometrical positional relationship between the camera 2 and the projectile O in the case of shooting the projectile O in a state where the camera 2 shown in FIG. 1 is mounted on the aircraft 8.

図2に示すように移動中の飛翔体Oを航空機8に搭載したカメラ2で撮影する場合において、飛翔体Oの発射位置を中心とする飛翔体座標系と、カメラ2の空間位置を中心とするセンサ座標系とを定義することができる。飛翔体座標系は、南北軸、東西軸及び高度方向の上下軸を有する3次元の空間座標系として定義することができる。また、センサ座標系も、南北軸、東西軸及び高度方向の上下軸を有する3次元の空間座標系として定義することができる。   As shown in FIG. 2, when shooting the moving object O with the camera 2 mounted on the aircraft 8, the projecting object coordinate system centering on the projecting position of the projecting object O and the spatial position of the camera 2 are the center. Sensor coordinate system to be defined. The projectile coordinate system can be defined as a three-dimensional space coordinate system having a north-south axis, an east-west axis, and a vertical axis in the height direction. The sensor coordinate system can also be defined as a three-dimensional space coordinate system having a north-south axis, an east-west axis, and an upper and lower axis in the height direction.

カメラ2の空間位置は、航法装置3により特定することができる。一方、飛翔体Oの発射位置は、予め任意の方法で取得しておくことができる。具体例として、アメリカ合衆国の国防支援計画(DSP:Defense Support Program)衛星を利用した位置検出システムによって飛翔体Oの発射位置を事前に特定しておくことができる。DSP衛星を利用した位置検出システムは、赤外線センサを搭載した3機以上の衛星によって探知された特徴点の座標を地上の基地局に送信するシステムである。もちろん、飛翔体Oの発射位置を特定するために他の位置検出システムを用いることができる。或いは、ユーザの観測によって飛翔体Oの発射位置を特定するようにしてもよい。   The spatial position of the camera 2 can be identified by the navigation device 3. On the other hand, the launch position of the projectile O can be obtained in advance by any method. As a specific example, it is possible to identify in advance the launch position of the flying object O by a position detection system using the United States Defense Support Program (DSP) satellite. A position detection system using DSP satellites is a system that transmits coordinates of feature points detected by three or more satellites equipped with an infrared sensor to a ground base station. Of course, other position detection systems can be used to identify the launch position of the projectile O. Alternatively, the launch position of the flying object O may be specified by user observation.

飛翔体Oは、静止した発射装置から発射される場合であっても良いし、自走式の発射装置から発射される場合であっても良い。すなわち、飛翔体Oの発射位置を特定することが可能であれば、飛翔体Oの発射装置が静止した設備であっても、自走式の発射装置であってもよい。特に、飛翔体Oの発射装置が静止した設備である場合には、DSP衛星による観測等によって飛翔体Oの発射位置が既知である場合もある。その場合には、飛翔体Oの発射位置の検知は省略できる。一方、飛翔体Oの発射装置が自走式であってもDSP衛星等によって飛翔体Oの発射位置を十分な精度で検出することができる。   The projectile O may be launched from a stationary launcher or may be launched from a self-propelled launcher. That is, as long as it is possible to specify the launch position of the flying object O, the launching apparatus of the flying object O may be a stationary facility or a self-propelled launching apparatus. In particular, when the launcher of the projectile O is a stationary installation, the launch position of the projectile O may be known by observation by a DSP satellite or the like. In that case, detection of the launch position of the flying object O can be omitted. On the other hand, even if the launcher of the projectile O is self-propelled, the launch position of the projectile O can be detected with sufficient accuracy by a DSP satellite or the like.

推力を維持しながら推力偏向せずに飛翔する飛翔体Oであれば、飛翔体Oは大気圏内で蛇行せずに移動する。このため、飛翔体Oの軌道は水平面に直交する同一平面内になるとみなすことができる。具体的には、飛翔体Oの軌道は飛翔体Oの発射方向に応じた同一平面内になると考えられる。推力を維持しながら推力偏向せずに飛翔する飛翔体Oの例としては、ロケット弾等の誘導装置を持たないミサイル、爆薬を搭載していないロケット及び蛇行せずに直線的に飛行する飛行機等が挙げられる。飛行機は、狭義には推進装置を備える固定翼機として分類されている。   If the flying object O flies without thrust deflection while maintaining the thrust, the flying object O moves without meandering in the atmosphere. Therefore, the trajectory of the projectile O can be considered to be in the same plane orthogonal to the horizontal plane. Specifically, the trajectory of the flying object O is considered to be in the same plane according to the emitting direction of the flying object O. As an example of a flying object O that flies without thrust deflection while maintaining thrust, missiles that do not have guidance devices such as rockets, rockets that do not carry explosives, and airplanes that fly linearly without meandering, etc. Is mentioned. Airplanes are categorized as fixed wing aircraft with propulsion devices in a narrow sense.

特に、爆薬を搭載したロケット弾や爆薬を搭載していないロケットは、十分遠方まで到達させるために音速を超える速度で飛翔する場合が多い。飛翔体Oが大気圏内で推力を維持しながら推力偏向せずに超音速で移動する場合であれば、飛翔体Oの発射時刻から一定時間後における飛翔体Oの軌道を直線軌道とみなすことができる。その理由は以下の通りである。   In particular, rockets with explosives and rockets without explosives often fly at a speed exceeding the speed of sound in order to reach far enough. In the case where the flying object O moves at supersonic speed without thrust deflection while maintaining the thrust in the atmosphere, the trajectory of the flying object O at a predetermined time after the emission time of the flying object O can be regarded as a linear trajectory. it can. The reason is as follows.

飛翔体Oの高度Hが地球の半径に対し十分に小さいとき、地表は平面とみなすことができる。従って、飛翔体Oの運動方程式は式(1−1)及び式(1−2)となる。
dv/dt=−gsinγ+(P/m)cosα−D/m (1−1)
v(dγ/dt)=−gcosγ+(P/m)sinα (1−2)
但し、式(1−1)及び式(1−2)において、
v:飛翔体Oの速度
γ:飛翔体Oの飛翔経路の水平面に対する角度
t:時刻
g:重力加速度
P:飛翔体Oの推力
m:飛翔体Oの質量
α:飛翔体Oの迎角
D:飛翔体Oの抗力
である。尚、抗力Dは、動圧q、基準面積S及び抗力係数Cの積qSCとして定義される。
When the height H of the projectile O is sufficiently small with respect to the radius of the earth, the surface can be regarded as a plane. Therefore, the equation of motion of the flying object O is expressed by equations (1-1) and (1-2).
dv / dt = −gsinγ + (P / m) cos α t −D / m (1-1)
v (dγ / dt) = − g cos γ + (P / m) sin α t (1-2)
However, in Formula (1-1) and Formula (1-2),
v: velocity of flying object O γ: angle of flying path of flying object O with respect to horizontal plane t: time g: acceleration of gravity P: thrust of flying object O m: mass of flying object O α t : angle of attack of flying object O D : The drag of flying object O. Incidentally, drag D is defined as the product QSC D dynamic pressure q, the reference area S and the drag coefficient C D.

飛翔体Oが音速を超える速度で飛翔する場合、迎角α≒0及びg/v≒0として近似できる。従って、式(1−2)においてdγ/dt≒0となる。これは、飛翔体Oの角度γの時間変化がゼロとみなせることを意味するから、飛翔体Oの軌道を直線軌道とみなせることになる。尚、実際に飛翔体Oの速度が超音速でない場合であっても、迎角α≒0及びg/v≒0の近似を行うことが可能である程度に飛翔体Oの速度が十分に速ければ、飛翔体Oの軌道を直線軌道とみなすことができる。 When the flying object O flies at a speed exceeding the sound velocity, it can be approximated as the attack angle α t 00 and g / v ≒ 0. Therefore, dγ / dt ≒ 0 in equation (1-2). This means that the time change of the angle γ of the flying object O can be regarded as zero, so that the trajectory of the flying object O can be regarded as a linear trajectory. Even if the velocity of the flying object O is not supersonic in practice, the velocity of the flying object O should be fast enough to be able to approximate the attack angles α t 0 0 and g / v 0 0. In this case, the trajectory of the flying object O can be regarded as a straight trajectory.

更に、飛翔体Oの速度が超音速又は十分に高速であれば、1秒以下の十分に短い時間における飛翔体Oの速度変化は無視することができる。従って、燃料の燃焼段階にある弾道ミサイル等のように超音速又は十分に高速で飛翔する飛翔体Oを十分に短い時間間隔で観測する場合には、発射から数十秒後には飛翔体Oが等速直線運動するとみなすことができる。   Furthermore, if the velocity of the projectile O is supersonic or sufficiently fast, the velocity change of the projectile O in a sufficiently short time of 1 second or less can be ignored. Therefore, when a flying object O that flies at supersonic speed or sufficiently high speed, such as a ballistic missile in the fuel combustion stage, is observed at a sufficiently short time interval, the flying object O is tens of seconds after the launch. It can be regarded as a constant velocity linear motion.

飛翔体Oの軌道が水平面に直交する同一平面内になるとみなすことができる場合、飛翔体Oの空間位置は、図2に示すように発射方位Ω、飛行距離X及び高度Hをパラメータとして表すことができる。発射方位Ωは、飛翔体Oの軌道を水平面に投影して得られる線分の基準位置からの角度(方位角)である。また、飛行距離Xは、飛翔体Oの軌道を水平面に投影して得られる線分の長さである。尚、図2に示す例では、飛翔体座標系の北方向が発射方位Ωの角度の基準位置となっている。   When the trajectory of the projectile O can be considered to be in the same plane orthogonal to the horizontal plane, the spatial position of the projectile O should be expressed with the launch orientation Ω, the flight distance X and the height H as parameters as shown in FIG. Can do. The launch orientation Ω is an angle (azimuth angle) from a reference position of a line segment obtained by projecting the trajectory of the projectile O on a horizontal plane. The flight distance X is the length of a line segment obtained by projecting the trajectory of the projectile O on a horizontal plane. In the example shown in FIG. 2, the north direction of the projectile coordinate system is the reference position of the angle of the emission direction Ω.

一方、飛翔体Oを航空機8に搭載されたカメラ2で撮影する場合、カメラ2と飛翔体Oとを結ぶ線分の向きは、方位ψと仰角θをパラメータとして表すことができる。方位ψは飛翔体Oの空間位置を地表に投影した点とカメラ2の空間位置とを結ぶ線分と、センサ座標系における南北軸とのなす角度である。また、仰角θは、センサ座標系における東西軸及び南北軸に平行な平面と、カメラ2の空間位置と飛翔体Oの空間位置とを結ぶ線分とのなす角度である。つまり、カメラ2で撮影される飛翔体Oの方向は、方位ψと仰角θで表すことができる。   On the other hand, when the flying object O is photographed by the camera 2 mounted on the aircraft 8, the direction of the line segment connecting the camera 2 and the flying object O can be expressed using the azimuth ψ and the elevation angle θ as parameters. The azimuth ψ is an angle formed by a line segment connecting a point obtained by projecting the space position of the flying object O on the ground surface and the space position of the camera 2 and the north-south axis in the sensor coordinate system. The elevation angle θ is an angle between a plane parallel to the east-west axis and the north-south axis in the sensor coordinate system, and a line connecting the spatial position of the camera 2 and the spatial position of the projectile O. That is, the direction of the flying object O photographed by the camera 2 can be represented by the azimuth ψ and the elevation angle θ.

カメラ2から撮影される飛翔体Oの方位ψ及び仰角θは、角度検出装置2Bによって検出することができる。特に、画像に写り込んだ飛翔体Oの画像上の位置に基づいて飛翔体Oの方位ψ及び仰角θを自動計算するカメラ2も開発されている。また、画像に写り込んだ飛翔体Oを、閾値処理等によって自動検出するカメラ2も開発されている。従って、ユーザが画像上における飛翔体Oの位置をマーキングすることによってカメラ2に飛翔体Oの画像上における位置を入力するか、或いは、カメラ2の物体検出機能によって飛翔体Oの画像上における位置を自動検出すれば、飛翔体Oの方位ψ及び仰角θを算出することができる。   The azimuth angle 仰 and the elevation angle θ of the flying object O photographed by the camera 2 can be detected by the angle detection device 2B. In particular, a camera 2 has also been developed that automatically calculates the azimuth angle ψ and the elevation angle θ of the flying object O based on the position on the image of the flying object O reflected in the image. In addition, a camera 2 that automatically detects a flying object O reflected in an image by threshold processing or the like has been developed. Therefore, the user inputs the position on the image of the flying object O to the camera 2 by marking the position of the flying object O on the image, or the position on the image of the flying object O by the object detection function of the camera 2 Is automatically detected, the azimuth ψ and elevation angle θ of the flying object O can be calculated.

飛翔体Oの方位ψ及び仰角θは、カメラ2のレンズの中心軸の方位及び仰角と、飛翔体Oの画像上における撮影視野の中心からの距離及び角度に基づいて幾何学的に算出することができる。従って、少なくとも角度検出装置2Bによってカメラ2のレンズの中心軸の方位及び仰角が検出されれば、飛翔体Oが写り込んだ画像データに基づいて飛翔体Oの方位ψ及び仰角θを幾何学的に算出することができる。   The azimuth angle 仰 and the elevation angle θ of the flying object O are geometrically calculated based on the orientation and elevation angle of the central axis of the lens of the camera 2 and the distance and angle from the center of the photographing field on the image of the flying object O Can. Therefore, if at least the azimuth and elevation angle of the central axis of the lens of the camera 2 are detected by the angle detection device 2B, the azimuth ψ and elevation angle θ of the flying object O are geometrically determined based on the image data in which the flying object O is reflected. Can be calculated.

このため、角度検出装置2Bによって飛翔体Oの方位ψ及び仰角θを検出するようにしても良いし、角度検出装置2Bによってカメラ2のレンズの中心軸の方位及び仰角を検出し、飛翔体Oが写り込んだ画像データに基づいて飛翔体Oの方位ψ及び仰角θを別途算出するようにしても良い。   Therefore, the azimuth ψ and elevation angle θ of the flying object O may be detected by the angle detection device 2B, or the azimuth and elevation angle of the center axis of the lens of the camera 2 may be detected by the angle detection device 2B. Alternatively, the azimuth ψ and elevation angle θ of the flying object O may be calculated separately based on the image data in which.

また、飛翔体Oが撮影視野のサイズに対して十分に大きいサイズで撮影される場合や飛翔体Oが撮影視野の中心付近で撮影される場合であれば、カメラ2のレンズの中心軸の方位及び仰角を飛翔体Oの方位ψ及び仰角θとみなすことができる。その場合には、角度検出装置2Bによって検出されたカメラ2のレンズの中心軸の方位及び仰角を、飛翔体Oの方位ψ及び仰角θとみなすことができる。この場合には、画像データから飛翔体Oを検出する処理及び飛翔体Oの画像上における位置の特定は不要となる。   Also, if the projectile O is photographed with a size sufficiently large relative to the size of the field of view, or if the projectile O is photographed near the center of the field of view, the azimuth of the central axis of the lens of the camera 2 And the elevation angle can be regarded as the azimuth ψ and the elevation angle θ of the flying object O. In that case, the azimuth and elevation angle of the center axis of the lens of the camera 2 detected by the angle detection device 2B can be regarded as the azimuth ψ and elevation angle θ of the flying object O. In this case, the process of detecting the projectile O from the image data and the specification of the position of the projectile O on the image become unnecessary.

従って、飛翔体Oの方位ψ及び仰角θとして表される飛翔体Oの撮影方向を求める方法としては、飛翔体Oが写り込んだ画像データと、カメラ2のレンズの中心軸の方位及び仰角とからより正確に飛翔体Oの撮影方向を求める方法と、カメラ2のレンズの中心軸の方位及び仰角を飛翔体Oの撮影方向とみなす方法がある。後者の場合には、飛翔体Oの画像データ自体が不要であるため、カメラ2のレンズの向きとして飛翔体Oの捕捉情報がカメラ2に記録されていれば良いことになる。   Therefore, as a method of determining the shooting direction of the flying object O represented as the azimuth angle 仰 and the elevation angle θ of the flying object O, the image data in which the flying object O is reflected, the direction of the central axis of the lens of the camera 2 and the elevation angle There are a method for obtaining the shooting direction of the flying object O more accurately and a method for regarding the azimuth and elevation angle of the central axis of the lens of the camera 2 as the shooting direction of the flying object O. In the latter case, since the image data of the flying object O itself is unnecessary, it is only necessary that the capturing information of the flying object O is recorded in the camera 2 as the lens direction of the camera 2.

発射方位算出部4及び飛翔体位置算出部5は、カメラ2の空間位置、カメラ2で撮影される飛翔体Oの方位ψ及び仰角θ並びに飛翔体Oの発射位置に基づいて、飛翔体Oが局所的には等速直線運動するとの近似を行うことによって飛翔体Oの空間位置を算出する機能を備えている。   The launching direction calculation unit 4 and the flying object position calculation unit 5 are configured so that the flying object O is based on the spatial position of the camera 2, the azimuth ψ and elevation angle θ of the flying object O photographed by the camera 2, and the launching position of the flying object O. It has a function to calculate the spatial position of the flying object O by performing approximation with constant velocity linear motion locally.

発射方位算出部4は、カメラ2による異なる3つ以上の時刻における飛翔体Oの捕捉情報に基づいて、飛翔体Oの水平面上における発射方位Ωを算出する機能を有する。飛翔体Oの発射方位Ωは、飛翔体Oの移動を等速直線運動とみなす近似を行うことによって、異なる3つ以上の時刻に対応する飛翔体Oの捕捉情報に基づいて幾何学的に算出することができる。   The emitting direction calculation unit 4 has a function of calculating the emitting direction Ω on the horizontal plane of the flying object O based on the capture information of the flying object O at three or more different times by the camera 2. The launch direction Ω of the flying object O is geometrically calculated based on the captured information of the flying object O corresponding to three or more different times by performing an approximation that regards the movement of the flying object O as a constant velocity linear motion. can do.

尚、飛翔体Oは、複数のカメラ2で撮影しても良いし、単一のカメラ2で撮影しても良い。すなわち、飛翔体Oの発射方位Ωは、単一のカメラ2による飛翔体Oの捕捉情報に基づいて算出することもできるし、複数のカメラ2による飛翔体Oの捕捉情報に基づいて算出することもできる。   The flying object O may be photographed by a plurality of cameras 2 or may be photographed by a single camera 2. That is, the launch direction Ω of the flying object O can be calculated based on the capturing information of the flying object O by the single camera 2 or can be calculated based on the capturing information of the flying object O by the plurality of cameras 2. You can also.

飛翔体Oの発射方位Ωの算出方法としては様々な方法が考えられるが、ここでは、異なる時刻にカメラ2で撮影された飛翔体Oの少なくとも3フレームの画像データに基づいて飛翔体Oの発射方位Ωを算出する第1の方法と、飛翔体Oの方位ψ及び仰角θとして表される飛翔体Oの撮影方向、カメラ2の空間位置並びに飛翔体Oの発射位置に基づいて飛翔体Oの発射方位を算出する第2の方法について説明する。   Various methods can be considered as a method for calculating the launch direction Ω of the flying object O. Here, the flying object O is launched based on image data of at least three frames of the flying object O taken by the camera 2 at different times. Based on the first method for calculating the azimuth Ω, the shooting direction of the flying object O expressed as the azimuth ψ and the elevation angle θ of the flying object O, the spatial position of the camera 2 and the launch position of the flying object O. The second method of calculating the launch direction will be described.

初めに第1の方法について説明する。第1の方法は、カメラ2が静止しているとみなせる場合に用いることができる。   First, the first method will be described. The first method can be used when the camera 2 can be regarded as stationary.

図3は、図2に示すカメラ2と飛翔体Oの位置関係を水平面上に投影した図である。   FIG. 3 is a diagram in which the positional relationship between the camera 2 and the flying object O shown in FIG. 2 is projected on a horizontal plane.

飛翔体Oの軌道が水平面に直交する同一平面内にある場合、飛翔体Oの軌道を任意の高さの水平面上に投影すると、図3に示すように飛翔体Oの発射位置を起点とする直線軌道になる。また、飛翔体Oの発射方位Ωは、水平面上における直線軌道の方位角、すなわち基準方向である北方向と直線軌道とのなす角度となる。   When the trajectory of the flying object O is in the same plane perpendicular to the horizontal plane, when the trajectory of the flying object O is projected onto a horizontal plane of an arbitrary height, the launch position of the flying object O is the starting point as shown in FIG. It becomes a straight track. Further, the launch orientation Ω of the projectile O is the azimuth angle of the linear trajectory on the horizontal surface, that is, the angle between the linear direction and the north direction which is the reference direction.

カメラ2で異なる時刻に飛翔体Oを撮影すると、異なる空間位置を飛翔する飛翔体Oを撮影することができる。例えば、図3に示すように飛翔体Oはある時間が経過すると水平面上における位置Aから位置Bに移動し、更にある時間が経過すると位置Bから位置Cに移動する。従って、水平面上における位置A、位置B及び位置Cを飛翔する飛翔体Oをカメラ2の撮像素子2Aで撮像することができる。   When the projectile O is photographed at different times by the camera 2, the projectile O flying in different spatial positions can be photographed. For example, as shown in FIG. 3, the projectile O moves from position A to position B on the horizontal surface when a certain time elapses, and moves from position B to a position C after a certain time elapses. Therefore, the flight object O flying on the position A, the position B and the position C on the horizontal plane can be imaged by the imaging element 2A of the camera 2.

そうすると、カメラ2が静止しているとみなせる場合であれば、位置A、位置B及び位置Cにおける飛翔体Oは、それぞれ撮像素子2Aの位置A'、位置B'及び位置C'に投影される。すなわち、飛翔体Oの位置A、位置B及び位置Cと、カメラ2の焦点とを結ぶ各投影方向に、飛翔体Oの位置A、位置B及び位置Cが投影される。その結果、撮像素子2Aの位置A'、位置B'及び位置C'に飛翔体Oの位置A、位置B及び位置Cがそれぞれ投影されることになる。   Then, if it can be considered that the camera 2 is at rest, the projectile O at the position A, the position B and the position C is projected to the position A ′, the position B ′ and the position C ′ of the imaging device 2A, respectively. . That is, the position A, the position B and the position C of the projectile O are projected in the projection directions connecting the position A, the position B and the position C of the projectile O and the focal point of the camera 2. As a result, the position A, the position B and the position C of the projectile O are projected to the position A ′, the position B ′ and the position C ′ of the imaging device 2A, respectively.

静止しているとみなせるカメラ2で飛翔体Oを異なる3つの位置A、位置B及び位置Cで撮影すると、撮像素子2Aに投影された飛翔体Oの位置A'、位置B'及び位置C'に基づいて幾何学的に飛翔体Oの水平面における発射方位Ωを算出することが可能となる。具体的には、撮像素子2Aに投影された飛翔体Oの位置A'と位置B'との間における距離A'B'と、飛翔体Oの位置B'と位置C'との間における距離B'C'の比(A'B'/B'C')に基づいて以下のように飛翔体Oの発射方位Ωを算出することができる。   When the flying object O is photographed at three different positions A, B, and C with the camera 2 that can be regarded as stationary, the position A ′, position B ′, and position C ′ of the flying object O projected onto the image sensor 2A. It is possible to geometrically calculate the launch direction Ω in the horizontal plane of the flying object O based on the above. Specifically, the distance A′B ′ between the position A ′ and the position B ′ of the flying object O projected on the image sensor 2A, and the distance between the position B ′ and the position C ′ of the flying object O. Based on the ratio of B′C ′ (A′B ′ / B′C ′), the launch orientation Ω of the flying object O can be calculated as follows.

3つの位置A、位置B及び位置Cにおける飛翔体Oを、飛翔体Oの速度変化が無視できる程度に十分に短い撮影間隔で撮影すれば、上述したように飛翔体Oが等速直線運動しているとみなすことができる。すなわち、飛翔体Oの速度変化が所定の割合以下となるように飛翔体Oの撮影間隔を設定すれば、速度変化の割合に応じた精度で、飛翔体Oの運動を等速直線運動として近似することができる。   If the projectile O at three positions A, B and C is photographed at a sufficiently short imaging interval so that the change in velocity of the projectile O can be ignored, the projectile O performs uniform linear motion as described above. Can be considered. In other words, if the shooting interval of the flying object O is set so that the speed change of the flying object O becomes a predetermined rate or less, the motion of the flying object O is approximated as a constant-velocity linear motion with accuracy according to the rate of speed change. can do.

飛翔体Oの運動を等速直線運動とみなせる場合において、位置A、位置B及び位置Cにおける飛翔体Oの3フレームの画像データを等間隔に撮影すれば、位置Aと位置Bとの間における距離ABと、位置Bと位置Cとの間における距離BCは互いに等しくなる。   When the motion of the projectile O can be regarded as uniform linear motion, if the image data of the three frames of the projectile O at the position A, the position B and the position C are photographed at equal intervals, The distance AB and the distance BC between the position B and the position C are equal to each other.

しかしながら、撮像素子2Aに投影された位置A'と位置B'との間における距離A'B'と、位置B'と位置C'との間における距離B'C'は必ずしも等しくはならない。距離A'B'と、距離B'C'が等しくなるのは、飛翔体Oの水平面上における軌跡が、撮像素子2Aの面に平行である場合に限られる。一方、飛翔体Oがカメラ2から遠ざかっている場合には、距離A'B'が距離B'C'よりも長くなる。逆に、飛翔体Oがカメラ2に近づいている場合には、距離A'B'が距離B'C'よりも短くなる。   However, the distance A′B ′ between the position A ′ and the position B ′ projected onto the imaging device 2A and the distance B′C ′ between the position B ′ and the position C ′ are not necessarily equal. The distance A′B ′ and the distance B′C ′ are equal only when the trajectory of the projectile O on the horizontal plane is parallel to the plane of the imaging device 2A. On the other hand, when the flying object O is away from the camera 2, the distance A'B 'is longer than the distance B'C'. Conversely, when the flying object O approaches the camera 2, the distance A'B 'is shorter than the distance B'C'.

つまり、距離A'B'と距離B'C'の比(A'B'/B'C')は発射方位Ωに対応して一意に定まる。従って、距離A'B'と距離B'C'の比(A'B'/B'C')を測定することによって、発射方位Ωを幾何学的に算出することができる。例えば、距離A'B'と距離B'C'の比(A'B'/B'C')が1であれば、飛翔体Oの発射方位Ωは、水平面におけるカメラ2の方位に等しいことになる。そして、水平面におけるカメラ2の方位と飛翔体Oの発射方位Ωとの角度差が、正方向であるか負方向であるかによって距離A'B'と距離B'C'の比(A'B'/B'C')が1から比例的に増減することになる。   That is, the ratio (A′B ′ / B′C ′) between the distance A′B ′ and the distance B′C ′ is uniquely determined corresponding to the launch direction Ω. Therefore, by measuring the ratio (A'B '/ B'C') of the distance A'B 'and the distance B'C', the launch orientation Ω can be geometrically calculated. For example, if the ratio of distance A'B 'to distance B'C' (A'B '/ B'C') is 1, then the launch orientation Ω of the projectile O is equal to the orientation of the camera 2 in the horizontal plane become. The ratio of the distance A′B ′ to the distance B′C ′ (A′B) depends on whether the angle difference between the azimuth of the camera 2 on the horizontal plane and the launch azimuth Ω of the flying object O is the positive direction or the negative direction. '/ B'C') will increase or decrease proportionally from 1.

このため、予め距離A'B'と距離B'C'の比(A'B'/B'C')、カメラ2の向き及び飛翔体Oの発射方位Ωの関係式を求めておき、距離A'B'と距離B'C'の比(A'B'/B'C')及びカメラ2の向きをパラメータとして発射方位Ωを算出する関係式に基づいて発射方位Ωを算出することができる。尚、カメラ2の向きは、角度検出装置2Bにより取得することができる。   Therefore, the relationship between the distance A'B 'and the distance B'C' (A'B '/ B'C'), the orientation of the camera 2 and the launch orientation Ω of the flying object O are obtained in advance, The launch azimuth Ω can be calculated based on the relational expression for calculating the launch azimuth Ω using the ratio of A′B ′ to the distance B′C ′ (A′B ′ / B′C ′) and the orientation of the camera 2 as parameters. it can. The orientation of the camera 2 can be acquired by the angle detection device 2B.

実用的には、距離A'B'と距離B'C'は、表示装置7に所定の拡大率で拡大表示された画像に映し出される飛翔体Oの移動距離として測定することができる。この場合には、発射方位Ωの算出に、表示画像の拡大率も用いられることになる。   Practically, the distance A′B ′ and the distance B′C ′ can be measured as the movement distance of the projectile O displayed on the image enlarged and displayed on the display device 7 at a predetermined magnification. In this case, the enlargement ratio of the display image is also used for calculating the launch direction Ω.

飛翔体Oの移動距離は、ユーザが目視によって測定してマニュアルで発射方位算出部4に入力しても良いし、発射方位算出部4が自動で検出するようにしてもよい。或いは、ユーザが表示装置7に表示された複数フレームの画像を観察して目視によって飛翔体Oの位置を確認し、入力装置6の操作によって飛翔体Oの位置をマーキングするようにしてもよい。その場合には、発射方位算出部4において、入力装置6の操作によって飛翔体Oの位置として入力された複数のマーキング位置間における距離として飛翔体Oの移動距離を算出することができる。   The movement distance of the projectile O may be measured by the user visually and manually input to the launch direction calculation unit 4 or may be automatically detected by the launch direction calculation unit 4. Alternatively, the user may observe the images of a plurality of frames displayed on the display device 7 to check the position of the projectile O by visual observation, and the position of the projectile O may be marked by the operation of the input device 6. In that case, the moving direction of the flying object O can be calculated as the distance between the plurality of marking positions input as the position of the flying object O by the operation of the input device 6 in the emitting direction calculation unit 4.

発射方位算出部4が飛翔体Oの位置の検出及び飛翔体Oの移動距離の測定を自動で行うようにする場合には、閾値処理や2値化処理等の処理を含む公知の輪郭抽出処理或いはテンプレートマッチング等の画像認識処理によって複数フレームの画像データからそれぞれ飛翔体Oを自動検出し、検出された飛翔体Oの重心等の代表位置のフレーム間における移動距離として飛翔体Oの移動距離を算出することができる。   When the emission direction calculation unit 4 automatically detects the position of the projectile O and measures the movement distance of the projectile O, known contour extraction processing including processing such as threshold processing and binarization processing Alternatively, the flying object O is automatically detected from image data of a plurality of frames by image recognition processing such as template matching, and the moving distance of the flying object O is determined as a moving distance between frames of representative positions such as the center of gravity of the detected flying object O. Can be calculated.

尚、上述した飛翔体Oの位置の検出及び飛翔体Oの移動距離の測定は、カメラ2で行うようにすることもできる。その場合には、カメラ2で飛翔体Oの位置の検出及び飛翔体Oの移動距離の測定を自動的に行うようにしても良いし、カメラ2のモニタに表示される画像を参照してユーザが飛翔体Oの位置をマーキングするようにしてもよい。カメラ2で飛翔体Oの位置の検出及び飛翔体Oの移動距離の測定を行う場合には、飛翔体Oの位置の検出結果及び飛翔体Oの移動距離の測定結果がカメラ2から発射方位算出部4に転送される。   The detection of the position of the flying object O and the measurement of the moving distance of the flying object O described above can also be performed by the camera 2. In that case, the detection of the position of the projectile O and the measurement of the movement distance of the projectile O may be automatically performed by the camera 2 or the user may refer to the image displayed on the monitor of the camera 2 May mark the position of the flying object O. When the camera 2 detects the position of the flying object O and measures the moving distance of the flying object O, the result of detecting the position of the flying object O and the measuring result of the moving distance of the flying object O are calculated from the camera 2 as the launch direction. It is transferred to the part 4.

以上のように、カメラ2の撮像素子2Aに投影された飛翔体Oの第1の位置と第2の位置との間における第1の距離と、カメラ2の撮像素子2Aに投影された飛翔体Oの第2の位置と第3の位置との間における第2の距離とを取得し、飛翔体Oの移動を局所的に等速直線運動とみなす近似を行うことによって第1の距離と第2の距離との間における比に基づいて、飛翔体Oの水平面上における発射方位Ωを算出することができる。   As described above, the first distance between the first position and the second position of the flying object O projected on the imaging element 2A of the camera 2 and the flying object projected on the imaging element 2A of the camera 2 The second distance between the second position and the third position of O is obtained, and the first distance and the first distance are obtained by performing an approximation that regards the movement of the flying object O as a constant linear motion locally. The launch orientation Ω on the horizontal plane of the projectile O can be calculated on the basis of the ratio between the distance of two.

尚、飛翔体Oの撮影時刻が等間隔でない場合には、撮影時刻間隔の比を係数として乗じることによって同様に発射方位Ωを算出することができる。   In addition, when the imaging | photography time of the flying object O is not equal intervals, the radiation | emission azimuth | direction Ω can be similarly calculated by multiplying the ratio of imaging | photography time intervals as a coefficient.

また、映像のフレームレートを十分に大きく設定して撮影間隔を短くすれば、実際にはカメラ2が航空機8等の移動体に搭載されて移動している場合であっても、飛翔体Oの撮影時にカメラ2が静止しているとみなすことができる。   In addition, if the frame rate of the video is set sufficiently large and the shooting interval is shortened, even if the camera 2 is actually mounted on a moving vehicle such as the aircraft 8 and moving, It can be considered that the camera 2 is stationary at the time of shooting.

また、4フレーム以上の飛翔体Oの画像データを連続撮影し、飛翔体Oの投影位置の距離間における比の平均値を求めることによって発射方位Ωの計算精度を高めるようにしてもよい。動画として飛翔体Oの画像データを撮影する場合には、一般に撮像される画像データのフレームレートは一定である。映像上における1フレーム当たりの飛翔体Oの移動距離は、単位時間当たりの飛翔体Oの移動距離であるから見かけ上の飛翔体Oの速度である。従って、連続するフレーム間における飛翔体Oの移動距離の変化率は、飛翔体Oの見かけ上の加速度に相当する。   In addition, the image data of four or more frames of the projectile O may be continuously photographed, and the calculation accuracy of the emission direction Ω may be enhanced by calculating the average value of the ratio between the projected positions of the projectile O. When the image data of the flying object O is captured as a moving image, the frame rate of the image data generally captured is constant. Since the moving distance of the flying object O per frame on the image is the moving distance of the flying object O per unit time, it is the apparent speed of the flying object O. Therefore, the rate of change of the movement distance of the projectile O between successive frames corresponds to the apparent acceleration of the projectile O.

つまり、局所的に等速直線運動しているとみなした飛翔体Oが映像上では発射方位Ωに応じた加速度で等加速度運動するという関係を利用し、映像から求めた加速度に基づいて飛翔体Oの発射方位Ωを算出することができる。従って、飛翔体Oの見かけ上の加速度を求めるために3フレーム以上の画像データを撮影することが必要である。そして、4フレーム以上の画像データが撮影された場合には、フィッティングによって飛翔体Oの見かけ上の加速度を求めることができる。   In other words, the flying object O, which is considered to be locally moving at a constant linear velocity, moves on the image based on the acceleration obtained from the image using the relationship that the moving object O moves on the image with an acceleration corresponding to the launch direction Ω. The launch orientation Ω of O can be calculated. Therefore, in order to obtain the apparent acceleration of the flying object O, it is necessary to capture image data of three or more frames. Then, when image data of four or more frames is captured, the apparent acceleration of the flying object O can be obtained by fitting.

更に、複数のカメラ2を用いて飛翔体Oをそれぞれ撮影し、複数のカメラ2で撮影された画像データに基づいて算出された複数の発射方位Ωの平均をとることによって発射方位Ωの計算精度を高めるようにしてもよい。或いは、複数のカメラ2で異なる時刻に撮影された3フレーム以上の画像データに基づいて上述した方法で飛翔体Oの発射方位Ωを算出してもよい。   Furthermore, each of the flying objects O is photographed using a plurality of cameras 2, and the average of the plurality of launch azimuths calculated based on the image data photographed by the plurality of cameras 2 is used to calculate the launch azimuth Ω. May be increased. Alternatively, the launch azimuth Ω of the flying object O may be calculated by the above-described method based on image data of three or more frames taken at different times by a plurality of cameras 2.

次に、カメラ2の空間位置、カメラ2から撮影される飛翔体Oの方位ψ及び仰角θ並びに飛翔体Oの発射位置に基づいて飛翔体Oの発射方位Ωをより正確に算出する第2の方法について説明する。   Next, a second method of more accurately calculating the launch orientation Ω of the projectile O based on the spatial position of the camera 2, the azimuth ψ and elevation angle θ of the projectile O taken from the camera 2 and the launch position of the projectile O A method will be described.

図4は、飛翔体Oの発射方位Ω及び空間位置の算出のためのパラメータの定義を示す図である。   FIG. 4 is a diagram showing the definition of the launch orientation Ω of the projectile O and parameters for calculation of the spatial position.

図4に示すように、図2に示す飛翔体Oの発射位置である飛翔体座標系の中心を、地球中心・地球固定(ECEF:earth centered, earth fixed)直交座標系における経度λO0、緯度φO0及び高度hO0を要素とする位置ベクトルrO0(λO0、φO0、hO0)で表すことができる。一方、図2に示すカメラ2の時刻tにおける空間位置であるセンサ座標系の中心を、ECEF直交座標系における経度λSi、緯度φSi及び高度hSiを要素とする位置ベクトルrSi(λSi、φSi、hSi)で表すことができる。 As shown in FIG. 4, the center of the projectile coordinate system, which is the launch position of the projectile O shown in FIG. 2, is the longitude λ O0 , latitude in the earth centered, earth fixed (ECEF) orthogonal coordinate system. It can be represented by a position vector r O0O0 , φ O0 , h O0 ) having φ O0 and height h O0 as elements. On the other hand, the center of the sensor coordinate system, which is the spatial position at the time t i of the camera 2 shown in FIG. 2, is a position vector r Si (λ) having longitude λ Si , latitude φ Si and altitude h Si as elements in the ECEF orthogonal coordinate system It can be represented by Si , φ Si , h Si ).

ECEF直交座標系は、地球の重心を原点として地球に固定された直交座標系である。ECEF直交座標系では、ZECEF軸が地球の自転軸、XECEF軸がZECEF軸に垂直なグリニッジ子午線の方向、YECEF軸がXECEF軸及びZECEF軸に直交する方向となる。 The ECEF orthogonal coordinate system is an orthogonal coordinate system fixed to the earth with the center of gravity of the earth as the origin. In the ECEF orthogonal coordinate system, the Z ECEF axis is the rotation axis of the earth, the X ECEF axis is the direction of the Greenwich meridian perpendicular to the Z ECEF axis, and the Y ECEF axis is the direction orthogonal to the X ECEF axis and the Z ECEF axis.

経度λ、緯度φ及び高度hをECEF直交座標系におけるXECEF座標、YECEF座標及びZECEF座標に変換する式は、式(2−1)、式(2−2)及び式(2−3)で表される。
ECEF=(N+h)cosφcosλ (2−1)
ECEF=(N+h)cosφsinλ (2−2)
ECEF={N(1−e)+h}sinφ (2−3)
但し、式(2−1)、式(2−2)及び式(2−3)において、
N=a/(1−esinφ)1/2
=2f−f
a:赤道面平均半径
f:扁平率
であり、GPSの基準座標系であるWGS84(World Geodetic System 1984)では、
a=6378137m
f=1/298.257223563
と定められている。
Expressions for converting the longitude λ, the latitude φ, and the altitude h into the X ECEF coordinates, the Y ECEF coordinates, and the Z ECEF coordinates in the ECEF orthogonal coordinate system are Expressions (2-1), (2-2), and (2-3). ).
X ECEF = (N + h) cos φ cos λ (2-1)
Y ECEF = (N + h) cos φ sin λ (2-2)
Z ECEF = {N (1-e 2 ) + h} sinφ (2-3)
However, in Formula (2-1), Formula (2-2), and Formula (2-3),
N = a / (1-e 2 sin 2 φ) 1/2
e 2 = 2f−f 2
a: Equatorial plane average radius f: Flatness, WGS 84 (World Geodetic System 1984), which is a GPS reference coordinate system,
a = 6378137m
f = 1 / 298.252923563
It is defined as

カメラ2で飛翔体Oを時間的に等間隔に3回撮影する場合、飛翔体Oの撮影時刻t(i=1,2,3)における空間位置は、ECEF直交座標系における空間座標(XOi、YOi、ZOi)を要素とする位置ベクトルrOi(XOi、YOi、ZOi)で表すことができる。飛翔体Oの撮影時刻tにおける位置ベクトルrOi(XOi、YOi、ZOi)は、式(3)に示すように、飛翔体Oの撮影時刻tにおけるカメラ2の経度λSi、緯度φSi及び高度hSi、カメラ2から見た飛翔体Oの方位ψ及び仰角θ並びにカメラ2と飛翔体Oとの間における距離dをパラメータとする関数f(λSi、φSi、hSi、ψ、θ、d)で表すことができる。
Oi(XOi、YOi、ZOi)=f(λSi、φSi、hSi、ψ、θ、d) (3)
When the flying object O is imaged three times at equal intervals in time with the camera 2, the spatial position of the flying object O at the imaging time t i (i = 1, 2, 3) is the spatial coordinate (X in the ECEF orthogonal coordinate system). It can be represented by a position vector r Oi (X Oi , Y Oi , Z Oi ) whose elements are Oi , Y Oi , Z Oi ). Position in photographing time t i of the projectile O vector r Oi (X Oi, Y Oi , Z Oi) , as shown in equation (3), the camera 2 in the imaging time t i of the projectile O longitude lambda Si, A function f (λ Si , φ Si) having parameters of latitude φ Si and altitude h Si , orientation ψ i and elevation angle θ i of flying object O viewed from camera 2, and distance d i between camera 2 and flying object O , H Si , ψ i , θ i , d i ).
r Oi (X Oi , Y Oi , Z Oi ) = f (λ Si , φ Si , h Si , ψ i , θ i , d i ) (3)

式(3)における関数fは、幾何学的に求めることができる。具体的には、関数fは、カメラ2から見た飛翔体Oの方位ψ及び仰角θ並びにカメラ2と飛翔体Oとの間における距離dを要素として表されるセンサ座標系における飛翔体Oの位置ベクトルrO_Si(ψ、θ、d)の座標変換と、カメラ2の位置ベクトルrSi(λSi、φSi、hSi)との加算を行う関数となる。 The function f in equation (3) can be determined geometrically. Specifically, the function f is a flight in the sensor coordinate system represented by the azimuth ψ i and the elevation angle θ i of the flying object O viewed from the camera 2 and the distance d i between the camera 2 and the flying object O as elements. This is a function that performs coordinate transformation of the position vector r O_Sii , θ i , d i ) of the body O and addition of the position vector r SiSi , φ Si , h Si ) of the camera 2.

尚、式(3)の右辺において、カメラ2から見た飛翔体Oの方位ψ及び仰角θは、測角値として取得可能であり、カメラ2の位置ベクトルrSi(λSi、φSi、hSi)は、航法装置3から取得可能である。従って、式(3)の右辺において未知数は、飛翔体Oの撮影時刻tにおけるカメラ2と飛翔体Oとの間における距離dのみとなる。つまり、ECEF直交座標系における飛翔体Oの撮影時刻tにおける位置ベクトルrOi(XOi、YOi、ZOi)は、カメラ2と飛翔体Oとの間における距離dをパラメータとして表すことができる。 Note that on the right side of Expression (3), the azimuth ψ i and the elevation angle θ i of the flying object O viewed from the camera 2 can be acquired as angle measurement values, and the position vector r SiSi , φ Si of the camera 2 is obtained. , H Si ) can be obtained from the navigation device 3. Accordingly, the unknown on the right side of Equation (3) is only the distance d i between the camera 2 and the flying object O at the shooting time t i of the flying object O. That is, the position vector r Oi (X Oi , Y Oi , Z Oi ) at the photographing time t i of the flying object O in the ECEF orthogonal coordinate system represents the distance d i between the camera 2 and the flying object O as a parameter. Can do.

一方、飛翔体Oの撮影時刻tにおける空間位置は、飛翔体Oの飛行距離X及び高度Hをパラメータとする2次元(2D:two−dimensional)平面上における位置(X、H)として表現することができる。飛翔体Oの位置(X、H)が存在する2D平面は、飛翔体Oの発射位置(λO0、φO0、hO0)及び発射方位Ωによって一意に定まる。従って、式(4)に示すように、ECEF直交座標系における飛翔体Oの空間座標(XOi、YOi、ZOi)を、飛翔体Oの発射位置(λO0、φO0、hO0)及び発射方位Ωをパラメータとする関数g(XOi、YOi、ZOi、λO0、φO0、hO0、Ω)で2D位置(X、H)に変換することができる。
(X、H)=g(XOi、YOi、ZOi、λO0、φO0、hO0、Ω) (4)
On the other hand, the spatial position of the flying object O at the imaging time t i is a position (X i , H i ) on a two-dimensional (2D: two-dimensional) plane using the flying distance X i and the altitude H i of the flying object O as parameters. ). The 2D plane in which the position (X i , H i ) of the flying object O exists is uniquely determined by the launch position (λ O0 , φ O0 , h O0 ) of the flying object O and the launch direction Ω. Therefore, as shown in the equation (4), the space coordinates (X Oi , Y Oi , Z Oi ) of the projectile O in the ECEF orthogonal coordinate system can be expressed by the emission position (λ O0 , φ O0 , h O0 ) of the projectile O And, it is possible to convert into 2D position (X i , H i ) by a function g (X Oi , Y Oi , Z Oi , λ O0 , φ O0 , h O0 , Ω) which takes the launch direction Ω as a parameter.
(X i , H i ) = g (X Oi , Y Oi , Z Oi , λ O0 , φ O0 , h O0 , Ω) (4)

式(4)における関数gは、幾何学的に求めることができる。具体的には、関数gは、ECEF直交座標系における飛翔体Oの位置ベクトルrOi(XOi、YOi、ZOi)から飛翔体Oの発射位置を示すECEF直交座標系における位置ベクトルrO0(λO0、φO0、hO0)を減算し、飛翔体Oの発射方位Ω並びに飛翔体Oの発射位置の経度λO0及び緯度φO0をパラメータとする座標変換を行う関数となる。 The function g in equation (4) can be determined geometrically. Specifically, the function g is the position vector r Oi projectile O in ECEF Cartesian coordinate system (X Oi, Y Oi, Z Oi) position vector in ECEF Cartesian coordinate system indicating the firing position of the projectile O from r O0O0 , φ O0 , h O0 ) is subtracted to obtain a function for performing coordinate conversion using the launch direction Ω of the flying object O and the longitude λ O0 and the latitude φ O0 of the launch position of the flying object O as parameters.

式(3)から式(4)のECEF直交座標系における飛翔体Oの空間座標(XOi、YOi、ZOi)を消去すると、式(5)に示すように、カメラ2と飛翔体Oとの間における距離dを求めるための関数hを求めることができる。
=h(λSi、φSi、hSi、ψ、θ、λO0、φO0、hO0、Ω) (5)
When the spatial coordinates (X Oi , Y Oi , Z Oi ) of the flying object O in the ECEF orthogonal coordinate system of the expressions (3) to (4) are deleted, as shown in the expression (5), the camera 2 and the flying object O And the function h for determining the distance d i between
d i = h (λ Si , φ Si , h Si , ψ i , θ i , λ O0 , φ O0 , h O0 , Ω) (5)

式(5)の右辺において未知数は、飛翔体Oの発射方位Ωのみである。すなわち、式(5)は、飛翔体Oの撮影時刻tにおけるカメラ2と飛翔体Oとの間における距離dと飛翔体Oの発射方位Ωとの関係を表す式である。 The unknowns on the right side of the equation (5) are only the launch direction Ω of the flying object O. That is, Expression (5) is an expression representing the relationship between the distance d i between the camera 2 and the flying object O at the shooting time t i of the flying object O and the launch direction Ω of the flying object O.

飛翔体Oの撮影時刻ti+1、t間における飛翔体Oの移動距離及び移動方向を表すベクトルl(ΔXo、ΔYOi、ΔZOi)は、式(6)で表される。
(ΔXo、ΔYOi、ΔZOi
=rOi+1(XOi+1、YOi+1、ZOi+1)−rOi(XOi、YOi、ZOi) (6)
A vector l i (ΔXo i , ΔY Oi , ΔZ Oi ) representing the moving distance and moving direction of the flying object O between the shooting times t i + 1 and t i of the flying object O is expressed by Expression (6).
l i (ΔX o i , ΔY Oi , ΔZ Oi )
= R Oi + 1 (X Oi + 1 , Y Oi + 1 , Z Oi + 1 ) −r Oi (X Oi , Y Oi , Z Oi ) (6)

すなわち、飛翔体Oの撮影時刻ti+1、t間における飛翔体Oの移動距離及び移動方向を表すベクトルl(ΔXo、ΔYOi、ΔZOi)は、飛翔体Oの撮影時刻ti+1における位置ベクトルrOi+1(XOi+1、YOi+1、ZOi+1)から飛翔体Oの撮影時刻tにおける位置ベクトルrOi(XOi、YOi、ZOi)を減算して得られるベクトルとなる。 That is, photographing time t i + 1, t i vector representing the moving distance and the moving direction of the projectile O between l i projectile O (ΔXo i, ΔY Oi, ΔZ Oi) is the photographing time t i + 1 of the projectile O This is a vector obtained by subtracting the position vector r Oi (X Oi , Y Oi , Z Oi ) at the shooting time t i of the flying object O from the position vector r Oi + 1 (X Oi + 1 , Y Oi + 1 , Z Oi + 1 ).

飛翔体Oは、等速直線運動するとみなせるため、式(7)が成立する。
i+1(ΔXoi+1、ΔYOi+1、ΔZOi+1
=l(ΔXo、ΔYOi、ΔZOi) (7)
Since the flying object O can be regarded as a constant velocity linear motion, Expression (7) is established.
l i + 1 (ΔXo i + 1 , ΔY Oi + 1 , ΔZ Oi + 1 )
= L i (ΔXo i , ΔY Oi , ΔZ Oi ) (7)

式(6)及び式(7)より式(8)を導くことができる。
O3(XO3、YO3、ZO3
=2rO2(XO2、YO2、ZO2)−rO1(XO1、YO1、ZO1) (8)
Equation (8) can be derived from Equation (6) and Equation (7).
r O3 (X O3 , Y O3 , Z O3 )
= 2r O2 (X O2, Y O2, Z O2) -r O1 (X O1, Y O1, Z O1) (8)

式(8)に式(3)を代入すると、各撮影時刻t、t、tにおけるカメラ2と飛翔体Oとの間における距離d、d、dを係数とする線形方程式が得られる。これにより、距離d、dと距離dとの関係を示す式(9)が得られる。
=k(d、d) (9)
Substituting equation (3) into equation (8), the linear equations for the distances d 1, d 2, d 3 between the camera 2 and the projectile O at each imaging time t 1, t 2, t 3 and coefficient Is obtained. Accordingly, the distance d 1, the formula showing the relation between d 2 and a distance d 3 (9) is obtained.
d 3 = k (d 1 , d 2 ) (9)

更に、式(9)に式(5)を代入すれば、飛翔体Oの発射方位Ωのみを未知数とする非線形方程式を得ることができる。飛翔体Oの発射方位Ωを未知数とする非線形方程式は、ニュートン法等の公知の数値解析手法によって解くことができる。これにより、飛翔体Oの発射方位Ωを算出することができる。   Furthermore, if equation (5) is substituted into equation (9), a nonlinear equation in which only the launching direction Ω of the flying object O is unknown can be obtained. A non-linear equation having the launch orientation Ω of the projectile O as an unknown can be solved by a known numerical analysis method such as the Newton method. Thereby, the launch direction Ω of the flying object O can be calculated.

つまり、飛翔体Oの発射方位Ωを算出する第2の方法は、飛翔体Oの発射位置を示す空間座標(λO0、φO0、hO0)、飛翔体Oの撮影時刻tにおけるカメラ2の空間座標(λSi、φSi、hSi)並びに飛翔体Oの撮影時刻tにおけるカメラ2から見た飛翔体Oの方位ψ及び仰角θに基づいて幾何学的かつ3次元的に飛翔体Oの発射方位Ωを算出する方法である。 That is, the second method of calculating the launch orientation Ω of the flying object O is the spatial coordinates (λ O0 , φ O0 , h O0 ) indicating the launching position of the flying object O, and the camera 2 at the shooting time t i of the flying object O Geometrically and three-dimensionally based on the spatial coordinates (λ Si , φ Si , h Si ) and the azimuth ψ i and elevation angle θ i of the flying object O viewed from the camera 2 at the photographing time t i of the flying object O. This is a method of calculating the launch direction Ω of the flying object O.

第2の方法によれば、カメラ2が移動しているか否かを問わず、飛翔体Oの発射方位Ωを算出することができる。すなわち、カメラ2が移動する場合であっても、移動するカメラ2による飛翔体Oの撮影方向及び移動するカメラ2の空間位置に基づいて飛翔体Oの発射方位を算出することができる。   According to the second method, the launch orientation Ω of the flying object O can be calculated regardless of whether the camera 2 is moving. That is, even when the camera 2 moves, the launching direction of the flying object O can be calculated based on the shooting direction of the flying object O by the moving camera 2 and the spatial position of the moving camera 2.

発射方位算出部4において飛翔体Oの発射方位Ωが算出されると、算出された飛翔体Oの発射方位Ωが飛翔体位置算出部5に与えられる。   When the launch orientation Ω of the projectile O is calculated in the launch orientation calculation unit 4, the launch orientation Ω of the calculated flight object O is given to the projectile position computation unit 5.

飛翔体位置算出部5は、発射方位算出部4において算出された飛翔体Oの発射方位Ω、カメラ2による飛翔体Oの撮影時刻tにおける撮影方向を示す飛翔体Oの方位ψ及び仰角θ、飛翔体Oの撮影時刻tにおけるカメラ2の空間位置を示す空間座標(λSi、φSi、hSi)並びに飛翔体Oの発射位置を示す空間座標(λO0、φO0、hO0)に基づいて飛翔体Oの空間位置を示す空間座標(XOi、YOi、ZOi)を算出する機能を有する。 The flying object position calculation unit 5 calculates the shooting direction Ω of the flying object O calculated by the shooting direction calculation unit 4, the azimuth ψ i of the flying object O indicating the shooting direction at the shooting time t i of the flying object O by the camera 2, and the elevation angle. θ i , spatial coordinates (λ Si , φ Si , h Si ) indicating the spatial position of the camera 2 at the shooting time t i of the flying object O, and spatial coordinates (λ O0 , φ O0 , h indicating the launch position of the flying object O) It has a function of calculating space coordinates (X Oi , Y Oi , Z Oi ) indicating the space position of the projectile O based on O 0).

具体的には、図4に示す位置関係において、飛翔体Oの発射方位Ω、飛翔体Oの撮影時刻tにおけるカメラ2の空間座標(λSi、φSi、hSi)、飛翔体Oの撮影時刻tにおけるカメラ2から見た飛翔体Oの方位ψ及び仰角θ並びに飛翔体Oの発射位置を示す空間座標(λO0、φO0、hO0)を式(5)に代入すれば、飛翔体Oの撮影時刻tにおけるカメラ2と飛翔体Oとの間における距離dを求めることができる。 Specifically, in the positional relationship shown in FIG. 4, the launch direction Ω of the flying object O, the spatial coordinates (λ Si , φ Si , h Si ) of the camera 2 at the shooting time t i of the flying object O, the flying object O Substituting the azimuth 角i and elevation angle θ i of the flying object O seen from the camera 2 at the shooting time t i and the spatial coordinates (λ O0 , φ O0 , h O0 ) indicating the emitting position of the flying object O into the equation (5) For example, the distance d i between the camera 2 and the flight object O at the shooting time t i of the flight object O can be obtained.

更に、式(5)で求めた飛翔体Oの撮影時刻tにおけるカメラ2と飛翔体Oとの間における距離d、飛翔体Oの撮影時刻tにおけるカメラ2の空間座標(λSi、φSi、hSi)並びに飛翔体Oの撮影時刻tにおけるカメラ2から見た飛翔体Oの方位ψ及び仰角θを式(3)に代入すれば、撮影時刻tにおける飛翔体Oの空間座標(XOi、YOi、ZOi)を算出することができる。 Further, the distance d i between the camera 2 and the flying object O at the shooting time t i of the flying object O obtained by the equation (5), the spatial coordinates (λ Si) of the camera 2 at the shooting time t i of the flying object O, phi Si, substituting h Si) and orientation [psi i and elevation theta i of the projectile O as viewed from the camera 2 at the shooting time t i of the projectile O in equation (3), projectile at photographing time t i O Spatial coordinates (X Oi , Y Oi , Z Oi ) can be calculated.

また、式(4)によって飛翔体Oの飛行距離X及び高度Hを用いて飛翔体Oの空間位置を表すこともできる。 Further, the spatial position of the flying object O can also be expressed by using the flight distance X i and the altitude H i of the flying object O by Expression (4).

上述のように、飛翔体Oの空間位置についても、カメラ2が移動しているか否かを問わず算出することができる。すなわち、カメラ2が移動する場合であっても、移動するカメラ2による飛翔体Oの撮影方向を示す飛翔体Oの方位ψ及び仰角θと、移動するカメラ2の空間位置を示す空間座標(λSi、φSi、hSi)に基づいて所望の座標系における飛翔体Oの空間位置を算出することができる As described above, the spatial position of the flying object O can also be calculated regardless of whether the camera 2 is moving. That is, even when the camera 2 moves, the azimuth ψ i and the elevation angle θ i of the flying object O indicating the shooting direction of the flying object O by the moving camera 2 and the spatial coordinates indicating the spatial position of the moving camera 2. The spatial position of the projectile O in the desired coordinate system can be calculated based on (λ Si , φ Si , h Si )

(動作及び作用)
次に飛翔体位置算出システム1を用いた飛翔体位置算出方法について説明する。
(Operation and action)
Next, a flying object position calculation method using the flying object position calculation system 1 will be described.

図5は、図1に示す飛翔体位置算出システム1により飛翔体Oの空間位置を算出する際の流れを示すフローチャートである。   FIG. 5 is a flow chart showing the flow when calculating the spatial position of the projectile O by the projectile position calculation system 1 shown in FIG.

まずステップS1において、任意の手法又はシステムにより飛翔体Oの発射位置が特定される。特定された飛翔体Oの発射位置は、入力装置6の操作によって飛翔体位置算出部5に入力される。   First, in step S1, the launch position of the flying object O is specified by an arbitrary method or system. The specified launch position of the flying object O is input to the flying object position calculation unit 5 by operating the input device 6.

次に、ステップS2において、カメラ2により飛翔体Oの撮影が行われる。撮影には、飛翔体Oが撮影視野内となるように地上に設置されたカメラ2を用いても良いし、飛翔体Oを撮影できるように航空機8等の移動体に搭載したカメラ2を用いても良い。飛翔体Oは等速直線運動で移動しているとみなせる程度に十分に短い撮影間隔で少なくとも3フレーム分撮影される。換言すれば、十分に短い撮影間隔で異なる3地点において飛翔体Oが撮影される。   Next, in step S2, the flying object O is imaged by the camera 2. For shooting, the camera 2 installed on the ground so that the flying object O is within the field of view for shooting may be used, or the camera 2 mounted on a moving object such as the aircraft 8 so that the flying object O can be shot. It is good. The projectile O is photographed for at least three frames at a sufficiently short imaging interval so as to be considered as moving with constant velocity linear motion. In other words, the flying object O is photographed at three different points with sufficiently short photographing intervals.

カメラ2から撮影される飛翔体Oの方位ψ及び仰角θは、角度検出装置2Bによって検出され、発射方位算出部4及び飛翔体位置算出部5に与えられる。また、撮影に使用されたカメラ2が航空機8等の移動体に搭載されて移動した場合には、移動体に搭載された航法装置3等の位置センサからカメラ2の空間位置が発射方位算出部4及び飛翔体位置算出部5に与えられる。更に、飛翔体Oの発射方位Ωの算出に飛翔体Oの画像データが用いられる場合には、カメラ2から飛翔体Oの画像データが発射方位算出部4に与えられる。   The azimuth angle 仰 and the elevation angle θ of the flying object O taken from the camera 2 are detected by the angle detection device 2B, and given to the emitting direction calculation unit 4 and the flight object position calculation unit 5. In addition, when the camera 2 used for photographing is mounted on a moving body such as the aircraft 8 and moves, the spatial position of the camera 2 is determined from the position sensor of the navigation device 3 or the like mounted on the moving body. 4 and the flying object position calculation unit 5. Further, when the image data of the flying object O is used for calculating the launching direction Ω of the flying object O, the image data of the flying object O is given from the camera 2 to the launching direction calculating unit 4.

カメラ2及び航法装置3等の位置センサからの情報の転送は、無線によってリアルタイムに行うようにしても良いし、航空機8等の移動体の帰還後に事後的に行うようにしてもよい。或いは、発射方位算出部4及び飛翔体位置算出部5も移動体に搭載してリアルタイムにカメラ2及び航法装置3等の位置センサからの情報を発射方位算出部4及び飛翔体位置算出部5に転送するようにしてもよい。   Transfer of information from the position sensors such as the camera 2 and the navigation device 3 may be performed wirelessly in real time, or may be performed after the return of a moving body such as the aircraft 8. Alternatively, the launching direction calculation unit 4 and the flying object position calculation unit 5 are also mounted on the moving body, and information from the position sensors such as the camera 2 and the navigation device 3 is sent to the launching direction calculation unit 4 and the flying object position calculation unit 5 in real time. It may be transferred.

次に、ステップS3において、発射方位算出部4は、図3に示す飛翔体Oの画像データに基づく第1の方法或いは図4に示す飛翔体O及びカメラ2の幾何学データに基づく第2の方法によって飛翔体Oの水平面上における発射方位Ωを算出する。   Next, in step S3, the emission direction calculation unit 4 performs the first method based on the image data of the projectile O shown in FIG. 3 or the second method based on the geometry data of the projectile O and the camera 2 shown in FIG. The launch direction Ω on the horizontal plane of the flying object O is calculated by the method.

次に、ステップS4において、飛翔体位置算出部5は、発射方位算出部4において算出された飛翔体Oの発射方位、航法装置3等の位置センサからカメラ2の空間位置として取得した飛翔体Oの撮影位置、角度検出装置2Bから取得した飛翔体Oの撮影方向並びに飛翔体Oの発射位置に基づいて、幾何学的に飛翔体Oの空間位置を算出する。尚、飛翔体Oを静止したカメラ2で撮影した場合には、カメラ2の空間位置が航法装置3等の位置センサから飛翔体位置算出部5に与えられる代わりに、カメラ2の座標位置が直接、飛翔体Oの画像データの撮影位置として飛翔体位置算出部5に入力される。   Next, in step S <b> 4, the flying object position calculation unit 5 obtains the flying object O as the spatial position of the camera 2 from the launching direction of the flying object O calculated by the launching direction calculation unit 4 and the position sensor such as the navigation device 3. The spatial position of the flying object O is geometrically calculated on the basis of the shooting position of the flying object O, the shooting direction of the flying object O acquired from the angle detection device 2B, and the emitting position of the flying object O. When shooting the object O with the camera 2 at rest, the coordinate position of the camera 2 is directly given instead of the spatial position of the camera 2 being given from the position sensor such as the navigation device 3 to the projectile position calculation unit 5 Then, the flying object position calculation unit 5 inputs the imaging position of the image data of the flying object O.

つまり以上のような飛翔体位置算出システム1は、推力を維持しながら推力偏向を行わずに超音速又は十分に高速で飛翔する飛翔体Oの運動を局所的に等速直線運動とみなし、かつ飛翔体Oの発射位置を別途取得することにより、カメラ2による飛翔体Oの捕捉情報に基づいて簡易に飛翔体Oの空間位置を測定できるようにしたものである。   In other words, the flying object position calculation system 1 as described above regards the movement of the flying object O flying at supersonic speed or sufficiently high speed without performing thrust deflection while maintaining the thrust as local constant velocity linear motion, and By separately acquiring the launch position of the projectile O, the spatial position of the projectile O can be easily measured based on the capture information of the projectile O by the camera 2.

(効果)
このため、飛翔体位置算出システム1によれば、非常に簡易な構成で飛翔方向が不確かな飛翔体Oの空間位置を測定することができる。具体的には、推力を維持しながら推力偏向を行わずに超音速で飛翔する飛翔体Oの一定時間後における軌道を直線軌道とみなすという飛翔体Oの特性に応じた近似を行うことによって、従来の三角測量を行うことなく飛翔体Oの空間位置を求めることができる。
(effect)
For this reason, according to the flying object position calculation system 1, it is possible to measure the spatial position of the flying object O whose flying direction is uncertain with a very simple configuration. Specifically, by approximating according to the characteristics of the flying object O that the trajectory after a certain time of the flying object O flying at supersonic speed without performing thrust deflection while maintaining the thrust is regarded as a linear trajectory, The spatial position of the flying object O can be obtained without performing conventional triangulation.

このため、従来のように、高速で移動する物体の空間位置を求めるために物体の速度に対して十分に速い速度でカメラを移動させたり、或いは、高速で移動する物体が撮影視野内となるように複数のカメラを適切かつ十分に離れた位置に配置するといった非現実的な作業が不要となる。換言すれば、従来は、移動方向が不確定かつ高速で移動する物体の空間位置を三角測量によって求めることは困難であったが、飛翔体位置算出システム1によれば、任意の方向に高速で移動する飛翔体Oであっても推力の偏向がなければ飛翔体Oの空間位置を測定することができる。   For this reason, as in the prior art, the camera is moved at a sufficiently high speed with respect to the velocity of the object to obtain the spatial position of the object moving at high velocity, or the object moving at high velocity is within the shooting field of view. Thus, unrealistic work such as arranging a plurality of cameras at appropriate and sufficiently separated positions is not necessary. In other words, conventionally, it has been difficult to obtain the spatial position of an object whose moving direction is uncertain and moves at high speed by triangulation. However, according to the flying object position calculating system 1, the moving object position can be calculated at high speed in any direction. Even if the flying object O moves, the spatial position of the flying object O can be measured if there is no thrust deflection.

また、飛翔体位置算出システム1によれば、三角測量に依らずに飛翔体Oの空間位置を求めることができるため、単一のカメラ2を用いて飛翔体Oの空間位置を求めることができる。   Further, according to the flying object position calculation system 1, the spatial position of the flying object O can be obtained without relying on triangulation, so the spatial position of the flying object O can be obtained using a single camera 2 .

このため、弾道ミサイル等の突発的かつ不確かな方向に発射され得る飛翔体Oであっても飛翔体Oの空間位置を迅速に測定することができる。従って、飛翔体位置算出システム1は、国民の安全及び世界平和の維持にも貢献し得る。   For this reason, it is possible to rapidly measure the spatial position of the projectile O even in the case of the projectile O which can be launched in a sudden and uncertain direction such as a ballistic missile. Therefore, the vehicle position calculation system 1 can also contribute to the security of the people and the maintenance of world peace.

尚、大気圏内において空気抵抗によって推力を維持しながら移動する飛翔体Oは、大気圏外では推力を失うことになる。このため、大気圏外に到達した飛翔体Oは地球の重力によって曲線軌道を描いて地球に落下することになる。従って、飛翔体Oが大気圏外に到達した場合には、飛翔体Oの燃焼終了を検出することによって、燃焼終了時における飛翔体Oの空間位置及び速度に基づいてケプラーの法則により飛翔体Oが着地するまでの軌道を推算することができる。大気圏外において飛翔体Oの燃焼終了を検出する方法としては、公知の方法がある。   In addition, the flying object O which moves while maintaining the thrust by air resistance in the atmosphere loses the thrust outside the atmosphere. For this reason, the flight object O which arrived out of the atmosphere draws a curvilinear orbit by the gravity of the earth and falls to the earth. Therefore, when the flying object O reaches the outside of the atmosphere, by detecting the completion of combustion of the flying object O, the flying object O is detected by Kepler's law based on the space position and velocity of the flight object O at the completion of combustion. The trajectory to land can be estimated. There is a known method for detecting the end of combustion of the flying object O outside the atmosphere.

一方、燃焼終了時における飛翔体Oの空間位置及び速度に基づく飛翔体Oの落下軌道の計算方法についても公知の方法がある。つまり、燃焼終了時における飛翔体Oの空間位置及び速度が分かれば公知の方法によって飛翔体Oの落下軌道を計算することが可能である。   On the other hand, there is a known method for calculating the dropping trajectory of the flying object O based on the spatial position and velocity of the flying object O at the end of combustion. That is, if the spatial position and velocity of the flying object O at the end of combustion are known, the falling trajectory of the flying object O can be calculated by a known method.

そこで、飛翔体位置算出システム1により推算された大気圏内における飛翔体Oの空間位置に基づいて飛翔体Oの燃焼終了時における飛翔体Oの空間位置及び速度を推算することができる。これにより、飛翔体Oの落下軌道についても簡易に計算することが可能となる。   Therefore, the spatial position and velocity of the flying object O at the end of combustion of the flying object O can be estimated based on the spatial position of the flying object O in the atmosphere estimated by the flying object position calculation system 1. Thereby, it is possible to easily calculate the dropping trajectory of the flying object O.

以上、特定の実施形態について記載したが、記載された実施形態は一例に過ぎず、発明の範囲を限定するものではない。ここに記載された新規な方法及び装置は、様々な他の様式で具現化することができる。また、ここに記載された方法及び装置の様式において、発明の要旨から逸脱しない範囲で、種々の省略、置換及び変更を行うことができる。添付された請求の範囲及びその均等物は、発明の範囲及び要旨に包含されているものとして、そのような種々の様式及び変形例を含んでいる。   Although the specific embodiments have been described above, the described embodiments are merely examples and do not limit the scope of the invention. The novel methods and apparatus described herein may be embodied in various other ways. Various omissions, substitutions, and changes can be made in the method and apparatus described herein without departing from the spirit of the invention. The appended claims and their equivalents include such various forms and modifications as are encompassed by the scope and spirit of the invention.

例えば、上述した実施形態では、画像センサがカメラ2である場合を例に説明したが、赤外線を受光し電気信号に変換する赤外線センサ等の他の画像センサを用いてもよい。すなわち、飛翔体Oを捕捉することが可能な画像センサであれば、任意の画像センサを用いることができる。   For example, in the embodiment described above, the case where the image sensor is the camera 2 has been described as an example, but another image sensor such as an infrared sensor that receives infrared light and converts it into an electric signal may be used. In other words, any image sensor that can capture the flying object O can be used.

1 飛翔体位置算出システム
2 カメラ
2A 撮像素子
2B 角度検出装置
3 航法装置
4 発射方位算出部
5 飛翔体位置算出部
6 入力装置
7 表示装置
8 航空機
9 コンピュータ
O 飛翔体
DESCRIPTION OF SYMBOLS 1 Flying object position calculation system 2 Camera 2A Image pick-up element 2B Angle detection apparatus 3 Navigation apparatus 4 Launch direction calculation part 5 Flying object position calculation part 6 Input device 7 Display apparatus 8 Aircraft 9 Computer O Flying object

Claims (7)

推力を維持しながら推力偏向せずに飛翔する飛翔体の捕捉情報であって、画像センサによる異なる3つ以上の時刻における前記捕捉情報に基づいて、前記飛翔体の移動を等速直線運動とみなす近似を行うことによって、前記飛翔体の水平面上における発射方位を算出する発射方位算出部と、
前記飛翔体の発射方位、前記画像センサによる前記飛翔体の撮影方向、前記画像センサの空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の空間位置を算出する飛翔体位置算出部と、
を有する飛翔体位置算出システム。
Based on the captured information of a flying object flying without thrust deflection while maintaining the thrust, and based on the captured information at three or more different times by the image sensor , the movement of the flying object is regarded as constant velocity linear motion A launch direction calculation unit that calculates a launch direction on the horizontal plane of the projectile by performing approximation ;
A flying object position calculating unit that calculates the flying object's spatial position based on the shooting direction of the flying object, the shooting direction of the flying object by the image sensor, the spatial position of the image sensor, and the emitting position of the flying object;
A flying object position calculation system.
前記発射方位算出部は、前記飛翔体の撮影方向、前記画像センサの前記空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の発射方位を算出するように構成される請求項記載の飛翔体位置算出システム。 Wherein said firing orientation calculation unit, shooting direction of the flying object, the spatial position and the projectile firing position the flying object according to claim 1 configured to calculate the firing azimuth based on said image sensor Flying object position calculation system. 前記発射方位算出部は、前記画像センサの撮像素子に投影された前記飛翔体の第1の位置と第2の位置との間における第1の距離と、前記画像センサの撮像素子に投影された前記飛翔体の前記第2の位置と第3の位置との間における第2の距離とを取得し、前記第1の距離と前記第2の距離との間における比に基づいて、前記飛翔体の水平面上における発射方位を算出するように構成される請求項記載の飛翔体位置算出システム。 The launch direction calculation unit is projected onto a first distance between the first position and the second position of the flying object projected onto the image sensor of the image sensor, and onto the image sensor of the image sensor. Obtaining a second distance between the second position and the third position of the flying object, and based on a ratio between the first distance and the second distance, the flying object The flying object position calculating system according to claim 1 , wherein the flying object position calculating system is configured to calculate a launch azimuth on a horizontal plane. 前記発射方位算出部は、単一の画像センサによる前記飛翔体の捕捉情報に基づいて、前記飛翔体の発射方位を算出するように構成される請求項1乃至のいずれか1項に記載の飛翔体位置算出システム。 Wherein said firing orientation calculation unit, based on the acquisition information of the flying object with a single image sensor, according to any one of constituted claims 1 to 3 so as to calculate the firing direction of the projectile Flying object position calculation system. 前記発射方位算出部は、移動する画像センサによる前記飛翔体の撮影方向及び前記移動する画像センサの空間位置に基づいて前記飛翔体の発射方位を算出する一方、
前記飛翔体位置算出部は、前記移動する画像センサによる前記飛翔体の撮影方向及び前記移動する画像センサの空間位置に基づいて前記飛翔体の空間位置を算出するように構成される請求項記載の飛翔体位置算出システム。
The launch direction calculation unit calculates the launch direction of the flying object based on the shooting direction of the flying object by the moving image sensor and the spatial position of the moving image sensor,
The projectile position calculating unit, said moving said flying object photographing direction and the movement on the basis of the spatial position of the image sensor the projectile according to claim 2 configured to calculate the spatial position of which by the image sensor Flying object position calculation system.
推力を維持しながら推力偏向せずに飛翔する飛翔体の捕捉情報であって、画像センサによる異なる3つ以上の時刻における前記捕捉情報に基づいて、前記飛翔体の移動を等速直線運動とみなす近似を行うことによって、前記飛翔体の水平面上における発射方位を算出するステップと、
前記飛翔体の発射方位、前記画像センサによる前記飛翔体の撮影方向、前記画像センサの空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の空間位置を算出するステップと、
を有する飛翔体位置算出方法。
Based on the captured information of a flying object flying without thrust deflection while maintaining the thrust, and based on the captured information at three or more different times by the image sensor , the movement of the flying object is regarded as constant velocity linear motion Calculating a launch direction on the horizontal plane of the flying object by approximating ;
Calculating the space position of the flying object based on the shooting direction of the flying object, the shooting direction of the flying object by the image sensor, the spatial position of the image sensor, and the launch position of the flying object;
A flying object position calculation method comprising:
コンピュータを、
推力を維持しながら推力偏向せずに飛翔する飛翔体の捕捉情報であって、画像センサによる異なる3つ以上の時刻における前記捕捉情報に基づいて、前記飛翔体の移動を等速直線運動とみなす近似を行うことによって、前記飛翔体の水平面上における発射方位を算出する発射方位算出部、及び
前記飛翔体の発射方位、前記画像センサによる前記飛翔体の撮影方向、前記画像センサの空間位置及び前記飛翔体の発射位置に基づいて前記飛翔体の空間位置を算出する飛翔体位置算出部、
として機能させる飛翔体位置算出プログラム。
Computer,
Based on the captured information of a flying object flying without thrust deflection while maintaining the thrust, and based on the captured information at three or more different times by the image sensor , the movement of the flying object is regarded as constant velocity linear motion A launch direction calculation unit that calculates a launch direction on the horizontal surface of the projectile by performing approximation, a launch direction of the projectile, a shooting direction of the projectile by the image sensor, a spatial position of the image sensor, and A projectile position calculation unit that calculates the spatial position of the projectile based on the launch position of the projectile;
Spacecraft position calculation program to function as.
JP2015176849A 2015-09-08 2015-09-08 Flying object position calculation system, flying object position calculation method, and flying object position calculation program Active JP6553994B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015176849A JP6553994B2 (en) 2015-09-08 2015-09-08 Flying object position calculation system, flying object position calculation method, and flying object position calculation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015176849A JP6553994B2 (en) 2015-09-08 2015-09-08 Flying object position calculation system, flying object position calculation method, and flying object position calculation program

Publications (2)

Publication Number Publication Date
JP2017053687A JP2017053687A (en) 2017-03-16
JP6553994B2 true JP6553994B2 (en) 2019-07-31

Family

ID=58320716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015176849A Active JP6553994B2 (en) 2015-09-08 2015-09-08 Flying object position calculation system, flying object position calculation method, and flying object position calculation program

Country Status (1)

Country Link
JP (1) JP6553994B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230343001A1 (en) * 2019-03-18 2023-10-26 Rapsodo Pte. Ltd. Object trajectory simulation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6633014B2 (en) 2017-03-17 2020-01-22 日本碍子株式会社 Method for manufacturing silicon carbide based honeycomb structure
JP6775541B2 (en) * 2018-04-03 2020-10-28 株式会社Subaru Position measurement method and position measurement system
CN112648881A (en) * 2020-12-18 2021-04-13 西北工业大学 Method and system for calculating transmitting azimuth angle
CN114593646A (en) * 2022-03-21 2022-06-07 中国人民解放军战略支援部队信息工程大学 Method and system for estimating launching point position of ballistic missile based on head point measurement data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3313169B2 (en) * 1993-01-19 2002-08-12 三菱プレシジョン株式会社 Calibration method of set value of coordinate system of inertial reference device in moving object
US7544137B2 (en) * 2003-07-30 2009-06-09 Richardson Todd E Sports simulation system
JP2006270404A (en) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp Device and method for controlling photographing and photographing control program
JP6200297B2 (en) * 2013-11-21 2017-09-20 株式会社Subaru Locating method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230343001A1 (en) * 2019-03-18 2023-10-26 Rapsodo Pte. Ltd. Object trajectory simulation

Also Published As

Publication number Publication date
JP2017053687A (en) 2017-03-16

Similar Documents

Publication Publication Date Title
US20210385386A1 (en) Aerial video based point, distance, and velocity real-time measurement system
CN107727079B (en) Target positioning method of full-strapdown downward-looking camera of micro unmanned aerial vehicle
US10515458B1 (en) Image-matching navigation method and apparatus for aerial vehicles
JP6553994B2 (en) Flying object position calculation system, flying object position calculation method, and flying object position calculation program
WO2016187757A1 (en) Sensor fusion using inertial and image sensors
US8300096B2 (en) Apparatus for measurement of vertical obstructions
WO2016187759A1 (en) Sensor fusion using inertial and image sensors
US7792330B1 (en) System and method for determining range in response to image data
JP7025156B2 (en) Data processing equipment, data processing method and data processing program
EP1975646A2 (en) Lader-based motion estimation for navigation
US8649917B1 (en) Apparatus for measurement of vertical obstructions
WO2016187758A1 (en) Sensor fusion using inertial and image sensors
US11099030B2 (en) Attitude estimation apparatus, attitude estimation method, and observation system
KR930013756A (en) Autonomous Precision Weapon Transport System and Method Using Composite Array Radar
TW201710815A (en) A global positioning system (&#34;GPS&#34;) independent navigation system for a self-guided aerial vehicle utilizing multiple optical sensors
US11490005B2 (en) Overhead line image capturing system and overhead line image capturing method
Zhang et al. Vision-based relative altitude estimation of small unmanned aerial vehicles in target localization
US20110246069A1 (en) Method for determining the trajectory of a ballistic missile
EP1584896A1 (en) Passive measurement of terrain parameters
JP7161298B2 (en) target device, surveying system
RU2749194C1 (en) Method for remote determination of the coordinates of the location of a ground (above-water) object
JP2011232131A (en) Image target location apparatus and image target location method
CN114004885B (en) Method for quickly estimating space target position by using satellite sight vector
Skulsky et al. Rocket sled testing of a prototype terrain-relative navigation system
JPH0524591A (en) Measuring method for airframe position of vertical take-off and landing aircraft

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190705

R150 Certificate of patent or registration of utility model

Ref document number: 6553994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250