JP4975003B2 - Target position specifying apparatus and target position specifying method - Google Patents

Target position specifying apparatus and target position specifying method Download PDF

Info

Publication number
JP4975003B2
JP4975003B2 JP2008296954A JP2008296954A JP4975003B2 JP 4975003 B2 JP4975003 B2 JP 4975003B2 JP 2008296954 A JP2008296954 A JP 2008296954A JP 2008296954 A JP2008296954 A JP 2008296954A JP 4975003 B2 JP4975003 B2 JP 4975003B2
Authority
JP
Japan
Prior art keywords
video
information
target
flight information
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008296954A
Other languages
Japanese (ja)
Other versions
JP2010122970A (en
Inventor
敦之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008296954A priority Critical patent/JP4975003B2/en
Publication of JP2010122970A publication Critical patent/JP2010122970A/en
Application granted granted Critical
Publication of JP4975003B2 publication Critical patent/JP4975003B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、災害が発生している目標物などを空中から撮影し、その目標物の位置を正確に特定することができる目標物位置特定装置および目標物位置特定方法に関するものである。   The present invention relates to a target position specifying device and a target position specifying method capable of photographing a target in which a disaster has occurred from the air and accurately specifying the position of the target.

従来から、例えば水害や地震などの大規模な災害が発生すると、ヘリコプタなどによって災害現場を撮影し、その撮影映像から災害の程度や緊急対策が必要な箇所の有無の確認を行っている。また、火災が発生して直ちに消火活動を行わなければならないような場合は、撮影映像から火災現場の地点を特定して消防車両などを急行させている。このようなシステムはヘリテレシステムと称され、ヘリコプタ側に搭載された送信局と地上側に設置された受信局とで構成される。   Conventionally, when a large-scale disaster such as a flood or an earthquake occurs, a disaster site is photographed with a helicopter or the like, and the extent of the disaster or the presence or absence of an emergency measure is confirmed from the captured image. In addition, when a fire should occur and fire extinguishing activities must be performed immediately, the location of the fire site is identified from the captured video, and a fire engine or the like is rushed. Such a system is called a helicopter system, and is composed of a transmitting station mounted on the helicopter side and a receiving station installed on the ground side.

このようにヘリコプタによって空中から災害現場を撮影し、その撮影映像の位置を正確に表示する方法として、撮影映像を地上に送信すると同時に、ヘリコプタの位置情報とテレビカメラの方向及び機体の姿勢情報から撮影位置の3次元的特定処理を行い、地上で受信した撮影位置データに対応する属性データ(住所や建物名など)を電子地図から抽出して、この属性データを文字データとして地上で受信した撮影映像に付加して表示装置に表示することにより、ヘリコプタからの撮影映像への位置情報を表示するようにしたものがある。(特許文献1参照)
また地面の3次元的形状を認識する地形認識装置および地形認識方法として、ステレオ画像を用いて最新の地勢データを計算する手法も知られている。(特許文献2参照)
In this way, as a method of photographing a disaster site from the air with a helicopter and displaying the position of the captured image accurately, the captured image is transmitted to the ground, and at the same time, from the position information of the helicopter, the direction of the TV camera, and the attitude information of the aircraft Performs three-dimensional identification processing of the shooting position, extracts attribute data (address, building name, etc.) corresponding to the shooting position data received on the ground from the electronic map, and shot this attribute data received on the ground as character data There is one in which position information on a captured image from a helicopter is displayed by being added to the image and displayed on a display device. (See Patent Document 1)
As a terrain recognition device and terrain recognition method for recognizing the three-dimensional shape of the ground, a method of calculating the latest terrain data using a stereo image is also known. (See Patent Document 2)

特開2004−226190公報JP 2004-226190 A 特開2004−151883公報JP 2004-151883 A

従来の特許文献1に記載されたものは、ヘリコプタから地上に伝送された撮影映像およびフライト情報と、電子地図に蓄積された地表面の起伏についての高度情報を含む三次元な地勢データとから、撮影範囲の中心点の地表面上での位置を特定しており、三次元な地勢データをあらかじめ作成しておく必要がある。このため、地勢データが存在しない地域では利用できなく、また任意の位置を指定することは出来ないという課題があった。また、地震や土砂崩れなどにより地形が変形した場合に、被災直後は変形を加味した最新の地勢データは入手できないため、正確な位置の特定ができないという課題があった。   What was described in the conventional patent document 1 is a photographed image and flight information transmitted from the helicopter to the ground, and three-dimensional terrain data including altitude information about the undulation of the ground surface accumulated in the electronic map, The position of the center point of the shooting range on the ground surface is specified, and three-dimensional terrain data must be created in advance. For this reason, there is a problem that it cannot be used in an area where no terrain data exists, and an arbitrary position cannot be specified. In addition, when the terrain is deformed due to an earthquake or landslide, the latest terrain data taking into account the deformation cannot be obtained immediately after the disaster, so there is a problem that the exact position cannot be specified.

さらに被災情報を収集してシステムに登録する作業にあたっては、情報が限られている地上の会議室ではなく、被災現場上空で作業をしているヘリコプタで行うことが望ましい。しかしながら、上記の空撮映像から三次元(3D)モデルを生成する方法では、三次元モデルの生成に多くの演算が必要であるため、演算部の高速化、大型化が必要である。ところが、ヘリコプタに搭載する機材は、温度特性、耐振動性、電波特性などの厳しい条件が求められる。また運用上の面でも、ヘリコプタの機内は設置スペースが限られており、積載重量にも制限があるため、機材は小型で軽量なものが望ましい。そのため、ヘリコプタの機内に三次元モデルを生成する高速な演算部を設置することは困難である。その結果、機上で被災情報の三次元情報を登録することは困難である、という課題があった。   Furthermore, it is desirable to collect the disaster information and register it in the system with a helicopter working over the disaster site rather than a ground conference room where information is limited. However, in the method for generating a three-dimensional (3D) model from the above-described aerial image, many calculations are required for generating the three-dimensional model, so that the calculation unit needs to be increased in speed and size. However, rigorous conditions such as temperature characteristics, vibration resistance, and radio wave characteristics are required for equipment mounted on helicopters. Also, in terms of operation, the installation space of the helicopter is limited and the load weight is also limited, so it is desirable that the equipment be small and lightweight. For this reason, it is difficult to install a high-speed computing unit that generates a three-dimensional model in a helicopter aircraft. As a result, there is a problem that it is difficult to register the three-dimensional information of the disaster information on board.

また、三次元情報の登録を地上側で行う場合にも、ヘリコプタと地上の受信局間のデー
タ伝送路は一般に大量のデータ伝送には向いておらず、三次元モデルの生成に必要な静止画を地上ではリアルタイムに入手できないため、地上で三次元情報を登録することもできない、という課題があった。
Also, when registering 3D information on the ground side, the data transmission path between the helicopter and the receiving station on the ground is generally not suitable for large-scale data transmission, and still images necessary for generating a 3D model are required. Cannot be obtained in real time on the ground, and there is a problem that 3D information cannot be registered on the ground.

この発明は、上記のような課題を解決するためになされたものであり、機上で被災地点などの目標物の位置を指定し、地上で三次元モデムを生成して目標物の空間的な位置を特定できる目標物位置特定装置および目標物位置特定方法を得ることを目的とするものである。   The present invention has been made in order to solve the above-described problems. The position of a target such as a disaster spot is designated on the plane, and a three-dimensional modem is generated on the ground to generate a spatial target. An object of the present invention is to obtain a target position specifying apparatus and target position specifying method capable of specifying a position.

この発明の目標物位置特定装置は、空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、送信局には、映像を撮影して出力する映像入力装置と、映像入力装置で撮影した映像を表示する映像表示装置と、空中移動体のフライト情報を取得するフライト情報取得装置と、映像入力装置で撮影した映像から目標物を指定する入力装置と、フライト情報、入力装置により指定した目標物の座標情報および指定した時点の時刻情報を処理する信号処理装置と、映像入力装置で撮影した映像、信号処理装置で処理されたフライト情報、座標情報および時刻情報を受信局に送信する送信装置とを備え、受信局には、送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、受信した時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定する映像解析装置とを備えたものである。   The target position specifying apparatus according to the present invention is a target position specifying apparatus configured by a transmitting station mounted on an aerial moving body and a receiving station installed on the ground. A video input device, a video display device that displays video captured by the video input device, a flight information acquisition device that acquires flight information of an aerial moving object, and an input that specifies a target from the video captured by the video input device Device, flight information, signal processing device that processes the coordinate information of the target specified by the input device and time information at the specified time, video captured by the video input device, flight information processed by the signal processing device, coordinates A transmitting device that transmits information and time information to a receiving station, and the receiving station receives a video, flight information, coordinate information, and time information transmitted by the transmitting device; The received time information to generate a three-dimensional model using historical video and flight information as a key, in which a video analysis system for identifying the three-dimensional position coordinate information of the target received.

この発明の目標物位置特定方法は、空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の空中移動体の位置、姿勢、テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と指定した時点の時刻情報を地上に送信し、地上で受信した撮影映像と時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定するようにしたものである。   The target position specifying method of the present invention shoots a ground image by a television camera mounted on an aerial moving body, transmits the captured image to the ground, and the position, posture of the aerial moving body when the captured image is captured, TV camera direction, tilt, zoom, flight information with time, coordinate information of the target specified in the captured video and time information at the specified time point are transmitted to the ground, and the captured video and time information received on the ground A three-dimensional model is generated using past images and flight information as keys, and the three-dimensional position of the received coordinate information of the target is specified.

この発明によれば、撮影映像を3次元モデルとして処理するのに、空中移動体側と地上側とで分割して行い、計算量の多い処理を地上側で行うことにより、空中移動体側の装置の処理量を減らすことができる。その結果空中移動体側の装置を簡易なものにでき、小型で軽量化できる。さらに、空中移動体側の映像画面中で指定した目標物の位置を、地上側で3次元位置として特定することができるので、あらかじめ地表面の起伏についての高度情報を含む三次元な地勢データが蓄積された電子地図を用意する必要もないし、映像中の任意の点を目標物として指定することもできる。   According to the present invention, when a captured image is processed as a three-dimensional model, it is divided into an aerial moving body side and a ground side, and processing with a large amount of calculation is performed on the ground side. The amount of processing can be reduced. As a result, the device on the aerial moving body side can be simplified, and it can be reduced in size and weight. In addition, the position of the target specified on the video screen on the aerial moving object side can be specified as a three-dimensional position on the ground side, so that three-dimensional terrain data including altitude information on the ground surface undulation is stored in advance. There is no need to prepare an electronic map, and any point in the video can be designated as a target.

実施の形態1.
以下、この発明の実施の形態1における目標物位置特定装置を図に基づいて説明する。図1はこの発明の実施の形態1を示すシステム構成図、図2はこの発明の実施形態1の動作を説明するフロー図である。
図1において、目標物位置特定装置は、ヘリコプタや飛行機などの空中移動体に搭載される送信局100と地上に設置される受信局200とで構成される。なお以下の説明では空中移動体としてヘリコプタを使用した場合について説明する。
Embodiment 1 FIG.
Hereinafter, a target position specifying device according to Embodiment 1 of the present invention will be described with reference to the drawings. FIG. 1 is a system configuration diagram showing Embodiment 1 of the present invention, and FIG. 2 is a flowchart for explaining the operation of Embodiment 1 of the present invention.
In FIG. 1, the target position specifying device includes a transmitting station 100 mounted on an airborne mobile body such as a helicopter or an airplane, and a receiving station 200 installed on the ground. In the following description, a case where a helicopter is used as an aerial moving body will be described.

ヘリコプタに搭載される送信局100は、空中から災害現場などを撮影し、その撮影映像を地上の受信局200に伝送するもので、現場の映像を撮影するテレビカメラとその映像信号を出力する手段からなる映像入力装置111と、撮影時のヘリコプタのフライト情
報を取得するフライト情報取得装置112と、映像やフライト情報を処理する信号処理装置120と、映像入力装置111で撮影した映像を表示する映像表示装置131と、撮影映像から目標物を指定する入力装置132と、映像入力装置111で撮影した映像とフライト情報取得装置112で取得したフライト情報等のデータとを受信局200に送信する送信装置140とからなる。
The transmitting station 100 mounted on the helicopter captures a disaster site or the like from the air and transmits the captured image to the receiving station 200 on the ground, and a television camera for capturing the image of the site and a means for outputting the image signal A video input device 111, a flight information acquisition device 112 that acquires helicopter flight information at the time of shooting, a signal processing device 120 that processes video and flight information, and a video that displays video shot by the video input device 111 A display device 131, an input device 132 for designating a target from the captured video, a video captured by the video input device 111, and data such as flight information acquired by the flight information acquisition device 112 to the receiving station 200 140.

さらに信号処理装置120は、映像入力装置111からの映像とフライト情報取得装置112からのフライト情報を分岐して、それぞれ蓄積、出力する情報管理部121と、入力装置132で指定された映像上での目標物の表示位置をピクセル座標値で取得すると共に指定した時点の時刻情報を取得する目標物情報取得部122とからなる。
なお映像入力装置111のテレビカメラはヘリコプタに搭載したジンバル機構に支持され、フライト情報取得装置112によってカメラの向き、傾き、ズームの情報は勿論のこと、ヘリコプタの位置や姿勢および時刻の情報がフライト情報として取得される。
送信装置140は、情報管理部121で得られたフライト情報と目標物座標取得部122で得られた目標物のピクセル座標値の座標情報および目標物を指定した時点の時刻情報とをデータとして受信局200に送信するものである。
Further, the signal processing device 120 branches the video from the video input device 111 and the flight information from the flight information acquisition device 112, and stores and outputs them on the video specified by the input device 132 and the information management unit 121. And a target information acquisition unit 122 that acquires time information at a specified point in time while acquiring the display position of the target with pixel coordinate values.
The TV camera of the video input device 111 is supported by a gimbal mechanism mounted on the helicopter, and the flight information acquisition device 112 provides information on the position, orientation, and time of the helicopter as well as the orientation, tilt, and zoom information of the camera. Obtained as information.
The transmission device 140 receives, as data, the flight information obtained by the information management unit 121, the coordinate information of the pixel coordinate value of the target obtained by the target coordinate acquisition unit 122, and the time information when the target is designated. The data is transmitted to the station 200.

地上に設置される受信局200は、送信装置140から伝送された映像信号とデータとを受信する受信装置210と、受信装置210で受信した映像とデータとを蓄積する情報管理部221と、情報管理部221に蓄積された映像から目標物の空間的な位置を特定する映像解析装置230とからなる。さらに映像解析装置230は、受信装置210で受信したデータから目標物の空間的な位置を演算する位置特定部231と、目標物の位置の特定に利用する三次元の擬似映像である3次元モデルを生成する3Dモデル生成部232とからなる。   The receiving station 200 installed on the ground includes a receiving device 210 that receives the video signal and data transmitted from the transmitting device 140, an information management unit 221 that stores the video and data received by the receiving device 210, and information The image analysis device 230 identifies the spatial position of the target from the images stored in the management unit 221. Furthermore, the video analysis device 230 includes a position specifying unit 231 that calculates the spatial position of the target from the data received by the receiving device 210, and a three-dimensional model that is a three-dimensional pseudo image used for specifying the position of the target. And a 3D model generation unit 232 for generating.

次に図1に示す目標物位置特定装置における目標物位置特定方法を図2に基づいて説明する。図2に示すフロー図において、初めに、映像とフライト情報の伝送手順について説明する。
図2のステップS21は、送信局100において、映像入力装置111のテレビカメラが災害現場などにおける時々刻々の映像を撮影して信号処理装置120の情報管理部121に出力し、映像を蓄積する。
ステップS22は、フライト情報取得装置112が映像と同期して送信局100を搭載したヘリコプタにおける時々刻々のフライト情報を取得して、信号処理装置120の情報管理部121に出力し、フライト情報を蓄積する。ここでフライト情報とは、ヘリコプタの位置および姿勢、映像入力装置111のカメラの向き、傾き、ズーム、および時刻の情報である。
Next, a target position specifying method in the target position specifying apparatus shown in FIG. 1 will be described with reference to FIG. In the flowchart shown in FIG. 2, the transmission procedure of video and flight information will be described first.
In step S21 of FIG. 2, in the transmitting station 100, the television camera of the video input device 111 captures a momentary video at a disaster site or the like, outputs the video to the information management unit 121 of the signal processing device 120, and stores the video.
In step S22, the flight information acquisition device 112 acquires flight information every moment in the helicopter equipped with the transmission station 100 in synchronization with the video, and outputs the flight information to the information management unit 121 of the signal processing device 120 to accumulate flight information. To do. Here, the flight information is information on the position and orientation of the helicopter, the direction, tilt, zoom, and time of the camera of the video input device 111.

ステップS23は、信号処理装置120の情報管理部121は入力された映像を、映像表示装置131に出力し、映像表示装置131は映像入力装置111が撮影した時々刻々の映像を画面に表示する。
ステップS24は、映像入力装置111が撮影した時々刻々の映像を信号処理装置120の情報管理部121から送信装置140に出力し、送信装置140から受信局200に送信する。また、フライト情報取得装置112が取得したフライト情報を信号処理装置120の情報管理部121から送信装置140に出力し、送信装置140は映像の送信と同期して時々刻々のフライト情報を受信局200に送信する。このようにして送信局100から受信局200に対して、映像信号と、映像信号に同期してフライト情報が送信される。
In step S <b> 23, the information management unit 121 of the signal processing device 120 outputs the input video to the video display device 131, and the video display device 131 displays the momentary video captured by the video input device 111 on the screen.
In step S <b> 24, the momentary video captured by the video input device 111 is output from the information management unit 121 of the signal processing device 120 to the transmission device 140 and transmitted from the transmission device 140 to the reception station 200. Further, the flight information acquired by the flight information acquisition device 112 is output from the information management unit 121 of the signal processing device 120 to the transmission device 140, and the transmission device 140 receives the flight information every moment in synchronization with the transmission of the video. Send to. In this way, the transmission information is transmitted from the transmitting station 100 to the receiving station 200 in synchronization with the video signal and the video signal.

次に、ステップS25は、受信局200において、送信局100の送信装置140から送信された映像とフライト情報などのデータとを受信装置210で受信する。
ステップS26は、受信装置210で受信した映像およびフライト情報を情報管理部221に蓄積する。映像とフライト情報は受信時にも同期がとれており、情報管理部221に蓄積する際には、映像とフライト情報は時刻などの情報をキーに、関連付けて蓄積する。
Next, in step S <b> 25, in the receiving station 200, the receiving device 210 receives the video and data such as flight information transmitted from the transmitting device 140 of the transmitting station 100.
In step S <b> 26, the video and flight information received by the receiving device 210 are accumulated in the information management unit 221. The video and flight information are also synchronized when received. When the video and flight information are stored in the information management unit 221, the video and flight information are stored in association with information such as time.

上記のように映像とフライト情報が同期して伝送され、蓄積されている状態で、機上の映像表示装置131で被災地点を確認した際に、その位置情報を地上で取得するための方法について説明する。
送信局100において、操作者は映像表示装置131に表示された映像中で火災や倒壊などを確認すると、入力装置132によって映像中で火災や倒壊などの建物の目標物を指定することができる。
ステップS27は、入力装置132により映像表示装置131に表示された映像中の画枠内で目標物を指定する。この目標物を指定する方法としてはマウスでクリックする、タッチパネルでタッチする、カメラを操作して目標物が映像中の中心等に来るようにして目標物をロックするなどで行うことができる。
ステップS28は、入力装置132で指定された目標物の表示位置をピクセル座標値で得た座標情報と目標物が指定された時点の時刻情報を信号処理装置120の目標物情報取得部122で取得し蓄積する。
ステップS29は、信号処理装置120の目標物情報取得部122で取得した、目標物の座標情報と目標物が指定された時点の時刻情報を、送信装置140に出力し、送信装置140から受信局200に目標物の座標情報と時刻情報を送信する。
Regarding the method for acquiring the location information on the ground when the disaster spot is confirmed on the on-board video display device 131 in the state where the video and flight information are transmitted and stored in synchronization as described above. explain.
In the transmitting station 100, when the operator confirms a fire or collapse in the video displayed on the video display device 131, the input device 132 can designate a building target such as a fire or collapse in the video.
In step S27, the target is designated within the image frame in the video displayed on the video display device 131 by the input device 132. The target can be specified by clicking with the mouse, touching with the touch panel, or operating the camera to lock the target so that the target is at the center of the video.
In step S28, the target information acquisition unit 122 of the signal processing device 120 acquires the coordinate information obtained by the pixel coordinate values of the display position of the target specified by the input device 132 and the time information when the target is specified. And accumulate.
In step S29, the coordinate information of the target acquired by the target information acquisition unit 122 of the signal processing device 120 and the time information when the target is specified are output to the transmission device 140, and the reception device 140 200 transmits the coordinate information and time information of the target.

次に受信局200で受信した撮影映像とフライト情報および目標物の座標情報と時刻情報に基づき目標物を特定する動作を説明する。
ステップS31は、受信局200において、送信装置140から送信された目標物の座標情報と時刻情報を受信装置210が受信する。
ステップS32は、受信装置210が目標物の座標情報と時刻情報を受信すると、これらの情報を映像解析装置230の位置特定部231に出力し、映像解析装置230の位置特定部231は受信した座標情報と時刻情報を3Dモデル生成部232に出力する。3Dモデル生成部232は、位置特定部231から出力された時刻情報を基に、送信局100で目標物を指定した時刻に対応したフライト情報を情報管理部221から取得する。
Next, an operation for specifying a target based on the captured video, flight information, target coordinate information, and time information received by the receiving station 200 will be described.
In step S31, the receiving device 210 receives the coordinate information and time information of the target transmitted from the transmitting device 140 at the receiving station 200.
In step S32, when the receiving device 210 receives the coordinate information and time information of the target, the information is output to the position specifying unit 231 of the video analyzing device 230, and the position specifying unit 231 of the video analyzing device 230 receives the received coordinates. Information and time information are output to the 3D model generation unit 232. The 3D model generation unit 232 acquires, from the information management unit 221, flight information corresponding to the time at which the target is specified by the transmission station 100 based on the time information output from the position specifying unit 231.

ステップS33は、3Dモデル生成部232が時刻情報をキーとして、情報管理部221に蓄積されている過去の映像から目標物を指定した時刻前後の時刻に対応する静止画を生成する。
ステップS34は、3Dモデル生成部232が、生成した静止画とフライト情報をソースとして、撮影映像の3次元モデルを生成する。こうして3Dモデル生成部232は、目標物を指定した時刻での3次元モデルを生成することになる。
In step S33, the 3D model generation unit 232 generates a still image corresponding to the time before and after the time when the target is designated from the past video stored in the information management unit 221 using the time information as a key.
In step S34, the 3D model generation unit 232 generates a three-dimensional model of the captured video using the generated still image and flight information as sources. In this way, the 3D model generation unit 232 generates a three-dimensional model at the time when the target is specified.

ここで、静止画から3次元モデルを生成するので、静止画中の任意の点は、3次元モデル中の点に一意に対応づけることができる。また、3次元モデルの生成に使用した静止画に関しては、撮影時刻のフライト情報から撮影範囲が地表上のどこと対応するか、を計算することができるので、それを元に作成した3次元モデルも実空間中の位置を計算することができる。つまり、3次元モデル中の点を実空間の位置(緯度、経度、高度)に一意に対応付ける事ができる。
よって、ステップS35は、3Dモデル生成部232が、機上から目標物の位置を画像中のピクセル座標値で指定して送信された座標情報を取得しているから、この座標情報をステップS34で生成した3次元モデルに表示(例えば目標物に×印を付すなど)することで、目標物の位置を特定できる。こうして、地上側で撮影映像の3次元モデルに目標物の空間的な位置情報を取得することができる。
Here, since the three-dimensional model is generated from the still image, an arbitrary point in the still image can be uniquely associated with a point in the three-dimensional model. In addition, regarding the still image used to generate the 3D model, it is possible to calculate where the shooting range corresponds to the ground surface from the flight information at the shooting time, so the 3D model created based on that can be calculated. Can also calculate the position in real space. That is, a point in the three-dimensional model can be uniquely associated with a real space position (latitude, longitude, altitude).
Therefore, in step S35, since the 3D model generation unit 232 acquires coordinate information transmitted from the machine by designating the position of the target with the pixel coordinate value in the image, this coordinate information is obtained in step S34. The position of the target can be specified by displaying the generated three-dimensional model (for example, adding a cross to the target). In this way, the spatial position information of the target can be acquired in the three-dimensional model of the captured image on the ground side.

一般的に3次元処理には、映像からの画像フレームの抽出、画像解析による目標物の特定、画像同士のマッチング演算、3D基礎データとの照らし合わせ、など多くの処理が必要であるが、この発明の実施の形態1では、ヘリコプタ側の送信局では、映像、フライト情報、座標情報、時刻情報を地上の受信局に送り、これらのデータを用いる3次元処理を地上の受信局で行い、計算量の多い処理を地上側で実施しているから、ヘリコプタ側の装置の処理を減らして小型で軽量化できる。さらに、ヘリコプタ側の映像画面中で目標物の位置を任意に指定でき、地上側で3次元モデルの映像に目標物の位置として簡単に特定することができる。   In general, three-dimensional processing requires many processes such as image frame extraction from video, target identification by image analysis, matching operation between images, and comparison with 3D basic data. In the first embodiment of the invention, the transmitting station on the helicopter side sends video, flight information, coordinate information, and time information to the ground receiving station, performs three-dimensional processing using these data at the ground receiving station, Since a large amount of processing is performed on the ground side, the processing on the helicopter side can be reduced to reduce the size and weight. Furthermore, the position of the target can be arbitrarily designated in the video screen on the helicopter side, and can be easily specified as the position of the target on the three-dimensional model image on the ground side.

実施の形態2.
次にこの発明の実施の形態2における目標物位置特定方法について説明する。上記した実施の形態1のステップS24において、信号処理装置120の情報管理部121は、フライト情報取得装置112が取得したフライト情報を蓄積し圧縮を行う。さらに情報管理部121はあらかじめ設定された所定の送信周期、または都度入力されるユーザの送信命令をトリガーとして圧縮したフライト情報を映像とは非同期に送信装置140に出力し、送信装置140から受信局200に目標物の座標情報と時刻情報を送信する。
このようにすることで、データの伝送頻度を下げることができる他、フライト情報を圧縮して送信することができるのでデータ送信装置で伝送されるデータ量を削減できる。
Embodiment 2. FIG.
Next, a target position specifying method according to Embodiment 2 of the present invention will be described. In step S24 of the first embodiment described above, the information management unit 121 of the signal processing device 120 accumulates and compresses the flight information acquired by the flight information acquisition device 112. Further, the information management unit 121 outputs the compressed flight information triggered by a predetermined transmission cycle set in advance or a user's transmission command inputted every time to the transmission device 140 asynchronously with the video, and from the transmission device 140 to the reception station 200 transmits the coordinate information and time information of the target.
In this way, the frequency of data transmission can be reduced, and flight information can be compressed and transmitted, so that the amount of data transmitted by the data transmission device can be reduced.

実施の形態3.
次にこの発明の実施の形態3における目標物位置特定装置について説明する。上記した実施の形態1では、映像とデータを送信装置140で送信する場合について述べたが、実施の形態3の発明では、映像とデータを別々にして送信するようにしたものである。
図3はこの発明の実施の形態3における目標物位置特定装置のシステム構成図である。送信装置140は、映像入力装置111で撮影した映像を受信局200に送信する映像送信装置141と、フライト情報取得装置112で取得したフライト情報等のデータを受信局200に送信するデータ送信装置142とで構成している。また受信装置210は、映像送信装置141から伝送された映像信号を受信する映像受信装置211と、データ送信装置142から伝送されたデータを受信するデータ受信装置212とで構成している。その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
Embodiment 3 FIG.
Next, a target position specifying apparatus according to Embodiment 3 of the present invention will be described. In the first embodiment described above, the case where the video and data are transmitted by the transmission device 140 has been described. However, in the invention of the third embodiment, the video and the data are transmitted separately.
FIG. 3 is a system configuration diagram of the target position specifying device according to Embodiment 3 of the present invention. The transmission device 140 transmits a video captured by the video input device 111 to the reception station 200 and a data transmission device 142 transmits data such as flight information acquired by the flight information acquisition device 112 to the reception station 200. It consists of and. The reception device 210 includes a video reception device 211 that receives a video signal transmitted from the video transmission device 141 and a data reception device 212 that receives data transmitted from the data transmission device 142. The other configurations are the same as those in FIG. 1, and the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.

次にこの発明の実施の形態3における目標物位置特定方法について説明する。上記した実施の形態1のステップS24において、映像入力装置111が撮影した時々刻々の映像を信号処理装置120の情報管理部121から映像送信装置141に出力し、データ送信装置142は映像の送信と同期して時々刻々のフライト情報を受信局200に送信するようにする。
ステップS25においては、送信局100の映像送信装置141から送信された映像を映像受信装置211で受信し、また送信局100のデータ送信装置142から送信されたフライト情報などのデータをデータ受信装置212で受信するようにする。
Next, the target position specifying method in Embodiment 3 of this invention is demonstrated. In step S24 of the first embodiment described above, the momentary video captured by the video input device 111 is output from the information management unit 121 of the signal processing device 120 to the video transmission device 141, and the data transmission device 142 transmits the video. Synchronously, every moment flight information is transmitted to the receiving station 200.
In step S25, the video transmitted from the video transmitting device 141 of the transmitting station 100 is received by the video receiving device 211, and the data such as the flight information transmitted from the data transmitting device 142 of the transmitting station 100 is received by the data receiving device 212. To receive.

ステップS26においては、映像受信装置211で受信した映像およびデータ受信装置212で受信したフライト情報を情報管理部221に蓄積するようにする。ここで、データ受信装置212で受信したフライト情報には送信局100でフライト情報を取得した時刻(=送信局100で映像を撮影した時刻)が含まれているので、時刻情報をキーにして、映像受信装置211で受信した映像およびデータ受信装置212で受信したフライト情報の同期を取ることができる。このようにして、情報管理部221に蓄積する際には、映像とフライト情報は時刻情報をキーに、関連付けて蓄積する。
その他のステップにおける動作は実施の形態1と同じにつき説明を省略する。このよう
にすることで、映像とフライト情報を別々の送信装置で送信することができる。
In step S <b> 26, the video received by the video receiver 211 and the flight information received by the data receiver 212 are accumulated in the information management unit 221. Here, since the flight information received by the data reception device 212 includes the time when the flight information was acquired at the transmission station 100 (= the time when the video was shot at the transmission station 100), the time information is used as a key, The video received by the video receiver 211 and the flight information received by the data receiver 212 can be synchronized. In this way, when accumulating in the information management unit 221, the video and flight information are accumulated in association with time information as a key.
Since the operations in other steps are the same as those in the first embodiment, description thereof is omitted. By doing in this way, a video and flight information can be transmitted with a separate transmitting device.

実施の形態4.
次にこの発明の実施の形態4における目標物位置特定装置を図に基づいて説明する。上記した実施の形態1では、映像とデータを送信装置140で送信する場合について述べたが、実施の形態4の発明では、データを映像信号に多重して送信するようにしたものである。
Embodiment 4 FIG.
Next, a target position specifying device according to Embodiment 4 of the present invention will be described with reference to the drawings. In the first embodiment described above, the case where the video and data are transmitted by the transmission device 140 has been described. However, in the invention of the fourth embodiment, the data is multiplexed with the video signal and transmitted.

図4はこの発明の実施の形態4における目標物位置特定装置のシステム構成図である。送信局100において、送信装置140は、映像入力装置111で撮影した映像信号上にフライト情報、時刻情報、座標情報のデータを多重化するデータ多重装置143と、データ多重装置143でデータが多重された多重化信号を受信局200に送信する映像送信装置141とから構成する。
受信局200において、受信装置210は、映像送信装置141から伝送された映像信号を受信する映像受信装置211と、映像受信装置211で受信した多重化信号から映像信号とデータを分離し、映像信号とフライト情報は情報管理部221に、座標情報と時刻情報のデータは映像解析装置230に出力するデータ取得装置213とから構成する。
その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
FIG. 4 is a system configuration diagram of a target position specifying device according to Embodiment 4 of the present invention. In the transmission station 100, the transmission device 140 multiplexes the data of the flight information, time information, and coordinate information on the video signal captured by the video input device 111, and the data multiplexing device 143 multiplexes the data. And a video transmission device 141 that transmits the multiplexed signal to the receiving station 200.
In the receiving station 200, the receiving device 210 receives the video signal transmitted from the video transmitting device 141, separates the video signal and data from the multiplexed signal received by the video receiving device 211, and receives the video signal. The flight information includes an information management unit 221, and the coordinate information and time information data include a data acquisition device 213 that outputs the data to the video analysis device 230.
The other configurations are the same as those in FIG. 1, and the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.

次に図4の動作について説明する。送信局100においては、信号処理装置120の情報管理部121は、映像入力装置111から入力された映像と、フライト情報取得装置112から入力されたフライト情報とを、それぞれデータ多重装置143に出力する。また入力装置132によって映像中で指定した目標物のピクセル座標値を信号処理装置120の目標物情報取得部122に出力する。信号処理装置120の目標物情報取得部122は、目標物の座標情報と目標物が指定された時点の時刻情報とをデータ多重装置143に出力する。データ多重装置143は映像信号のブランクエリアにバーコードを書き込むなどして、映像信号上にフライト情報、座標情報および時刻情報のデータを多重化し、映像送信装置141に出力する。映像送信装置141は多重化された映像信号とデータ信号を受信局200に送信する。   Next, the operation of FIG. 4 will be described. In the transmitting station 100, the information management unit 121 of the signal processing device 120 outputs the video input from the video input device 111 and the flight information input from the flight information acquisition device 112 to the data multiplexing device 143, respectively. . Further, the pixel coordinate value of the target specified in the video by the input device 132 is output to the target information acquisition unit 122 of the signal processing device 120. The target information acquisition unit 122 of the signal processing device 120 outputs the coordinate information of the target and the time information when the target is specified to the data multiplexer 143. The data multiplexer 143 multiplexes flight information, coordinate information, and time information data on the video signal by writing a barcode in the blank area of the video signal, and outputs the multiplexed data to the video transmitter 141. The video transmission device 141 transmits the multiplexed video signal and data signal to the receiving station 200.

受信局200においては、映像受信装置211は、送信局100から送信された映像信号とデータ信号の多重化信号を受信するとデータ取得装置213に出力する。データ取得装置213は映像信号から、多重されたフライト情報、座標情報および時刻情報のデータを取得して、映像とフライト情報とを情報管理部221に蓄積する。またデータ取得装置213で得られた座標情報および時刻情報を映像解析装置230に出力し、映像解析装置230は送信局100で目標物を指定した時刻に対応した3次元モデルを作成する。この3次元モデルの生成および目標物の位置特定は実施の形態1の図2で説明した方法と同じであるので説明を省略する。   In the receiving station 200, the video receiving apparatus 211 receives the multiplexed signal of the video signal and the data signal transmitted from the transmitting station 100 and outputs them to the data acquisition apparatus 213. The data acquisition device 213 acquires multiplexed flight information, coordinate information, and time information data from the video signal, and stores the video and flight information in the information management unit 221. The coordinate information and time information obtained by the data acquisition device 213 are output to the video analysis device 230, and the video analysis device 230 creates a three-dimensional model corresponding to the time at which the target is designated by the transmission station 100. The generation of the three-dimensional model and the specification of the position of the target are the same as the method described with reference to FIG.

以上により、この実施の形態4の発明はデータ送信装置を設置することなく、送信局100にデータ多重装置143を設けて、フライト情報などのデータを映像信号に多重して送信するようにしたので、データ送信用の伝送路を不要とすることができる。一方、受信局200ではデータ取得装置213で映像とデータを分離し、地上で3次元モデルを生成すると共に、目標物の空間的な位置情報を取得することができる。   As described above, according to the fourth embodiment, a data multiplexing device 143 is provided in the transmitting station 100 without installing a data transmitting device, and data such as flight information is multiplexed and transmitted on a video signal. The transmission path for data transmission can be dispensed with. On the other hand, the receiving station 200 can separate the video and data with the data acquisition device 213, generate a three-dimensional model on the ground, and acquire spatial position information of the target.

実施の形態5.
次にこの発明の実施の形態5における目標物位置特定装置を図に基づいて説明する。
上記した実施の形態3では、映像とデータを別々にして送信する場合について述べたが、実施の形態5の発明はこれらデータをヘリコプタに一般的に備えられている音声通話用
の連絡用無線装置145から送信するようにしたものである。
Embodiment 5 FIG.
Next, a target object specifying apparatus according to Embodiment 5 of the present invention will be described with reference to the drawings.
In the above-described third embodiment, the case where video and data are transmitted separately has been described. However, the invention of the fifth embodiment is a radio communication device for voice calls that is generally provided in a helicopter. 145 to be transmitted.

図5はこの発明の実施の形態5における目標物位置特定装置のシステム構成図で、送信局100の送信装置140は、データ送信装置142の代わりに、信号処理装置120からのフライト情報と座標情報および時刻情報のデータを音声信号に変換する変換装置144と、この変換装置144で変換した音声信号を送信する連絡用無線装置145を設けている。一方、受信局200の受信装置210は、データ受信装置212の代わりに、音声信号を受信する連絡用無線装置215と、この連絡用無線装置215で受信した音声信号をデータに変換する変換装置214とを設けている。その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。   FIG. 5 is a system configuration diagram of the target position specifying device according to the fifth embodiment of the present invention. The transmitting device 140 of the transmitting station 100 is the flight information and coordinate information from the signal processing device 120 instead of the data transmitting device 142. In addition, a conversion device 144 that converts the data of the time information into a voice signal and a communication wireless device 145 that transmits the voice signal converted by the conversion device 144 are provided. On the other hand, the receiving device 210 of the receiving station 200, instead of the data receiving device 212, is a communication wireless device 215 that receives an audio signal, and a conversion device 214 that converts the audio signal received by the communication wireless device 215 into data. And are provided. The other configurations are the same as those in FIG. 1, and the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.

次に図5の動作について説明する。送信局100においては、信号処理装置120の情報管理部121は、フライト情報取得装置112から入力されたフライト情報を変換装置144に出力する。また信号処理装置120の目標物情報取得部122は、入力装置132によって映像中で指定した目標物のピクセル座標値の座標情報と目標物が指定された時点の時刻情報とを変換装置144に出力する。変換装置144はフライト情報および座標情報と時刻情報を音声信号に変換して連絡用無線機145を介して受信局200に送信する。   Next, the operation of FIG. 5 will be described. In the transmission station 100, the information management unit 121 of the signal processing device 120 outputs the flight information input from the flight information acquisition device 112 to the conversion device 144. Further, the target information acquisition unit 122 of the signal processing device 120 outputs the coordinate information of the pixel coordinate value of the target specified in the video by the input device 132 and the time information at the time when the target is specified to the conversion device 144. To do. The conversion device 144 converts the flight information, coordinate information, and time information into audio signals and transmits them to the receiving station 200 via the communication radio 145.

受信局200においては、連絡用無線機215は、受信した音声信号を変換装置214に出力する。変換装置214は音声信号からフライト情報および座標情報と時刻情報を取得し、フライト情報は情報管理部221に蓄積する。一方座標情報と時刻情報は映像解析装置230の位置特定部231に出力し、映像解析装置230は送信局100で目標物を指定した時刻に対応した3次元モデルを作成する。この3次元モデルの生成および目標物の位置特定は実施の形態1の図2で説明した方法と同じであるので説明を省略する。   In the receiving station 200, the communication radio 215 outputs the received audio signal to the conversion device 214. The conversion device 214 acquires flight information, coordinate information, and time information from the audio signal, and the flight information is stored in the information management unit 221. On the other hand, the coordinate information and the time information are output to the position specifying unit 231 of the video analysis device 230, and the video analysis device 230 creates a three-dimensional model corresponding to the time at which the target is designated by the transmitting station 100. The generation of the three-dimensional model and the specification of the position of the target are the same as the method described with reference to FIG.

以上により、この実施の形態5の発明はデータ送信装置を設置することなく、元々備え付けられている連絡用無線装置で、フライト情報および座標情報と時刻情報のデータを送信でき、地上で目標物の空間的な位置情報を取得することができる。そのため送信局100に、データ送信用の送信装置を不要とすることができ、また受信局200にデータ受信用の受信装置を不要とすることができる。   As described above, the invention of the fifth embodiment can transmit the flight information, the coordinate information, and the time information data by the communication wireless device originally provided without installing the data transmission device, and the target object can be transmitted on the ground. Spatial position information can be acquired. Therefore, the transmitting station 100 can eliminate the need for a data transmitting transmission device, and the receiving station 200 can eliminate the need for a data receiving receiving device.

実施の形態6.
次にこの発明の実施の形態6における目標物位置特定装置について説明する。
上記した実施の形態1〜5では、現在の映像と現在のフライト情報を送信する場合について述べたが、実施の形態6の発明は、過去の映像と過去のフライト情報を再生して送信するようにしたものである。
図1の信号処理装置120の情報管理部121は、現在の映像とフライト情報を出力する代わりに、あらかじめ蓄積した映像とフライト情報を再生して、映像表示装置131と送信装置140に出力する。この際に、座標情報および時刻情報は記録時のものを出力する。このようにすることで、例えば、空中と地上との無線の不感帯で撮影した場合にも、蓄積した情報を後で再生して利用することができる。
なお、座標情報および時刻情報は、映像表示装置131で表示される過去の映像に対して入力装置132により指定されたものを送信装置140に出力するようにしてもよい。その際に、時刻は、記録時の時刻でもよいし、再生時の時刻でもよい。映像、フライト情報、目標物を指定した際の時刻のすべてがそろっていればよい。
Embodiment 6 FIG.
Next, a target position specifying apparatus according to Embodiment 6 of the present invention will be described.
In the above first to fifth embodiments, the case where the current video and the current flight information are transmitted has been described. However, the invention of the sixth embodiment reproduces and transmits the past video and the past flight information. It is a thing.
Instead of outputting the current video and flight information, the information management unit 121 of the signal processing device 120 in FIG. 1 reproduces the video and flight information accumulated in advance and outputs them to the video display device 131 and the transmission device 140. At this time, coordinate information and time information are output at the time of recording. In this way, for example, even when shooting is performed in a wireless dead zone between the air and the ground, the stored information can be reproduced and used later.
Note that the coordinate information and time information may be output to the transmission device 140 as specified by the input device 132 with respect to the past video displayed on the video display device 131. At that time, the time may be a recording time or a reproduction time. All of the video, flight information, and the time when the target is specified need to be prepared.

なお以上の実施形態ではヘリコプタに搭載した送信局と地上の受信局との間は無線で直接電波を送受信する場合について説明したが、ヘリコプタに搭載した送信局と地上の受信局との間は通信衛星を介して電波を送受信するようにしてもよい。   In the above embodiment, a case has been described in which radio waves are directly transmitted and received between the transmitting station mounted on the helicopter and the ground receiving station, but communication between the transmitting station mounted on the helicopter and the ground receiving station is performed. You may make it transmit and receive an electromagnetic wave via a satellite.

この発明の実施の形態1および実施の形態2を示すシステム構成図である。It is a system block diagram which shows Embodiment 1 and Embodiment 2 of this invention. この発明の実施の形態1における動作を説明するためのフロー図である。It is a flowchart for demonstrating the operation | movement in Embodiment 1 of this invention. この発明の実施の形態3を示すシステム構成図である。It is a system block diagram which shows Embodiment 3 of this invention. この発明の実施の形態4を示すシステム構成図である。It is a system block diagram which shows Embodiment 4 of this invention. この発明の実施の形態5を示すシステム構成図である。It is a system block diagram which shows Embodiment 5 of this invention.

符号の説明Explanation of symbols

100:送信局 111:映像入力装置
112:フライト情報取得装置 120:信号処理装置
121:情報管理部 122:目標物情報取得部
130:送信装置 131:映像表示装置
132:入力装置 140:送信装置
141:映像送信装置 142:データ送信装置
143:データ多重装置 144:変換装置
145:連絡用無線装置
200:受信局 210:受信装置
211:映像受信装置 212:データ受信装置
213:データ取得装置 214:変換装置
215:連絡用無線装置 221:情報管理部
230:映像解析装置 231:位置特定部
232:3Dモデル生成部。
100: Transmitting station 111: Video input device 112: Flight information acquisition device 120: Signal processing device 121: Information management unit 122: Target object information acquisition unit 130: Transmission device 131: Video display device 132: Input device 140: Transmission device 141 : Video transmission device 142: Data transmission device 143: Data multiplexing device 144: Conversion device 145: Communication wireless device 200: Reception station 210: Reception device 211: Video reception device 212: Data reception device 213: Data acquisition device 214: Conversion Device 215: Communication wireless device 221: Information management unit 230: Video analysis device 231: Position specifying unit 232: 3D model generation unit

Claims (9)

空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、
前記送信局には、映像を撮影して出力する映像入力装置と、
前記映像入力装置で撮影した映像を表示する映像表示装置と、
前記空中移動体のフライト情報を取得するフライト情報取得装置と、
前記映像入力装置で撮影した映像から目標物を指定する入力装置と、
前記フライト情報、前記入力装置により指定した目標物の座標情報および前記指定した時点の時刻情報を処理する信号処理装置と、
前記映像入力装置で撮影した映像、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信する送信装置とを備え、
前記受信局には、前記送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、
受信した時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定する映像解析装置とを備えた目標物位置特定装置。
In the target object specifying device composed of a transmitting station mounted on an airborne mobile body and a receiving station installed on the ground,
In the transmitting station, a video input device that captures and outputs a video, and
A video display device for displaying video captured by the video input device;
A flight information acquisition device for acquiring flight information of the airborne vehicle;
An input device for designating a target from a video photographed by the video input device;
A signal processing device for processing the flight information, the coordinate information of the target designated by the input device, and the time information at the designated time point;
A transmission device that transmits video captured by the video input device, flight information processed by the signal processing device, coordinate information, and time information to the receiving station;
The receiving station includes a receiving device that receives video, flight information, coordinate information, and time information transmitted by the transmitting device;
A target position specifying device comprising: a video analysis device that generates a three-dimensional model using past video and flight information using received time information as a key, and specifies a three-dimensional position of the received coordinate information of the target.
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信するデータ送信装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記データ送信装置で送信されたフライト情報、座標情報および時刻情報を受信するデータ受信装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。
The transmission device transmits video captured by the video input device to the receiving station, and data transmission that transmits flight information, coordinate information, and time information processed by the signal processing device to the receiving station. Having a device,
The receiving device includes: a video receiving device that receives a video transmitted by the video transmitting device; and a data receiving device that receives flight information, coordinate information, and time information transmitted by the data transmitting device. The target object specifying device according to claim 1.
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、映像信号に前記信号処理装置で処理されたフライト情報、座標情報、時刻情報のデータを多重化するデータ多重装置とを有し、このデータ多重装置からの信号を前記映像送信装置から前記受信局に送信するようにし、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記映像受信装置で受信した映像信号から多重データを取得するデータ取得装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。
The transmission device multiplexes the data of the flight information, the coordinate information, and the time information processed by the signal processing device with the video transmission device that transmits the video captured by the video input device to the receiving station. A data multiplexer, and a signal from the data multiplexer is transmitted from the video transmitter to the receiving station,
The said receiving apparatus has a video receiver which receives the image | video transmitted by the said video transmitter, and a data acquisition apparatus which acquires multiple data from the video signal received by the said video receiver. The target object specifying device according to 1.
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を音声信号に変換して受信局に送信する連絡用無線装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記送信局側の連絡用無線装置から送信されるフライト情報、座標情報および時刻情報を受信する連絡用無線装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。
The transmitting device transmits a video captured by the video input device to the receiving station, and converts the flight information, coordinate information, and time information processed by the signal processing device into an audio signal and receives the receiving station. A communication wireless device to transmit to
The receiving device receives a video transmitted by the video transmitting device, and a wireless communication device that receives flight information, coordinate information, and time information transmitted from the wireless communication device on the transmitting station side The target position specifying device according to claim 1, wherein:
前記信号処理装置はフライト情報、座標情報および時刻情報を蓄積して、前記映像とは非同期に前記送信装置に出力する情報管理部を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。   5. The signal processing apparatus according to claim 1, further comprising an information management unit that accumulates flight information, coordinate information, and time information, and outputs the information to the transmission apparatus asynchronously with the video. The target object specifying device according to item 1. 前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理されたフライト情報、座標情報および時刻情報とを蓄積し、蓄積された過去の映像、フライト情報、座標情報および時刻情報を前記送信装置に出力する情報管理部を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。   The signal processing device stores the video captured by the video input device and flight information, coordinate information, and time information processed by the signal processing device, and the stored past video, flight information, coordinate information, and time information. 5. The target position specifying device according to claim 1, further comprising: an information management unit that outputs the information to the transmitting device. 前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理された
フライト情報とを蓄積し、蓄積された過去の映像を前記映像表示装置および前記送信装置に出力し、蓄積された過去のフライト情報を前記送信装置に出力する情報管理部を有し、前記映像表示装置に表示された過去の映像から入力された前記座標情報および時刻情報が前記送信装置により送信されることを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。
The signal processing device accumulates video captured by the video input device and flight information processed by the signal processing device, outputs the accumulated past video to the video display device and the transmission device, and accumulates them. An information management unit that outputs past flight information to the transmission device, and the coordinate information and time information input from the past video displayed on the video display device are transmitted by the transmission device. The target position specifying device according to any one of claims 1 to 4, wherein the target position specifying device is characterized.
前記フライト情報は、前記空中移動体の位置、姿勢および前記映像入力装置のカメラの向き、傾き、ズーム、および時刻の情報であることを特徴とする請求項1乃至請求項7のいずれか1項に記載の目標物位置特定装置。   8. The flight information according to any one of claims 1 to 7, wherein the flight information is information on a position and orientation of the aerial moving body and a camera orientation, tilt, zoom, and time of the video input device. The target object specifying device described in 1. 空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の前記空中移動体の位置、姿勢、前記テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と前記指定した時点の時刻情報を地上に送信し、地上で受信した前記撮影映像と前記時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定するようにした目標物位置特定方法。   Take a video of the ground with a TV camera mounted on an aerial moving body, send the captured video to the ground, and the position and orientation of the aerial moving body when shooting the captured video, the orientation, tilt, and zoom of the TV camera , Flight information having time, coordinate information of the target specified in the captured video, and time information at the specified time point are transmitted to the ground, and the past video is received using the captured video and the time information received on the ground as keys. And a target position specifying method for generating a three-dimensional model using the flight information and specifying the three-dimensional position of the received coordinate information of the target.
JP2008296954A 2008-11-20 2008-11-20 Target position specifying apparatus and target position specifying method Active JP4975003B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008296954A JP4975003B2 (en) 2008-11-20 2008-11-20 Target position specifying apparatus and target position specifying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008296954A JP4975003B2 (en) 2008-11-20 2008-11-20 Target position specifying apparatus and target position specifying method

Publications (2)

Publication Number Publication Date
JP2010122970A JP2010122970A (en) 2010-06-03
JP4975003B2 true JP4975003B2 (en) 2012-07-11

Family

ID=42324245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008296954A Active JP4975003B2 (en) 2008-11-20 2008-11-20 Target position specifying apparatus and target position specifying method

Country Status (1)

Country Link
JP (1) JP4975003B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5517977B2 (en) * 2011-03-11 2014-06-11 三菱電機株式会社 Video shooting position specifying device and video display system using the same
JP2019041340A (en) * 2017-08-28 2019-03-14 株式会社Dapリアライズ Multiple video distribution system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569627B2 (en) * 1998-05-15 2004-09-22 三菱電機株式会社 Image interpretation device
JP3466512B2 (en) * 1999-07-07 2003-11-10 三菱電機株式会社 Remote imaging system, imaging device, and remote imaging method
JP2001292444A (en) * 2000-04-10 2001-10-19 Mitsubishi Electric Corp Image pickup system

Also Published As

Publication number Publication date
JP2010122970A (en) 2010-06-03

Similar Documents

Publication Publication Date Title
JP4424031B2 (en) Image generating apparatus, system, or image composition method.
JP4763610B2 (en) Video on demand method and apparatus
EP3629309A2 (en) Drone real-time interactive communications system
JP2022009671A (en) Monitoring method, monitoring system, and computer program
WO2018205844A1 (en) Video surveillance device, surveillance server, and system
JP6647433B1 (en) Point cloud data communication system, point cloud data transmission device, and point cloud data transmission method
WO2006089279A2 (en) Method and apparatus for capture and distribution of broadband data
US9723190B2 (en) Video surveillance method, device, and system
CN108259827A (en) A kind of method, apparatus for realizing security protection, AR equipment and system
CN110910502A (en) Unmanned aerial vehicle three-dimensional modeling system
CN106034147A (en) Multi-machine aircraft data real -time monitoring system
KR20030070553A (en) Video picture processing method
JP4975003B2 (en) Target position specifying apparatus and target position specifying method
CN109766006B (en) Virtual reality scene display method, device and equipment
KR101473984B1 (en) System for collecting field information using mobile device
CN115002295A (en) Image data synchronization method and device, terminal equipment and storage medium
US20190387153A1 (en) Imaging resolution and transmission system
JP5864371B2 (en) Still image automatic generation system, worker information processing terminal, instructor information processing terminal, and determination device in still image automatic generation system
JP2020144776A (en) Work support system, work support device, and work support method
JP2003316259A (en) Photography image processing method and system thereof
KR102181809B1 (en) Apparatus and method for checking facility
JP2007241085A (en) Photographed image processing system and photographed image processing device, and photographed image display method
KR101323099B1 (en) Device of generating Mosaic images
JPH08191487A (en) Remote control system
KR100231712B1 (en) A design of system architecture and operation for unmanned aero vehicle system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250