JP5561843B1 - Control device, surveying system, program, recording medium, and measuring method - Google Patents

Control device, surveying system, program, recording medium, and measuring method Download PDF

Info

Publication number
JP5561843B1
JP5561843B1 JP2014001179A JP2014001179A JP5561843B1 JP 5561843 B1 JP5561843 B1 JP 5561843B1 JP 2014001179 A JP2014001179 A JP 2014001179A JP 2014001179 A JP2014001179 A JP 2014001179A JP 5561843 B1 JP5561843 B1 JP 5561843B1
Authority
JP
Japan
Prior art keywords
time
shutter
interval
date
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014001179A
Other languages
Japanese (ja)
Other versions
JP2014145762A (en
Inventor
隆春 冨井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amuse Oneself Inc
Original Assignee
Amuse Oneself Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amuse Oneself Inc filed Critical Amuse Oneself Inc
Priority to JP2014001179A priority Critical patent/JP5561843B1/en
Application granted granted Critical
Publication of JP5561843B1 publication Critical patent/JP5561843B1/en
Publication of JP2014145762A publication Critical patent/JP2014145762A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Camera Data Copying Or Recording (AREA)

Abstract

【課題】IMUを搭載することなく、飛行体に搭載する重量を軽減させた状態で測量精度の悪化を抑制することができる測量システム、プログラム及び記録媒体並びに計測方法を提供する。
【解決手段】制御装置は、カメラのシャッターを切るための撮影信号が発せられてから実際にシャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間に関する情報を予め設定しておく記憶部と、記憶部におけるシャッター遅れ時間に関する情報に基づいてシャッター遅れ時間分遡ったタイミングである補正タイミングを取得する補正制御手段と、補正制御手段にて取得した補正タイミングでカメラのシャッターを切るための撮影信号を出力する出力制御手段とを備える。
【選択図】図6
A survey system, a program, a recording medium, and a measurement method capable of suppressing deterioration of survey accuracy in a state where the weight mounted on a flying object is reduced without mounting an IMU.
A control device stores in advance information relating to a shutter delay time indicating a shutter delay from when a shooting signal for releasing a shutter of a camera is issued until the shutter is actually released. And a correction control means for obtaining a correction timing that is a timing retroactive to the shutter delay time based on information on the shutter delay time in the storage unit, and shooting for releasing the camera shutter at the correction timing obtained by the correction control means Output control means for outputting a signal.
[Selection] Figure 6

Description

本発明は、飛行体(特に、無人飛行体、UAV:Unmanned Aerial Vehicle)に搭載したカメラにより地形や構造物等の測量対象を撮影する測量システムに関する。   The present invention relates to a surveying system that photographs a survey target such as terrain or a structure with a camera mounted on a flying object (in particular, an unmanned aerial vehicle, UAV: Unmanned Aerial Vehicle).

飛行体に搭載したカメラにより地形や構造物等の測量対象を撮影する測量システムとして、測量対象を複数の位置及び角度から写真撮影し、該カメラにて撮影した複数枚の写真と該複数枚の写真を撮影した時のカメラの撮影情報(例えば撮影位置や撮影姿勢の情報)とに基づいて3次元座標を取得する写真測量を行う測量システムが従来から知られている。   As a survey system for photographing survey objects such as terrain and structures with a camera mounted on a flying object, the survey object is photographed from a plurality of positions and angles, and a plurality of photographs taken by the camera and the plurality of photographs 2. Description of the Related Art Conventionally, a surveying system that performs photogrammetry for acquiring three-dimensional coordinates based on camera shooting information (for example, shooting position and shooting posture information) when a photograph is taken is known.

写真測量としては、代表的には、2つ以上の異なる位置から撮影した写真に写っている共通の点を識別し、各写真の撮影時のカメラ位置から共通点への視線或いは光線が交わる点に基づいて3次元座標を求めるステレオ解析による写真測量を挙げることができる。   Photogrammetry typically involves identifying common points in photos taken from two or more different locations, and crossing the line of sight or rays from the camera position when taking each photo. Photogrammetry by stereo analysis for obtaining three-dimensional coordinates based on the above can be mentioned.

写真測量における調整計算法としては、一般的に、誤差の二乗和を最小化する最小二乗法を用いて各写真の画像間の対応点を空間上で結ぶことにより写真相互間のつながりをつけて3次元座標を計算するバンドル調整法(いわゆるバンドル計算)が主流となっている。   The adjustment calculation method in photogrammetry generally uses a least-squares method that minimizes the sum of squares of errors to connect the corresponding points between images in the space, thereby establishing a connection between the photos. A bundle adjustment method for calculating three-dimensional coordinates (so-called bundle calculation) has become mainstream.

ところで、写真測量における調整計算を行うにあたっては、撮影情報の値は、相対的な値ではなく、緯度、経度、標高といった絶対的な値が必要であり、また、縮尺の値も必要であることから、従来は、緯度、経度、標高といった絶対的な値を予め測量した対空標識を撮影箇所に設置して測量を行う際に対空標識を撮影することにより、絶対的な撮影情報の値を計算していた。   By the way, when performing adjustment calculation in photogrammetry, the value of shooting information is not a relative value, but an absolute value such as latitude, longitude, and altitude is required, and a scale value is also required. In the past, absolute shooting information values were calculated by shooting anti-air signs when surveying with anti-air signs pre-measured with absolute values such as latitude, longitude, and altitude. Was.

ところが、対空標識を用いて絶対的な撮影位置の値を取得する場合には、測量すべき測量範囲全体に複数箇所の対空標識を均等に(広範囲に)設置する必要があり、それだけ対空標識を設置及び測量するための労力が増大する。   However, when acquiring absolute shooting position values using anti-air signs, it is necessary to install multiple anti-air signs evenly (over a wide area) throughout the surveying range to be surveyed. Increased labor for installation and surveying.

この点に関し、飛行体にGNSS(Global Navigation Satellite System:全地球測位システム)受信機を搭載し、衛星からの電波を受信したGNSS受信機からのGNSS情報(具体的には日付、時刻、緯度、経度、標高といった情報)により、撮影箇所に対空標識を設置することなく、絶対的な撮影情報の値を取得する測量システムが提案されている(例えば特許文献1参照)。   In this regard, the GNSS (Global Navigation Satellite System) receiver is mounted on the aircraft, and the GNSS information (specifically, date, time, latitude, etc.) from the GNSS receiver that has received radio waves from the satellite. There has been proposed a surveying system that acquires the absolute value of photographing information without installing an anti-air sign at a photographing location (information such as longitude and altitude) (see, for example, Patent Document 1).

国際公開第2008/152740号International Publication No. 2008/152740 特開2010−014443号公報JP 2010-014443 A

このようにGNSS受信機を用いて絶対的な撮影情報の値を取得する測量システムでは、カメラで撮影した時点と、GNSS受信機によりGNSS情報を取得した時点とを正確に一致させなければ、絶対的な撮影情報の値を正確に得ることができないために測量誤差を招き、ひいては測量精度が悪化する。   Thus, in a surveying system that acquires the value of absolute shooting information using a GNSS receiver, if the time when shooting is performed with a camera and the time when GNSS information is acquired with a GNSS receiver do not exactly match, absolute Therefore, it is impossible to accurately obtain the value of typical photographing information, resulting in a survey error, and the survey accuracy is deteriorated.

すなわち、一般的なカメラ(例えば市販のカメラ)では、通常、シャッターを切るための撮影信号が発せられてから実際にシャッターが切られるまでの間にタイムラグ(シャッターの遅れを示すシャッター遅れ時間、いわゆるリレーズタイムラグ)が存在する。そうすると、GNSS受信機によりGNSS情報を取得した時の位置や姿勢が実際の撮影位置や撮影姿勢とは異なってしまう。例えば、飛行体が時速25kmで飛行していた場合、1/10秒のシャッター遅れ時間があるとすると、GNSS受信機によりGNSS情報を取得した位置よりも約70cm進んだ位置で撮影したことになってしまう。   That is, in a general camera (for example, a commercially available camera), a time lag (shutter delay time indicating a shutter delay, that is, a so-called shutter delay time from when a shooting signal for releasing a shutter is issued until the shutter is actually released) Relays time lag). If it does so, the position and attitude | position when GNSS information will be acquired with a GNSS receiver will differ from an actual imaging | photography position and imaging | photography attitude | position. For example, if the flying object was flying at a speed of 25 km / h, assuming that there was a shutter delay time of 1/10 second, the image was taken at a position about 70 cm ahead of the position where the GNSS information was acquired by the GNSS receiver. End up.

この点に関し、IMU(Inertial Measurement Unit:総合慣性運動計測装置)を用いて、IMUからのIMU情報(具体的には3軸の加速度及び3軸の角加速度といった情報)により飛行体(すなわちカメラ)の移動距離や姿勢を計測する測量システムが提案されている(例えば特許文献2参照)。かかる測量システムでは、GNSS受信機からのGNSS情報(具体的には日付、時刻、緯度、経度、標高といった情報)を取得した時点のカメラの移動距離や姿勢と、カメラで撮影した時点のIMUからの3軸の加速度及び3軸の角加速度といった情報とに基づいてGNSS情報を取得した時点のカメラの位置や姿勢の値をカメラで撮影した時点の値に補正する。   In this regard, using an IMU (Inertial Measurement Unit), an aircraft (that is, a camera) based on IMU information (specifically, information such as 3-axis acceleration and 3-axis angular acceleration) from the IMU. Surveying systems have been proposed for measuring the movement distance and posture (see, for example, Patent Document 2). In such a survey system, the GNSS information (specifically, information such as date, time, latitude, longitude, and altitude) from the GNSS receiver is obtained from the movement distance and posture of the camera and the IMU at the time of shooting with the camera. Based on the information such as the three-axis acceleration and the three-axis angular acceleration, the position and orientation values of the camera when the GNSS information is acquired are corrected to the values at the time of shooting with the camera.

しかしながら、IMUを用いて、GNSS情報を取得した位置や姿勢の値を補正する測量システムでは、IMUは、非常に高価である上、持ち出し等に一定の制限があり、取り扱いに難点がある。しかも、IMUは、高い測定精度を維持するように構成したものでは、比較的重い(例えば4kg〜20kg程度)ことから、積載可能重量が制限された(例えば積載可能重量2.5kg〜3.5kg程度の)飛行体(例えば無線遠隔操縦される小型無人ヘリコプター)に搭載することはできない。   However, in a surveying system that uses the IMU to correct the position and orientation values from which the GNSS information is acquired, the IMU is very expensive and has certain limitations in taking it out, which is difficult to handle. Moreover, the IMU configured to maintain high measurement accuracy is relatively heavy (for example, about 4 kg to 20 kg), so that the loadable weight is limited (for example, the loadable weight is 2.5 kg to 3.5 kg). Cannot be mounted on a flying vehicle (eg, a small unmanned helicopter operated remotely by radio).

そこで、本発明は、IMUを搭載することなく、飛行体に搭載する重量を軽減させた状態で測量精度の悪化を抑制することができる制御装置、測量システム、プログラム及び記録媒体並びに計測方法を提供することを目的とする。 Therefore, the present invention provides a control device, a surveying system, a program, a recording medium, and a measuring method capable of suppressing deterioration of surveying accuracy in a state where the weight mounted on the flying object is reduced without mounting an IMU. The purpose is to do.

本発明は、前記課題を解決するために、次の第1態様及び第2態様の制御装置を提供する。
(1)第1態様の制御装置
飛行体から測量対象を撮影するカメラ及びGNSS(Global Navigation Satellite System)衛星からの電波を受信するGNSS受信機に対する制御を司る制御装置であって、前記カメラのシャッターを切るための撮影信号が発せられてから実際に前記シャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間に関する情報を予め設定しておく記憶部と、前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記シャッター遅れ時間分遡ったタイミングである補正タイミングを取得する補正制御手段と、前記補正制御手段にて取得した前記補正タイミングで前記カメラのシャッターを切るための撮影信号を出力する出力制御手段とを備え、前記出力制御手段は、予め定めた所定の周期の時間間隔であるシャッター間隔毎に前記撮影信号を出力する一方、前記シャッター間隔毎に前記撮影信号を出力する直前に、前記シャッター間隔とは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔を組み合わせた仮シャッター間隔パターンで前記撮影信号を出力することを特徴とする制御装置
かかる態様の制御装置において、前記出力制御手段は、予め定めた所定の周期の時間間隔であるシャッター間隔毎に前記撮影信号を出力する一方、前記シャッター間隔毎の前記撮影信号を出力した直後に、前記シャッター間隔とは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔を組み合わせた仮シャッター間隔パターンで前記撮影信号を出力する態様を例示できる。
(2)第2態様の制御装置
飛行体から測量対象を撮影するカメラ及びGNSS(Global Navigation Satellite System)衛星からの電波を受信するGNSS受信機に対する制御を司る制御装置であって、前記カメラのシャッターを切るための撮影信号が発せられてから実際に前記シャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間に関する情報を予め設定しておく記憶部と、前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記シャッター遅れ時間分遡ったタイミングである補正タイミングを取得する補正制御手段と、前記補正制御手段にて取得した前記補正タイミングで前記カメラのシャッターを切るための撮影信号を出力する出力制御手段とを備え、前記出力制御手段は、予め定めた所定の周期の時間間隔であるシャッター間隔毎に前記撮影信号を出力する一方、前記シャッター間隔毎の前記撮影信号を出力した直後に、前記シャッター間隔とは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔を組み合わせた仮シャッター間隔パターンで前記撮影信号を出力することを特徴とする制御装置。
In order to solve the above-described problems, the present invention provides a control device according to the following first aspect and second aspect.
(1) A control equipment that controls for the control device camera and GNSS shoot surveying object from aircraft (Global Navigation Satellite System) GNSS receiver for receiving radio waves from the satellite of the first aspect, before Symbol camera A storage unit that preliminarily sets information on a shutter delay time that indicates a delay of the shutter from when a shooting signal for releasing the shutter is issued until the shutter is actually released, and the shutter in the storage unit A correction control means for acquiring a correction timing that is a timing that is traced back by the shutter delay time based on information on the delay time, and a photographing signal for releasing the shutter of the camera at the correction timing acquired by the correction control means. Output control means for outputting, the output control means for a predetermined period of time While outputting the shooting signal at each shutter interval, which is an interval, immediately before outputting the shooting signal at each shutter interval, a plurality of temporary shutter intervals that are different from the shutter interval and that are different from each other are provided. control device according to claim Rukoto the temporary shutter interval pattern that combines to output the imaging signal.
In the control device according to this aspect, the output control unit outputs the imaging signal for each shutter interval that is a predetermined predetermined time interval, and immediately after outputting the imaging signal for each shutter interval. A mode in which the imaging signal is output in a temporary shutter interval pattern that is a combination of a plurality of temporary shutter intervals that are different from the shutter interval and that are different time intervals can be exemplified.
(2) Control device of the second aspect
A control device for controlling a camera for photographing a survey object from a flying object and a GNSS receiver for receiving radio waves from a GNSS (Global Navigation Satellite System) satellite, and a photographing signal for releasing the shutter of the camera is issued. A storage unit that preliminarily sets information on a shutter delay time that indicates a delay of the shutter from when the shutter is actually released, and the shutter delay time based on the information about the shutter delay time in the storage unit A correction control means for obtaining a correction timing that is a timing that is traced back; and an output control means for outputting a photographing signal for releasing the shutter of the camera at the correction timing obtained by the correction control means. The control means is provided for each shutter interval which is a time interval of a predetermined cycle. A temporary shutter interval pattern in which a plurality of temporary shutter intervals that are different from the shutter interval and are different from each other are combined immediately after the shooting signal is output to And outputting the imaging signal.

前記カメラとしては、前記撮影信号が入力されることで、シャッターを切ることができるカメラであれば、何れのものでもよく、一般的なデジタルカメラ(具体的には市販のデジタルカメラ)を用いることができる。   The camera may be any camera that can release the shutter when the shooting signal is input, and a general digital camera (specifically, a commercially available digital camera) is used. Can do.

また、GNSS(Global Navigation Satellite System:全地球測位システム)としては、GPS:Global Positioning System(米国)、GLONASS:GLObal'naya NAvigatsionnaya Sputnikovaya Sistema(ロシア)、ガリレオ:Galileo(欧州)、コンパス:Compass(中国)、QZSS:Quasi-Zenith Satellite System(日本)等を例示できる。   Global Navigation Satellite System (GNSS) includes GPS: Global Positioning System (US), GLONASS: GLObal'naya NAvigatsionnaya Sputnikovaya Sistema (Russia), Galileo: Galileo (Europe), Compass: Compass (China) ), QZSS: Quasi-Zenith Satellite System (Japan).

本発明において、前記補正制御手段は、前記GNSS受信機によりGNSS情報を取得した時の前記GNSS情報の日時であるGNSS情報取得日時に対して、前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記補正タイミングを取得する態様を例示できる。   In the present invention, the correction control means is based on information on the shutter delay time in the storage unit with respect to a GNSS information acquisition date and time that is a date and time of the GNSS information when the GNSS information is acquired by the GNSS receiver. The aspect which acquires the said correction timing can be illustrated.

本発明において、前記複数の仮シャッター間隔は、予め定めた所定の時間間隔である第1仮シャッター間隔と、前記第1仮シャッター間隔とは異なる予め定めた所定の時間間隔である第2仮シャッター間隔とを含み、前記出力制御手段は、前記仮シャッター間隔パターンとして、最初に、前記第1仮シャッター間隔で予め定めた所定の回数である第1仮シャッター回数分だけ前記撮影信号を出力し、次に、前記第2仮シャッター間隔で予め定めた所定の回数である第2仮シャッター回数分だけ前記撮影信号を出力し、次に、前記第1仮シャッター間隔で前記第1仮シャッター回数分だけ前記撮影信号を出力する態様を例示できる。   In the present invention, the plurality of temporary shutter intervals are a first temporary shutter interval that is a predetermined predetermined time interval and a second temporary shutter that is a predetermined predetermined time interval different from the first temporary shutter interval. The output control means outputs, as the temporary shutter interval pattern, first, the shooting signal for the first temporary shutter number that is a predetermined number of times predetermined in the first temporary shutter interval, Next, the photographing signal is output for the second temporary shutter number that is a predetermined number of times that is predetermined in the second temporary shutter interval, and then for the first temporary shutter number for the first temporary shutter interval. An example of outputting the photographing signal can be exemplified.

また、本発明は、前記本発明に係る制御装置を備えた測量システムであって、前記補正制御手段は、前記GNSS受信機によりGNSS情報を取得した時の前記GNSS情報の日時であるGNSS情報取得日時に対して、前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記補正タイミングを取得し、前記カメラは、クロック機能を有し、かつ、撮影した写真の画像ファイルデータと前記クロック機能により該写真を撮影した時の日時である撮影日時とを対応付けて記録する構成とされており、前記カメラにて写真を撮影した時の前記撮影日時の情報に基づいて該写真の画像ファイルデータを前記撮影日時の順に並び替える並び替えステップと、前記並び替えステップにて前記撮影日時の順に並び替えられた写真の画像ファイルデータにおいて隣り合う画像ファイルデータの時間間隔である撮影間隔を算出する撮影間隔算出ステップと、前記撮影間隔算出ステップにて算出した前記撮影間隔に基づいて前記カメラにて撮影した写真の画像ファイルデータのうち前記仮シャッター間隔パターンが何処にあるかを検出する写真側間隔パターン検出ステップと、前記写真側間隔パターン検出ステップにて検出した前記仮シャッター間隔パターンの位置に基づいて前記カメラにて撮影した写真の画像ファイルデータのうち、前記測量対象の撮影を開始したときの先頭の画像ファイルデータを特定する先頭写真特定ステップと、前記GNSS受信機により取得した前記GNSS情報取得日時において隣り合うGNSS情報取得日時の時間間隔であるGNSS情報取得間隔を算出するGNSS情報取得間隔算出ステップと、前記GNSS情報取得間隔算出ステップにて算出した前記GNSS情報取得間隔に基づいて前記GNSS受信機により取得した前記GNSS情報取得日時のうち前記仮シャッター間隔パターンが何処にあるかを検出するGNSS側間隔パターン検出ステップと、前記GNSS側間隔パターン検出ステップにて検出した前記仮シャッター間隔パターンの位置に基づいて前記GNSS受信機により取得した前記GNSS情報取得日時のうち前記測量対象の撮影を開始したときの先頭のGNSS情報取得日時である測量開始日時を特定する先頭GNSS情報取得日時特定ステップと、前記並び替えステップにて前記撮影日時の順に並び替えられた写真の画像ファイルデータにおいて前記先頭写真特定ステップにて特定した前記先頭の写真の画像ファイルデータを基準に該先頭の写真以降の画像ファイルデータに対して、前記先頭GNSS情報取得日時特定ステップにて特定した前記測量開始日時から前記所定の周期毎の前記GNSS情報取得日時における前記GNSS情報を順に対応付ける対応付けステップとを含む各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を備えていることを特徴とする測量システムも提供する。 Moreover, this invention is a surveying system provided with the control apparatus which concerns on the said invention, Comprising: The said correction | amendment control means acquires the GNSS information which is the date and time of the said GNSS information when the GNSS information is acquired with the said GNSS receiver. The correction timing is acquired based on information on the shutter delay time in the storage unit with respect to the date and time, the camera has a clock function, and the image file data of the photographed photo and the clock function It is configured to record in association with the shooting date and time that is the date and time when the photo was taken, and based on the information of the shooting date and time when the photo was taken with the camera, the image file data of the photo is A rearrangement step of rearranging in order of shooting date and time, and an image frame of the photos rearranged in order of the shooting date and time in the rearrangement step. A shooting interval calculation step for calculating a shooting interval which is a time interval between adjacent image file data in the image data, and image file data of a photograph taken by the camera based on the shooting interval calculated in the shooting interval calculation step A photograph-side interval pattern detection step for detecting where the temporary shutter interval pattern is located, and a picture taken by the camera based on the position of the temporary shutter interval pattern detected in the photograph-side interval pattern detection step. Among the photo image file data, a first photo specifying step for specifying the first image file data when the shooting of the survey target is started, and acquisition of GNSS information adjacent at the GNSS information acquisition date and time acquired by the GNSS receiver GNSS information acquisition interval that is the time interval of date and time Where is the temporary shutter interval pattern out of the GNSS information acquisition date and time acquired by the GNSS receiver based on the GNSS information acquisition interval calculation step to be issued and the GNSS information acquisition interval calculated in the GNSS information acquisition interval calculation step Of the GNSS information acquisition date acquired by the GNSS receiver based on the position of the temporary shutter interval pattern detected in the GNSS side interval pattern detection step and the GNSS side interval pattern detection step. First GNSS information acquisition date and time specifying step for specifying a survey start date and time, which is the first GNSS information acquisition date and time when shooting of a survey target is started, and images of photos rearranged in the order of the shooting date and time in the rearrangement step In the file data, specify the first photo Based on the image file data of the first photo specified in step, the predetermined period from the survey start date / time specified in the first GNSS information acquisition date / time specifying step for image file data after the first photo surveying system, wherein the GNSS information associating the GNSS information in the acquired date sequentially associating step and Bei Eteiru a computer-readable recording medium recording a program for executing the steps on a computer that contains a per also it provides.

本発明において、前記各ステップは、前記先頭写真特定ステップにて特定した前記先頭の画像ファイルデータの位置と前記撮影間隔算出ステップにて算出した前記撮影間隔と前記シャッター間隔とに基づいて前記測量対象の撮影を終了したときの最終の画像ファイルデータを特定する最終写真特定ステップと、前記先頭写真特定ステップにて特定した前記先頭の写真の画像ファイルデータから前記最終写真特定ステップにて特定した前記最終の写真の画像ファイルデータまでの画像ファイルデータの数である写真枚数をカウントする写真枚数カウントステップと、前記先頭GNSS情報取得日時特定ステップにて特定した前記測量開始日時の位置と前記GNSS情報取得間隔算出ステップにて算出した前記GNSS情報取得間隔と前記シャッター間隔とに基づいて前記測量対象の撮影を終了したときの最終のGNSS情報取得日時である測量終了日時を特定する最終GNSS情報取得日時特定ステップと、前記先頭GNSS情報取得日時特定ステップにて特定した前記測量開始日時と前記最終GNSS情報取得日時特定ステップにて特定した前記測量終了日時とに基づいて前記測量開始日時から前記測量終了日時までの経過時間を算出する経過時間算出ステップと、前記経過時間算出ステップにて算出した前記経過時間と前記所定の周期とに基づいて測量により撮影すべき撮影枚数を算出する撮影枚数算出ステップと、前記写真枚数カウントステップにてカウントした前記写真枚数と前記撮影枚数算出ステップにて算出した前記撮影枚数とが一致するか否かを照合する照合ステップとをさらに含む態様を例示できる。   In the present invention, each of the steps is the survey target based on the position of the head image file data specified in the head photo specifying step, the shooting interval and the shutter interval calculated in the shooting interval calculation step. A final photo specifying step for specifying the final image file data when the shooting is finished, and the final photo specifying step in the final photo specifying step from the image file data of the leading photo specified in the leading photo specifying step A number-of-photos counting step for counting the number of image files that is the number of image file data up to the image file data of the photo; the position of the surveying start date and time specified in the start GNSS information acquisition date and time specifying step; The GNSS information acquisition interval calculated in the calculation step and the shutter. -The last GNSS information acquisition date and time specifying step for specifying the surveying end date and time, which is the final GNSS information acquisition date and time when shooting of the survey target is completed based on the interval, and the first GNSS information acquisition date and time specifying step An elapsed time calculating step of calculating an elapsed time from the surveying start date and time to the surveying end date and time based on the surveying start date and time and the surveying end date and time specified in the final GNSS information acquisition date and time specifying step; Based on the elapsed time calculated in the time calculation step and the predetermined period, the number-of-photographing step for calculating the number of images to be photographed by surveying, the number of photographs counted in the number-of-photograph counting step, and the photographing Collation step for collating whether or not the number of photographed images calculated in the number-of-sheets calculating step matches Can be exemplified further comprises manner a.

本発明において、前記各ステップは、前記照合ステップにて前記写真枚数と前記撮影枚数とが一致しない場合において、前記撮影間隔算出ステップにて算出した前記撮影間隔が前記シャッター間隔と一致しない箇所である抜け箇所を検出する抜け箇所検出ステップをさらに含み、前記対応付けステップは、前記先頭の写真以降の画像ファイルデータと前記GNSS情報取得日時における前記GNSS情報とを、前記抜け箇所検出ステップにて検出した前記抜け箇所を飛ばして、対応付ける態様を例示できる。   In the present invention, each step is a location where the shooting interval calculated in the shooting interval calculation step does not match the shutter interval when the number of photographs and the number of shots do not match in the collating step. A missing part detecting step for detecting a missing part is further included, and the associating step detects the image file data after the first photograph and the GNSS information at the date and time when the GNSS information was acquired in the missing part detecting step. A mode in which the missing portion is skipped and associated can be exemplified.

本発明において、前記カメラは、撮影した写真の画像ファイルデータを、撮影日時、緯度、経度及び標高を含む予め定めた所定の情報を埋め込み可能に規格化された画像ファイルデータフォーマットの形式に保存する構成とされており、前記対応付けステップは、前記画像ファイルデータフォーマットの前記所定の情報における前記撮影日時、前記緯度、前記経度及び前記標高を、前記GNSS情報における撮影日時、緯度、経度及び標高にそれぞれ置き換える態様を例示できる。   In the present invention, the camera stores the image file data of a photographed photograph in a format of an image file data format standardized so that predetermined predetermined information including photographing date / time, latitude, longitude, and altitude can be embedded. In the association step, the shooting date / time, the latitude, the longitude, and the altitude in the predetermined information of the image file data format are converted into the shooting date / time, the latitude, the longitude, and the altitude in the GNSS information. The aspect which each replaces can be illustrated.

本発明において、前記飛行体は、無線遠隔操縦される小型無人ヘリコプターであり、前記カメラと前記GNSS受信機と前記制御装置とを搭載る態様を例示できる。 In the present invention, before Symbol aircraft, Ri small unmanned helicopter der wirelessly remotely piloted, may be exemplified embodiments you mounted and the control device and the camera and the GNSS receiver.

本発明において、前記飛行体に搭載されて該飛行体からレーザ光を測量対象に照射して該測量対象からの反射波を受信するレーザ発信受信装置をさらに備えている態様を例示できる。   In the present invention, there can be exemplified an aspect further including a laser transmission / reception device mounted on the flying object and receiving a reflected wave from the surveying object by irradiating the surveying object with a laser beam from the flying object.

本発明において、前記飛行体に搭載されて該飛行体の加速度を計測する加速度計と、前記飛行体に搭載されて該飛行体の角加速度を計測する角加速度計とをさらに備えている態様を例示できる。   In the present invention, an aspect further comprising: an accelerometer mounted on the flying object for measuring acceleration of the flying object; and an angular accelerometer mounted on the flying object for measuring angular acceleration of the flying object. It can be illustrated.

また、本発明は、前記本発明に係る測量システムにおける前記各ステップをコンピュータに実行させるためのプログラムも提供する。   The present invention also provides a program for causing a computer to execute each step in the surveying system according to the present invention.

また、本発明は、前記本発明に係る測量システムにおける前記各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供する。   The present invention also provides a computer-readable recording medium on which a program for causing a computer to execute each step in the surveying system according to the present invention is recorded.

また、本発明は、飛行体から測量対象を撮影するカメラ及びGNSS衛星からの電波を受信するGNSS受信機に対する制御を司る制御装置を備えた測量システムにおいて、前記カメラのシャッターを切るための撮影信号が発せられてから実際に前記シャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間を計測する計測方法であって、タイマー機能によるタイマー時間を表示する表示部を有するタイマー装置を用い、前記タイマー機能によるタイマー時間に同期したタイミングで前記撮影信号を前記カメラに出力して前記カメラで前記表示部を撮影し、撮影した写真における前記表示部に表示されている前記タイマー時間に基づいて前記シャッター遅れ時間を計測することを特徴とする計測方法も提供する。   Further, the present invention provides a photographing signal for releasing a shutter of the camera in a surveying system including a camera for photographing a survey object from a flying object and a control device for controlling a GNSS receiver for receiving radio waves from a GNSS satellite. Is a measurement method for measuring the shutter delay time indicating the delay of the shutter from when the shutter is actually released, using a timer device having a display unit that displays a timer time by a timer function, The shooting signal is output to the camera at a timing synchronized with a timer time by the timer function to shoot the display unit with the camera, and based on the timer time displayed on the display unit in the photographed photograph A measurement method characterized by measuring a shutter delay time is also provided.

本発明によると、IMUを搭載することなく、飛行体に搭載する重量を軽減させた状態で測量精度の悪化を抑制することができる。   According to the present invention, it is possible to suppress deterioration in surveying accuracy in a state where the weight mounted on the flying object is reduced without mounting the IMU.

本発明の実施の形態に係る測量システムの概略構成を模式的に示す概略斜視図である。1 is a schematic perspective view schematically showing a schematic configuration of a surveying system according to an embodiment of the present invention. 図1に示す測量システムにおける制御装置を中心に示す概略ブロック図である。It is a schematic block diagram which mainly shows the control apparatus in the surveying system shown in FIG. カメラを保持部材に保持した姿勢安定化装置を模式的に示す概略構成図であって、(a)は、その正面図であり、(b)は、その側面図である。It is a schematic block diagram which shows typically the attitude | position stabilization apparatus hold | maintained to the holding member, Comprising: (a) is the front view, (b) is the side view. カメラを保持部材に保持した姿勢安定化装置を模式的に示す概略構成図であって、(a)は、機体が左右傾いた状態での機体と姿勢安定化装置との位置関係を示す正面図であり、(b)は、機体が前後傾いた状態での機体と姿勢安定化装置との位置関係を示す側面図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a schematic block diagram which shows typically the attitude | position stabilization apparatus which hold | maintained the camera at the holding member, Comprising: (a) is a front view which shows the positional relationship of the body and attitude | position stabilization apparatus in the state which the body tilted right and left (B) is a side view showing the positional relationship between the aircraft and the posture stabilization device when the aircraft is tilted back and forth. 撮影信号が発せられてから実際にカメラのシャッターが切られるまでの間のシャッター遅れ時間を説明するためのタイミングチャートであって、(a)は、撮影信号を発したタイミングを示す図であり、(b)は、(a)に示す撮影信号により実際にシャッターが切られたタイミングを示す図である。FIG. 6 is a timing chart for explaining a shutter delay time from when a shooting signal is issued to when the shutter of the camera is actually released, wherein (a) is a diagram illustrating timing when the shooting signal is issued; (B) is a figure which shows the timing when the shutter was actually cut by the imaging | photography signal shown to (a). シャッター遅れ時間の補正制御を説明するためのタイミングチャートであって、(a)は、制御装置におけるGPS受信機によりGPS情報を取得したタイミングを示す図であり、(b)は、補正後の撮影信号を発したタイミングを示す図であり、(c)は、(b)に示す補正後の撮影信号により実際にシャッターが切られたタイミングを示す図である。It is a timing chart for demonstrating correction | amendment control of shutter delay time, Comprising: (a) is a figure which shows the timing which acquired GPS information with the GPS receiver in a control apparatus, (b) is imaging | photography after correction | amendment. It is a figure which shows the timing which issued the signal, (c) is a figure which shows the timing when the shutter was actually cut | disconnected by the imaging | photography signal after correction | amendment shown in (b). 測量システムに用いるシャッター遅れ時間を計測するために用いたタイマー装置をカメラで撮影している状態を示す斜視図である。It is a perspective view which shows the state which is image | photographing with the camera the timer apparatus used in order to measure the shutter delay time used for a surveying system. シャッター間隔毎に撮影信号を出力する直前に、仮撮影を行うために仮シャッター間隔パターンで撮影信号を出力する一例を示すタイミングチャートであって、(a)は、所定の周期でGPS情報を取得したタイミングを示す図であり、(b)は、撮影信号を発したタイミングを示す図であり、(c)は、(b)に示す撮影信号により実際にシャッターが切られたタイミングを示す図である。It is a timing chart showing an example of outputting a shooting signal with a temporary shutter interval pattern to perform temporary shooting immediately before outputting a shooting signal for each shutter interval, and (a) acquires GPS information at a predetermined cycle. (B) is a diagram showing the timing at which a shooting signal is issued, and (c) is a diagram showing the timing at which the shutter is actually released by the shooting signal shown in (b). is there. カメラで撮影した写真の画像ファイルデータのデータ構造を概略的に示す模式図である。It is a schematic diagram which shows roughly the data structure of the image file data of the photograph image | photographed with the camera. GPS受信機により取得したGPS情報のデータ構造を概略的に示す模式図である。It is a schematic diagram which shows roughly the data structure of the GPS information acquired by the GPS receiver. プログラムを実行させるコンピュータを示す概略構成図であって、(a)は、コンピュータの概略斜視図であり、(b)は、コンピュータのシステム構成を示すブロック図である。It is a schematic block diagram which shows the computer which performs a program, Comprising: (a) is a schematic perspective view of a computer, (b) is a block diagram which shows the system configuration | structure of a computer. 図11に示すコンピュータにおける制御部の制御構成を示す概略構成図である。It is a schematic block diagram which shows the control structure of the control part in the computer shown in FIG. 写真の画像ファイルデータとGPS情報とを対応付ける対応付け処理の一例を示すフローチャートである。It is a flowchart which shows an example of the matching process which matches image file data of a photograph, and GPS information. 図13に示す対応付け処理を説明するための説明図であって、写真の画像ファイルデータを示す図である。It is explanatory drawing for demonstrating the matching process shown in FIG. 13, Comprising: It is a figure which shows the image file data of a photograph. 図13に示す対応付け処理を説明するための説明図であって、GPS情報を示す図である。It is explanatory drawing for demonstrating the matching process shown in FIG. 13, Comprising: It is a figure which shows GPS information. 図13に示す対応付け処理を行った画像ファイルデータのデータ構造を示す模式図である。It is a schematic diagram which shows the data structure of the image file data which performed the matching process shown in FIG. 図13に示す対応付け処理において抜け防止処理の一例を実施するためのフローチャートである。It is a flowchart for implementing an example of a missing prevention process in the association process shown in FIG. 図17に示す抜け防止処理を説明するための説明図であって、(a)は、抜けのある画像ファイルデータを示す図であり、(b)は、GPS情報を示す図である。FIG. 18 is an explanatory diagram for explaining the omission prevention processing shown in FIG. 17, (a) is a diagram showing image file data with omission, and (b) is a diagram showing GPS information. 図17に示す抜け防止処理を行った画像ファイルデータのデータ構造を示す模式図である。It is a schematic diagram which shows the data structure of the image file data which performed the omission prevention process shown in FIG. 飛行体にレーザ発信受信装置、加速度計及び角加速度計をさらに搭載した測量システムにおける制御装置を中心に示すシステム構成を示す概略ブロック図である。It is a schematic block diagram which shows the system configuration | structure mainly showing the control apparatus in the surveying system which further mounted the laser transmission / reception apparatus, the accelerometer, and the angular accelerometer on the flying body.

以下、本発明に係る実施の形態について、GNSS(全地球測位システム)として、GPSを用いた場合を例にとって、図面を参照しながら説明する。   Hereinafter, an embodiment according to the present invention will be described with reference to the drawings, taking as an example a case where GPS is used as a GNSS (Global Positioning System).

図1は、本発明の実施の形態に係る測量システム100の概略構成を模式的に示す概略斜視図である。図2は、図1に示す測量システム100における制御装置40を中心に示す概略ブロック図である。   FIG. 1 is a schematic perspective view schematically showing a schematic configuration of a surveying system 100 according to an embodiment of the present invention. FIG. 2 is a schematic block diagram mainly showing the control device 40 in the surveying system 100 shown in FIG.

[測量システムの全体構成]
図1に示すように、測量システム100は、飛行体10と、カメラ20と、GPS受信機30と、制御装置40とを備えている。なお、飛行体10、カメラ20及びGPS受信機30は、測量システム100に備えられていなくてもよく、市販のものを用いることができる。
[Overall configuration of surveying system]
As shown in FIG. 1, the surveying system 100 includes a flying object 10, a camera 20, a GPS receiver 30, and a control device 40. Note that the flying object 10, the camera 20, and the GPS receiver 30 may not be provided in the surveying system 100, and commercially available ones can be used.

飛行体10は、本実施の形態では、無人飛行体(UAV)とされており、ここでは、無線遠隔操縦される小型無人ヘリコプターとさている。この小型無人ヘリコプターとしては、ローターの数が1つのものであってもよいし、複数のローターが機体11の周りに均等に配設されたマルチコプターであってもよい。マルチコプターとしては、4つのローターを有するクアッドコプターや6つのローターを有するヘキサコプター或いは8つのローターを有するオプトコプターを例示できる。図1に示す例では、飛行体10は、8つのローターを有するオプトコプターとされている。   In the present embodiment, the flying object 10 is an unmanned aerial vehicle (UAV), and here, it is a small unmanned helicopter that is radio-controlled. As this small unmanned helicopter, the number of rotors may be one, or a multicopter in which a plurality of rotors are evenly arranged around the body 11 may be used. Examples of the multicopter include a quadcopter having four rotors, a hexacopter having six rotors, and an optocopter having eight rotors. In the example shown in FIG. 1, the flying object 10 is an optocopter having eight rotors.

飛行体10は、積載可能重量が制限された(具体的には積載可能重量2.5kg〜3.5kg程度の)飛行体とされており、高い測定精度を維持するように構成された比較的重い(具体的には4kg〜20kg程度の)IMUを搭載することができないものである。   The flying object 10 is a flying object with a limited loadable weight (specifically, a loadable weight of about 2.5 kg to 3.5 kg), and is relatively configured to maintain high measurement accuracy. A heavy (specifically, about 4 kg to 20 kg) IMU cannot be mounted.

そして、飛行体10には、カメラ20とGPS受信機30と制御装置40とが搭載されている。なお、飛行体10に搭載する重量は、カメラ20、GPS受信機30及び制御装置40、並びに、後述するレーザ発信受信装置50、3軸の加速度計60及び3軸の角加速度計70(図20参照)を加えても、飛行体10の積載可能重量(例えば2.5kg)に満たない重量とされている。   The flying object 10 is equipped with a camera 20, a GPS receiver 30, and a control device 40. It should be noted that the weight mounted on the flying object 10 includes the camera 20, the GPS receiver 30 and the control device 40, the laser transmission / reception device 50 described later, the triaxial accelerometer 60, and the triaxial angular accelerometer 70 (FIG. 20). Even if (see) is added, the weight is less than the loadable weight (for example, 2.5 kg) of the flying object 10.

カメラ20は、飛行体10に搭載されて飛行体10から地形や構造物等の測量対象200(図1参照)を撮影するものである。   The camera 20 is mounted on the flying object 10 and photographs the survey target 200 (see FIG. 1) such as terrain and structures from the flying object 10.

本実施の形態では、カメラ20は、一般に市販されているデジタルカメラとされている。カメラ20は、外部からの撮影信号によりシャッターを切るリモートレリーズ用の端子21(図2参照)を有し、リモートレリーズ用の端子21が制御装置40の出力系に電気的に接続されようになっている。   In the present embodiment, the camera 20 is a commercially available digital camera. The camera 20 has a remote release terminal 21 (see FIG. 2) for releasing a shutter by an external photographing signal, and the remote release terminal 21 is electrically connected to the output system of the control device 40. ing.

また、カメラ20は、クロック機能を有し、かつ、撮影した写真の画像ファイルデータとクロック機能により該写真を撮影した時の日時(日付及び時刻)である撮影日時とを対応付けて記録する構成とされている。   The camera 20 has a clock function, and records image file data of a photographed photograph in association with a photographing date and time (date and time) when the photograph is photographed by the clock function. It is said that.

詳しくは、カメラ20は、撮影した写真の画像ファイルデータを、撮影日時、緯度、経度及び標高を含む予め定めた所定の情報を埋め込み可能に規格化された画像ファイルデータフォーマット(具体的にはExif(登録商標):Exchangeable image file format)の形式で第1外部記録媒体ME1(図2参照)に保存する構成とされている。第1外部記録媒体ME1としては、それには限定されないが、代表的にはSD(Secure Digital)メモリカードを例示できる。   Specifically, the camera 20 standardizes an image file data format (specifically, Exif) in which image file data of a photographed photograph can be embedded with predetermined predetermined information including a shooting date, latitude, longitude, and altitude. (Registered trademark): Exchangeable image file format) is stored in the first external recording medium ME1 (see FIG. 2). The first external recording medium ME1 is not limited to this, but a typical example is an SD (Secure Digital) memory card.

GPS受信機30は、GPSアンテナ31(図2参照)を備え、GPS衛星300(図1参照)からの電波をGPSアンテナ31で受信し、GPS衛星300からの電波に基づいて日付、時刻、緯度、経度、標高といった情報を取得することができるようになっている。すなわち、GPS受信機30は、NMEA(National Marine Electronics Association)規格により、GGA(Global Positioning System Fix Data)から時刻(協定世界時、UTC:Coordinated Universal Time)、緯度、経度、標高を、ZDA(Time & Date)から日付(西暦、年、月、日)(UTC)を取得するようになっている。なお、GPS受信機30におけるGPSアンテナ31は、正確な撮影情報(位置や姿勢)の値を取得するという観点から、カメラ20における撮像部の近傍に設けられている。   The GPS receiver 30 includes a GPS antenna 31 (see FIG. 2), receives radio waves from the GPS satellite 300 (see FIG. 1) by the GPS antenna 31, and based on the radio waves from the GPS satellite 300, the date, time, latitude Information such as longitude and altitude can be acquired. That is, the GPS receiver 30 calculates time (coordinated universal time (UTC)), latitude, longitude, and altitude from the GGA (Global Positioning System Fix Data) according to the NMEA (National Marine Electronics Association) standard. & Date) (Date, year, month, day) (UTC) is acquired. In addition, the GPS antenna 31 in the GPS receiver 30 is provided in the vicinity of the imaging unit in the camera 20 from the viewpoint of obtaining accurate photographing information (position and orientation) values.

詳しくは、飛行体10は、飛行中において姿勢が前後左右に傾くことから姿勢を水平に維持する姿勢安定化装置12(いわゆるスタビライザー)(後述する図3及び図4参照)を備えている。カメラ20は、姿勢安定化装置12における保持部材122(具体的には載置台)に保持(具体的には載置)される。   Specifically, the flying object 10 includes an attitude stabilization device 12 (so-called stabilizer) (see FIGS. 3 and 4 to be described later) that maintains the attitude horizontally because the attitude tilts forward, backward, left, and right during flight. The camera 20 is held (specifically mounted) on a holding member 122 (specifically a mounting table) in the posture stabilization device 12.

図3及び図4は、カメラ20を保持部材122に保持した姿勢安定化装置12を模式的に示す概略構成図である。図3(a)は、その正面図であり、図3(b)は、その側面図である。また、図4(a)は、機体11が左右傾いた状態での機体11と姿勢安定化装置12との位置関係を示す正面図であり、図4(b)は、機体11が前後傾いた状態での機体11と姿勢安定化装置12との位置関係を示す側面図である。   3 and 4 are schematic configuration diagrams schematically showing the posture stabilization device 12 that holds the camera 20 on the holding member 122. FIG. 3A is a front view thereof, and FIG. 3B is a side view thereof. 4A is a front view showing the positional relationship between the body 11 and the posture stabilization device 12 in a state where the body 11 is tilted left and right, and FIG. 4B is a view where the body 11 is tilted back and forth. It is a side view which shows the positional relationship of the body 11 and the attitude | position stabilization apparatus 12 in a state.

姿勢安定化装置12は、機体11の下部に設けられており(図4参照)、支持部材(具体的には支持フレーム)121と、保持部材122とを備えている。支持部材121は、機体11に対して、前後方向に沿った第1回転軸線Z(具体的には回転軸121a)回りに回転自在に設けられている。保持部材122は、支持部材121に対して、左右方向に沿った第2回転軸線B(具体的には回転軸122a)回りに回転自在に設けられている。   The posture stabilization device 12 is provided in the lower part of the airframe 11 (see FIG. 4), and includes a support member (specifically, a support frame) 121 and a holding member 122. The support member 121 is provided to be rotatable about the first rotation axis Z (specifically, the rotation shaft 121a) along the front-rear direction with respect to the body 11. The holding member 122 is provided to be rotatable about the second rotation axis B (specifically, the rotation shaft 122a) along the left-right direction with respect to the support member 121.

そして、カメラ20は、レンズ22が下方を向くように、保持部材122に対して着脱可能に設けられている。ここで、図3及び図4中の符号Cで示す点は、カメラ20の撮像中心Cとなっており、支持部材121と保持部材122との構成だけを考えた場合において左右方向に沿った第2回転軸線B回りに機体11が傾いても撮像中心Cがズレないようにするために、第2回転軸線Bと撮像中心Cとを合致させている。   The camera 20 is detachably attached to the holding member 122 so that the lens 22 faces downward. Here, the point indicated by the symbol C in FIGS. 3 and 4 is the imaging center C of the camera 20, and when considering only the configuration of the support member 121 and the holding member 122, The second rotation axis B and the imaging center C are made to coincide with each other so that the imaging center C does not deviate even if the body 11 is tilted about the two rotation axes B.

また、GPSアンテナ31(図4参照)は、機体11の姿勢に関わらず、平面的に見て機体11の撮像中心Cに、換言すれば、撮像中心Cを通る鉛直な仮想直線D(図4参照)上に(具体的にはカメラ20の上方に)配設されている。   Further, the GPS antenna 31 (see FIG. 4) is, in a plan view, the imaging center C of the aircraft 11 regardless of the attitude of the aircraft 11, in other words, a vertical virtual straight line D (FIG. 4) passing through the imaging center C. (See above) (specifically, above the camera 20).

かかる構成を備えた姿勢安定化装置12では、正面から見た時(図4(a)参照)、機体11がたとえ左右方向であるローリング方向Z1に傾いたとしても、支持部材121は、機体11に対して第1回転軸線Zを中心に相対的に回転することができると共に、側面から見た時(図4(b)参照)、機体11がたとえ前後方向であるピッチング方向B1に傾いたとしても、保持部材122は、支持部材121に対して第2回転軸線Bを中心に相対的に回転することができる。これにより、機体11がたとえローリング方向Z1及び/又はピッチング方向B1に傾いたとしても、支持部材121及び保持部材122を介して機体11に支持されたカメラ20を常に水平を保つことが可能となる。   In the posture stabilization device 12 having such a configuration, when viewed from the front (see FIG. 4A), even if the airframe 11 is inclined in the rolling direction Z1, which is the left-right direction, the support member 121 is As shown in FIG. 4 (b), the aircraft body 11 is inclined in the pitching direction B1, which is the front-rear direction. In addition, the holding member 122 can rotate relative to the support member 121 around the second rotation axis B. Thereby, even if the airframe 11 is inclined in the rolling direction Z1 and / or the pitching direction B1, the camera 20 supported by the airframe 11 via the support member 121 and the holding member 122 can be always kept horizontal. .

ところで、GPSアンテナ31は、機体11に設けられていると、機体11の姿勢が傾くことで、機体11が水平な状態に比べ、ローリング方向Z1及び/又はピッチング方向B1のズレが発生するが、本実施の形態では、既述したように、機体11の姿勢に関わらず、平面的に見て機体11の撮像中心Cに配設されている。詳しくは、GPSアンテナ31は、図3及び図4に示すように、支持アーム部材(具体的には取り付けフレーム)123を介して、カメラ20を保持して水平姿勢が維持される保持部材122に設けられている。その為、GPSアンテナ31の中心と撮像中心Cとの間のズレが鉛直方向の距離L(図4参照)だけになっている。なお、距離Lの鉛直方向のズレは、測定精度に対し許容範囲内とされている。   By the way, if the GPS antenna 31 is provided in the airframe 11, the attitude of the airframe 11 is inclined, and thus the displacement of the rolling direction Z1 and / or the pitching direction B1 occurs compared to the horizontal state of the airframe 11. In the present embodiment, as described above, regardless of the attitude of the machine body 11, it is disposed at the imaging center C of the machine body 11 in plan view. Specifically, as shown in FIGS. 3 and 4, the GPS antenna 31 is attached to a holding member 122 that holds the camera 20 and maintains a horizontal posture via a support arm member (specifically, a mounting frame) 123. Is provided. Therefore, the gap between the center of the GPS antenna 31 and the imaging center C is only the vertical distance L (see FIG. 4). The vertical deviation of the distance L is within an allowable range with respect to the measurement accuracy.

制御装置40は、飛行体10に搭載されてカメラ20及びGPS受信機30に対する制御を司るものである。   The control device 40 is mounted on the flying object 10 and controls the camera 20 and the GPS receiver 30.

制御装置40(図2参照)は、ROM(Read Only Memory)や電気的書き換え可能な不揮発ROM等の不揮発メモリ41a、RAM(Random Access Memory)等の揮発メモリ41bを含む記憶部41と、CPU(Central Processing Unit)等のマイクロコンピュータからなる処理部42とを有している。   The control device 40 (see FIG. 2) includes a storage unit 41 including a nonvolatile memory 41a such as a ROM (Read Only Memory) or an electrically rewritable nonvolatile ROM, a volatile memory 41b such as a RAM (Random Access Memory), and a CPU ( And a processing unit 42 composed of a microcomputer such as a Central Processing Unit.

制御装置40は、処理部42が記憶部41の不揮発メモリ41aにおけるROMに予め格納された制御プログラムを記憶部41の揮発メモリ41bにおけるRAM上にロードして実行することにより、各種構成要素の作動制御を行うようになっている。   The control device 40 operates the various components by causing the processing unit 42 to load a control program stored in advance in the ROM of the nonvolatile memory 41a of the storage unit 41 onto the RAM of the volatile memory 41b of the storage unit 41 and execute it. It comes to perform control.

また、記憶部41は、書き込み部41cを備えている。書き込み部41cは、第2外部記録媒体ME2を挿脱可能な構成とされ、かつ、第2外部記録媒体ME2を装着した状態で第2外部記録媒体ME2にGPS受信機30からのGPS情報を書き込むことが可能な構成とされている。第2外部記録媒体ME2としては、それには限定されないが、代表的にはSDメモリカードを例示できる。   The storage unit 41 includes a writing unit 41c. The writing unit 41c is configured to be able to insert and remove the second external recording medium ME2, and writes the GPS information from the GPS receiver 30 to the second external recording medium ME2 with the second external recording medium ME2 attached. It is possible to be configured. The second external recording medium ME2 is not limited to this, but typically an SD memory card can be exemplified.

ところで、GPS受信機を用いて絶対的な撮影情報の値を取得する測量システムでは、カメラで撮影した時点と、GPS受信機によりGPS情報を取得した時点とを正確に一致させなければ、絶対的な撮影情報の値を正確に得ることができないために測量誤差を招き、ひいては測量精度が悪化する。   By the way, in a surveying system that acquires a value of absolute shooting information using a GPS receiver, it is absolutely necessary that the time when shooting is performed with the camera and the time when GPS information is acquired with the GPS receiver are not exactly matched. Therefore, it is impossible to accurately obtain the value of the photographing information, which causes a survey error, and the survey accuracy is deteriorated.

図5は、撮影信号PSが発せられてから実際にカメラ20のシャッターが切られるまでの間のシャッター遅れ時間Tdを説明するためのタイミングチャートである。図5(a)は、撮影信号PSを発したタイミングを示している。図5(b)は、図5(a)に示す撮影信号PSにより実際にシャッターが切られたタイミングを示している。   FIG. 5 is a timing chart for explaining the shutter delay time Td from when the shooting signal PS is issued until the shutter of the camera 20 is actually released. FIG. 5A shows the timing at which the photographing signal PS is issued. FIG. 5B shows the timing when the shutter is actually released by the photographing signal PS shown in FIG.

カメラ20では、シャッター遅れ時間Td(この例では0.1秒)(図5(b)参照)が存在する。そうすると、GPS受信機30によりGPS情報を取得した時のGPS情報の日時であるGPS情報取得日時taの位置や姿勢が実際の撮影位置や撮影姿勢とは異なってしまう。   In the camera 20, there is a shutter delay time Td (0.1 seconds in this example) (see FIG. 5B). Then, the position and orientation of the GPS information acquisition date ta, which is the date and time of GPS information when GPS information is acquired by the GPS receiver 30, are different from the actual shooting position and shooting posture.

この点、本実施の形態では、記憶部41の不揮発メモリ41aにおける電気的書き換え可能な不揮発ROMにおいて、カメラ20のシャッターを切るための撮影信号PSが発せられてから実際にシャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間Td(この例では0.1秒)に関する情報(ここではシャッター遅れ時間Td)が予め設定(記憶)されている。   In this respect, in the present embodiment, in the electrically rewritable nonvolatile ROM in the nonvolatile memory 41a of the storage unit 41, the shooting signal PS for releasing the shutter of the camera 20 is issued until the shutter is actually released. Information (here, the shutter delay time Td) relating to the shutter delay time Td (0.1 seconds in this example) indicating the shutter delay is preset (stored).

そして、制御装置40は、補正制御手段M1と出力制御手段M2とを備える構成とされている。   And the control apparatus 40 is set as the structure provided with the correction control means M1 and the output control means M2.

図6は、シャッター遅れ時間Tdの補正制御を説明するためのタイミングチャートである。図6(a)は、制御装置40におけるGPS受信機30によりGPS情報を取得したタイミングを示している。図6(b)は、補正後の撮影信号PSを発したタイミングを示している。図6(c)は、図6(b)に示す補正後の撮影信号PSにより実際にシャッターが切られたタイミングを示している。   FIG. 6 is a timing chart for explaining correction control of the shutter delay time Td. FIG. 6A shows the timing at which GPS information is acquired by the GPS receiver 30 in the control device 40. FIG. 6B shows the timing at which the photographic signal PS after correction is issued. FIG. 6C shows the timing when the shutter is actually released by the corrected photographic signal PS shown in FIG. 6B.

補正制御手段M1は、記憶部41に予め設定されているシャッター遅れ時間Tdに関する情報(ここではシャッター遅れ時間Td)を読み出し、GPS受信機30によりGPS情報を取得した時のGPS情報取得日時taに対して、記憶部41から読み出したシャッター遅れ時間Tdに関する情報(ここではシャッター遅れ時間Td)に基づいてシャッター遅れ時間Td(この例では0.1秒)分遡ったタイミング(日時)である補正タイミング(補正日時)tb(図6(b)参照)を取得する。ここで、「GPS受信機30によりGPS情報を取得した時」とは、GPS衛星300から電波を受信するGPS受信周期(具体的には1秒)のm倍(mは1以上の整数)の予め定めた所定の周期の時や、GPS受信周期のうち何れか任意の時を例示できる。ここでは、GPS受信機30によりGPS情報を取得した時は、GPS受信周期(具体的には1秒)の2倍の周期である2秒毎の時とされている。   The correction control means M1 reads information on the shutter delay time Td preset in the storage unit 41 (here, the shutter delay time Td), and sets the GPS information acquisition date ta when the GPS information is acquired by the GPS receiver 30. On the other hand, a correction timing that is a timing (date and time) retroactive to the shutter delay time Td (0.1 seconds in this example) based on the information (here, the shutter delay time Td) related to the shutter delay time Td read from the storage unit 41. (Correction date / time) tb (see FIG. 6B) is acquired. Here, “when GPS information is acquired by the GPS receiver 30” means m times the GPS reception period (specifically, 1 second) for receiving radio waves from the GPS satellite 300 (m is an integer of 1 or more). Examples of the predetermined period and any arbitrary time among the GPS reception periods can be given. Here, when GPS information is acquired by the GPS receiver 30, the time is every 2 seconds, which is twice as long as the GPS reception cycle (specifically, 1 second).

詳しくは、補正制御手段M1は、GPS受信機30によりGPS情報を前回取得したGPS情報取得日時ta(前回)(例えば0時0分0秒)に対して、所定の周期Ta(ここでは2秒、図6(a)参照)から、記憶部41から読み出したシャッター遅れ時間Td(この例では0.1秒、図6(b)参照)を差し引いた時間である算出時間Tb(この例では1.9秒、図6(b)参照)を加算して得られた日時(例えば0時0分1.9秒)を補正タイミングtb(図6(c)参照)とするように構成されている。   Specifically, the correction control means M1 determines a predetermined period Ta (here, 2 seconds) with respect to the GPS information acquisition date ta (previous) (for example, 0 hours 0 minutes 0 seconds) when the GPS information was previously acquired by the GPS receiver 30. 6 (a)), a calculation time Tb (1 in this example) is obtained by subtracting the shutter delay time Td read from the storage unit 41 (in this example, 0.1 second, see FIG. 6 (b)). .9 seconds (see FIG. 6B)) is set to the correction timing tb (see FIG. 6C), which is obtained by adding the date and time (for example, 0 hours 0 minutes and 1.9 seconds). .

なお、本実施の形態では、シャッター遅れ時間Tdを記憶部41に予め設定(記憶)するようにしたが、シャッター遅れ時間Tdに代えて算出時間Tbを記憶部41に予め設定(記憶)し、設定した算出時間Tbを前回のGPS情報取得日時taに加算して得られた日時を補正タイミングtbとするように補正制御手段M1を構成してもよい。   In the present embodiment, the shutter delay time Td is set (stored) in the storage unit 41 in advance. However, instead of the shutter delay time Td, the calculation time Tb is set (stored) in the storage unit 41 in advance. The correction control means M1 may be configured so that the correction date / time obtained by adding the set calculation time Tb to the previous GPS information acquisition date / time ta is the correction timing tb.

そして、出力制御手段M2(図2参照)は、補正制御手段M1にて取得した補正タイミングtbに同期してカメラ20のシャッターを切るための撮影信号PS(図6(b)参照)を出力する。具体的には、出力制御手段M2は、前回のGPS情報取得日時ta(前回)から算出時間Tb(この例では1.9秒)後に撮影信号PSを出力する。   Then, the output control means M2 (see FIG. 2) outputs a photographing signal PS (see FIG. 6B) for releasing the shutter of the camera 20 in synchronization with the correction timing tb acquired by the correction control means M1. . Specifically, the output control means M2 outputs the photographing signal PS after the calculation time Tb (1.9 seconds in this example) from the previous GPS information acquisition date ta (previous).

本実施の形態に係る測量システム100によれば、記憶部41には、カメラ20のシャッターを切るための撮影信号PSが発せられてから実際にシャッターを切るまでの間のシャッターの遅れを示すシャッター遅れ時間Tdに関する情報(ここではシャッター遅れ時間Td)が予め設定されている。そして、制御装置40は、記憶部41におけるシャッター遅れ時間Tdに関する情報(ここではシャッター遅れ時間Td)に基づいてシャッター遅れ時間Td分遡った補正タイミングtbを取得し、取得した補正タイミングtbで撮影信号PSを出力する。この例では、制御装置40は、GPS受信機30により取得したGPS情報取得日時taに対して、記憶部41におけるシャッター遅れ時間Tdに関する情報(ここではシャッター遅れ時間Td)に基づいてシャッター遅れ時間Td分遡った補正タイミングtbを取得し、取得した補正タイミングtbで撮影信号PSを出力する。すなわち、撮影信号PSをGPS情報取得日時taよりもシャッター遅れ時間Tdだけ早めに出力する。こうすることで、図5に示すように、たとえ撮影信号PSが発せられてから実際にカメラ20のシャッターが切られるまでの間にシャッター遅れ時間Tdが存在していたとしても、GPS受信機30によりGPS情報を取得した時点の位置や姿勢を実際の撮影位置や姿勢と一致させることができる(図6(c)参照)。   According to the surveying system 100 according to the present embodiment, the storage unit 41 has a shutter indicating the delay of the shutter between when the shooting signal PS for releasing the shutter of the camera 20 is issued and when the shutter is actually released. Information about the delay time Td (here, the shutter delay time Td) is set in advance. Then, the control device 40 acquires the correction timing tb that is traced back by the shutter delay time Td based on the information related to the shutter delay time Td in the storage unit 41 (here, the shutter delay time Td), and the imaging signal at the acquired correction timing tb. PS is output. In this example, the control device 40 has a shutter delay time Td based on information (here, shutter delay time Td) related to the shutter delay time Td in the storage unit 41 with respect to the GPS information acquisition date ta acquired by the GPS receiver 30. The correction timing tb traced back is acquired, and the imaging signal PS is output at the acquired correction timing tb. That is, the photographing signal PS is output earlier than the GPS information acquisition date ta by the shutter delay time Td. In this way, as shown in FIG. 5, even if there is a shutter delay time Td from when the shooting signal PS is issued until the shutter of the camera 20 is actually released, the GPS receiver 30 Thus, the position and posture at the time when the GPS information is acquired can be matched with the actual shooting position and posture (see FIG. 6C).

しかも、かかる補正を行うことにより、比較的重い(例えば4kg〜20kg程度の)IMUを用いる必要がないことから、本実施の形態のように、積載可能重量が制限された(具体的には積載可能重量2.5kg〜3.5kg程度の)飛行体10(ここでは無線遠隔操縦される小型無人ヘリコプター)にカメラ20、GPS受信機30及び制御装置40を搭載させた状態でも飛行体10を支障なく飛行させながら写真測量を行うことができる。   In addition, since it is not necessary to use a relatively heavy (for example, about 4 kg to 20 kg) IMU by performing such correction, the loadable weight is limited (specifically, the load is limited). The vehicle 10 (with a possible weight of about 2.5 kg to 3.5 kg) (here, a small unmanned helicopter that is remotely controlled by radio) has the camera 20, the GPS receiver 30, and the control device 40 mounted on it. Photogrammetry can be performed while flying.

このように、本実施の形態によれば、IMUを搭載することなく、飛行体10に搭載する重量を軽減させた状態で測量精度の悪化を抑制することができる。   Thus, according to the present embodiment, it is possible to suppress the deterioration of the surveying accuracy in a state where the weight mounted on the flying object 10 is reduced without mounting the IMU.

本実施の形態に係る測量システム100では、シャッター遅れ時間Tdを次のように計測してシャッター遅れ時間Tdによる測量誤差を補正している。   In the surveying system 100 according to the present embodiment, the shutter delay time Td is measured as follows to correct the survey error due to the shutter delay time Td.

図7は、測量システム100に用いるシャッター遅れ時間Tdを計測するために用いたタイマー装置400をカメラ20で撮影している状態を示す斜視図である。   FIG. 7 is a perspective view showing a state in which the timer device 400 used for measuring the shutter delay time Td used in the surveying system 100 is captured by the camera 20.

測量システム100では、タイマー機能によるタイマー時間を表示する表示部420を有するタイマー装置400を用い、タイマー機能によるタイマー時間に同期したタイミングで撮影信号PSをカメラ20に出力してカメラ20で表示部420を撮影し、撮影した写真における表示部420に表示されているタイマー時間に基づいてシャッター遅れ時間Tdを計測する。   In the surveying system 100, the timer device 400 having the display unit 420 that displays the timer time by the timer function is used, and the shooting signal PS is output to the camera 20 at a timing synchronized with the timer time by the timer function. The shutter delay time Td is measured based on the timer time displayed on the display unit 420 in the photograph taken.

詳しくは、測量システム100では、GPS衛星300から受信して得られた一定間隔の信号(ここでは、PPS:Pulse Per Second信号:1周期を1秒としたパルス信号)に同期したタイマー機能によるタイマー時間を表示する表示部420を有するタイマー装置400を用い、GPS衛星300からGPS受信機30により受信して得られた一定間隔の信号(ここではPPS信号)に同期したタイミングでカメラ20のシャッターを切るための撮影信号PSを制御装置40からカメラ20に出力してカメラ20で表示部420を撮影し、撮影した写真における表示部420に表示されているタイマー時間に基づいてシャッター遅れ時間Tdを計測する。   Specifically, in the surveying system 100, a timer with a timer function synchronized with a signal at a constant interval (here, PPS: Pulse Per Second signal: a pulse signal with a period of 1 second) obtained by receiving from the GPS satellite 300. Using the timer device 400 having the display unit 420 for displaying the time, the shutter of the camera 20 is moved at a timing synchronized with a signal (here, a PPS signal) at a constant interval obtained by receiving from the GPS satellite 300 by the GPS receiver 30. A photographing signal PS for cutting is output from the control device 40 to the camera 20 and the display unit 420 is photographed by the camera 20, and the shutter delay time Td is measured based on the timer time displayed on the display unit 420 in the photographed photograph. To do.

具体的には、タイマー装置400は、GPS衛星300からの電波を受信してGPS衛星300からの電波に基づいて一定間隔のPPS信号を取得するGPS受信機410と、GPS受信機410にて取得した一定間隔のPPS信号に同期し、かつ、シャッター遅れ時間Td分を計測可能な予め定めた所定の精度(ここでは1/10000秒の精度)のタイマー機能と、タイマー機能によるタイマー時間を表示する表示部420とを有している。   Specifically, the timer device 400 receives a radio wave from the GPS satellite 300 and acquires a PPS signal at a constant interval based on the radio wave from the GPS satellite 300, and the timer device 400 acquires it by the GPS receiver 410. The timer function with a predetermined accuracy (here, accuracy of 1/10000 second) that can be synchronized with the PPS signal at a constant interval and that can measure the shutter delay time Td, and the timer time by the timer function are displayed. And a display unit 420.

制御装置40は、GPS受信機30にて取得した一定間隔のPPS信号に同期したタイミングでカメラ20のシャッターを切るための撮影信号PSをカメラ20に出力する構成とされている。   The control device 40 is configured to output to the camera 20 a photographing signal PS for releasing the shutter of the camera 20 at a timing synchronized with the PPS signal at regular intervals acquired by the GPS receiver 30.

表示部420は、ここでは、7セグメント表示を行う7セグメント表示部とさており、PPS信号に同期したタイマー時間を1/10000秒の精度で表示するようになっている。   Here, the display unit 420 is a 7-segment display unit that performs 7-segment display, and displays the timer time synchronized with the PPS signal with an accuracy of 1/10000 seconds.

また、カメラ20は、リモートレリーズ用の端子21が制御装置40の出力系に電気的に接続されており、制御装置40からリモートレリーズ用の端子21を介して撮影信号PSがGPS受信機30にて取得した一定間隔のPPS信号に同期したタイミングで入力されると、シャッターが切られるようになっている。   Further, the camera 20 has a remote release terminal 21 electrically connected to the output system of the control device 40, and the imaging signal PS is sent from the control device 40 to the GPS receiver 30 via the remote release terminal 21. The shutter is released when it is input at a timing synchronized with the PPS signal obtained at regular intervals.

そして、計測者は、カメラ20で一定間隔のPPS信号に同期したタイマー機能によるタイマー時間を表示している表示部420を撮影し、撮影した写真における表示部420に表示されているタイマー時間に基づいてシャッター遅れ時間Tdを計測する。具体的には、シャッター遅れ時間Tdが0.0015秒である場合を例にとって説明すると、撮影信号PSをカメラ20へ入力したタイマー時間が1.0000秒であっても撮影した写真における表示部420の画像には1.0015秒が写り、また、撮影信号PSをカメラ20へ入力したタイマー時間が2.0000秒であっても撮影した写真における表示部420の画像には2.0015秒が写り、さらに、撮影信号PSをカメラ20へ入力したタイマー時間が3.0000秒であっても撮影した写真における表示部420の画像には3.0015秒が写ることになる。すなわち、撮影した写真における表示部420の画像に表示されている値のうち、小数点以下の値をシャッター遅れ時間Tdとすることができる。   Then, the measurer takes a picture of the display unit 420 displaying the timer time by the timer function synchronized with the PPS signal at regular intervals by the camera 20, and based on the timer time displayed on the display unit 420 in the photographed photograph. The shutter delay time Td is measured. Specifically, the case where the shutter delay time Td is 0.0015 seconds will be described as an example. The display unit 420 in the photographed photograph even if the timer time when the photographing signal PS is input to the camera 20 is 1.000 seconds. 1.0015 seconds appear in the image of 2.0015, and 2.0015 seconds appear in the image of the display 420 in the photographed photograph even if the timer time when the photographing signal PS is input to the camera 20 is 2.0000 seconds. Furthermore, even if the timer time when the photographing signal PS is input to the camera 20 is 3.0000 seconds, 3.0015 seconds are captured in the image of the display unit 420 in the photographed photograph. That is, among the values displayed in the image of the display unit 420 in the photographed photograph, a value after the decimal point can be used as the shutter delay time Td.

このように、タイマー装置400を用いて、カメラ20で表示部420を撮影するという簡単な作業によって、シャッター遅れ時間Tdを容易に得ることができる。詳しくは、タイマー装置400と制御装置40との双方においてGPS受信機を利用することで、タイマー装置400における表示部420に表示するタイマー時間と、制御装置40からカメラ20へ出力する撮影信号PSとの正確な同期を簡単かつ容易に実現させることが可能となる。   As described above, the shutter delay time Td can be easily obtained by a simple operation of photographing the display unit 420 with the camera 20 using the timer device 400. Specifically, by using the GPS receiver in both the timer device 400 and the control device 40, the timer time displayed on the display unit 420 in the timer device 400 and the shooting signal PS output from the control device 40 to the camera 20 are displayed. It is possible to easily and easily realize accurate synchronization.

なお、シャッター遅れ時間Tdは、同一機種のカメラにおいてはほとんど差が無く、異なるメーカー、或いは、同一メーカーでも異なる機種のカメラでは差が大きい。よって、測量システム100において、カメラ20のメーカー或いは機種が変われば、制御装置40における記憶部41に対してシャッター遅れ時間Tdを設定し直すことができる。   Note that the shutter delay time Td has almost no difference between cameras of the same model, and has a large difference between cameras of different manufacturers or different models of the same manufacturer. Therefore, in the surveying system 100, if the manufacturer or model of the camera 20 changes, the shutter delay time Td can be reset for the storage unit 41 in the control device 40.

また、タイマー機能の精度及び内部的な信号の遅延を許容できる場合には、タイマー機能と、タイマー機能によるタイマー時間を表示する表示部とを有し、かつ、カメラのシャッターを切るための撮影信号が入力されると、タイマー機能をスタートさせるタイマー装置を用い、タイマー機能がリセットされた状態において、撮影信号をタイマー装置及びカメラに同時に入力してカメラで表示部を撮影し、撮影した写真における表示部に表示されているタイマー時間をシャッター遅れ時間とするようにしてもよい。   When the accuracy of the timer function and internal signal delay can be allowed, the shooting function has a timer function and a display unit for displaying the timer time by the timer function, and is used to release the shutter of the camera. Is input, a timer device that starts the timer function is used, and in the state where the timer function is reset, a shooting signal is simultaneously input to the timer device and the camera, and the display unit is shot with the camera. The timer time displayed on the screen may be used as the shutter delay time.

ところで、飛行体10に搭載したカメラ20が本撮影を終了した場合、測量対象の写真だけでなく、スナップ写真やピント合わせの試し撮りなどの測量に関係のない写真が含まれている場合があり、撮影した写真の画像ファイルデータDT1(後述する図9参照)とGPS情報DT2(後述する図10参照)とは必ずしも対応付けられていない。   By the way, when the camera 20 mounted on the flying object 10 finishes the main shooting, there may be a case where not only the photo to be surveyed but also a photo not related to the survey, such as a snap photo or a test shot for focusing. The image file data DT1 (see FIG. 9 described later) of the photographed photograph and the GPS information DT2 (see FIG. 10 described later) are not necessarily associated with each other.

この点に関し、先頭の写真以降の画像ファイルデータDT1と先頭のGPS情報取得日時以降におけるGPS情報DT2とを対応付ける処理である対応付け処理をカメラ20内で行うことが考えられるが、このような、対応付け処理をカメラ20内で行うとなると、専用のカメラを用いる必要があり、それだけコストが高くつく。従って、市販のカメラをそのまま使用することができない。   In this regard, it is conceivable that the camera 20 performs an association process, which is a process of associating the image file data DT1 after the top photo with the GPS information DT2 after the top GPS information acquisition date and time, If the associating process is performed in the camera 20, it is necessary to use a dedicated camera, which increases the cost. Therefore, a commercially available camera cannot be used as it is.

そこで、本実施の形態では、制御装置40は、測量対象200を測量するための撮影である本撮影を行う直前及び/又は撮影した直後(ここでは直前)に、仮撮影を行うようになっている。   Therefore, in the present embodiment, the control device 40 performs provisional photographing immediately before and / or immediately after photographing (here, immediately before) photographing that is photographing for surveying the survey target 200. Yes.

詳しくは、出力制御手段M2(図2参照)は、本撮影を行うために、補正タイミングtbに同期して所定の周期Ta(ここでは2秒)の時間間隔である本撮影時のシャッター間隔Ts(後述する図8(a)参照)毎に撮影信号PS(図8(b)参照)を出力するが、その直前及び/又は直後に(ここでは直前に)、仮撮影を行うために、仮シャッター間隔パターンPT(図8(a)参照)で撮影信号PSを出力する構成とされている。   Specifically, the output control means M2 (see FIG. 2) performs the actual photographing, and the shutter interval Ts at the time of actual photographing which is a time interval of a predetermined period Ta (here 2 seconds) in synchronization with the correction timing tb. A shooting signal PS (see FIG. 8B) is output every time (see FIG. 8A described later), but in order to perform temporary shooting immediately before and / or immediately after (here, immediately before), The imaging signal PS is output with the shutter interval pattern PT (see FIG. 8A).

図8は、シャッター間隔Ts毎に撮影信号PSを出力する直前に、仮撮影を行うために仮シャッター間隔パターンPTで撮影信号PSを出力する一例を示すタイミングチャートである。図8(a)は、所定の周期TaでGPS情報を取得したタイミングを示している。図8(b)は、撮影信号PSを発したタイミングを示している。図8(c)は、図8(b)に示す撮影信号PSにより実際にシャッターが切られたタイミングを示している。   FIG. 8 is a timing chart showing an example of outputting the shooting signal PS with the temporary shutter interval pattern PT to perform temporary shooting immediately before outputting the shooting signal PS at every shutter interval Ts. FIG. 8A shows the timing at which GPS information is acquired at a predetermined period Ta. FIG. 8B shows the timing at which the photographing signal PS is issued. FIG. 8C shows the timing when the shutter is actually released by the photographing signal PS shown in FIG.

なお、GPS情報を取得する所定の周期Taは、ここでは2秒とされているが、GPS衛星300からの電波のGPS受信周期(具体的には1秒)のm倍であれば何れの周期であってもよく、例えば、GPS受信周期と同じ1秒であっても5秒であってもよい。   The predetermined period Ta for acquiring the GPS information is 2 seconds here, but any period as long as it is m times the GPS reception period (specifically, 1 second) of the radio wave from the GPS satellite 300. For example, it may be the same 1 second as the GPS reception cycle or 5 seconds.

仮シャッター間隔パターンPTは、シャッター間隔Tsとは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔T(1)〜T(n)(nは2以上の整数、ここではn=2)を組み合わせたものである。なお、本実施の形態では、仮シャッター間隔T(1),T(2)で出力する撮影信号は、シャッター遅れ時間Tdを補正した信号とされているが、本撮影に関与しないため、誤差を許容することで、補正していない信号とされていてもよい。   The temporary shutter interval pattern PT is different from the shutter interval Ts and has a plurality of temporary shutter intervals T (1) to T (n) (n is an integer of 2 or more, here n = 2). Is a combination. In the present embodiment, the shooting signal output at the temporary shutter intervals T (1) and T (2) is a signal obtained by correcting the shutter delay time Td. By allowing it, the signal may not be corrected.

このように、本撮影を行うためにシャッター間隔Ts毎に撮影信号PSを出力する直前及び/又は直後に(ここでは直前に)、仮撮影を行うために複数の仮シャッター間隔T(1),T(2)を組み合わせた仮シャッター間隔パターンPTで撮影信号PSを出力することで、カメラ20にて撮影した写真の画像ファイルデータDT1(後述する図14参照)のうち、本撮影を開始したときの先頭の画像ファイルデータDT1_st及び最終の画像ファイルデータDT1_edを容易に探し出すことができると共に、GPS受信機30により取得したGPS情報取得日時ta(図15参照)のうち、先頭のGPS情報取得日時である測量開始日時ta_st及び最終のGPS情報取得日時である測量終了日時ta_edを容易に探し出すことができる。すなわち、仮シャッター間隔パターンPTを、先頭の写真の画像ファイルデータDT1_st及び最終の写真の画像ファイルデータDT1_ed並びに測量開始日時ta_st及び測量終了日時ta_edの指標とすることができる。なお、先頭の画像ファイルデータDT1_st及び最終の画像ファイルデータDT1_ed並びに測量開始日時ta_st及び測量終了日時ta_eの検索については、後述する対応付け処理において詳しく説明する。   As described above, a plurality of temporary shutter intervals T (1), Tx for performing temporary shooting immediately before and / or immediately after outputting the shooting signal PS for each shutter interval Ts for performing actual shooting. When the photographing is started in the image file data DT1 (see FIG. 14 described later) of the photograph photographed by the camera 20 by outputting the photographing signal PS with the temporary shutter interval pattern PT combined with T (2). The first image file data DT1_st and the last image file data DT1_ed can be easily found, and the GPS information acquisition date ta (see FIG. 15) acquired by the GPS receiver 30 is the first GPS information acquisition date and time. It is possible to easily find a certain survey start date / time ta_st and a survey end date / time ta_ed which is the last GPS information acquisition date / time. Kill. That is, the temporary shutter interval pattern PT can be used as an index of the image file data DT1_st of the first photo, the image file data DT1_ed of the last photo, the survey start date ta_st, and the survey end date ta_ed. The search for the top image file data DT1_st, the last image file data DT1_ed, the survey start date / time ta_st, and the survey end date / time ta_e will be described in detail in the association processing described later.

しかも、カメラ20に対しては、撮影信号PSによる撮影動作を行わせるだけで済み、従って、専用のカメラを使用することなく、これにより、市販のカメラをそのまま使用することが可能となる。   Moreover, it is only necessary to cause the camera 20 to perform a photographing operation using the photographing signal PS. Therefore, a commercially available camera can be used as it is without using a dedicated camera.

本実施の形態において、複数の仮シャッター間隔T(1),T(2)のうち、第1仮シャッター間隔T(1)は、予め定めた所定の時間間隔とされており、第2仮シャッター間隔T(2)は、第1仮シャッター間隔T(1)とは異なる予め定めた所定の時間間隔とされている。   In the present embodiment, among the plurality of temporary shutter intervals T (1), T (2), the first temporary shutter interval T (1) is a predetermined time interval, and the second temporary shutter interval The interval T (2) is a predetermined time interval different from the first temporary shutter interval T (1).

図8に示す例では、第1仮シャッター間隔T(1)は、所定の周期Ta(ここでは2秒)以外の時間間隔であってGPS受信周期(具体的には1秒)のa倍(aは1以上の整数、ここではa=9)の時間間隔とされている。第2仮シャッター間隔T(2)は、所定の周期Ta(ここでは2秒)以外の時間間隔であってGPS受信周期(具体的には1秒)のb倍(bはaの値とは異なる1以上の整数、ここではb=6)の時間間隔とされている。   In the example shown in FIG. 8, the first temporary shutter interval T (1) is a time interval other than a predetermined cycle Ta (here, 2 seconds) and is a times the GPS reception cycle (specifically 1 second) ( a is an integer greater than or equal to 1, here a = 9). The second temporary shutter interval T (2) is a time interval other than a predetermined cycle Ta (here 2 seconds) and is b times the GPS reception cycle (specifically 1 second) (b is the value of a) The time interval is set to a different integer of 1 or more, here b = 6).

詳しくは、出力制御手段M2は、仮シャッター間隔パターンPTとして、最初に(仮撮影を開始するときに)、第1仮シャッター間隔T(1)で予め定めた1回又は2回以上の所定の回数である第1仮シャッター回数(ここでは1回)分だけ撮影信号PSを出力する。出力制御手段M2は、次に、第2仮シャッター間隔T(2)で予め定めた1回又は2回以上の所定の回数である第2仮シャッター回数(ここでは2回)分だけ撮影信号PSを出力する。出力制御手段M2は、次に(仮撮影を終了するときに)、第1仮シャッター間隔T(1)で第1仮シャッター回数(ここでは1回)分だけ撮影信号PSを出力する構成とされている。   Specifically, the output control means M2 first (when temporary imaging is started) as the temporary shutter interval pattern PT, at a predetermined time that is predetermined once or twice or more at the first temporary shutter interval T (1). The photographing signal PS is output for the number of times of the first temporary shutter (here, once). Next, the output control means M2 captures the imaging signal PS by the number of second temporary shutters (here, twice) which is a predetermined number of times that is predetermined once or twice or more at a second temporary shutter interval T (2). Is output. Next, the output control means M2 is configured to output the imaging signal PS for the first provisional shutter number (here, once) at the first provisional shutter interval T (1) (when the provisional photography is finished). ing.

このように、仮シャッター間隔パターンPTとして、最初に、第1仮シャッター間隔T(1)(ここでは9秒間隔)で第1仮シャッター回数(ここでは1回)分だけ撮影信号PSを出力し、次に、第2仮シャッター間隔T(2)(ここでは6秒間隔)で第2仮シャッター回数(ここでは2回)分だけ撮影信号PSを出力し、次に、第1仮シャッター間隔T(1)(ここでは9秒間隔)で第1仮シャッター回数(例えば1回)分だけ撮影信号PSを出力することで、仮シャッター間隔パターンPTを認識させ易くすることが可能となる。   In this way, as the temporary shutter interval pattern PT, first, the photographing signal PS is output for the first temporary shutter number (here, once) at the first temporary shutter interval T (1) (here, 9 second interval). Next, the shooting signal PS is output for the second temporary shutter number (here, twice) at the second temporary shutter interval T (2) (here, 6 seconds), and then the first temporary shutter interval T (1) It is possible to easily recognize the temporary shutter interval pattern PT by outputting the photographing signal PS by the number of first temporary shutters (for example, once) at an interval of 9 seconds (here, every 9 seconds).

そして、カメラ20においては、撮影した写真の画像ファイルデータDT1とカメラ20のクロック機能により該写真を撮影した時の日時である撮影日時とを対応付けて所定の画像ファイルデータフォーマット(ここではExif(登録商標))の形式で第1外部記録媒体ME1に保存する。なお、カメラ20のクロック機能は精度が低いことから、カメラ20のクロック機能による日時は、GPS情報の日時とは一致しておらず、この例では、GPS情報の日時よりも22秒進んだ日時とされている。   In the camera 20, the image file data DT1 of the photographed photograph is associated with the photographing date and time that is the date and time when the photograph was photographed by the clock function of the camera 20, and a predetermined image file data format (here, Exif ( (Registered trademark)) in the first external recording medium ME1. Since the clock function of the camera 20 has low accuracy, the date and time by the clock function of the camera 20 does not coincide with the date and time of GPS information. In this example, the date and time advanced by 22 seconds from the date and time of GPS information. It is said that.

一方、制御装置40においては、GPS受信機30により取得したGPS情報(具体的には日付、時刻、緯度、経度、標高といった情報)DT2を記憶部41における第2外部記録媒体ME2に保存する。ここで、制御装置40は、GPS情報のうち緯度、経度、標高といった情報を、GPS情報の取得毎に第2外部記録媒体ME2に保存するようになっていてもよいが、この例では、測量対象200を本撮影している間のみ、第2外部記録媒体ME2に保存するようになっている。また、GPS情報の日時(UTC)は、現地の日時に変換した状態で第2外部記録媒体ME2に保存される。   On the other hand, in the control device 40, GPS information (specifically, information such as date, time, latitude, longitude, altitude) DT2 acquired by the GPS receiver 30 is stored in the second external recording medium ME2 in the storage unit 41. Here, the control device 40 may store information such as latitude, longitude, and altitude in the GPS information in the second external recording medium ME2 every time GPS information is acquired. Only during the actual photographing of the target 200, the image is stored in the second external recording medium ME2. Further, the date and time (UTC) of the GPS information is stored in the second external recording medium ME2 in a state converted to the local date and time.

図9は、カメラ20で撮影した写真の画像ファイルデータDT1のデータ構造を概略的に示す模式図である。図10は、GPS受信機30により取得したGPS情報DT2のデータ構造を概略的に示す模式図である。なお、図10並びに後述する図15、図16、図18(b)及び図19において経度、緯度、標高の値は、符号で表しており、実際の値とは異なっている。   FIG. 9 is a schematic diagram schematically showing the data structure of the image file data DT1 of a photograph taken by the camera 20. As shown in FIG. FIG. 10 is a schematic diagram schematically showing the data structure of the GPS information DT2 acquired by the GPS receiver 30. As shown in FIG. In addition, in FIG. 10, FIG. 15, FIG. 16, FIG.18 (b) and FIG. 19 mentioned later, the value of the longitude, the latitude, and an altitude is represented with the code | symbol, and is different from an actual value.

飛行体10に搭載したカメラ20が本撮影を終了した場合、カメラ20に保存された図9に示す写真の画像ファイルデータDT1には、測量に関係ない写真が含まれており、また、緯度、経度、標高の情報は埋め込まれていない。一方、制御装置40に保存された図10に示すGPS情報DT2(具体的には日付、時刻、緯度、経度、標高といった情報)は、写真の画像ファイルデータDT1の何れに対応するかは分からない。   When the camera 20 mounted on the flying object 10 finishes the main photographing, the image file data DT1 of the photograph shown in FIG. 9 stored in the camera 20 includes a photograph not related to the surveying, and the latitude, Longitude and altitude information is not embedded. On the other hand, the GPS information DT2 (specifically, information such as date, time, latitude, longitude, and altitude) stored in the control device 40 shown in FIG. 10 does not know which of the photo image file data DT1 corresponds to. .

そこで、本実施の形態では、コンピュータ500(具体的にはパーソナルコンピュータ)にプログラムPを実行させることにより、撮影した写真の画像ファイルデータDT1(図9参照)とGPS情報DT2(図10参照)とを対応付けている。   Therefore, in the present embodiment, by causing the computer 500 (specifically, a personal computer) to execute the program P, image file data DT1 (see FIG. 9) and GPS information DT2 (see FIG. 10) of the photographed photograph Are associated.

[コンピュータのシステム構成]
図11は、プログラムPを実行させるコンピュータ500を示す概略構成図である。図11(a)は、コンピュータ500の概略斜視図であり、図11(b)は、コンピュータ500のシステム構成を示すブロック図である。
[Computer system configuration]
FIG. 11 is a schematic configuration diagram illustrating a computer 500 that executes the program P. FIG. 11A is a schematic perspective view of the computer 500, and FIG. 11B is a block diagram showing the system configuration of the computer 500.

コンピュータ500は、外部装置(マンマシンインタフェース)として、キーボードやポインティングデバイス等を含む入力部510と、ディスプレイ等の表示部520とを備えている。   The computer 500 includes an input unit 510 including a keyboard and a pointing device, and a display unit 520 such as a display as external devices (man-machine interfaces).

また、コンピュータ500は、図11(b)に示すように、内部装置として、プログラムPを実行したり、各種の演算処理を実行したりする各種の処理を実行する制御部530と、記憶部540と、第1読み取り部550と、第2読み取り部560とを備えている。   Further, as illustrated in FIG. 11B, the computer 500 includes, as an internal device, a control unit 530 that executes various processes for executing a program P and various arithmetic processes, and a storage unit 540. And a first reading unit 550 and a second reading unit 560.

制御部530は、表示部520に対し、各種の入力画面を表示し、ユーザが入力部510を操作して必要な情報の入力を受ける。   The control unit 530 displays various input screens on the display unit 520, and the user operates the input unit 510 to receive input of necessary information.

記憶部540は、RAM等の揮発メモリ541及びハードディスク装置やフラッシュメモリ等の不揮発メモリ542を含んでいる。   The storage unit 540 includes a volatile memory 541 such as a RAM and a nonvolatile memory 542 such as a hard disk device or a flash memory.

揮発メモリ541は、制御部530により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。   The volatile memory 541 is appropriately used as a work memory or the like when the control unit 530 executes various processing such as arithmetic processing.

第1読み取り部550は、プログラムPが記録されたCD(Compact Disc)−ROM等の記録媒体Mを読み取るようになっている。不揮発メモリ542には、第1読み取り部550によって読み取られたプログラムPを含むソフトウェアが予め格納(インストール)される。なお、記録媒体Mは、USB(Universal Serial Bus)メモリやSD(Secure Digital)メモリカードであってもよい。また、プログラムPは、インターネット回線を通じてダウンロードされたものであってもよい。   The first reading unit 550 reads a recording medium M such as a CD (Compact Disc) -ROM on which the program P is recorded. Software including the program P read by the first reading unit 550 is stored (installed) in the nonvolatile memory 542 in advance. The recording medium M may be a USB (Universal Serial Bus) memory or an SD (Secure Digital) memory card. The program P may be downloaded through an internet line.

また、第2読み取り部560は、撮影日時が組み込まれた写真の画像ファイルデータDT1(図9参照)を保存した第1外部記録媒体ME1、及び、GPS受信機30により取得したGPS情報DT2(図10参照)を保存した第2外部記録媒体ME2を読み取るようになっている。不揮発メモリ542には、第2読み取り部560によって読み取られた画像ファイルデータDT1が予め格納される。また、不揮発メモリ542には、第2読み取り部560によって読み取られたGPS情報DT2が予め格納される。なお、測量システム100において、カメラ20における画像ファイルデータDT1及び制御装置40におけるGPS情報DT2をUSB規格等の所定の有線通信手段或いは無線LAN(Local Area Network)等の所定の無線通信回線を介してコンピュータ500における不揮発メモリ542に保存するようにしてもよい。   In addition, the second reading unit 560 includes the first external recording medium ME1 storing the image file data DT1 (see FIG. 9) of the photograph in which the shooting date and time are incorporated, and the GPS information DT2 (see FIG. 10) is read from the second external recording medium ME2. In the nonvolatile memory 542, the image file data DT1 read by the second reading unit 560 is stored in advance. The nonvolatile memory 542 stores GPS information DT2 read by the second reading unit 560 in advance. In the surveying system 100, the image file data DT1 in the camera 20 and the GPS information DT2 in the control device 40 are transmitted via predetermined wired communication means such as a USB standard or a predetermined wireless communication line such as a wireless LAN (Local Area Network). You may make it preserve | save in the non-volatile memory 542 in the computer 500. FIG.

[プログラムのソフトウェア構成]
図12は、図11に示すコンピュータ500における制御部530の制御構成を示す概略構成図である。
[Software configuration of the program]
FIG. 12 is a schematic configuration diagram showing a control configuration of the control unit 530 in the computer 500 shown in FIG.

プログラムPは、並び替えステップと、撮影間隔算出ステップと、写真側間隔パターン検出ステップと、先頭写真特定ステップと、GPS情報取得間隔算出ステップと、GPS側間隔パターン検出ステップと、先頭GPS情報取得日時特定ステップと、対応付けステップとを含む各ステップを制御部530に実行させる。すなわち、制御部530は、並び替え手段P1と、撮影間隔算出手段P2と、写真側間隔パターン検出手段P3と、先頭写真特定手段P4と、GPS情報取得間隔算出手段P5と、GPS側間隔パターン検出手段P6と、先頭GPS情報取得日時特定手段P7と、対応付け手段P8とを含む各手段として機能するようになっている。   The program P includes a rearrangement step, a shooting interval calculation step, a photo side interval pattern detection step, a head photo identification step, a GPS information acquisition interval calculation step, a GPS side interval pattern detection step, and a start GPS information acquisition date and time. The control unit 530 is caused to execute each step including the specific step and the association step. That is, the control unit 530 includes a rearrangement unit P1, a shooting interval calculation unit P2, a photo side interval pattern detection unit P3, a head photo specifying unit P4, a GPS information acquisition interval calculation unit P5, and a GPS side interval pattern detection. It functions as each means including means P6, head GPS information acquisition date and time specifying means P7, and association means P8.

以下に、写真の画像ファイルデータDT1とGPS情報DT2とを対応付ける図13に示す処理例のフローチャートについて、図14及び図15を参照しながら説明する。なお、図12において説明していない手段については後ほど説明する。   A flowchart of the processing example shown in FIG. 13 for associating the photo image file data DT1 with the GPS information DT2 will be described below with reference to FIGS. Note that means not described in FIG. 12 will be described later.

図13は、写真の画像ファイルデータDT1とGPS情報DT2とを対応付ける対応付け処理の一例を示すフローチャートである。図14及び図15は、図13に示す対応付け処理を説明するための説明図である。図14は、写真の画像ファイルデータDT1を示しており、図15は、GPS情報DT2を示している。   FIG. 13 is a flowchart showing an example of the association process for associating the photo image file data DT1 with the GPS information DT2. 14 and 15 are explanatory diagrams for explaining the association processing shown in FIG. FIG. 14 shows photo image file data DT1, and FIG. 15 shows GPS information DT2.

制御部530は、対応付ける処理に先立って、仮シャッター間隔パターンPT(ここでは9秒→6秒→6秒→9秒)、及び、シャッター間隔Ts(ここでは2秒)を記憶部540の不揮発メモリ542に予め設定しておく。   Prior to the associating process, the control unit 530 stores the temporary shutter interval pattern PT (here 9 seconds → 6 seconds → 6 seconds → 9 seconds) and the shutter interval Ts (here 2 seconds) in the nonvolatile memory of the storage unit 540. It is set in advance to 542.

先ず、制御部530は、図13及び図14に示すように、並び替え手段P1により、カメラ20にて写真を撮影した時の撮影日時を小さい順に並び替えることで該写真の画像ファイルデータDT1を撮影日時の小さい順に並び替える(ステップS1)。   First, as shown in FIGS. 13 and 14, the control unit 530 rearranges the image file data DT1 of the photograph by rearranging the photographing date and time when the photograph was taken by the camera 20 by the rearranging unit P1 in ascending order. Rearranged in ascending order of shooting date and time (step S1).

次に、制御部530は、撮影間隔算出手段P2により、並び替え手段P1にて撮影日時の小さい順に並び替えられた写真の画像ファイルデータDT1において隣り合う画像ファイルデータDT1の時間間隔である撮影間隔DG(図14参照)を算出する(ステップS2)。   Next, the control unit 530 uses the shooting interval calculation unit P2 to take a shooting interval which is a time interval between adjacent image file data DT1 in the image file data DT1 of the photos rearranged in ascending order of the shooting date and time by the rearranging unit P1. DG (see FIG. 14) is calculated (step S2).

次に、制御部530は、写真側間隔パターン検出手段P3により、撮影間隔算出手段P2にて算出した撮影間隔DGに対して仮シャッター間隔パターンPT(ここでは9秒→6秒→6秒→9秒)を順に比較していき、カメラ20にて撮影した写真の画像ファイルデータDT1のうち仮シャッター間隔パターンPTが何処にあるかを検出する(ステップS3)。   Next, the control unit 530 uses the photo-side interval pattern detection unit P3 to set the temporary shutter interval pattern PT (here, 9 seconds → 6 seconds → 6 seconds → 9) with respect to the shooting interval DG calculated by the shooting interval calculation unit P2. Second) are sequentially compared, and the temporary shutter interval pattern PT is detected in the image file data DT1 of the photograph taken by the camera 20 (step S3).

次に、制御部530は、先頭写真特定手段P4により、写真側間隔パターン検出手段P3にて検出した仮シャッター間隔パターンPTの位置から、カメラ20にて撮影した写真の画像ファイルデータのうち、仮シャッター間隔パターンPTの位置の次にある画像ファイルデータDT1(図14の例では「00010.JPG」,「00027.JPG」,「00056.JPG」の位置)を、本撮影を開始(測量開始)したときの先頭の画像ファイルデータDT1_stとして特定する(ステップS4)。   Next, the control unit 530 uses the first photo specifying unit P4 to temporarily store the image file data of the photograph taken by the camera 20 from the position of the temporary shutter interval pattern PT detected by the photo side interval pattern detecting unit P3. Start of actual photographing (start of surveying) of image file data DT1 (positions “00010.JPG”, “00027.JPG”, “00056.JPG” in the example of FIG. 14) next to the position of the shutter interval pattern PT The first image file data DT1_st at this time is specified (step S4).

次に、制御部530は、GPS受信機30により取得したGPS情報取得日時taにおいて隣り合うGPS情報取得日時の時間間隔であるGPS情報取得間隔GG(図15参照)をGPS情報取得間隔算出手段P5により算出する(ステップS5)。   Next, the control unit 530 calculates a GPS information acquisition interval GG (see FIG. 15), which is a time interval between adjacent GPS information acquisition dates and times in the GPS information acquisition date and time ta acquired by the GPS receiver 30, as GPS information acquisition interval calculation means P5. (Step S5).

次に、制御部530は、GPS情報取得間隔算出手段P5にて算出したGPS情報取得間隔GGに対して仮シャッター間隔パターンPT(ここでは9秒→6秒→6秒→9秒)を順に比較していき、GPS受信機30により取得したGPS情報取得日時taのうち仮シャッター間隔パターンPTが何処にあるかをGPS側間隔パターン検出手段P6により検出する(ステップS6)。   Next, the control unit 530 sequentially compares the temporary shutter interval pattern PT (here 9 seconds → 6 seconds → 6 seconds → 9 seconds) with the GPS information acquisition interval GG calculated by the GPS information acquisition interval calculating means P5. Then, the GPS side interval pattern detection means P6 detects where the temporary shutter interval pattern PT is located in the GPS information acquisition date ta acquired by the GPS receiver 30 (step S6).

次に、制御部530は、先頭GPS情報取得日時特定手段P7により、GPS側間隔パターン検出手段P6にて検出した仮シャッター間隔パターンPTの位置から、GPS受信機30により取得したGPS情報取得日時taのうち、仮シャッター間隔パターンPTの位置の次にあるGPS情報取得日時ta(図15の例では「2012.12.3 11:35:02」,「2012.12.3 12:46:06」,「2012.12.4 13:33:23」の位置)を、本撮影を開始したときの先頭のGPS情報取得日時taである測量開始日時ta_stとして特定する(ステップS7)。   Next, the control unit 530 acquires the GPS information acquisition date ta acquired by the GPS receiver 30 from the position of the temporary shutter interval pattern PT detected by the GPS side interval pattern detection unit P6 by the leading GPS information acquisition date specifying unit P7. Among them, the GPS information acquisition date ta following the position of the temporary shutter interval pattern PT (in the example of FIG. 15, “2012.12.3 11:35:02”, “2012.12.3 12:46:06”, “2012.12. 4 13:33:23 ”) is specified as the surveying start date and time ta_st, which is the top GPS information acquisition date and time ta when the actual photographing is started (step S7).

次に、制御部530は、対応付け手段P8により、並び替え手段P1にて撮影日時の順に並び替えられた写真の画像ファイルデータDT1において先頭写真特定手段P4にて特定した先頭の写真の画像ファイルデータDT1_stを基準に該先頭の写真以降の画像ファイルデータDT1に対して、先頭GPS情報取得日時特定手段P7にて特定した測量開始日時ta_stから所定の周期Ta(ここでは2秒)毎のGPS情報取得日時taにおけるGPS情報DT2(具体的には日付、時刻、緯度、経度、標高といった情報)を順に対応付ける(ステップS8)。   Next, the control unit 530 uses the associating unit P8 to specify the image file of the first photo specified by the first photo specifying unit P4 in the image file data DT1 of the photos rearranged in the order of the shooting date and time by the rearranging unit P1. With respect to the image file data DT1 after the first photo on the basis of the data DT1_st, the GPS information for every predetermined period Ta (here 2 seconds) from the survey start date / time ta_st specified by the start GPS information acquisition date / time specifying means P7 The GPS information DT2 (specifically, information such as date, time, latitude, longitude, altitude) at the acquisition date and time ta is associated in order (step S8).

こうすることで、仮シャッター間隔パターンPTにより仮撮影(すなわち仮(ダミー)の写真を撮影)するという簡単な手法により、先頭の写真の画像ファイルデータDT_st及び測量開始日時ta_stを容易に検索することができる。しかも、プログラムPにより先頭の写真以降の画像ファイルデータDT1とGPS情報取得日時taにおけるGPS情報DT2とを対応付ける処理をコンピュータ500内で行わせることができ、従って、カメラ20において先頭の写真以降の画像ファイルデータDT1とGPS情報取得日時におけるGPS情報DT2とを対応付ける必要がないので、市販のカメラをそのまま使用することが可能となる。   In this way, the image file data DT_st and the survey start date / time ta_st of the first photo can be easily retrieved by a simple method of temporary shooting (that is, shooting a temporary (dummy) photo) using the temporary shutter interval pattern PT. Can do. In addition, the program P can cause the computer 500 to perform processing for associating the image file data DT1 after the first photo with the GPS information DT2 at the GPS information acquisition date ta, so that the camera 20 can perform the image after the first photo. Since it is not necessary to associate the file data DT1 with the GPS information DT2 at the GPS information acquisition date and time, a commercially available camera can be used as it is.

一般的に、写真の画像ファイルデータの撮影日時、緯度、経度及び標高を用いて3次元地図を作成する市販のアプリケーションソフトにおいては、撮影日時、緯度、経度及び標高を含む予め定めた所定の情報を埋め込み可能に規格化された画像ファイルデータフォーマット(例えばExif(登録商標))の形式の画像ファイルデータデータを用いることが多い。   In general, in commercially available application software that creates a 3D map using the shooting date / time, latitude, longitude, and altitude of a photo image file data, predetermined predetermined information including the shooting date / time, latitude, longitude, and elevation is used. In many cases, image file data in an image file data format (for example, Exif (registered trademark)) standardized so as to be embedded is used.

図16は、図13に示す対応付け処理を行った画像ファイルデータDT1のデータ構造を示す模式図である。   FIG. 16 is a schematic diagram showing a data structure of the image file data DT1 subjected to the association process shown in FIG.

本実施の形態では、対応付け手段P8は、画像ファイルデータフォーマットの所定の情報における撮影日時、緯度、経度及び標高を、GPS情報DT2における撮影日時、緯度、経度及び標高にそれぞれ置き換える構成とされている(図16の枠で囲まれている部分参照)。ここでは、GPS情報DT2は、GPS受信機30により取得したローデータを用いてポストプロセッシング(後処理)による解析処理が行われたものであり、より精度の高い値とされている。   In the present embodiment, the association means P8 is configured to replace the shooting date / time, latitude, longitude, and altitude in the predetermined information of the image file data format with the shooting date / time, latitude, longitude, and altitude in the GPS information DT2, respectively. (See the portion surrounded by the frame in FIG. 16). Here, the GPS information DT2 has been subjected to analysis processing by post-processing (post-processing) using raw data acquired by the GPS receiver 30, and has a higher accuracy value.

このように、画像ファイルデータフォーマットの所定の情報における撮影日時、緯度、経度及び標高を、GPS受信機30により取得したGPS情報DT2における撮影日時、緯度、経度及び標高にそれぞれ置き換えることで、先頭の写真以降の画像ファイルデータDT1とGPS情報取得日時taにおけるGPS情報DT2とを容易に対応付けることができ、例えば、3次元地図を作成する市販のアプリケーションソフトを用いる場合、GPS情報取得日時taにおけるGPS情報DT2が対応付けられた写真の画像ファイルデータDT1を加工することなくそのまま用いることが可能となる。   Thus, by replacing the shooting date / time, latitude, longitude, and altitude in the predetermined information of the image file data format with the shooting date / time, latitude, longitude, and altitude in the GPS information DT2 acquired by the GPS receiver 30, respectively, The image file data DT1 after the photo and the GPS information DT2 at the GPS information acquisition date ta can be easily associated. For example, when using commercially available application software for creating a three-dimensional map, the GPS information at the GPS information acquisition date ta It is possible to use the image file data DT1 of a photograph associated with DT2 without being processed.

なお、本撮影を行うための撮影信号PSを出力する直前ではなく出力した直後に、仮シャッター間隔パターンPTで撮影信号PSを出力する場合には、次のようにすることができる。   In the case where the shooting signal PS is output with the temporary shutter interval pattern PT immediately after the shooting signal PS for performing the actual shooting is output, not immediately before the shooting signal PS is output, the following can be performed.

すなわち、先頭写真特定手段P4は、写真側間隔パターン検出手段P3にて検出した仮シャッター間隔パターンPTの位置から、画像ファイルデータDT1のうち、仮シャッター間隔パターンPTの位置の手前にある画像ファイルデータDT1を、本撮影を終了(測量終了)したときの最終の画像ファイルデータDT1_edとして特定し、最終の画像ファイルデータDT1_ed以前の撮影間隔DGにシャッター間隔Ts(ここでは2秒)を順に当てはめることにより、本撮影を開始したときの先頭の画像ファイルデータDT1_stを探し出すことができる。また、先頭GPS情報取得日時特定手段P7は、GPS側間隔パターン検出手段P6にて検出した仮シャッター間隔パターンPTの位置から、GPS情報取得日時taのうち、仮シャッター間隔パターンPTの位置の手前にあるGPS情報取得日時taを、本撮影を終了したときの最終のGPS情報取得日時taである測量終了日時ta_edとして特定し、測量終了日時ta_ed以前のGPS情報取得間隔GGにシャッター間隔Ts(ここでは2秒)を順に当てはめることにより、本撮影を開始したときの測量開始日時ta_stを探し出すことができる。ここで、本撮影を行うための撮影信号PSを出力する直前及び出力した直後の双方に仮シャッター間隔パターンPTで撮影信号PSを出力する場合、本撮影を行うための撮影信号PSのカメラ20への出力の前後で仮シャッター間隔パターンPTを変更するようにしてもよい。こうすることで、先頭での仮シャッター間隔パターンPTと最終での仮シャッター間隔パターンPTとを容易に区別させることが可能となる。   That is, the head photo specifying means P4 is the image file data that is in front of the position of the temporary shutter interval pattern PT in the image file data DT1 from the position of the temporary shutter interval pattern PT detected by the photo side interval pattern detecting means P3. By identifying DT1 as the final image file data DT1_ed when the actual shooting is completed (surveying completed), and applying the shutter interval Ts (here 2 seconds) in order to the shooting interval DG before the final image file data DT1_ed. The head image file data DT1_st at the start of the main shooting can be found. The leading GPS information acquisition date and time specifying means P7 is located before the position of the temporary shutter interval pattern PT in the GPS information acquisition date and time ta from the position of the temporary shutter interval pattern PT detected by the GPS side interval pattern detecting means P6. A certain GPS information acquisition date / time ta is specified as a surveying end date / time ta_ed which is the final GPS information acquisition date / time ta when the main photographing is finished, and a shutter interval Ts (here, a GPS information acquisition date / time ta_ed). 2 seconds) in order, the survey start date and time ta_st when the actual photographing is started can be found. Here, when the shooting signal PS is output with the temporary shutter interval pattern PT both immediately before and after outputting the shooting signal PS for performing the main shooting, to the camera 20 of the shooting signal PS for performing the main shooting. The temporary shutter interval pattern PT may be changed before and after the output. In this way, it is possible to easily distinguish the temporary shutter interval pattern PT at the beginning and the temporary shutter interval pattern PT at the end.

また、カメラ20のクロック機能による日時は、撮影間隔算出手段P2において隣り合う画像ファイルデータDT1の撮影間隔DGの算出に用いるので、必ずしもGPS情報DT2の日時と一致していなくてもよい。従って、カメラ20のクロック機能による日時は、この例のように、GPS情報DT2の日時よりも22秒進んだ値とされていてもよい。   Further, the date and time by the clock function of the camera 20 is used to calculate the shooting interval DG of the adjacent image file data DT1 in the shooting interval calculation means P2, and therefore does not necessarily need to match the date and time of the GPS information DT2. Therefore, the date and time by the clock function of the camera 20 may be a value that is 22 seconds ahead of the date and time of the GPS information DT2 as in this example.

なお、本実施の形態では、対応付け手段P8は、画像ファイルデータDT1の撮影日時、緯度、経度及び標高を書き換えるようしたが、それに限定されるものではなく、例えば、写真の画像ファイル名とそれに対応するGPS情報DT2とを対応付けて格納したテーブルを別途作成するようになっていてもよい。   In the present embodiment, the associating means P8 rewrites the shooting date / time, latitude, longitude, and altitude of the image file data DT1, but the present invention is not limited to this. A table storing the corresponding GPS information DT2 in association with each other may be created separately.

ところで、測量対象の撮影である本撮影を開始して、カメラ20に対し、撮影信号PSを出力しても何らかの要因によって撮影されない場合がある。この場合、制御装置40側で撮影日時が記録されているにも拘わらず、カメラ20側においてシャッター間隔Tsで周期的に撮影されるはずの写真の画像ファイルデータDT1が途中で抜けてしまうという事態が発生する。   By the way, even if the main photographing that is the photographing of the surveying object is started and the photographing signal PS is output to the camera 20, the photographing may not be performed for some reason. In this case, the image file data DT1 of a photo that should be periodically photographed at the shutter interval Ts on the camera 20 side is lost in the middle, even though the photographing date and time is recorded on the control device 40 side. Will occur.

この点、プログラムPは、画像ファイルデータDT1の抜けを防止するための抜け防止処理を行うステップを含んでいる。詳しくは、プログラムPにおける各ステップは、最終写真特定ステップと、写真枚数カウントステップと、最終GPS情報取得日時特定ステップと、経過時間算出ステップと、撮影枚数算出ステップと、照合ステップと、抜け箇所検出ステップとをさらに含んでいる。すなわち、制御部530は、図12に示すように、最終写真特定手段P9と、写真枚数カウント手段P10と、最終GPS情報取得日時特定手段P11と、経過時間算出手段P12と、撮影枚数算出手段P13と、照合手段P14と、抜け箇所検出手段P15とをさらに含む各手段として機能するようになっている。   In this regard, the program P includes a step of performing a missing prevention process for preventing missing of the image file data DT1. Specifically, each step in the program P includes a final photo specifying step, a photo number counting step, a final GPS information acquisition date specifying step, an elapsed time calculating step, a photographed number calculating step, a collating step, and a missing part detection. And further comprising steps. That is, as shown in FIG. 12, the control unit 530 includes a final photo specifying unit P9, a photo number counting unit P10, a final GPS information acquisition date specifying unit P11, an elapsed time calculating unit P12, and a photographed number calculating unit P13. And each means further including a collating means P14 and a missing part detecting means P15.

以下に、図13に示す対応付け処理において図17に示す抜け防止処理を行うフローチャートについて、図18及び図19を参照しながら説明する。   Hereinafter, a flowchart for performing the omission prevention process shown in FIG. 17 in the association process shown in FIG. 13 will be described with reference to FIGS. 18 and 19.

図17は、図13に示す対応付け処理において抜け防止処理の一例を実施するためのフローチャートである。図18は、図17に示す抜け防止処理を説明するための説明図である。図18(a)は、抜けのある画像ファイルデータDT1を示している。図18(b)は、GPS情報DT2を示している。図19は、図17に示す抜け防止処理を行った画像ファイルデータDT1のデータ構造を示す模式図である。なお、以下では、図14に示す画像ファイルデータDT1における3回の測量のうち最初(1回目)に測量した場合において2箇所(図18(a)に示すカメラ側の日時では「2012.12.3 11:35:30」,「2012.12.3 11:35:42」、図18(b)に示すGPS側の日時では「2012.12.3 11:35:08」,「2012.12.3 11:35:20」)に画像ファイルデータDT1の抜けが発生した場合を例にとって説明する。   FIG. 17 is a flowchart for carrying out an example of the omission prevention process in the association process shown in FIG. FIG. 18 is an explanatory diagram for explaining the omission prevention processing shown in FIG. FIG. 18A shows missing image file data DT1. FIG. 18B shows the GPS information DT2. FIG. 19 is a schematic diagram showing a data structure of the image file data DT1 subjected to the omission prevention process shown in FIG. In the following, when the first (first) surveying is performed among the three surveys in the image file data DT1 illustrated in FIG. 14, the date and time on the camera side illustrated in FIG. : 35: 30 ”,“ 2012.12.3 11:35:42 ”, and the GPS date and time shown in FIG. 18B is“ 2012.12.3 11:35:08 ”,“ 2012.12.3 11:35:20 ” The case where the omission of the image file data DT1 occurs will be described as an example.

図17に示す抜け防止処理は、図13に示す対応付け処理におけるステップS7の処理とステップS8の処理との間に設けられる。   The omission prevention process shown in FIG. 17 is provided between the process of step S7 and the process of step S8 in the association process shown in FIG.

制御部530は、図13に示すステップS8の処理の後、図17及び図18に示すように、最終写真特定手段P9により、先頭写真特定手段P4にて特定した先頭の画像ファイルデータDT1_st(図18(a)参照)の位置と撮影間隔算出手段P2にて算出した撮影間隔DGとシャッター間隔Ts(ここでは2秒)とから、画像ファイルデータDT1のうち、本撮影を終了したときの最終の画像ファイルデータDT1_ed(図18(a)参照)を特定する(ステップS9)。   After the processing of step S8 shown in FIG. 13, the control unit 530, as shown in FIG. 17 and FIG. 18, uses the final photo specifying means P9 to specify the top image file data DT1_st (FIG. 18 (a)) and the shooting interval DG calculated by the shooting interval calculation means P2 and the shutter interval Ts (here, 2 seconds), the final of the image file data DT1 when the main shooting is finished. Image file data DT1_ed (see FIG. 18A) is specified (step S9).

詳しくは、最終写真特定手段P9は、撮影間隔算出手段P2にて算出した撮影間隔DGのうちシャッター間隔Ts(ここでは2秒)よりも大きい不連続時間間隔(図18(a)のα1参照、ここでは4秒)が1又は複数存在していたとしても、不連続時間間隔α1(ここでは4秒)の前後何れかの撮影間隔DGがシャッター間隔Ts(ここでは2秒)であって不連続時間間隔α1(ここでは4秒)がシャッター間隔Tsのc倍(cは2以上の整数)の時間(例えばシャッター間隔Tsの5倍=10秒)以内であれば、不連続時間間隔α1がないものとみなすようになっている。   Specifically, the final photograph specifying unit P9 has a discontinuous time interval (see α1 in FIG. 18A) that is larger than the shutter interval Ts (here, 2 seconds) in the shooting interval DG calculated by the shooting interval calculation unit P2. Even if there is one or more in this case (4 seconds), the imaging interval DG before or after the discontinuous time interval α1 (here 4 seconds) is the shutter interval Ts (here 2 seconds) and is discontinuous. If the time interval α1 (here 4 seconds) is within a time c times the shutter interval Ts (c is an integer of 2 or more) (for example, 5 times the shutter interval Ts = 10 seconds), there is no discontinuous time interval α1. It is supposed to be regarded as a thing.

なお、この処理は、制御装置40における出力制御手段M2により、シャッター間隔Ts毎に撮影信号PSを出力した直後に仮シャッター間隔パターンPTで撮影信号PSを出力する場合には、省略することができる。   This process can be omitted when the output control means M2 in the control device 40 outputs the shooting signal PS with the temporary shutter interval pattern PT immediately after outputting the shooting signal PS for each shutter interval Ts. .

次に、制御部530は、写真枚数カウント手段P10により、先頭写真特定手段P4にて特定した先頭の写真の画像ファイルデータDT1から最終写真特定手段P9にて特定した最終の写真の画像ファイルデータDT1までの画像ファイルデータDT1の数である写真枚数(この例では11枚)をカウントする(ステップS10)。   Next, the control unit 530 uses the number-of-photos counting unit P10 to determine the image file data DT1 of the last photo specified by the final photo specifying unit P9 from the image file data DT1 of the first photo specified by the first photo specifying unit P4. The number of photos (11 in this example), which is the number of image file data DT1 up to this point, is counted (step S10).

次に、制御部530は、最終GPS情報取得日時特定手段P11により、先頭GPS情報取得日時特定手段P7にて特定した測量開始日時ta_st(図18(b)参照)の位置とGPS情報取得間隔算出手段P5にて算出したGPS情報取得間隔GGとシャッター間隔Ts(ここでは2秒)とから、GPS情報取得日時taのうち、測量対象の撮影を終了したときの最終のGPS情報取得日時taである測量終了日時ta_ed(図18(b)参照)を特定する(ステップS11)。   Next, the control unit 530 calculates the position and the GPS information acquisition interval of the survey start date / time ta_st (see FIG. 18B) specified by the leading GPS information acquisition date / time specifying means P7 by the final GPS information acquisition date / time specifying means P11. From the GPS information acquisition interval GG and the shutter interval Ts (here 2 seconds) calculated by the means P5, the GPS information acquisition date ta is the final GPS information acquisition date ta when the photographing of the survey target is completed. Survey end date and time ta_ed (see FIG. 18B) is specified (step S11).

本実施の形態では、GPS受信機30の受信状態によってGPS衛星300からの電波が受信できない場合であっても、GPS受信機30は、一定の時間的精度を保つことができると判断した場合には、GPS衛星300からの電波が受信できない状態でのPPS信号(1周期を1秒としたパルス信号)を制御装置40に出力し、制御装置40は、PPS信号に同期した撮影信号PSをカメラ20に出力することで、カメラ20による撮影は行われる。   In the present embodiment, even when the radio wave from the GPS satellite 300 cannot be received depending on the reception state of the GPS receiver 30, the GPS receiver 30 determines that it can maintain a certain time accuracy. Outputs a PPS signal (a pulse signal with one cycle being 1 second) in a state in which radio waves from the GPS satellite 300 cannot be received to the control device 40, and the control device 40 uses the imaging signal PS synchronized with the PPS signal to the camera. By being output to 20, shooting by the camera 20 is performed.

詳しくは、最終GPS情報取得日時特定手段P11は、GPS衛星300からの電波が受信できない状態でのPPS信号が一定の時間的精度を維持できない場合に備えて、GPS情報取得間隔算出手段P5にて算出したGPS情報取得間隔GGのうちシャッター間隔Ts(ここでは2秒)よりも大きい不連続時間間隔(図18(b)のα2参照)が1又は複数存在していたとしても、不連続時間間隔α2の前後何れかのGPS情報取得間隔GGがシャッター間隔Ts(ここでは2秒)であって不連続時間間隔α2がシャッター間隔Tsのd倍(dは2以上の整数)の時間(例えばシャッター間隔Tsの5倍=10秒)以内であれば、不連続時間間隔α2がないものとみなすようになっている。ここで、GPS衛星300からの電波が受信できない状態でのPPS信号が一定の時間的精度を維持できない場合には、カメラ20による撮影は行われない。ここで、GPS衛星300からの電波が受信できない場合には、PPS信号の時間的精度に関わらず、カメラ20による撮影を行わないようにしてもよい。   More specifically, the final GPS information acquisition date and time specifying means P11 uses the GPS information acquisition interval calculation means P5 in case the PPS signal in a state in which radio waves from the GPS satellite 300 cannot be received cannot maintain a certain temporal accuracy. Even if one or more discontinuous time intervals (see α2 in FIG. 18B) larger than the shutter interval Ts (here 2 seconds) exist in the calculated GPS information acquisition interval GG, the discontinuous time interval The GPS information acquisition interval GG before or after α2 is the shutter interval Ts (here 2 seconds), and the discontinuous time interval α2 is d times (d is an integer of 2 or more) the shutter interval Ts (for example, the shutter interval). If it is within 5 times Ts = 10 seconds), it is considered that there is no discontinuous time interval α2. Here, when the PPS signal in a state where the radio wave from the GPS satellite 300 cannot be received cannot maintain a certain time accuracy, the photographing by the camera 20 is not performed. Here, when the radio wave from the GPS satellite 300 cannot be received, the photographing by the camera 20 may not be performed regardless of the temporal accuracy of the PPS signal.

なお、この測量終了日時ta_edを特定する処理は、制御装置40における出力制御手段M2により、シャッター間隔Ts毎に撮影信号PSを出力した直後に仮シャッター間隔パターンPTで撮影信号PSを出力する場合には、省略することができる。   The process for specifying the surveying end date / time ta_ed is performed when the output control means M2 in the control device 40 outputs the photographic signal PS with the temporary shutter interval pattern PT immediately after outputting the photographic signal PS for each shutter interval Ts. Can be omitted.

次に、制御部530は、経過時間算出手段P12により、最終GPS情報取得日時特定手段P11にて特定した測量終了日時ta_ed(この例では「2012.12.3 11:35:26」、図18(b)参照)から先頭GPS情報取得日時特定手段P7にて特定した測量開始日時ta_st(この例では「2012.12.3 11:35:02」、図18(b)参照)を差し引いて測量開始日時ta_stから測量終了日時ta_edまでの経過時間Tp(この例では24秒)を算出する(ステップS12)。   Next, the control unit 530 uses the elapsed time calculation unit P12 to specify the survey end date / time ta_ed specified by the final GPS information acquisition date / time specifying unit P11 (in this example, “2012.12.3 11:35:26”, FIG. )) Is subtracted from the survey start date / time ta_st determined by subtracting the survey start date / time ta_st (referred to as “2012.12.3 11:35:02” in this example, FIG. 18 (b)) in the first GPS information acquisition date / time specifying means P7. An elapsed time Tp (24 seconds in this example) until the surveying end date and time ta_ed is calculated (step S12).

次に、制御部530は、撮影枚数算出手段P13により、経過時間算出手段P12にて算出した経過時間Tpを所定の周期Ta(ここでは2秒)で割ってその値に1を加えることで、測量により撮影すべき撮影枚数(この例では13枚)を算出する(ステップS13)。   Next, the control unit 530 divides the elapsed time Tp calculated by the elapsed time calculation means P12 by a predetermined period Ta (here 2 seconds) by the photographed number calculation means P13 and adds 1 to the value. The number of shots to be taken (13 in this example) is calculated by surveying (step S13).

次に、制御部530は、照合手段P14により、写真枚数カウント手段P10にてカウントした写真枚数(この例では11枚)と撮影枚数算出手段P13にて算出した撮影枚数(この例では13枚)とが一致するか否かを照合する(ステップS14)。   Next, the control unit 530 uses the collating unit P14 to count the number of photos (11 in this example) counted by the photo number counting unit P10 and the number of photos (13 in this example) calculated by the number-of-photographs calculating unit P13. Are matched (step S14).

このように、写真枚数と撮影枚数とが一致するか否かを照合することで、カメラ20側においてシャッター間隔で周期的に撮影される写真の画像ファイルデータDT1の抜けが発生したか否かをコンピュータ500に認識させることができる。   In this way, by checking whether or not the number of photographs matches the number of photographed images, it is determined whether or not missing of image file data DT1 of photographs periodically photographed at the shutter interval has occurred on the camera 20 side. It can be recognized by the computer 500.

ここで、写真枚数と撮影枚数とが一致しない場合には、先頭の写真以降の画像ファイルデータDT1とGPS情報DT2とを正しく対応付けることができない。   Here, if the number of photos does not match the number of photos taken, the image file data DT1 after the first photo cannot be correctly associated with the GPS information DT2.

よって、制御部530は、抜け箇所検出手段P15により、照合手段P14にて写真枚数(この例では11枚)と撮影枚数(この例では13枚)とが一致しない場合において、先頭の画像ファイルデータDT1_st(図18(a)参照)から最終の画像ファイルデータDT1_ed(図18(a)参照)のうち、撮影間隔算出手段P2にて算出した撮影間隔DGがシャッター間隔Ts(ここでは2秒)と一致しない箇所である抜け箇所(図18(a)のβ参照)を検出する(ステップS15)。   Therefore, the control unit 530 causes the missing part detection unit P15 to check the head image file data when the collation unit P14 does not match the number of photographs (11 in this example) and the number of shots (13 in this example). Of the final image file data DT1_ed (see FIG. 18 (a)) from DT1_st (see FIG. 18 (a)), the photographing interval DG calculated by the photographing interval calculation means P2 is the shutter interval Ts (here 2 seconds). A missing part (refer to β in FIG. 18A) which is a mismatched part is detected (step S15).

そして、制御部530は、対応付け手段P8により、図13に示すステップS8において先頭の写真以降の画像ファイルデータDT1に対してGPS情報取得日時taにおけるGPS情報DT2を、抜け箇所検出手段P15にて検出した抜け箇所(図18(a)のβ参照)を飛ばして、対応付ける(図19参照)。   Then, the control unit 530 uses the association unit P8 to obtain the GPS information DT2 at the GPS information acquisition date ta for the image file data DT1 after the first photo in step S8 shown in FIG. The detected missing part (see β in FIG. 18A) is skipped and associated (see FIG. 19).

こうすることで、たとえ写真枚数と撮影枚数とが一致しない場合でも、先頭の写真以降の画像ファイルデータDT1とGPS情報取得日時taとを正しく対応付けることが可能となる。   By doing this, even when the number of photos does not match the number of photos taken, it is possible to correctly associate the image file data DT1 after the first photo with the GPS information acquisition date ta.

また、本実施の形態では、小型無人ヘリコプターを使用することにより、有人ヘリコプターを用いる場合よりも、遥かに低コストで、しかも必要なときに必要な場所で簡単にかつ容易に測量作業を行うことができるという利点がある。   In addition, in this embodiment, by using a small unmanned helicopter, it is much cheaper than when using a manned helicopter, and the surveying work can be easily and easily performed at a necessary place when necessary. There is an advantage that can be.

ところで、飛行体からレーザ光を測量対象に照射して該測量対象からの反射波を受信するレーザ発信受信装置を用いて測量を行う航空レーザ測量という測量手法も従来から知られている。カメラ20を用いた写真測量及び航空レーザ測量は、何れも3次元地形状を測量することができるが、カメラ20を用いた写真測量では、数値表層モデル(DSM:Digital Surface Model)、すなわち地表面しか測量できないのに対し、航空レーザ測量では、数値表層モデルの他、数値地形モデル(DTM:Digital Terrain Model)、すなわち地表そのものを測量することができる。   By the way, a surveying technique called aviation laser surveying is also known in the past in which surveying is performed using a laser transmission / reception apparatus that irradiates a survey target with laser light from a flying object and receives a reflected wave from the survey target. The photogrammetry using the camera 20 and the aerial laser survey can both measure a three-dimensional ground shape. However, in the photogrammetry using the camera 20, a digital surface model (DSM), that is, the ground surface is used. On the other hand, in the aerial laser surveying, in addition to the numerical surface layer model, a numerical terrain model (DTM: Digital Terrain Model), that is, the ground surface itself can be measured.

この航空レーザ測量では、非常に短い周期(例えば10万分の1秒の周期)でレーザ光を測量対象に照射する。航空レーザ測量で必要な情報は、水平方向の位置である水平位置、標高、それと重要なのは姿勢(ピッチング方向、ローリング方向、ヨーイング方向の角度)である。但し、これらのうち、GPS受信機で取得できる情報は、一定間隔の水平位置及び標高だけである。例えば、GPS受信機からのGPS情報における一定間隔の水平位置及び標高を用いて測量を行う際に、GPS受信機からGPS情報を取得する周期以外の時には、一定間隔の水平位置及び標高の情報を取得することができず、それだけ測量精度が低下する。なお、GPS受信機からGPS情報を取得する周期は、多くは1秒(周波数1Hz)であるが、最近では20分の1秒(周波数20Hz)の場合もある。   In this aerial laser surveying, the laser beam is irradiated onto the survey target with a very short cycle (for example, a cycle of 1 / 100,000 second). The information necessary for the aerial laser surveying is the horizontal position, the altitude, which is the position in the horizontal direction, and the attitude (the angles in the pitching direction, the rolling direction, and the yawing direction). Of these, the only information that can be acquired by the GPS receiver is the horizontal position and altitude at regular intervals. For example, when performing surveying using horizontal positions and altitudes at regular intervals in the GPS information from the GPS receiver, information on the horizontal positions and altitudes at regular intervals is taken at times other than the period for acquiring GPS information from the GPS receiver. It cannot be acquired, and the surveying accuracy is lowered accordingly. In addition, although the period which acquires GPS information from a GPS receiver is 1 second (frequency 1Hz) in many cases, recently it may be 1/20 second (frequency 20Hz).

これを解消するために、従来は、IMUからの3軸の加速度及び3軸の角加速度の情報を用いて一定間隔の水平位置及び標高といった情報を取得する。しかし、本発明の課題は、IMUを搭載することなく、飛行体に搭載する重量を軽減させた状態で測量精度の悪化を抑制することにある。   In order to solve this problem, conventionally, information such as horizontal positions and altitudes at regular intervals is acquired using information on triaxial acceleration and triaxial angular acceleration from the IMU. However, an object of the present invention is to suppress the deterioration of surveying accuracy in a state where the weight mounted on the flying object is reduced without mounting the IMU.

そこで、本実施の形態に係る測量システム100は、後述する図20に示すように、飛行体10に搭載されて飛行体10からレーザ光を測量対象200に照射して測量対象200からの反射波を受信するレーザ発信受信装置50をさらに備える場合には、飛行体10に搭載された加速度計60及び角加速度計70をさらに備えている。   Therefore, as shown in FIG. 20 described later, the surveying system 100 according to the present embodiment is mounted on the flying object 10 and irradiates the surveying object 200 with laser light from the flying object 10 to reflect the reflected wave from the surveying object 200. Is further provided with an accelerometer 60 and an angular accelerometer 70 mounted on the flying object 10.

図20は、飛行体10にレーザ発信受信装置50、加速度計60及び角加速度計70をさらに搭載した測量システム100における制御装置40を中心に示すシステム構成を示す概略ブロック図である。   FIG. 20 is a schematic block diagram showing a system configuration centering on the control device 40 in the surveying system 100 in which the flying object 10 is further equipped with the laser transmission / reception device 50, the accelerometer 60 and the angular accelerometer 70.

図20に示すように、レーザ発信受信装置50は、3Dレーザスキャナ51とされており、制御装置40の指示の下、予め定められた角度の範囲内においてGPS受信周期(具体的には1秒)より短いスキャン周期(例えば10万分の1秒)でレーザ光を走査する。   As shown in FIG. 20, the laser transmission / reception device 50 is a 3D laser scanner 51, and receives a GPS reception cycle (specifically, 1 second) within a predetermined angle range under the instruction of the control device 40. ) The laser beam is scanned with a shorter scanning cycle (for example, 1 / 100,000 second).

制御装置40は、レーザ発信受信装置50で受信した測量対象200の受信情報をスキャン周期(例えば10万分の1秒)毎に記憶部41における第2外部記録媒体ME2に保存する。   The control device 40 stores the reception information of the survey target 200 received by the laser transmission / reception device 50 in the second external recording medium ME2 in the storage unit 41 every scan cycle (for example, 1 / 100,000 second).

加速度計60及び角加速度計70は、IMUよりも安価でかつ小型なものとされている。具体的には、加速度計60及び角加速度計70は、GPS受信機が内蔵され、加速度、角加速度データの計算・出力周期が2000分の1秒(2kHzの周波数)とされており、その各データに対してGPS受信機から得られた正確な時刻(タイムスタンプ)を付加することができるものとされている。   The accelerometer 60 and the angular accelerometer 70 are cheaper and smaller than the IMU. Specifically, the accelerometer 60 and the angular accelerometer 70 have a built-in GPS receiver, and the calculation and output cycle of acceleration and angular acceleration data are 1/2000 second (2 kHz frequency). An accurate time (time stamp) obtained from a GPS receiver can be added to the data.

ところで、加速度計60及び角加速度計70は、安価でかつ小型なものを用いていることから、精度が低下し易い。   By the way, since the accelerometer 60 and the angular accelerometer 70 are inexpensive and small-sized ones, the accuracy tends to be lowered.

この点、本実施の形態では、一定間隔の水平位置及び標高の絶対的な値は、図11に示すコンピュータ500(アプリケーションソフトによる処理)において、GPS受信機からのローデータを用いたポストプロセッシング(後処理)を行うことで得られた精度の良い値(データ量は周波数1Hz〜20Hz)とされる。コンピュータ500は、こうして得られた水平位置及び標高を基に、加速度計60からの加速度及び角加速度計70からの角速度を積分/按分することにより、レーザ発信受信装置50のスキャン周期(例えば10万分の1秒)分の水平位置及び標高を生成する。   In this regard, in the present embodiment, the absolute values of the horizontal position and the altitude at regular intervals are obtained by post-processing using raw data from the GPS receiver (computer software processing) shown in FIG. A highly accurate value (data amount is a frequency of 1 Hz to 20 Hz) obtained by performing post-processing. The computer 500 integrates / distributes the acceleration from the accelerometer 60 and the angular velocity from the angular accelerometer 70 based on the horizontal position and altitude thus obtained, thereby scanning the laser transmission / reception device 50 (for example, 100,000 minutes). 1 second) of horizontal position and altitude.

一方、姿勢(ピッチング方向、ローリング方向、ヨーイング方向の角度)で絶対的な値は、コンピュータ500(アプリケーションソフトによる処理)において、バンドル計算の処理を行うことで得られたピッチング方向、ローリング方向、ヨーイング方向の角度の値(データ量は、水平位置及び標高と同様、周波数1Hz〜20Hz)とされる。コンピュータ500は、こうして得られた姿勢(ピッチング方向、ローリング方向、ヨーイング方向の角度)を基に、バンドル計算で得られている2点の値と、加速度計60からの加速度及び角加速度計70からの角速度の積分データを照合し比例配分して得られた算出値とにより、レーザ発信受信装置50のスキャン周期(例えば10万分の1秒)分の姿勢(ピッチング方向、ローリング方向、ヨーイング方向の角度)を生成する。   On the other hand, the absolute values of the postures (the pitching direction, the rolling direction, and the yawing direction angle) are the pitching direction, the rolling direction, and the yawing obtained by performing bundle calculation processing in the computer 500 (processing by application software). The value of the direction angle (the data amount is a frequency of 1 Hz to 20 Hz as in the horizontal position and the altitude). Based on the postures (the pitching direction, the rolling direction, and the yawing direction) obtained in this manner, the computer 500 calculates the two values obtained by the bundle calculation, the acceleration from the accelerometer 60, and the angular accelerometer 70. The angle (pitching direction, rolling direction, yawing direction) of the laser transmission / reception device 50 corresponding to the scan cycle (for example, 1 / 100,000 second) is calculated based on the calculated value obtained by collating and proportionally integrating the angular velocity integral data. ) Is generated.

そして、コンピュータ500は、スキャン周期(例えば10万分の1秒)毎の時刻、緯度、経度、標高、ヨーイング方向、ローリング方向、ピッチング方向の角度といったスキャナ用のデータをGPS情報DT2の補填情報として、スキャン周期(例えば10万分の1秒)毎に記憶部540に保存する。   Then, the computer 500 uses the scanner data such as the time, the latitude, the longitude, the altitude, the yawing direction, the rolling direction, and the angle in the pitching direction every scan cycle (for example, 1 / 100,000 second) as the supplement information of the GPS information DT2. The data is stored in the storage unit 540 every scan cycle (for example, 1 / 100,000 second).

本実施の形態では、図11に示すコンピュータ500内で処理するようにしたが、加速度計60からの加速度及び角加速度計70からの角速度の値をGPS受信周期及びスキャン周期と正確に時間同期させ得る手段を用いることが可能な場合には、加速度計60及び角加速度計70と図20に示す制御装置40とを電気的に同期させて、スキャン周期(例えば10万分の1秒)毎に第2外部記録媒体ME2のGPS情報DT2の記憶領域に保存するようにしてもよい。   In the present embodiment, the processing is performed in the computer 500 shown in FIG. 11, but the values of the acceleration from the accelerometer 60 and the angular velocity from the angular accelerometer 70 are accurately time-synchronized with the GPS reception period and the scanning period. When the obtaining means can be used, the accelerometer 60 and the angular accelerometer 70 are electrically synchronized with the control device 40 shown in FIG. 20, and the scan period (for example, 1 / 100,000 second) is changed. 2 You may make it preserve | save in the storage area of GPS information DT2 of external recording medium ME2.

なお、レーザ発信受信装置50、加速度計60及び角加速度計70としては、従来公知のものを用いることができ、ここでは、これらの詳しい説明は省略する。   In addition, conventionally well-known things can be used as the laser transmission / reception device 50, the accelerometer 60, and the angular accelerometer 70, and these detailed description is abbreviate | omitted here.

このように、レーザ発信受信装置50を用いることで、地表面に加えて、地表そのものの高精度な測量を実現させることが可能となる。   Thus, by using the laser transmission / reception device 50, it is possible to realize highly accurate surveying of the ground surface in addition to the ground surface.

しかも、IMUからの3軸の加速度に代えて、加速度計60からの3軸の加速度を用い、かつ、IMUからの3軸の角加速度に代えて、角加速度計70からの3軸の角速度を用いることで、所定の周期Ta(ここでは2秒)以外の時に、緯度、経度及び標高の情報を得ることができ、これにより、所定の周期Ta(ここでは2秒)以外の時の測量精度を確保することが可能となる。   In addition, the triaxial acceleration from the accelerometer 60 is used instead of the triaxial acceleration from the IMU, and the triaxial angular velocity from the angular accelerometer 70 is used instead of the triaxial angular acceleration from the IMU. By using it, it is possible to obtain information on latitude, longitude and altitude at times other than the predetermined cycle Ta (here 2 seconds), and thereby the surveying accuracy at times other than the predetermined cycle Ta (here 2 seconds). Can be secured.

また、本実施の形態では、GNSS(全地球測位システム)として、GPSを用いたが、GLONASS、ガリレオ、コンパス、QZSS等のGNSS(全地球測位システム)も用いることもできる。   In this embodiment, GPS is used as the GNSS (global positioning system), but GNSS (global positioning system) such as GLONASS, Galileo, Compass, QZSS, etc. can also be used.

また、GNSSによる測量手法として、リアルタイムキネマティック(RTK:Real Time Kinematic)測量手法を用いることができる。   Further, as a surveying method using GNSS, a real time kinematic (RTK) surveying method can be used.

本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。   The present invention is not limited to the embodiment described above, and can be implemented in various other forms. Therefore, such an embodiment is merely an example in all respects and should not be interpreted in a limited manner. The scope of the present invention is shown by the scope of claims, and is not restricted by the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.

10 飛行体
20 カメラ
30 GPS受信機
40 制御装置
41 記憶部
50 レーザ発信受信装置
60 加速度計
70 角加速度計
100 測量システム
200 測量対象
300 GPS衛星
400 タイマー装置
410 GPS受信機
420 表示部
500 コンピュータ
DG 撮影間隔
DT1 画像ファイルデータ
DT2 GPS情報
GG GPS情報取得間隔
M 記録媒体
M1 補正制御手段
M2 出力制御手段
P プログラム
P1 並び替え手段
P2 撮影間隔算出手段
P3 写真側間隔パターン検出手段
P4 先頭写真特定手段
P5 GPS情報取得間隔算出手段
P6 GPS側間隔パターン検出手段
P7 先頭GPS情報取得日時特定手段
P8 対応付け手段
P9 最終写真特定手段
P10 写真枚数カウント手段
P11 最終GPS情報取得日時特定手段
P12 経過時間算出手段
P13 撮影枚数算出手段
P14 照合手段
P15 抜け箇所検出手段
PS 撮影信号
PT 仮シャッター間隔パターン
T(1) 第1仮シャッター間隔
T(2) 第2仮シャッター間隔
Ta 所定の周期
Td シャッター遅れ時間
Tp 経過時間
Ts シャッター間隔
ta GPS情報取得日時
ta_st 測量開始日時
ta_ed 測量終了日時
tb 補正タイミング
DESCRIPTION OF SYMBOLS 10 Flying body 20 Camera 30 GPS receiver 40 Control apparatus 41 Memory | storage part 50 Laser transmission receiver 60 Accelerometer 70 Angular accelerometer 100 Survey system 200 Survey object 300 GPS satellite 400 Timer apparatus 410 GPS receiver 420 Display part 500 Computer DG Photographing Interval DT1 Image file data DT2 GPS information GG GPS information acquisition interval M Recording medium M1 Correction control means M2 Output control means P Program P1 Rearrangement means P2 Shooting interval calculation means P3 Photo side interval pattern detection means P4 First picture specifying means P5 GPS information Acquisition interval calculation means P6 GPS side interval pattern detection means P7 First GPS information acquisition date and time specifying means P8 Association means P9 Final photo specifying means P10 Photo number counting means P11 Final GPS information acquisition date and time specifying means P12 Elapsed time Output means P13 Number of photographed images calculating means P14 Collating means P15 Missing point detecting means PS Shooting signal PT Temporary shutter interval pattern T (1) First temporary shutter interval T (2) Second temporary shutter interval Ta Predetermined period Td Shutter delay time Tp Elapsed time Ts Shutter interval ta GPS information acquisition date and time ta_st Survey start date and time ta_ed Survey end date and time tb Correction timing

Claims (15)

飛行体から測量対象を撮影するカメラ及びGNSS衛星からの電波を受信するGNSS受信機に対する制御を司る制御装置であって、
記カメラのシャッターを切るための撮影信号が発せられてから実際に前記シャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間に関する情報を予め設定しておく記憶部と、
前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記シャッター遅れ時間分遡ったタイミングである補正タイミングを取得する補正制御手段と、
前記補正制御手段にて取得した前記補正タイミングで前記カメラのシャッターを切るための撮影信号を出力する出力制御手段と
を備え
前記出力制御手段は、予め定めた所定の周期の時間間隔であるシャッター間隔毎に前記撮影信号を出力する一方、前記シャッター間隔毎に前記撮影信号を出力する直前に、前記シャッター間隔とは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔を組み合わせた仮シャッター間隔パターンで前記撮影信号を出力することを特徴とする制御装置
A control equipment for controlling relative GNSS receiver for receiving radio waves from a camera and GNSS satellites to photograph the surveying object from aircraft,
A storage unit to set the information about the shutter shutter delay time indicating a delay in between to actually the shutter from the captured signal to release the shutter before Symbol camera is emitted is cut in advance,
Correction control means for obtaining a correction timing that is a timing retroactive by the shutter delay time based on information on the shutter delay time in the storage unit;
Output control means for outputting a photographing signal for releasing the shutter of the camera at the correction timing acquired by the correction control means ,
The output control means outputs the shooting signal for each shutter interval, which is a time interval of a predetermined cycle that is different from the shutter interval immediately before outputting the shooting signal for each shutter interval, and control device according to claim also be output from the imaging signal in the temporary shutter interval pattern obtained by combining a plurality of temporary shutter interval is different time intervals.
請求項1に記載の制御装置であって、
前記出力制御手段は、予め定めた所定の周期の時間間隔であるシャッター間隔毎に前記撮影信号を出力する一方、前記シャッター間隔毎の前記撮影信号を出力した直後に、前記シャッター間隔とは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔を組み合わせた仮シャッター間隔パターンで前記撮影信号を出力することを特徴とする制御装置
The control device according to claim 1 ,
The output control means, while outputting the imaging signal for each shutter interval is a time interval of a predetermined period determined Me pre, immediately after outputting the imaging signal for each of the shutter interval, different from the shutter interval And a control device that outputs the photographing signal in a temporary shutter interval pattern in which a plurality of temporary shutter intervals, which are different time intervals, are combined.
飛行体から測量対象を撮影するカメラ及びGNSS衛星からの電波を受信するGNSS受信機に対する制御を司る制御装置であって、A control device for controlling a camera for photographing a survey object from a flying object and a GNSS receiver for receiving radio waves from a GNSS satellite,
前記カメラのシャッターを切るための撮影信号が発せられてから実際に前記シャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間に関する情報を予め設定しておく記憶部と、A storage unit for setting in advance information relating to a shutter delay time indicating a delay of a shutter from when a shooting signal for releasing the shutter of the camera is issued until the shutter is actually released;
前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記シャッター遅れ時間分遡ったタイミングである補正タイミングを取得する補正制御手段と、Correction control means for obtaining a correction timing that is a timing retroactive by the shutter delay time based on information on the shutter delay time in the storage unit;
前記補正制御手段にて取得した前記補正タイミングで前記カメラのシャッターを切るための撮影信号を出力する出力制御手段とOutput control means for outputting a photographing signal for releasing the shutter of the camera at the correction timing acquired by the correction control means;
を備え、With
前記出力制御手段は、予め定めた所定の周期の時間間隔であるシャッター間隔毎に前記撮影信号を出力する一方、前記シャッター間隔毎の前記撮影信号を出力した直後に、前記シャッター間隔とは異なり、かつ、互いに異なる時間間隔である複数の仮シャッター間隔を組み合わせた仮シャッター間隔パターンで前記撮影信号を出力することを特徴とする制御装置。The output control means outputs the shooting signal for each shutter interval, which is a time interval of a predetermined cycle, while immediately after outputting the shooting signal for each shutter interval, unlike the shutter interval, In addition, the control device outputs the photographing signal in a temporary shutter interval pattern in which a plurality of temporary shutter intervals that are different time intervals are combined.
請求項1から請求項3までの何れか1項に記載の制御装置であって、
前記補正制御手段は、前記GNSS受信機によりGNSS情報を取得した時の前記GNSS情報の日時であるGNSS情報取得日時に対して、前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記補正タイミングを取得することを特徴とする制御装置
The control device according to any one of claims 1 to 3 , wherein
The correction control means sets the correction timing based on information on the shutter delay time in the storage unit with respect to a GNSS information acquisition date and time that is a date and time of the GNSS information when the GNSS information is acquired by the GNSS receiver. A control device characterized by acquiring.
請求項1から請求項4までの何れか1項に記載の制御装置であって、
前記複数の仮シャッター間隔は、予め定めた所定の時間間隔である第1仮シャッター間隔と、前記第1仮シャッター間隔とは異なる予め定めた所定の時間間隔である第2仮シャッター間隔とを含み、
前記出力制御手段は、前記仮シャッター間隔パターンとして、最初に、前記第1仮シャッター間隔で予め定めた所定の回数である第1仮シャッター回数分だけ前記撮影信号を出力し、次に、前記第2仮シャッター間隔で予め定めた所定の回数である第2仮シャッター回数分だけ前記撮影信号を出力し、次に、前記第1仮シャッター間隔で前記第1仮シャッター回数分だけ前記撮影信号を出力することを特徴とする制御装置
The control device according to any one of claims 1 to 4 , wherein:
The plurality of temporary shutter intervals include a first temporary shutter interval that is a predetermined predetermined time interval and a second temporary shutter interval that is a predetermined predetermined time interval different from the first temporary shutter interval. ,
The output control means first outputs the photographing signal as the temporary shutter interval pattern for the first temporary shutter number that is a predetermined number of times predetermined in the first temporary shutter interval, and then the second The shooting signal is output for the second temporary shutter number, which is a predetermined number of times predetermined in two temporary shutter intervals, and then the shooting signal is output for the first temporary shutter number for the first temporary shutter interval. A control device .
請求項1から請求項5までの何れか1項に記載の制御装置を備えた測量システムであって、
前記補正制御手段は、前記GNSS受信機によりGNSS情報を取得した時の前記GNSS情報の日時であるGNSS情報取得日時に対して、前記記憶部における前記シャッター遅れ時間に関する情報に基づいて前記補正タイミングを取得し、
前記カメラは、クロック機能を有し、かつ、撮影した写真の画像ファイルデータと前記クロック機能により該写真を撮影した時の日時である撮影日時とを対応付けて記録する構成とされており、
前記カメラにて写真を撮影した時の前記撮影日時の情報に基づいて該写真の画像ファイルデータを前記撮影日時の順に並び替える並び替えステップと、
前記並び替えステップにて前記撮影日時の順に並び替えられた写真の画像ファイルデータにおいて隣り合う画像ファイルデータの時間間隔である撮影間隔を算出する撮影間隔算出ステップと、
前記撮影間隔算出ステップにて算出した前記撮影間隔に基づいて前記カメラにて撮影した写真の画像ファイルデータのうち前記仮シャッター間隔パターンが何処にあるかを検出する写真側間隔パターン検出ステップと、
前記写真側間隔パターン検出ステップにて検出した前記仮シャッター間隔パターンの位置に基づいて前記カメラにて撮影した写真の画像ファイルデータのうち、前記測量対象の撮影を開始したときの先頭の画像ファイルデータを特定する先頭写真特定ステップと、
前記GNSS受信機により取得した前記GNSS情報取得日時において隣り合うGNSS情報取得日時の時間間隔であるGNSS情報取得間隔を算出するGNSS情報取得間隔算出ステップと、
前記GNSS情報取得間隔算出ステップにて算出した前記GNSS情報取得間隔に基づいて前記GNSS受信機により取得した前記GNSS情報取得日時のうち前記仮シャッター間隔パターンが何処にあるかを検出するGNSS側間隔パターン検出ステップと、
前記GNSS側間隔パターン検出ステップにて検出した前記仮シャッター間隔パターンの位置に基づいて前記GNSS受信機により取得した前記GNSS情報取得日時のうち前記測量対象の撮影を開始したときの先頭のGNSS情報取得日時である測量開始日時を特定する先頭GNSS情報取得日時特定ステップと、
前記並び替えステップにて前記撮影日時の順に並び替えられた写真の画像ファイルデータにおいて前記先頭写真特定ステップにて特定した前記先頭の写真の画像ファイルデータを基準に該先頭の写真以降の画像ファイルデータに対して、前記先頭GNSS情報取得日時特定ステップにて特定した前記測量開始日時から前記所定の周期毎の前記GNSS情報取得日時における前記GNSS情報を順に対応付ける対応付けステップと
を含む各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を備えていることを特徴とする測量システム。
A surveying system comprising the control device according to any one of claims 1 to 5 ,
The correction control means sets the correction timing based on information on the shutter delay time in the storage unit with respect to a GNSS information acquisition date and time that is a date and time of the GNSS information when the GNSS information is acquired by the GNSS receiver. Acquired,
The camera has a clock function, and is configured to record the image file data of the photographed photograph in association with the photographing date and time that is the date and time when the photograph was photographed.
A rearrangement step of rearranging the image file data of the photograph in the order of the photographing date and time based on the information of the photographing date and time when the photograph was taken by the camera;
A shooting interval calculating step of calculating a shooting interval which is a time interval between adjacent image file data in the image file data of the photos rearranged in the order of the shooting date and time in the rearranging step;
A photo-side interval pattern detection step for detecting where the temporary shutter interval pattern is in image file data of a photo taken by the camera based on the imaging interval calculated in the imaging interval calculating step;
Of the image file data of the photograph taken by the camera based on the position of the temporary shutter interval pattern detected in the photograph side interval pattern detection step, the first image file data when the shooting of the survey target is started The first photo identification step to identify
A GNSS information acquisition interval calculating step for calculating a GNSS information acquisition interval that is a time interval between adjacent GNSS information acquisition dates and times in the GNSS information acquisition date and time acquired by the GNSS receiver;
GNSS-side interval pattern for detecting where the temporary shutter interval pattern is located among the GNSS information acquisition date and time acquired by the GNSS receiver based on the GNSS information acquisition interval calculated in the GNSS information acquisition interval calculating step. A detection step;
Acquisition of the first GNSS information at the start of imaging of the survey target among the GNSS information acquisition date and time acquired by the GNSS receiver based on the position of the temporary shutter interval pattern detected in the GNSS side interval pattern detection step First GNSS information acquisition date and time specifying step for specifying the survey start date and time, which is the date and time,
Image file data after the first photo based on the image file data of the first photo specified in the first photo specifying step in the image file data of the photos rearranged in order of the shooting date and time in the rearrangement step Each step including the step of associating the GNSS information at the GNSS information acquisition date and time for each predetermined period in order from the survey start date and time specified in the first GNSS information acquisition date and time specifying step. surveying system characterized in that it has e Bei a computer-readable recording medium recording a program for executing.
請求項に記載の測量システムであって、
前記各ステップは、
前記先頭写真特定ステップにて特定した前記先頭の画像ファイルデータの位置と前記撮影間隔算出ステップにて算出した前記撮影間隔と前記シャッター間隔とに基づいて前記測量対象の撮影を終了したときの最終の画像ファイルデータを特定する最終写真特定ステップと、
前記先頭写真特定ステップにて特定した前記先頭の写真の画像ファイルデータから前記最終写真特定ステップにて特定した前記最終の写真の画像ファイルデータまでの画像ファイルデータの数である写真枚数をカウントする写真枚数カウントステップと、
前記先頭GNSS情報取得日時特定ステップにて特定した前記測量開始日時の位置と前記GNSS情報取得間隔算出ステップにて算出した前記GNSS情報取得間隔と前記シャッター間隔とに基づいて前記測量対象の撮影を終了したときの最終のGNSS情報取得日時である測量終了日時を特定する最終GNSS情報取得日時特定ステップと、
前記先頭GNSS情報取得日時特定ステップにて特定した前記測量開始日時と前記最終GNSS情報取得日時特定ステップにて特定した前記測量終了日時とに基づいて前記測量開始日時から前記測量終了日時までの経過時間を算出する経過時間算出ステップと、
前記経過時間算出ステップにて算出した前記経過時間と前記所定の周期とに基づいて撮影枚数を算出する撮影枚数算出ステップと、
前記写真枚数カウントステップにてカウントした前記写真枚数と前記撮影枚数算出ステップにて算出した前記撮影枚数とが一致するか否かを照合する照合ステップと
をさらに含むことを特徴とする測量システム。
The surveying system according to claim 6 ,
The steps are as follows:
Based on the position of the first image file data specified in the first photo specifying step, the shooting interval calculated in the shooting interval calculating step, and the shutter interval, the last time when the shooting of the survey target is completed A final photo identification step for identifying image file data;
A photo that counts the number of photos that is the number of image file data from the image file data of the first photo specified in the first photo specification step to the image file data of the last photo specified in the last photo specification step A number counting step;
End of the surveying object imaging based on the position of the surveying start date and time specified in the first GNSS information acquisition date and time specifying step, the GNSS information acquisition interval and the shutter interval calculated in the GNSS information acquisition interval calculation step A final GNSS information acquisition date and time specifying step for specifying a surveying end date and time that is the final GNSS information acquisition date and time when
Elapsed time from the surveying start date to the surveying end date based on the surveying start date and time specified in the first GNSS information acquisition date and time specifying step and the surveying end date and time specified in the final GNSS information acquisition date and time specifying step An elapsed time calculating step for calculating
A shooting number calculating step for calculating the number of shots based on the elapsed time calculated in the elapsed time calculating step and the predetermined period;
A surveying system, further comprising: a collating step for collating whether or not the number of photographs counted in the number-of-photographs counting step matches the number of photographed photographs calculated in the photographing number calculating step.
請求項に記載の測量システムであって、
前記各ステップは、
前記照合ステップにて前記写真枚数と前記撮影枚数とが一致しない場合において、前記撮影間隔算出ステップにて算出した前記撮影間隔が前記シャッター間隔と一致しない箇所である抜け箇所を検出する抜け箇所検出ステップ
をさらに含み、
前記対応付けステップは、前記先頭の写真以降の画像ファイルデータと前記GNSS情報取得日時における前記GNSS情報とを、前記抜け箇所検出ステップにて検出した前記抜け箇所を飛ばして、対応付けることを特徴とする測量システム。
The surveying system according to claim 7 ,
The steps are as follows:
In the case where the number of photographs does not match the number of shots taken in the collating step, a missing spot detecting step for detecting a missing spot where the shooting interval calculated in the shooting interval calculating step does not match the shutter interval. Further including
The associating step associates the image file data after the first photo with the GNSS information at the GNSS information acquisition date by skipping the missing part detected in the missing part detecting step. Surveying system.
請求項から請求項までの何れか1項に記載の測量システムであって、
前記カメラは、撮影した写真の画像ファイルデータを、撮影日時、緯度、経度及び標高を含む予め定めた所定の情報を埋め込み可能に規格化された画像ファイルデータフォーマットの形式に保存する構成とされており、
前記対応付けステップは、前記画像ファイルデータフォーマットの前記所定の情報における前記撮影日時、前記緯度、前記経度及び前記標高を、前記GNSS情報における撮影日時、緯度、経度及び標高にそれぞれ置き換えることを特徴とする測量システム。
A surveying system according to any one of claims 6 to 8 , wherein
The camera is configured to store image file data of a photographed photograph in a format of a standardized image file data format that can embed predetermined predetermined information including photographing date / time, latitude, longitude, and altitude. And
The association step replaces the shooting date / time, latitude, longitude, and altitude in the predetermined information of the image file data format with the shooting date / time, latitude, longitude, and elevation in the GNSS information, respectively. Surveying system.
請求項から請求項までの何れか1項に記載の測量システムであって、
記飛行体は、無線遠隔操縦される小型無人ヘリコプターであり、前記カメラと前記GNSS受信機と前記制御装置とを搭載ることを特徴とする測量システム。
A surveying system according to any one of claims 6 to 9 ,
Before SL flying body, wireless remote piloted small unmanned helicopter der is, surveying system characterized that you mounted between the camera and the GNSS receiver and the controller.
請求項から請求項10までの何れか1項に記載の測量システムであって、
前記飛行体に搭載されて該飛行体からレーザ光を測量対象に照射して該測量対象からの反射波を受信するレーザ発信受信装置をさらに備えていることを特徴とする測量システム。
A surveying system according to any one of claims 6 to 10 , wherein
A surveying system, further comprising a laser transmission / reception device mounted on the flying object and receiving a reflected wave from the surveying object by irradiating the surveying object with laser light from the flying object.
請求項1に記載の測量システムであって、
前記飛行体に搭載されて該飛行体の加速度を計測する加速度計と、前記飛行体に搭載されて該飛行体の角加速度を計測する角加速度計とをさらに備えていることを特徴とする測量システム。
A surveying system according to claim 1 1,
A surveying instrument further comprising: an accelerometer mounted on the flying object for measuring acceleration of the flying object; and an angular accelerometer mounted on the flying object for measuring angular acceleration of the flying object. system.
請求項から請求項12までの何れか1項に記載の測量システムにおける前記各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step in the surveying system according to any one of claims 6 to 12 . 請求項から請求項12までの何れか1項に記載の測量システムにおける前記各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 The computer-readable recording medium which recorded the program for making a computer perform each said step in the surveying system of any one of Claim 6 to 12 . 飛行体から測量対象を撮影するカメラ及びGNSS衛星からの電波を受信するGNSS受信機に対する制御を司る制御装置を備えた測量システムにおいて、前記カメラのシャッターを切るための撮影信号が発せられてから実際に前記シャッターが切られるまでの間のシャッターの遅れを示すシャッター遅れ時間を計測する計測方法であって、
タイマー機能によるタイマー時間を表示する表示部を有するタイマー装置を用い、前記タイマー機能によるタイマー時間に同期したタイミングで前記撮影信号を前記カメラに出力して前記カメラで前記表示部を撮影し、撮影した写真における前記表示部に表示されている前記タイマー時間に基づいて前記シャッター遅れ時間を計測することを特徴とする計測方法。
In a survey system equipped with a control device for controlling a camera for photographing a survey object from a flying object and a GNSS receiver for receiving radio waves from a GNSS satellite, it is actually performed after a photographing signal for releasing the shutter of the camera is issued. A measuring method for measuring a shutter delay time indicating a delay of the shutter until the shutter is released,
Using a timer device having a display unit that displays a timer time by a timer function, the shooting signal is output to the camera at a timing synchronized with the timer time by the timer function, and the display unit is photographed by the camera. A measurement method, comprising: measuring the shutter delay time based on the timer time displayed on the display unit in a photograph.
JP2014001179A 2013-01-07 2014-01-07 Control device, surveying system, program, recording medium, and measuring method Active JP5561843B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014001179A JP5561843B1 (en) 2013-01-07 2014-01-07 Control device, surveying system, program, recording medium, and measuring method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013000625 2013-01-07
JP2013000625 2013-01-07
JP2014001179A JP5561843B1 (en) 2013-01-07 2014-01-07 Control device, surveying system, program, recording medium, and measuring method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014085806A Division JP5590480B2 (en) 2013-01-07 2014-04-17 Control device, surveying system, program and recording medium

Publications (2)

Publication Number Publication Date
JP5561843B1 true JP5561843B1 (en) 2014-07-30
JP2014145762A JP2014145762A (en) 2014-08-14

Family

ID=51417027

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014001179A Active JP5561843B1 (en) 2013-01-07 2014-01-07 Control device, surveying system, program, recording medium, and measuring method
JP2014085806A Active JP5590480B2 (en) 2013-01-07 2014-04-17 Control device, surveying system, program and recording medium

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014085806A Active JP5590480B2 (en) 2013-01-07 2014-04-17 Control device, surveying system, program and recording medium

Country Status (1)

Country Link
JP (2) JP5561843B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10189567B2 (en) 2016-06-09 2019-01-29 Skycatch, Inc. Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation
JP2019041185A (en) * 2017-08-23 2019-03-14 キヤノン株式会社 Control device, control system, control method, program, and storage medium
JP2020143990A (en) * 2019-03-06 2020-09-10 三菱電機株式会社 Mobile body measuring device

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020170A1 (en) 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. System and method for image processing
US10766616B2 (en) 2015-08-31 2020-09-08 Hitachi, Ltd. Environment map automatic creation device
WO2017042907A1 (en) * 2015-09-09 2017-03-16 三菱電機株式会社 Navigation device and survey system
JP6332699B2 (en) * 2015-10-13 2018-05-30 株式会社amuse oneself Surveying equipment
WO2017105257A1 (en) * 2015-12-14 2017-06-22 Marcin Szender Msp Method of remote simultaneous triggering of cameras and recording the position of central projections of photographs
JP6687488B2 (en) * 2015-12-24 2020-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Unmanned aerial vehicle and control method thereof
US11099030B2 (en) 2016-06-02 2021-08-24 Mitsubishi Electric Corporation Attitude estimation apparatus, attitude estimation method, and observation system
CN108253942B (en) * 2017-06-08 2020-05-01 中国科学院遥感与数字地球研究所 Method for improving oblique photography measurement space-three quality
JP7152137B2 (en) * 2017-08-28 2022-10-12 株式会社トプコン Photogrammetry system and photogrammetry method
JP6994879B2 (en) * 2017-09-20 2022-02-04 株式会社トプコン Surveying system
WO2020065719A1 (en) * 2018-09-25 2020-04-02 株式会社エアロネクスト Flight vehicle
JP7021162B2 (en) * 2019-09-20 2022-02-16 本田技研工業株式会社 Vehicle control device
JP6681105B2 (en) * 2019-11-28 2020-04-15 株式会社エアロネクスト Flying body
JP7432238B2 (en) 2020-06-30 2024-02-16 株式会社クエストコーポレーション Object suspension stabilization device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0611342A (en) * 1991-03-26 1994-01-21 Kadoi Wataru Differential pressure type altimeter
JPH08285588A (en) * 1995-04-13 1996-11-01 Mitsui Constr Co Ltd Photographing apparatus and flight photographing apparatus using the apparatus
JPH0979850A (en) * 1995-09-12 1997-03-28 Kyoritsu Koku Satsuei Kk Aerial photograph photographing device
JP2002243444A (en) * 2001-02-21 2002-08-28 Penta Ocean Constr Co Ltd Method and apparatus for surveying by aerial photography
JP2006027331A (en) * 2004-07-13 2006-02-02 Hiroboo Kk Method for collecting aerial image information by utilizing unmanned flying object
JP2007240506A (en) * 2006-03-06 2007-09-20 Giyourin Cho Three-dimensional shape and 3-dimensional topography measuring method
JP5027747B2 (en) * 2008-07-01 2012-09-19 株式会社トプコン POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10189567B2 (en) 2016-06-09 2019-01-29 Skycatch, Inc. Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation
JP2019041185A (en) * 2017-08-23 2019-03-14 キヤノン株式会社 Control device, control system, control method, program, and storage medium
JP7057637B2 (en) 2017-08-23 2022-04-20 キヤノン株式会社 Control devices, control systems, control methods, programs, and storage media
JP2020143990A (en) * 2019-03-06 2020-09-10 三菱電機株式会社 Mobile body measuring device

Also Published As

Publication number Publication date
JP2014145762A (en) 2014-08-14
JP2014145784A (en) 2014-08-14
JP5590480B2 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
JP5561843B1 (en) Control device, surveying system, program, recording medium, and measuring method
JP6367522B2 (en) Aerial photography system
US8953933B2 (en) Aerial photogrammetry and aerial photogrammetric system
JP6854164B2 (en) Survey data processing device, survey data processing method, survey data processing system and survey data processing program
JP5656316B1 (en) System including a marker device and method using the same
KR102664900B1 (en) Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
US10636171B2 (en) Device, method, and system for tracking unmanned aerial vehicle, and program therefor
JP6393912B2 (en) Surveying system, setting device, setting program and recording medium
CN106289184B (en) A kind of no GNSS signal and cooperate with vision deformation monitoring method without unmanned plane under control point
Rehak et al. Fixed-wing micro aerial vehicle for accurate corridor mapping
KR101214081B1 (en) Image expression mapping system using space image and numeric information
CN111083309B (en) Time alignment method of multi-sensor data and data acquisition equipment
JP2006027331A (en) Method for collecting aerial image information by utilizing unmanned flying object
US20220026208A1 (en) Surveying system, surveying method, and surveying program
Mouget et al. Photogrammetric archaeological survey with UAV
JP2018146524A (en) Survey system
JPH08285588A (en) Photographing apparatus and flight photographing apparatus using the apparatus
JP6767279B2 (en) Surveying system
US20210229810A1 (en) Information processing device, flight control method, and flight control system
WO2019188961A1 (en) Target device and surveying system
CN112995524A (en) High-precision acquisition vehicle, and photo exposure information generation system, method and synchronization device thereof
JP6368016B2 (en) Aerial photography system
JP2002243444A (en) Method and apparatus for surveying by aerial photography
JP6974290B2 (en) Position estimation device, position estimation method, program, and recording medium
JP6553134B2 (en) Aerial photography system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140606

R150 Certificate of patent or registration of utility model

Ref document number: 5561843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250