JP6861592B2 - データ間引き装置、測量装置、測量システム及びデータ間引き方法 - Google Patents

データ間引き装置、測量装置、測量システム及びデータ間引き方法 Download PDF

Info

Publication number
JP6861592B2
JP6861592B2 JP2017138004A JP2017138004A JP6861592B2 JP 6861592 B2 JP6861592 B2 JP 6861592B2 JP 2017138004 A JP2017138004 A JP 2017138004A JP 2017138004 A JP2017138004 A JP 2017138004A JP 6861592 B2 JP6861592 B2 JP 6861592B2
Authority
JP
Japan
Prior art keywords
point
distance
calculation unit
coordinates
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017138004A
Other languages
English (en)
Other versions
JP2019020218A (ja
Inventor
百代 日野
百代 日野
秀明 前原
秀明 前原
謙二 平
謙二 平
純雄 加藤
純雄 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd, Mitsubishi Electric Corp filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2017138004A priority Critical patent/JP6861592B2/ja
Priority to EP18831115.3A priority patent/EP3637048A4/en
Priority to US16/623,116 priority patent/US20200116482A1/en
Priority to CN201880045516.4A priority patent/CN110869699A/zh
Priority to PCT/JP2018/012928 priority patent/WO2019012751A1/ja
Publication of JP2019020218A publication Critical patent/JP2019020218A/ja
Application granted granted Critical
Publication of JP6861592B2 publication Critical patent/JP6861592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Description

この発明は、移動体の姿勢推定で用いるデータを間引くデータ間引き装置、測量装置、測量システム及びデータ間引き方法に関する。
測量システムでは、移動体に測距装置及びカメラを搭載し、計測結果及び移動体の姿勢を用いて各測距点の絶対位置を得ている。この際、移動体の姿勢は、IMU(Inertial Measurement Unit)により取得される。
しかしながら、IMUは、非常に高価且つ比較的重い装置であり、IMUを搭載可能な移動体の種類が限定されてしまう。この課題を解決するため、IMU及びスタビライザを搭載しない構成で移動体の姿勢を精度よく推定する航法装置が提案されている(例えば特許文献1参照)。
特許第6029794号
特許文献1では、IMU及びスタビライザを搭載しない構成で移動体の姿勢を精度よく推定する航法装置が提案されている。具体的には、測距点に関するデータと複数の画像間とのテンプレートマッチング結果を用い、バンドル計算により、移動体の姿勢を計算している。
しかしながら、この航法装置では、レーザ光の照射点数が多い程バンドル計算の計算量が多くなり、処理時間がかかり、また、測距点によっては姿勢の推定精度が低下するという課題がある。
この発明は、上記のような課題を解決するためになされたもので、移動体の姿勢推定で用いるデータを間引くことが可能なデータ間引き装置を提供することを目的としている。
この発明に係るデータ間引き装置は、移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、移動体に搭載された座標測定装置により測定されたレーザ光の照射基準点の座標とを示す測距点に関するデータ、及び、移動体の姿勢角から、測距点毎に、移動体に搭載された撮影装置により周期的に測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、画像毎に、特徴点を抽出する特徴点抽出部と、測距点毎に、対応する画像において、座標計算部により計算された座標から、特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と、測距点毎に、対応する画像において、座標計算部により計算された座標が、物体のエッジ部を観測した点であるかを判定するエッジ判定部と、距離計算部により計算された距離のうちの距離が遠い測距点及びエッジ判定部によりエッジ部を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部とを備えたことを特徴とする。
この発明によれば、上記のように構成したので、移動体の姿勢推定で用いるデータを間引くことが可能である。
この発明の実施の形態1に係る測量システムの構成例を示すブロック図である。 図2A〜図2Dは、この発明の実施の形態1における測距装置、左カメラ及び右カメラの位置関係を模式的に示す図であり、図2Aは測距装置、左カメラ及び右カメラが搭載された航空機を示す斜視図であり、図2Bは航空機をX軸方向から見た図であり、図2Cは航空機をZ軸方向から見た図であり、図2Dは航空機をY軸方向から見た図である。 この発明の実施の形態1に係るデータ間引き装置の機能構成例を示すブロック図である。 図4A、図4Bは、この発明の実施の形態1に係るデータ間引き装置のハードウェア構成例を示すブロック図である。 この発明の実施の形態1に係るデータ間引き装置の動作例を示すフローチャートである。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係る測量システム1の構成例を示すブロック図である。
測量システム1は、地形を測量する。この測量システム1は、図1に示すように、測距装置11、左カメラ12、右カメラ13、GNSS装置(座標測定装置)14、メモリカード(記憶装置)15、データ間引き装置16及び航法装置17を備えている。なお、測距装置11、左カメラ12、右カメラ13、GNSS装置14及びメモリカード15は、航空機(移動体)2に搭載されている。
航空機2は、測距装置11、左カメラ12、右カメラ13、GNSS装置14及びメモリカード15を搭載して飛行できればよく、パイロットが操縦を行う航空機でもよいし、UAV(Unmanned Aerial Vehicle)でもよい。
また、航空機2の姿勢は、航空機2のローリング方向、ピッチング方向及びヨーイング方向の姿勢角であるロール角ω、ピッチ角φ及びヨー角κの3つのパラメータによって特定される。
測距装置11は、航空機2が飛行中に、レーザ光の照射角度θを変えながら、地表面に対してレーザ光の送受信を行うことで、レーザ光の照射基準点から測距点Pまでの距離lを測定する。そして、測距装置11は、測距点P毎に、距離lを示す距離データ、及び、距離lが得られたレーザ光の照射角度θを示す角度データを、メモリカード15に出力する。
左カメラ12及び右カメラ13は、航空機2が飛行中に、測距装置11の測距点Pを含む領域(地表面)を撮影する。左カメラ12及び右カメラ13には、左カメラ12及び右カメラ13を制御する制御装置(不図示)が接続されている。例えば、制御装置は、左カメラ12及び右カメラ13に対し、予め定めた周期(例えば1秒毎)で、地表面の撮影を行うよう指示を行う。そして、制御装置は、左カメラ12及び右カメラ13による撮影で得られた画像を撮影日時と対応付けた画像データを、メモリカード15に出力する。なお、左カメラ12、右カメラ13及び制御装置は、撮影装置を構成する。
図2は、測距装置11、左カメラ12及び右カメラ13の位置関係を模式的に示している。
また、ここでは、2台のカメラ(左カメラ12及び右カメラ13)を用いた場合を示しているが、これに限らず、1台のカメラのみを用いてもよい。
GNSS装置14は、予め定めた周期で、測距装置11におけるレーザ光の照射基準点の三次元座標(X,Y,Z)を測定する。そして、GNSS装置14は、レーザ光の照射基準点の三次元座標(X,Y,Z)を示す座標データを、メモリカード15に出力する。例えば、GNSS装置14は、左カメラ12及び右カメラ13による撮影に同期してレーザ光の照射基準点の三次元座標(X,Y,Z)を測定する。
なお、GNSS装置14と照射基準点との位置の違いは、GNSS装置14の測定精度に対して許容範囲内であるとする。すなわち、GNSS装置14は、照射基準点と同一の位置にあるものとする。更に、照射基準点の位置は、航空機2の位置と同一の意味であるものとする。
メモリカード15は、測距装置11により出力された距離データ及び角度データ、撮影装置により出力された画像データ、及び、GNSS装置14により出力された座標データを記憶する。このメモリカード15としては、例えばSD(Secure Digital)メモリカードを使用できる。
データ間引き装置16は、メモリカード15に記憶されたデータ及び航法装置17により設定された航空機2の姿勢角(ω,φ,κ)に基づいて、上記データから移動体の姿勢推定に不要なデータを間引く。そして、データ間引き装置16は、不要なデータを間引いたデータを、航法装置17に出力する。なお図1では、データ間引き装置16を航空機2の外部に設けた場合を示したが、これに限らず、データ間引き装置16を航空機2に搭載してもよい。このデータ間引き装置16の構成例については後述する。
航法装置17は、データ間引き装置16により出力されたデータを用いて、航空機2の姿勢を推定し、航空機2の姿勢角(ω,φ,κ)を設定する。なお、航空機2の姿勢角(ω,φ,κ)は、初回では、初期値が設定される。なお、航法装置17は既存のもの(例えば特許文献1)を使用でき、その構成及び動作については説明を省略する。なお図1では、航法装置17を航空機2の外部に設けた場合を示したが、これに限らず、航法装置17を航空機2に搭載してもよい。
なお、データ間引き装置16及び航法装置17は測量装置を構成する。また、データ間引き装置16及び航法装置17を同じハードウェア上で実装し、当該ハードウェアでデータ間引き装置16及び航法装置17の両方の機能を実現してもよい。
次に、データ間引き装置16の構成例について、図3を参照しながら説明する。
データ間引き装置16は、図3に示すように、座標計算部161、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166を備えている。
座標計算部161は、メモリカード15から読み出した複数の測距点Pに関するデータ(距離データ、角度データ及び座標データ)及び航空機2の姿勢角(ω,φ,κ)から、測距点P毎に、メモリカード15から読み出した複数の画像データに含まれる画像のうちの対応する画像上での座標(x,y)を計算する。なお、測距点Pに対応する画像とは、測距点Pに対するレーザ光の照射時刻に近い(通常は、最も近い)時刻での撮影により得られた画像である。また、航空機2の姿勢角(ω,φ,κ)は、航法装置17により設定された最新の値のものを用いる。この際、座標計算部161は、まず、距離データ、角度データ、座標データ及び航空機2の姿勢角(ω,φ,κ)から、測距点P毎に、測距点Pの三次元座標(X,Y,Z)を算出する。そして、座標計算部161は、座標データ及び航空機2の姿勢角(ω,φ,κ)から、対応する画像を撮影した左カメラ12及び右カメラ13の投影中心座標(X,Y,Z)を算出する。そして、座標計算部161は、航空機2の姿勢角(ω,φ,κ)、各測距点Pの三次元座標(X,Y,Z)、及び、各画像を撮影した左カメラ12及び右カメラ13の投影中心座標(X,Y,Z)から、測距点P毎に、対応する画像上での座標(x,y)を算出する。
なお、座標(x,y)は、姿勢角(ω,φ,κ)が実際の航空機2の姿勢と完全に一致しているとみなした場合での座標である。
特徴点抽出部162は、メモリカード15から読み出した複数の画像データに含まれる画像毎に、特徴点を抽出する。なお図3では、特徴点抽出部162は、上記画像データを座標計算部161を介してメモリカード15から取得する場合を示している。特徴点抽出部162による特徴点の抽出には、SIFT(Scale−Invariant Feature Transform)又はSURF等の回転及びスケールの変換に依存しない特徴が用いられる。
距離計算部163は、上記測距点P毎に、上記対応する画像において、座標計算部161により計算された座標(x,y)から、特徴点抽出部162により抽出された特徴点のうちの距離の近い(通常は、最も近い)特徴点までの距離を計算する。なお図3では、距離計算部163は、上記座標(x,y)を示すデータを特徴点抽出部162を介して座標計算部161から取得する場合を示している。
エッジ判定部164は、上記測距点P毎に、上記対応する画像において、座標計算部161により計算された座標(x,y)が、物体(建物等)のエッジ部を観測した点であるかを判定する。この際、例えば、エッジ判定部164は、測距点Pの座標(x,y)の時間的連続性から、当該座標(x,y)でのエッジ強度を計算する。
植生判定部165は、上記測距点P毎に、上記対応する画像において、座標計算部161により計算された座標(x,y)が、植生を観測した点であるかを判定する。この際、例えば、植生判定部165は、測距点Pの座標(x,y)での反射輝度から、当該座標(x,y)が植生を観測した点である確率を計算する。
要否判定部166は、距離計算部163による計算結果、エッジ判定部164による判定結果及び植生判定部165による判定結果から、メモリカード15から読み出した測距点Pに関するデータ(距離データ、角度データ及び座標データ)のうちの不要なデータを間引く。この際、要否判定部166は、距離計算部163による計算結果、エッジ判定部164による判定結果及び植生判定部165による判定結果から、上記測距点P毎に、要否を判定するための評価値を算出する。そして、要否判定部166は、予め設定した間引き点数に沿うように画像を分割し、当該分割したエリア毎に、算出した評価値の低い(通常は、最も低い)測距点Pを選択する。そして、要否判定部166は、選択した測距点Pに関するデータは必要なデータとし、選択しなかった測距点Pに関するデータは不要なデータとみなして削除する。
図4はデータ間引き装置16のハードウェア構成例を示すブロック図である。
データ間引き装置16における座標計算部161、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166の各機能は、処理回路51により実現される。処理回路51は、図4Aに示すように、専用のハードウェアであっても、図4Bに示すように、メモリ53に格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)ともいう)52であってもよい。
処理回路51が専用のハードウェアである場合、処理回路51は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はこれらを組み合わせたものが該当する。座標計算部161、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166の各部の機能それぞれを処理回路51で実現してもよいし、各部の機能をまとめて処理回路51で実現してもよい。
処理回路51がCPU52の場合、座標計算部161、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ53に格納される。処理回路51は、メモリ53に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、データ間引き装置16は、処理回路51により実行されるときに、例えば図5に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ53を備える。また、これらのプログラムは、座標計算部161、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ53とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、座標計算部161、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、座標計算部161については専用のハードウェアとしての処理回路51でその機能を実現し、特徴点抽出部162、距離計算部163、エッジ判定部164、植生判定部165及び要否判定部166については処理回路51がメモリ53に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
このように、処理回路51は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
次に、実施の形態1に係るデータ間引き装置16の動作例について、図5を参照しながら説明する。図5では、データ間引き装置16が、飛行中の航空機2に搭載されたメモリカード15からデータを取得し、航法装置17へデータを渡すまでの一連の処理を示している。また以下では、1台のカメラ(左カメラ12)のみを用いた場合を示す。
データ間引き装置16の動作例では、図5に示すように、まず、座標計算部161は、メモリカード15から読み出した測距点Pに関するデータ(距離データ、角度データ及び座標データ)及び航空機2の姿勢角(ω,φ,κ)から、メモリカード15から読み出した複数の画像データに含まれる画像のうちの当該測距点Pに対応する画像上での座標(x,y)を計算する(ステップST41)。
この際、まず、座標計算部161は、距離データ、角度データ、座標データ及び航空機2の姿勢角(ω,φ,κ)から、下式(1)に従い、測距点Pの三次元座標(X,Y,Z)を算出する。

Figure 0006861592
式(1)において、Rtは、航空機2の姿勢に応じた測距装置11及び左カメラ12の傾きを表す3×3の回転行列の要素である。このRtは、時刻tにおける航空機2の姿勢角(ω(t),φ(t),κ(t))を用いて、下式(2)で表される。

Figure 0006861592
そして、座標計算部161は、座標データ及び航空機2の姿勢角(ω,φ,κ)から、下式(3)に従い、上記測距点Pに対応する画像を撮影した左カメラ12の投影中心座標(X,Y,Z)を算出する。式(3)において、Rimgtは、測距点Pに対するレーザ光の照射時刻に最も近い撮影時刻における航空機2の姿勢角(ω,φ,κ)から算出される回転行列である。

Figure 0006861592
そして、座標計算部161は、航空機2の姿勢角(ω,φ,κ)、上記測距点Pの三次元座標(X,Y,Z)、及び、上記測距点Pに対応する画像を撮影した左カメラ12の投影中心座標(X,Y,Z)から、下式(4)に従い、対応する画像上での測距点Pの座標(x,y)を算出する。式(4)において、cは、左カメラ12の焦点距離である。また、式(4)におけるU,V,Wは下式(5)で表され、式(5)におけるb11〜b33は下式(6)で表される。

Figure 0006861592

Figure 0006861592
座標計算部161は、上記の処理を、全ての測距点Pに対して行う。
次いで、特徴点抽出部162は、メモリカード15から読み出した画像データに含まれる画像から特徴点を抽出する(ステップST42)。この際、処理時間の短縮のため、特徴点抽出部162は、入力画像を1/4程度に縮小した上で特徴点の抽出処理を行ってもよい。特徴点抽出部162は、上記の処理を、全ての画像データに含まれる画像に対して行う。
次いで、距離計算部163は、測距点Pに対応する画像において、座標計算部161により計算された座標(x,y)から、特徴点抽出部162により抽出された特徴点のうちの距離の最も近い特徴点までの距離を計算する(ステップST43)。距離計算部163は、上記の処理を、全ての測距点Pに対して行う。
また、エッジ判定部164は、測距点Pに対応する画像において、座標計算部161により計算された測距点Pの座標(x,y)が、物体(建物等)のエッジ部を観測した点であるかを判定する(ステップST44)。この際、例えば、エッジ判定部164は、上記測距点Pの座標(x,y)の周囲での測距値の変化の急峻度(エッジ強度)を中央差分又はSobelオペレータにより算出する。また、エッジ判定部164は、画像からエッジ部を検出することで、上記エッジ強度を算出してもよい。エッジ判定部164は、上記の処理を、全ての測距点Pに対して行う。
また、植生判定部165は、測距点Pに対応する画像において、座標計算部161により計算された座標(x,y)が、植生を観測した点であるかを判定する(ステップST45)。この際、例えば、植生判定部165は、上記測距点Pの座標(x,y)での反射輝度が閾値未満である場合には確率1(植生である)とし、閾値以上である場合には確率0(植生ではない)とする。植生判定部165は、上記の処理を、全ての測距点Pに対して行う。
次いで、要否判定部166は、距離計算部163による計算結果、エッジ判定部164による判定結果及び植生判定部165による判定結果から、測距点Pの要否を判定するための評価値を算出する(ステップST46)。この際、要否判定部166は、距離計算部163により計算された距離と、エッジ判定部164により判定されたエッジ強度と、植生判定部165により判定された植生である確率との重み付け和により、上記評価値を算出する。要否判定部166は、上記の処理を、全ての測距点Pに対して行う。
次いで、要否判定部166は、予め設定した間引き点数に沿うように画像を分割し、当該分割したエリア毎に、算出した評価値の最も低い測距点Pを選択する(ステップST47)。
次いで、要否判定部166は、選択した測距点Pに関するデータは必要なデータとし、選択しなかった測距点Pに関するデータは不要なデータとみなして削除する(ステップST48)。すなわち、画像中の特徴的な点は地形の測量に有用であるため、要否判定部166は、特徴点から遠い測距点Pに関するデータは不要なデータとみなす。また、物体のエッジ部では測距装置11による測距値が安定しないため、要否判定部166は、エッジ強度が高い測距点Pに関するデータは不要なデータとみなす。また、植生領域では、測距装置11はレーザ光が木の葉を透過するため地面までの距離を測定するが、左カメラ12は木々を撮影することになるため、同一点を観測できない。そのため、要否判定部166は、植生を観測した点である確率が高い測距点Pに関するデータは不要なデータとみなす。
なお上記では、データ間引き装置16に、距離計算部163、エッジ判定部164及び植生判定部165を全て設けた場合を示した。しかしながら、これに限らず、データ間引き装置16は、距離計算部163、エッジ判定部164及び植生判定部165のうちの1つ以上を設けていればよい。重要度の順位は、高い順に、距離計算部163、エッジ判定部164、植生判定部165である。
以上のように、この実施の形態1によれば、航空機2に搭載された測距装置11によりレーザ光を用いて測定された複数の測距点Pまでの距離及び角度と、航空機2に搭載されたGNSS装置14により測定された上記レーザ光の照射基準点の座標とを示す測距点Pに関するデータ、及び、航空機2の姿勢角から、測距点P毎に、航空機2に搭載されたカメラ12,13により周期的に測距点Pを含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部161と、画像毎に、特徴点を抽出する特徴点抽出部162と、測距点P毎に、対応する画像において、座標計算部161により計算された座標から、特徴点抽出部162により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部163と、距離計算部163による計算結果から、測距点Pに関するデータのうちの不要なデータを削除する要否判定部166とを備えた。したがって、航空機2の姿勢推定で用いるデータを間引くことが可能である。すなわち、測量システム1では、データ間引き装置16において、計測精度を悪化させるような測距点pに関するデータを除去した上で、後段の航法装置17へデータを出力できる。これにより、航法装置17における航空機2の姿勢推定精度向上が可能となる。また、余計な測距点pを間引くことで、航法装置17における計算速度向上が見込める。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
1 測量システム、2 航空機(移動体)、11 測距装置、12 左カメラ、13 右カメラ、14 GNSS装置(座標測定装置)、15 メモリカード(記憶装置)、16 データ間引き装置、17 航法装置、51 処理回路、52 CPU、53 メモリ、161 座標計算部、162 特徴点抽出部、163 距離計算部、164 エッジ判定部、165 植生判定部、166 要否判定部。

Claims (8)

  1. 移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、
    前記画像毎に、特徴点を抽出する特徴点抽出部と、
    前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と
    記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、物体のエッジ部を観測した点であるかを判定するエッジ判定部と、
    前記距離計算部により計算された距離のうちの距離が遠い測距点及び前記エッジ判定部によりエッジ部を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部と
    を備えたデータ間引き装置。
  2. 移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、
    前記画像毎に、特徴点を抽出する特徴点抽出部と、
    前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と
    記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、植生を観測した点であるかを判定する植生判定部と、
    前記距離計算部により計算された距離のうちの距離の遠い測距点及び前記植生判定部により植生を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部と
    を備えたデータ間引き装置。
  3. 移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、
    前記画像毎に、特徴点を抽出する特徴点抽出部と、
    前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と
    記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、物体のエッジ部を観測した点であるかを判定するエッジ判定部と、
    前記距離計算部により計算された距離のうちの距離が遠い測距点及び前記エッジ判定部によりエッジ部を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部と、
    前記要否判定部により不要なデータが削除された前記測距点に関するデータを用いて、前記移動体の姿勢角を設定する航法装置
    を備えた測量装置。
  4. 移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、
    前記画像毎に、特徴点を抽出する特徴点抽出部と、
    前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と
    記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、植生を観測した点であるかを判定する植生判定部と、
    前記距離計算部により計算された距離のうちの距離の遠い測距点及び前記植生判定部により植生を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部と、
    前記要否判定部により不要なデータが削除された前記測距点に関するデータを用いて、前記移動体の姿勢角を設定する航法装置
    を備えた測量装置。
  5. 移動体に搭載され、レーザ光により複数の測距点までの距離及び角度を測定する測距装置と、
    前記移動体に搭載され、前記レーザ光の照射基準点の座標を測定する座標測定装置と、
    前記移動体に搭載され、周期的に、前記測距点を含む領域を撮影して画像を得る撮影装置と、
    前記測距装置により測定された各測距点までの距離及び角度と、前記座標測定装置により測定された座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記撮影装置により得られた対応する画像上での座標を計算する座標計算部と、
    前記画像毎に、特徴点を抽出する特徴点抽出部と、
    前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と
    記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、物体のエッジ部を観測した点であるかを判定するエッジ判定部と、
    前記距離計算部により計算された距離のうちの距離が遠い測距点及び前記エッジ判定部によりエッジ部を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部と、
    前記要否判定部により不要なデータが削除された前記測距点に関するデータを用いて、前記移動体の姿勢角を設定する航法装置
    を備えた測量システム。
  6. 移動体に搭載され、レーザ光により複数の測距点までの距離及び角度を測定する測距装置と、
    前記移動体に搭載され、前記レーザ光の照射基準点の座標を測定する座標測定装置と、
    前記移動体に搭載され、周期的に、前記測距点を含む領域を撮影して画像を得る撮影装置と、
    前記測距装置により測定された各測距点までの距離及び角度と、前記座標測定装置により測定された座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記撮影装置により得られた対応する画像上での座標を計算する座標計算部と、
    前記画像毎に、特徴点を抽出する特徴点抽出部と、
    前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と
    記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、植生を観測した点であるかを判定する植生判定部と、
    前記距離計算部により計算された距離のうちの距離の遠い測距点及び前記植生判定部により植生を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する要否判定部と、
    前記要否判定部により不要なデータが削除された前記測距点に関するデータを用いて、前記移動体の姿勢角を設定する航法装置
    を備えた測量システム。
  7. 座標計算部が、移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算し、
    特徴点抽出部が、前記画像毎に、特徴点を抽出し、
    距離計算部が、前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算し、
    ッジ判定部が、前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、物体のエッジ部を観測した点であるかを判定し、
    要否判定部が、前記距離計算部により計算された距離のうちの距離が遠い測距点及び前記エッジ判定部によりエッジ部を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する
    ことを特徴とするデータ間引き方法。
  8. 座標計算部が、移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算し、
    特徴点抽出部が、前記画像毎に、特徴点を抽出し、
    距離計算部が、前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算し、
    生判定部が、前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、植生を観測した点であるかを判定し、
    要否判定部が、前記距離計算部により計算された距離のうちの距離の遠い測距点及び前記植生判定部により植生を観測した点であると判定された測距点に関するデータを、不要なデータとして削除する
    ことを特徴とするデータ間引き方法。
JP2017138004A 2017-07-14 2017-07-14 データ間引き装置、測量装置、測量システム及びデータ間引き方法 Active JP6861592B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017138004A JP6861592B2 (ja) 2017-07-14 2017-07-14 データ間引き装置、測量装置、測量システム及びデータ間引き方法
EP18831115.3A EP3637048A4 (en) 2017-07-14 2018-03-28 DATA THINNING DEVICE, SURVEYING DEVICE, SURVEYING SYSTEM AND DATA THINNING METHOD
US16/623,116 US20200116482A1 (en) 2017-07-14 2018-03-28 Data thinning device, surveying device, surveying system, and data thinning method
CN201880045516.4A CN110869699A (zh) 2017-07-14 2018-03-28 数据间除装置、测量装置、测量系统以及数据间除方法
PCT/JP2018/012928 WO2019012751A1 (ja) 2017-07-14 2018-03-28 データ間引き装置、測量装置、測量システム及びデータ間引き方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017138004A JP6861592B2 (ja) 2017-07-14 2017-07-14 データ間引き装置、測量装置、測量システム及びデータ間引き方法

Publications (2)

Publication Number Publication Date
JP2019020218A JP2019020218A (ja) 2019-02-07
JP6861592B2 true JP6861592B2 (ja) 2021-04-21

Family

ID=65001584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017138004A Active JP6861592B2 (ja) 2017-07-14 2017-07-14 データ間引き装置、測量装置、測量システム及びデータ間引き方法

Country Status (5)

Country Link
US (1) US20200116482A1 (ja)
EP (1) EP3637048A4 (ja)
JP (1) JP6861592B2 (ja)
CN (1) CN110869699A (ja)
WO (1) WO2019012751A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716160B (zh) * 2017-08-25 2022-12-02 北京航迹科技有限公司 用于检测车辆环境信息的方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029794B2 (ja) 1977-12-14 1985-07-12 王子製紙株式会社 アルカリサルフアイドパルプ化法
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
KR100792221B1 (ko) * 2006-09-29 2008-01-07 학교법인 포항공과대학교 스테레오 비전의 시각 특징점과 초음파 센서의 선 형상의결합을 통한 동시 위치인식 및 지도형성 방법
CN101718546A (zh) * 2009-12-10 2010-06-02 清华大学 一种车载式道路纵断面测量方法及其测量系统
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5356269B2 (ja) * 2010-01-29 2013-12-04 株式会社パスコ レーザデータのフィルタリング方法及び装置
KR101083902B1 (ko) * 2011-06-14 2011-11-15 (주)태일아이엔지 항공 레이저 측량 데이터의 필터링을 이용한 3차원 공간정보 구축 시스템
US8731247B2 (en) * 2012-01-20 2014-05-20 Geodigital International Inc. Densifying and colorizing point cloud representation of physical surface using image data
WO2017042907A1 (ja) * 2015-09-09 2017-03-16 三菱電機株式会社 航法装置および測量システム

Also Published As

Publication number Publication date
CN110869699A (zh) 2020-03-06
EP3637048A4 (en) 2020-06-24
US20200116482A1 (en) 2020-04-16
JP2019020218A (ja) 2019-02-07
WO2019012751A1 (ja) 2019-01-17
EP3637048A1 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
CN110799921A (zh) 拍摄方法、装置和无人机
US9672630B2 (en) Contour line measurement apparatus and robot system
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
KR102209008B1 (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN105825498B (zh) 测量数据处理装置、测量数据处理方法以及程序
CN108335337B (zh) 一种正射影像图的生成方法及装置
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
JP2014529727A (ja) 自動シーン較正
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
CN109099889B (zh) 近景摄影测量系统和方法
JP2019032218A (ja) 位置情報記録方法および装置
WO2019205087A1 (zh) 图像增稳方法和装置
JP2016039390A (ja) 画像生成方法および装置
JP2016138826A5 (ja)
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP6506031B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP5267100B2 (ja) 運動推定装置及びプログラム
JP7008736B2 (ja) 画像キャプチャ方法および画像キャプチャ装置
CN113052974A (zh) 物体三维表面的重建方法和装置
JP6515423B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP2016218626A (ja) 画像管理装置、画像管理方法およびプログラム
JP4223860B2 (ja) 画像マッチング方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200821

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210330

R150 Certificate of patent or registration of utility model

Ref document number: 6861592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250