JP6625284B1 - 表面の2つのオーバーラップした画像の切断縁部を検知する方法および装置 - Google Patents

表面の2つのオーバーラップした画像の切断縁部を検知する方法および装置 Download PDF

Info

Publication number
JP6625284B1
JP6625284B1 JP2019530769A JP2019530769A JP6625284B1 JP 6625284 B1 JP6625284 B1 JP 6625284B1 JP 2019530769 A JP2019530769 A JP 2019530769A JP 2019530769 A JP2019530769 A JP 2019530769A JP 6625284 B1 JP6625284 B1 JP 6625284B1
Authority
JP
Japan
Prior art keywords
camera
detected
sensor
model
camera position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019530769A
Other languages
English (en)
Other versions
JP2020502655A (ja
Inventor
ハイン ダニエル
ハイン ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Application granted granted Critical
Publication of JP6625284B1 publication Critical patent/JP6625284B1/ja
Publication of JP2020502655A publication Critical patent/JP2020502655A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本発明は表面(OF)の2つのオーバーラップした画像の切断縁部(S1、S2)を検知する方法および装置(1)に関わり、n本の走査線(7)を備えたマトリクス型センサ(6)を有する少なくとも1つのカメラ(2)、位置および状態測定システム(3)、評価ユニット(4)およびメモリ(5)を含み、メモリ(5)中に表面(OF)の標高モデル(H)およびカメラ(2)の投影モデル(P)が記憶され、カメラに評価ユニット(4)がアクセスでき、位置および状態測定システム(3)を使ってカメラ位置(P1、P2)が第1画像撮影および第2画像撮影の際に検知され、両カメラ位置(P1、P2)間の水平中心点(M)が検知され、水平中心点(M)の表面(OF)への投影が実行され、そのようにして検知された点(M0)のために投影モデル(P)を使ってセンサ(6)への逆投影が第1および第2カメラ位置(P1、P2)中で実行され、それぞれ1つの画素が検知され、センサ(6)のそれぞれの走査線が検知され、走査線(7.Z1M0、7.Z2M0)のそれぞれ最初および最後の画素(Pix1〜Pix4)の4つの立体角(RW1〜4)が決められ、それらの交点(SP1〜SP4)が標高モデル(H)によって決められ、中心点(M1、M2)が交点間で検知され、第1および第2位置中のセンサに逆投影され、付属する走査線が検知され、第1カメラ位置(P1)のために検知された最小の走査線(7.MIN1)および第2カメラ位置(P2)のために検知された最大の走査線(7.MAX2)が切断縁部(S1、S2)として選択される。【選択図】図1

Description

本発明は表面の2つのオーバーラップした画像の切断縁部を検知する方法および装置に関する。
特に空中リモートセンシングの領域での様々な適用のために、センサデータのリアルタイム伝送並びに伝送されるデータの可視化または評価は、航空調査中にすでに重要なものとなっている。
今日のセンサおよびカメラは撮影中に、現在の無線距離よりも通常桁違いに大きく、特に航空機から地上局への比較的大きな距離に亘って伝送されることができる高データストリームを発生させる。そのためそのようなセンサデータのリアルタイム伝送のために通常送信機側でのデータ削減が必要となる。同時に航空調査で記録されたセンサデータは飛行高度、飛行速度、開口角およびセンサの解像度に応じて足跡とも呼ばれる航空写真ごとに検出された表面セグメントの部分的に大きなオーバーラップを有する。画像の適切な切断縁部の検知がなされるなら、画像データの部分が重複として破棄され伝送される必要がなくなりうる。
しかしそのとき実際にいくつかの問題が生じる。上記のパラメータが一定ではないためオーバーラップが一定ではなくなる。カメラの位置付け、つまりその空間位置が画像撮影の間で変化するときこの問題は先鋭化される。
最適な切断縁部の問題はそのときリアルタイム操作中のみにではなく一般的に航空画像がオーバーラップによって迅速に全体図、いわゆる航空写真モザイクに構成されるべきときに生じる。
欧州特許出願公開第2 787 319(A1)号から、カメラを有する無人で制御可能な航空機器による航空画像撮影の方法が公知であり、航空機器の飛行中に継続的にカメラ位置および光学カメラ軸の配向が決定される。そのとき連続的な航空画像が撮影される。連続的航空画像の各航空画像のために、それぞれの航空画像の検知がそれぞれの解像領域の航空機器によるフライスルーの際に解除され、それぞれの解像領域の状態は少なくともそれぞれ1つのそれぞれの解像領域に割り当てられた飛行計画中の解像位置によって、およびそれぞれの解像領域のフライスルーの際の光学的カメラ軸の配向に応じてカメラ軸のための所定の空間配向に関して定義された最大角度逸脱を満たすという観点から決められる。
そのため本発明は、表面の2つのオーバーラップする画像の切断縁部の検知のための、情報の喪失がない(つまり航空写真モザイクに欠落がない)可能な限り高いデータ削減を保証する方法を提供し、並びにこれに適合した装置を製造するという技術的問題に基づく。
技術的問題の解決は請求項1の特徴を有する方法並びに請求項5の特徴を有する装置によって生じる。本発明のさらなる有利な実施形態は従属請求項から生じる。
マトリクス型センサを有する1つまたは複数のカメラを使って撮影された表面の2つのオーバーラップした画像の切断縁部を検知する方法は、表面の標高モデル、全ての画像撮影に参加したカメラの投影モデル並びに位置および状態測定システムを使って行われる。標高モデルはそのとき各座標のために高さも空間中の各任意の光線に対する標高モデルとの交点も空間点として記述する。カメラの投影モデルはこのカメラで撮影された画像の各画素にその立体角を記述し(前方投影)、任意の空間的世界点にもそれに付属する画素をセンサ表面上に記述する(後方投影)。投影モデルはそのとき内部カメラパラメータを使って定義され、モデルの中にカメラのそれぞれの現在の外的位置付け(つまり撮影時点の位置および状態)も入力される。これらの6つの自由度(3つの並進および3つの回転自由度)は位置および状態測定システムによって提供される。そのときそのような位置および状態測定システムのために様々な形態が知られている。
第1ステップでは第1画像撮影のカメラの位置データおよび第2画像撮影のカメラの位置データが検知される。これは制限なく撮影の間で動かされた1つの同じカメラでありえ、しかし同様に2つの異なるカメラからの撮影でもありうる。そのとき好ましくはカメラ(または複数のカメラ)に関する定義された点が選択され、その撮影時点の空間座標が検出される。これは例えば撮影時点のカメラ焦点位置でありうる。さらに両位置データの空間的中心点が検出され、この中心点の表面への垂直投影が標高モデルを考慮して実行される。それによって1つの点が表面上に検知される。投影モデルを使ってこの点のために一度は第1カメラ位置中のカメラのセンサ面に、もう一度は第2カメラ位置中のカメラのセンサ面にそれぞれに付属する画素が検知される。そのとき、両画像が別々のカメラによって撮影されるとき、それぞれのカメラ特有の投影モデルが使用されなければならないことに留意されたい。次のステップとして、その中に画素があるセンサのそれぞれの走査線が検知される。そのとき、第1カメラ位置の中で第Z1M0走査線が、第2カメラ位置の中で第Z2M0走査線が画素を有すると想定されたい。さらに走査線が飛行方向に対して横方向に配置されることを想定されたい。相対回転が両カメラ位置の間の位置に生じず、つまり並進的変化のみが生じ、表面がオーバーラップする領域で平らであれば、これはすでに結果であり、つまり第1カメラ位置の第1走査線から第(Z1M0−1)走査線(上部画像領域中の第1Z1M0−1走査線)までのデータおよび第2カメラ位置の第(Z2M0+1)走査線から第n走査線(下部画像領域中の最後の第n(Z2M0+1)走査線)までのデータが廃棄されることができる。
但し例えば回転によって(例えば航空機がカーブして飛行するとき)、または検知された土地の構造により(つまり標高モデルの構造で)、両方のそのようにして成立した足跡の間に欠落が生じうる。これは後続の方法ステップによって補整される。ここではセンサのそれぞれの特定の走査線(第1カメラ位置のためのZ1M0および第2カメラ位置のためのZ2M0)の最初および最後の画素のための4つの立体角が投影モデルを使って決められ、これらの4つの立体角の4つの交点が標高モデルによって検知される。標高モデル上のこれらの4点は両方の検知されたセンサ走査線Z1M0およびZ2M0によって外部検知された表面点に相応する。続いて水平中心点が走査線の最初の画素および走査線の最後の画素のための両交点間の標高モデルを考慮して検知される。画像的に言えばつまり両方の左外側のおよび両方の右外側の検知された表面点の間の標高モデル上の中心点である。続いてこれら両方のこのようにして決められた中心点が投影モデルを考慮して両方のセンサ面に(つまり第1カメラ位置用のセンサおよび第2カメラ位置用のセンサに)逆投影される−つまりセンサごとに両中心点に対し表面上でそれに付属する2つの画素を得る。これらの画素に走査線番号が見られる。一般的な場合、画素は両センサ面の中で同じ走査線の中にはない。つまり走査線番号は異なる。今や第1カメラ位置のために検知された最小の走査線および第2カメラ位置のために検知された最大の走査線が(新しい)切断縁部として選択される。この結果はその後欠落のない2つの足跡を縁まで提供し、重複データ数は最小化される。
好ましくは両画像が時間的にずらされてカメラによって撮影される。
さらなる実施形態では切断縁部がカメラの担持システムに搭載されて、例えば航空機で検知され、その後さらに好ましくはそのように削減された画像データがリアルタイムで中央機関(例えば地上局)に送信される。データ伝送のためにその後さらなるデータ圧縮方式が適用されうる。
本発明は以下で好ましい実施形態例を基に詳細に説明される。
表面の2つのオーバーラップした画像の切断縁部の検知のための装置の概略的な方式構成図を示す。 撮影位置の概略図を示す。 第1カメラ位置および第2カメラ位置におけるセンサの概略上面図を示す。 4つの立体角の概略図を示す。 第1カメラ位置および第2カメラ位置におけるセンサのもう1つの概略上面図を示す。
図1では表面の2つのオーバーラップした画像の切断縁部の検知のための、カメラ2、位置および状態測定システム3、評価ユニット4並びにメモリ5を備えた装置1の概略的な方式構成図が示される。カメラ2はマトリクス型センサ6を備える。位置および状態測定システム3はそのときカメラ2と同期するため各画像撮影に対し現在の位置および状態データが検知される。メモリの中には表面の標高モデルHおよびカメラの投影モデルPが記憶される。
装置1の操作は今や以下の図に基づいて解説されるべきである。そのとき図2は、カメラ2が第1時点t1において第1カメラ位置P1(x1、y1、z1、α1、β1、γ1)で表面OFの第1画像撮影をする状況を概略的に示す。カメラ2あるいは装置1は例えば航空機に取り付けられ速度Vで前進する。第2時点t2でカメラ2は第2カメラ位置P2(x2、y2、z2、α2、β2、γ2)にあり第2画像撮影をする。そのとき破線はカメラ2の「視野」を示し、両画像がオーバーラップしていることが認識できる。評価ユニット3は今や第1カメラ位置P1と第2カメラ位置P2の間の水平中心点Mを検知し、続いてこの中心点Mは表面OFの標高モデルH上に垂直に投影される。結果として標高モデル上の点M0が得られる。この点M0のために今やセンサ6上の付属する画素BP1M0が第1カメラ位置P1中で、およびセンサ6上の画素BP2M0が第2カメラ位置P2中で検知される(図3も参照)。そのときセンサ6がn走査線7を備え、最初の走査線7.1が飛行方向最前部に、最後の走査線7.nが最後部にあることを想定されたい。そのとき画素BP1M0が第Z1M0走査線中で7.Z1M0であり、画素BP2M0が第Z2M0走査線上で7.Z2M0であることを想定されたい。平坦な表面のためにおよびカメラ位置P1とP2の間に相対回転なしで(つまりα1=α2、β1=β2、γ1=γ2)、これは切断縁部、つまり第1カメラ位置中の7.1から第7.Z1M0−1走査線までのデータ、および第2カメラ位置P2中の7.Z2M0+1から第7.n走査線までのデータが廃棄されあるいは切り取られることも可能である。
一般的な場合、つまり表面がオーバーラップ領域で平坦ではなくおよび/または付加的にP1とP2間の相対回転がある(つまりα1≠α2またはβ1≠β2またはγ1≠γ2)とき、両方の前ステップで検知された足跡の間の欠落が生じうる。この欠落を埋めるために第Z1M0走査線の最初のピクセルPix1および最後のピクセルPix2および第Z2M0走査線の最初のピクセルPix3および最後のピクセルPix4から4つの立体角RW1〜RW4が投影モデルPを使って決められ、4つの交点SP1〜SP4が表面OFにより標高モデルHを考慮して検知される。交点SP1とSP3並びにSP2とSP4の間の区間のためにそれぞれ水平中心点M1、M2が標高モデルH上に決められる(図4参照)。今やそのようにして検知された両方の中心点M1、M2のためにその後再びそれに付属する画素BP1M1およびBP1M2が第1カメラ位置P1中のセンサ6上に、および画素BP2M1およびBP2M2が第2カメラ位置P2中のセンサ6上に投影モデルPを使って検知される。
今や各カメラ位置のために、カメラ位置1には画素BP1M0、BP1M1、BP1M2、およびカメラ位置2には画素BP2M0、BP2M1、BP2M2のそれぞれ3つの画素がある。以下に今やこれらの画素に付属する走査線番号Z1M0、Z1M1、Z1M2およびZ2M0、Z2M1、Z2M2が見られる。第1カメラ位置P1の切断縁部のために今や最小の走査線番号MIN1=走査線番号の最小限(Z1M0、Z1M1、Z1M2)を有する走査線7.MIN1が選択され、相応に第2カメラ位置P2のために最大の走査線番号MAX2=走査線番号の最大限(Z2M0、Z2M1、Z2M2)を有する走査線7.MAX2が選択される。この切断縁部S1、S2の第1カメラ位置P1のための「前方」(飛行方向)への、並びに第2カメラ位置P2のための「後方へ」の移行により、両方のそのようにして得られた足跡が欠落なく互いに繋がり、データ量が最小化されることが保証される。
方法は飛行領域のそれぞれ検知された表面点のために航空画像およびこの表面点を最小限の傾斜で捉えた画面領域を選択する。それによって一方では飛行領域の最良の上面図が保証され、もう一方ではリアルタイム投影の際の不正確(使用された標高モデル中の不正確、位置および状態測定システム中の測定エラー並びに投影モデル中のエラーに起因する)のために生じうる見返しが最小化される。
方法はマトリクス型センサを有する全てのカメラ、つまりマトリクスカメラ、しかしまたはイメージング分光計にも適応する。

Claims (5)

  1. 表面(OF)の2つのオーバーラップした画像の切断縁部(S1、S2)を検知する方法であり、前記画像は少なくとも1つのカメラ(2)を使って撮影され、前記少なくとも1つのカメラ(2)はn本の走査線(7)を有するマトリクス型センサ(6)を備え、切断縁部が前記マトリクス型センサの走査線を示し、走査線のデータは前記切断縁部の上または下で重複として廃棄され、前記方法は次の方法ステップ、
    − 位置および状態測定システム(3)を使って前記少なくとも1つのカメラ(2)のカメラ位置(P1、P2)が第1画像撮影および第2画像撮影の際に検知される、
    − 両前記カメラ位置(P1、P2)間の水平中心点(M)が検知され、この水平中心点(M)の前記表面(OF)への垂直投影が前記表面(OF)の以前に記憶された標高モデル(H)を考慮して実行されるため点(M0)が検知され、前記標高モデルが各座標に高さを記述するため、各座標のために高さも空間中の各任意の光線に対して前記標高モデルとの交点も空間的な点として検知されることができる、
    − 前記少なくとも1つのカメラ(2)の投影モデル(P)を使って前記点(M0)の画素(BP1M0、BP2M0)が前記センサ(6)中で前記第1カメラ位置(P1)および前記第2カメラ位置(P2)のために前記位置および状態測定システム(3)のデータを考慮して検知され、カメラの前記投影モデルがこのカメラで撮影された画像の各画素に対してその立体角を記述することができ、任意の空間的世界点に対してセンサ表面上の前記それに付属する画素を記述することもできる、
    その中にそれぞれの前記画素(BP1M0、BP2M0)がある前記センサ(6)のそれぞれの前記走査線(7.Z1M0、7.Z2M0)を決める、
    − 前記センサ(6)のそれぞれの特定の前記走査線(7.Z1M0、7.Z2M0)の前記最初および最後の画素(Pix1、Pix2;Pix3、Pix4)の4つの立体角(RW1〜RW4)を前記投影モデル(P)を使って決め、前記4つの立体角(RW1〜RW4)の前記4つの交点(SP1〜SP4)を前記標高モデル(H)によって検知する、
    − 前記水平中心点(M1)を両前記交点(SP1、SP3)の間の前記標高モデル(H)を考慮して前記走査線(7.Z1M0、7.Z2M0)の前記最初の画素(Pix1、Pix3)のために決め、前記水平中心点(M2)を両前記交点(SP2、SP4)の間の前記標高モデル(H)を考慮して前記走査線(7.Z1M0、7.Z2M0)の前記最後の画素(Pix2、Pix4)のために決める、
    − 前記センサ(6)中の両前記中心点(M1、M2)の両前記画素(BP1M1、BP1M2)を第1カメラ位置(P1)のために、および前記センサ(6)中の両前記画素(BP2M1、BP2M2)を第2カメラ位置(P2)のために前記投影モデル(P)を使って検知する、
    − 両前記中心点(M1、M2)の前記画素(BP1M1、BP1M2)および画素(BP2M1、BP2M2)の前記付属する走査線(7.Z1M1;7.Z1M2)および走査線(7.Z2M1、7.Z2M2)を決める、
    を含み、
    記第1カメラ位置(P1)のために、MIN1がZ1M0、Z1M1、Z1M2の最小値である、前記走査線番号MIN1に関して最小の検知された走査線、および、前記第2カメラ位置(P2)のために、MAX2がZ2M0、Z2M1、Z2M2の最大値である、前記走査線番号MAX2に関して最大の検知された走査線が、前記切断縁部(S1、S2)を成形する、方法。
  2. 両前記画像が時間的にずらしてカメラ(2)によって撮影されることを特徴とする請求項1に記載の方法。
  3. 前記切断縁部(S1、S2)の検知が前記カメラ(2)の担持システムに搭載されて行われることを特徴とする請求項2に記載の方法。
  4. 前記切断縁部(S1、S2)を使って削減された前記画像のデータがリアルタイムで中央機関に送信されることを特徴とする請求項3に記載の方法。
  5. 表面(OF)の2つのオーバーラップした画像の前記切断縁部(S1、S2)を検知する装置(1)であり、n本の走査線(7)を備えたマトリクス型センサ(6)を有する少なくとも1つのカメラ(2)、位置および状態測定システム(3)、評価ユニット(4)およびメモリ(5)を含み、前記メモリ(5)中に前記表面(OF)の標高モデル(H)および前記カメラ(2)の投影モデル(P)が記憶され、カメラに前記評価ユニット(4)がアクセスでき、カメラの前記投影モデルがこのカメラで撮影された画像の各画素に対してその立体角を記述でき、任意の空間的世界点に対して前記センサ表面上の前記それに付属する画素を記述することもでき、前記標高モデルが各座標に対して高さを記述するため、各座標のために高さも空間中の各任意の光線に対して前記標高モデルとの交点も空間的点として検知することができ、前記装置(1)が、前記位置および状態測定システム(3)を使って前記少なくとも1つのカメラ(2)の前記カメラ位置(P1、P2)が第1画像撮影および第2画像撮影の際に検知されるように形成され、両前記カメラ位置(P1、P2)間の水平中心点(M)が検知され、前記中心点(M)の前記表面(OF)への垂直投影が前記標高モデル(H)を考慮して実行され、そのようにして検知された前記点(M0)のために前記投影モデル(P)を使って前記センサ(6)への逆投影が前記第1カメラ位置(P1)および第2カメラ位置(P2)中で実行され、それぞれ1つの画素(BP1M0、BP2M0)が検知され、前記センサ(6)のその中にそれぞれの前記画素(BP1M0、BP2M0)があるそれぞれの前記走査線(7.Z1M0、7.Z2M0)が検知され、前記センサ(6)のそれぞれの特定の前記走査線(7.Z1M0、7.Z2M0)の前記それぞれ最初および最後の画素(Pix1〜Pix4)の4つの立体角(RW1〜RW4)が前記投影モデル(P)を使って決められ、それらの交点(SP1〜SP4)が前記標高モデル(H)によって両前記交点(SP1、SP3;SP2、SP4)間で前記走査線(7.Z1M0、7.Z2M0)の前記最初の画素(Pix1、Pix3)および前記走査線(7.Z1M0、7.Z2M0)の前記最後の画素(Pix2、Pix4)のために決められ、前記センサ(6)中の両前記中心点(M1、M2)の2つの画素(BP1M1、BP1M2)が前記第1カメラ位置(P1)のために、および前記センサ(6)中の両前記中心点(M1、M2)の2つの画素(BP2M1、BP2M2)が前記第2カメラ位置(P2)のために前記投影モデル(P)を使って検知され、および前記画素(BP1M1、BP1M2)の付属する走査線(7.Z1M1、7.Z1M2)が前記第1カメラ位置(P1)のために、および両前記中心点(M1、M2)の前記画素(BP2M1、BP2M2)の付属する走査線(7.Z2M1、7.Z2M2)が前記第2カメラ位置(P2)のために決められ、前記第1カメラ位置(P1)のために、MIN1がZ1M0、Z1M1、Z1M2の最小である、前記走査線番号MIN1に関して最小の検知された走線、および、前記第2カメラ位置(P2)のために、MAX2がZ2M0、Z2M1、Z2M2の最大である、前記走査線番号MAX2に関して最大の検知された走線が、前記切断縁部(S1、S2)として選択される、装置(1)。
JP2019530769A 2016-12-13 2017-12-07 表面の2つのオーバーラップした画像の切断縁部を検知する方法および装置 Active JP6625284B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016224886.3A DE102016224886B3 (de) 2016-12-13 2016-12-13 Verfahren und Vorrichtung zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche
DE102016224886.3 2016-12-13
PCT/EP2017/081913 WO2018108711A1 (de) 2016-12-13 2017-12-07 Verfahren und vorrichtung zur ermittlung der schnittkanten von zwei sich überlappenden bildaufnahmen einer oberfläche

Publications (2)

Publication Number Publication Date
JP6625284B1 true JP6625284B1 (ja) 2019-12-25
JP2020502655A JP2020502655A (ja) 2020-01-23

Family

ID=60957251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530769A Active JP6625284B1 (ja) 2016-12-13 2017-12-07 表面の2つのオーバーラップした画像の切断縁部を検知する方法および装置

Country Status (5)

Country Link
US (1) US10551187B2 (ja)
EP (1) EP3556088B1 (ja)
JP (1) JP6625284B1 (ja)
DE (1) DE102016224886B3 (ja)
WO (1) WO2018108711A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915779B (zh) * 2020-07-31 2022-04-15 浙江大华技术股份有限公司 一种闸机控制方法、装置、设备和介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5604534A (en) * 1995-05-24 1997-02-18 Omni Solutions International, Ltd. Direct digital airborne panoramic camera system and method
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
GB0117541D0 (en) 2001-07-19 2003-08-06 Bae Systems Plc Automatic registration of images in digital terrain elevation data
JP2004030462A (ja) * 2002-06-27 2004-01-29 Starlabo Corp 画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体
US7725258B2 (en) 2002-09-20 2010-05-25 M7 Visual Intelligence, L.P. Vehicle based data collection and processing system and imaging sensor system and methods thereof
CA2534968C (en) * 2002-09-20 2013-06-18 M7 Visual Intelligence, Lp Vehicle based data collection and processing system
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
US8433128B2 (en) * 2008-11-04 2013-04-30 Omron Corporation Method of creating three-dimensional model and object recognizing device
JP5787695B2 (ja) 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
WO2014031284A1 (en) * 2012-08-21 2014-02-27 Visual Intelligence, LP Infrastructure mapping system and method
EP2904581B1 (en) * 2012-10-01 2016-12-07 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for determining a depth of a target object
EP2787319A1 (de) 2013-04-05 2014-10-08 Leica Geosystems AG Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät
WO2015117904A1 (de) * 2014-02-04 2015-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hough-prozessor

Also Published As

Publication number Publication date
EP3556088A1 (de) 2019-10-23
EP3556088B1 (de) 2020-12-02
DE102016224886B3 (de) 2018-05-30
US20190323838A1 (en) 2019-10-24
JP2020502655A (ja) 2020-01-23
US10551187B2 (en) 2020-02-04
WO2018108711A1 (de) 2018-06-21

Similar Documents

Publication Publication Date Title
AU2017228625B2 (en) Multi-dimensional data capture of an environment using plural devices
US10401872B2 (en) Method and system for collision avoidance
JP6321077B2 (ja) 縦続カメラおよび/またはキャリブレーション特徴を含む広いエリア画像を詳細に取り込むシステムおよび方法
US10602059B2 (en) Method for generating a panoramic image
US11689808B2 (en) Image synthesis system
US10589860B2 (en) Spherical infrared emitter
CN103826103A (zh) 云台摄像机巡航控制方法
KR20110027654A (ko) 케스케이드형 카메라 및/또는 보정 특성을 포함하여 넓은 영역의 이미지를 상세하게 캡쳐하는 시스템 및 방법
JP2006258486A (ja) 座標計測装置と座標計測方法
AU2016201867A1 (en) Method and system to avoid plant shadows for vegetation and soil imaging
AU2022231762B2 (en) A bundle adjustment system
US20190244391A1 (en) An aerial camera boresight calibration system
US11403499B2 (en) Systems and methods for generating composite sets of data from different sensors
JP2022023592A (ja) 測量システム、測量方法および測量用プログラム
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
WO2019119426A1 (zh) 基于无人机的立体成像方法和装置
JP3808833B2 (ja) 空中写真測量方法
JP6625284B1 (ja) 表面の2つのオーバーラップした画像の切断縁部を検知する方法および装置
Biasion et al. A new approach to the Terrestrial Laser Scanner workflow: The RTC360 solution
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
Fabian et al. Improving UAV-Based Target Geolocation Accuracy through Automatic Camera Parameter Discovery
US20240112406A1 (en) Bar arrangement inspection result display system
JP2011153919A (ja) 飛翔体の三次元解析装置、およびコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190718

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20190607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190607

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190607

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190718

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191126

R150 Certificate of patent or registration of utility model

Ref document number: 6625284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250