JP3850541B2 - 高度計測装置 - Google Patents
高度計測装置 Download PDFInfo
- Publication number
- JP3850541B2 JP3850541B2 JP03623298A JP3623298A JP3850541B2 JP 3850541 B2 JP3850541 B2 JP 3850541B2 JP 03623298 A JP03623298 A JP 03623298A JP 3623298 A JP3623298 A JP 3623298A JP 3850541 B2 JP3850541 B2 JP 3850541B2
- Authority
- JP
- Japan
- Prior art keywords
- altitude
- distance
- distance information
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
- G01C5/005—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
【０００１】
【発明の属する技術分野】
本発明は、比較的低高度を飛行する飛行体の高度を計測する高度計測装置に関する。
【０００２】
【従来の技術】
離着陸を含む低空飛行を行う飛行体においては、対地高度を計測する高度計は必須の装置である。特に、最近では、農薬散布等を無人ヘリコプタによって行う技術が実用化されつつあり、この無人ヘリコプターをラジコンによって遠隔操作する場合、高度計がないと操縦者が遠くからヘリコプタの高度を目測することになり、遠くからヘリコプタを離着陸させるには、かなりの熟練を要する。このような無人ヘリコプタでは、その目的が省力化にあることが多く、できるだけ自律飛行を行わせるためには、高度計からの高度データが不可欠となる。
【０００３】
従来、高度計としては、気圧差を高度に換算するもの、レーザ、電波、超音波等の地表面に対する反射時間を測定して高度を計測するもの、Ｄ−ＧＰＳ等の測位衛星からの測位情報を利用して高度を知るもの、加速度から高度を求めるもの等があり、対地高度の計測精度、地上の物体に対する依存性、耐環境性等を考慮した場合、それぞれ一長一短があり、低空用の飛行体に搭載される高度計としての条件を総合的に満足するものは少ない。
【０００４】
このような低空用の飛行体で対地高度を計測する高度計としては、特に、地表面の質への依存性が少ないことが重要であり、飛行体から地上を撮像し、この撮像画像を処理して高度を計測する技術が有望である。画像による高度計測の技術としては、例えば、特開昭６２−８８９１４号公報に開示された先行技術があり、この先行技術では、撮像された領域の画像上での動きと、その領域の実際の距離との比較から高度を求める技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述の画像による高度計測の先行技術では、実際の距離が既知でなければならないため、撮像した領域の地図が存在し、且つ、特定の目印等が撮像されていなければならない。さらに、撮像視野中心の俯角を知る必要があり、ジャイロ等で間接的に計測せねばならず、精度低下を招く。
【０００６】
本発明は上記事情に鑑みてなされたもので、実際の移動距離を知るための情報や俯角等の計測困難な情報に頼ることなく、飛行体の高度を正確に計測することのできる高度計測装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなり、飛行体に搭載されて下方風景をステレオ撮像するステレオカメラと、上記ステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出するステレオ処理部と、複数の計測点の上記距離情報に基づいて下方の表面形状を高度の基準として求め、上記飛行体の高度を算出する高度算出部とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正して、上記距離情報に対し、上記ステレオカメラのレンズ歪み補正を行うことを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は請求項２記載の発明において、上記表面形状を平面として求め、この平面に上記飛行体から下ろした垂線の長さを高度として算出することを特徴とする。
【００１０】
請求項４記載の発明は、請求項３記載の発明において、上記距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を、平面を構成しない距離情報として除去することを特徴とする。
【００１１】
すなわち、請求項１記載の発明では、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなるステレオカメラを飛行体に搭載して下方風景を撮像し、このステレオ撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出した後、複数の計測点の距離情報に基づいて下方の表面形状を高度の基準として求め、飛行体の高度を算出する。距離情報は、請求項２に記載したように、一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することにより、ステレオカメラのレンズ歪み補正を行って求めることが望ましい。
【００１２】
また、請求項３の発明では、高度の算出に際し、高度の基準とする表面形状を平面として捉え、この平面に飛行体から下ろした垂線の長さで高度を算出することができる。この場合、請求項４に記載したように、距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を平面を構成しない距離情報として除去することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図４は本発明の実施の一形態に係わり、図１は高度計測装置の概略構成を示すブロック図、図２は特異点除去処理のフローチャート、図３は高度算出処理のフローチャート、
図４は非平面除去フィルタの説明図である。
【００１４】
図１は、比較的低高度を飛行する飛行体、例えば農薬散布用ヘリコプタ等に搭載されて対地高度を計測するための高度計測装置の基本構成を示し、下方（地上）風景を三次元的に撮像するための２台１組のカメラから構成されるステレオカメラ１０、このステレオカメラ１０で撮像した画像に対する入力処理を行う画像入力部２０、この画像入力部で処理した撮像画像を元画像としてストアする元画像メモリ２５、元画像をステレオ処理して地上の距離分布情報（距離画像）を取得するステレオ処理部３０、距離画像をストアする距離画像メモリ３５、及び、多数の計測点の距離情報から対地高度を算出する高度算出部４０等から構成される。
【００１５】
上記ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ１０ｂをステレオ処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００１６】
画像入力部２０は、各ＣＣＤカメラ１０ａ，１０ｂからの各アナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータを備え、さらに、画像の明暗部に対して対数変換を行うためのＬＯＧ変換テーブル等の画像処理の各種機能を例えば高集積度ＦＰＧＡによって構成するものであり、ＣＣＤカメラ１０ａ，１０ｂからの撮像信号に対し、それぞれゲイン調整により信号バランスを揃えた後、ＬＯＧ変換により低輝度部分のコントラストを改善する等の画像補正を行い、所定の輝度階調のデジタル画像データに変換して元画像メモリ２５にストアする。
【００１７】
ステレオ処理部３０は、シティブロック距離計算回路、最小値・画素ズレ検出回路等を、同様に、高集積度ＦＰＧＡによって構成するものであり、元画像メモリ２５にストアされたメイン画像及びサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。
【００１８】
すなわち、シティブロック距離計算回路でメイン画像の一つの小領域に対し、対応するサブ画像の小領域との間のシティブロック距離を計算し、最小値・画素ズレ検出回路でシティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足し、且つ、シティブロック距離が最小になる画素ズレ量を、メイン画像の小領域に対応する距離情報として距離画像メモリ３５にストアする。尚、以上のステレオマッチング処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００１９】
高度算出部４０は、距離画像から得られる距離分布情報に基づいて高速に認識処理を行うためのＲＩＳＣプロセッサ等からなり、距離画像から得られる多数の地上までの距離情報から平面あるいは曲面を仮定し、飛行体からその面までの長さを対地高度として求める。本形態では、多数点の距離情報から地表を平面として捉え、飛行体からこの平面に下ろした垂線の長さを対地高度としており、処理を簡素化して高速に高度を算出する。
【００２０】
すなわち、画面内の多数点の距離を計測することで地表を面として把握することができ、平面のみならず起伏面や段差のある領域等を認識することが可能であり、広い範囲で精度良く高度を知ることができる。
【００２１】
以下、高度算出部４０における高度算出に係わる処理について、図２及び図３のフローチャートを用いて説明する。
【００２２】
多数点の距離情報から地表を平面として捉える場合、本来は平面を構成していない距離情報が距離画像に含まれると、高度の検出に大きな影響を与え、信頼性が低下する。このため、図２に示す特異点除去処理では、ノイズや突起物の検出によって周囲と著しく値の異なる特異点を距離画像から除去し、さらに、距離画像の座標系から実空間の座標系に変換したときに、距離データの系列が規定の範囲外となる距離データを特異点として距離画像から除去する。そして、特異点の除去された距離画像を用い、図３の高度算出処理で実空間の座標系における多数点の距離データを平面に当てはめることにより、平面検出の信頼性を高め、高度の検出精度を向上することができる。尚、以上の処理は実際にはパイプライン処理として実行される。
【００２３】
まず、図２の処理では、ステップS100で、距離画像を読み込み、この距離画像の広領域で最大頻度の値から大きく離れた特異点を除去する。このステップS100の処理は、以下のステップS400での非平面除去フィルタ処理をより確実にするための前処理として実施されるものであり、例えば、距離画像が横４００×縦２００画素の大きさで、距離データ（画素ズレ量）を有する小領域を横８×縦４画素のブロックとする場合、距離画像を横８０×縦４０画素での２５個の中領域に分割し、各中領域（１０×１０＝１００小領域）毎にズレ量のヒストグラムを作成する。そして、この中領域のヒストグラムで最大頻度を持つ距離データに対し、設定範囲（最大頻度の距離データ±１）外にあるブロックのズレ量を０として特異点を除去する。
【００２４】
次いで、ステップS200へ進み、距離画像内で適当なサンプル領域を複数個選び、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することで、正確な距離データを得る。例えば、横８×縦４画素のサンプル領域を、横に１６画素毎に２１カ所、縦に８画素毎に１７カ所の計３５７カ所選び、各サンプル領域毎に、以下の(1)で示される補正値Ｄを用いて撮像面と光軸の交点からの距離Ｒの値を加減し、レンズ歪みを補正する。但し、(1)式中、Ａ，Ｂ，Ｃはレンズメーカあるいは別途計測による補正係数である。
【００２５】
Ｄ＝Ａ・Ｒ5＋Ｂ・Ｒ3＋Ｃ・Ｒ …(1)
続くステップS300では、各サンプル領域のレンズ歪みを補正したＣＣＤ面上の位置と距離データとから各サンプル領域の三次元座標を求め、ステップS400で、距離画像から平面を構成していない画素を除去する非平面除去フィルタ処理を行う。この非平面除去フィルタ処理では、まず、図４に示すように、水平方向の座標軸をｉ、垂直方向の座標軸をｊする距離画像に対し、水平方向の１ラインに注目し、横軸に実空間の水平方向位置Ｘ、縦軸に距離Ｚをとったデータ系列を求める。
【００２６】
そして、データ系列を最小二乗法によって直線式で近似し、図４に斜線で示すように、近似直線から規定の範囲に入っているデータのみを平面を求めるために使う距離情報とし、規定の範囲外のデータを除去する。この処理を画像の上下方向に走査して行うことにより、距離画像から平面を構成していない距離情報を特異点として除去する。
【００２７】
次に、図３に示す高度算出処理では、以上の非平面除去フィルタ処理で平面を構成していない画素を除去した距離画像を用い、まず、ステップS500でサンプル領域の画像上の座標及び距離データをステレオカメラ１０を原点とする実空間の座標に変換した点群のデータから、以下の(2)式で示す平面の方程式に最小二乗法により当てはめるべく、マトリクスを作成して三元連立方程式を解き、各係数ａ，ｂ，ｃを決定する。
【００２８】
ａｘ＋ｂｙ＋ｃｚ＝１ …(2)
そして、ステップS600へ進み、カメラから平面に下ろした垂線の長さｈを、以下の(3)式によって求め、対地高度とする。
【００２９】
ｈ＝１／(ａ2＋ｂ2＋ｃ2)1/2 …(3)
【００３０】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなるステレオカメラを飛行体に搭載して下方風景を撮像し、このステレオ撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出した後、複数の計測点の距離情報に基づいて下方の表面形状を高度の基準として求め、飛行体の高度を算出するため、実際の移動距離を知るための情報や俯角等の計測困難な情報に頼ることなく、飛行体の高度を正確に計測することができ、しかも、画面内の多数点の距離を計測しているため、地表を面として把握することができ、平面のみならず、起伏面や段差のある領域等を認識して広い範囲で正確な高度を得ることが可能である。
【００３１】
この場合、請求項２に記載したように、一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することにより、レンズ歪み補正を行うことで、距離情報をより正確なものとすることができる。また、請求項３に記載したように、高度の算出に際し、高度の基準とする表面形状を平面として捉え、この平面に飛行体から下ろした垂線の長さで高度を算出することにより、処理を簡素化して高速に高度を求めることができ、その場合、請求項４に記載したように、距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を平面を構成しない距離情報として除去することで誤検出を防止して信頼性を向上することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】高度計測装置の概略構成を示すブロック図
【図２】特異点除去処理のフローチャート
【図３】高度算出処理のフローチャート
【図４】非平面除去フィルタの説明図
【符号の説明】
１０…ステレオカメラ
３０…ステレオ処理部
４０…高度算出部
【発明の属する技術分野】
本発明は、比較的低高度を飛行する飛行体の高度を計測する高度計測装置に関する。
【０００２】
【従来の技術】
離着陸を含む低空飛行を行う飛行体においては、対地高度を計測する高度計は必須の装置である。特に、最近では、農薬散布等を無人ヘリコプタによって行う技術が実用化されつつあり、この無人ヘリコプターをラジコンによって遠隔操作する場合、高度計がないと操縦者が遠くからヘリコプタの高度を目測することになり、遠くからヘリコプタを離着陸させるには、かなりの熟練を要する。このような無人ヘリコプタでは、その目的が省力化にあることが多く、できるだけ自律飛行を行わせるためには、高度計からの高度データが不可欠となる。
【０００３】
従来、高度計としては、気圧差を高度に換算するもの、レーザ、電波、超音波等の地表面に対する反射時間を測定して高度を計測するもの、Ｄ−ＧＰＳ等の測位衛星からの測位情報を利用して高度を知るもの、加速度から高度を求めるもの等があり、対地高度の計測精度、地上の物体に対する依存性、耐環境性等を考慮した場合、それぞれ一長一短があり、低空用の飛行体に搭載される高度計としての条件を総合的に満足するものは少ない。
【０００４】
このような低空用の飛行体で対地高度を計測する高度計としては、特に、地表面の質への依存性が少ないことが重要であり、飛行体から地上を撮像し、この撮像画像を処理して高度を計測する技術が有望である。画像による高度計測の技術としては、例えば、特開昭６２−８８９１４号公報に開示された先行技術があり、この先行技術では、撮像された領域の画像上での動きと、その領域の実際の距離との比較から高度を求める技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述の画像による高度計測の先行技術では、実際の距離が既知でなければならないため、撮像した領域の地図が存在し、且つ、特定の目印等が撮像されていなければならない。さらに、撮像視野中心の俯角を知る必要があり、ジャイロ等で間接的に計測せねばならず、精度低下を招く。
【０００６】
本発明は上記事情に鑑みてなされたもので、実際の移動距離を知るための情報や俯角等の計測困難な情報に頼ることなく、飛行体の高度を正確に計測することのできる高度計測装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなり、飛行体に搭載されて下方風景をステレオ撮像するステレオカメラと、上記ステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出するステレオ処理部と、複数の計測点の上記距離情報に基づいて下方の表面形状を高度の基準として求め、上記飛行体の高度を算出する高度算出部とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正して、上記距離情報に対し、上記ステレオカメラのレンズ歪み補正を行うことを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は請求項２記載の発明において、上記表面形状を平面として求め、この平面に上記飛行体から下ろした垂線の長さを高度として算出することを特徴とする。
【００１０】
請求項４記載の発明は、請求項３記載の発明において、上記距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を、平面を構成しない距離情報として除去することを特徴とする。
【００１１】
すなわち、請求項１記載の発明では、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなるステレオカメラを飛行体に搭載して下方風景を撮像し、このステレオ撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出した後、複数の計測点の距離情報に基づいて下方の表面形状を高度の基準として求め、飛行体の高度を算出する。距離情報は、請求項２に記載したように、一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することにより、ステレオカメラのレンズ歪み補正を行って求めることが望ましい。
【００１２】
また、請求項３の発明では、高度の算出に際し、高度の基準とする表面形状を平面として捉え、この平面に飛行体から下ろした垂線の長さで高度を算出することができる。この場合、請求項４に記載したように、距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を平面を構成しない距離情報として除去することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図４は本発明の実施の一形態に係わり、図１は高度計測装置の概略構成を示すブロック図、図２は特異点除去処理のフローチャート、図３は高度算出処理のフローチャート、
図４は非平面除去フィルタの説明図である。
【００１４】
図１は、比較的低高度を飛行する飛行体、例えば農薬散布用ヘリコプタ等に搭載されて対地高度を計測するための高度計測装置の基本構成を示し、下方（地上）風景を三次元的に撮像するための２台１組のカメラから構成されるステレオカメラ１０、このステレオカメラ１０で撮像した画像に対する入力処理を行う画像入力部２０、この画像入力部で処理した撮像画像を元画像としてストアする元画像メモリ２５、元画像をステレオ処理して地上の距離分布情報（距離画像）を取得するステレオ処理部３０、距離画像をストアする距離画像メモリ３５、及び、多数の計測点の距離情報から対地高度を算出する高度算出部４０等から構成される。
【００１５】
上記ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ１０ｂをステレオ処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００１６】
画像入力部２０は、各ＣＣＤカメラ１０ａ，１０ｂからの各アナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータを備え、さらに、画像の明暗部に対して対数変換を行うためのＬＯＧ変換テーブル等の画像処理の各種機能を例えば高集積度ＦＰＧＡによって構成するものであり、ＣＣＤカメラ１０ａ，１０ｂからの撮像信号に対し、それぞれゲイン調整により信号バランスを揃えた後、ＬＯＧ変換により低輝度部分のコントラストを改善する等の画像補正を行い、所定の輝度階調のデジタル画像データに変換して元画像メモリ２５にストアする。
【００１７】
ステレオ処理部３０は、シティブロック距離計算回路、最小値・画素ズレ検出回路等を、同様に、高集積度ＦＰＧＡによって構成するものであり、元画像メモリ２５にストアされたメイン画像及びサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。
【００１８】
すなわち、シティブロック距離計算回路でメイン画像の一つの小領域に対し、対応するサブ画像の小領域との間のシティブロック距離を計算し、最小値・画素ズレ検出回路でシティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足し、且つ、シティブロック距離が最小になる画素ズレ量を、メイン画像の小領域に対応する距離情報として距離画像メモリ３５にストアする。尚、以上のステレオマッチング処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００１９】
高度算出部４０は、距離画像から得られる距離分布情報に基づいて高速に認識処理を行うためのＲＩＳＣプロセッサ等からなり、距離画像から得られる多数の地上までの距離情報から平面あるいは曲面を仮定し、飛行体からその面までの長さを対地高度として求める。本形態では、多数点の距離情報から地表を平面として捉え、飛行体からこの平面に下ろした垂線の長さを対地高度としており、処理を簡素化して高速に高度を算出する。
【００２０】
すなわち、画面内の多数点の距離を計測することで地表を面として把握することができ、平面のみならず起伏面や段差のある領域等を認識することが可能であり、広い範囲で精度良く高度を知ることができる。
【００２１】
以下、高度算出部４０における高度算出に係わる処理について、図２及び図３のフローチャートを用いて説明する。
【００２２】
多数点の距離情報から地表を平面として捉える場合、本来は平面を構成していない距離情報が距離画像に含まれると、高度の検出に大きな影響を与え、信頼性が低下する。このため、図２に示す特異点除去処理では、ノイズや突起物の検出によって周囲と著しく値の異なる特異点を距離画像から除去し、さらに、距離画像の座標系から実空間の座標系に変換したときに、距離データの系列が規定の範囲外となる距離データを特異点として距離画像から除去する。そして、特異点の除去された距離画像を用い、図３の高度算出処理で実空間の座標系における多数点の距離データを平面に当てはめることにより、平面検出の信頼性を高め、高度の検出精度を向上することができる。尚、以上の処理は実際にはパイプライン処理として実行される。
【００２３】
まず、図２の処理では、ステップS100で、距離画像を読み込み、この距離画像の広領域で最大頻度の値から大きく離れた特異点を除去する。このステップS100の処理は、以下のステップS400での非平面除去フィルタ処理をより確実にするための前処理として実施されるものであり、例えば、距離画像が横４００×縦２００画素の大きさで、距離データ（画素ズレ量）を有する小領域を横８×縦４画素のブロックとする場合、距離画像を横８０×縦４０画素での２５個の中領域に分割し、各中領域（１０×１０＝１００小領域）毎にズレ量のヒストグラムを作成する。そして、この中領域のヒストグラムで最大頻度を持つ距離データに対し、設定範囲（最大頻度の距離データ±１）外にあるブロックのズレ量を０として特異点を除去する。
【００２４】
次いで、ステップS200へ進み、距離画像内で適当なサンプル領域を複数個選び、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することで、正確な距離データを得る。例えば、横８×縦４画素のサンプル領域を、横に１６画素毎に２１カ所、縦に８画素毎に１７カ所の計３５７カ所選び、各サンプル領域毎に、以下の(1)で示される補正値Ｄを用いて撮像面と光軸の交点からの距離Ｒの値を加減し、レンズ歪みを補正する。但し、(1)式中、Ａ，Ｂ，Ｃはレンズメーカあるいは別途計測による補正係数である。
【００２５】
Ｄ＝Ａ・Ｒ5＋Ｂ・Ｒ3＋Ｃ・Ｒ …(1)
続くステップS300では、各サンプル領域のレンズ歪みを補正したＣＣＤ面上の位置と距離データとから各サンプル領域の三次元座標を求め、ステップS400で、距離画像から平面を構成していない画素を除去する非平面除去フィルタ処理を行う。この非平面除去フィルタ処理では、まず、図４に示すように、水平方向の座標軸をｉ、垂直方向の座標軸をｊする距離画像に対し、水平方向の１ラインに注目し、横軸に実空間の水平方向位置Ｘ、縦軸に距離Ｚをとったデータ系列を求める。
【００２６】
そして、データ系列を最小二乗法によって直線式で近似し、図４に斜線で示すように、近似直線から規定の範囲に入っているデータのみを平面を求めるために使う距離情報とし、規定の範囲外のデータを除去する。この処理を画像の上下方向に走査して行うことにより、距離画像から平面を構成していない距離情報を特異点として除去する。
【００２７】
次に、図３に示す高度算出処理では、以上の非平面除去フィルタ処理で平面を構成していない画素を除去した距離画像を用い、まず、ステップS500でサンプル領域の画像上の座標及び距離データをステレオカメラ１０を原点とする実空間の座標に変換した点群のデータから、以下の(2)式で示す平面の方程式に最小二乗法により当てはめるべく、マトリクスを作成して三元連立方程式を解き、各係数ａ，ｂ，ｃを決定する。
【００２８】
ａｘ＋ｂｙ＋ｃｚ＝１ …(2)
そして、ステップS600へ進み、カメラから平面に下ろした垂線の長さｈを、以下の(3)式によって求め、対地高度とする。
【００２９】
ｈ＝１／(ａ2＋ｂ2＋ｃ2)1/2 …(3)
【００３０】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなるステレオカメラを飛行体に搭載して下方風景を撮像し、このステレオ撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出した後、複数の計測点の距離情報に基づいて下方の表面形状を高度の基準として求め、飛行体の高度を算出するため、実際の移動距離を知るための情報や俯角等の計測困難な情報に頼ることなく、飛行体の高度を正確に計測することができ、しかも、画面内の多数点の距離を計測しているため、地表を面として把握することができ、平面のみならず、起伏面や段差のある領域等を認識して広い範囲で正確な高度を得ることが可能である。
【００３１】
この場合、請求項２に記載したように、一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することにより、レンズ歪み補正を行うことで、距離情報をより正確なものとすることができる。また、請求項３に記載したように、高度の算出に際し、高度の基準とする表面形状を平面として捉え、この平面に飛行体から下ろした垂線の長さで高度を算出することにより、処理を簡素化して高速に高度を求めることができ、その場合、請求項４に記載したように、距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を平面を構成しない距離情報として除去することで誤検出を防止して信頼性を向上することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】高度計測装置の概略構成を示すブロック図
【図２】特異点除去処理のフローチャート
【図３】高度算出処理のフローチャート
【図４】非平面除去フィルタの説明図
【符号の説明】
１０…ステレオカメラ
３０…ステレオ処理部
４０…高度算出部
Claims (4)
- 所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなり、飛行体に搭載されて下方風景をステレオ撮像するステレオカメラと、
上記ステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出するステレオ処理部と、
複数の計測点の上記距離情報に基づいて下方の表面形状を高度の基準として求め、上記飛行体の高度を算出する高度算出部とを備えたことを特徴とする高度計測装置。 - 上記一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正して、上記距離情報に対し、上記ステレオカメラのレンズ歪み補正を行うことを特徴とする請求項１記載の高度計測装置。
- 上記表面形状を平面として求め、この平面に上記飛行体から下ろした垂線の長さを高度として算出することを特徴とする請求項１又は請求項２記載の高度計測装置。
- 上記距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を、平面を構成しない距離情報として除去することを特徴とする請求項３記載の高度計測装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03623298A JP3850541B2 (ja) | 1998-02-18 | 1998-02-18 | 高度計測装置 |
| US09/246,456 US6148250A (en) | 1998-02-18 | 1999-02-09 | Altitude detection by use of planar approximation of a region of ground surface |
| DE69925057T DE69925057T2 (de) | 1998-02-18 | 1999-02-17 | Vorrichung zur Messung der Höhe eines Flugkörpers |
| EP99301175A EP0937963B1 (en) | 1998-02-18 | 1999-02-17 | Apparatus for detecting an altitude of a flying object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03623298A JP3850541B2 (ja) | 1998-02-18 | 1998-02-18 | 高度計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11230745A JPH11230745A (ja) | 1999-08-27 |
| JP3850541B2 true JP3850541B2 (ja) | 2006-11-29 |
Family
ID=12464040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03623298A Expired - Fee Related JP3850541B2 (ja) | 1998-02-18 | 1998-02-18 | 高度計測装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6148250A (ja) |
| EP (1) | EP0937963B1 (ja) |
| JP (1) | JP3850541B2 (ja) |
| DE (1) | DE69925057T2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6714663B1 (en) * | 1999-11-09 | 2004-03-30 | Lockheed Martin Corp. | Method and software-implemented apparatus for ground plane estimation in multi-dimensional data |
| JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| JP2002228575A (ja) * | 2001-02-01 | 2002-08-14 | Asahi Eng Co Ltd | タンク鋼板の腐食診断システム |
| US6694228B2 (en) | 2002-05-09 | 2004-02-17 | Sikorsky Aircraft Corporation | Control system for remotely operated vehicles for operational payload employment |
| JP4532171B2 (ja) | 2004-06-01 | 2010-08-25 | 富士重工業株式会社 | 立体物認識装置 |
| JP4771797B2 (ja) * | 2004-11-26 | 2011-09-14 | 株式会社デンソーアイティーラボラトリ | 距離計測装置及び距離計測方法 |
| FR2881534B1 (fr) * | 2005-02-01 | 2007-04-20 | Airbus Sas | Procede et dispositif pour determiner la largeur d'un corridor de securite pour un aeronef, ainsi que methode et systheme de securisation d'un vol automatique a basse altitude d'un aeronef |
| JP5113990B2 (ja) * | 2005-05-24 | 2013-01-09 | オリンパス株式会社 | 計測用内視鏡装置 |
| CN101493325B (zh) * | 2009-03-09 | 2010-11-10 | 清华大学 | 激光测绘系统 |
| KR20110080775A (ko) * | 2010-01-07 | 2011-07-13 | 한국항공우주연구원 | 고도 측정 장치 및 방법 |
| US8583296B2 (en) * | 2011-05-21 | 2013-11-12 | University Of Kansas | Low-altitude altimeter and method |
| KR20130094626A (ko) * | 2012-02-16 | 2013-08-26 | 한국전자통신연구원 | 스테레오 매칭 방법 및 장치 |
| CN104574342B (zh) * | 2013-10-14 | 2017-06-23 | 株式会社理光 | 视差深度图像的噪声识别方法和噪声识别装置 |
| JP6669072B2 (ja) | 2014-10-17 | 2020-03-18 | ソニー株式会社 | 装置、方法及びプログラム |
| CN104835164B (zh) * | 2015-05-11 | 2017-07-28 | 京东方科技集团股份有限公司 | 一种双目摄像头深度图像的处理方法及装置 |
| US9738399B2 (en) * | 2015-07-29 | 2017-08-22 | Hon Hai Precision Industry Co., Ltd. | Unmanned aerial vehicle control method and unmanned aerial vehicle using same |
| US9429953B1 (en) | 2015-08-25 | 2016-08-30 | Skycatch, Inc. | Autonomously landing an unmanned aerial vehicle |
| CN105606073A (zh) * | 2016-01-11 | 2016-05-25 | 谭圆圆 | 无人飞行器处理系统及其飞行状态数据处理方法 |
| JP6759850B2 (ja) * | 2016-08-22 | 2020-09-23 | 株式会社リコー | 情報処理システム、情報処理装置およびプログラム |
| CN108447090B (zh) * | 2016-12-09 | 2021-12-21 | 株式会社理光 | 对象姿态估计的方法、装置及电子设备 |
| WO2019209275A1 (en) * | 2018-04-25 | 2019-10-31 | Bae Systems Information And Electronic Systems Integration Inc. | Passive altimeter system for a platform and method thereof |
| EP3992580B1 (en) * | 2020-11-03 | 2022-12-21 | Everdrone AB | Method for calibrating an altitude sensing stereo vision device of a uav |
| IL278930A (en) * | 2020-11-23 | 2022-06-01 | Israel Aerospace Ind Ltd | Ground model based location detection with distance measurement |
| CN116912720B (zh) * | 2023-09-12 | 2023-12-05 | 北京宝隆泓瑞科技有限公司 | 一种判断无人机影像目标是否发生重复识别的方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4081214A (en) * | 1976-07-06 | 1978-03-28 | The United States Of America As Represented By The Secretary Of The Navy | Low altitude optical altimeter |
| DE2940871C2 (de) * | 1979-10-09 | 1983-11-10 | Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn | Photogrammetrisches Verfahren für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung |
| JPS6288914A (ja) * | 1985-10-16 | 1987-04-23 | Nec Corp | 高度計測装置 |
| US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
| KR930004880B1 (ko) * | 1989-03-07 | 1993-06-09 | 미쓰비시 덴끼 가부시기가이샤 | 추미식 차간거리 측정장치 |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH05317528A (ja) * | 1992-05-22 | 1993-12-03 | Yanmar Agricult Equip Co Ltd | 防虫剤等散布用の模型航空機 |
| FR2741320B1 (fr) * | 1995-11-21 | 1998-01-02 | Sextant Avionique | Procede de pilotage a basse altitude |
| US5716032A (en) * | 1996-04-22 | 1998-02-10 | United States Of America As Represented By The Secretary Of The Army | Unmanned aerial vehicle automatic landing system |
| US5991437A (en) * | 1996-07-12 | 1999-11-23 | Real-Time Geometry Corporation | Modular digital audio system having individualized functional modules |
| JP3147002B2 (ja) * | 1996-09-26 | 2001-03-19 | 富士電機株式会社 | 距離検出値の補正方法 |
-
1998
- 1998-02-18 JP JP03623298A patent/JP3850541B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-09 US US09/246,456 patent/US6148250A/en not_active Expired - Fee Related
- 1999-02-17 DE DE69925057T patent/DE69925057T2/de not_active Expired - Fee Related
- 1999-02-17 EP EP99301175A patent/EP0937963B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69925057D1 (de) | 2005-06-09 |
| DE69925057T2 (de) | 2006-03-02 |
| US6148250A (en) | 2000-11-14 |
| EP0937963A3 (en) | 2002-11-20 |
| JPH11230745A (ja) | 1999-08-27 |
| EP0937963B1 (en) | 2005-05-04 |
| EP0937963A2 (en) | 1999-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3850541B2 (ja) | 高度計測装置 | |
| CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
| JP6484729B2 (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
| KR101590530B1 (ko) | 자동 장면 교정 | |
| CN108474658B (zh) | 地面形态检测方法及系统、无人机降落方法和无人机 | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| WO2017080108A1 (zh) | 飞行装置、飞行控制系统及方法 | |
| CN111815716A (zh) | 一种参数标定方法及相关装置 | |
| CN111524194B (zh) | 一种激光雷达和双目视觉相互融合的定位方法及终端 | |
| CN111435081B (zh) | 海面测量系统、海面测量方法以及存储介质 | |
| CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制系统 | |
| JP3808833B2 (ja) | 空中写真測量方法 | |
| KR101224132B1 (ko) | Ｇｐｓ 및 고도계를 이용한 항공기의 3ｄ 위치 측량 및 정사 영상 촬영 시스템과 그 방법 | |
| CN113340272B (zh) | 一种基于无人机微群的地面目标实时定位方法 | |
| CN113723568A (zh) | 基于多传感器和海平面的遥感图像特征点高程获取方法 | |
| CN113052974B (zh) | 物体三维表面的重建方法和装置 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN111412898B (zh) | 基于地空耦合的大区域变形摄影测量方法 | |
| JP2002188917A (ja) | 飛行体の姿勢角検出装置 | |
| CN117665841B (en) | Geographic space information acquisition mapping method and device | |
| CN113532473B (zh) | 一种通过布置近场不动点的摄像测量误差抑制方法 | |
| CN117523568B (zh) | 一种基于无人船的桥高检测方法、装置、设备及介质 | |
| JP2011191186A (ja) | ３次元変化検出装置 | |
| KR102408478B1 (ko) | 경로 추정 방법 및 이를 이용하는 장치 | |
| CN111486820B (zh) | 测量系统、测量方法以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060830 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |