JP3653769B2 - 流れ計測方法及び装置 - Google Patents
流れ計測方法及び装置 Download PDFInfo
- Publication number
- JP3653769B2 JP3653769B2 JP01891195A JP1891195A JP3653769B2 JP 3653769 B2 JP3653769 B2 JP 3653769B2 JP 01891195 A JP01891195 A JP 01891195A JP 1891195 A JP1891195 A JP 1891195A JP 3653769 B2 JP3653769 B2 JP 3653769B2
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- image
- flow
- line
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Instructional Devices (AREA)
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Navigation (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【産業上の利用分野】
本発明は、流れ計測方法及び装置に関し、より具体的には、河川及び海での波及び漂流物の移動、並びに、路面走行車両の移動のような流れを計測する方法及び装置に関する。
【0002】
【従来の技術】
流れや波の動きの計測は、水流や回数の運動を把握するのに役立ち、河床や海底地形等、直接観ることのできない部分を推測するのに役立つ。更には、河川の橋及び堤防、並びに、海岸の護岸・防波堤の建設、設定及び保守管理にも役立つ。従来、このような目的での流れ計測は、最短で4〜5秒間隔で撮影される空中写真により行なわれていた。即ち、空中から、各種浮標の移動状況を追跡して、所定時間間隔で連続写真撮影する。このようにして得られた一連の航空写真をマッチング処理し、流れ(量及び方向)を計測する。
【0003】
例えば、図24に示すように、4つの浮標が、時刻t0〜t6の間に図示したように移動しており、連続写真撮影で、時刻t0の次に時刻t6で写真撮影できるとする。この場合、図25に示すように、t0の空中写真画像にテンプレートのウインドウを設定してテンプレート内の各浮標の画像パターンを抽出し、次の時刻t6の空中写真画像から、同一又は極めて近似する画像パターンの浮標を抽出する。マッチングが得られたら、時刻t0の写真でのテンプレートの浮標の位置と、時刻t6の写真でのマッチングした浮標の位置とから、移動(量及び方向)を算出し、時刻差から速度を算出する。
【0004】
【発明が解決しようとする課題】
しかし、空中写真による流れ計測では、次のような欠点がある。スチル撮影では、連続撮影であっても4〜5秒間隔でしか撮影できないので、その間に計測範囲の浮標が大きく移動してしまう。図3では、時刻t0と時刻t6との間の変化の合成ベクトルが計測できるに過ぎない。この結果、従来例では、細かい流れを計測できないし、マッチング不能又は異なる浮標にマッチングするといったマッチング・エラーを招き易くなる。マッチング・エラーは計測不能又は計測エラーにつながる。
【0005】
更には、写真上でのマッチングは、人手に頼ることになり、熟練作業者が必要なだけでなく、結果を得るのに長い時間がかかってしまう。緊急性又は即時性を要求される用途、例えば、道路の渋滞状況の観測には適用できない。
【0006】
本発明は、細かい流れを計測できる流れ計測方法及び装置を提示することを目的とする。
【0007】
本発明はまた、自動処理によって短時間に結果を得られる流れ計測方法及び装置を提示することを目的とする。
【0008】
本発明は更に、より高精度に流れを計測できる流れ計測方法及び装置を提示することを目的とする。
【0009】
本発明は更に、熟練者に頼らずに、精度良く流れを計測できる流れ計測方法及び装置を提示することを目的とする。
【0010】
【課題を解決するための手段】
本発明に係る流れ計測方法は、撮像装置を使って、移動しながら計測対象を撮影し、一連の撮影映像から画像処理により当該計測対象の流れを計測する方法であって、当該一連の撮影映像から、当該撮影映像上の第1ライン上の線画像データを抽出して第1の連続モザイク画像を生成し、当該撮影映像上の当該第1ラインとは平行で異なる位置の第2ライン上の線画像データを抽出して第2の連続モザイク画像を生成する連続モザイク画像生成ステップと、当該第1及び第2の連続モザイク画像を所定高度面に射影変換して、それぞれ第1及び第2の変換連続モザイク画像を生成する射影変換ステップと、当該第1及び第2の変換連続モザイク画像間で同じ物体の動きを算出する動き算出ステップとを具備することを特徴とする。
【0011】
本発明に係る流れ計測装置は、流れ計測対象を撮影する撮像装置と、当該撮像装置の位置を測定する測位手段と、当該撮像装置による撮影映像及び当該測位手段の測定値を記録する記録手段と、当該撮像装置及び当該測位手段を搬送する搬送手段と、当該記録手段に記録される映像情報及び位置情報を再生する再生手段と、当該撮像装置による一連の撮影映像から、当該撮影映像上の第1ライン上の線画像データを抽出して第1の連続モザイク画像を生成し、当該撮影映像上の当該第1ラインとは平行で異なる位置の第2ライン上の線画像データを抽出して第2の連続モザイク画像を生成する連続モザイク画像生成手段と、当該第1及び第2の連続モザイク画像を所定高度面に射影変換して、それぞれ第1及び第2の変換連続モザイク画像を生成する射影変換手段と、当該第1及び第2の変換連続モザイク画像間で同じ物体の動きを算出する動き算出手段とを具備することを特徴とする。
【0012】
【作用】
上記の各処理は、コンピュータ上で自動化可能であり、従って、一度に撮影できないような広い面でも、ビデオ撮影による映像から、異なる時刻の画像を生成できる。これらの画像間での移動は、画像処理によるマッチング演算で算出できる。従って、主要な行程をコンピュータ上で自動実行できるようになり、迅速に流れを計測できる。時間精度は撮影映像の隣接するライン間の時間差に相当するので、微細に流れを計測できる。
【0013】
ビデオ映像なので、外部標定要素を確定するのに必要な画像情報を豊富に得ることができ、外部標定要素の精度が高まる。これにより、最終的に得られる移動データも精度の良いものになる。
【0014】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
【0015】
図1は、本発明の一実施例の空中計測システムの概略構成ブロック図、図2は、地上計測システムの概略構成ブロック図、図3は、地上解析システムの概略構成ブロック図を示す。
【0016】
図1に示す空中計測システムを説明する。図1に示す空中計測システムは、本実施例ではヘリコプターに搭載される。本実施例では、高品位カメラ10を高精度防振安定装置(防振装置)12に搭載し、その高品位映像信号出力を高品位ビデオ・テープ・レコーダ14によりビデオ・テープに記録する。なお、カメラ10は、一般に下向きであって、直下の映像が走査線に垂直な方向に移動するように(即ち、出力される映像信号の走査線が飛行方向に直交する方向になるように)設置される。カメラ10の出力映像信号は、高品位モニタ16にも印加されている。これにより、カメラ10の被写体及び撮影状況を視覚的に確認できる。
【0017】
高精度防振安定装置12は、機体からの振動がカメラ10に影響しないようにする。これにより、ブレの無い映像を収録できるようになる。即ち、高精度防振安定装置12は、ジャイロとジンバル・サーボを組み合わせることにより、カメラの10光軸が機体に発生するロール軸、ピッチ軸及びヨー軸回りの角度の動揺に対して慣性空間の一定方向に常に向くような空間安定化機能を持つ。
【0018】
18は、測定データを収集・記録すると共に、3軸制御装置20を介して防振安定装置12を制御し、カメラ制御装置22を介してカメラ10を制御し、VTR制御装置24を介してVTR14を制御するパーソナル・コンピュータである。3軸制御装置20により、防振安定装置12の目標方位を任意に設定でき、カメラ制御装置22によりカメラ10のフォーカス、ズーム、絞り値及び色バランス等を制御し、VTR制御装置24により、VTR14の録画開始、録画終了及びポーズを制御し、また、カメラ10の出力映像信号と一緒に記録されるタイムコードを取得して、コンピュータ18に転送する。このタイムコードは、VTR14に記録される映像情報と、その他の測定データを地上解析システムで解析する際に同期をとるのに利用される。
【0019】
対地高度センサ26は、対地高度を検出し、磁方位センサ28は磁方位を検出する。高精度防振安定装置12によっても、ジャイロ・ドリフトによりゆっくりとした方向移動があるので、磁方位センサ28により、カメラ10の向きを補正する必要がある。センサ26,28の出力は、ディジタル・データとして、コンピュータ18に印加される。コンピュータ18には他に、防振安定装置12からカメラ10の3軸方向を示す3軸ジャイロ・データ(ロール角、ピッチ角及びヨー角)が入力し、カメラ10からズーム値を示すズーム・データが入力する。
【0020】
30はGPS(全地球測位システム)の受信アンテナ、32はGPSアンテナ30の受信信号から現在地座標(緯度、経度及び高度)を参集するGPS受信装置である。GPS受信装置32から出力されるGPS測位データは、記録するためにコンピュータ18に印加され、また、ナビゲーションのためにナビゲーション・システム34にも印加される。ナビゲーション・システム34は、予めフロッピー36に記録しておいたナビゲーション・データ(測線データ)に従い、設定した測線に対する現在位置をモニタ38の画面に3次元的グラフィック表示する。これにより、地上に目標物の無い地域や分かりにくい地域(例えば、山間地又は海域等)で所望の測線に沿った撮影が可能になる。
【0021】
なお、GPSの測定精度を向上する方法として、座標が既知の基準点でもGPSで測定し、その測定誤差でGPS測位データを補正するディファレンシャルGPS(D−GPS)方式が知られている。本実施例では、このディファレンシャルGPS方式を採用し、座標が既知の基準局の座標を同時にGPSで測定し、その測定誤差データをGPS補正データとして無線通信によりヘリコプターに送信する。通信装置40は、基準局からのGPS補正データを受信し、コンピュータ18に転送する。
【0022】
コンピュータ18は、入力する飛行データ(対地高度データ、磁方位データ、ズーム・データ、3軸ジャイロ・データ)とGPS補正データ、VTR制御装置24からのタイムコードと共に、フロッピー42に記録する。コンピュータ18はまた、各入力データを必要によりモニタ44に表示することができ、オペレータはキーボード46からコンピュータ18に種々の指示を入力できる。
【0023】
通信装置40による基準局との通信が不良になった場合に備えて、本実施例では、図2に示すように、基準局でも、計測したGPS補正データを独自にフロッピーに保存する。即ち、GPS受信装置50は、GPSアンテナ52の出力からGPSアンテナ52の現在地を算出し、GPS測位データをコンピュータ54に出力する。GPSアンテナ52の正確な座標(基準位置データ)は予め測定されており、そのデータがコンピュータ54に入力又は設定されている。コンピュータ54は、GPS受信装置50からのGPS測位データと基準位置データとの誤差を算出し、GPS補正データとしてフロッピー56に記録する。勿論、測定時刻の情報も同時に記録する。GPS測位データ及びその誤差(即ち、GPS補正データ)は、必要により、モニタ58の画面に表示される。オペレータはキーボード60により種々の指令をコンピュータ54に入力できる。コンピュータ54はまた、通信装置62を介してGPS補正データを、図1に示す空中計測システム(のコンピュータ18)に送信する。
【0024】
図1に示す空中計測システム(及び、必要により図2に示す地上計測システム)により計測された各データは、図3に示す地上解析システムにより解析され、3次元データが算出される。即ち、高品位VTR70は、図1に示す空中計測システムで録画されたビデオ・テープを再生し、映像映像信号をフレーム・バッファ74に、再生されたタイムコードをエンジニアリング・ワークステーション76に印加する。フレーム・バッファ74に一時記憶された映像データはモニタ78に印加され、映像表示される。再生されたタイムコードもモニタ78に同時に表示されることがあるのは、いうまもでもない。
【0025】
パーソナル・コンピュータ80は、図1に示す空中計測システムで同時に収集された飛行データ及びGPS補正データ(通信不良の場合には、図2に示す地上計測システムで計測されたGPS補正データ)を読み出し、GPS測位データをGPS補正データで補正すと共に、3軸ジャイロ・データを磁方位データで補正し、その他の計測データ及び一緒に記録されていたタイムコードと共にワークステーション76に転送する。ワークステーション76は、コンピュータ80から供給されるタイムコードに従いVTR70を制御し、同じタイムコードの映像をVTR70に再生させる。これにより、ワークステーション76は、撮影時の条件及び撮影位置と、そのときの撮影映像とを対応付けることができ、以下に詳細に説明する演算により流れ(量及び方向並びに速度)を算出する。
【0026】
図4は、本実施例における映像入力から流れ算出までのフローを示す。先ず、図1に示す各装置を航空機に搭載し、対象地域上空を可能な限り一定高度及び一定速度で飛行しながら対象地域を撮影し、飛行情報を収録する(S1)。このとき、撮影対象は、基本的に、カメラ10の走査線に垂直な方向に移動していく。カメラ10により撮影された映像は、VTR14によりビデオテープに録画される。同時に、カメラ10の正確な位置(緯度、経度、高さ)と向きの情報が、VTR14からのタイムコードと共にフロッピー42に記録される。タイムコードは、地上での解析時に、カメラの位置及び向きと、再生映像との同期をとるのに使用される。
【0027】
カメラ10の位置は、基本的にはGPS受信機32から出力されるGPS測位データから分かり、精度向上のために、基準局からのGPS補正データによりディファレンシャル処理される。ディファレンシャル処理は、航空機上でもよいが、GPS補正データの通信不良などを考慮すると、GPS受信機32の出力(GPS測位データ)とGPS補正データとを別々にフロッピー42に記録しておき、地上での解析時にディファレンシャル処理するのが好ましい。GPS補正データの通信不良があったときには、図2に示す地上計測システムで記録保存したGPS補正データでGPS測位データをディファレンシャル処理する。
【0028】
カメラ10の向きに関しては、防振安定装置12のジャイロ・センサの出力を磁方位センサ28の出力で補正した値をフロッピー42に記録する。具体的には、3軸の傾き(ピッチ、ロール及びヨー)をフロッピーに記録する。勿論、簡略化のため、または、防振安定装置12の性能が良好な場合や、簡略化してもよい場合には、カメラ10の傾きが一定であるとしてもよい。
【0029】
収録された情報(映像と飛行情報)は、図3に示す地上解析システムで再生され、解析される。先に説明したように、ワークステーション76は、コンピュータ80からの撮影時の情報(カメラの位置と方位、並びにタイムコード)に従い、VTR70を制御し、同じタイムコードの映像を再生させる。再生された映像信号は、ディジタル化されて、フレーム・バッファ74に格納される。このようにして、ワークステーション76は、映像データと、撮影時のカメラ位置及び傾きのデータを得ることができ、標定計算(S2)、連続モザイク画像作成(S3)、射影変換(S4)、マッチング処理(S5)及びベクトル計算(S6)の各処理を経て、流れ計測を完了し、結果を出力(印刷、表示及び/又は記憶)する。
【0030】
標定計算(S2)を説明する。一連の複数の画像を合成して1枚の広い範囲の画像を得る場合、ステレオ画像により3次元計測する技術を流用できる。この場合、各原画像で正確な標定要素が必要になる。標定要素には、撮影時のカメラの位置及び3軸の傾きからなる外部標定要素と、カメラ主点位置ズレ量、レンズ歪係数及びフィルム平面度などからなる内部標定要素とがある。内部標定要素は、カメラ毎に個体差がありうるものも、予め測定しておくことができる。
【0031】
外部標定要素は、次のような一般的な写真測量の手法で求めることができる。即ち、ビデオ撮影時に同時に収録した飛行情報、具体的にはカメラ10の位置と傾きから、重複率が60%(又はほぼ60%)になるようなシーン(本実施例では、フィールド画)を、撮影映像から抽出する。例えば、図5に示す例では、シーン#1に対してシーン#2は60%重複し、シーン#3はシーン#2に対して60%重複する。シーン#3はシーン#1に対しても20%重複する。抽出したシーンのフィールド番号は、後述の射影変換処理における外部標定要素の内挿処理で必要となるので、抽出された各シーンの外部標定要素と対にして、図示しない補助記憶装置(例えば、ハードディスク装置)に記憶する。
【0032】
しかし、飛行情報に従って抽出した3シーンの重複部分は、センサ誤差及び地形の高さによる影響が含まれているので、ピッタリ合うことは稀である。そこで、実際には、次のようにして重複部分を確定する。即ち、図6に示すように、各シーンの重複部分に複数のマッチング領域を設定し、残差逐次検定法又は相互相関係数法などのマッチング手法により、各シーンの各マッチング領域内で共通ポイントを計算する。この計算は勿論、自動化可能であり、この共通ポイントをパス・ポイントと呼ぶ。
【0033】
立体画像を構成する2つの画像からなる対をモデルと呼び、その重複部分のパス・ポイントの座標値から相対的な位置及び傾きの関係を求めるのを相互標定と呼び、複数のモデルをモデル相互の共通したパス・ポイントをもとに統一したコース座標系に変換すべく結合するのを接続標定と呼ぶ。相互標定と接続標定の関係を図7に示す。
【0034】
一連の撮影映像で上述の相互標定と接続標定を繰り返し行なうことにより、各モデルを統一したコース座標系に変換できる。ビデオ撮影時に収録した飛行情報(外部標定要素)は、その測定系に依存する測定誤差又は変動を含むが、このような標定計算(相互標定と接続標定)により、外部標定要素の値を高精度に確定できる。
【0035】
以上により、標定計算(S2)を終了し、次に、連続モザイク画像を作成する(S3)。カメラの撮像面(CCD面)と地上撮影範囲の関係は、図8のようになる。ビデオ映像は、周知の通り、1秒間に30フレームからなり、1フレームは奇フィールドと偶フィールドの2つのフィールドからなる。奇フィールドと偶フィールドは、走査線が重複しないようにずらして配列され、1/60秒毎に交互に表示される。
【0036】
即ち、カメラ10により撮影したビデオ映像は、1/60秒毎に撮影位置を変えたシーン(フィールド)からなり、本実施例では、図9に示すように、各フィールドからその(先頭+n)ライン及び(最終−n)ラインの各ライン・データを抽出し、各フィールドの(先頭+n)ラインのデータから形成した画像を前方視画像、各フィールドの(最終−n)ラインのデータから形成した画像を後方視画像とそれぞれ呼ぶ。nは0以上の整数である。撮影時の移動速度が一定で、且つカメラの傾きも一定であれば、これら、前方視画像は、同じ物体を異なる時間に撮影したものになる。
【0037】
前方視画像と後方視画像で同一の地点は、図10に示すように、ベース長Bだけ離れた位置で撮影されたものになる。例えば、高度1,000フィート、速度40ノットで飛行しながら、3/4インチCCDハイビジョン・カメラで撮影した場合で、先頭ラインで前方視画像を形成し、最終ラインで後方視画像を形成したとき(即ち、n=0)、焦点距離が8.5mmであれば、ベース長Bは191m、その間の時間差は9.3秒であり、焦点距離が102.0mmであれば、ベース長Bは16m、時間差は0.7秒である。
【0038】
ハイビジョン信号は1フレームが1,035本の走査線を含み、フィールド画では517本の走査線を含む。従って、焦点距離8.5mmの場合、走査線間の時間差は0.018秒(=9.3秒/517本)に相当する。従って、このケースでは、1回の撮影飛行で、浮標などの動きを平均9.3秒間にわたり最小0.018秒間隔で連続して計測できることになる。
【0039】
但し、航空機によるビデオ撮影では、飛行速度の変化、飛行コースのズレ、飛行高度の変化、及び3軸(ピッチ、ロール及びヨー)の変化といった変動要因があり、これらの影響を除去して、ビデオ画像を地上座標に射影変換する必要がある(S4)。
【0040】
射影変換処理(S4)では先ず、標定計算(S2)で得られた重複率60%の各画像の外部標定要素をもとに、連続モザイク画像(前方視画像及び後方視画像)の各ライン・データに対応する外部標定要素を決定する。例えば、図11に示すように、3つの撮影地点P,Q,Rでの外部標定要素、即ちカメラの位置と傾きが、それぞれ、(Xp,Yp,Zp,ωp,φp,κp)、(Xq,Yq,Zq,ωq,φq,κq)及び(Xr,Yr,Zr,ωr,φr,κr)であるとしたとき、連続モザイク画像上で、各撮影地点P,Q,Rでの撮影画面から抽出したラインにこれらの外部標定要素の値を割り当て、それ以外のラインには、内挿値を割り当てる。このようにして、連続モザイク画像の各ラインに、図12に示すように外部標定要素(Xi,Yi,Zi,ωi,φi,κi)を割り当てる。
【0041】
本実施例では、写真測量の演算ソフトウエアを流用するので、ビデオ映像の座標系を、図13に示すように、通常の写真測量の単写真の座標系に変換する。即
【0042】
ち、【数1】に示すように、画像座標系(u,v)を写真座標系(x,y)に変換する。
【0043】
【数1】
x=(u−u0)×xC
y=(v−v0)×yC
但し、u0及びv0は、ビデオ画像の中心画像座標値、xC及びyCは、1画素あたりのx,y方向のCCD結像面での長さである。
【0044】
そして、写真座標系を地上座標系に変換する。写真座標系(x,y)と地上座標系(X,Y,Z)との間には、図14に示す幾何学的関係があり、その変換式は、下式で表わされる。
【0045】
【数2】
【0046】
ここで、fは画面距離、(Xo,Yo,Zo)は写真の投影中心Oの地上座標で
【0047】
ある。【数2】は、共線条件式と呼ばれる。9個の係数a11〜a33は、カメラの
【0048】
撮影軸の傾き(ω,φ,κ)から【数3】により求められる。ω,φ,κはそれぞれX軸、Y軸及びZ軸のまわりの回転角を示し、それぞれの軸の正方向に向かって右まわりを正とする。
【0049】
【数3】
【0050】
従って、
【0051】
【数4】
【0052】
【数2】の逆変換式は、次のようになる。即ち、
【0053】
【数5】
【0054】
【数2】及び【数5】における未知変量は、写真の投影中心の地上座標(Xo,Yo,Zo)及び撮影軸の傾き(ω,φ,κ)の6つである。この6つの未知変量が外部標定要素であり、先に求めたライン毎の外部標定要素により、ライン毎に、写真座標系を地上座標系に変換できる。
【0055】
このように地上座標系に変換された連続モザイク画像に【数5】を適用し、標高0mに投影した画像に変換する(S4)。即ち、図15に示すように、先にライン毎に決定した外部標定要素を用いて係数a11〜a33を求め、連続モザイク画
【0056】
像の前方視画像及び後方視画像に【数5】を適用して、標高0mに投影した画像を作成する。この時、作成する画像の1画素の大きさは、撮影高度、カメラ焦点距離及びビデオ画像1画素のCCD長等から計算して、最適な値に設定する。
【0057】
出力画像の1画素の大きさを最適な値に設定しても、ビデオ撮影時の飛行速度や撮影方向の変化で画素ヌケの箇所が発生する場合がある。これは、フィルタ処理により周囲の画素から内挿又は補間する。内挿手法には、内挿したい点に最も近い観測点の値をそのまま流用する最近隣内挿法、内挿したい点の周囲の4つの観測点の値の平均値を求める値とする共一次内挿法、及び、内挿したい点の周囲の16個の観測点の値を三次畳み込み処理する三次畳み込み内挿法などがある。
【0058】
最近隣内挿法は、最大1/2画素の位置誤差を生じるが、オリジナルな画像データを壊さない利点があり、また、アルゴリズムが簡単である。共一次内挿法は、オリジナルのデータが壊される欠点があるが、平均化によりスムージングの効果がでる利点がある。三次畳み込み内挿法は、オリジナルのデータが壊される欠点があるが、画像の平滑化と鮮鋭化を同時に実現できるという利点がある。目的に応じて、また最終結果を見て、全体又は部分的に何れの内挿法を適用するかを選択すればよい。
【0059】
射影変換(S4)により得られた前方視画像と後方視画像から、マッチング処理により任意の浮標の移動後の位置を調べ(S5)、その結果から動きベクトルを算出する(S6)。その動きの間の経過時間は、先に説明したように、飛行速度、飛行高度及びカメラの焦点距離等だけでなく、前方視画像及び後方視画像が撮影画像の何番目のラインを抽出して合成したものになっているかに依存する。
【0060】
図16に示すように、前方視画像内で、周囲と明瞭に識別できる適当なテンプレート画像(浮標などの小さな画像)を設定し、そのテンプレート画像にほぼ合致する画像を後方視画像上で探索する。予測される移動量及び移動速度を勘案して、探索範囲を設定する。計測対象によっては、移動方向が限定される場合もある。そのような場合には、予測される範囲に探索範囲を設定すれば、より効率的に且つ正しいマッチングを得ることが出来る。なお、後方視画像内にテンプレート画像を設定し、そのテンプレート画像に合致する画像を前方視画像から探索するようにしてもよいことは明らかである。
【0061】
マッチング処理結果によりテンプレート画像の位置を基準として、マッチング位置及び再配列後の1画素の大きさから、X,Y各成分の変位量Δx,Δyを求め、移動量Dと移動角度θを下記式により計算する。即ち、
D=(Δx2+Δy2)1/2
θ=tan-1(Δx/Δy)
である。
【0062】
先に説明したように、前方視と後方視のモザイク画像を形成するのにビデオ映像から抽出するラインが、互いに近い程、得られる前方視画像と後方視画像で経過時間が短くなり、従って、同じ物体の移動量が小さくなる。この結果、目標物体の見掛け上の変形なども少なくなり、非常に高いマッチング精度が得られるだけでなく、探索範囲も狭くてよい。別の物体にマッチングする可能性も低くなる。
【0063】
従って、マッチング処理に際して、予想される探索範囲でビデオ映像の中間的なラインによるモザイク画像の形成(S3)、射影変換(S4)及びマッチングを行なって、逐次的に対応点を探索するようにしてもよい。これにより、高い精度で対応点を検出できるようになる。
【0064】
また、ビデオ映像の隣接するラインでモザイク画像を形成し、それらを射影変換した画像間でマッチングすれば、それらの一方のラインにおける時刻でライン間の時間差に対応する時間差における移動ベクトルを算出できる。ビデオ映像から抽出するラインを先頭ラインから最終ラインに向けて逐次、1ラインずつずらしていくことで、時々刻々変化する動きをそのままに算出できる。
【0065】
図17に示す一次元モデルで簡単に説明する。図17で、縦軸はx、横軸は時間tを示す。左下から右上に延びる実線は、ビデオ映像の各ラインが撮影するx位置とその撮影時刻tとの対応関係を示す。ビデオ映像の各ラインは、同じ時刻でも異なるx位置を撮影したものになっている。ある浮標又はテンプレート画像が、ビデオ映像のライン#0から形成したモザイク画像では、時刻t0でx0に位置し、ライン#iから形成したモザイク画像では時刻tiにxiに位置し、最終ライン#Kから形成したモザイク画像では時刻tKにxKに位置したというように、移動しているとする。ライン#0とライン#1のモザイク画像のマッチング処理により、
となる。
【0066】
以下、同様に、一般的に、ライン#iとライン#j(但し、j>i)のモザイク画像のマッチング処理により、
となる。細かい変化を計測するときには、j=i+1とすればよい。
【0067】
図17に示すモデルでは、時刻t0から時刻tKまでの間の、(tK−t0)に相当する時間の間の移動を細かく計測できることになる。移動途中でのマッチング処理のためのモザイク画像は、必要な範囲、例えば探索範囲のみを作成すればよい。そうすれば、演算時間が短くて済むだけでなく、種々のデータを記憶するメモリ容量も少なくて済む。
【0068】
隣接するラインから形成したモザイク画像間でマッチング処理することにより、同じ外観の多数の浮標を流れに浮かべた場合でも、移動量が微量になるので、異なる浮標にミスマッチングしてしまうことがなくなるという利点もある。即ち、同じ外観の多数の浮標を流すことが可能になるので、面的に細かく計測できるという利点がある。
【0069】
標定計算(S2)及びマッチング処理(S5)で利用したマッチング手法を簡単に説明する。先に説明したように、従来、使用されているマッチング手法には、残差逐次検定法と相互相関係数法がある。
【0070】
先ず、残差逐次検定法を説明する。図18に示すように、N×N画素のテンプレート画像を、それより大きいM×M画素の入力画像内の探索範囲(M−N+1
【0071】
)2上で動かし、【数6】の残差が最小になった位置で、重ね合わせが達成されたと看做す。
【0072】
【数6】
【0073】
ただし、(a,b)は、入力画像内におけるテンプレート画像の左上位置を示し、I(a,b)(m,n)は入力画像の部分画像、T(m,n)はテンプレート画像、R(a,b)は、入力画像の部分画像とテンプレート画像との残差である。
【0074】
重ね合わせがずれていると、各画素について順次加算していくときに残差が急激に増大する。そこで、加算の途中で残差があるしきい値を超えたら、重ね合わせが良くないものと判断して、加算を打ち切り、次の(a,b)に移行する。これが、残差逐次検定法(sequentia1 similarity detection algorithmであり、以降SSDA法と略す。)である。SSDA法は、Barneaらによって提案されたが、しきい値をいかに与えるかが問題であった。この点に関して尾上らは、いかに述べるしきい値自動決定法を提案している。
【0075】
尾上らの提案するしきい値自動決定法は、取り敢えずのしきい値として過去の残差の最小値を採用する。なお、最初は、しきい値無しで最後まで加算させ、その結果の残差を最初のしきい値とする。以降、最後まで、しきい値を超えることなく加算されるごとにその残差を新しいしきい値とする。この方法では、常に真の最小値に達することが保証されている。
【0076】
SSDA法は、加算だけからなり、しかも多くの場合に途中で打ち切られるので、計算時間を大幅に短縮できる。尾上らは、雲の移動追跡に応用して、相互相関係数による方法と比べて精度が同等、処理時間が1桁以上短縮というきわめて良好な結果を得ている。
【0077】
相互相関係数法を説明する。相互相関係数法では、【数7】が最大になる入力画像内におけるテンプレート画像の左上位置(a,b)を求める。
【0078】
【数7】
【0079】
この方法では、SSDA法のような計算の打ち切りが無いので、計算時間をあまり短縮できない。しかし、写真測量の分野では、ステレオ航空写真のディジタル画像から格子点の標高を計測し、等高線を描画する場合に、左右の画像で対応する点を探索する手法として相互相関係数法が、手軽なのでよく使われている。
【0080】
本実施例では、対空標識の設置及びその位置計測のための測量作業が不要になるので、任意の地域で迅速に調査できる。また、人が立ち入ることの出来ない危険地域(土砂崩れ、土石流及び火山噴火地帯等)についても流れを計測できる。また、標定計算が自動化されているので、解析処理を手早く進めることが出来る。標定計算により、撮影時のカメラ位置及び方位などの撮影条件の精度を高められる。
【0081】
任意のラインから形成したモザイク画像により、任意の時間差での移動を計測できる。1回のビデオ撮影で計測可能な平均時間は、直接的にはベース長Bと飛行高度Hに依存するが、カメラの焦点距離を変更することで、ある程度、自由に設定できる。
【0082】
本実施例により面的な流れの状況を微細に計測できるようになり、各種の対策又はシミュレーションの基礎データを入手できる。例えば、洪水流調査、沿岸流調査、河川水拡散調査、波浪解析調査、及び路面走行車両調査等の、面的な移動の調査に応用できる。図19〜図23は、それぞれについての、流れと流れ計測の為の飛行コースを示す。図19〜図23で、矢印の付いた太い実線が、飛行コースと飛行方向を示す。
【0083】
図19に示す洪水流調査では、洪水時の濁流による河床洗掘の様子を知ることができ、橋脚や護岸の倒壊を予防し、又はこれに備えることができるようになる。
【0084】
図20に示す沿岸流調査では、護岸や防波堤の建設に伴う砂の移動の変化をシミュレーションするための基礎情報を得ることができる。これらの構造物の形状及び位置の設計及び建設に役立てて、航路や港の浅海化を事前に防止できる。
【0085】
図21に示す河川水拡散状況調査では、河川水に含まれる生活排水が海で生活する生物に与える影響、及び汚濁水による海水浴場への影響を調べることができ、また、富栄養河川水による海苔養殖場所の適地選定等で基礎データを得ることができる。
【0086】
図22に示す波浪解析調査により、波の速度を解析して沿岸の海底地形を推測することが可能になる。
【0087】
図23に示す路面走行車両調査により、高速道路等の路面走行車両の運動状況を迅速且つ定量的に把握でき、交通渋滞の解析及び解消に役立てることができる。
【0088】
本実施例によれば、従来良く利用された航空写真に代わって、高解像度ビデオカメラで収録した映像から、ほぼ自動処理により短時間で流れを計測できるので、非常に幅広い用途に利用可能である。ヘリコプターから地上を撮影する例で説明したが、本発明は、ヘリコプター以外に、その他の飛行機及び監視衛星から撮影する場合にも適用できるこというまでもない。
【0089】
本実施例では、広い範囲にわたる流れを一度のビデオ入力で計測できるだけでなく、短時間の微細な変化を計測できる。従って、時間的な変動を実質的に無視し得るような流れでは、1回のビデオ入力(計測飛行)で必要な情報を入手でき、時間的な変動を計測する必要のある場合には、複数回にわたりビデオ入力(計測飛行)すればよい。
【0090】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、ビデオ映像から実質的に自動的に流れを精度よく計測できる。実質的に自動処理になるので、熟練者を必要とせずに、短時間で結果を得ることができる。
【図面の簡単な説明】
【図1】 本発明の一実施例の空中計測システムの概略構成ブロック図である。
【図2】 本実施例の地上計測システムの概略構成ブロック図である。
【図3】 本実施例の地上解析システムの概略構成ブロック図である。
【図4】 本実施例における計測から3次元データ抽出までのフロー・チャートである。
【図5】 標定計算のための60%重複シーンの説明図である。
【図6】 相互標定とパス・ポイントの説明図である。
【図7】 相互標定と接続標定の説明図である。
【図8】 カメラの撮像面と地上撮影範囲との関係図である。
【図9】 連続モザイク画像作成の概念図である。
【図10】 前方視画像と後方視画像の関係の説明図である。
【図11】 連続モザイク画像と外部標定要素との関係図である。
【図12】 外部標定要素の内挿を説明する図である。
【図13】 撮像面の画像座標系と写真座標系を説明する図である。
【図14】 写真座標系と地上座標系の関係図である。
【図15】 連続モザイク画像を、標高0mへ投影した画像に変換する関係の説明図である。
【図16】 マッチング処理の説明図である。
【図17】 ビデオ映像の各ラインによる撮影位置と撮影時刻の対応モデルを示す図である。
【図18】 入力画像とテンプレート画像のマッチングの基本図である。
【図19】 本実施例による洪水流調査の飛行コース例である。
【図20】 本実施例による沿岸流調査の飛行コース例である。
【図21】 本実施例による河川水拡散状況調査の飛行コース例である。
【図22】 本実施例による波浪解析調査の飛行コース例である。
【図23】 本実施例による路面走行車両調査の飛行コース例である。
【図24】 流れの中の浮標の移動例である。
【図25】 図24に示す例を空中写真で流れ計測する場合の説明図である。
【符号の説明】
10:高品位カメラ
12:高精度防振安定装置(防振装置)
14:高品位ビデオ・テープ・レコーダ
16:高品位モニタ
18:パーソナル・コンピュータ
20:3軸制御装置
22:カメラ制御装置
24:VTR制御装置
26:対地高度センサ
28:磁方位センサ
30:GPSアンテナ
32:GPS受信装置
34:ナビゲーション・システム
36:フロッピー
38:モニタ
40:通信装置
42:フロッピー
44:モニタ
46:キーボード
50:GPS受信装置
52:GPSアンテナ
54:コンピュータ
56:フロッピー
58:モニタ
60:キーボード
62:通信装置
70:高品位VTR
74:フレーム・バッファ
76:エンジニアリング・ワークステーション
78:モニタ
80:パーソナル・コンピュータ
Claims (22)
- 撮像装置を使って、移動しながら計測対象を撮影し、一連の撮影映像から画像処理により当該計測対象の流れを計測する方法であって、
当該一連の撮影映像から、当該撮影映像上の第1ライン上の線画像データを抽出して第1の連続モザイク画像を生成し、当該撮影映像上の当該第1ラインとは平行で異なる位置の第2ライン上の線画像データを抽出して第2の連続モザイク画像を生成する連続モザイク画像生成ステップと、
当該第1及び第2の連続モザイク画像を所定高度面に射影変換して、それぞれ第1及び第2の変換連続モザイク画像を生成する射影変換ステップと、
当該第1及び第2の変換連続モザイク画像間で同じ物体の動きを算出する動き算出ステップ
とを具備することを特徴とする流れ計測方法。 - 更に、上記撮像装置の位置及び3軸の傾きを含む外部標定要素を決定する標定決定ステップを具備する請求項1に記載の流れ計測方法。
- 上記標定決定ステップが、上記撮影映像の連続する画面から、相互標定及び接続標定により当該外部標定要素を決定する請求項2に記載の流れ計測方法。
- 上記標定決定ステップが、
撮影映像の連続する画面から、所定割合重複する2画面を抽出し、相互標定する相互標定ステップと、
上記相互標定ステップにより相互標定されたモデルを接続する接続標定ステップ
とを具備する請求項3に記載の流れ計測方法。 - 上記射影変換ステップが、
上記標定決定ステップで決定された当該外部標定要素に従い、上記第1及び第2の連続モザイク画像の各線画像データに当該外部標定要素を割り付ける外部標定要素割り付けステップと、
上記第1及び第2の連続モザイク画像の各線画像データを、当該線画像データの外部標定要素に従い所定高度に投影する投影ステップ
とからなる請求項2乃至4の何れか1項に記載の流れ計測方法。 - 上記連続モザイク画像生成ステップが、動き算出に必要な部分の連続モザイク画像を生成する請求項1乃至5の何れか1項に記載の流れ計測方法。
- 上記撮像装置の位置を検出する手段として、GPS受信手段を具備する請求項1乃至6の何れか1項に記載の流れ計測方法。
- 更に、上記GPS受信手段の出力をディファレンシャル補正する補正手段を具備する請求項7に記載の流れ計測方法。
- 当該撮影映像上の当該第1及び第2ラインが、当該撮像装置の出力する映像信号の互いに異なる走査線に対応する請求項1乃至8の何れか1項に記載の流れ計測方法。
- 流れ計測のための移動方向が、上記撮像装置の走査線方向に垂直な方向である請求項1乃至9の何れか1項に記載の流れ計測方法。
- 流れ計測対象を撮影する撮像装置と、
当該撮像装置の位置を測定する測位手段と、
当該撮像装置による撮影映像及び当該測位手段の測定値を記録する記録手段と、
当該撮像装置及び当該測位手段を搬送する搬送手段と、
当該記録手段に記録される映像情報及び位置情報を再生する再生手段と、
当該撮像装置による一連の撮影映像から、当該撮影映像上の第1ライン上の線画像データを抽出して第1の連続モザイク画像を生成し、当該撮影映像上の当該第1ラインとは平行で異なる位置の第2ライン上の線画像データを抽出して第2の連続モザイク画像を生成する連続モザイク画像生成手段と、
当該第1及び第2の連続モザイク画像を所定高度面に射影変換して、それぞれ第1及び第2の変換連続モザイク画像を生成する射影変換手段と、
当該第1及び第2の変換連続モザイク画像間で同じ物体の動きを算出する動き算出手段
とを具備することを特徴とする流れ計測装置。 - 更に、上記撮像装置の位置及び3軸の傾きを含む外部標定要素を決定する標定決定手段を具備する請求項11に記載の流れ計測装置。
- 当該標定決定手段が、当該撮影映像の連続する画面から、相互標定及び接続標定により当該外部標定要素を決定する請求項12に記載の流れ計測装置。
- 上記標定決定手段が、
撮影映像の連続する画面から、所定割合重複する2画面を抽出し、相互標定する相互標定手段と、
当該相互標定手段により相互標定されたモデルを接続する接続標定手段
とを具備する請求項13に記載の流れ計測装置。 - 上記射影変換手段が、
上記標定決定手段で決定された上記外部標定要素に従い、上記第1及び第2の連続モザイク画像の各線画像データに外部標定要素を割り付ける外部標定要素割り付け手段と、
上記第1及び第2の連続モザイク画像の各線画像データを、当該線画像データの外部標定要素に従い所定高度に投影する投影手段
とからなる請求項12乃至14の何れか1項に記載の流れ計測装置。 - 上記連続モザイク画像生成手段が、動き算出に必要な部分の連続モザイク画像を生成する請求項11乃至15の何れか1項に記載の流れ計測方法。
- 上記測位手段が、GPS受信手段である請求項11乃至16の何れか1項に記載の流れ計測装置。
- 更に、GPS受信手段の出力をディファレンシャル補正する補正手段を具備する請求項17に記載の流れ計測装置。
- 上記搬送手段が飛行体である請求項11乃至18の何れか1項に記載の流れ計測装置。
- 更に、上記撮像装置の方向を検出する方向検出手段を具備し、当該方向検出手段の出力も上記記録手段に記録される請求項11乃至19の何れか1項に記載の流れ計測装置。
- 当該撮影映像上の当該第1及び第2ラインが、当該撮像装置の出力する映像信号の互いに異なる走査線に対応する請求項11乃至20の何れか1項に記載の流れ計測装置。
- 上記搬送手段の移動方向が上記撮像装置の走査線方向に垂直な方向であるように上記撮 像装置が設置される請求項11乃至21の何れか1項に記載の流れ計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01891195A JP3653769B2 (ja) | 1995-02-07 | 1995-02-07 | 流れ計測方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01891195A JP3653769B2 (ja) | 1995-02-07 | 1995-02-07 | 流れ計測方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08211088A JPH08211088A (ja) | 1996-08-20 |
JP3653769B2 true JP3653769B2 (ja) | 2005-06-02 |
Family
ID=11984798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01891195A Expired - Fee Related JP3653769B2 (ja) | 1995-02-07 | 1995-02-07 | 流れ計測方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3653769B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60106439T2 (de) * | 2000-06-02 | 2006-02-02 | Koninklijke Philips Electronics N.V. | Verfahren und anordnung zur mischung von bildern |
US7800645B2 (en) * | 2003-06-20 | 2010-09-21 | Mitsubishi Denki Kabushiki Kaisha | Image display method and image display apparatus |
JP4574969B2 (ja) * | 2003-09-12 | 2010-11-04 | 株式会社パスコ | マルチラインセンサーを用いた数値地形モデルの構築方法 |
JP4536524B2 (ja) * | 2005-01-11 | 2010-09-01 | 株式会社エヌ・ティ・ティ・データ | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
JP2009253921A (ja) * | 2008-04-10 | 2009-10-29 | Sony Corp | 撮像装置、撮像画像記録方法およびプログラム |
US8675068B2 (en) | 2008-04-11 | 2014-03-18 | Nearmap Australia Pty Ltd | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
US8497905B2 (en) | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
JP5841346B2 (ja) * | 2011-04-18 | 2016-01-13 | 朝日航洋株式会社 | 航空レーザ測量システム |
JP6577703B2 (ja) | 2014-08-05 | 2019-09-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
CN115201518B (zh) * | 2022-07-25 | 2023-08-01 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于无人机rtk定位的图像测流快速标定方法 |
-
1995
- 1995-02-07 JP JP01891195A patent/JP3653769B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08211088A (ja) | 1996-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3541855B2 (ja) | 3次元データ抽出方法及び装置 | |
US5259037A (en) | Automated video imagery database generation using photogrammetry | |
JP5047515B2 (ja) | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 | |
JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
US7800645B2 (en) | Image display method and image display apparatus | |
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
US20170310892A1 (en) | Method of 3d panoramic mosaicing of a scene | |
JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
US11689808B2 (en) | Image synthesis system | |
US20020191838A1 (en) | Any aspect passive volumetric image processing method | |
CN101919235A (zh) | 正射影像图像的生成方法以及摄影装置 | |
CN110675450A (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
JP2003323611A (ja) | 衛星撮影画像のオルソ補正処理方法 | |
JPWO2008152740A1 (ja) | デジタル空撮3次元計測システム | |
JP3653769B2 (ja) | 流れ計測方法及び装置 | |
CN110986888A (zh) | 一种航空摄影一体化方法 | |
JP3781034B2 (ja) | ステレオ画像形成方法及び装置 | |
JPH099197A (ja) | 連続ステレオ画像データ記録装置 | |
CN116385554A (zh) | 一种基于双无人机视频拼接的近岸海域水深测绘方法 | |
KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
Hsu | Geocoded terrestrial mosaics using pose sensors and video registration | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
JP4362042B2 (ja) | 洪水ハザードマップ生成方法及びシステム | |
JP2001280957A (ja) | 地形調査ユニット | |
JP6746036B2 (ja) | 情報処理装置、検出システム、情報処理方法、および情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050221 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |