JPH08211088A

JPH08211088A - 流れ計測方法及び装置

Info

Publication number: JPH08211088A
Application number: JP7018911A
Authority: JP
Inventors: Toru Inoue; 井上　　徹
Original assignee: Aero Asahi Corp
Current assignee: Aero Asahi Corp
Priority date: 1995-02-07
Filing date: 1995-02-07
Publication date: 1996-08-20
Anticipated expiration: 2020-06-02
Also published as: JP3653769B2

Abstract

(57)【要約】【目的】面的な時間的及び位置的な細かい流れを計測
する。【構成】計測対象の上空をヘリコプターで飛行しなが
ら計測対象を撮影し、測位データ及びヘリコプターの傾
きと共にＶＴＲに記録する（Ｓ１）。標定計算により、
外部標定要素を決定する（Ｓ２）。一連の撮影映像から
２以上の所定ラインの画像データを抽出し、合成して連
続モザイク画像を作成する（Ｓ３）。作成された連続モ
ザイク画像を高度０ｍに投影し（Ｓ４）、マッチング演
算により（Ｓ５）、任意の物体の移動量及び方向を算出
する（Ｓ６）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、流れ計測方法及び装置
に関し、より具体的には、河川及び海での波及び漂流物
の移動、並びに、路面走行車両の移動のような流れを計
測する方法及び装置に関する。

【０００２】

【従来の技術】流れや波の動きの計測は、水流や回数の
運動を把握するのに役立ち、河床や海底地形等、直接観
ることのできない部分を推測するのに役立つ。更には、
河川の橋及び堤防、並びに、海岸の護岸・防波堤の建
設、設定及び保守管理にも役立つ。従来、このような目
的での流れ計測は、最短で４〜５秒間隔で撮影される空
中写真により行なわれていた。即ち、空中から、各種浮
標の移動状況を追跡して、所定時間間隔で連続写真撮影
する。このようにして得られた一連の航空写真をマッチ
ング処理し、流れ（量及び方向）を計測する。

【０００３】例えば、図２４に示すように、４つの浮標
が、時刻ｔ０〜ｔ６の間に図示したように移動してお
り、連続写真撮影で、時刻ｔ０の次に時刻ｔ６で写真撮
影できるとする。この場合、図２５に示すように、ｔ０
の空中写真画像にテンプレートのウインドウを設定して
テンプレート内の各浮標の画像パターンを抽出し、次の
時刻ｔ６の空中写真画像から、同一又は極めて近似する
画像パターンの浮標を抽出する。マッチングが得られた
ら、時刻ｔ０の写真でのテンプレートの浮標の位置と、
時刻ｔ６の写真でのマッチングした浮標の位置とから、
移動（量及び方向）を算出し、時刻差から速度を算出す
る。

【０００４】

【発明が解決しようとする課題】しかし、空中写真によ
る流れ計測では、次のような欠点がある。スチル撮影で
は、連続撮影であっても４〜５秒間隔でしか撮影できな
いので、その間に計測範囲の浮標が大きく移動してしま
う。図３では、時刻ｔ０と時刻ｔ６との間の変化の合成
ベクトルが計測できるに過ぎない。この結果、従来例で
は、細かい流れを計測できないし、マッチング不能又は
異なる浮標にマッチングするといったマッチング・エラ
ーを招き易くなる。マッチング・エラーは計測不能又は
計測エラーにつながる。

【０００５】更には、写真上でのマッチングは、人手に
頼ることになり、熟練作業者が必要なだけでなく、結果
を得るのに長い時間がかかってしまう。緊急性又は即時
性を要求される用途、例えば、道路の渋滞状況の観測に
は適用できない。

【０００６】本発明は、細かい流れを計測できる流れ計
測方法及び装置を提示することを目的とする。

【０００７】本発明はまた、自動処理によって短時間に
結果を得られる流れ計測方法及び装置を提示することを
目的とする。

【０００８】本発明は更に、より高精度に流れを計測で
きる流れ計測方法及び装置を提示することを目的とす
る。

【０００９】本発明は更に、熟練者に頼らずに、精度良
く流れを計測できる流れ計測方法及び装置を提示するこ
とを目的とする。

【００１０】

【課題を解決するための手段】本発明では、一連のビデ
オ映像から２以上の所定ラインの画像データを抽出し
て、相互に異なる時刻での連続モザイク画像を形成す
る。それらの連続モザイク画像間でマッチング処理によ
り、同じ物体の移動量及び方向を算出する。

【００１１】好ましくは、撮影映像の連続する画面か
ら、所定割合で重複する少なくとも３以上の画面を抽出
し、その重複部分で各画面をマッチングし、外部標定要
素を確定する。そして、この標定計算で決定された外部
標定要素に従い、連続モザイク画像の各ラインに外部標
定要素を割り付け、連続モザイク画像の各ラインを、当
該ラインの外部標定要素に従い所定高度への投影画像に
変換する。

【００１２】

【作用】上記の各処理は、コンピュータ上で自動化可能
であり、従って、一度に撮影できないような広い面で
も、ビデオ撮影による映像から、異なる時刻の画像を生
成できる。これらの画像間での移動は、画像処理による
マッチング演算で算出できる。従って、主要な行程をコ
ンピュータ上で自動実行できるようになり、迅速に流れ
を計測できる。時間精度は撮影映像の隣接するライン間
の時間差に相当するので、微細に流れを計測できる。

【００１３】ビデオ映像なので、外部標定要素を確定す
るのに必要な画像情報を豊富に得ることができ、外部標
定要素の精度が高まる。これにより、最終的に得られる
移動データも精度の良いものになる。

【００１４】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１５】図１は、本発明の一実施例の空中計測シス
テムの概略構成ブロック図、図２は、地上計測システム
の概略構成ブロック図、図３は、地上解析システムの概
略構成ブロック図を示す。

【００１６】図１に示す空中計測システムを説明する。
図１に示す空中計測システムは、本実施例ではヘリコプ
ターに搭載される。本実施例では、高品位カメラ１０を
高精度防振安定装置（防振装置）１２に搭載し、その高
品位映像信号出力を高品位ビデオ・テープ・レコーダ１
４によりビデオ・テープに記録する。なお、カメラ１０
は、一般に下向きであって、直下の映像が走査線に垂直
な方向に移動するように（即ち、出力される映像信号の
走査線が飛行方向に直交する方向になるように）設置さ
れる。カメラ１０の出力映像信号は、高品位モニタ１６
にも印加されている。これにより、カメラ１０の被写体
及び撮影状況を視覚的に確認できる。

【００１７】高精度防振安定装置１２は、機体からの振
動がカメラ１０に影響しないようにする。これにより、
ブレの無い映像を収録できるようになる。即ち、高精度
防振安定装置１２は、ジャイロとジンバル・サーボを組
み合わせることにより、カメラの１０光軸が機体に発生
するロール軸、ピッチ軸及びヨー軸回りの角度の動揺に
対して慣性空間の一定方向に常に向くような空間安定化
機能を持つ。

【００１８】１８は、測定データを収集・記録すると共
に、３軸制御装置２０を介して防振安定装置１２を制御
し、カメラ制御装置２２を介してカメラ１０を制御し、
ＶＴＲ制御装置２４を介してＶＴＲ１４を制御するパー
ソナル・コンピュータである。３軸制御装置２０によ
り、防振安定装置１２の目標方位を任意に設定でき、カ
メラ制御装置２２によりカメラ１０のフォーカス、ズー
ム、絞り値及び色バランス等を制御し、ＶＴＲ制御装置
２４により、ＶＴＲ１４の録画開始、録画終了及びポー
ズを制御し、また、カメラ１０の出力映像信号と一緒に
記録されるタイムコードを取得して、コンピュータ１８
に転送する。このタイムコードは、ＶＴＲ１４に記録さ
れる映像情報と、その他の測定データを地上解析システ
ムで解析する際に同期をとるのに利用される。

【００１９】対地高度センサ２６は、対地高度を検出
し、磁方位センサ２８は磁方位を検出する。高精度防振
安定装置１２によっても、ジャイロ・ドリフトによりゆ
っくりとした方向移動があるので、磁方位センサ２８に
より、カメラ１０の向きを補正する必要がある。センサ
２６，２８の出力は、ディジタル・データとして、コン
ピュータ１８に印加される。コンピュータ１８には他
に、防振安定装置１２からカメラ１０の３軸方向を示す
３軸ジャイロ・データ（ロール角、ピッチ角及びヨー
角）が入力し、カメラ１０からズーム値を示すズーム・
データが入力する。

【００２０】３０はＧＰＳ（全地球測位システム）の受
信アンテナ、３２はＧＰＳアンテナ３０の受信信号から
現在地座標（緯度、経度及び高度）を参集するＧＰＳ受
信装置である。ＧＰＳ受信装置３２から出力されるＧＰ
Ｓ測位データは、記録するためにコンピュータ１８に印
加され、また、ナビゲーションのためにナビゲーション
・システム３４にも印加される。ナビゲーション・シス
テム３４は、予めフロッピー３６に記録しておいたナビ
ゲーション・データ（測線データ）に従い、設定した測
線に対する現在位置をモニタ３８の画面に３次元的グラ
フィック表示する。これにより、地上に目標物の無い地
域や分かりにくい地域（例えば、山間地又は海域等）で
所望の測線に沿った撮影が可能になる。

【００２１】なお、ＧＰＳの測定精度を向上する方法と
して、座標が既知の基準点でもＧＰＳで測定し、その測
定誤差でＧＰＳ測位データを補正するディファレンシャ
ルＧＰＳ（Ｄ−ＧＰＳ）方式が知られている。本実施例
では、このディファレンシャルＧＰＳ方式を採用し、座
標が既知の基準局の座標を同時にＧＰＳで測定し、その
測定誤差データをＧＰＳ補正データとして無線通信によ
りヘリコプターに送信する。通信装置４０は、基準局か
らのＧＰＳ補正データを受信し、コンピュータ１８に転
送する。

【００２２】コンピュータ１８は、入力する飛行データ
（対地高度データ、磁方位データ、ズーム・データ、３
軸ジャイロ・データ）とＧＰＳ補正データ、ＶＴＲ制御
装置２４からのタイムコードと共に、フロッピー４２に
記録する。コンピュータ１８はまた、各入力データを必
要によりモニタ４４に表示することができ、オペレータ
はキーボード４６からコンピュータ１８に種々の指示を
入力できる。

【００２３】通信装置４０による基準局との通信が不良
になった場合に備えて、本実施例では、図２に示すよう
に、基準局でも、計測したＧＰＳ補正データを独自にフ
ロッピーに保存する。即ち、ＧＰＳ受信装置５０は、Ｇ
ＰＳアンテナ５２の出力からＧＰＳアンテナ５２の現在
地を算出し、ＧＰＳ測位データをコンピュータ５４に出
力する。ＧＰＳアンテナ５２の正確な座標（基準位置デ
ータ）は予め測定されており、そのデータがコンピュー
タ５４に入力又は設定されている。コンピュータ５４
は、ＧＰＳ受信装置５０からのＧＰＳ測位データと基準
位置データとの誤差を算出し、ＧＰＳ補正データとして
フロッピー５６に記録する。勿論、測定時刻の情報も同
時に記録する。ＧＰＳ測位データ及びその誤差（即ち、
ＧＰＳ補正データ）は、必要により、モニタ５８の画面
に表示される。オペレータはキーボード６０により種々
の指令をコンピュータ５４に入力できる。コンピュータ
５４はまた、通信装置６２を介してＧＰＳ補正データ
を、図１に示す空中計測システム（のコンピュータ１
８）に送信する。

【００２４】図１に示す空中計測システム（及び、必要
により図２に示す地上計測システム）により計測された
各データは、図３に示す地上解析システムにより解析さ
れ、３次元データが算出される。即ち、高品位ＶＴＲ７
０は、図１に示す空中計測システムで録画されたビデオ
・テープを再生し、映像映像信号をフレーム・バッファ
７４に、再生されたタイムコードをエンジニアリング・
ワークステーション７６に印加する。フレーム・バッフ
ァ７４に一時記憶された映像データはモニタ７８に印加
され、映像表示される。再生されたタイムコードもモニ
タ７８に同時に表示されることがあるのは、いうまもで
もない。

【００２５】パーソナル・コンピュータ８０は、図１に
示す空中計測システムで同時に収集された飛行データ及
びＧＰＳ補正データ（通信不良の場合には、図２に示す
地上計測システムで計測されたＧＰＳ補正データ）を読
み出し、ＧＰＳ測位データをＧＰＳ補正データで補正す
と共に、３軸ジャイロ・データを磁方位データで補正
し、その他の計測データ及び一緒に記録されていたタイ
ムコードと共にワークステーション７６に転送する。ワ
ークステーション７６は、コンピュータ８０から供給さ
れるタイムコードに従いＶＴＲ７０を制御し、同じタイ
ムコードの映像をＶＴＲ７０に再生させる。これによ
り、ワークステーション７６は、撮影時の条件及び撮影
位置と、そのときの撮影映像とを対応付けることがで
き、以下に詳細に説明する演算により流れ（量及び方向
並びに速度）を算出する。

【００２６】図４は、本実施例における映像入力から流
れ算出までのフローを示す。先ず、図１に示す各装置を
航空機に搭載し、対象地域上空を可能な限り一定高度及
び一定速度で飛行しながら対象地域を撮影し、飛行情報
を収録する（Ｓ１）。このとき、撮影対象は、基本的
に、カメラ１０の走査線に垂直な方向に移動していく。
カメラ１０により撮影された映像は、ＶＴＲ１４により
ビデオテープに録画される。同時に、カメラ１０の正確
な位置（緯度、経度、高さ）と向きの情報が、ＶＴＲ１
４からのタイムコードと共にフロッピー４２に記録され
る。タイムコードは、地上での解析時に、カメラの位置
及び向きと、再生映像との同期をとるのに使用される。

【００２７】カメラ１０の位置は、基本的にはＧＰＳ受
信機３２から出力されるＧＰＳ測位データから分かり、
精度向上のために、基準局からのＧＰＳ補正データによ
りディファレンシャル処理される。ディファレンシャル
処理は、航空機上でもよいが、ＧＰＳ補正データの通信
不良などを考慮すると、ＧＰＳ受信機３２の出力（ＧＰ
Ｓ測位データ）とＧＰＳ補正データとを別々にフロッピ
ー４２に記録しておき、地上での解析時にディファレン
シャル処理するのが好ましい。ＧＰＳ補正データの通信
不良があったときには、図２に示す地上計測システムで
記録保存したＧＰＳ補正データでＧＰＳ測位データをデ
ィファレンシャル処理する。

【００２８】カメラ１０の向きに関しては、防振安定装
置１２のジャイロ・センサの出力を磁方位センサ２８の
出力で補正した値をフロッピー４２に記録する。具体的
には、３軸の傾き（ピッチ、ロール及びヨー）をフロッ
ピーに記録する。勿論、簡略化のため、または、防振安
定装置１２の性能が良好な場合や、簡略化してもよい場
合には、カメラ１０の傾きが一定であるとしてもよい。

【００２９】収録された情報（映像と飛行情報）は、図
３に示す地上解析システムで再生され、解析される。先
に説明したように、ワークステーション７６は、コンピ
ュータ８０からの撮影時の情報（カメラの位置と方位、
並びにタイムコード）に従い、ＶＴＲ７０を制御し、同
じタイムコードの映像を再生させる。再生された映像信
号は、ディジタル化されて、フレーム・バッファ７４に
格納される。このようにして、ワークステーション７６
は、映像データと、撮影時のカメラ位置及び傾きのデー
タを得ることができ、標定計算（Ｓ２）、連続モザイク
画像作成（Ｓ３）、射影変換（Ｓ４）、マッチング処理
（Ｓ５）及びベクトル計算（Ｓ６）の各処理を経て、流
れ計測を完了し、結果を出力（印刷、表示及び／又は記
憶）する。

【００３０】標定計算（Ｓ２）を説明する。一連の複数
の画像を合成して１枚の広い範囲の画像を得る場合、ス
テレオ画像により３次元計測する技術を流用できる。こ
の場合、各原画像で正確な標定要素が必要になる。標定
要素には、撮影時のカメラの位置及び３軸の傾きからな
る外部標定要素と、カメラ主点位置ズレ量、レンズ歪係
数及びフィルム平面度などからなる内部標定要素とがあ
る。内部標定要素は、カメラ毎に個体差がありうるもの
も、予め測定しておくことができる。

【００３１】外部標定要素は、次のような一般的な写真
測量の手法で求めることができる。即ち、ビデオ撮影時
に同時に収録した飛行情報、具体的にはカメラ１０の位
置と傾きから、重複率が６０％（又はほぼ６０％）にな
るようなシーン（本実施例では、フィールド画）を、撮
影映像から抽出する。例えば、図５に示す例では、シー
ン＃１に対してシーン＃２は６０％重複し、シーン＃３
はシーン＃２に対して６０％重複する。シーン＃３はシ
ーン＃１に対しても２０％重複する。抽出したシーンの
フィールド番号は、後述の射影変換処理における外部標
定要素の内挿処理で必要となるので、抽出された各シー
ンの外部標定要素と対にして、図示しない補助記憶装置
（例えば、ハードディスク装置）に記憶する。

【００３２】しかし、飛行情報に従って抽出した３シー
ンの重複部分は、センサ誤差及び地形の高さによる影響
が含まれているので、ピッタリ合うことは稀である。そ
こで、実際には、次のようにして重複部分を確定する。
即ち、図６に示すように、各シーンの重複部分に複数の
マッチング領域を設定し、残差逐次検定法又は相互相関
係数法などのマッチング手法により、各シーンの各マッ
チング領域内で共通ポイントを計算する。この計算は勿
論、自動化可能であり、この共通ポイントをパス・ポイ
ントと呼ぶ。

【００３３】立体画像を構成する２つの画像からなる対
をモデルと呼び、その重複部分のパス・ポイントの座標
値から相対的な位置及び傾きの関係を求めるのを相互標
定と呼び、複数のモデルをモデル相互の共通したパス・
ポイントをもとに統一したコース座標系に変換すべく結
合するのを接続標定と呼ぶ。相互標定と接続標定の関係
を図７に示す。

【００３４】一連の撮影映像で上述の相互標定と接続標
定を繰り返し行なうことにより、各モデルを統一したコ
ース座標系に変換できる。ビデオ撮影時に収録した飛行
情報（外部標定要素）は、その測定系に依存する測定誤
差又は変動を含むが、このような標定計算（相互標定と
接続標定）により、外部標定要素の値を高精度に確定で
きる。

【００３５】以上により、標定計算（Ｓ２）を終了し、
次に、連続モザイク画像を作成する（Ｓ３）。カメラの
撮像面（ＣＣＤ面）と地上撮影範囲の関係は、図８のよ
うになる。ビデオ映像は、周知の通り、１秒間に３０フ
レームからなり、１フレームは奇フィールドと偶フィー
ルドの２つのフィールドからなる。奇フィールドと偶フ
ィールドは、走査線が重複しないようにずらして配列さ
れ、１／６０秒毎に交互に表示される。

【００３６】即ち、カメラ１０により撮影したビデオ映
像は、１／６０秒毎に撮影位置を変えたシーン（フィー
ルド）からなり、本実施例では、図９に示すように、各
フィールドからその（先頭＋ｎ）ライン及び（最終−
ｎ）ラインの各ライン・データを抽出し、各フィールド
の（先頭＋ｎ）ラインのデータから形成した画像を前方
視画像、各フィールドの（最終−ｎ）ラインのデータか
ら形成した画像を後方視画像とそれぞれ呼ぶ。ｎは０以
上の整数である。撮影時の移動速度が一定で、且つカメ
ラの傾きも一定であれば、これら、前方視画像は、同じ
物体を異なる時間に撮影したものになる。

【００３７】前方視画像と後方視画像で同一の地点は、
図１０に示すように、ベース長Ｂだけ離れた位置で撮影
されたものになる。例えば、高度１，０００フィート、
速度４０ノットで飛行しながら、３／４インチＣＣＤハ
イビジョン・カメラで撮影した場合で、先頭ラインで前
方視画像を形成し、最終ラインで後方視画像を形成した
とき（即ち、ｎ＝０）、焦点距離が８．５ｍｍであれ
ば、ベース長Ｂは１９１ｍ、その間の時間差は９．３秒
であり、焦点距離が１０２．０ｍｍであれば、ベース長
Ｂは１６ｍ、時間差は０．７秒である。

【００３８】ハイビジョン信号は１フレームが１，０３
５本の走査線を含み、フィールド画では５１７本の走査
線を含む。従って、焦点距離８．５ｍｍの場合、走査線
間の時間差は０．０１８秒（＝９．３秒／５１７本）に
相当する。従って、このケースでは、１回の撮影飛行
で、浮標などの動きを平均９．３秒間にわたり最小０．
０１８秒間隔で連続して計測できることになる。

【００３９】但し、航空機によるビデオ撮影では、飛行
速度の変化、飛行コースのズレ、飛行高度の変化、及び
３軸（ピッチ、ロール及びヨー）の変化といった変動要
因があり、これらの影響を除去して、ビデオ画像を地上
座標に射影変換する必要がある（Ｓ４）。

【００４０】射影変換処理（Ｓ４）では先ず、標定計算
（Ｓ２）で得られた重複率６０％の各画像の外部標定要
素をもとに、連続モザイク画像（前方視画像及び後方視
画像）の各ライン・データに対応する外部標定要素を決
定する。例えば、図１１に示すように、３つの撮影地点
Ｐ，Ｑ，Ｒでの外部標定要素、即ちカメラの位置と傾き
が、それぞれ、（Ｘp，Ｙp，Ｚp，ωp，φp，κp）、
（Ｘq，Ｙq，Ｚq，ωq，φq，κq）及び（Ｘr，Ｙr，Ｚ
r，ωr，φr，κr）であるとしたとき、連続モザイク画
像上で、各撮影地点Ｐ，Ｑ，Ｒでの撮影画面から抽出し
たラインにこれらの外部標定要素の値を割り当て、それ
以外のラインには、内挿値を割り当てる。このようにし
て、連続モザイク画像の各ラインに、図１２に示すよう
に外部標定要素（Ｘ_i，Ｙ_i，Ｚ_i，ω_i，φ_i，κ_i）を割
り当てる。

【００４１】本実施例では、写真測量の演算ソフトウエ
アを流用するので、ビデオ映像の座標系を、図１３に示
すように、通常の写真測量の単写真の座標系に変換す
る。即

【００４２】ち、

【数１】に示すように、画像座標系（ｕ，ｖ）を写真座
標系（ｘ，ｙ）に変換する。

【００４３】

【数１】ｘ＝（ｕ−ｕ₀）×ｘ_C ｙ＝（ｖ−ｖ₀）×ｙ_C 但し、ｕ₀及びｖ₀は、ビデオ画像の中心画像座標値、ｘ
_C及びｙ_Cは、１画素あたりのｘ，ｙ方向のＣＣＤ結像面
での長さである。

【００４４】そして、写真座標系を地上座標系に変換す
る。写真座標系（ｘ，ｙ）と地上座標系（Ｘ，Ｙ，Ｚ）
との間には、図１４に示す幾何学的関係があり、その変
換式は、下式で表わされる。

【００４５】

【数２】

【００４６】ここで、ｆは画面距離、（Ｘｏ，Ｙｏ，Ｚ
ｏ）は写真の投影中心Ｏの地上座標で

【００４７】ある。

【数２】は、共線条件式と呼ばれる。９個の係数ａ₁₁〜
ａ₃₃は、カメラの

【００４８】撮影軸の傾き（ω，φ，κ）から

【数３】により求められる。ω，φ，κはそれぞれＸ
軸、Ｙ軸及びＺ軸のまわりの回転角を示し、それぞれの
軸の正方向に向かって右まわりを正とする。

【００４９】

【数３】

【００５０】従って、

【００５１】

【数４】

【００５２】

【数２】の逆変換式は、次のようになる。即ち、

【００５３】

【数５】

【００５４】

【数２】及び

【数５】における未知変量は、写真の投影中心の地上座
標（Ｘｏ，Ｙｏ，Ｚｏ）及び撮影軸の傾き（ω，φ，
κ）の６つである。この６つの未知変量が外部標定要素
であり、先に求めたライン毎の外部標定要素により、ラ
イン毎に、写真座標系を地上座標系に変換できる。

【００５５】このように地上座標系に変換された連続モ
ザイク画像に

【数５】を適用し、標高０ｍに投影した画像に変換する
（Ｓ４）。即ち、図１５に示すように、先にライン毎に
決定した外部標定要素を用いて係数ａ₁₁〜ａ₃₃を求め、
連続モザイク画

【００５６】像の前方視画像及び後方視画像に

【数５】を適用して、標高０ｍに投影した画像を作成す
る。この時、作成する画像の１画素の大きさは、撮影高
度、カメラ焦点距離及びビデオ画像１画素のＣＣＤ長等
から計算して、最適な値に設定する。

【００５７】出力画像の１画素の大きさを最適な値に設
定しても、ビデオ撮影時の飛行速度や撮影方向の変化で
画素ヌケの箇所が発生する場合がある。これは、フィル
タ処理により周囲の画素から内挿又は補間する。内挿手
法には、内挿したい点に最も近い観測点の値をそのまま
流用する最近隣内挿法、内挿したい点の周囲の４つの観
測点の値の平均値を求める値とする共一次内挿法、及
び、内挿したい点の周囲の１６個の観測点の値を三次畳
み込み処理する三次畳み込み内挿法などがある。

【００５８】最近隣内挿法は、最大１／２画素の位置誤
差を生じるが、オリジナルな画像データを壊さない利点
があり、また、アルゴリズムが簡単である。共一次内挿
法は、オリジナルのデータが壊される欠点があるが、平
均化によりスムージングの効果がでる利点がある。三次
畳み込み内挿法は、オリジナルのデータが壊される欠点
があるが、画像の平滑化と鮮鋭化を同時に実現できると
いう利点がある。目的に応じて、また最終結果を見て、
全体又は部分的に何れの内挿法を適用するかを選択すれ
ばよい。

【００５９】射影変換（Ｓ４）により得られた前方視画
像と後方視画像から、マッチング処理により任意の浮標
の移動後の位置を調べ（Ｓ５）、その結果から動きベク
トルを算出する（Ｓ６）。その動きの間の経過時間は、
先に説明したように、飛行速度、飛行高度及びカメラの
焦点距離等だけでなく、前方視画像及び後方視画像が撮
影画像の何番目のラインを抽出して合成したものになっ
ているかに依存する。

【００６０】図１６に示すように、前方視画像内で、周
囲と明瞭に識別できる適当なテンプレート画像（浮標な
どの小さな画像）を設定し、そのテンプレート画像にほ
ぼ合致する画像を後方視画像上で探索する。予測される
移動量及び移動速度を勘案して、探索範囲を設定する。
計測対象によっては、移動方向が限定される場合もあ
る。そのような場合には、予測される範囲に探索範囲を
設定すれば、より効率的に且つ正しいマッチングを得る
ことが出来る。なお、後方視画像内にテンプレート画像
を設定し、そのテンプレート画像に合致する画像を前方
視画像から探索するようにしてもよいことは明らかであ
る。

【００６１】マッチング処理結果によりテンプレート画
像の位置を基準として、マッチング位置及び再配列後の
１画素の大きさから、Ｘ，Ｙ各成分の変位量Δｘ，Δｙ
を求め、移動量Ｄと移動角度θを下記式により計算す
る。即ち、Ｄ＝（Δｘ²＋Δｙ²）^1/2 θ＝ｔａｎ^-1（Δｘ／Δｙ）である。

【００６２】先に説明したように、前方視と後方視のモ
ザイク画像を形成するのにビデオ映像から抽出するライ
ンが、互いに近い程、得られる前方視画像と後方視画像
で経過時間が短くなり、従って、同じ物体の移動量が小
さくなる。この結果、目標物体の見掛け上の変形なども
少なくなり、非常に高いマッチング精度が得られるだけ
でなく、探索範囲も狭くてよい。別の物体にマッチング
する可能性も低くなる。

【００６３】従って、マッチング処理に際して、予想さ
れる探索範囲でビデオ映像の中間的なラインによるモザ
イク画像の形成（Ｓ３）、射影変換（Ｓ４）及びマッチ
ングを行なって、逐次的に対応点を探索するようにして
もよい。これにより、高い精度で対応点を検出できるよ
うになる。

【００６４】また、ビデオ映像の隣接するラインでモザ
イク画像を形成し、それらを射影変換した画像間でマッ
チングすれば、それらの一方のラインにおける時刻でラ
イン間の時間差に対応する時間差における移動ベクトル
を算出できる。ビデオ映像から抽出するラインを先頭ラ
インから最終ラインに向けて逐次、１ラインずつずらし
ていくことで、時々刻々変化する動きをそのままに算出
できる。

【００６５】図１７に示す一次元モデルで簡単に説明す
る。図１７で、縦軸はｘ、横軸は時間ｔを示す。左下か
ら右上に延びる実線は、ビデオ映像の各ラインが撮影す
るｘ位置とその撮影時刻ｔとの対応関係を示す。ビデオ
映像の各ラインは、同じ時刻でも異なるｘ位置を撮影し
たものになっている。ある浮標又はテンプレート画像
が、ビデオ映像のライン＃０から形成したモザイク画像
では、時刻ｔ₀でｘ₀に位置し、ライン＃ｉから形成した
モザイク画像では時刻ｔ_iにｘ_iに位置し、最終ライン＃
Ｋから形成したモザイク画像では時刻ｔ_Kにｘ_Kに位置し
たというように、移動しているとする。ライン＃０とラ
イン＃１のモザイク画像のマッチング処理により、移動量Δｘ＝ｘ₁−ｘ₀ 移動速度ｖ＝Δｘ／（ｔ₁−ｔ₀）＝（ｘ₁−ｘ₀）／（ｔ₁−ｔ₀）となる。

【００６６】以下、同様に、一般的に、ライン＃ｉとラ
イン＃ｊ（但し、ｊ＞ｉ）のモザイク画像のマッチング
処理により、移動量Δｘ＝ｘ_j−ｘ_ｉ移動速度ｖ＝Δｘ／（ｔ_ｊ−ｔ_i）＝（ｘ_j−ｘ_i）／（ｔ_j−ｔ_i）となる。細かい変化を計測するときには、ｊ＝ｉ＋１と
すればよい。

【００６７】図１７に示すモデルでは、時刻ｔ₀から時
刻ｔ_Kまでの間の、（ｔ_K−ｔ₀）に相当する時間の間の
移動を細かく計測できることになる。移動途中でのマッ
チング処理のためのモザイク画像は、必要な範囲、例え
ば探索範囲のみを作成すればよい。そうすれば、演算時
間が短くて済むだけでなく、種々のデータを記憶するメ
モリ容量も少なくて済む。

【００６８】隣接するラインから形成したモザイク画像
間でマッチング処理することにより、同じ外観の多数の
浮標を流れに浮かべた場合でも、移動量が微量になるの
で、異なる浮標にミスマッチングしてしまうことがなく
なるという利点もある。即ち、同じ外観の多数の浮標を
流すことが可能になるので、面的に細かく計測できると
いう利点がある。

【００６９】標定計算（Ｓ２）及びマッチング処理（Ｓ
５）で利用したマッチング手法を簡単に説明する。先に
説明したように、従来、使用されているマッチング手法
には、残差逐次検定法と相互相関係数法がある。

【００７０】先ず、残差逐次検定法を説明する。図１８
に示すように、Ｎ×Ｎ画素のテンプレート画像を、それ
より大きいＭ×Ｍ画素の入力画像内の探索範囲（Ｍ−Ｎ
＋１

【００７１】）²上で動かし、

【数６】の残差が最小になった位置で、重ね合わせが達
成されたと看做す。

【００７２】

【数６】

【００７３】ただし、（ａ，ｂ）は、入力画像内におけ
るテンプレート画像の左上位置を示し、Ｉ_(a,b)（ｍ，
ｎ）は入力画像の部分画像、Ｔ（ｍ，ｎ）はテンプレー
ト画像、Ｒ（ａ，ｂ）は、入力画像の部分画像とテンプ
レート画像との残差である。

【００７４】重ね合わせがずれていると、各画素につい
て順次加算していくときに残差が急激に増大する。そこ
で、加算の途中で残差があるしきい値を超えたら、重ね
合わせが良くないものと判断して、加算を打ち切り、次
の（ａ，ｂ）に移行する。これが、残差逐次検定法（ｓ
ｅｑｕｅｎｔｉａ１ｓｉｍｉｌａｒｉｔｙｄｅｔｅ
ｃｔｉｏｎａｌｇｏｒｉｔｈｍであり、以降ＳＳＤＡ
法と略す。）である。ＳＳＤＡ法は、Ｂａｒｎｅａらに
よって提案されたが、しきい値をいかに与えるかが問題
であった。この点に関して尾上らは、いかに述べるしき
い値自動決定法を提案している。

【００７５】尾上らの提案するしきい値自動決定法は、
取り敢えずのしきい値として過去の残差の最小値を採用
する。なお、最初は、しきい値無しで最後まで加算さ
せ、その結果の残差を最初のしきい値とする。以降、最
後まで、しきい値を超えることなく加算されるごとにそ
の残差を新しいしきい値とする。この方法では、常に真
の最小値に達することが保証されている。

【００７６】ＳＳＤＡ法は、加算だけからなり、しかも
多くの場合に途中で打ち切られるので、計算時間を大幅
に短縮できる。尾上らは、雲の移動追跡に応用して、相
互相関係数による方法と比べて精度が同等、処理時間が
１桁以上短縮というきわめて良好な結果を得ている。

【００７７】相互相関係数法を説明する。相互相関係数
法では、

【数７】が最大になる入力画像内におけるテンプレート
画像の左上位置（ａ，ｂ）を求める。

【００７８】

【数７】

【００７９】この方法では、ＳＳＤＡ法のような計算の
打ち切りが無いので、計算時間をあまり短縮できない。
しかし、写真測量の分野では、ステレオ航空写真のディ
ジタル画像から格子点の標高を計測し、等高線を描画す
る場合に、左右の画像で対応する点を探索する手法とし
て相互相関係数法が、手軽なのでよく使われている。

【００８０】本実施例では、対空標識の設置及びその位
置計測のための測量作業が不要になるので、任意の地域
で迅速に調査できる。また、人が立ち入ることの出来な
い危険地域（土砂崩れ、土石流及び火山噴火地帯等）に
ついても流れを計測できる。また、標定計算が自動化さ
れているので、解析処理を手早く進めることが出来る。
標定計算により、撮影時のカメラ位置及び方位などの撮
影条件の精度を高められる。

【００８１】任意のラインから形成したモザイク画像に
より、任意の時間差での移動を計測できる。１回のビデ
オ撮影で計測可能な平均時間は、直接的にはベース長Ｂ
と飛行高度Ｈに依存するが、カメラの焦点距離を変更す
ることで、ある程度、自由に設定できる。

【００８２】本実施例により面的な流れの状況を微細に
計測できるようになり、各種の対策又はシミュレーショ
ンの基礎データを入手できる。例えば、洪水流調査、沿
岸流調査、河川水拡散調査、波浪解析調査、及び路面走
行車両調査等の、面的な移動の調査に応用できる。図１
９〜図２３は、それぞれについての、流れと流れ計測の
為の飛行コースを示す。図１９〜図２３で、矢印の付い
た太い実線が、飛行コースと飛行方向を示す。

【００８３】図１９に示す洪水流調査では、洪水時の濁
流による河床洗掘の様子を知ることができ、橋脚や護岸
の倒壊を予防し、又はこれに備えることができるように
なる。

【００８４】図２０に示す沿岸流調査では、護岸や防波
堤の建設に伴う砂の移動の変化をシミュレーションする
ための基礎情報を得ることができる。これらの構造物の
形状及び位置の設計及び建設に役立てて、航路や港の浅
海化を事前に防止できる。

【００８５】図２１に示す河川水拡散状況調査では、河
川水に含まれる生活排水が海で生活する生物に与える影
響、及び汚濁水による海水浴場への影響を調べることが
でき、また、富栄養河川水による海苔養殖場所の適地選
定等で基礎データを得ることができる。

【００８６】図２２に示す波浪解析調査により、波の速
度を解析して沿岸の海底地形を推測することが可能にな
る。

【００８７】図２３に示す路面走行車両調査により、高
速道路等の路面走行車両の運動状況を迅速且つ定量的に
把握でき、交通渋滞の解析及び解消に役立てることがで
きる。

【００８８】本実施例によれば、従来良く利用された航
空写真に代わって、高解像度ビデオカメラで収録した映
像から、ほぼ自動処理により短時間で流れを計測できる
ので、非常に幅広い用途に利用可能である。ヘリコプタ
ーから地上を撮影する例で説明したが、本発明は、ヘリ
コプター以外に、その他の飛行機及び監視衛星から撮影
する場合にも適用できるこというまでもない。

【００８９】本実施例では、広い範囲にわたる流れを一
度のビデオ入力で計測できるだけでなく、短時間の微細
な変化を計測できる。従って、時間的な変動を実質的に
無視し得るような流れでは、１回のビデオ入力（計測飛
行）で必要な情報を入手でき、時間的な変動を計測する
必要のある場合には、複数回にわたりビデオ入力（計測
飛行）すればよい。

【００９０】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、ビデオ映像から実質的に自動的に
流れを精度よく計測できる。実質的に自動処理になるの
で、熟練者を必要とせずに、短時間で結果を得ることが
できる。

【図面の簡単な説明】

【図１】本発明の一実施例の空中計測システムの概略
構成ブロック図である。

【図２】本実施例の地上計測システムの概略構成ブロ
ック図である。

【図３】本実施例の地上解析システムの概略構成ブロ
ック図である。

【図４】本実施例における計測から３次元データ抽出
までのフロー・チャートである。

【図５】標定計算のための６０％重複シーンの説明図
である。

【図６】相互標定とパス・ポイントの説明図である。

【図７】相互標定と接続標定の説明図である。

【図８】カメラの撮像面と地上撮影範囲との関係図で
ある。

【図９】連続モザイク画像作成の概念図である。

【図１０】前方視画像と後方視画像の関係の説明図で
ある。

【図１１】連続モザイク画像と外部標定要素との関係
図である。

【図１２】外部標定要素の内挿を説明する図である。

【図１３】撮像面の画像座標系と写真座標系を説明す
る図である。

【図１４】写真座標系と地上座標系の関係図である。

【図１５】連続モザイク画像を、標高０ｍへ投影した
画像に変換する関係の説明図である。

【図１６】マッチング処理の説明図である。

【図１７】ビデオ映像の各ラインによる撮影位置と撮
影時刻の対応モデルを示す図である。

【図１８】入力画像とテンプレート画像のマッチング
の基本図である。

【図１９】本実施例による洪水流調査の飛行コース例
である。

【図２０】本実施例による沿岸流調査の飛行コース例
である。

【図２１】本実施例による河川水拡散状況調査の飛行
コース例である。

【図２２】本実施例による波浪解析調査の飛行コース
例である。

【図２３】本実施例による路面走行車両調査の飛行コ
ース例である。

【図２４】流れの中の浮標の移動例である。

【図２５】図２４に示す例を空中写真で流れ計測する
場合の説明図である。

【符号の説明】

１０：高品位カメラ１２：高精度防振安定装置（防振装置）１４：高品位ビデオ・テープ・レコーダ１６：高品位モニタ１８：パーソナル・コンピュータ２０：３軸制御装置２２：カメラ制御装置２４：ＶＴＲ制御装置２６：対地高度センサ２８：磁方位センサ３０：ＧＰＳアンテナ３２：ＧＰＳ受信装置３４：ナビゲーション・システム３６：フロッピー３８：モニタ４０：通信装置４２：フロッピー４４：モニタ４６：キーボード５０：ＧＰＳ受信装置５２：ＧＰＳアンテナ５４：コンピュータ５６：フロッピー５８：モニタ６０：キーボード６２：通信装置７０：高品位ＶＴＲ７４：フレーム・バッファ７６：エンジニアリング・ワークステーション７８：モニタ８０：パーソナル・コンピュータ

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０１Ｎ 21/85 ＺＧ０１Ｐ 3/38 Ｇ０６Ｔ 1/00 7/20 // Ｇ０１Ｃ 11/02

Claims

【特許請求の範囲】

【請求項１】移動しながら計測対象を撮影し、一連の
撮影映像から画像処理により当該計測対象の流れを計測
する方法であって、撮影映像の連続する画面の中の所定画面における少なく
とも２以上の所定ラインの画像データを抽出して、連続
モザイク画像を生成する連続モザイク画像生成ステップ
と、当該連続モザイク画像生成ステップで生成された２以上
の連続モザイク画像を所定高度面に射影変換する射影変
換ステップと、当該射影変換ステップで射影された連続モザイク画像間
で同じ物体の動きを算出する動き算出ステップとからな
ることを特徴とする流れ計測方法。
【請求項２】更に、撮影映像の連続する画面から、相
互標定及び接続標定により外部標定要素を確定する標定
計算ステップを具備する請求項１に記載の流れ計測方
法。
【請求項３】上記標定計算ステップが、撮影映像の連
続する画面から、所定割合重複する２画面を抽出し、相
互標定する相互標定ステップと、当該相互標定ステップ
により相互標定されたモデルを接続する接続標定ステッ
プとを具備する請求項２に記載の流れ計測方法。
【請求項４】上記所定割合が、６０％である請求項３
に記載の流れ計測方法。
【請求項５】上記射影変換ステップが、上記標定計算
ステップで決定された外部標定要素に従い、上記連続モ
ザイク画像生成ステップで生成された連続モザイク画像
の各ラインに外部標定要素を割り付ける外部標定要素割
り付けステップと、上記連続モザイク画像生成ステップ
で生成された連続モザイク画像の各ラインを、当該ライ
ンの外部標定要素に従い所定高度への投影画像に変換す
る投影ステップとからなる請求項２乃至４の何れか１項
に記載の流れ計測方法。
【請求項６】上記連続モザイク画像生成ステップが、
動き算出に必要な部分の連続モザイク画像を生成する請
求項１乃至５の何れか１項に記載の流れ計測方法。
【請求項７】映像入力手段の位置を検出する手段とし
て、ＧＰＳ受信手段を具備する請求項１乃至６の何れか
１項に記載の流れ計測方法。
【請求項８】更に、上記ＧＰＳ受信手段の出力をディ
ファレンシャル補正する補正手段を具備する請求項７に
記載の流れ計測方法。
【請求項９】上記映像入力手段が防振手段により防振
されている請求項１乃至８の何れか１項に記載の流れ計
測方法。
【請求項１０】流れ計測のための移動方向が、上記映
像入力手段の走査線方向に垂直な方向である請求項１乃
至９の何れか１項に記載の流れ計測方法。
【請求項１１】流れ計測対象を撮影する映像入力手段
と、当該映像入力手段の位置を測定する測位手段と、当
該映像入力手段による撮影映像及び当該測位手段の測定
値を記録する記録手段と、当該映像入力手段及び当該測
位手段を搬送する搬送手段と、当該記録手段に記録され
る映像情報及び位置情報を再生する再生手段と、撮影映
像の連続する画面の中の所定画面における少なくとも２
以上の所定ラインの画像データを抽出して連続モザイク
画像を生成する連続モザイク画像生成手段と、当該連続
モザイク画像生成手段で生成された連続モザイク画像を
所定高度面に射影変換する射影変換手段と、当該射影変
換手段で射影された連続モザイク画像間で同じ物体の動
きを算出する動き算出手段とからなることを特徴とする
流れ計測装置。
【請求項１２】更に、撮影映像の連続する画面から、
相互標定及び接続標定により外部標定要素を確定する標
定計算手段を具備する請求項１１に記載の流れ計測装
置。
【請求項１３】上記標定計算手段が、撮影映像の連続
する画面から、所定割合重複する２画面を抽出し、相互
標定する相互標定手段と、当該相互標定手段により相互
標定されたモデルを接続する接続標定手段とを具備する
請求項１２に記載の流れ計測装置。
【請求項１４】上記所定割合が、６０％である請求項
１３に記載の流れ計測装置。
【請求項１５】上記射影変換手段が、上記標定計算手
段で決定された外部標定要素に従い、上記連続モザイク
画像生成手段で生成された連続モザイク画像の各ライン
に外部標定要素を割り付ける外部標定要素割り付け手段
と、上記連続モザイク画像生成手段で生成された連続モ
ザイク画像の各ラインを、当該ラインの外部標定要素に
従い所定高度への投影画像に変換する投影手段とからな
る請求項１２乃至１４の何れか１項に記載の流れ計測装
置。
【請求項１６】上記連続モザイク画像生成手段が、動
き算出に必要な部分の連続モザイク画像を生成する請求
項１１乃至１５の何れか１項に記載の流れ計測方法。
【請求項１７】上記測位手段が、ＧＰＳ受信手段であ
る請求項１１乃至１６の何れか１項に記載の流れ計測装
置。
【請求項１８】更に、ＧＰＳ受信手段の出力をディフ
ァレンシャル補正する補正手段を具備する請求項１７に
記載の流れ計測装置。
【請求項１９】上記映像入力手段が、防振手段を介し
て上記搬送手段に載置される請求項１１乃至１８の何れ
か１項に記載の流れ計測装置。
【請求項２０】上記搬送手段が飛行体である請求項１
１乃至１９の何れか１項に記載の流れ計測装置。
【請求項２１】更に、上記映像入力手段の方位を検出
する方位検出手段を具備し、当該方位検出手段の出力も
上記記録手段に記録される請求項１１乃至２０の何れか
１項に記載の流れ計測装置。
【請求項２２】上記搬送手段の移動方向が上記映像入
力手段の走査線方向に垂直な方向であるように上記映像
入力手段が設置される請求項１１乃至２１の何れか１項
に記載の流れ計測装置。