JP4502793B2 - 撮影映像処理システム - Google Patents

Description

この発明は、例えばヘリコプタに搭載された撮影装置から送信された映像を、地理情報
システムの地図上に重ね合わせて表示することにより、震災など地上の状況の判別を容易
に、かつ精度よく行えるようにした撮影映像処理システムに関するものである。

特許文献１に示された従来の撮影映像処理システムは、撮影装置（＝カメラ）等を搭載
したヘリコプタなどの飛行体（＝機体）から成る機上系と、機上系からの信号を受信して
処理する地上に設置された地上系とによって構成される。

機上系は、主に空中から地表を撮影する撮影装置、撮影装置の位置を三次元的に特定す
るための機体位置検出部、機体姿勢を取得する機体姿勢検出部、撮影装置で撮影された撮
影映像と機体位置検出部で取得された情報とを送信する送信部を有する。
すなわち、機上系において、機体には空中から地上を撮影する撮影装置であるカメラが
搭載されている。機体は、アンテナによるＧＰＳ信号受信により現在の位置情報を得て、
機体位置検出を行う機体位置検出部、及び機体の姿勢すなわち仰角（＝ピッチ）とロール
角を検出する機体姿勢検出を行う機体姿勢検出部を備えている。
撮影装置であるカメラは、地上を撮影し、その映像信号を出力すると共にカメラの絞り、ズームなどのカメラ情報も併せて出力する。カメラは、ジンバルに取り付けられ、このジンバルは、カメラの回転角、傾き（＝チルト）を検出するカメラ姿勢検出部を有しておりその値を出力する。
機体姿勢検出部からの出力信号、カメラの映像信号、カメラ情報信号、カメラ姿勢検出
部からの出力信号は、一時記憶にてバッファされ、機体位置検出部からの出力信号のタイ
ミングに同期してデータを出力し、多重変調部で変調手段により多重変調され、信号変換
部でデジタル信号に信号変換され、追尾機能を有するアンテナから地上系に向けて送信さ
れる。

地上系は、主に空中の撮影装置が撮影した地表の撮影映像及び撮影装置の撮影位置を３
次元的に特定するための情報を入力する入力部、入力した情報に対し、信号処理を行うた
めの信号処理部、画面に地図を表示する地理情報システム、信号処理部で処理された情報
を含めて映像処理し、表示部に表示する地図処理部から成る。
すなわち、機上系からの信号を追尾機能を有するアンテナで受信し、信号変換部で信号
変換し、多重復調部を経て、映像信号とその他機体位置、機体姿勢、カメラ姿勢、カメラ
情報等の情報信号を取り出す。取り出されたこれらの信号を信号処理部で信号処理し、映
像信号は、動画データ（Ｍｐｅｇ）、静止画データ（Ｊｐｅｇ）として格納され、次のス
テップである地図処理部での地図処理に用いられる。その他、地理情報システムの２次元
地図データ、地勢データを含めた情報信号も地図処理部での地図処理に用いられる。

撮影映像処理システムの地図処理部は、映像信号である動画データ、静止画データと機
体位置、機体姿勢、カメラ姿勢の情報信号及び地理情報システムの２次元地図データ、３
次元地勢データにより処理を行うもので、主に撮影装置の撮影位置を３次元的に特定する
ための情報に基いて、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システ
ムの地図上の撮影範囲を求め、この求められた撮影範囲に併せて、撮影範囲に撮影映像を
変形された撮影映像を重ね合わせて表示する。
地図処理部では、まず、空中における撮影位置を３次元的に特定し、カメラと機体の地
表面に対する姿勢に基いて、撮影した地表面の撮影範囲（画枠）計算を行う。次に、この
画枠に合わせて映像変形を行う。この映像変形は、映像が地図に一致する台形あるいは菱
形に近い形等になるよう映像を変形するものである。次に、変形した映像を地理情報シス
テムの地図上に重ね合わせ（貼り合わせ）、その後これをＣＲＴなどでモニタ表示する。

モニタ表示される画面では、撮影画像、撮影画枠、飛行軌跡が連続的に表示される。
地図上に撮影画像を重畳するにあたり、地図と映像のずれを少なくする手法として、上
述の特許文献１のように、機体位置検出部からの位置情報出力タイミングを基準に、同期
して各データを取り出す方法や、特許文献２のように、ずれ時間を検出し、各データと共
にずれ時間を記録し、再生時に補正する方法がある。

特開２００３−３１６２５９号公報（第５〜１２頁、図１） 特開２００２−３３０３７７号公報（第６〜１１頁、図１）

従来の撮影映像処理システムでは、前述のとおり、複数の情報を複数の装置により取得
するが、例えばＧＰＳによる位置情報取得周期は１Ｈｚ、映像情報は３０Ｈｚ、撮影情報
は数十Ｈｚと取得周期が異なる上、それぞれ非同期のデータであるために、地図と映像の
合成表示結果にずれが生じる問題が発生する。
ずれを少なくする手法として、特許文献１による手法では、最大１フレーム分の映像の
ずれが発生する可能性があり、特許文献２による方法によれば、映像再生側は専用装置を
用いない場合、ずれを補正することができない。

この発明は、上述のような課題を解決するためになされたものであり、機上系から映像
情報・機体位置情報・撮影情報を同期化して地上に伝送することにより、地上系の表示に
おける地図データと映像情報との重ね合わせ位置の誤差を少なくすることのできる撮影映
像処理システムを得ることを目的としている。

この発明に係わる撮影映像処理システムにおいては、機体に搭載された機上装置によって地表を撮影した映像情報を機上装置から地上装置に送信し、地上装置で映像情報を地図データに重畳させて表示する撮影映像処理システムにおいて、
機上装置は、
地表を撮影し、映像情報をフレームごとの映像取得時刻とともに出力する撮影装置、
この撮影装置の撮影情報をデータ取得時刻とともに取得する撮影情報取得手段、
ＧＰＳにより機体の３次元の位置をデータ取得時刻とともに取得する機体位置検出手段、
この機体位置検出手段によって取得された機体位置情報のデータ取得時刻に最も近い映像情報のフレーム切替時刻を基準にして、機体位置情報及び撮影情報の補正計算を行うことにより、映像情報に撮影情報及び機体位置情報を同期させる同期手段、
この同期手段により同期された撮影情報及び機体位置情報を映像情報の一部に変換する多重変調手段、
及びこの多重変調手段により変換された撮影情報及び機体位置情報を含む映像情報を地上装置に送信する送信手段を備え、
地上装置は、
機上装置から受信した映像情報から撮影情報及び機体位置情報を分離する多重復調手段、
及びこの多重復調手段により分離された撮影情報及び機体位置情報に基づき、映像情報を地図データに重畳させて表示する地図処理手段を備えたものである。

この発明は、以上説明したように、機体に搭載された機上装置によって地表を撮影した映像情報を機上装置から地上装置に送信し、地上装置で映像情報を地図データに重畳させて表示する撮影映像処理システムにおいて、
機上装置は、
地表を撮影し、映像情報をフレームごとの映像取得時刻とともに出力する撮影装置、
この撮影装置の撮影情報をデータ取得時刻とともに取得する撮影情報取得手段、
ＧＰＳにより機体の３次元の位置をデータ取得時刻とともに取得する機体位置検出手段、
この機体位置検出手段によって取得された機体位置情報のデータ取得時刻に最も近い映像情報のフレーム切替時刻を基準にして、機体位置情報及び撮影情報の補正計算を行うことにより、映像情報に撮影情報及び機体位置情報を同期させる同期手段、
この同期手段により同期された撮影情報及び機体位置情報を映像情報の一部に変換する多重変調手段、
及びこの多重変調手段により変換された撮影情報及び機体位置情報を含む映像情報を地上装置に送信する送信手段を備え、
地上装置は、
機上装置から受信した映像情報から撮影情報及び機体位置情報を分離する多重復調手段、
及びこの多重復調手段により分離された撮影情報及び機体位置情報に基づき、映像情報を地図データに重畳させて表示する地図処理手段を備えたので、映像情報、機体位置情報及び撮影情報を同期させて、地上装置に送信することにより、高精度の地図データと映像情報の重畳を実現することができる。

実施の形態１．
以下、この発明の実施の形態１を図１に基いて説明する。
図１は、この発明の実施の形態１による撮影映像処理システムを示す機能構成図である。
図１において、この発明の撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置等を有する機上系１００（機上装置）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０２を有し、撮影装
置１０２は、撮影した映像情報を出力すると共にカメラの絞り、ズームなどのカメラ情報
も併せて出力する。機上系１００は、さらに撮影装置１０２の位置を３次元的に特定する
ための情報をＧＰＳ信号受信部１０６を介して取得する機体位置検出部１０７（機体位置
検出手段）、及び機体の姿勢すなわち仰角（＝ピッチ）とロール角を検出して機体姿勢検
出を行う機体姿勢検出部１０３（機体姿勢検出手段）を有している。撮影装置１０２であ
るカメラは、ジンバルに取り付けられ、このジンバルは、カメラの回転角、傾き（＝チル
ト）を検出して、撮影方向を取得するカメラ姿勢検出部１０４（撮影方向取得手段）を有
する。ここで、上述のカメラ情報と、機体姿勢と、撮影方向とにより、撮影情報が形成さ
れる。すなわち、機体姿勢検出部１０３とカメラ姿勢検出部１０４は、撮影情報取得手段
を構成する。
また、機上系１００は、上記映像情報、撮影装置の位置情報、撮影情報を、映像のフレ
ームに同期させる同期部１０５（同期手段）を有し、この同期部１０５から出力されたデ
ータを多重変調部１０８（多重変調手段）で多重変調し、信号変換部１０９でデジタル信
号に信号変換し、追尾機能１１０を有するアンテナ（送信手段）から地上系２００に向け
て送信する。

地上系２００は、主に空中の撮影装置１０２が撮影した地表の映像情報及び撮影装置１
０２の撮影位置を３次元的に特定するための情報、さらに撮影情報が入力され、この入力
された情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地
理情報システムと、信号処理部２０４で処理された情報を含めて映像処理し、地図データ
に重畳させてモニタ表示部２１０に表示する地図処理部２０９とを有している。
すなわち、機上系１００からの信号を追尾機能２０１を有するアンテナで受信し、信号
変換部２０２で信号変換し、多重復調部２０３（多重復調手段）によって、映像情報、位
置情報、撮影情報の信号を取り出す。
多重復調部２０３によって取り出されたこれらの信号を信号処理部２０４で信号処理
し、映像情報は、動画データ（Ｍｐｅｇ）２０５、静止画データ（Ｊｐｅｇ）２０６とし
て格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、
地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も地図
処理部２０９での地図処理に用いられる。

地上系２００の地図処理部２０９（地図処理手段）は、映像情報である動画データ２０
５、静止画データ２０６と、機体位置情報、撮影情報の各信号及び地理情報システムの２
次元地図データ２０８、３次元地勢データ２０７を用いて処理を行うもので、主に撮影装
置１０２の撮影位置を３次元的に特定するための機体位置情報に基いて、撮影装置１０２
が撮影した映像情報の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求め、
この求められた撮影範囲に併せて、撮影映像を変形し、撮影範囲にこの変形された撮影映
像を重ね合わせて表示する。
地図処理部２０９では、まず、空中における撮影位置を３次元的に特定し、カメラと機
体の地表面に対する姿勢に基いて、撮影した地表面の撮影範囲（画枠）計算を行う。この
画枠に合わせて映像変形を行う。この映像変形は、映像が地図に一致する台形あるいは菱
形に近い形等になるよう映像を変形するものである。次に、変形した映像を地理情報シス
テムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示部２
１０にモニタ表示する。
モニタ表示される画面では、図３のように、撮影画像、撮影画枠、飛行軌跡が連続的に
表示される。
図２は、この発明の実施の形態１による撮影映像処理システムにおける各データの取得
タイミングを表す図である。
図３は、この発明の実施の形態１による撮影映像処理システムによって表示される画面
を示す図である。
図３において、飛行軌跡は、左から右上へ折線として描かれている。画枠は、図中の台
形の外枠であり、台形の中の画像が撮影画像である。この図３では、撮影画像が左から右
に連続的に表示されている。

次に、動作について説明する。
追尾機能１１０を有するアンテナから地上系２００に送信するデータの取得周期を、例
えばＧＰＳによる位置情報取得周期は１Ｈｚ、映像情報は３０Ｈｚ、撮影情報は１００Ｈ
ｚとする。
同期部１０５は、システムにおける正確な時間を生成する時刻生成部と、最も取得周期
の長い位置情報取得周期１秒に、ＧＰＳ内の位置情報計算時間を加えた値以上のデータを、最低でも格納可能な容量の各データのバッファメモリとを有している。これにより、映像については、各フレーム毎の画像取得時刻、撮影情報を、位置情報については、各々のデータ取得時刻をシステム内の正確な時刻により管理することができる。
ここで位置情報については、ＧＰＳにて取得したデータには、緯度・経度・高度、ＧＰ
Ｓ時刻があり、システムにおける位置情報取得時刻（＝ＧＰＳ時刻）をＴ、ＧＰＳ内部で
位置情報の計算が終了し、位置情報が出力されるシステム上の時刻をｔとすると、
位置データ取得遅延時間＝位置情報出力時刻ｔ−位置情報取得時刻Ｔ
の関係が成り立つ。

図２に各々のデータサンプリング時刻を示す。
従来の撮影映像処理システムでは、位置情報出力（時刻ｔ）をトリガとして、位置情報
取得時刻Ｔにおける映像情報及び撮影情報をバッファメモリより取得することから、映像
情報は１フレーム目、撮影情報は撮影情報２のデータをバッファメモリから読み取り、位
置情報と併せて地上に送信していたが、この方法では、映像情報または撮影情報のデータ
更新周期分の誤差が発生する。
このため、本発明では、映像情報を基準とし、位置情報取得時刻Ｔに最も近いフレーム
の切替時刻Ｔ’を基準にして、位置情報、撮影情報の補正計算を行い、これらのデータを
地上に送信することにより、高精度の地図映像重畳を可能にした。
また、誤差要因としては、位置データ取得遅延時間の他に、多重復調処理時間のずれ、
信号処理時間のずれなどが考えられ、これらの処理時間を考慮した補正計算を行うことも
可能である。

実施の形態１によれば、映像情報を基準とし、位置情報取得時刻Ｔに最も近い映像フレ
ームの切替時刻Ｔ’を基準にして、位置情報、撮影情報の補正計算を行い、これらのデー
タを地上に送信するので、高精度の地図映像重畳を実現することができる。

実施の形態２．
図４は、この発明の実施の形態２による撮影映像処理システムを示す機能構成図である
。
図４において、１００、１０２〜１１０、２００〜２１０は図１におけるものと同一の
ものである。図４では、機上系１００に静止画作成部１１１を設けている。

実施の形態２は、実施の形態１と同様に機上系１００において、同期化したデータから
、属性情報として撮影時刻、位置情報（緯度、経度、高度）、撮影情報（機体姿勢、カメ
ラの３次元的な傾き、画角など）を含む静止画を作成する静止画作成部１１１（静止画作
成手段）を設け、作成された静止画と動画を多重変調する。
地上系２００には、受信した静止画から、映像情報と、時刻、位置情報、撮影情報を分
離する静止画解析部（静止画解析手段）２１１を設け、分離した情報を用いて、静止画と
地図データとの重畳を行うことにより、実施の形態１のように映像情報から静止画を作成
するための遅延時間が発生することなく、さらに高精度の地図映像重畳を行うことが可能
となる。

次に、動作について説明する。
図４で、機上系１００にて、同期部１０５にて同期された映像のフレームデータ、位置
情報、撮影情報より静止画作成部１１１にて静止画を作成する。作成された静止画は、動
画の映像情報と共に多重変調部１０８にて変調され、信号処理部１０９にてデジタル変換
され、追尾機能１１０を有するアンテナから地上系２００に送信される。
地上系２００では、受信した信号を多重復調部２０３により復調し、信号処理部２０４
にて動画データ２０５と静止画データ２０６に格納する。さらに静止画解析部２１１によ
り、静止画に記録された位置情報、撮影情報を取り出し、地図処理部２０９にて地図デー
タに静止画データを重畳してモニタ表示部２１０によりモニタ表示する。

実施の形態２によれば、機上系１００にて静止画を作成し、地上に伝送することにより
、地上における多重復調及び信号処理（動画から静止画を作成する）に要する時間のずれ
をキャンセルすることが可能になる。

実施の形態３．
図５は、この発明の実施の形態３による撮影映像処理システムを示す機能構成図である
。
図５において、１００、１０２、１０５〜１１１は図４におけるものと同一のものであ
る。図５では、図４の機体姿勢検出部１０３及びカメラ姿勢検出部１０４に代えて、撮影
装置１０２の傾きを検出する３軸傾きセンサ１１２（３次元撮影方向取得手段）が設けら
れ、撮影情報取得手段を構成している。

実施の形態１及び実施の形態２においては、撮影情報の内の撮影方向を取得するために
、機体姿勢検出部１０３と、機体外部に取り付けたジンバルのカメラ姿勢検出部１０４を
用いていたが、機体姿勢とジンバルのカメラ姿勢の取得は、絶対的なカメラの撮影方向を
取得することが目的であるので、実施の形態３は、図５のように、例えば３軸傾きセンサ
１１２を取り付けた撮影装置１０２を機体内部に持ち込み、撮影と共に撮影方向を取得す
るようにした。
これにより、機体外部のジンバルが不要となり、例えばヘリコプタの窓からハンディカ
メラにより撮影を行うなど、容易に運用を行うことが可能となる。

ここで、３軸傾きセンサ１１２としては、地磁気センサ、ジャイロ及び加速度センサを
組み合わせた構成の装置や、超音波センサとジャイロにより機体内部における方向を求め
、機体姿勢情報との合成により撮影角度を計算する方法等がある。

実施の形態３によれば、３軸傾きセンサ１１２を取り付けた撮影装置１０２を機体内部
に持ち込み、撮影と共に撮影方向を取得するようにしたので、機体外部のジンバルが不要
となり、例えばヘリコプタの窓からハンディカメラにより撮影を行うなど、容易に運用を
行うことが可能となる。

この発明の実施の形態１による撮影映像処理システムを示す機能構成図である。 この発明の実施の形態１による撮影映像処理システムにおける各データの取得タイミングを表す図である。 この発明の実施の形態１による撮影映像処理システムによって表示される画面を示す図である。 この発明の実施の形態２による撮影映像処理システムを示す機能構成図である。 この発明の実施の形態３による撮影映像処理システムを示す機能構成図である。

符号の説明

１００ 機上系
１０２ 撮影装置
１０３ 機体姿勢検出部
１０４ カメラ姿勢検出部
１０５ 同期部
１０６ ＧＰＳ信号受信部
１０７ 機体位置検出部
１０８ 多重変調部
１０９ 信号変換部
１１０ 追尾機能
１１１ 静止画作成部
１１２ ３軸傾きセンサ
２００ 地上系
２０１ 追尾機能
２０２ 信号変換部
２０３ 多重復調部
２０４ 信号処理部
２０５ 動画データ
２０６ 静止画データ
２０７ 地勢データ
２０８ 二次元地図データ
２０９ 地図処理部
２１０ モニタ表示部
２１１ 静止画解析部

Claims (4)

1. 機体に搭載された機上装置によって地表を撮影した映像情報を上記機上装置から地上装置に送信し、地上装置で上記映像情報を地図データに重畳させて表示する撮影映像処理システムにおいて、
   上記機上装置は、
   地表を撮影し、映像情報をフレームごとの映像取得時刻とともに出力する撮影装置、
   この撮影装置の撮影情報をデータ取得時刻とともに取得する撮影情報取得手段、
   ＧＰＳにより上記機体の３次元の位置をデータ取得時刻とともに取得する機体位置検出手段、
   この機体位置検出手段によって取得された上記機体位置情報のデータ取得時刻に最も近い映像情報のフレーム切替時刻を基準にして、上記機体位置情報及び上記撮影情報の補正計算を行うことにより、上記映像情報に上記撮影情報及び上記機体位置情報を同期させる同期手段、
   この同期手段により同期された上記撮影情報及び上記機体位置情報を上記映像情報の一部に変換する多重変調手段、
   及びこの多重変調手段により変換された上記撮影情報及び上記機体位置情報を含む映像情報を上記地上装置に送信する送信手段を備え、
   上記地上装置は、
   上記機上装置から受信した映像情報から上記撮影情報及び上記機体位置情報を分離する多重復調手段、
   及びこの多重復調手段により分離された上記撮影情報及び上記機体位置情報に基づき、上記映像情報を地図データに重畳させて表示する地図処理手段を備えたことを特徴とする撮影映像処理システム。
2. 機体に搭載された機上装置によって地表を撮影した映像情報を上記機上装置から地上装置に送信し、地上装置で上記映像情報を地図データに重畳させて表示する撮影映像処理システムにおいて、
   上記機上装置は、
   地表を撮影し、映像情報をフレームごとの映像取得時刻とともに出力する撮影装置、
   この撮影装置の撮影情報をデータ取得時刻とともに取得する撮影情報取得手段、
   ＧＰＳにより上記機体の３次元の位置をデータ取得時刻とともに取得する機体位置検出手段、
   この機体位置検出手段によって取得された上記機体位置情報のデータ取得時刻に最も近い映像情報のフレーム切替時刻を基準にして、上記機体位置情報及び上記撮影情報の補正計算を行うことにより、上記映像情報に上記撮影情報及び上記機体位置情報を同期させる同期手段、
   この同期手段により同期された上記映像情報と上記撮影情報と上記機体位置情報とから静止画情報を作成する静止画作成手段、
   この静止画作成手段により作成された静止画と上記映像情報とを多重変調する多重変調手段、
   及びこの多重変調手段により多重変調されたデータを上記地上装置に送信する送信手段を備え、
   上記地上装置は、
   上記機上装置から受信した上記データから上記映像情報と静止画情報を分離する多重復調手段、
   この多重復調手段により分離された静止画情報から上記撮影情報及び上記機体位置情報を取り出す静止画解析手段、
   及びこの静止画解析手段により取り出された上記撮影情報及び上記機体位置情報に基づき、上記静止画情報を地図データに重畳させて表示する地図処理手段を備えたことを特徴とする撮影映像処理システム。
3. 上記撮影情報取得手段は、上記撮影装置の姿勢を検出して撮影方向を取得する撮影方向取得手段と、上記機体の姿勢を検出する機体姿勢検出手段とにより構成されていることを特徴とする請求項１または請求項２記載の撮影映像処理システム。
4. 上記撮影情報取得手段は、上記撮影装置に取り付けられ、上記撮影装置の３次元の撮影方向を取得する３次元撮影方向取得手段により構成されていることを特徴とする請求項１または請求項２記載の撮影映像処理システム。