JP6570904B2 - 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム - Google Patents

Description

本発明の実施形態は、補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システムに関する。

近年、自動車等の移動体から撮影された映像に対して、高画質化の処理や、解析処理して情報を得るといった画像処理のニーズが増加している。

一般に、１枚の静止画よりも、映像(動画)の複数フレームを用いて画像処理（高画質化・解析処理）する方が良好な結果を得ることができる。また、映像を記録してから後でオフライン処理する場合、記録時にデータサイズ圧縮のために映像符号化すると、画像処理に必要な情報が削減され、処理結果に精度低下が生じるため、撮影と同時に結果を求めるリアルタイムでの画像処理が望まれている。

移動体から撮影された映像は、急激な撮影範囲の変化や振動が生じ、画像処理の障害となるため、事前に撮影範囲の補正処理を行い、撮影範囲を安定化する必要がある。リアルタイムでの画像処理を前提する用途では、高速性が求められるため、撮影範囲の補正処理に演算コストが高いアルゴリズムを使うことはできない。

撮影範囲の補正処理を行うためには、まず、フレーム間での撮影範囲の変化量(並進、拡大縮小、回転)を求める必要がある。撮影範囲の変化量を求める方式には、大別して特徴的な点を求めて、その動きを追跡する方法と、領域マッチングを用いる方法とがある。前者の方法は、演算コストが高いためリアルタイム処理に不向きである。後者の方法である領域マッチングは、フレーム間で急激な撮影範囲の変化が生じると、撮影範囲の変化量の計算に失敗する可能性がある。そのため、撮影範囲の補正処理に失敗し、複数フレームを用いた画像処理を行うことができない場合があった。

特開２００３−１７９７９７号公報 特開２０１０−１１３５１３号公報 特開２００３−１５８６６１号公報 特開平７−１６２８５３号公報

本発明が解決しようとする課題は、移動体に搭載された撮像装置で撮像された映像に生じる撮影範囲の変化を抑制することができる補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システムを提供することである。

実施形態の補正情報出力装置は、取得部と、第１の補正部とを持つ。取得部は、移動体に搭載された撮像装置における撮影範囲の変化量を取得する。第１の補正部は、撮影範囲の変化量が、取得部において撮影範囲の変化量を取得可能な範囲となるよう、又は、撮像装置で撮影された映像に対して所定の画像処理が可能な範囲となるよう、撮像装置の撮像方向又は撮像画角の制御を補正する第１の補正情報を出力する。

第１の実施形態の自動車に搭載された画像処理システムを示す図。 第１の実施形態の画像処理部６５の詳細を示すブロック図。 領域マッチングにより、並進運動による変化量を求める手順を示す図。 領域マッチングにより、拡大縮小による変化量を求める手順を示す図。 拡大縮小により被写体のサイズが変化する場合の領域マッチングの手順を示す図。 第１の実施形態のカメラ６１における撮影範囲の変化量の時間推移の例を示す図。 第１の実施形態の自動車６０が進行方向を変化させる場合に、撮影範囲の変化量を補正する例を示す図。 第２の実施形態のドローンに搭載された画像処理システムを示す図。 第２の実施形態の画像処理部７５の詳細を示すブロック図。 第２の実施形態のドローン７０におけるカメラ７１の並進運動の速度を示す図。

以下、実施形態の補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システムを、図面を参照して説明する。

（概略）
まず、本実施形態における画像処理装置及びその画像処理装置を備える画像処理システムの概略について説明する。
本実施形態における画像処理装置は、自動車、鉄道、ロボット、ヘリコプター、飛行機、ドローン(小型無人飛行機・マルチコプター)などの移動体に取り付けられたカメラで撮影した映像に対して、画像処理を行う。その画像処理は、映像を高画質化する処理、及び、映像を解析処理して色々な情報を得る処理の少なくとも一つを含む処理である。本実施形態における画像処理システムは、上記カメラと、そのカメラを制御するカメラ制御部と、上記画像処理装置と、上記移動体を制御する移動体制御部とを備える。これにより、画像処理システムは、画像処理装置での処理結果を用いて、カメラ制御部によりカメラを制御すること、及び、移動体制御部により移動体を制御することが可能である。

ここで、本実施形態における画像処理装置における高画質化および解析処理の目的及び内容について、一例を以下に説明する。
上記高画質化の目的は、例えば、中継放送などの用途で求められるレベルの画質の確保する事や、映像の目視検査での被写体の認識、被写体の種類の判別、及び、被写体の異常を、監視者等が発見可能なレベルの画質を得る事である。

また、地上を走行する移動体から撮影された映像の解析処理の目的は、例えば、自動運転、事故回避、交通量把握、路面点検、トンネル点検などである。また、解析処理の結果を利用した自動運転、事故回避、交通量把握を実現するためには、解析処理において、歩行者、他の車、車線、道路標識などを正確に識別する必要がある。また、路面点検、トンネル点検のための解析処理は、解析対象の所在だけでなくコンクリートなどの構造物の劣化度合いを識別する必要がある。

飛行する移動体から撮影された映像の解析処理の目的は、測量、災害予測、災害発生状況の把握、橋梁点検、トンネル点検、スポーツ中継での選手の追跡などである。目的によっては可視光以外の赤外線での撮影が可能なカメラが使われることもある。

（第１の実施形態）
次に、第１の実施形態として、移動体が自動車の場合の画像処理部（画像処理装置）及び画像処理システムについて説明する。図１は、第１の実施形態の自動車に搭載された画像処理システムを示す図である。図１に示すとおり、自動車６０は、レンズ６２を有するカメラ６１が旋回装置６３を介して取り付けられており、加速度センサ６４と、画像処理部６５と、走行制御部６６と、送信部６７と、アンテナ６８とを備える。

カメラ６１は、レンズ６２が取り付けられ、旋回装置６３によって撮影方向を調整することができる。加速度センサ６４は、Ｘ軸、Ｙ軸、Ｚ軸の３方向に対する加速度と、ヨー、ピッチ、ロールの３軸方向に対する角速度の検出を行う複数のセンサから構成される。画像処理部６５は、カメラ６１からの映像に対して、高画質化や解析処理を含む画像処理を行う。走行制御部６６は、自動車６０の走行を制御する。送信部６７は、画像処理結果（高画質化映像、または、解析データ）をアンテナ６８によって外部に送信する。

なお、送信部６７とアンテナ６８を用いずに、自動車６０に搭載した図示していない情報記録媒体（光ディスクやメモリカード）に保存する構成としてもよい。図１に示した自動車６０の用途としては、スポーツ中継車や、道路、橋梁、及び、トンネルなどのインフラ点検車などが考えられる。

次に、図１に示した画像処理部６５の詳細について説明する。
図２は、第１の実施形態の画像処理部６５の詳細を示すブロック図である。図２に示すように、画像処理部６５は、補正量計算部１１０と、映像入力部１１１と、動き検出部１１２と、出力範囲補正部１１３と、画像処理制御部１１４と、画像処理実行部１１５と、カメラ制御部１１６とを備える。なお、第１の実施形態における画像処理システム６９は、カメラ６１と、レンズ６２と、旋回装置６３と、加速度センサ６４と、画像処理部６５と、走行制御部６６と、送信部６７と、アンテナ６８とを備える。なお、図示していないが、第１の実施形態における補正情報出力装置は、補正量計算部１１０と、動き検出部１１２とを備える。また、図示していないが、第１の実施形態における撮像制御システムは、補正量計算部１１０と、動き検出部１１２と、カメラ制御部１１６とを備え、第１の実施形態における移動体制御システムは、補正量計算部１１０と、動き検出部１１２と、走行制御部６６とを備える。

カメラ６１は、画像センサを備え、画像センサで撮影されたＲＡＷ映像１０２を、映像入力部１１１へ出力する。加速度センサ６４は、加速度情報１００を補正量計算部１１０と動き検出部１１２へ出力する。

映像入力部１１１は、カメラ６１から入力されたＲＡＷ映像１０２に対して、レンズ６２のひずみ補正やガンマ補正などの一般的な補正処理を行って得た映像１０４を、動き検出部１１２及び出力範囲補正部１１３へ出力する。なお、複数回の画像の幾何変換による画質低下を防ぐため、映像入力部１１１と出力範囲補正部１１３とを、一体で構成してもよい。動き検出部１１２は、入力された映像１０４に対して、領域マッチング処理を行い、複数フレーム間における並進運動及び拡大縮小の変化量（撮影範囲の変化量）１０５を求める。

ここで、動き検出部１１２における領域マッチング処理の具体例について説明する。
動き検出部１１２は、時刻の異なるフレームに設定した２つの矩形領域に対して、領域マッチングを行う。その領域マッチングの方法としては、例えば、ＳＡＤ(Sum of Absolute Differences)や、ＳＳＤ(Sum of Squared Differences)といった相違度を求める方法と、ＮＣＣ(Normalized Cross-Correlation)や位相相関法のように類似度を求める方法とがある。これらの方法は、映像の特徴により使い分けてもよい。

次に、領域マッチングにより、撮影範囲の変化量の１つである並進運動による変化量を求める手順について説明する。図３は、領域マッチングにより、並進運動による変化量を求める手順を示す図である。図３に示すように、まず、動き検出部１１２は、フレーム1の中心部にテンプレート矩形３を設定する。次に、動き検出部１１２は、カメラ６１でフレーム１と別の時刻に撮影されたフレーム２に、フレーム１上のテンプレート矩形３と同じ位置を中心とした探索領域４を設定する。次に、動き検出部１１２は、探索領域４の範囲に対して、テンプレート矩形３を1画素ずつずらしながら、重なった領域における類似度（または相違度）を計算する。次に、動き検出部１１２は、類似度が最も大きい(または相違度が最も小さい)ピーク位置と探索領域４の中心との差を並進運動の変化量として計算する。

なお、探索領域４の大きさに応じて演算コストが増大するため、リアルタイム処理実現の観点から、検出可能な最大の並進運動の変化量は限定される。また、画像の周辺部ではレンズ６２のひずみが影響し、画像の変形があるため、類似度の最大値のピークがあいまいになり、並進運動の変化量を正確に求めることが困難になるため、更に、検出可能な最大の変化量は限定される。

次に、領域マッチングにより、撮影範囲の変化量の１つである拡大縮小による変化量を求める手順について説明する。図４は、領域マッチングにより、拡大縮小による変化量を求める手順を示す図である。図４に示すように、動き検出部１１２は、基準となるフレーム１０の２か所にテンプレート矩形１１、１２を設定する。次に、動き検出部１１２は、別の時刻に撮影されたフレーム２０又はフレーム３０に対して、テンプレート矩形と類似度が最も大きくなった位置の矩形領域であるマッチング矩形を求める。

カメラ６１において画角をズームインしている場合は、フレーム１０のテンプレート矩形１１、１２は、それぞれフレーム２０に示すマッチング矩形２１、２２の位置に移動する。これらマッチング矩形２１、２２間の距離２３は、テンプレート矩形１１、１２間の距離１３に比べて短い。すなわち、フレーム２０は、フレーム１０よりも拡大された画角の画像と言える。

また、画角がズームアウトしている場合は、フレーム１０のテンプレート矩形１１、１２は、それぞれフレーム３０に示すマッチング矩形３１、３２の位置に移動する。マッチング矩形３１、３２間の距離３３は、テンプレート矩形１１、１２間の距離１３に比べて長い。すなわち、フレーム３０は、フレーム１０よりも縮小された画角の画像と言える。

よって、動き検出部１１２は、各矩形間の距離１３と距離２３、または、距離１３と距離３３の比率計算によって拡大縮小率を計算する。この方法では、拡大縮小率が大きいと、被写体のサイズが変わるため、類似度の最大値のピーク（または相違度の最小値のピーク）があいまいになり、撮影範囲の変化量を求めることが困難になる場合がある。

図５は、拡大縮小により被写体のサイズが変化する場合の領域マッチングの手順を示す図である。図５に示すように、動き検出部１１２は、フレーム５上でサイズが異なる複数の矩形４０〜４４を設定し、各矩形４０〜４４の領域の画像を、等サイズとなるような倍率で拡大、縮小したテンプレート矩形４５〜４９を生成する。具体例を示すと、矩形４０を０．６８倍してテンプレート矩形４５を生成し、矩形４１を０．８１倍してテンプレート矩形４６を生成し、矩形４２を１倍してテンプレート矩形４７を生成し、矩形４３を１．３倍してテンプレート矩形４８を生成し、矩形４４を１．８６倍してテンプレート矩形４９を生成する。

次に、動き検出部１１２は、フレーム５と異なる時刻に撮影したフレーム６上の探索領域７に対して、各テンプレート矩形４５〜４９を用いて、順番に領域マッチングを行う。最も高い類似度(または低い相違度)のテンプレート矩形を生成した時の倍率が、拡大縮小による変化量となる。

撮影範囲の回転については、画像を対数極座標変換することで、回転の属性を並進運動に変換することができる。対数極座標変換後の画像に対して領域マッチングを行うことで、画角の回転量を求めることができる。この方式は、回転量が大きい場合に、画像の変形が大きくなるため、領域マッチングの類似度の最大値のピーク（相違度の最小値のピーク）があいまいになり、回転の変化量を求めることが困難になる。

ここで、図２の説明に戻る。動き検出部１１２は、求めた撮影範囲の変化量１０５を、補正量計算部１１０と出力範囲補正部１１３へ出力する。補正量計算部１１０は、入力された撮影範囲の変化量１０５又は加速度情報１００に基づいて、入力された操作入力信号１０７に対してカメラ６１の撮影範囲の変化量を領域マッチング等の画像処理を正常に処理可能な範囲に抑制するための補正量を算出して、その補正量により操作入力信号１０７を補正したカメラ制御信号１０１を出力する。また、補正量計算部１１０は、入力された撮影範囲の変化量１０５又は加速度情報１００に基づいて、カメラ６１の撮影範囲の変化量を領域マッチング等の画像処理を正常に処理可能な範囲に抑制するための運転補正量１０３を出力する。操作入力信号１０７は、例えば、カメラ６１に対してユーザからの画像処理動作の開始又は画像処理動作の停止等の制御するようカメラ制御部１１６に指示する信号を含む信号である。なお、カメラ制御信号１０１は、カメラ６１を制御するカメラ制御部１１６に対して、その制御量を指示する信号である。すなわち、カメラ制御部１１６は、カメラ制御信号１０１に応じて撮影範囲の変化を画像処理を正常に処理可能な範囲に抑制するようカメラ６１を制御する。これにより、カメラ６１の撮影範囲の変化量は、領域マッチング等の画像処理が正常に処理可能な範囲に抑制される。

また、運転補正量１０３は、後述する走行制御部６６に対して、カメラ６１の撮影範囲の変化量を、領域マッチングを正常に処理可能な範囲に抑制するための制御補正量である。この制御補正量とは、例えば、自動車６０の走行速度を落とすように自動で運転制御するための補正量である。この運転補正量１０３によって、自動車６０の走行速度を自動的に落とすことで、カメラ６１で撮影される撮影範囲の変化量を減少させることができる。

加速度情報１００に基づいて、カメラ６１において、大幅な撮影範囲の変化が生じたことが分かった場合は、動き検出部１１２は、領域マッチングの手順を、図５に示した領域マッチングの手順に切り替える。自動車６０が路面を走行している場合は、撮影範囲に回転の変化が生じることはまれではあるが、図５に示すテンプレート矩形４５〜４９を生成する処理と同様の処理で対応することができる。具体的には、動き検出部１１２は、複数種類の角度で回転させたテンプレート矩形を生成して、領域マッチングを行うことで、撮影範囲の回転角度を計算することができる。その際に、動き検出部１１２は、加速度情報１００を参考に、限定した数の倍率、回転角度のみテンプレート矩形を生成するように構成してもよい。これにより、各テンプレート矩形を用いた領域マッチングの演算コストは、限定していない倍率のバリエーション数×限定していない回転角度のバリエーション数のテンプレート矩形を用いて、領域マッチングを行う場合と比較して小さい。

動き検出部１１２は、図４の手順と図５の手順を切り替えることにより、倍率変化が少ない場合には、精密に撮影範囲の変化量を計算でき、倍率変化が高い場合には、低い処理コストで撮影範囲の変化量を計算することができる。領域マッチングには、検出可能な画角の変化量は小さいが正確に求まるアルゴリズムと、大きな画角変化量に対応できるが処理コストが大きいアルゴリズムがある。動き検出部１１２は、加速度センサ６４からの加速度情報１００を用いて、２つのアルゴリズムを切り替えることで、変化量の計算精度と広い計算範囲への対応を両立させることができる。

出力範囲補正部１１３は、撮影範囲の変化量１０５を用いて、映像の切り出し範囲の補正処理を行う。具体的には、出力範囲補正部１１３は、撮影対象の範囲の変化とは逆方向に、映像から切り出す範囲を、並進ずらし、拡大縮小し、回転処理する。これにより、映像から切り出す範囲となる撮影範囲を安定化させることができる。なお、カメラ６１が備える画像センサがＣＭＯＳ型センサの場合は、ＣＭＯＳ型センサに特有のローリングシャッター歪みが生じる可能性がある。よって、画像センサがＣＭＯＳ型センサの場合は、出力範囲補正部１１３は、映像から切り出す範囲を制御することで、ローリングシャッター歪みの補正も行う。

また、出力範囲補正部１１３は、高解像度化および高画質化の機能を更に備えてもよい。出力範囲補正部１１３は、複数フレームを用いた超解像アルゴリズムを用いることで、並進ずらし、拡大縮小、回転処理の補間画素生成時に解像度を増大させることができる。なお、解析処理が目的の場合は、画像処理部６５は、出力範囲補正部１１３を備えない構成であってもよい。その場合は、解析処理の入力データの１つとして撮影範囲の変化量１０５を画像処理実行部１１５に与えてもよい。

画像処理制御部１１４は、画像処理部６５の備える図示しない操作部からの操作入力信号１０７を受け付けて、画像処理部６５の制御を行う。

画像処理動作の停止中は、レンズ６２の制御、移動体の手動（自動）操縦の自動補正、及び、旋回装置６３の制御を停止してもよい。ユーザによって、画像処理動作の開始が指示された時には、画像処理制御部１１４は、補正量の計算の実行又は停止を示す補正量計算指示信号１１８を補正量計算部１１０へ出力する。これによって、補正量計算部１１０は、レンズ６２の制御、移動体の手動（自動）操縦の自動補正、旋回装置６３の制御の１つ、または、複数を補正する補正量を計算する。さらに、画像処理制御部１１４は、画像処理の実行又は停止を示す画像処理指示信号１２１を画像処理実行部１１５へ出力する。これにより、画像処理実行部１１５は、画像処理指示信号１２１に応じて画像処理を開始又は停止する。

移動体である自動車６０の急激な姿勢変化などで、撮影範囲の変化量の取得が不能となった場合は、動き検出部１１２は、動き検出状態信号１１９として「無効」を示す信号を画像処理制御部１１４へ出力する。これにより、画像処理制御部１１４は、画像処理指示信号１２１によって画像処理実行部１１５における画像処理を停止させる。その後、撮影範囲の変化量の取得が可能な状態に復帰した場合は、動き検出部１１２は、動き検出状態信号１１９として「有効」を示す信号を出力する。これにより、画像処理制御部１１４は、画像処理指示信号１２１によって画像処理実行部１１５における画像処理を自動開始させる。

画像処理実行部１１５は、画像処理が不可能な場合は、画像処理状態信号１２０として「無効」を示す信号を、画像処理制御部１１４へ出力する。これにより、画像処理制御部１１４は、停止を示す補正量計算指示信号１１８を出力し、補正量計算部１１０を自動停止させる。その後、画像処理実行部１１５において画像処理が可能な状態に復帰した場合は、画像処理状態信号１２０として「有効」を示す信号を、画像処理制御部１１４へ出力する。これにより、画像処理制御部１１４は、実行を示す補正量計算指示信号１１８を出力し、補正量計算部１１０を自動開始させる。

どちらが原因の自動停止の期間でも、補正量計算部１１０は、レンズ６２のズーム位置や、旋回装置６３の旋回位置が端点に達していた場合は、中間位置に移動させることができる。また、現在も並進と拡大縮小の変化が継続している場合には、補正量計算部１１０は、補正制御が可能な側の端点に、レンズ６２のズーム位置や旋回装置６３の旋回位置を移動させることが出来る。これにより、端点に達したことで撮影範囲の変化量の取得が不能となった時は、レンズ６２のズーム位置や旋回装置６３の旋回位置を変更してから、動き検出部１１２は、動き検出状態信号１１９として「有効」を出力する。

画像処理実行部１１５は、映像から切り出す範囲を補正する出力範囲補正部１１３が出力する映像１０６に対して、画像処理（高画質化・解析処理）を行い、画像処理結果１０８を出力する。

ここで、画像処理実行部１１５における高画質化の画像処理の具体例について説明する。高画質化の画像処理は、複数フレーム超解像による高解像化処理と、時間平均を行うノイズフィルタによるノイズ除去処理を含む。これらの画像処理は、画質の改善効果が高いが、撮影範囲が安定化された映像の入力を前提としている。複数フレーム超解像は、前述のように出力範囲補正部１１３において処理してもよい。出力範囲補正部１１３は、複数フレーム超解像を行う場合に、複数フレームの画像を入力して、１フレームの高解像画像を出力する。また、出力範囲補正部１１３は、連続して複数フレーム超解像の処理を行うことで、動画像を高解像化することも可能である。

また、出力範囲補正部１１３は、以下のＵＲＬ１、２に示す高解像度化の処理を用いてもよい。
ＵＲＬ１：http://www.toshiba.co.jp/regza/detail/superresolution/resolution.html
ＵＲＬ２：http://www.toshiba.co.jp/regza/function/11b/function01.html
ＵＲＬ１には、低解像度のデジタルコンテンツ映像であっても、高精細な画像に変換し再生することを可能にする「超解像技術」が開示されている。この「超解像技術」は、地上デジタルハイビジョン放送の番組の映像を、さらに高解像の緻密な映像で再現する技術である。また、ＵＲＬ２には、画素数がフルＨＤ（１９２０×１０８０）に満たない映像に対し、画素を復元する超解像処理技術が開示されている。この超解像処理技術は、複数フレームによる超解像技術と色の超解像技術、さらにカラーテクスチャー復元を駆使し、元映像に近いより鮮明で色彩豊かな映像を再現する技術である。

なお、高解像化するためには、前後フレームの被写体の同じ部分を重ね合わせしなければならない。よって、フレーム間でズーム変化量が大きい部分は、被写体のサイズが異なるために重ね合わせが出来ない。また、フレーム間で、並進移動の変化量が大きい部分は、フレーム間で被写体の同じ部分を探索する処理負荷が大きくなる。

次に、画像処理実行部１１５における解析処理の画像処理の具体例について説明する。
解析処理のアルゴリズムは、ＨＯＧ(Histogram of Oriented Gradients)特徴量を用いた人物や車両検知、Ｈｏｕｇｈ変換による道路白線検出、ＳｆＭ(Structure from Motion)による物体の形状推定、赤外画像の解析による劣化度推定などを用いればよい。画像処理実行部１１５は、撮影範囲の変化量１０５を用いて、認識対象の動きと撮影対象の範囲の変化を分離し、認識対象の追跡によって安定した処理結果を得ることができる。また、出力範囲補正部１１３の補正により、撮影範囲の変化を抑制した安定化された複数フレームの解析結果を得ることができる。このような、安定化された複数フレームの解析結果を重畳することで、例えば、コンクリートのひび割れといった検査対象の異常を際立たせる処理を実現することができる。

画像処理実行部１１５は、上記ＨＯＧ特徴量を用いた人物や車両検知を行う。まず、画像処理実行部１１５は、１フレームの画像から対象物を探索して、検出した位置座標を出力する。検出精度を高めるためには、画像処理実行部１１５は、複数フレームで連続、対象物を検出して、対象物の動きを追跡する。移動体である自動車６０から撮影された映像では、対象物の位置変化と、カメラ６１の移動やズーム操作に起因する撮影範囲の変化が合成されているために追跡が難しくなる。しかし、第１の実施形態における画像処理部６５を用いることで、カメラ６１の移動やズーム操作に起因する撮影範囲の変化が少なくなるように補正を行うことができる。これにより、第１の実施形態における画像処理部６５は、対象物の追跡が容易となり、対象物の検出精度を高めることが出来る。

なお、Ｈｏｕｇｈ変換による道路白線検出は、１フレームの画像から対象物を探索して、検出した白線の位置座標を結果として出力する。まず、画像処理実行部１１５は、画像からＨｏｕｇｈ変換によって線分の検出を行う。次に、画像処理実行部１１５は、自動車６０の姿勢に関する情報から、白線のあるべき位置の線分を結果として選択する。この結果だけであると、未検出や誤検出が多いため、画像処理実行部１１５は、複数のフレームの画像を用いて結果の補間と修正を行う。

補正量計算部１１０は、加速度情報１００、撮影範囲の変化量１０５及び補正量計算指示信号１１８の少なくとも１つに基づいて、操作入力信号１０７に対して撮影範囲の変化を抑制するための補正量を予測計算し、その補正量により操作入力信号１０７を補正したカメラ制御信号１０１をカメラ制御部１１６に出力する。また、補正量計算部１１０は、加速度情報１００、撮影範囲の変化量１０５及び補正量計算指示信号１１８の少なくとも１つに基づいて、撮影範囲の変化を抑制するための運転補正量１０３を計算し、走行制御部６６に出力する。

カメラ制御部１１６は、ユーザの操作等に応じた操作入力信号１０７を補正したカメラ制御信号１０１に基づいて、レンズ６２のズーム、フォーカス、絞りを制御する。なお、レンズ６２において、複数枚構成のレンズの一部に、撮影範囲を補正するための可動レンズを追加することで、レンズ６２によって荒い撮影範囲の補正を行うことも可能である。また、カメラ制御部１１６は、ユーザの操作等に応じた操作入力信号１０７を補正したカメラ制御信号１０１に基づいて、旋回装置６３のパン、チルトを制御する。カメラ制御部１１６は、カメラ制御信号１０１に基づいて、レンズ６２又は旋回装置６３を制御する。

自動車６０の運転方法は、手動運転でも、自動運転でもよい。走行制御部６６は、ドライバーの運転操作に応じて取得される、又は、自動運転制御部（図示せず）による自動運転の制御に応じて取得される運転指示信号１１７と、補正量計算部１１０からの運転補正量１０３とを合成し、運転制御信号１０９を出力する。なお、運転指示信号１１７とは、例えば、アクセル、ブレーキ、ハンドル操作等の操作量を示す信号である。自動運転の場合は、画像処理部６５の解析データを用いて走行制御を行う構成としてもよい。その場合は、画像処理実行部１１５は、画像処理結果１０８を、自動運転制御部に対しても出力する。

次に、カメラ６１におけるズーム量に応じた撮影範囲の変化量と、自動車６０の走行速度に応じた撮影範囲の変化量との関係について説明し、合わせて、補正量計算部１１０が出力するカメラ制御信号１０１及び運転補正量１０３による制御の具体例について説明する。

図６は、第１の実施形態のカメラ６１における撮影範囲の変化量の時間推移の例を示す図である。図６に示すグラフは、縦軸がカメラ６１における撮影範囲の変化量を示し、横軸は時間の経過を示している。また、点線１５０は、カメラ６１の撮影範囲の変化量における、領域マッチング等の画像処理が正常に処理可能な範囲の上限値を示す点線である（以下、閾値１５０という）。すなわち、カメラ６１における撮影範囲の変化量が、閾値１５０を超える量となると、動き検出部１１２における領域マッチングや、画像処理実行部１１５における画像解析等の画像処理が正常に処理できなくなる。

図６（Ａ）は、従来の画像処理システムにおけるカメラ６１における撮影範囲の変化量の例を示す図である。図６（Ａ）において、変化量１５２ａは、自動車６０の走行速度に応じた撮影範囲の変化量を示しており、一定の値である。すなわち、自動車６０は一定の速度で走行しているため、並進運動による変化量である変化量１５２ａの値も一定である。変化量１５２ａは、自動車６０の走行速度、自動車６０の走行方向に対するカメラ６１の向き等を考慮して求めることができる。

また、図６（Ａ）の変化量１５１ａは、画像処理部６５のユーザが、レンズ６２のズーム操作を行うことで発生する、レンズ６２のズーム量を指示する操作入力信号１０７に応じた撮影範囲の変化量である。図６（Ａ）に示すように、カメラ６１における撮影範囲の変化量は、レンズ６２のズーム量に応じた変化量１５１ａと、並進運動による変化量１５２ａとを加算したものである。図６（Ａ）に示すように、レンズ６２がズームを行っている間、その合計値は、画角が正常に求まる撮影範囲の変化量の閾値１５０を超えている。この場合は、画像処理部６５における画像処理が破たんしてしまう。

図６（Ｂ）は、第１の実施形態における移動速度優先の制御を行った場合のカメラ６１の撮影範囲の変化量を示す図である。なお、図６（Ｂ）において、ユーザが行うズームの操作によるレンズ６２のズーム量は、レンズ６２のズーム量を補正しない場合に、図６（Ａ）に示したように、カメラ６１の撮影範囲の変化量が閾値１５０を超えてしまうものであるとする。このような場合に、第１の実施形態における画像処理部６５は、レンズ６２のズーム量または自動車６０の走行速度を抑制することで、カメラ６１の撮影範囲の変化量が、閾値１５０を超えないようにすることができる。

図６（Ｂ）では、移動速度優先の制御であるので、画像処理部６５は、レンズ６２のズーム量を指示する操作入力信号１０７を、カメラ６１の撮影範囲の変化量が閾値１５０を超えないように補正する。具体的には、補正量計算部１１０は、カメラ６１の撮影範囲の変化量が閾値１５０を超えないようにするために操作入力信号１０７を補正したカメラ制御信号１０１を計算してカメラ制御部１１６へ出力する。カメラ制御部１１６は、その補正されたカメラ制御信号１０１に応じて、レンズ６２のズーム量（ズーム速度）を制御する。これにより、図６（Ｂ）に示すように、レンズ６２のズーム量に応じた変化量１５１ｂと、並進運動による変化量１５２ｂとを加算した値は、閾値１５０を超えない値となる。すなわち、画像処理部６５は、図６（Ａ）に示した自動車６０の走行速度と同等の走行速度を維持したまま、領域マッチングや、画像解析等の画像処理を正常に処理することができる。

図６（Ｃ）は、第１の実施形態におけるズーム速度優先の制御を行った場合のカメラ６１の撮影範囲の変化量を示す図である。なお、図６（Ｃ）において、ユーザが行うズームの操作によるレンズ６２のズーム量は、自動車６０の走行速度等を補正しない場合に、図６（Ａ）に示したように、カメラ６１の撮影範囲の変化量が閾値１５０を超えてしまうものであるとする。

図６（Ｃ）では、ズーム速度優先の制御であるので、画像処理部６５は、ズームに先立って自動車６０の走行速度を、カメラ６１の撮影範囲の変化量が閾値１５０を超えないように補正する。具体的には、補正量計算部１１０は、ズームに先立って、カメラ６１の撮影範囲の変化量が閾値１５０を超えないようにするための運転補正量１０３を計算して走行制御部６６へ出力する。走行制御部６６は、その運転補正量１０３に応じて、自動車６０の走行速度を補正する。これにより、図６（Ｃ）に示すように、レンズ６２のズーム量に応じた変化量１５１ｃと、並進運動による変化量１５２ｃとを加算した値は、閾値１５０を超えない値となる。すなわち、画像処理部６５は、図６（Ａ）に示したズーム速度と同等のズーム速度を維持したまま、領域マッチングや、画像解析等の画像処理を正常に処理することができる。

なお、レンズ６２におけるズームが終了した場合は、補正量計算部１１０は運転補正量１０３をズーム前の値に戻す。すなわち、レンズ６２におけるズーム終了後は、自動車６０は、ズーム前の走行速度（移動速度）に戻される。なお、走行制御部６６は、自動車６０の運転が手動の場合には、運転手に対して、走行速度を抑制するよう指示するメッセージを、自動車６０内に設置されたカーナビゲーション等の運転手が視認可能な表示装置（図示していない）に表示したり、自動車６０内に設置されたスピーカ（図示していない）から発音したりするための運転指示信号１１７を出力する構成としてもよい。

次に、自動車６０が進行方向を変化させる場合の、画像処理部６５の動作について説明する。
図７は、第１の実施形態の自動車６０が進行方向を変化させる場合に、撮影範囲の変化量を補正する例を示す図である。図７（Ａ）では、自動車６０の進行方向１６０ａと、カメラ６１の撮影方向１６１ａは同じ向きである。図７（Ｂ）では、自動車６０の進行方向１６０ｂと、カメラ６１の撮影方向１６１ｂは異なる向きである。このような図７（Ａ）の状態から、自動車６０のハンドル操作により、図７（Ｂ）の状態に移行する場合の画像処理部６５の動作について説明する。

図７に示すように、ハンドル操作によって自動車６０の進行方向１６０ａが、進行方向１６０ｂに変化した場合に、補正量計算部１１０は、急激な撮影範囲の変化を抑制するため、旋回装置６３の旋回方向を補正したカメラ制御信号１０１を計算して、カメラ制御部１１６へ出力する。これにより、カメラ６１の撮影範囲の変化量を、画像処理部６５における領域マッチングや画像解析等の画像処理を、正常に処理することができる範囲に制限することができる。また、走行上の問題がなければ、補正量計算部１１０は、急ハンドルを抑制するような運転補正量１０３を計算して、走行制御部６６へ出力する。これにより、カメラ６１の撮影範囲の変化量を、画像処理部６５における領域マッチングや画像解析等の画像処理を、正常に処理することができる範囲に制限することができる。

なお、走行制御部６６は、自動車６０の運転が手動の場合には、運転手に対して、急ハンドルを抑制するよう指示するメッセージを、カーナビゲーション等の運転手が視認可能な表示装置に表示したり、スピーカから発音したりするための運転指示信号１１７を出力する構成としてもよい。
また、上述した、レンズ６２のズーム量の補正と、自動車６０の走行速度の補正と、カメラ６１の旋回方向の補正とは、それぞれ独立して動作させてもよく、３つの内の２つ以上の補正を組み合わせて動作させてもよい。

また、第１の実施形態の画像処理システム６９は、カメラ６１と、レンズ６２と、旋回装置６３と、加速度センサ６４と、画像処理部６５と、走行制御部６６と、送信部６７と、アンテナ６８とを備える構成としたが、これに限定されるものではない。画像処理システム６９は、画像処理部６５に加えて、カメラ６１、レンズ６２、旋回装置６３、加速度センサ６４、走行制御部６６、及び、送信部６７の少なくとも一つを備える構成であってもよい。また、第１の実施形態の画像処理部６５は、カメラ制御部１１６を備える構成としたが、これに限定されるものではない。例えば、カメラ制御部１１６は、画像処理部６５の外部であって、画像処理システム６９の内部の適切な場所に設けられてもよい。

（第１の実施形態の変形例）
画像処理部６５において、画像処理の内容によっては、映像の全フレームを処理する必要はない。例えば、画像処理として解析処理を行う場合は、解析対象となる複数のフレームを処理すればよい。それらの複数のフレームは、解析処理の内容によっては、時間的に連続していなくてもよい。そして、画像処理部６５は、解析処理の対象となる複数のフレーム間において、撮影範囲の変化量を抑制する制御を行うようにしてもよい。

画像処理部６５において、画像処理アルゴリズムの特性により、処理対象とする複数フレーム間では撮影範囲が一定していることが望ましい場合がある。移動体である自動車６０を静止できない状況で、補正量計算部１１０は、例えばユーザが指示した所定の期間、撮影範囲を一定に保つために補正されたカメラ制御信号１０１を、カメラ制御部１１６に対して出力する。これにより、カメラ制御部１１６は、レンズ６２と旋回装置６３を制御して、撮影範囲をユーザが指示した一定期間固定する。なお、レンズ６２が対応できる撮影範囲の変更量には限界がるため、撮影範囲を一定に保つことができる期間は限られる。

移動体である自動車６０に搭載するカメラ６１として、広角レンズを備えたカメラと、望遠レンズを備えたカメラとの２台のカメラ含む構成としてもよい。なお、広角レンズを備えたカメラの撮影範囲と、望遠レンズを備えたカメラの撮影範囲は、重なっており、例えば、双方の撮影範囲の中心が一致している。画像処理部６５は、広角レンズを備えたカメラと、望遠レンズを備えたカメラの双方から映像を受け取る。画像処理部６５は、広角レンズを備えたカメラからの映像に基づいて、撮影範囲の変化量を取得する。画像処理部６５は、取得した撮影範囲の変化量に基づいて、望遠レンズを備えたカメラからの映像に対して、撮影範囲の補正、または、画像処理を行う。これにより、広角レンズで撮影された映像の方が撮影範囲の変化が少ないという特性を利用して、画像処理部６５は、安定して撮影範囲の変化量を取得することができる。

また、カメラ６１として、広角と望遠両方の映像を同時に取得できる１台のカメラを用いてもよい。例えば、カメラ６１の備える撮像素子の受光領域を、広角撮像用の領域と、望遠撮像用の領域とに領域分割し、広角撮像用の領域に広角レンズを通して結像させ、望遠撮像用の領域に望遠レンズを通して結像させる。画像処理部６５は、広角撮像用の領域で撮像された映像に基づいて、撮影範囲の変化量を取得する。また、画像処理部６５は、取得した撮影範囲の変化量に基づいて、望遠撮像用の領域で撮像された映像に対して、画像処理を行う。上述した広角レンズを備えたカメラと、望遠レンズを備えたカメラとの２台のカメラを用いる場合と比べて、カメラが１台で済むため費用を低減することができる。

また、カメラ６１として、高フレームレートでの撮影と低フレームレートでの撮影とを、切り替えて撮影することが可能なカメラを用いてもよい。画像処理部６５は、高フレームレートで撮影された映像に基づいて、撮影範囲の変化量を取得する。また、画像処理部６５は、取得した撮影範囲の変化量に基づいて、低フレームレートで撮影された映像に対して、画像処理を行う。高フレームレートで撮影された映像は、フレーム間の時間差が少なく、撮影範囲の変化量も少ない。よって、高フレームレートで撮影された映像に基づいて撮影範囲の変化量を取得する場合は、低フレームレートで撮影された映像に基づいて撮影範囲の変化量を取得する場合に比べて、撮影範囲の変化量を取得できる自動車６０の走行速度、又は、レンズ６２のズーム速度の上限値を、大きくすることができる。

また、画像処理部６５は、撮影範囲の変化量の取得が不能となるカメラ６１の姿勢変化が生じた場合は、自動車６０の運転者に、撮影範囲の変化量を取得可能となるような操縦方法のアドバイスを伝えることができる構成としてもよい。また、自動車６０の運転者に、撮影範囲の変化量を取得不能となりそうな状況を通知することで、適切な運転方法のトレーニングにも応用できる。

（第２の実施形態）
次に、第２の実施形態として、移動体がドローンの場合の画像処理部（画像処理装置）及び画像処理システムについて説明する。ここで、ドローンとは、小型の無人飛行機であって、複数のローターを有するマルチコプター等である。近年、ドローンは、スポーツ中継や、災害現場の中継などに使われるようになっている。また、ドローンの用途として、高所にある橋梁やトンネル天井などのインフラ点検に用いる試みも始まっている。

図８は、第２の実施形態のドローンに搭載された画像処理システムを示す図である。図８に示すとおり、ドローン７０は、レンズ７２を有するカメラ７１と、旋回装置７３と、加速度センサ７４と、画像処理部７５と、飛行制御部７６と、送受信部７７と、アンテナ７８と、プロペラ（回転翼）及びプロペラを回転させる動力モータを有するプロペラ部７９とを備える。

ドローン７０は、複数のプロペラで揚力を得て浮上し、リモコン８２によって遠隔で手動操縦することができる。なお、ドローン７０は、ＧＰＳ(Global Positioning System)センサを備え、あらかじめ設定されている行程を自動航行する構成であってもよい。カメラ７１は、画像センサを備え、ズーム可能なレンズ７２が取り付け可能であり、旋回装置７３によって撮影方向を調整することができる。

加速度センサ７４は、Ｘ軸、Ｙ軸、Ｚ軸の３方向に対する加速度と、ヨー、ピッチ、ロールの３軸方向に対する角速度の検出を行うセンサである。画像処理部７５は、カメラ７１からのＲＡＷ映像２０２を処理して、高画質化や解析処理等の画像処理を行う。飛行制御部７６は、複数のプロペラ部７９の各々の回転数等を制御することで、ドローン７０の飛行速度、飛行方向等を制御する。画像処理部７５において、高画質化を行った映像または解析処理を行った解析結果データは、送受信部７７とアンテナ７８を介して、処理結果受信機８０に送信される。処理結果受信機８０は、受信した映像または解析結果データを表示する表示部８１を備える。

なお、カメラ７１は、専用の挿入口に挿入されたメモリカード（図示していない）を備える構成であってもよく、当該メモリカードに、高画質化を行った映像や解析結果データを記録してもよい。メモリカードは取り外し可能であり、撮影を終えて、ドローン７０の機体を回収後に、カメラ７１より取り外し、ＰＣ（パーソナル コンピュータ）のメモリーカードリーダーに接続してもよい。これにより、ＰＣにおいて、メモリカードから読み出された高画質化された映像や解析結果データの確認を行うことができる。

次に、図８に示した画像処理部７５の詳細について説明する。
図９は、第２の実施形態の画像処理部７５の詳細を示すブロック図である。図９に示すように、画像処理部７５は、補正量計算部２１０と、映像入力部２１１と、動き検出部２１２と、出力範囲補正部２１３と、画像処理制御部２１４と、画像処理実行部２１５と、カメラ制御部２１６とを備える。

なお、第２の実施形態における画像処理システム８３は、カメラ７１と、レンズ７２と、旋回装置７３と、加速度センサ７４と、画像処理部７５と、飛行制御部７６と、送受信部７７と、アンテナ７８とを備える。また、図９に示す出力範囲補正部２１３、画像処理制御部２１４、及び、画像処理実行部２１５は、それぞれ、図２に示した出力範囲補正部１１３、画像処理制御部１１４、及び、画像処理実行部１１５と同様の動作を行うものであり、その説明を省略する。

カメラ７１は、画像センサで撮影されたＲＡＷ映像１０２を、映像入力部２１１へ出力する。加速度センサ７４は、加速度情報２００を補正量計算部２１０と動き検出部２１２へ出力する。映像入力部２１１は、カメラ７１から入力されたＲＡＷ映像３０２に対して、レンズ７２のひずみ補正やガンマ補正などの一般的な補正処理を行って得た映像２０４を、動き検出部２１２及び出力範囲補正部２１３へ出力する。なお、複数回の画像の幾何変換による画質低下を防ぐため、映像入力部２１１と出力範囲補正部２１３とを、一体で構成してもよい。

動き検出部２１２は、入力された映像２０４に対して、領域マッチング処理を行い、複数フレーム間における並進運動及び拡大縮小の変化量（撮影範囲の変化量）２０５を求める。ドローン７０に搭載された画像処理部７５の場合は、ドローン７０本体の回転により撮影範囲の変化が生じやすい。よって、動き検出部２１２で行う領域マッチングとしては、図４に示した方法は良い精度を得られない場合が多く、図３、５に示した方法を用いる。レンズ７２のズームによる撮影範囲の変化の場合は、動き検出部２１２は、図５に示した領域マッチングを行う。また、回転による撮影範囲の変化の場合は、動き検出部２１２は、回転させたテンプレート矩形で領域マッチングを行う。その際に、動き検出部２１２は、加速度情報２００を参考にして、限定した数の倍率及び回転角度のみテンプレート矩形を作成することができる。

補正量計算部２１０は、入力された撮影範囲の変化量２０５又は加速度情報２００に基づいて入力された画像処理制御命令２０７に含まれる制御信号に対して、カメラ７１の撮影範囲の変化量を、領域マッチング等の画像処理を正常に処理可能な範囲に抑制するための補正量を計算し、その補正量で画像処理制御命令２０７に含まれる制御信号を補正したカメラ制御信号２０１を出力する。また、補正量計算部２１０は、入力された撮影範囲の変化量２０５又は加速度情報２００に基づいてカメラ７１の撮影範囲の変化量を、領域マッチング等の画像処理を正常に処理可能な範囲に抑制するための飛行補正量２０３を計算する。なお、カメラ制御信号２０１は、カメラ制御部２１６によりカメラ７１を制御する制御量を指示する信号である。また、飛行補正量２０３は、飛行制御部７６に対して、カメラ７１の撮影範囲の変化量を、領域マッチングを正常に処理可能な範囲に抑制するための補正量である。この補正量とは、例えば、ドローン７０の回転速度を落とすように自動で飛行制御するための補正量である。

なお、ドローン７０が手動操縦のときは、リモコン８２からの命令データを乗せた電波を、アンテナ７８が受信する。送受信部７７は、受信した命令データを解読して飛行制御命令２１７を飛行制御部７６へ出力し、画像処理制御命令２０７を補正量計算部２１０及び画像処理制御部２１４へ出力する。飛行制御命令２０９は、ドローンを飛行させる方向と速度を指示する信号である。画像処理制御命令２０７は、例えば、レンズ７２のズーム制御や、旋回装置７３の旋回方向を指示する信号である。

次に、ドローン７０におけるカメラ７１の並進運動の速度について説明する。
図１０は、第２の実施形態のドローン７０におけるカメラ７１の並進運動の速度を示す図である。図１０に示すように、プロペラ部７９によってズーム可能なレンズ７２が取り付けられたカメラ７１が移動する状況を示している。ドローン７０の進行方向および進行速度を示すベクトル３００と、レンズ７２の光軸方向のなす角度から、カメラ７１で撮影される撮影範囲の並進運動の速度成分３０１を求めることができる。これにより、画像処理部７５は、並進運動による撮影範囲の変化量を計算して、撮影範囲の変化量を、領域マッチング等の画像処理を正常に処理可能な範囲に抑制する制御に用いることができる。

上記各実施形態において、画像処理部６５内の補正量計算部１１０、動き検出部１１２、出力範囲補正部１１３、画像処理制御部１１４、画像処理実行部１１５、及び、カメラ制御部１１６、及び、画像処理部７５内の補正量計算部２１０、動き検出部２１２、出力範囲補正部２１３、画像処理制御部２１４、画像処理実行部２１５、及び、カメラ制御部２１６は、ＣＰＵ（中央演算装置）等を利用してソフトウェアで実現してもよく、ＬＳＩ等のハードウェアで実現してもよい。

以上説明した少なくともひとつの実施形態によれば、補正量計算部を持つことにより、移動体の有するカメラで撮影された映像で生じる撮影範囲の変化を抑制することができる。

また、以上に説明した画像処理部６５内の補正量計算部１１０、動き検出部１１２、出力範囲補正部１１３、画像処理制御部１１４、画像処理実行部１１５、及び、カメラ制御部１１６、及び、画像処理部７５内の補正量計算部２１０、動き検出部２１２、出力範囲補正部２１３、画像処理制御部２１４、画像処理実行部２１５、及び、カメラ制御部２１６の機能をソフトウェアによって実現する場合は、それらの機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

６０…自動車、６１，７１…カメラ、６２，７２…レンズ、６３，７３…旋回装置、６４，７４…加速度センサ、６５，７５…画像処理部、６６…走行制御部、６７…送信部、６８，７８…アンテナ、７６…飛行制御部、７７…送受信部、７９…プロペラ部、８０…処理結果受信機、８１…表示部、８２…リモコン、１１０，２１０…補正量計算部、１１２，２１２…動き検出部、１１３，２１３…出力範囲補正部、１１４，２１４…画像処理制御部、１１５，２１５…画像処理実行部、１１６，２１６…カメラ制御部

Claims (12)

1. 移動体に搭載された撮像装置によって撮像された画像間のマッチング処理により、前記撮像装置の撮像範囲の変化量を取得する取得部と、
   フィードバック制御により、前記取得部が前記変化量を取得することができる第１の範囲に、又は、画像処理部が前記撮像装置で撮像された画像に対して所定の画像処理を行うことができる第２の範囲に、前記撮像範囲を調整する第１の補正部と、
   を備え、
   前記第１の補正部は、前記撮像範囲が前記第１の範囲又は前記第２の範囲となるように前記撮像装置の撮像方向又は撮像画角を補正する第１の補正情報を出力する、
   補正情報出力装置。
2. 移動体に搭載された撮像装置によって撮像された画像間のマッチング処理により、前記撮像装置の撮像範囲の変化量を取得する取得部と、
   フィードバック制御により、前記取得部が前記変化量を取得することができる第１の範囲に、又は、画像処理部が前記撮像装置で撮像された画像に対して所定の画像処理を行うことができる第２の範囲に、前記撮像範囲を調整する第２の補正部と、
   を備え、
   前記第２の補正部は、前記撮像範囲が前記第１の範囲又は前記第２の範囲となるように前記移動体の移動方向又は移動速度を補正する第２の補正情報を出力する、
   補正情報出力装置。
3. 前記第１の補正部は、所定の期間、前記撮像範囲が略同一の範囲に固定されるように前記撮像方向又は撮像画角を補正する第１の補正情報を出力する
   請求項１に記載の補正情報出力装置。
4. 前記取得部は、領域マッチングを行うことで前記撮像装置における前記撮像範囲の変化量を取得し、かつ、前記移動体の加速度に関する情報に基づいて、前記領域マッチングの手法を切り替える
   請求項１から３のいずれか一項に記載の補正情報出力装置。
5. 請求項１から４のいずれか一項に記載の補正情報出力装置と、
   前記画像処理部と、
   を備え、
   前記撮像装置は、第１の撮像装置で広角の撮像を行い、第２の撮像装置で望遠の撮像を行い、
   前記取得部は、第１の撮像装置で撮像された画像に基づいて、前記撮像範囲の変化量を取得し、
   前記画像処理部は、前記第２の撮像装置で撮像された画像に対して、前記所定の画像処理を行う
   画像処理装置。
6. 請求項１から４のいずれか一項に記載の補正情報出力装置と、
   前記画像処理部と、
   を備え、
   前記撮像装置は、広角の画像と、望遠の画像とを同時に取得可能であり、
   前記取得部は、前記広角の画像に基づいて、前記撮像範囲の変化量を取得し、
   前記画像処理部は、前記望遠の画像に対して、前記所定の画像処理を行う
   画像処理装置。
7. 請求項１から４のいずれか一項に記載の補正情報出力装置と、
   前記画像処理部と、
   を備え、
   前記撮像装置は、高フレームレートでの撮像と、低フレームレートでの撮像とを切り替えて撮像可能であり、
   前記取得部は、前記高フレームレートで撮像された画像に基づいて、前記撮像範囲の変化量を取得し、
   前記画像処理部は、前記低フレームレートで撮像された画像に対して、前記所定の画像処理を行う
   画像処理装置。
8. 前記取得部が、前記撮像範囲の変化量を取得できない場合に、その旨を通知する通知部をさらに備える
   請求項５から７のいずれか一項に記載の画像処理装置。
9. 取得部が、移動体に搭載された撮像装置によって撮像された画像間のマッチング処理により、前記撮像装置の撮像範囲の変化量を取得する取得ステップと、
   第１の補正部が、フィードバック制御により、前記取得部が前記変化量を取得することができる第１の範囲に、又は、画像処理部が前記撮像装置で撮像された画像に対して所定の画像処理を行うことができる第２の範囲に、前記撮像範囲を調整する第１の補正ステップと、
   を有し、
   前記第１の補正ステップにおいて、前記第１の補正部が、前記撮像範囲が前記第１の範囲又は前記第２の範囲となるように前記撮像装置の撮像方向又は撮像画角を補正する第１の補正情報を出力する、
   補正情報出力方法。
10. 取得部が、移動体に搭載された撮像装置によって撮像された画像間のマッチング処理により、前記撮像装置の撮像範囲の変化量を取得する取得ステップと、
    第２の補正部が、フィードバック制御により、前記取得部が前記変化量を取得することができる第１の範囲に、又は、画像処理部が前記撮像装置で撮像された画像に対して所定の画像処理を行うことができる第２の範囲に、前記撮像範囲を調整する第２の補正ステップと、
    を有し、
    前記第２の補正ステップにおいて、前記第２の補正部が、前記撮像範囲が前記第１の範囲又は前記第２の範囲となるように前記移動体の移動方向又は移動速度を補正する第２の補正情報を出力する、
    補正情報出力方法。
11. 移動体に搭載された撮像装置の撮像方向又は撮像画角を制御する第１の制御部と、
    前記撮像装置によって撮像された画像間のマッチング処理により、前記撮像装置の撮像範囲の変化量を取得する取得部と、
    フィードバック制御により、前記取得部が前記変化量を取得することができる第１の範囲に、又は、画像処理部が前記撮像装置で撮像された画像に対して所定の画像処理を行うことができる第２の範囲に、前記撮像範囲を調整する第１の補正部と、
    を備え、
    前記第１の補正部は、前記撮像範囲が前記第１の範囲又は前記第２の範囲となるように前記第１の制御部によって決定された前記撮像方向又は撮像画角を補正する、
    撮像制御システム。
12. 移動体の移動方向又は移動速度を制御する第２の制御部と、
    前記移動体に搭載された撮像装置によって撮像された画像間のマッチング処理により、前記撮像装置撮像範囲の変化量を取得する取得部と、
    フィードバック制御により、前記取得部が前記変化量を取得することができる第１の範囲に、又は、画像処理部が前記撮像装置で撮像された画像に対して所定の画像処理を行うことができる第２の範囲に、前記撮像範囲を調整する第２の補正部と、
    を備え、
    前記第２の補正部は、前記撮像範囲が前記第１の範囲又は前記第２の範囲となるように前記第２の制御部によって決定された前記移動方向又は前記移動速度を補正する、
    移動体制御システム。

Images