JP6452875B1 - 移動体撮像システム、及び、移動体撮像方法 - Google Patents

Abstract

【課題】 三脚などの簡易支持装置を利用して任意の場所に設置した場合であっても、風等の外乱の影響により生じる、撮像データのブレを抑制できる移動体撮像システムを提供する。【解決手段】 これを実現するため、本発明の移動体撮像システムは、移動体を撮像し撮像データを出力する撮像機と、反射鏡を回転させることで前記撮像機の光軸の偏向角度を変更する偏向機と、該偏向機を支持する筐体と、該筐体の姿勢変化を検出する姿勢変化検出器と、前記姿勢変化検出器の検出結果に応じて前記反射鏡の偏向角度を制御する制御部と、を具備するものとした。【選択図】 図１

Description

本発明は、空間上を自由に動く飛行体を追尾撮像するのに好適な、移動体撮像システム、及び、移動体撮像方法に関する。

従来、対象領域を移動する飛行体等の移動体を撮像する装置が知られている。移動中の移動体を追尾して撮影するには、移動体をカメラの撮像範囲に捕捉するように、カメラの光軸を制御する必要がある。カメラの光軸を移動体に向ける制御方法として、回転可能な複数の可動ミラーを各々異なる回転軸のモータで駆動することで、カメラの光軸を移動体に追尾させる方法が知られている。

この技術は、例えば、特許文献１に開示されており、同文献の要約書には、「光不透過性の筐体Ｂ１に光透過性のウィンドウＷ１を設け、筐体Ｂ１内に撮像装置Ｃ１と、方位角回転反射ミラーＭ１と、傾斜角回転反射ミラーＭ２と、ミラーＭ１，Ｍ２を回転させるモータｍ１，ｍ２とを配置した。対象視界からの光束Ｉは、ウィンドウＷ１を通過した後、ミラーＭ１により正反射され、更にミラーＭ２に当たって反射され、それにより対象像は正位像に戻り、その対象の正位像が撮像装置Ｃ１に入射する。」と記載されている。

また、外乱等によるカメラの姿勢変化を加速度センサで検出し、撮像した画像の傾きを補正する技術も知られており、例えば、特許文献２の要約書には、「光学系と、光学系を通して入射する画像を画像データとして出力する素子と、３軸方向の加速度を表す信号を出力する加速度センサと、３軸の周りの角速度を表す信号を出力する角速度センサと、前記画像データを処理する回路と、を備える撮像装置であって、前記回路は、前記加速度に基づいて画像の傾きの低域成分を補正し、前記角速度に基づいて前記画像の傾きの高域成分を補正する補正処理を行う。」と記載されている。

特開平１０−１３６２３４号公報 特開２０１７−２２５０３９号公報

特許文献１には、監視用カメラの設置方法は明示されていないが、所望の場所にカメラを設置するには、設置や移動の容易さ、自由度を考慮し、地面や構造部材にカメラを強固に固定する構成とするのではなく、三脚などの簡易支持装置を利用することが多い。このような簡易的な設置態様を採用する場合、屋外においては、風や自動車の振動などの外乱によって、監視用カメラの姿勢が変化する可能性があり、また、屋内においても、人の歩行に伴う床振動などの外乱によって、監視用カメラの姿勢が変化する可能性がある。そして、特に高倍率のズーム撮影を行う際に、撮像データに外乱と同期したブレが混入する場合がある。

特許文献２は、外乱によりカメラの姿勢が変化した場合に、加速度を踏まえた画像処理によって画像データの傾きを補正し、ブレを抑制するものであるが、あくまで画像処理により傾きを補正するものであり、特許文献１のように可動ミラーを備えたカメラにおいて発生する、外乱の影響による可動ミラーの姿勢変化に対応できるものではない。

本発明は、以上を踏まえてなされたものであり、可動ミラー（反射鏡）を用いたカメラを、地面や構造部材に固定せず、また、免振装置を設けずに、三脚などの簡易支持装置上に設置する場合であっても、外乱に応じて可動ミラーの姿勢を制御することで、撮像データへのブレの混入を抑制できる、移動体撮像システム、および、移動体撮像方法を提供することを目的とする。

上記目的を達成するために、本発明では、本発明の移動体撮像システムは、移動体を撮像し撮像データを出力する撮像機と、反射鏡を回転させることで前記撮像機の光軸の偏向角度を変更する偏向機と、該偏向機を支持する筐体と、該筐体の姿勢変化を検出する姿勢変化検出器と、前記姿勢変化検出器の検出結果に応じて前記反射鏡の偏向角度を制御する制御部と、を具備し、前記姿勢変化検出器には、角速度の変化を検出する角速度センサを含み、前記角速度センサは、前記偏向機の回転軸上に配置され、該回転軸周りの角速度を検出するものとした。

本発明によれば、可動ミラー（反射鏡）を用いたカメラを地面や構造部材に固定せず、また、免振装置を設けずに、三脚などの簡易支持装置上に設置する場合であっても、外乱に応じて可動ミラーの姿勢を制御することで、撮像データへのブレの混入を抑制することができる。

実施例１の移動体撮像システムの概略図である。 実施例１の撮像装置制御部、偏向機等の機能ブロック図である。 実施例１の偏向機の制御方法を示す概略図である。 実施例２の移動体撮像システムの概略図である。 実施例２の撮像装置制御部、偏向機等の機能ブロック図である。 実施例２の画像処理装置での画像処理を説明する概略図である。 実施例３の移動体撮像システムの概略図である。 実施例３の撮像装置制御部、偏向機等の機能ブロック図である。 実施例３の補正量算出部での演算を説明する概略図である。 実施例３の画像処理装置での画像処理を説明する概略図である。

以下、本発明の各実施例を説明する。以下の実施の形態において、便宜上その必要があるときは、複数の実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

本発明の実施例１の移動体撮像システムを、図１から図３を用いて説明する。なお、以下では、追尾撮像対象となる移動体が、三次元空間上を自由に飛行するドローンなどの飛行体１０である例を説明するが、平面上を移動する自動車、人、船などが追尾撮影対象であっても良い。

図１は、本実施例の移動体撮像システムを構成する、移動体撮像装置１、受信した撮像データ８を処理するパソコン等の画像処理装置２０、画像処理後の表示データ８ａを表示する液晶ディスプレイ等の画像表示装置３０を、追尾撮像対象である飛行体１０とともに表示した概略図であり、移動体撮像装置１は、図示しない三脚などの簡易支持装置に設置した状態とする。なお、図１では、右側をｘ軸の正方向、上側をｙ軸の正方向、表側をｚ軸の正方向としており、また、各要素を結ぶ点線は信号線を示している。

ここに示す移動体撮像装置１は、撮像機７と偏向ユニット３を、撮像機７の光軸がｘ軸と平行になるように、かつ、偏向ユニット３によって撮像機７の光軸を上下方向または左右方向に偏向できるように、剛体の台座上に設置したものである。また、移動体撮像装置１は、撮像機７の撮像タイミング・撮像倍率や、偏向ユニット３内での偏向角度などを制御する撮像装置制御部２も備えており、その制御によって飛行体１０を追尾した撮像データ８を撮像機７から出力する。

撮像機７の光軸を飛行体１０に追尾させるため、偏向ユニット３は、鋼板などの剛体で構成された筐体３ａの内部に、光軸を上下方向に偏向する反射鏡４ｘと、光軸を左右方向に偏向する反射鏡４ｙを備え、また、筐体３ａの側面には、反射鏡４ｘをｘ軸周りに回転させる偏向機５ｘを備え、筐体３ａの上面には、反射鏡４ｙをｙ軸周りに回転させる偏向機５ｙを備えている。なお、反射鏡４ｘ、４ｙ偏向機５ｘ、５ｙを合わせて偏向部と呼ぶこともある。さらに、偏向機５ｘの回転軸上には角速度センサ６ｘを設置し、偏向機５ｙの回転軸上には角速度センサ６ｙを設置している。この各速度センサにより、振動や風などの外乱の影響によって偏向ユニット３の姿勢が変化する場合には、角速度センサ６ｘが出力する角速度ω_ｘに基づいてｘ軸周りの回転量Δθ_ｘを検出でき、角速度センサ６ｙが出力する角速度ω_ｙに基づいてｙ軸周りの回転量Δθ_ｙを検出できる。なお、以下では、二つの反射鏡を反射鏡４と総称し、二つの偏向機を偏向機５と総称し、二つの角速度センサを角速度センサ６と総称することもある。

図２は、本実施例の撮像装置制御部２、偏向機５、角速度センサ６の詳細を説明する概略図である。なお、本実施例の偏向ユニット３は、二つの反射鏡４ｘ、４ｙを備えたものであるため、反射鏡毎に図２の構成が必要であるが、両反射鏡の偏向角度制御の内容は同等であるため、以下では、両者を代表させた図２の構成を例に説明を進める。

偏向機５は、角度制御可能なガルバノモータ等のモータ（図示省略）に加え、図２に示す、モータの偏向角度を検出するエンコーダー等の角度センサ５１と、モータに駆動電力を供給するモータ制御部５２を備えている。

また、撮像装置制御部２は、飛行体１０を追尾し撮像データ８の中央に飛行体１０を写すために必要な反射鏡４の目標偏向角度θ_０を演算する目標角度演算部２ａと、目標偏向角度θ_０を基にした偏向角度指令値θ_１を偏向機５のモータ制御部５２に出力する偏向角度指令部２ｂと、角速度センサ６の出力から角速度ωを検出する角速度検出部２ｃと、撮像機７の撮像タイミングなどを制御する撮像機制御部（図示省略）を備えている。なお、撮像装置制御部２内の各部の機能は、撮像装置制御部２が備える、ハードディスク等の補助記憶装置に記録されたプログラムを、半導体メモリ等の主記憶装置にロードし、これをＣＰＵ等の演算装置が実行することで実現されるものであるが、以下では、このような周知動作を適宜省略しながら説明する。

図３は、主に偏向角度指令部２ｂにより実行される撮像装置制御部２側の処理と、主にモータ制御部５２により実行される偏向機５側の処理を説明する図である。角速度センサ６の出力である角速度ωが角速度検出部２ｃに入力されると、図３に示すように、角速度ωに対し積分処理を施し、風などの外乱の影響による軸周りの回転量Δθを求める。その後、偏向角度指令部２ｂは、目標角度演算部２ａで演算した目標角度θ_０から、外乱の影響に相当する回転量Δθを減算し、これを角度指令値θ_１として偏向機５へ出力する。

偏向機５では、受信した角度指令値θ_１から、角度センサ５１が検出したモータ回転角度θ_２を減算した値を、補償器Ｃに入力する。そして、補償器Ｃからは、角度指令値θ_１とモータ回転角度θ_２の差に対応する電流値が出力され、この電流値に従ってモータが回転する結果、反射鏡４は撮像装置制御部２が指定する所定の角度に設定される。

このように、本実施例では、風などの外乱による回転量Δθを打ち消す角度指令値θ_１を用いて偏向機５を制御する構成としたので、偏向ユニット３の姿勢が外乱の影響により変化した場合で当ても、反射鏡４の偏向角度が外乱の影響を打ち消す方向に逐次修正され、撮像機７の撮像データ８は外乱の影響を抑制した、ブレの無いものとすることができる。

以上で説明したように、本実施例によれば、偏向ユニットを用いた移動体撮像装置を三脚などの簡易支持装置上に設置した場合であっても、風などの外乱に応じて偏向ユニット内の反射鏡の姿勢を制御することで、撮像データへのブレの混入を抑制することができる。

次に、図４〜図６を用いて、本発明の実施例２の移動体撮像システムを説明する。なお、実施例１との共通点は重複説明を省略する。

実施例１の移動体撮像システムでは、角速度センサ６を用いることで反射鏡４の回転軸周りの姿勢変化を回転量Δθとして検出するものであったが、本実施例の移動体撮像システムは、後述する加速度センサ９を利用することで偏向ユニット３の筺体３ａの移動による姿勢変化をシフト量Δとして検出し、そのシフト量Δに基づいて画像表示装置３０に表示するための表示データ８ａを抽出できる構成とした。

図４は、本実施例の移動体撮像システムを構成する、移動体撮像装置１、画像処理装置２０、画像表示装置３０の概略図である。ここに示すように、本実施例の移動体撮像システムは、図１に示した実施例１の構成に、偏向ユニット３の筺体３ａ上に設けた加速度センサ９と、撮像装置制御部２と画像処理装置２０を接続する信号線を付加したものである。

図５は、本実施例の撮像装置制御部２、偏向機５、角速度センサ６、加速度センサ９、画像処理装置２０の詳細を説明する概略図である。ここに示すように、本実施例の撮像装置制御部２では、図２に示した実施例１の構成に、加速度センサ９の出力から加速度ａを検出する加速度検出部２ｄと、画像処理装置２０に撮像データ８の修正に必要なシフト量Δを出力する補正量演算部２ｅを付加したものである。

本実施例の加速度センサ９は、風などの外乱によって偏向ユニット３が移動した際に加わった三方向の加速度ａ（ａ_ｘ、ａ_ｙ、ａ_ｚ）を個々に検出できるものである。そして、撮像装置制御部２の補正量演算部２ｅにて、各方向の加速度ａに対し、積分処理を二回施すことで、外乱による偏向ユニット３の移動量（シフト量Δ（Δ_ｘ、Δ_ｙ、Δ_ｚ））を算出する。

次に、図６を用いて、シフト量Δを利用した撮像データ８の処理方法を説明する。図６の上図は撮像機７が飛行体１０をズーム撮像した際の撮像データ８の一例であり、下図はこの撮像データ８を基に画像表示装置３０に表示した表示データ８ａの一例である。両図の比較から明らかなように、撮像データ８は表示データ８ａよりも大きいため（例えば、前者は1350x900画素、後者は1280x720画素）、撮像データ８の一部領域を切り出して表示データ８ａとすることができる。

上述したように、補正量演算部２ｅが出力するシフト量Δは、外乱による偏向ユニット３の移動量に相当するため、シフト量Δが出力された場合には、撮像データ８上の飛行体１０は、撮像装置制御部２が予定した位置よりシフト量Δだけずれた位置に写っていると推測できる。

このズレを修正するため、本実施例の画像処理装置２０では、補正量演算部２ｅから入力されたシフト量Δに基づいて、撮像データ８の中心からシフト量Δだけずれた所定の大きさの領域を抽出し、これを表示データ８ａとして画像表示装置３０に送信する。この処理により、画像表示装置３０には外乱によるシフト量Δの影響を補正した表示データ８ａを表示することができるため、表示データ８ａが動画であるときであっても、外乱によるブレの影響を小さくすることができる。

以上で説明した本実施例の移動体撮像装置によれば、実施例１と同様に、偏向角度指令部２ｂ等による図３の制御による外乱影響の抑制に加え、補正量演算部２ｅと画像処理装置２０の組合せでも外乱の影響を抑制することができる。従って、画像表示装置３０に表示される表示データ８ａの品質を、実施例１よりも高めることができる。

次に、図７〜図９を用いて、本発明の実施例３の移動体撮像システムを説明する。なお、上述の実施例１との共通点は重複説明を省略する。

実施例１、２では、角速度センサ６で検出した偏向ユニット３の軸周りの回転量Δθに基づいて反射鏡４の偏向角度を補正し、また、実施例２では、加速度センサ９で検出した偏向ユニット３のシフト量Δに基づいて撮像データ８から表示データ８ａを抽出した。

これに対し、本実施例の移動体撮像システムでは、偏向ユニット３の筺体３ａの表面に二つの加速度センサ９を設置し、これらの出力に基づいて偏向ユニット３の軸周りの回転量Δθとシフト量Δを算出することで、角速度センサ６を省略した構成であっても実施例１や実施例２に相当する外乱対応制御を実施できるようにした。

図７は、本実施例の移動体撮像装置１、および、飛行体１０、画像処理装置２０、画像表示装置３０の概略図である。ここに示すように、本実施例では、図４に示した実施例２の角速度センサ６ｘ、６ｙ、加速度センサ９に代え、二つの加速度センサ９ａ、９ｂを設置している。なお、二つの加速度センサ９ａ、９ｂは、筐体３ａの表面の任意の位置に設置可能であり、図７の例では、両加速度センサをｘ軸方向に並べているが、以下では、両加速度センサがｚ軸方向（図面の表裏方向）に距離Ｌを隔てて配置されているものとして、説明を行う。

図８は、本実施例の撮像装置制御部２、偏向機５、加速度センサ９、画像処理装置２０の詳細を説明する概略図である。ここに示すように、本実施例の撮像装置制御部２では、図５に示した実施例２の構成から、角速度センサ６と、角速度検出部２ｃを除いたものである。また、二つの加速度センサ９ａ、９ｂを設けたことから、撮像装置制御部２には二つの加速度ａ１、ａ２が入力され、補正量演算部２ｅからはシフト量Δに加え、回転量Δθが画像処理装置２０に出力されるものである。

次に、図９等を用いて、撮像装置制御部２の補正量演算部で偏向ユニット３のシフト量Δと回転量Δθを演算する方法を説明する。図９（ａ）に示すように、外乱によって偏向ユニット３の姿勢が変化し、筺体３ａ上の加速度センサ９ａが９ａ’の位置に、加速度センサ９ｂが９ｂ’の位置に移動したものとする。この場合、各加速度センサの出力である加速度ａ１、ａ２が加速度検出部２ｄに入力されると、各々に対し積分処理を二回施すことで、各加速度センサの設置点のｘ、ｙ、ｚの各方向への移動量を算出することができる。以下では、加速度センサ９ａの移動量をΔ_１（Δｘ_１、Δｙ_１、Δｚ_１）とし、加速度センサ９ｂの移動量をΔ_２（Δｘ_２、Δｙ_２、Δｚ_２）とする。

図９（ｂ）は、ｘｚ平面に投射した加速度センサ９ａ、９ｂを結ぶ直線の回転量Δθ_ｙの算出方法の説明図であり、図９（ｃ）は、ｙｚ平面に投射した加速度センサ９ａ、９ｂを結ぶ直線の回転量Δθ_ｘの算出方法の説明図である。これらの図面から明らかなように、回転量Δθ_ｘ、Δθ_ｙは、以下の（式１）により求めることができる。

この式１を用いて補正量演算部２ｅが求めた回転量Δθは、実施例１の図３における偏向ユニット３の回転量Δθと等価であるため、本実施例の構成によれば、実施例１の角速度センサ６を省略した構成であっても、実施例１と同様の反射鏡４の偏向角度制御を実現することができる。

また、本実施例では、実施例２のようなシフト量Δを考慮した画像処理に加え、偏向ユニット３の回転量Δθを考慮した画像処理も実行する。図９（ａ）に示すように、撮像機７の光軸とｘ軸を平行にした本実施例の場合、撮像機７の撮像データ８は、偏向ユニット３のｘ軸周りの回転量Δθ_ｘの影響を受けたものとなる。従って、画像処理装置２０では、補正量演算部２ｅから入力される回転量Δθ_ｘに基づいて、撮像データ８に補正処理を施すことで、外乱による偏向ユニット３の傾きの影響を除去することができる。

また、本実施例の画像処理装置２０では、実施例２と同様に、シフト量Δを考慮した画像処理を施したうえで、表示データ８ａを確定する。本実施例では、実施例２と異なり、二つの加速度センサ９の出力を得ているため、補正量演算部２ｅでは、以下の（式２）により、画像補正処理に利用するシフト量Δを算出する。

図１０は、補正量演算部２ｅで算出した回転量Δθ_ｘ、シフト量Δｙ、シフト量Δｚに基づいて、撮像データ８に画像処理を施し表示データ８ａを得るまでの工程の一例を示したものである。図１０の上図に示すように、まず、撮像データ８の中心位置から（Δｚ、Δｙ）ずれた位置を特定し、ここを中心として回転量Δθ_ｘに相当するだけ傾いた領域を抽出する。次に、この領域を水平にする補正処理を施すことで、図１０の下図に示す、外乱の影響を除去した表示データ８ａを画像表示装置３０に表示することができる。

以上で説明した本実施例の移動体撮像装置１によれば、実施例１、２で得られる効果に加え、画像表示装置３０に表示する表示データ８ａから外乱による偏向ユニット３の傾きの影響も除去できるので、更に高品質な表示データ８ａを表示することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成について、他の構成の追加、削除、置換をすることが可能である。

１ 移動体撮像装置
２ 撮像装置制御部
２ａ 目標角度演算部、
２ｂ 偏向角度指令部、
２ｃ 角速度検出部、
２ｄ 加速度検出部、
２ｅ 補正量演算部、
３ 偏向ユニット、
３ａ 筐体、
４、４ｘ、４ｙ 反射鏡、
５、５ｘ、５ｙ 偏向機、
５１ 角度センサ、
５２ モータ制御部、
６、６ｘ、６ｙ 角速度センサ、
７ 撮像機、
８ 撮像データ、
８ａ 表示データ、
９、９ａ、９ｂ 加速度センサ、
１０ 飛行体、
２０ 画像処理装置、
３０ 画像表示装置、
ａ、ａ１、ａ２ 加速度、
θ_０ 目標角度、
θ_１ 偏向角度指令値、
θ_２ モータ回転角度、
ω、ω_ｘ、ω_ｙ 角速度、
Δ、Δｘ、Δｙ、Δｚ シフト量、
Δθ 回転量

Claims (8)

1. 移動体を撮像し撮像データを出力する撮像機と、
   反射鏡を回転させることで前記撮像機の光軸の偏向角度を変更する偏向機と、
   該偏向機を支持する筐体と、
   該筐体の姿勢変化を検出する姿勢変化検出器と、
   前記姿勢変化検出器の検出結果に応じて前記反射鏡の偏向角度を制御する制御部と、
   を具備し、
   前記姿勢変化検出器には、角速度の変化を検出する角速度センサを含み、
   前記角速度センサは、前記偏向機の回転軸上に配置され、該回転軸周りの角速度を検出することを特徴とする移動体撮像システム。
2. 前記姿勢変化検出器には、
   加速度の変化を検出する加速度センサを含むことを特徴する請求項１に記載の移動体撮像システム。
3. さらに、前記撮像データに基づいて表示データを生成する画像処理装置と、
   前記表示データを表示する画像表示装置と、を具備しており、
   該画像処理装置は、前記加速度センサが検出した加速度を基に演算した前記筐体のシフト量に基づいて、前記撮像データの一部領域を前記表示データとして切り出すことを特徴とする請求項２に記載の移動体撮像システム。
4. 前記姿勢変化検出器には、
   加速度の変化を検出する二つの加速度センサを含むことを特徴する請求項１記載の移動体撮像システム。
5. さらに、前記撮像データに基づいて表示データを生成する画像処理装置と、
   前記表示データを表示する画像表示装置と、を具備しており、
   該画像処理装置は、前記二つの加速度センサが検出した二つの加速度を基に演算した前記筐体の回転量に基づいて、前記撮像データを回転処理し前記表示データを生成することを特徴とする請求項４に記載の移動体撮像システム。
6. 移動体を撮像し撮像データを出力する撮像機と、反射鏡を回転させることで前記撮像機の光軸の偏向角度を変更する偏向機と、該偏向機を支持する筐体と、該筐体の姿勢変化を検出する姿勢変化検出器と、を具備する移動体撮像システムにおける移動体撮像方法であって、
   前記偏向機の回転軸上に配置された前記姿勢変化検出器で前記回転軸周りの角速度を検出するステップと、
   前記姿勢変化検出器が検出した前記回転軸周りの角速度に応じて、前記偏向機の偏向角度を制御するステップと、を有することを特徴とする移動体撮像方法。
7. 前記移動体撮像システムは、さらに、前記撮像データに基づいて生成した表示データを表示する画像表示装置を具備しており、
   前記姿勢変化検出器が検出した加速度を基に演算した前記筐体のシフト量に基づいて、前記撮像データの一部領域を切り出した表示データを前記画像表示装置に表示するステップを有することを特徴とする請求項６に記載の移動体撮像方法。
8. 前記移動体撮像システムは、さらに、前記撮像データに基づいて生成した表示データを表示する画像表示装置を具備しており、
   前記姿勢変化検出器が検出した加速度を基に演算した前記筐体の回転量に基づいて、前記撮像データを回転処理した表示データを前記画像表示装置に表示するステップを有することを特徴とする請求項６に記載の移動体撮像方法。

Images