JP6489649B2

JP6489649B2 - モーションブラー補償装置、撮像システム、および、モーションブラー補償方法

Info

Publication number: JP6489649B2
Application number: JP2015223711A
Authority: JP
Inventors: 高之進渡邉; 智彦早川; 正俊石川
Original assignee: University of Tokyo NUC; Hitachi Industry and Control Solutions Co Ltd
Current assignee: University of Tokyo NUC; Hitachi Industry and Control Solutions Co Ltd
Priority date: 2015-11-16
Filing date: 2015-11-16
Publication date: 2019-03-27
Anticipated expiration: 2035-11-16
Also published as: JP2017090792A

Description

本発明は、モーションブラー補償装置、撮像システム、および、モーションブラー補償方法に関する。

走査鏡を用いた撮像装置は、動く被写体に対して走査鏡の回転角度、すなわちミラー角度を調整すれば、被写体の光が走査鏡に反射して、被写体を撮像することができる。これを実現するために、ミラー角度はモータにより細かく制御される。しかし、被写体または撮像装置が高速で移動する場合には、画像に映る被写体にはモーションブラーと呼ばれる被写体ぶれが発生してしまう。これはミラー角度を被写体に向けるための調整が間に合わないことが原因である。従来のカメラの手ぶれ補正程度では、被写体の速度に追従できず、解決は困難である。

そこで、特許文献１には、対象領域又は対象物に対する撮像カメラ部の相対速度を検出し、相対速度を実質的に相殺するように駆動部を制御することで、カメラが移動する環境下であっても、ブラーの少ない画像を連続的に取得できる撮像システムが記載されている。
また、特許文献２には、ガルバノミラーの周波数応答特性として、４００Ｈｚ程度の周波数を超えて高い周波数領域になると駆動振幅が減衰することで撮像画像の画質が劣化してしまうという問題に対し、ガルバノミラーの位置を検出し、その位置信号の振幅を入力駆動信号の振幅に追従させるように補正するフィードバック制御を行う画像取得装置が記載されている。

特開２０１５−０８２７１０号公報特開２０００−３５６７４５号公報

被写体または撮像装置が高速で移動するときに、モーションブラーを低減した鮮明な画像を撮像することは、困難である。まず、既製品の走査鏡とその制御器を使用するだけでは、前記したガルバノミラーの周波数応答特性により、モーションブラーを低減可能な被写体速度に限界がある。例えば、１画素あたり０．５ｍｍ相当の望遠で被写体を撮像する場合、被写体速度が５０ｋｍ／ｈ以上の撮像はミラーの応答性が低下してしまうので、モーションブラーが発生してしまう。

また、被写体や撮像装置が高速かつ安定しない速度で撮像する場合、その速度変化に連動して走査鏡のミラー制御用の入力パラメータ（振幅など）も時々刻々と大きく変化させる必要がある。しかし、特許文献２のようなミラーの揺動振幅をフィードバック制御にて補償する技術では、ミラーの現在位置を観測してから期待の出力へ収束させるまでには、遅延が発生してしまう。よって、速度の安定しない高速移動の被写体を撮像するときには、収束遅延が間に合わず、期待の出力を得ることは困難である。

さらに、走査鏡を用いた撮像装置はすでにある程度普及しているため、既製の撮像装置の内部実装を大きく修正するような開発コストの負担が大きいシステムよりは、既製の撮像装置への修正コストが小さいシステムが望まれる。例えば、走査鏡の制御部のパラメータを撮像対象に合わせて最適化することで、応答性を限界まで改善させ、画像の品質（モーションブラーの量と明るさ）を向上させることを検討する。

しかし、走査鏡は制御部が既製品であることが多く、パラメータを再調整する場合は特注となり、修正コストが増大する。また、再調整を開発者側で対応する場合、メーカからの仕様が非公開であったり、ユーザ側では調整が不可能であったり制約があることが多く、調整が可能であったとしても、既製制御部の内部定数の調査やその調整など、多大な開発工数を要する。

そこで、本発明は、被写体または撮像装置が高速で移動するときでも、モーションブラーを低減した鮮明な画像を低コストで撮像することを、主な課題とする。

前記課題を解決するために、本発明のモーションブラー補償装置は、
被写体からの入射光を撮像素子に受光させるための走査鏡の角度をモータで制御する走査鏡制御装置に対して、前記走査鏡の制御量である揺動振幅および周波数の組み合わせごとの揺動振幅の増幅度を示す前記走査鏡のゲイン特性データを参照して、入力された揺動振幅の増幅度を決定するゲイン制御器と、
前記ゲイン制御器が決定した増幅度に従って前記入力された揺動振幅を増幅し、その増幅された揺動振幅を前記走査鏡制御装置に入力することで、増幅された揺動振幅に従って前記走査鏡の角度を制御させる増幅器と、を有することを特徴とする。
その他の手段は、後記する。

本発明によれば、被写体または撮像装置が高速で移動するときでも、モーションブラーを低減した鮮明な画像を低コストで撮像することができる。

本発明の一実施形態に関するモーションブラー補償装置の構成図である。図２（ａ）は、横軸を周波数とし縦軸をゲインとする周波数特性を示す。図２（ｂ）は、期待の揺動振幅を横軸にとり、事前に増幅すべき振幅を縦軸とするゲイン特性を示す。本発明の一実施形態に関するビジュアルフィードバック制御系のモーションブラー補償装置の構成図である。図４（ａ）は、モーションブラー補償装置を車両に搭載した例である。図４（ｂ）は、モーションブラー補償装置を製造ラインに適用した例である。

以下、本発明の一実施形態を、図面を参照して詳細に説明する。

図１は、モーションブラー補償装置１００の構成図である。

モーションブラー補償装置１００は、増幅器１０２と、ゲイン制御器１１５と、走査鏡制御装置１１３と、撮像素子１１１とを含めて構成される。
走査鏡制御装置１１３は、走査鏡１０６と、モータ制御器１０４と、角度センサ１０８とを有する。このような走査鏡制御装置１１３は、例えば、特許文献１の撮像システムとして実現される。
走査鏡１０６には、撮像用に被写体からの入射光１１０が経由して撮像素子１１１に受光させるためのミラーと、そのミラーの角度を調節するためのモータが付されている。走査鏡１０６のモータは、モータ制御器１０４からのモータへの入力量１０５により制御される。走査鏡１０６のミラーの角度は、角度センサ１０８により測定され、その角度センサの測定量１０９はモータ制御器１０４へと出力される。

被写体に対して、モータからの出力量に応じて制御されるミラーの角度１０７により、撮像素子１１１の光軸すなわち、視線が走査される。その走査結果である被写体からの入射光１１０は、走査鏡１０６を経由して（ミラーで反射するなどして）撮像素子１１１により画像データ１１２として撮像される。撮像素子１１１は、モータ制御器１０４によるミラー制御に同期した露光制御トリガ１１４を受けて露光制御を実施し、正弦波内における線形性の高いタイミングで撮像を行い、モーションブラーが低減された画像データ１１２を得る。

増幅器１０２は、モータ制御器１０４の制御内容（走査鏡１０６のミラー制御内容）を示す周波数（ミラーの可動周期）および振幅（ミラーの可動範囲）をもとに、入力される振幅の目標制御量１０１を、増幅された制御量１０３のレベルにまで増幅してから、モータ制御器１０４へ出力する。そして、ゲイン制御器１１５は、目標制御量１０１から増幅された制御量１０３までの増幅度を決定して、その増幅度に従った増幅処理を増幅器１０２に指示する。

このように、走査鏡制御装置１１３の前段に増幅器１０２、ゲイン制御器１１５を設けることにより、ゲインの減少度合いを相殺させて目標制御量１０１に近づくようにあらかじめ増幅された制御量１０３を走査鏡制御装置１１３に入力することができる。よって、目標制御量１０１をそのままモータ制御器１０４に入力する方式に比べ、実際に目標制御量１０１に近いミラー制御が可能になることで、応答性を改善させることができる。

まず、図２（ａ）のグラフは、横軸のミラー制御の周波数２０１が高くなるほど、縦軸のゲイン２０２が減少するため、期待の出力が得られなくなる一般的な周波数特性を示す。例えば、グラフ線ａ５は、周波数Ｆｂにおいて、ゲインＧａからゲインＧｂまでゲインが減少してしまう。
さらに、図２（ａ）では、グラフ線ａ１〜ａ５という５本のグラフ線を例示しているが、グラフ線ａ１が最もミラー角度の揺動振幅が小さい例を示し、ａ２，ａ３，ａ４，ａ５の順に振幅が大きくなる。つまり、同じ周波数２０１でも、振幅が大きくなるほど、ゲイン２０２の減少度合いが大きくなってしまう。
よって、ミラー制御の周波数を上げるほどゲインが低下してしまうので、ゲイン制御器１１５は、より増幅度を大きくする必要がある。また、ミラー制御の波形の振幅を大きくするほどゲインが低下してしまうので、ゲイン制御器１１５は、より増幅度を大きくする必要がある。

そこで、ゲイン制御器１１５は、入力される周波数および振幅の組み合わせを元に、その振幅の増幅度を計算する。ゲイン制御器１１５によって与えるゲインは、周波数特性のゲインの減少を相殺するもの、すなわち周波数特性のゲインの逆数を与える。
図２（ｂ）のように、横軸の期待の振幅３０１（目標制御量１０１）と縦軸の増幅すべき振幅３０２（増幅された制御量１０３）との間の特性を、走査鏡の揺動振幅および周波数に対するゲイン特性データとして、管理者などがあらかじめゲイン制御器１１５に入力しておく。図２（ａ）のグラフと図２（ｂ）のグラフとでは、縦横の軸は異なるが、同じゲイン特性データを示す。このゲイン特性データは、モーションブラー補償装置１００内の記憶手段に書き込まれる。
なお、図２（ｂ）では、グラフ線ｂ１〜ｂ５という５本のグラフ線を例示しており、グラフ線ｂ１が最もミラー制御の周波数が小さい例を示し、ｂ２，ｂ３，ｂ４，ｂ５の順に周波数が大きくなる。

ゲイン制御器１１５は、図２（ｂ）のグラフを参照し、目標制御量１０１の周波数から５本のグラフ線のいずれか１つを特定する（例えば、グラフ線ｂ２）。次に、ゲイン制御器１１５は、目標制御量１０１の振幅をＸ座標とし（例えば、振幅Ａｘ）、特定したグラフ線ｂ２の点のＹ座標（例えば、振幅Ａｙ）を増幅された制御量１０３とする。つまり、今回の増幅度は「Ａｙ÷Ａｘ」である。

なお、ラスタスキャンでは、三角波やのこぎり波を用いることで、線形性を得ることが一般的に行われている。しかし、これらの波形は複数の周波数成分の合成波であり、高周波成分を含む。この高周波成分によるモータに過電流が発生してしまい、モータの寿命を縮める恐れがある。
さらに、三角波やのこぎり波を用いてしまうと、それらの波形はさまざまな周波数成分を含んでしまっている。よって、例えば、あるのこぎり波が１００〜５００[Hz]の各成分を同レベルで強く含む場合、図２（ｂ）のグラフ線ｂ１〜ｂ５のうち、どの曲線を選択すればよいかを、ゲイン制御器１１５が決めることが困難である。

そこで、目標制御量１０１の周波数は、単一の周波数で構成される正弦波を使用することが望ましい。これにより、適切なゲインを一意に決定し、制御の煩雑さをなくし、高速に希望の波形に即追従することが可能である。
また、走査鏡１０６でモーションブラーを補償した画像データ１１２を取得するには、走査鏡１０６のミラー角度を線形に揺動制御する必要がある。そこで、正弦波は曲線で構成されているが、局所的には線形性が得られる。被写体の動特性が非常に高速であるときには、撮像時間が微小となるため、正弦波の局所的な線形部を、より近似的に得ることができる。
さらに、ゲイン制御器１１５は、高周波ではない単一の正弦波を使用して、期待の振幅３０１を周期ごとに動的に補償する揺動制御を増幅器１０２に指示することで、走査鏡のモータの負荷を軽減できるとともに、モーションブラーを低減した鮮明な撮像が可能となる。

なお、図２（ｂ）のグラフ線ｂ１＝100[Hz]、グラフ線ｂ２＝200[Hz]、グラフ線ｂ３＝300[Hz]、グラフ線ｂ４＝400[Hz]、グラフ線ｂ５＝500[Hz]が事前に用意されていても、入力される周波数が333[Hz]であるときには、ゲイン制御器１１５は、333[Hz]をどのグラフ線にも対応付けることができない。その場合は、ゲイン制御器１１５は、入力される周波数の333[Hz]に最も近いグラフ線ｂ３＝300[Hz]を代用してもよいし、より精度を上げるためにグラフ線ｂ３＝300[Hz]と、グラフ線ｂ４＝400[Hz]との間を補間する333[Hz]のグラフ線を、既存の５本のグラフ線から新たに推定（連続的な周波数特性を求める）してもよい。

また、撮像時に被写体が高速に移動することで被写体と撮像素子１１１との距離が動的に変化することもある。そのときに、図２（ｂ）のグラフとして、期待の振幅３０１と、増幅すべき振幅３０２との対応データを予め用意しておくことで、被写体との距離に応じた期待の振幅３０１の変化が激しいときでも、ゲイン制御器１１５は、その都度、増幅すべき振幅３０２（増幅度）を高速に特定することができる。

図３は、モーションブラー補償装置４００の構成図である。このモーションブラー補償装置４００は、図１のモーションブラー補償装置１００に計算機４０２を加えた構成である。計算機４０２は、前記した増幅器１０２、ゲイン制御器１１５に加え、画像処理部４０１を有する。
画像処理部４０１は、画像データ１１２を入力として目標制御量１０１をゲイン制御器１１５に出力する。画像処理部４０１の計算方法の一例として、例えば、先行文献１の「トラッキング部３１」に記載されているように、画像データ１１２内に撮像された被写体をトラッキング（追跡）するように、換言すると、被写体を撮像し続けるように、目標制御量１０１を決定する方法が挙げられる。

計算機４０２は、今回の画像データ１１２の内容を次の増幅された制御量１０３へと反映させるビジュアルフィードバック制御系である。計算機４０２は、モータ制御、撮像、画像処理、制御量演算を１回ないし複数の周期で実行する。また、図２を参照して説明したように、ゲイン制御器１１５は、単純なゲイン調整によるフィードフォワード制御で構成されている。これにより、数百Hzという高周波の領域においても、制御振幅量を毎周期変更可能であるため、被写体との相対速度が動的に変化しても、モーションブラーを安定して低減可能である。

図４（ａ）は、モーションブラー補償装置４００を車両５０１に搭載した例である。高速に走行する車両５０１に搭載したモーションブラー補償装置４００は、車両５０１周囲の（図では車両上部の）トンネル壁面５０２やトンネル壁面のヒビ５０３を鮮明に撮像することができる。

図４（ｂ）は、モーションブラー補償装置４００を製造ラインに適用した例である。固定されたモーションブラー補償装置４００は、ベルトコンベア６０１上を移動する検査対象物６０２（の移動経路）を撮像する。モーションブラー補償装置４００は高速に移動する検査対象物６０２を鮮明に撮像できるので、通常よりも高速な移動量で撮像が可能となり、生産効率の向上を図ることが可能である。また、ベルトコンベア６０１のエンコーダと連動することは必須ではなく、これにより、設備の改造も回避することができる。無論、ベルトコンベア６０１にエンコーダを搭載し、より高精度な制御を行なうこともできる。

以上説明した本実施形態では、既存の走査鏡制御装置１１３の外側（前段部）に増幅器１０２とゲイン制御器１１５とを備えるモーションブラー補償装置１００，４００を示した。ゲイン制御器１１５は走査鏡制御装置１１３内の走査鏡１０６の揺動振幅および周波数に対するゲイン特性を元に、増幅器１０２の増幅度を制御する。この増幅度で増幅された制御量１０３で走査鏡１０６のモータを走査鏡制御装置１１３に制御させることで、ゲイン特性の劣化を事前に低減することができるため、被写体または撮像装置が高速で移動するときでも、モーションブラーを低減した鮮明な画像を撮像することができる。
さらに、増幅器１０２とゲイン制御器１１５とは、走査鏡制御装置１１３の内部に改造をせずに、外付けで構成できるため、低コストで撮像することができる。

一方、特許文献１のような撮像素子の視線を制御するための走査鏡に対して、特許文献２のように径の小さいレーザを走査するための走査鏡はサイズが小さく、特許文献２の技術を特許文献１に適用しても、例えば数百Ｈｚで毎周期振幅を動的に調整することは困難である。
さらに、特許文献２のようなフィードバック制御の場合、期待動作に追従するまでの遅延量が発生するため、１回の周期内で期待の出力波形を得ることは困難であり、実現できても通常は低周波の領域に限られる。
また、三角波やのこぎり波でフィードバック制御を行なう場合、誤差追従により更に負荷が増大するが、本実施形態のモーションブラー補償装置１００では、ゲインによるフィードフォワード制御で誤差追従も発生しないため、負荷の余計な増加は発生しない。

さらに、高速で移動する被写体を撮像するためには、走査鏡の応答性を向上させる必要がある。応答性を向上させる簡易的な比較例として、ミラーのサイズを縮小させて軽量化することで走査鏡のイナーシャを下げる例と比較する。比較例では、ミラーのサイズを小さくするほど、走査鏡の応答性はよくなるが、得られる画像の画質は落ちてしまう。ミラーのサイズを縮小させると、撮像素子への光量が確保できず、得られる画像は暗く高雑音なものとなってしまう。一方、画像の明るさを優先するためにミラーのサイズを大きくすると、走査鏡の応答性が低下し、モーションブラーの増加につながってしまう。
一方、本実施形態では、走査鏡制御装置１１３内の走査鏡１０６のミラーのサイズではなく、走査鏡制御装置１１３の制御内容（ミラーの振幅の増幅度）を変更することにより、走査鏡の応答性を向上させつつ、得られる画像の画質低下を防ぐことができる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１００モーションブラー補償装置
１０１目標制御量
１０２増幅器
１０３増幅された制御量
１０４モータ制御器
１０５モータへの入力量
１０６走査鏡
１０７走査鏡の角度
１０８角度センサ
１０９角度センサの測定量
１１０被写体からの入射光
１１１撮像素子
１１２画像データ
１１３走査鏡制御装置
１１４露光制御トリガ
１１５ゲイン制御器
２０１周波数
２０２ゲイン
３０１期待の振幅
３０２増幅すべき振幅
４００モーションブラー補償装置
４０１画像処理部
４０２計算機
５０１車両
５０２トンネル壁面
５０３トンネル壁面のヒビ
６０１ベルトコンベア
６０２検査対象物

Claims

被写体からの入射光を撮像素子に受光させるための走査鏡の角度をモータで制御する走査鏡制御装置に対して、前記走査鏡の制御量である揺動振幅および周波数の組み合わせごとの揺動振幅の増幅度を示す前記走査鏡のゲイン特性データを参照して、入力された揺動振幅の増幅度を決定するゲイン制御器と、
前記ゲイン制御器が決定した増幅度に従って前記入力された揺動振幅を増幅し、その増幅された揺動振幅を前記走査鏡制御装置に入力することで、増幅された揺動振幅に従って前記走査鏡の角度を制御させる増幅器と、を有することを特徴とする
モーションブラー補償装置。
前記ゲイン制御器は、前記走査鏡の制御量である周波数を単一の周波数とする正弦波に対して、前記揺動振幅の増幅度を一意に決定することを特徴とする
請求項１に記載のモーションブラー補償装置。
前記ゲイン制御器は、前記正弦波に対する揺動振幅の増幅度を周期ごとに決定することを特徴とする
請求項２に記載のモーションブラー補償装置。
請求項１ないし請求項３のいずれか１項に記載のモーションブラー補償装置と前記走査鏡制御装置とを移動体に搭載し、移動中の前記移動体の周囲を前記走査鏡制御装置に撮像させることを特徴とする
撮像システム。
請求項１ないし請求項３のいずれか１項に記載のモーションブラー補償装置と前記走査鏡制御装置とを所定の位置に固定し、被写体を移動させる搬送手段のうちの前記被写体の移動経路を前記走査鏡制御装置に撮像させることを特徴とする
撮像システム。
モーションブラー補償装置は、ゲイン制御器と、増幅器とを有しており、
前記ゲイン制御器は、被写体からの入射光を撮像素子に受光させるための走査鏡の角度をモータで制御する走査鏡制御装置に対して、前記走査鏡の制御量である揺動振幅および周波数の組み合わせごとの揺動振幅の増幅度を示す前記走査鏡のゲイン特性データを参照して、入力された揺動振幅の増幅度を決定し、
前記増幅器は、前記ゲイン制御器が決定した増幅度に従って前記入力された揺動振幅を増幅し、その増幅された揺動振幅を前記走査鏡制御装置に入力することで、増幅された揺動振幅に従って前記走査鏡の角度を制御させることを特徴とするモーションブラー補償方法。