JP6636828B2 - 監視システム、監視方法、および監視プログラム - Google Patents

Description

本発明の実施形態は、監視システム、監視方法、および監視プログラムに関する。

超解像処理によって画像を鮮明化する技術が知られている。従来の技術は、周辺物体を監視するシステムに適用する場合において、目標の種類や環境条件を限定せずに画像を鮮明化するものであった。

"Image Super-Resolution Using Deep Convolutional Networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume38, Issue2, Pages 295-307, Jun.7, 2015

本発明が解決しようとする課題は、複数種類の対象物が出現する可能性のある場面において、より正確に監視を行うことができる監視システムを提供することである。

実施形態の監視システムは、撮像部と、記憶部と、受付部と、画像解析部と、表示部とを持つ。記憶部は、互いに異なる複数の超解像処理を実現するための係数を含み、前記撮像部により撮像され得る対象物の種類ごとの複数の辞書データを記憶する。受付部は、利用者による前記対象物の種類を選択する操作を受け付ける。画像解析部は、前記撮像部により撮像された画像に対して、前記受付部により受け付けられた操作に応じた対象物の種類に対応する前記辞書データを用いて超解像処理を行う。表示部は、前記画像解析部により超解像処理が行われた画像を表示する。

監視システム１の構成の一例を示す図である。 監視システム１の機能構成の一例を示す図である。 監視システム１により実行される処理の流れを示すフローチャートである。 ウインドウＷの決定について説明するための図である。 辞書データ６４の一例を示す図である。 表示部４０によって各辞書データ６４に基づく画像ＩＭ（１）から（４）が表示される様子の一例を示す図である。 画像が表示部４０に表示される別の一例を示す図である。 第１の実施形態の変形例の画像処理装置５０により実行される処理の流れの一部を示すフローチャートである。

以下、実施形態の監視システム、監視方法、および監視プログラムを、図面を参照して説明する。また、必要に応じてＸＹＺ座標を用いて説明する。

図１は、監視システム１の構成の一例を示す図である。また、図２は、監視システム１の機能構成の一例を示す図である。図１に示すように、監視システム１は、例えば、車両や、船舶、航空機などの移動体に搭載される。また、監視システム１は、地上や海上に固定されてもよい。監視システム１は、周辺の対象物を監視する。図示する例では、監視システム１が、移動体である車両Ｓに搭載された例である。監視システム１の監視結果は表示部４０に表示され、監視員ＳＢによって視認される。

監視システム１は、例えば、撮像部１０と、レーダ装置２０と、センサ３０と、表示部４０と、画像処理装置５０とを備える。撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を備える。撮像部１０は、監視システム１の周辺を所定周期で繰り返し撮像し、撮像した画像のデータを画像処理装置５０に出力する。

レーダ装置２０は、電波を対象物などの物体に向けて放射し、対象物により反射された反射波を受信する。レーダ装置２０は、電波を放射してから、反射波を受信するまでの時間や反射波の位相などに基づいて、レーダ装置２０から対象物までの距離を特定する。レーダ装置２０は、例えば、マイクロ波を放射するレーダである。また、レーダ装置２０は、ミリ波レーダや、レーザレーダ等の他の種類のレーダ装置であってもよい。また、レーダ装置２０は、フェーズドアレイレーダのように電子的に指向角を変更可能なものであってもよいし、機械的に水平方向に回転駆動されるものであってもよい。

センサ３０は、監視システム１が搭載された移動体の運動量を計測する。センサ３０は、例えば加速度センサや、ジャイロセンサ、方位センサなどである。

表示部４０は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等の表示装置である。表示部４０は、監視システム１の処理結果などを表示する。また、表示部４０の他に、利用者の操作を受け付けるキーボードやマウス、マイク等の画像、音声及びその他の入力デバイス４２を備える。表示部４０が、タブレット端末である場合、入力デバイス４２は、タブレット端末が有するタッチパネルであってもよい。

画像処理装置５０は、前段画像処理部５２、後段画像処理部５４、および記憶部６０を含んでもよいが、これに限定されない。前段画像処理部５２、および後段画像処理部５４は、ＣＰＵ（Central Processing Unit）等のプロセッサがプログラムを実行することにより実現されてよい。また、前段画像処理部５２、および後段画像処理部５４は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよい。記憶部６０は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶装置により実現される。記憶部６０には、画像データ６２と、後述する辞書データ６４とが記憶されている。画像データ６２は、撮像部１０により撮像された画像データと、画像処理装置５０により処理された画像データとを含んでよい。

前段画像処理部５２は、撮像部１０により撮像された時系列の画像に対して、再構成による超解像処理を行う。再構成による超解像処理とは、複数の撮像フレーム間における移動量を高精度に推定した情報を用いて解像度を向上させる処理である。前段画像処理部５２は、センサ３０により検出された撮像部１０の位置変化に基づいて、再構成による超解像処理を行う。

後段画像処理部５４は、前段画像処理部５２によって再構成による超解像処理が行われた画像に対して、複数の辞書データ６４のいずれかを用いて超解像処理を行う。後段画像処理部５４は、入力デバイス４２により受け付けられた操作に応じた対象物の種類に対応する辞書データ６４を用いて超解像処理を行う。

図３は、監視システム１により実行される処理の流れを示すフローチャートである。本実施形態では、監視システム１は、１つの対象物に対して、各処理を実行する例について説明する。監視システム１は、複数の物体を対象物とする場合、後述する処理を各対象物に対して並行して実行する。

まず、画像処理装置５０が、撮像部１０により撮像された画像を取得する（ステップＳ１００）。次に、前段画像処理部５２が、再構成による超解像処理を実行する（ステップＳ１０２）。再構成による超解像処理において、前段画像処理部５２は、複数フレーム画像における同一の対象物を含むと推定されるウインドウの位置を決定する。ウインドウは、撮像部１０により撮像された画像における対象物を含むと考えられる一部の領域である。

例えば前段画像処理部５２は、画像における特徴点、レーダ装置２０から取得した情報、およびセンサ３０から取得した情報の一部又は全部に基づいて、ウインドウの位置を決定する。

図４は、ウインドウＷの決定について説明するための図である。図４（Ａ）および図４（Ｂ）の（１）、（２）、および（３）は、各撮像フレームに対応しており、各撮像フレームは、図４（Ｃ）に示す画像ＩＭ（１）、ＩＭ（２）およびＩＭ（３）に対応している。

前段画像処理部５２は、レーダ装置２０に取得された情報に基づいて、ウインドウＷを決定する。前段画像処理部５２は、対象物ＯＢの移動量を取得すると、その移動量を加味して、ウインドウＷ内の同じ位置に対象物ＯＢが位置するようにウインドウＷの位置を決定する。この際に、前段画像処理部５２は、実平面上の座標から画像平面上の座標への変換を行う。

また、前段画像処理部５２は、センサ３０から撮像部１０（または車両Ｓ）の方位（向き）や移動量、移動方向などを導出する。前段画像処理部５２は、撮像部１０の撮像方向、移動量、および移動方向を、画像におけるウインドウＷの移動量および移動方向に変換して、撮像部１０の方位や移動によるウインドウＷの変化が打ち消されるようにウインドウＷの位置を決定する。

また、前段画像処理部５２は、撮像部１０から取得した基準目標を決定し、決定した基準目標の画像における位置または大きさの変化に基づいて、ウインドウＷを決定してもよい。基準目標は、地平線などの消失線であってもよいし、既知の静止物であってもよい。例えば、前段画像処理部５２は、取得した画像中から消失線をハフ変換などの手法で検出し、画像中における消失線の動きを推定することにより、対象物ＯＢの移動とは無関係な撮像方向の変化を検知する。そして、前段画像処理部５２は、その変化を打ち消すようにウインドウＷの位置を決定する。

前段画像処理部５２は、上記の手法を組み合わせてウインドウＷの位置を決定する。例えば、前段画像処理部５２は、対象物ＯＢの位置変化に基づくウインドウＷの位置変化、撮像部１０の方位などの変化に基づくウインドウＷの位置変化、および基準目標の画像内の位置に基づくウインドウＷの位置変化に対してそれぞれ重みを付け、加重和を求めることで、ウインドウＷの位置を決定する。

ウインドウＷの位置を決定した後、前段画像処理部５２は、複数フレーム画像のそれぞれのウインドウＷ内の画像に基づいて、再構成による超解像処理を行う。前段画像処理部５２は、ウインドウＷ内の画像における対象物ＯＢの動き（または向き）を検出し、検出した動きを考慮した高精細な画像を生成する。前段画像処理部５２は、予め定められた数のウインドウＷ内の画像のうちから、基準とする基準フレーム画像を決定する。前段画像処理部５２は、基準フレーム画像として選択しなかったフレーム画像である非基準フレーム画像毎に非剛体変形処理を行う。例えば、前段画像処理部５２は、非基準フレーム画像における対象物ＯＢの向きを、基準フレーム画像における対象物ＯＢの向きに合わせるように処理を行う。前段画像処理部５２は、例えば公知のＦＦＤ（Free form Deformation）や、他の公知の手法を用いて非剛体変形処理を行う。

例えば、前段画像処理部５２は、基準フレーム画像および非基準フレーム画像に対して、対象物ＯＢが予め定めた画素数になるように画像における領域を縦方向および横方向に格子状に分割する。縦方向に分割しているラインと、横方向に分割しているラインとが交差する格子点を中心とした所望の領域が、１つの画素に相当する。前段画像処理部５２は、処理対象の画像の対象物ＯＢに対して、複数の特徴点を設定する。前段画像処理部５２は、基準フレーム画像上に設定した各格子点に、水平方向、および垂直方向の係数を持たせる。前段画像処理部５２は、非基準フレーム画像における複数の特徴点の位置を、基準フレーム画像上の位置に一致させる格子点の位置（係数）を算出する。

前段画像処理部５２は、非基準フレーム画像の各格子点を、その格子点について算出した係数に基づいて移動させる。このとき、隣接する４つの格子点で囲まれる領域の画像は、これらの格子点の移動に応じて変形することにより、各非基準フレーム画像における対象物ＯＢの向きが、基準フレーム画像における対象物ＯＢの向きに合わせられる。そして、前段画像処理部５２は、基準フレーム画像、および上述した処理を行った非基準フレーム画像において対応する画素の平均値や、加重平均値等を算出し、その平均値等を画素値として決定する。これにより、前段画像処理部５２は、再構成による超解像処理行った画像を取得する。なお、前段画像処理部５２は、自己合同性を用いたフレーム内再構成型超解像処理などを用いて拡大画像を取得してもよい。

次に、後段画像処理部５４が、辞書データ（１）による超解像処理を実行する（ステップＳ１０４）。例えば、後段画像処理部５４は、対象物ＯＢが含まれるウインドウＷに対して超解像処理を実行する。記憶部６０に記憶される辞書データ６４は、辞書データ（１）から（ｎ）を含むものとする。

辞書データ６４には、例えば撮像部１０により撮像され得る対象物の種類ごとの辞書データが格納される。また、辞書データ６４には、晴れや雨等の撮像条件ごとの辞書データが格納されてもよい。図５は、辞書データ６４の一例を示す図である。図示する例では、対象物ＯＢの種類と、撮像条件とに対して、辞書データの実体部分である係数が対応付けられている。

また、辞書データ６４は、後段画像処理部５４が、超解像処理した画像を取得するために、畳み込み演算を実行するときに必要な係数を含む。この辞書データ６４は、例えば多数の正解データである高解像度データと低解像度データの組み合わせをディープラーニング（Deep Learning）等の手法で学習することで生成される。後段画像処理部５４は、この学習により生成された辞書データ６４を用いて、実際に取得した画像に対して畳み込み演算を実行し、高解像度画像（拡大画像）を取得する。このような学習型超解像処理は、様々あり、監視装置５０は、他の公知の手法を用いて実現してもよい。

次に、後段画像処理部５４は、ステップＳ１０４で取得した超解像画像を表示部４０に表示させる（ステップＳ１０６）。

次に、後段画像処理部５４が、辞書データ（２）による超解像処理を実行する（ステップＳ１０８）。後段画像処理部５４は、上述したステップＳ１０２の処理と同様に、辞書データ（２）を用いて、超解像処理を実行する。次に、後段画像処理部５４は、ステップＳ１０８で取得した超解像画像を表示部４０に表示させる（ステップＳ１１０）。

このように、辞書データを順次変更しながら、超解像画像を表示させていく。後段画像処理部５４は、辞書データ（ｎ）による超解像処理を実行し（ステップＳ１１２）、ステップＳ１１２で取得した超解像画像を表示部４０に表示させる（ステップＳ１１４）。図６は、辞書データ６４を順次変更しながら超解像処理が行われ、表示部４０によって各辞書データ６４に基づく画像ＩＭ（１）から（４）が表示される様子の一例を示す図である。

次に、後段画像処理部５４は、利用者によって画像の選択操作がされたか否かを判定する（ステップＳ１１６）。利用者は、例えば表示部４０に順次表示される画像を視認して、対象物ＯＢが鮮明に認識することができる画像（例えば図６のＩＭ（３））を選択する。一方、対象物ＯＢが鮮明に認識することができる画像が存在せず、利用者によって画像の選択操作がされなかった場合、本フローチャートの１ルーチンは終了し、再度ステップＳ１００からの処理が実行される。

利用者によって画像の選択操作がされた場合、後段画像処理部５４は、撮像部１０により撮像された画像を取得する（ステップＳ１１８）。次に、後段画像処理部５４は、ステップＳ１１８で取得した画像に対して、上述した処理と同様に再構成による超解像処理を実行し（ステップＳ１２０）、ステップＳ１１６で選択された画像に対応する辞書データ（ｋ）による超解像処理を実行する（ステップＳ１２２）。

次に、後段画像処理部５４は、ステップＳ１２２で取得した画像を表示部４０に表示させる（ステップＳ１２４）。次に、後段画像処理部５４は、利用者によりリセット操作がされたか否かを判定する（ステップＳ１２６）。利用者によりリセット操作がされていない場合、本フローチャートのステップＳ１１８の処理に戻り、超解像処理した画像を表示部４０に表示する処理を繰り返す。利用者によりリセット操作がされた場合、本フローチャートの１ルーチンの処理は終了する。

上述した処理によって、監視システム１は、鮮明に視認することができる対象物ＯＢの画像を取得することができ、複数の対象物ＯＢを並行して監視することができる。また、監視システム１は、撮像部１０により撮像された画像におけるウインドウＷの決定にレーダ装置２０、またはセンサ３０から取得した情報を加味することによって、より精度よく対象物を追跡し、追跡した対象物を含むウインドウＷを決定することができる。

図７は、画像が表示部４０に表示される別の一例を示す図である。後段画像処理部５４は、超解像処理により取得した画像を表示部４０に一括して表示させてもよい。なお、後段画像処理部５４は、鮮明度の高い画像の優先度を高く設定し、設定した優先度に基づいて、超解像度処理を行った画像を配置したり、順次表示部４０に表示させたりしてもよい。

なお、本実施形態では、監視システム１は、対象物ＯＢに対して、各辞書データ６４による超解像処理を実行するものとしたが、ステップＳ１００で取得した画像またはステップＳ１０２で再構成による超解像処理した画像を表示部４０に表示させ、超解像処理に用いる辞書データ６４を利用者に選択させてもよい。

また、本実施形態では、監視システム１は、ステップＳ１１６で利用者の選択によって、選択した画像に対応する辞書データ６４による超解像処理を実行するものとしたが、画像の鮮明度等の指標に基づいて、超解像処理に用いる辞書データ６４を自動的に選択してもよい。

また、監視システム１は、鮮明度が最も高い画像を取得したときに用いた辞書データ６４に対応付けられた対象物の種類を、その画像における対象物の種類と判定し、判定結果を表示部４０に表示させてもよい。

以上説明した第１の実施形態によれば、後段画像処理部５４が、撮像部１０により撮像された画像に対して、複数の辞書データ６４のいずれかを用いて超解像処理を行った画像を表示部４０に表示することによって、複数種類の対象物ＯＢが出現する可能性のある場面において、より正確に監視を行うことができる。

（第１の実施形態の変形例）
以下、第１の実施形態の変形例について説明する。第１の実施形態の変形例の監視システム１では、辞書データ６４による超解像処理によって取得した画像に対してパターンマッチングを行う。以下、第１の実施形態との相違点を中心に説明する。

第１の実施形態の変形例の記憶部６０は、画像データ６２、および辞書データ６４の他に、更に予め複数種類の対象物ＯＢに対応した（撮像条件にも対応していてよい）パターン識別器辞書が記憶されている。識別器として機能する後段画像処理部５４は、超解像処理が行われた画像に対してＳｏｂｅｌフィルタ処理などで取得したエッジ強度や方向等の特徴量と、超解像処理において使用された辞書データ６４の種類に対応するパターン識別器辞書との類似度を計算し、辞書データ６４の種類の確からしさを判別する。

図８は、第１の実施形態の変形例の画像処理装置５０により実行される処理の流れの一部を示すフローチャートである。本フローチャートのステップＳ２００からステップＳ２０６の処理は、画像処理装置５０により一つの辞書データ６４が選択され、超解像処理が実行された後に実行される処理である。従って、図８のフローチャートの処理は、辞書データ６４が順次選択されるのに応じて、辞書データ６４の種類ごとに実行される。

後段画像処理部５４は、選択された辞書データ６４を用いて超解像処理された画像を取得し、取得した画像を表示部４０に表示させる（ステップＳ２００）。

次に、後段画像処理部５４は、表示部４０に表示させた画像のうちウインドウ内の画像から得られる特徴量（前述）と、選択された辞書データ６４の種類に対応するパターン識別器辞書との類似度を計算し（ステップＳ２０２）、ウインドウに含まれる対象物ＯＢの種類が、選択された辞書データ６４に対応する対象物ＯＢの種類と合致しているか否かを判定する（ステップＳ２０４）。具体的には、後段画像処理部５４は、ステップＳ２０２で計算された類似度が高い場合に、これらが合致していると判定する。これらが合致していない場合、ステップＳ２０６の処理がスキップされる。

ウインドウに含まれる対象物ＯＢの種類が、選択された辞書データ６４に対応する対象物ＯＢの種類と合致している場合、後段画像処理部５４は、辞書データ６４を固定する（ステップＳ２０６）。これにより、画像処理装置５０は、自動的に、対象物ＯＢの超解像処理に適した辞書データ６４を選択することができる。

以上説明した第１の実施形態の変形例の監視システム１は、超解像処理が行われた画像と、超解像処理において選択された辞書データ６４の種類に対応するパターン識別器辞書とのマッチングを自動的に行い、マッチングの結果に基づいて、自動的に対象物ＯＢに適した辞書データ６４を選択する。この結果、第１の実施形態の効果と同様の効果を奏すると共に、利用者にとって利便性の高い画像処理装置５０を提供することができる。

以上説明した少なくともひとつの実施形態によれば、撮像部１０と、互いに異なる複数の辞書データ６４を記憶する記憶部６０と、撮像部１０により撮像された画像に対して、記憶部６０に記憶された複数の超解像処理を実現するための係数を含む辞書データ６４のいずれかを用いて超解像処理を行う後段画像処理部５４と、後段画像処理部５４により超解像処理が行われた画像を表示する表示部４０とを持つことにより、複数種類の対象物ＯＢが出現する可能性のある場面において、より正確に監視を行うことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…監視システム、１０…撮像部、２０…レーダ装置、３０…センサ、４０…表示部、４２…入力デバイス、５０…画像処理装置、５２…前段画像処理部、５４…後段画像処理部、６０…記憶部、６２…画像データ、６４…辞書データ

Claims (8)

1. 撮像部と、
   互いに異なる複数の超解像処理を実現するための係数を含み、前記撮像部により撮像され得る対象物の種類ごとの複数の辞書データを記憶する記憶部と、
   利用者による前記対象物の種類を選択する操作を受け付ける受付部と、
   前記撮像部により撮像された画像に対して、前記受付部により受け付けられた操作に応じた対象物の種類に対応する前記辞書データを用いて超解像処理を行う画像解析部と、
   前記画像解析部により超解像処理が行われた画像を表示する表示部と、
   を備える監視システム。
2. 撮像部と、
   互いに異なる複数の超解像処理を実現するための係数を含む辞書データを記憶する記憶部と、
   前記撮像部により撮像された画像に対して、前記記憶部に記憶された複数の辞書データを順次選択し、前記選択した辞書データを用いて超解像処理を行った画像を順次、表示部に表示させる画像解析部と、
   を備える監視システム。
3. 前記複数の辞書データは、撮像条件ごとの辞書データである、
   請求項１または２に記載の監視システム。
4. 前記撮像部により撮像された時系列の画像に対して、再構成による超解像処理を行う前段画像処理部を更に備え、
   前記画像解析部は、前記前段画像処理部によって再構成による超解像処理が行われた画像に対して、前記複数の辞書データを用いた超解像処理を行う、
   請求項１から３のうちいずれか１項に記載の監視システム。
5. 前記撮像部の位置変化を検出する位置変化検出部を備え、
   前記前段画像処理部は、前記位置変化検出部により検出された前記撮像部の位置変化に基づいて、再構成による超解像処理を行う、
   請求項４に記載の監視システム。
6. 対象物の位置を検出するレーダ部を備え、
   前記前段画像処理部は、前記レーダ部により検出された前記対象物の位置変化に基づいて、再構成による超解像処理を行う、
   請求項４または５に記載の監視システム。
7. コンピュータが、
   利用者による対象物の種類を選択する操作を受け付け、
   撮像部により撮像された画像に対して、互いに異なる複数の超解像処理を実現するための係数を含み、前記撮像部により撮像され得る対象物の種類ごとの複数の辞書データを記憶する記憶部に記憶され、前記受け付けられた操作に応じた対象物の種類に対応する前記辞書データを用いて超解像処理を行い、
   前記超解像処理が行われた画像を表示部に表示させる、
   監視方法。
8. コンピュータに、
   利用者による対象物の種類を選択する操作を受け付けさせ、
   撮像部により撮像された画像に対して、互いに異なる複数の超解像処理を実現するための係数を含み、前記撮像部により撮像され得る対象物の種類ごとの複数の辞書データを記憶する記憶部に記憶され、前記受け付けられた操作に応じた対象物の種類に対応する前記辞書データを用いて超解像処理を行わせ、
   前記超解像処理が行われた画像を表示部に表示させる、
   監視プログラム。

Images