JP6230748B2

JP6230748B2 - 画像処理装置

Info

Publication number: JP6230748B2
Application number: JP2017501545A
Authority: JP
Inventors: 崇西辻
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-02-26
Filing date: 2015-02-26
Publication date: 2017-11-15
Anticipated expiration: 2035-02-26
Also published as: US10129547B2; WO2016135777A1; US20180048893A1; CN107211162A; JPWO2016135777A1

Description

本発明は、圧縮映像に含まれる動きベクトルを用い、画像のエッジ成分を検出する画像処理装置に関するものである。

画像のエッジ（輪郭）検出技術は、画像認識などに用いられる特徴量検出の手段として広く知られている。一般にエッジ検出は、画像の輝度勾配が極値を取る画素をエッジとする手法が知られている。また、ノイズの影響をなくすため、事前処理としてＳｏｂｅｌフィルタなどの平滑化処理をかけることが多い。

一方、デジタルカメラなどで撮影された動画像は、容量圧縮のため符号化して保存される。符号化手段として、例えば、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）と呼ばれる方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ−ｒａｙ（登録商標）Ｄｉｓｋに採用されている方式であるＨ．２６４方式などがある。これら符号化手段では、画像フレーム間の類似性を利用した動き補償による圧縮方法がとられており、符号化画像信号にはフレーム間で類似する箇所の位置関係を表す動きベクトルと、差分値が含まれている。

符号化された動画像に対してエッジを検出する場合、符号化画像信号を復号し、同様の処理をかける必要がある。例えば、特許文献１では実画像の輝度信号に対して勾配を求め、画像のエッジを検出する方法が開示されている。

特開平８−３２９２５２号公報

従来技術では、フィルタ処理、勾配計算に係る計算処理の多さから、計算処理能力の高い画像処理装置が求められていた。また、符号化画像信号に対してエッジ処理をかける場合、復号処理の後に勾配計算等の処理をかける必要があったため、計算負荷や処理遅延が大きいという課題がある。

本発明は、係る課題を解決するためのものであり、画像の符号化過程、あるいは、復号過程で発生する動きベクトルを活用したエッジ検出の実現を目的とする。

この発明に係る画像処理装置は、
符号化画像信号の動きベクトルが入力され、この動きベクトルから画像の動きに関する情報をマクロブロックごとに計算する動きベクトル処理部と、
前記動きベクトル処理部で計算した情報のうち予め定められた情報を持つ動きベクトルを通過する動きベクトルフィルタと、
前記動きベクトル処理部に入力される符号化画像信号のフレーム数をカウントし、カウント数が予め定められたフレーム数に達したとき、カウント終了信号を出力するフレームカウンタと、
前記動きベクトルフィルタで通過した動きベクトルの頻度を、前記予め定められたフレーム数にわたって前記マクロブロックごとに積算する頻度カウンタと、
前記フレームカウンタが出力する前記カウント終了信号を受信したとき、前記頻度カウンタで前記マクロブロックごとに積算された頻度が閾値を超えているか否かを判定し、超えていた場合に当該マクロブロックをエッジと判断するエッジ判定器と、
を備えたことを特徴とするものである。

この発明によれば、画像符号化時、あるいは画像復号時に発生する動きベクトルをエッジ検出に活用することで、従来技術の勾配計算やフィルタ処理に係る計算処理が不要になることから、処理負荷の軽減や処理遅延の短縮を実現できる。

この発明の実施の形態１による画像処理装置を示す構成図である。この発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。この発明の実施の形態２による画像処理装置を示す構成図である。この発明の実施の形態２における偏角計算部及び偏角フィルタの動作原理について示す図である。この発明の実施の形態２による画像処理装置の処理内容を示すフローチャートである。この発明の実施の形態３による画像処理装置を示す構成図である。この発明の実施の形態３による画像処理装置の処理内容を示すフローチャートである。この発明の実施の形態４による画像処理装置を示す構成図である。この発明の実施の形態４による画像処理装置の処理内容を示すフローチャートである。

実施の形態１．
図１は、この発明の実施の形態１に係る画像処理装置の一例を示す構成図である。図１において、１０１は動きベクトル処理部であるノルム計算部、１０２は動きベクトルフィルタであるノルムフィルタ、１０３は頻度カウンタ、１０４はフレームカウンタ、１０５はエッジ判定器である。これらの図１の画像処理装置を構成する各要素は、それぞれコンピュータにおけるプロセッサやメモリなどのハードウェアで実現できる。

圧縮画像である符号化画像信号にはフレーム間で類似する箇所の位置関係を表す動きベクトルと、差分値が含まれている。動きベクトルは、フレーム間の画像の動きを表す有向量であり、圧縮画像の符号化過程で算出される。ノルム計算部１０１には、フレーム単位での動きベクトルが入力される。ノルム計算部１０１は、入力された動きベクトルの情報であるノルムを符号化画像信号の各マクロブロック毎に計算し、ノルムフィルタ１０２へ出力する。ノルムは、動きベクトルの大きさを表すものであり、フレーム間で類似する箇所の画像の動きの大きさを表す。このノルムは、画素単位を用いて数値化することができる。ノルムにはユークリッドノルム、最大値ノルムなど種々のものがあるが、どのようなものでも用いることができる。また、計算されたノルムの値を四捨五入などして整数値で表すようにしてもよい。

ノルムフィルタ１０２は、ノルム計算部１０１で計算されたノルムの値が、予め定められた情報である予め定められた基準値以下（例えば１以下）であるか否かを判定し、判定結果を頻度カウンタ１０３へ出力する。頻度カウンタ１０３は、ノルムフィルタ１０２からの入力に対して、判定が真である頻度を該当する動きベクトルが位置するマクロブロック毎に積算し、この頻度をエッジ判定器１０５へ出力する。また、フレームカウンタ１０４から予め定められた積算枚数（例えば６００枚）を超えたという通知を受けた場合、一定枚数分のフレームについて積算が完了したとして、頻度のカウンタ値をリセットする。

フレームカウンタ１０４は、入力されるフレームの入力数をカウントし、入力数が予め定められた積算枚数に達した場合、頻度カウンタ１０３及びエッジ判定器１０５へカウント終了信号の通知を行う。エッジ判定器１０５は、フレームカウンタ１０４から予め定められた積算枚数を超えたというカウント終了信号の通知を受けた場合、頻度カウンタ１０３の出力値を参照する。そして、各マクロブロック毎に積算された頻度の値が予め定められた閾値（例えば５００）を上回るかどうかを判定し、判定結果を出力する。

画像のエッジ（輪郭）部分では、画像のフレーム間で微小な動きが生じる。この微小な動きは、撮像系の光学系ノイズなどに起因するものと考えられる。この微小な動きは、符号化画像信号において、ノルムの小さな動きベクトルとして現れる。したがって、ノルムの小さな動きベクトルを検出することにより、動きベクトルを用いて画像のエッジを検出できる。
したがって、エッジ判定器１０５からの判定結果の出力に基づいて、画像のエッジを検出できる。

図２はこの発明の実施の形態１による画像処理装置における処理内容を示すフローチャートである。
以下、図２を用いてこの発明の実施の形態１に係るエッジ検出の流れを説明する。

ノルム計算部１０１は、フレーム単位で入力された動きベクトルのノルムを計算し、ノルムフィルタ１０２に出力する（ＳＴ２０１）。ノルムフィルタ１０２は、ノルム計算部１０１より入力されたノルムが、予め定められた基準値以下かどうかを判定し、判定結果を頻度カウンタ１０３へ出力する（ＳＴ２０２）。頻度カウンタ１０３は、ノルムフィルタ１０２の出力が基準値を下回っていた場合、動きベクトルが位置するマクロブロックにおけるノルムフィルタ１０２の判定回数を加算する（ＳＴ２０３）。

その後、フレームカウンタ１０５は自身のカウンタを更新し、入力されたフレーム数を記録する（ＳＴ２０４）。フレームカウンタ１０５のカウンタ値が予め定められた積算枚数以下である場合は、次のフレームにおける動きベクトルに対する処理に移る（ＳＴ２０５）。フレームカウンタ１０５の値が予め定められた積算枚数を超えた場合、頻度カウンタ１０３の頻度が閾値を超えているかどうかを判断し（ＳＴ２０６）、閾値を超えていた場合、その動きベクトルが位置するマクロブロックをエッジであるとみなし、エッジ位置を出力する（ＳＴ２０７）。

以上のように、実施の形態１による画像処理装置は、撮像系の光学系ノイズに起因するノルムの小さな動きベクトルを活用することにより、符号化画像信号からのエッジ検出が可能になる。

実施の形態２．
図３は、この発明の実施の形態２に係る画像処理装置の一例を示す構成図である。図３において、３０１は動きベクトル処理部である偏角計算部、３０２は動きベクトルフィルタである偏角フィルタ、３０３は頻度カウンタ、３０４はフレームカウンタ、３０５はエッジ判定器である。これらの図３の画像処理装置を構成する各要素は、それぞれコンピュータにおけるプロセッサやメモリなどのハードウェアで実現することができる。

偏角計算部３０１には、フレーム単位で動きベクトルが入力される。偏角計算部３０１は、フレーム単位で入力された動きベクトルの情報である偏角を計算し、偏角フィルタ３０２へ計算結果を出力する。偏角は、動きベクトルの方向を表すものであり、フレーム間で類似する箇所の画像の動きの方向を表す。この偏角を用いて、水平方向、垂直方向、対角方向などを表すことができる。水平方向と垂直方向を合わせて軸方向と呼ぶ。角度を用いれば、水平方向は０度、１８０度などと、垂直方向は９０度、２７０度などと表すことができ、対角方向は、４５度、１３５度、２２５度、３１５度などと表すことができる。

偏角フィルタ３０２は、偏角計算部３０１で計算した偏角が、予め定められた情報である対角方向（４５度、１３５度、２２５度、３１５度）あるいは軸方向（０度、９０度、１８０度、２７０度）であるかを判定し、判定結果を頻度カウンタ３０３へ出力する。頻度カウンタ３０３は、偏角フィルタ３０２からの入力に対し、判定が真である頻度を該当する動きベクトルが位置するマクロブロック毎に積算し、エッジ判定器３０５へ出力する。また、フレームカウンタ３０４から予め定められた積算枚数（例えば６００枚）を超えたというカウント終了信号の通知を受けた場合、一定枚数分のフレームについて積算が完了したとして、カウンタ値をリセットする。

フレームカウンタ３０４は、入力されるフレームの入力数をカウントし、入力数が予め定められた積算枚数に達した場合、頻度カウンタ３０３及びエッジ判定器３０５へ判定結果を通知する。エッジ判定器３０５は、フレームカウンタ３０４から予め定められた積算枚数を超えたというカウント終了信号の通知を受けた場合、頻度カウンタ３０３の出力値を参照し、各マクロブロック毎に積算された値が閾値（例えば５００）を上回るかどうかを判定し、判定結果を出力する。

実施の形態２における偏角フィルタ３０２は、実施の形態１におけるノルムフィルタ１０２のように、基準値以下（例えば１以下）の動きベクトルをフィルタリングすることと同様の効果を持つことを特徴としており、以下、その内容について説明する。

動きベクトルは整数精度の値を持つ２次元量で表すこともでき、整数で離散化された画素空間において、そのノルムは第１象限で図４のように分布する。図４に示すノルムは、動きの大きさを四捨五入して整数化したユークリッドノルムで表したものである。図４のように、例えばノルム１に相当する画素の偏角は０度、４５度、９０度の３パターンであり、軸方向と対角方向のみが存在する。例えばノルム９に相当する画素であれば、画素の偏角は１８パターン存在し、軸方向や対角方向となるのは一部のパターンのみである。これは第１象限に限らず全象限について同様である。すなわち、動きベクトルの偏角のうち軸方向と対角方向を選択することは、確率的にノルムの小さい動きベクトルを選択することになる。したがって、動きベクトルに対し軸方向、あるいは、対角方向の偏角フィルタを通すことにより、偏角フィルタ以降に入力する動きベクトルのノルムを実質的に制限することができる。

画像のエッジ（輪郭）部分では、画像のフレーム間で微小な動きが生じる。この微小な動きは、撮像系の光学系ノイズなどに起因するものと考えられる。この微小な動きは、符号化画像信号において、偏角が軸方向や対角方向である動きベクトルとして現れやすい。したがって、偏角が軸方向や対角方向である動きベクトルを検出することにより、動きベクトルを用いて画像のエッジを検出できる。
したがって、エッジ判定器３０５からの判定結果の出力に基づいて、画像のエッジを検出できる。

図５はこの発明の実施の形態２による画像処理装置におけるフローチャートである。以下、図５を用いてこの発明の実施の形態２に係るエッジ検出の流れを説明する。
偏角計算部３０１は、フレーム単位で入力された動きベクトルの偏角を計算し、偏角フィルタ３０２に出力する（ＳＴ５０１）。偏角フィルタ３０２は、偏角計算部３０１より入力された偏角が、軸方向、または、対角方向であるかどうかを判定し、判定結果を頻度カウンタ３０３へ出力する（ＳＴ５０２）。頻度カウンタ３０３は、偏角フィルタ３０２の判定結果が真であった場合、動きベクトルが位置するマクロブロックにおける偏角フィルタ３０２の判定回数を加算する（ＳＴ５０３）。

その後、フレームカウンタ３０５は自身のカウンタを更新し、入力されたフレーム数を記録する（ＳＴ５０４）。フレームカウンタ３０５のカウンタ値が予め定められた積算枚数以下である場合は、次のフレームの動きベクトルに対する処理に移る（ＳＴ５０５）。フレームカウンタ３０５の値が予め定められた積算枚数を超えた場合、頻度カウンタ３０３の値が閾値を超えているかどうかを判断し（ＳＴ５０６）、閾値を超えていた場合、その動きベクトルが位置するマクロブロックをエッジとみなし、エッジ位置を出力する（ＳＴ５０７）

なお、本実施の形態では、偏角が軸方向や対角方向である動きベクトルをカウントし、エッジの判定に利用する例を示したが、軸方向のみ、対角方向のみ、あるいは、それ以外の偏角や、それらの組み合わせを用いてエッジの判定に用いることもできる。

以上のような構成を備えているので、実施の形態２による画像処理装置は、撮像系の光学系ノイズに起因する軸方向や対角方向などの特定の偏角を持つ動きベクトルを活用することにより、符号化画像信号からのエッジ検出が可能になる。

実施の形態３．
図６は、この発明の実施の形態３に係る画像処理装置の一例を示す構成図である。図６において、６０１はノルム計算部、６０２はノルムフィルタ、６０３は頻度カウンタ、６０４はフレームカウンタ、６０５はエッジ判定器、６０６は置き去り判定部である。

ノルム計算部６０１、ノルムフィルタ６０２、頻度カウンタ６０３、フレームカウンタ６０４、エッジ判定器６０５については、実施の形態１におけるノルム計算部１０１、ノルムフィルタ１０２、頻度カウンタ１０３、フレームカウンタ１０４、エッジ判定器１０５と同一であるため説明を省略する。

置き去り判定部６０６は、エッジ判定器６０５により継続してエッジであると判定してエッジを検出した時間をマクロブロック毎に記録し、一定時間継続して検出されたマクロブロックが存在する場合、一時的に留置された置き去り物が存在するとして検知結果を出力する。ただし、このとき、ある閾値以上にわたり長時間継続してエッジと判定したマクロブロックを背景成分として検知対象から除外することで、正確な置き去り検知を実現する。すなわち、置き去り判定部６０６は、エッジ判定器６０５が継続してエッジと判断してエッジを検出した時間をマクロブロックごとに記録し、検出した時間が予め定められた時間の範囲内となったとき、当該マクロブロックに対応する箇所を置き去り物と判定し、判定結果を出力する。

本発明の実施の形態３では、置き去り判定部６０６は、一定期間にわたってノルムの小さな動きベクトルの発生頻度を記録する。このとき、エッジ判定器６０５によって一定時間継続してエッジと判定された箇所は、一定期間以上留置された被写体、すなわち、置き去り物であると判断できる。

図７は、この発明の実施の形態３による画像処理装置におけるフローチャートである。以下、図７を用いてこの発明の実施の形態３に係る置き去り物検知の流れを説明する。
ノルム計算部６０１は、フレーム単位で入力された動きベクトルのノルムを計算し、ノルムフィルタ６０２に出力する（ＳＴ７０１）。ノルムフィルタ６０２は、ノルム計算部６０１より入力されたノルムが、予め定められた基準値以下かどうかを判定し、判定結果を頻度カウンタ６０３へ出力する（ＳＴ７０２）。頻度カウンタ６０３は、ノルムフィルタ６０２の出力が基準値を下回っていた場合、動きベクトルが位置するマクロブロックにおけるノルムフィルタ６０２の判定回数を加算する（ＳＴ７０３）。

その後、フレームカウンタ６０５は自身のカウンタを更新し、入力されたフレーム数を記録する（ＳＴ７０４）。フレームカウンタ６０５のカウンタ値が予め定められた積算枚数以下である場合は、次の動きベクトルに対する処理に移る（ＳＴ７０５）。フレームカウンタ６０５の値が予め定められた積算枚数を超えた場合、頻度カウンタ６０３の値が閾値を超えているかどうかを判断し（ＳＴ７０６）、閾値を超えていた場合、その動きベクトルが位置するマクロブロックをエッジであるとみなし、エッジ位置を出力する（ＳＴ７０７）。置き去り検知部６０６は、エッジ判定部６０５により、各マクロブロックが継続してエッジであると判定されている時間を記録し、継続してエッジと判定したマクロブロックが存在する場合、置き去り物があるとみなして、検知結果を出力する。また、長時間にわたってエッジと判定したマクロブロックは背景とみなし、置き去り物検知の対象から除外することで、正確な置き去り物検知を実現する。

以上のような構成を備えているので、実施の形態３による画像処理装置は、撮像系の光学系ノイズに起因するノルムの小さな動きベクトルの検出時間を活用することにより、符号化画像信号から置き去り物の検知が可能になる。

実施の形態４．
図８は、この発明の実施の形態４に係る画像処理装置の一例を示す構成図である。図８において、８０１は偏角計算部、８０２は偏角フィルタ、８０３は頻度カウンタ、８０４はフレームカウンタ、８０５はエッジ判定器、８０６は置き去り判定部である。

偏角計算部８０１、偏角フィルタ８０２、頻度カウンタ８０３、フレームカウンタ８０４、エッジ判定器８０５については、実施の形態２における偏角計算部３０１、偏角フィルタ３０２、頻度カウンタ３０３、フレームカウンタ３０４、エッジ判定器３０５と同一であるため説明を省略する。

置き去り判定部８０６は、エッジ判定器８０５により継続してエッジであると判定した時間をマクロブロック毎に記録し、一定時間継続して検出されたマクロブロックが存在する場合、一時的に留置された置き去り物が存在するとして検知結果を出力する。また、長時間継続してエッジと判定したマクロブロックを、背景成分として検知対象から除外することで、正確な置き去り検知を実現する。すなわち、置き去り判定部８０６は、エッジ判定器８０５が継続してエッジと判断してエッジを検出した時間をマクロブロックごとに記録し、検出した時間が予め定められた時間の範囲内となったとき、当該マクロブロックに対応する箇所を置き去り物と判定し、判定結果を出力する。

本発明の実施の形態４では、一定期間にわたってノルムの小さな動きベクトルの発生頻度を記録する必要があるため、エッジ判定器８０５によってエッジと判定された箇所は、一定期間以上留置された被写体、すなわち、置き去り物であると判断できる。

図９はこの発明の実施の形態４による画像処理装置におけるフローチャートである。以下、図９を用いてこの発明の実施の形態４に係る置き去り物検出の流れを説明する。
偏角計算部８０１は、フレーム単位で入力された動きベクトルの偏角を計算し、偏角フィルタ８０２に出力する（ＳＴ９０１）。偏角フィルタ８０２は、偏角計算部８０１より入力された偏角が、軸方向、または、対角方向であるかどうかを判定し、判定結果を頻度カウンタ８０３へ出力する（ＳＴ９０２）。なお、偏角の判定は軸方向や対角方向以外の角度を用いることもできる。頻度カウンタ８０３は、偏角フィルタ８０２の判定結果が真であった場合、動きベクトルが位置するマクロブロックにおける偏角フィルタ８０２の判定回数を加算する（ＳＴ９０３）。

その後、フレームカウンタ８０５は自身のカウンタを更新し、入力されたフレーム数を記録する（ＳＴ９０４）。フレームカウンタ８０５のカウンタ値が予め定められた積算枚数以下である場合は、次の動きベクトルに対する処理に移る（ＳＴ９０５）。フレームカウンタ８０５の値が予め定められた積算枚数を超えた場合、頻度カウンタ８０３の値が閾値を超えているかどうかを判断し（ＳＴ９０６）、閾値を超えていた場合、その動きベクトルが位置するマクロブロックをエッジとみなし、エッジ位置を出力する（ＳＴ９０７）

以上のような構成を備えているので、実施の形態４による画像処理装置は、撮像系の光学系ノイズに起因する特定の偏角を持つ動きベクトルの検出時間を活用することにより、符号化画像信号から置き去り物の検知が可能になる。

以上のように、本発明にかかる画像処理装置は、符号化された動画像に対してエッジを検出する装置や、置き去り物を検知する装置などに適用できる。

１０１ノルム計算部、１０２ノルムフィルタ、１０３頻度カウンタ、１０４フレームカウンタ、１０５エッジ判定器、３０１偏角計算部、３０２偏角フィルタ、３０３頻度カウンタ、３０４フレームカウンタ、３０５エッジ判定器、６０１ノルム計算部、６０２ノルムフィルタ、６０３頻度カウンタ、６０４フレームカウンタ、６０５エッジ判定器、６０６置き去り判定部、８０１偏角計算部、８０２偏角フィルタ、８０３頻度カウンタ、８０４フレームカウンタ、８０５エッジ判定器、８０６置き去り判定部。

Claims

符号化画像信号の動きベクトルが入力され、この動きベクトルから画像の動きに関する情報をマクロブロックごとに計算する動きベクトル処理部と、
前記動きベクトル処理部で計算した情報のうち予め定められた情報を持つ動きベクトルを通過する動きベクトルフィルタと、
前記動きベクトル処理部に入力される符号化画像信号のフレーム数をカウントし、カウント数が予め定められたフレーム数に達したとき、カウント終了信号を出力するフレームカウンタと、
前記動きベクトルフィルタで通過した動きベクトルの頻度を、前記予め定められたフレーム数にわたって前記マクロブロックごとに積算する頻度カウンタと、
前記フレームカウンタが出力する前記カウント終了信号を受信したとき、前記頻度カウンタで前記マクロブロックごとに積算された頻度が閾値を超えているか否かを判定し、超えていた場合に当該マクロブロックをエッジと判断するエッジ判定器と、
を備えたことを特徴とする画像処理装置。
前記動きベクトル処理部は前記動きベクトルのノルムを計算するノルム計算部であり、
前記動きベクトルフィルタは前記ノルムのうち予め定められた値以下のノルムを持つ動きベクトルを通過するノルムフィルタであることを特徴とする請求項１に記載の画像処理装置。
前記動きベクトル処理部は前記動きベクトルの偏角を計算する偏角計算部であり、
前記動きベクトルフィルタは前記偏角のうち予め定められた値の偏角を持つ動きベクトルを通過する偏角フィルタであることを特徴とする請求項１に記載の画像処理装置。
前記予め定められた値の偏角は対角方向および軸方向の偏角であることを特徴とする請求項３に記載の画像処理装置。
前記エッジ判定器が継続してエッジと判断してエッジを検出した時間をマクロブロックごとに記録し、前記検出した時間が予め定められた時間の範囲内となったとき、当該マクロブロックに対応する箇所を置き去り物と判定し、判定結果を出力する置き去り判定部、
を備えたことを特徴とする請求項１に記載の画像処理装置。