JP5713797B2 - 映像監視装置 - Google Patents

Description

この発明は、映像からイベント（異常現象）を検出するための映像監視装置に関するものである。

従来から、映像監視分野においては、多数のカメラを用いて、長時間の映像を記録することが多い。しかし、多数のカメラで長時間記録された映像のうち、実際に何らかのイベント（異常現象）が発生している場面は必ずしも多くない。

ここで、イベントとは、監視映像中に人物または車両が写っている場面、不審物が放置された場面、事件または事故が発生している場面、ドアが開閉している場面、大幅な水位変化などが発生している場面、のいずれかであり、監視対象によって種々異なるものである。

また、複数カメラによる長時間の映像データは、膨大なサイズになることから、伝送コストおよび蓄積コストを下げるために、公知のＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−２、または、Ｈ．２６４といった映像符号化方式が利用されている。

従来から、上記符号化方式を用いて圧縮された長時間および多数カメラの記録映像から画像処理を行い、イベントを検出（または、映像を閲覧）する監視員によるイベント発見を補助する技術は、種々提案されている（たとえば、特許文献１、特許文献２参照）。

特許文献１においては、映像データの画像処理を行うことにより、イベント検出を行うデジタル映像監視システムが開示されている。
しかし、映像データの画像処理を行う際に、圧縮された映像を伸張する必要があることから、すでに蓄積されている映像データからイベントを検出したい場合には、多くの処理時間を要することになる。

そこで、上記問題を解決するために、特許文献２においては、映像データを符号化する際に行う予測処理の結果に基づいてイベントを検出し、イベント検出結果を、符号化された映像データのヘッダに付加することにより、映像を受信する際に、映像を復号することなく、蓄積された映像データからイベントを検出する装置が開示されている。

しかし、特許文献２に記載の従来装置の場合、イベント検出が可能な対象は、映像圧縮時にイベントを検出して映像データのヘッダにイベント検出結果が付加されている映像データのみであり、イベント検出結果が付加されていない他の映像データからイベントを検出することはできない。したがって、たとえば、映像復号装置または映像表示装置において異常を検出することはできない。また、映像内のどの位置でイベントが発生したかを判別することもできない。

特開２００２−２６２２７３号公報 特開２０１０−１６６４８９号公報

従来の映像監視装置は、特許文献２のように、映像データを符号化する際の予測処理結果に基づくイベント検出結果を、符号化された映像データのヘッダに付加し、映像受信時に、映像を復号することなく、蓄積映像データからイベントを検出しているので、イベント検出結果が付加されていない映像データからイベントを検出することができないうえ、映像内のイベント発生位置を判別することができないという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、映像データを完全に復号することなく映像データ内のイベントを検出し、映像内のイベント位置を閲覧者に提示することのできる映像監視装置を得ることを目的とする。

この発明は、それぞれ複数枚のピクチャを含む複数個のピクチャ群からなる構成を有する符号化映像を入力情報として、前記符号化映像内の前記各ピクチャ群の符号量と、前記符号化映像内のピクチャ内のイベントにより変化する符号化パラメータと、前記符号化映像を復号して得られた復号映像とを出力する映像復号部と、前記符号量からイベントが発生したピクチャ群を判定し、前記符号化パラメータからピクチャにおける空間方向の発生したイベントの位置を検出するイベント検出部と、前記復号映像と前記イベント検出部からのイベント検出結果とからイベント部分を強調した表示映像を作成する表示映像作成部とを備えた映像監視装置等にある。

この発明によれば、符号量情報および符号化パラメータから、映像データを完全に復号することなく映像データ内のイベントを検出し、映像内のイベント位置を閲覧者に提示することができる。

この発明の実施の形態１に係る映像監視装置の処理機能を示すブロック図である。 この発明の実施の形態１におけるＧＯＰ構造を示す説明図である。 この発明の実施の形態１における１枚の画像内のマクロブロックを示す説明図である。 この発明の実施の形態１によるＧＯＰの符号量およびパディングビット量からイベントのあるＧＯＰを検出するための処理を示すフローチャートである。 この発明の実施の形態１によるマクロブロック変化量の算出結果に基づくイベント位置の検出処理を示す説明図である。 この発明の実施の形態２によるイントラ予測モードを利用してイベントのあるＧＯＰを検出するための処理を示す説明図である。 この発明の実施の形態３に係る映像監視装置の処理機能を示すブロック図である。 この発明の実施の形態４に係る映像監視装置の処理機能を示すブロック図である。 この発明の実施の形態５に係る映像監視装置の処理機能を示すブロック図である。 この発明の実施の形態６に係る映像監視装置の処理機能を示すブロック図である。

実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について説明する。
図１はこの発明の実施の形態１に係る映像監視装置の処理機能構成を示すブロック図である。

図１において、映像監視装置は、一般的な映像符号化器（図示せず）で作成された符号化映像ストリームＡを入力情報とする映像復号部１と、符号量情報Ｃおよび符号化パラメータＢを入力情報としてイベントを検出するイベント検出部２と、復号映像Ｄおよびイベント検出結果Ｅを入力情報として表示映像Ｆを作成する表示映像作成部３とを備えている。

映像復号部１は、符号化映像ストリームＡを復号処理して、復号済みの映像である復号映像Ｄを出力するとともに、符号化映像ストリームＡの符号量情報Ｃおよび符号化パラメータＢを出力する。
表示映像作成部３は、復号映像Ｄに対して、イベント検出結果Ｅに基づき、映像の特殊再生処理または強調表示処理などを施し、実際に表示される最終的な表示映像Ｆを作成する。

以下、図２〜図５を参照しながら、図１内の各処理ブロックによる具体的機能について詳細に説明する。
まず、映像復号部１は、符号化映像ストリームＡの復号処理を行う。ここで、符号化映像ストリームＡとは、前述のＭＰＥＧ−２またはＨ．２６４などの映像符号化方式により符号化された映像のビットストリームである。

ＭＰＥＧ−２またはＨ．２６４などの映像符号化方式においては、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造およびマクロブロックを用いた符号化が行われている。よって、この発明の実施の形態１においても、ＧＯＰ構造およびマクロブロックの符号化パラメータＢを利用する。

図２は複数のピクチャＰ（画像）からなるＧＯＰ構造を示す説明図であり、図３は１枚のピクチャＰ（画像）内に配置された複数のマクロブロックＭを示す説明図である。
周知のように、映像は時系列的な複数枚の静止画像（ピクチャＰ）の連続で表される。

ＭＰＥＧ−２、Ｈ．２６４においては、図２に示すように、時系列的な各静止画像（ピクチャＰ）を複数枚（たとえば、ｎ枚）の単位でまとめてＧＯＰとし、さらに、ｍ個のＧＯＰ（１、２、・・・、ｍ）を構成する。
図２においては、ｍ個のＧＯＰのうちのｉ番目のＧＯＰ（ｉ）内に、ｎ枚のピクチャＰ（ｉ，１、ｉ，２、・・・、ｉ，ｎ）が含まれている状態を示している。

なお、ＭＰＥＧ−２、Ｈ．２６４を含む映像符号化方式においては、画面間予測を利用していることが多く、ＧＯＰの区切りにより、画面間予測に用いる画像の更新を行い、ランダムアクセス性の確保および符号化による蓄積誤差を解消している。
また、ＧＯＰの先頭には、ユニークワードであるＧＯＰスタートコードが存在し、符号化映像ストリームＡ内における各ＧＯＰの位置が容易に分かるようになっている。

次に、マクロブロックについて説明する。
ＭＰＥＧ−２、Ｈ．２６４においては、画像を符号化する場合、図３に示すように、画像全体を複数のマクロブロックＭに分割し、マクロブロックＭは、さらに複数のブロックに分割される。なお、マクロブロックＭ内のブロックは、さらに複数の画素により構成される。

符号化を行う際のモードやパラメータは、図３に示すマクロブロックＭまたはブロックの単位で決定されることが多い。
図３においては、画像全体が１９２個（＝横１６個×縦１２個）のマクロブロックＭに分割され、１つのマクロブロックＭに４つのブロックがある場合の例を示している。

なお、マクロブロックＭおよびブロックの大きさは、符号化方式ごとに定められており、また、マクロブロックＭを複数まとめたものは「スライス」と呼ばれる。
また、映像符号化方式によっては、ＧＯＰやマクロブロック、ブロック、スライスを別の呼称で定義する場合もある。

たとえば、ＭＰＥＧ−４方式では、ＧＯＰに相当するものはＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｓｕａｌ Ｏｂｊｅｃｔ ｐｌａｎｅ）と呼ばれる。
以下の説明においては、ＧＯＰ、マクロブロック、ブロック、スライスという呼称を用いるが、呼称の異なる符号化方式による符号化映像ストリームＡについても、この発明の実施の形態１は適用可能である。

映像復号部１は、符号化映像ストリームＡを復号して復号映像Ｄを出力する。ここで、符号化映像ストリームＡの復号処理そのものは、各符号化方式に対応した方法を用いることとし、具体的説明は省略する。
この復号過程において、映像復号部１は、符号量情報Ｃおよび符号化パラメータＢを生成して、イベント検出部２に入力する。

なお、符号量情報Ｃとは、ＧＯＰ単位での符号量およびパディングビット量（符号量を一定にするために挿入される無効ビット）のことであり、これらは、復号処理の過程で容易に得ることができる。

また、符号化パラメータＢとは、映像符号化に用いられる各種パラメータのことであり、マクロブロックタイプや、動きベクトル、量子化パラメータ、イントラ予測モードなどが挙げられる。この発明の実施の形態１においては、このうち、マクロブロックタイプおよび動きベクトルを用いるものとする。

マクロブロックタイプとは、マクロブロックを符号化する方法であり、マクロブロックタイプには、イントラマクロブロック、インターマクロブロック、スキップマクロブロックの３種類がある。

上記３種類のマクロブロックタイプのうち、イントラマクロブロックは、該当する部分の画像を、画面間予測を用いずに符号化する方法である。
また、インターマクロブロックは、参照画像による画面間予測を用いて符号化する方法であり、後述する動き補償予測も利用可能である。
さらに、スキップマクロブロックは、該当するマクロブロックでは符号化を行わずに参照画像をそのまま用いる方法である。

イントラマクロブロックは、該当するマクロブロックの映像が突然大きく変化した場合に有効であり、スキップマクロブロックは、該当するマクロブロックの映像の変化が非常に小さい場合に有効である。
また、インターマクロブロックは、該当するマクロブロックの映像が変化している場合に有効であり、また、後述する動き補償予測の利用により、映像内でオブジェクトが移動している場合も有効である。

一方、符号化パラメータＢに含まれる動きベクトルとは、映像符号化で用いられる、参照画像からの予測に用いられるパラメータである。
マクロブロック単位で、過去または未来の参照画像と符号化対象の画像とを比較し、類似した部分の画像とマクロブロックの位置の画像信号との差分を符号化することにより、圧縮効率を高めている。

上記圧縮効率を高める符号化処理は「動き補償予測」と呼ばれる。また、このとき、参照画像と符号化対象画像の位置との差を符号化したものが「動きベクトル」である。
動き補償予測の利用により、各種映像符号化方式においては、符号化効率を大幅に高めることが可能となる。なお、実際の動き補償予測は、任意形状のオブジェクトではなく、マクロブロック単位で行われ、マクロブロック単位で動きベクトルが符号化されることが多い。

以上のように、マクロブロックタイプおよび動きベクトルは、符号化映像ストリームＡを復号する過程で必要な情報であり、復号過程で取得する必要がある。これらを符号化パラメータＢとして、イベント検出部２に出力する。

イベント検出部２は、符号量情報Ｃおよび符号化パラメータＢの解析を行い、映像中にイベントがあったシーンを判定してイベント検出結果を出力する。
具体的には、まず、符号量情報Ｃからイベントがあったと思われるＧＯＰを探し出す。

たとえば、固定カメラの監視映像では、大きな変化の無いシーンを長時間撮影する場合があり、このような固定カメラの例として、エレベータ内に設置されているカメラが挙げられる。この場合、入力される映像に変化が無いので、ＧＯＰ間の符号量の差は小さくなる。しかし、何らかの異常（イベント）が発生し、映像に変化が生じた場合、符号量に変化が生じる。

したがって、符号量情報Ｃが大きく変化したＧＯＰを、イベントを検出したＧＯＰと判別する。
ただし、符号化映像ストリームＡによっては、一定のビットレートになるように符号量情報Ｃが制御される場合があるが、このとき、パディングビットと呼ばれる無効ビットを追加することにより、符号量が調整される。よって、各ＧＯＰの符号量がほぼ一定の場合、パディングビット量（パディングビットの符号量）が大きく変化したＧＯＰを、イベントを検出したＧＯＰと判別する。

なお、ＧＯＰの符号量と他のＧＯＰの符号量との比較は、ＧＯＰの平均値、分散値を用いて行う。
すなわち、ｉ番目のＧＯＰ（ｉ）の符号量をＧＯＰｉ、ＧＯＰの符号量の平均値をＧＯＰ_Ａｖｇ、ＧＯＰの符号量の分散値をＧＯＰ_Ｖａｒとすると、以下の式（１）を満たす場合に、イベントのあるＧＯＰと判別する。

ただし、式（２）において、α_１は定数である。
なお、式（１）および式（２）は、それぞれ、単なる一例であり、別の方法でＧＯＰの符号量またはパディングビット量から異常を判別してもよい。
また、ＧＯＰ_Ａｖｇ、ＧＯＰ_Ｖａｒ、Ｐａｄ_Ａｖｇ、Ｐａｄ_Ｖａｒは、符号化映像ストリームＡに含まれるＧＯＰ全体から算出する方法であってもよく、５分ごと、１０分ごと、１５分ごと、のように、時間でいくつかの単位に区切った上で算出してもよい。

図４はこの発明の実施の形態１によるＧＯＰに対するイベント検出処理を示すフローチャートであり、各ＧＯＰの符号量とパディングビットの符号量との両方を用いて、イベントのあるＧＯＰを検出するための処理手順を示している。
図４においては、ＧＯＰの符号量とパディングビットの符号量とを同時に比較する場合を示している。

図４において、イベント検出部２は、まず、上述したように、ＧＯＰの符号量の平均値ＧＯＰ_Ａｖｇおよび分散値ＧＯＰ_Ｖａｒと、ＧＯＰのパディングビット量の平均値Ｐａｄ_Ａｖｇおよび分散値Ｐａｄ_Ｖａｒとを算出する（ステップＳ１）。

続いて、ｉ番目のＧＯＰ（ｉ）の符号量ＧＯＰｉと、ＧＯＰ_Ａｖｇ＋α_０×ＧＯＰ_Ｖａｒとを比較して、上記式（１）を満たすか否か、または、ｉ番目のＧＯＰ（ｉ）のパディングビット量をＰａｄｉと、Ｐａｄ_Ａｖｇ＋α_１×Ｐａｄ_Ｖａｒとを比較して、上記式（２）を満たすか否かを判定する（ステップＳ２）。

ステップＳ２において、式（１）、式（２）のいずれも満たさない（すなわち、ＮＯ）と判定されれば、ステップＳ３を実行せずに、最後の判定処理（ステップＳ４）に進む。
一方、ステップＳ２において、式（１）または式（２）を満たす（すなわち、ＹＥＳ）と判定されれば、当該ＧＯＰ（ｉ番目のＧＯＰ）を「イベントのあるＧＯＰ」と判定する（ステップＳ３）。

最後に、すべてのＧＯＰでイベント判定処理（ステップＳ２、Ｓ３）を完了したか否かを判定し（ステップＳ４）、未判定のＧＯＰが残存する（すなわち、ＮＯ）と判定されれば、ステップＳ２に戻って上記判定処理を繰り返し実行する。
一方、ステップＳ４において、すべてのＧＯＰで判定処理が完了した（すなわち、ＹＥＳ）と判定されれば、図４の処理ルーチンを終了する。

次に、イベント検出部２は、符号化パラメータＢを用いて、イベントのあるＧＯＰにおける空間方向のイベント位置を検出する。ここで、符号化パラメータＢとしては、上述したマクロブロックタイプおよび動きベクトルを用いる。
図５はこの発明の実施の形態１によるマクロブロック変化量の算出結果に基づくイベント位置（マクロブロック単位）の検出処理を示す説明図である。

図５において、イベント検出部２は、イベントであると判定されたＧＯＰの画像（ピクチャＰ１〜Ｐ５）ごとに、マクロブロックＭのスコアを算出し、１つのＧＯＰ全体でマクロブロックＭの位置ごとに積分する。

すなわち、図５に示すように、各ピクチャＰ１〜Ｐ５の同一位置にあるマクロブロックＭ１１〜Ｍ５１のスコアが積分され、各ピクチャＰ１〜Ｐ５の同一位置にあるマクロブロックＭ１２〜Ｍ５２のスコアが積分され、同様にして、各位置のマクロブロックＭでのスコア結果が求められる。

具体例として、１つのマクロブロックＭのスコアは、マクロブロックタイプおよび動きベクトルから、下記のように算出される。
イントラマクロブロック ：３点
インターマクロブロック（動きベクトル大）：２点
インターマクロブロック（動きベクトル小）：１点
スキップマクロブロック ：０点

ここで、動きベクトルの大小は、動きベクトルの長さを算出して所定の閾値と比較することにより判別される。
上記のように積分されたスコア結果は、ＧＯＰ内でのマクロブロックＭの位置ごとの変化量（以下、「マクロブロック変化量」という）を表しており、マクロブロック変化量が大きいマクロブロックは、ＧＯＰ内で異常（イベント）のあったマクロブロックであると判定される。

イベント位置の判定方法の具体例としては、まず、ＧＯＰ内でのマクロブロック変化量の平均値Ｍ_Ａｖｇおよび分散値Ｍ_Ｖａｒを算出する。
続いて、判定対象のマクロブロック変化量Ｍｘｙに対して、以下の式（３）を満たすマクロブロックを「異常（イベント）のあるマクロブロック」であると判定する。

ただし、式（３）において、α_２は定数である。
なお、式（３）は、単なる一例であり、他の判定方法を用いて、マクロブロック変化量Ｍｘｙからイベントを検出してもよい。
これにより、ＧＯＰ内での空間方向のイベント検出することが可能である。

ここで、上記マクロブロック単位でイベント個所を検出する方法の長所について説明する。
上述した通り、イントラマクロブロックは変化が大きく、スキップマクロブロックは変化が小さい。また、動きベクトルの大きいインターマクロブロックは、当該マクロブロックに大きな動きがあった可能性が高い。

上記条件に基づくスコアをマクロブロックごとに積分することにより、ＧＯＰ単位でのマクロブロック位置ごとの大まかな動きの総量を容易に取得することが可能である。
また、ＧＯＰ単位で時間方向に積分し、マクロブロック変化量の平均値Ｍ_Ａｖｇおよび分散値Ｍ_Ｖａｒから、式（３）の判定基準となる閾値を算出することにより、画面全体に変化があった場合（画面全体がイントラマクロブロックになる）については、閾値が上昇し、空間方向の位置変化が検出されにくくなる。この場合、画面全体が変化しているので、空間方向の位置変化（事実上存在しない）を表示する必要はない。

また、画面全体がイントラマクロブロックになるように画面全体に大きな変化があった場合（暗い部屋に照明が点灯した場合など）についても、ＧＯＰの符号量またはパディングビットの符号量は変化しているので、イベントがあったＧＯＰとして検出されることになる。

図１に戻り、最後に、表示映像作成部３は、映像復号部１からの復号映像Ｄと、イベント検出部２からのイベント検出結果Ｅとから、実際に表示される表示映像Ｆを作成する。実際の表示映像Ｆの例としては、以下の条件（Ｆ１）〜（Ｆ６）が挙げられる。

（Ｆ１）イベントのあったＧＯＰ以外は表示しない。
（Ｆ２）イベントのあったＧＯＰとイベントのないＧＯＰとで、表示速度を変更する（たとえば、イベントのないＧＯＰは早送りにする）。
（Ｆ３）イベントのあったＧＯＰのイベントのあるマクロブロックについて、色付きの枠で囲むなどの強調表示を行う。

（Ｆ４）イベントのあったＧＯＰ以外は表示せず、且つイベントのあるマクロブロックについて、色付きの枠で囲むなどの強調表示を行う。
（Ｆ５）イベントのあったＧＯＰとイベントのないＧＯＰで表示速度を変更し、且つイベントのあるマクロブロックについて、色付きの枠で囲むなどの強調表示を行う。
（Ｆ６）イベントのあるＧＯＰまたはマクロブロックに対して、「異常発生」などの文字情報を表示する。

なお、上記（Ｆ１）〜（Ｆ６）以外の方法で、イベントのあるＧＯＰおよびマクロブロック位置を分かりやすく映像閲覧者に提示できる表示映像Ｆを作成してもよい。
作成された表示映像Ｆは、モニタ（図示せず）に出力され、映像閲覧者による閲覧を可能にする。

以上のように、この発明の実施の形態１（図１〜図５）に係る映像監視装置は、符号化映像（符号化映像ストリームＡ）を入力情報として、符号化映像内の所定の時間単位の符号量（符号量情報Ｃ）と、符号化映像内の符号化パラメータＢと、符号化映像を復号して得られた復号映像Ｄとを出力する映像復号部１と、符号量（符号量情報Ｃ）および符号化パラメータＢから符号化映像内のイベントを検出するイベント検出部２と、復号映像Ｄとイベント検出部２からのイベント検出結果Ｅとからイベント部分を強調した表示映像Ｆを作成する表示映像作成部３とを備えている。

このように、一般的な映像符号化器で作成された符号化映像ストリームＡの復号を行う過程から得られる符号量情報Ｃ（ＧＯＰの符号量、ＧＯＰのパディングビットの符号量）と、符号化パラメータＢ（マクロブロックタイプ、動きベクトル）とを用いることにより、少ない演算量で映像内のイベントを検出することができる。
この結果、イベントのあるシーンおよび位置を分かりやすく映像閲覧者に示すことが可能な映像監視装置を実現することができる。

実施の形態２．
なお、上記実施の形態１（図４、図５）では、符号化パラメータＢとして、マクロブロックタイプおよび動きベクトルを用いたが、これに限定されることはなく、他の符号化パラメータＢとして、量子化パラメータ、イントラ予測モード、動き補償予測などを用いてもよい。

以下、符号化パラメータＢとして他の変形例を用いたこの発明の実施の形態２について説明する。
なお、この発明の実施の形態２に係る映像監視装置の構成については、前述（図１〜図３参照）と同一なので詳述を省略する。

まず、図１内のイベント検出部２において、量子化パラメータを利用する場合について説明する。
一般に映像を符号化する場合、映像符号化器（図示せず）において、映像信号は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを用いて変換され、変換された信号に対して量子化が行われる。

このとき、量子化を行う際に、量子化係数を決定するのが量子化パラメータである。
量子化係数が異なる場合、発生する符号量は大きく異なることになるので、ビットレートを一定にする符号化制御が行われている場合には、映像符号化器において、量子化係数を変更することにより対応することが多い。
ここで、量子化係数を決定する量子化パラメータは、ＧＯＰ単位、ピクチャ単位、スライス単位、マクロブロック単位で変更可能である（映像符号化方式にも依存する）。

そこで、イベント検出部２は、各ピクチャ間で量子化パラメータが変更されたマクロブロックを特定し、ＧＯＰ単位で量子化パラメータが変更された回数が所定の閾値を超えたマクロブロックを「イベントのあるマクロブロック」と判定する。
各ＧＯＰの符号量がほぼ一定で、パディングビット量も少ない場合には、上記量子化パラメータの変動の変化がイベント検出に有効である。

次に、他の符号化パラメータＢとして、Ｈ．２６４方式で採用されているイントラ予測モードを利用する場合について説明する。
イントラ予測とは、隣接する画素を参照してその差分を符号化する方式であり、画像に応じて参照する隣接画素を変更するようになっている。

このとき、隣接する画素のうち、どの画素を参照するかを選択することが可能であり、この参照画素を決定するのがイントラ予測モードのパラメータである。
なお、イントラ予測が用いられるのは、イントラマクロブロックのみである。

次に、図６のように、各ＧＯＰのイントラピクチャ（ｉｎｔｒａ ｐｉｃｔｕｒｅ）Ｐｔの各マクロブロックに対してイントラ予測モードを利用して、イベントのあるＧＯＰを検出する場合について説明する。
図６はこの発明の実施の形態２に係る映像監視装置によるイベント検出処理を示す説明図であり、イントラ予測モードを利用してイベントのあるＧＯＰを検出するための処理を示している。

この場合、まず、複数のＧＯＰ（１〜ｍ）ごとのイントラピクチャＰｔ１〜Ｐｔｍの各マクロブロック（対応位置）において、最も出現頻度の高いイントラ予測モード（図６内の下向き矢印参照）を得る。
そして、得られた出現頻度の高いイントラ予測モード（下向き矢印参照）と異なるイントラ予測モード（破線枠内の矢印向き参照）を持つマクロブロックを探索する。

以下、イントラピクチャＰｔ１〜Ｐｔｍ内のすべてのマクロブロックに対して上記探索処理を実行した結果、異なるイントラ予測モード（破線枠内矢印）を持つマクロブロックを定められた閾値以上含むイントラピクチャＰｔが属するＧＯＰを、イベントを検出したＧＯＰと判定する。

最後に、他の符号化パラメータＢとして、動き補償予測に用いるブロックサイズを用いた場合について説明する。
動き補償予測は、基本的にはマクロブロック単位で行われるが、たとえばＨ．２６４方式では、マクロブロックをさらに分割して動き補償予測を行うことが可能である。

このとき、動きベクトルの数は、マクロブロックの分割数に比例して増えることになるので、ＧＯＰ内の動きベクトルの数をカウントし、定められた閾値以上の動きベクトル数となるＧＯＰを、異常を検出したＧＯＰと判定することができる。
または、ピクチャ内の動きベクトルの数をカウントし、定められた閾値以上の動きベクトル数となるピクチャを、イベントを検出したピクチャと判定することができる。
なお、符号化パラメータＢとして上記以外のパラメータを利用してもよい。

以上のように、この発明の実施の形態２によれば、たとえば、図６のように、イントラ予測モードを用いることにより、マクロブロックタイプおよび動きベクトル以外の他の符号化パラメータＢを用いて、異常（イベント）を検出することが可能となる。

実施の形態３．
なお、上記実施の形態１、２（図１）では、表示映像作成部３に対してイベント検出結果Ｅを直接入力したが、図７のように、領域特定部４を介在させて、領域特定部４からの詳細な領域特定結果Ｇを表示映像作成部３Ａに入力してもよい。

図７はこの発明の実施の形態３に係る映像監視装置の処理機能を示すブロック図であり、前述（図１参照）と同様のものについては、前述と同一符号を付して、または符号の後に「Ａ」を付して詳述を省略する。
図７においては、イベント検出部２と表示映像作成部３Ａとの間に領域特定部４が挿入された点のみが前述と異なる。

領域特定部４は、イベント検出結果Ｅと復号映像Ｄとから、異常のあった領域および時刻を詳細に特定し、領域特定結果Ｇとして表示映像作成部３Ａに入力する。
表示映像作成部３Ａは、復号映像Ｄと領域特定結果Ｇとから、映像の特殊再生や強調表示などを施して実際の表示映像Ｆを作成する。

次に、領域特定部４および表示映像作成部３Ａによる前述（図１）と異なる動作について詳細に説明する。
領域特定部４は、イベント検出部２からのイベント検出結果Ｅに基づいて、映像復号部１からの復号映像Ｄ内でイベントと判定されたＧＯＰおよびマクロブロックに対して画像処理を行い、監視映像中からより詳細に人物や物体の検出を行う。

なお、画像処理の公知技術としては、映像内の顔領域検出方法または移動物体の特定および追尾方法（たとえば、特開２００８−９７４５号公報、特許第３８１４７７９号公報参照）などが挙げられるが、いずれも画像をピクセル単位で処理する必要があり、大きな演算量が必要になる。

これに対し、この発明の実施の形態３（図７）のように、領域特定部４を設け、イベント検出結果Ｅ（異常検出結果）に基づいて、画像処理対象のＧＯＰおよび空間領域を限定することにより、演算量を軽減させることが可能になる。

なお、画像処理対象として、イベントを検出したＧＯＰやマクロブロックのみでなく、イベントを検出した周辺のＧＯＰおよびマクロブロックを含めてもよい。
このように、領域特定部４は、イベントと判定したＧＯＰおよびマクロブロック中から、より詳細に人物や物体の検出処理を施した領域特定結果Ｇを表示映像作成部３Ａに入力する。

表示映像作成部３Ａは、映像復号部１からの復号映像Ｄと、領域特定部４からの領域特定結果Ｇとから、実際の表示映像Ｆを作成する。
なお、表示映像Ｆの例としては、前述と同様の条件（Ｆ１）〜（Ｆ６）が挙げられる。

以上のように、この発明の実施の形態３（図７）に係る映像監視装置は、イベント検出部２と表示映像作成部３Ａとの間に挿入された領域特定部４を備えている。
領域特定部４は、イベント検出結果Ｅおよび復号映像Ｄから、復号映像Ｄ内のイベントのあった詳細な位置（イベント領域）および時刻を特定する領域特定結果Ｇを生成し、表示映像作成部３Ａは、復号映像Ｄおよび領域特定結果Ｇからイベント部分を強調した表示映像Ｆを生成する。

このように、少ない演算量で得られたイベント検出結果Ｅ（イベントのあるＧＯＰおよびマクロブロックの位置）を利用して、復号映像Ｄ上の詳細なイベント位置（人物や物体の位置）および時刻を特定することができる。
これにより、領域特定結果Ｇを反映してイベント発生を強調した表示映像Ｆを映像閲覧者に示すことが可能な映像監視装置を実現することができる。

実施の形態４．
なお、上記実施の形態１〜３（図１、図７）では、映像復号部１および表示映像作成部３、３Ａを用いたが、図８のように、映像簡易復号部１Ｂおよびイベント蓄積データベース５を用いてもよい。

図８はこの発明の実施の形態４に係る映像監視装置の処理機能を示すブロック図であり、前述（図１参照）と同様のものについては、前述と同一符号を付して、または符号の後に「Ｂ」を付して詳述を省略する。
図８においては、映像復号部１に代えて映像簡易復号部１Ｂを用いた点、および、表示映像作成部３に代えてイベント蓄積データベース５を設けた点のみが前述と異なる。

図８において、映像簡易復号部１Ｂは、符号化映像ストリームＡを部分的に復号し、符号量情報Ｃと符号化パラメータＢとを出力する。
ここで、部分的な復号とは、イベント検出部２で必要となる符号量情報Ｃおよび符号化パラメータＢを得るまでの復号処理のことであり、映像簡易復号部１Ｂは、復号映像Ｄを得るための映像データの完全な復号処理は行わない。

このように、映像データの完全な復号処理を行わないことにより、映像復号部１と比べて、演算量を軽減することが可能である。
以下、イベント蓄積データベース５は、イベント検出部２からのイベント検出結果Ｅを蓄積する。

以上のように、この発明の実施の形態４（図８）に係る映像監視装置は、符号化映像（符号化映像ストリームＡ）を入力情報として、符号化映像を部分的に復号することにより、符号化映像内の所定の時間単位の符号量（符号量情報Ｃ）と、符号化映像内の符号化パラメータＢとを出力する映像簡易復号部１Ｂと、符号量（符号量情報Ｃ）および符号化パラメータＢから符号化映像内のイベントを検出するイベント検出部２と、イベント検出部２からのイベント検出結果Ｅを蓄積するイベント蓄積データベース５とを備えている。

このように、映像を部分的に復号して、映像データの符号量（符号量情報Ｃ）および符号化パラメータＢのみを取得する映像簡易復号部１Ｂを用いることにより、復号処理の演算量を軽減することができる。

また、イベント検出部２は、少ない演算量で符号化映像ストリームＡ内のイベントのあるＧＯＰおよびマクロブロックを簡易に検出して、イベント検出結果Ｅをイベント蓄積データベース５に蓄積させることができる。

さらに、イベント蓄積データベース５内のイベント検出結果Ｅは、必要に応じて読み出されることにより、映像復号部１および表示映像作成部３（図１参照）を介して、表示映像に反映させることができる。

実施の形態５．
なお、上記実施の形態１〜４（図１、図７、図８）では、映像符号化器（図示せず）を介した符号化映像ストリームＡを入力情報とする映像復号部１または映像簡易復号部１Ｂを設け、符号化映像ストリームＡに含まれる符号量情報Ｃおよび符号化パラメータＢを用いてイベントを検出したが、図９のように、符号化前のベースバンド映像Ｄ’を入力情報とする映像符号化部６を設け、ベースバンド映像Ｄ’の符号化処理と同時に得られる符号量情報Ｃおよび符号化パラメータＢを用いてイベントを検出してもよい。

図９はこの発明の実施の形態５に係る映像監視装置の処理機能を示すブロック図であり、前述（図１、図７、図８参照）と同様または対応するものについては、前述と同一符号を付すか、または符号の後に「Ｃ」、「’」を付して示している。

図９において、映像監視装置は、ベースバンド映像Ｄ’を入力情報とする映像符号化部６と、符号量情報Ｃおよび符号化パラメータＢからイベント検出結果Ｅを出力するイベント検出部２と、符号化映像Ａ’およびイベント検出結果Ｅを蓄積する映像蓄積データベース５Ｃとを備えている。

映像符号化部６は、ベースバンド映像Ｄ’に対し圧縮および符号化を施して得られた符号化映像Ａ’と、符号化の過程で得られる符号化映像内の所定の時間単位の符号量情報Ｃと、符号化映像Ａ’内の符号化パラメータＢと、を出力する。

イベント検出部２は、ベースバンド映像Ｄ’を符号化する段階で得られた符号量情報Ｃおよび符号化パラメータＢを用いて、符号化映像Ａ’内のイベントを検出する。
映像蓄積データベース５Ｃは、符号化映像Ａ’とイベント検出部２からのイベント検出結果Ｅとを蓄積する。

次に、図９に示したこの発明の実施の形態５による動作について説明する。
まず、映像符号化部６は、ベースバンド映像Ｄ’の符号化処理を行い、符号化映像Ａ’を出力するとともに、符号化処理の過程において算出される符号量情報Ｃおよび符号化パラメータＢをイベント検出部２に入力する。
なお、符号化方式としては、ＭＰＥＧ−２方式やＨ．２６４方式など、いずれの方式を用いてもよい。

符号量情報Ｃとしては、前述の実施の形態１と同様に、各ＧＯＰの符号量またはパディングビット量が用いられる。
また、符号化パラメータＢとしては、前述の実施の形態１、２と同様に、符号化の過程で容易に得られる、マクロブロックタイプおよび動きベクトル、量子化パラメータ、イントラ予測モード、動き補償予測に用いるブロックサイズ、のいずれかが用いられる。

映像符号化部６からの符号化映像Ａ’は、イベント検出結果Ｅとともに映像蓄積データベース５Ｃに入力されて保存される。

なお、イベント検出部２は、映像符号化部６で得られた符号化パラメータＢの種類（マクロブロックタイプおよび動きベクトル、量子化パラメータ、イントラ予測モード、動き補償予測）に応じて、前述の実施の形態１、２と同様にイベント検出処理を行い、同様のイベント検出結果Ｅを生成する。

以上のように、この発明の実施の形態５（図９）に係る映像監視装置は、ベースバンド映像Ｄ’を入力情報として、ベースバンド映像Ｄ’を符号化して得られた符号化映像Ａ’と、符号化の過程で得られる符号化映像Ａ’内の所定の時間単位の符号量（符号量情報Ｃ）と、符号化映像Ａ’内の符号化パラメータＢと、を出力する映像符号化部６と、符号量（符号量情報Ｃ）および符号化パラメータＢから符号化映像Ａ’内のイベントを検出するイベント検出部２と、符号化映像Ａ’とイベント検出部２からのイベント検出結果Ｅとを蓄積する映像蓄積データベース５Ｃとを備えている。

このように、映像を符号化する際に得られた符号量情報Ｃおよび符号化パラメータＢからイベント検出を行うことにより、符号化処理およびイベント検出を同時に行うとともに、少ない演算量で符号化映像Ａ’内のイベントのあるＧＯＰおよびマクロブロックを検出してイベント検出結果Ｅを取得することができる。

また、イベント検出結果Ｅを符号化映像Ａ’とともに映像蓄積データベース５Ｃに蓄積することが可能になる。
さらに、映像蓄積データベース５Ｃ内のイベント検出結果Ｅは、必要に応じて読み出されることにより、映像復号部１および表示映像作成部３（図１参照）を介して、表示映像に反映させることができる。

実施の形態６．
なお、上記実施の形態５（図９）では、映像蓄積データベース５Ｃに対してイベント検出結果Ｅを直接入力したが、前述の実施の形態３（図７）と同様に、図１０のように、領域特定部４Ｄを介在させて、領域特定部４Ｄからの詳細な領域特定結果Ｇを映像蓄積データベース５Ｄに入力してもよい。

図１０はこの発明の実施の形態６に係る映像監視装置の処理機能を示すブロック図であり、前述（図７、図９参照）と同様のものについては、前述と同一符号を付して、または符号の後に「Ｄ」を付して詳述を省略する。
図１０においては、イベント検出部２と映像蓄積データベース５Ｄとの間に領域特定部４Ｄが挿入された点のみが図９と異なる。

この場合、映像符号化の過程で詳細なイベント検出情報を取得するために、領域特定部４Ｄが追加されており、ベースバンド映像Ｄ’は、映像符号化部６のみならず、領域特定部４Ｄにも入力される。
領域特定部４Ｄは、イベント検出結果Ｅおよびベースバンド映像Ｄ’から、詳細なイベント領域および時刻を特定し、領域特定結果Ｇとして映像蓄積データベース５Ｄに入力する。

具体的には、領域特定部４Ｄは、イベント検出結果Ｅに基づき、ベースバンド映像Ｄ’内のイベントと判定されたＧＯＰおよびマクロブロックに対して画像処理を行い、監視対象のベースバンド映像Ｄ’中から、詳細に人物や物体の検出を行い、領域特定結果Ｇを生成する。
映像蓄積データベース５Ｄは、領域特定結果Ｇを符号化映像Ａ’とともに蓄積する。

以上のように、この発明の実施の形態６（図１０）に係る映像監視装置は、イベント検出部２と映像蓄積データベース５Ｄとの間に挿入された領域特定部４Ｄを備えている。
領域特定部４Ｄは、イベント検出結果Ｅおよびベースバンド映像Ｄ’から、ベースバンド映像Ｄ’内のイベントのあった詳細な位置（イベント領域）および時刻を特定する領域特定結果Ｇを生成し、映像蓄積データベース５Ｄは、符号化映像Ａ’および領域特定結果Ｇを蓄積する。

このように、映像を符号化する過程で得られる符号化映像Ａ’内の所定の時間単位の符号量情報Ｃおよび符号化パラメータＢからイベントを検出し、イベント検出結果Ｅおよびベースバンド映像Ｄ’からイベント領域を特定することにより、映像の符号化と同時に詳細なイベント検出を行うことができる。

また、イベント検出結果Ｅを用いて画像処理を行うことにより、少ない演算量で人物や物体の位置を特定し、符号化映像Ａ’とともに映像蓄積データベース５Ｄに蓄積することが可能になる。
さらに、映像蓄積データベース５Ｃ内の領域特定結果Ｇは、必要に応じて読み出されることにより、映像復号部１および表示映像作成部３（図１参照）を介して、表示映像に反映させることができる。

１ 映像復号部、１Ｂ 映像簡易復号部、２ イベント検出部、３、３Ａ 表示映像作成部、４、４Ｄ 領域特定部、５ イベント蓄積データベース、５Ｃ、５Ｄ 映像蓄積データベース、６ 映像符号化部、Ａ 符号化映像ストリーム、Ａ’ 符号化映像、Ｂ 符号化パラメータ、Ｃ 符号量情報、Ｄ 復号映像、Ｄ’ ベースバンド映像、Ｅ イベント検出結果、Ｆ 表示映像、Ｇ 領域特定結果、Ｍ マクロブロック、Ｐ ピクチャ（画像）、Ｐｔ イントラピクチャ。

Claims (9)

1. それぞれ複数枚のピクチャを含む複数個のピクチャ群からなる構成を有する符号化映像を入力情報として、前記符号化映像内の前記各ピクチャ群の符号量と、前記符号化映像内のピクチャ内のイベントにより変化する符号化パラメータと、前記符号化映像を復号して得られた復号映像とを出力する映像復号部と、
   前記符号量からイベントが発生したピクチャ群を判定し、前記符号化パラメータからピクチャにおける空間方向の発生したイベントの位置を検出するイベント検出部と、
   前記復号映像と前記イベント検出部からのイベント検出結果とからイベント部分を強調した表示映像を作成する表示映像作成部と
   を備えた映像監視装置。
2. 前記イベント検出部と前記表示映像作成部との間に挿入された領域特定部を備え、
   前記領域特定部は、前記イベント検出結果および前記復号映像から、前記復号映像内のイベントのあった詳細な位置および時刻を特定する領域特定結果を生成し、
   前記表示映像作成部は、前記復号映像および前記領域特定結果から前記イベント部分を強調した表示映像を生成することを特徴とする請求項１に記載の映像監視装置。
3. それぞれ複数枚のピクチャを含む複数個のピクチャ群からなる構成を有する符号化映像を入力情報として、前記符号化映像を部分的に復号することにより、前記符号化映像内の前記各ピクチャ群の符号量と、前記符号化映像内のピクチャ内のイベントにより変化する符号化パラメータとを出力する映像簡易復号部と、
   前記符号量からイベントが発生したピクチャ群を判定し、前記符号化パラメータからピクチャにおける空間方向の発生したイベントの位置を検出するイベント検出部と、
   前記イベント検出部からのイベント検出結果を蓄積するイベント蓄積データベースと
   を備えた映像監視装置。
4. ベースバンド映像を入力情報として、前記ベースバンド映像を符号化して得られたそれぞれ複数枚のピクチャを含む複数個のピクチャ群からなる構成を有する符号化映像と、符号化の過程で得られる前記符号化映像内の前記各ピクチャ群の符号量と、前記符号化映像内のピクチャ内のイベントにより変化する符号化パラメータと、を出力する映像符号化部と、
   前記符号量からイベントが発生したピクチャ群を判定し、前記符号化パラメータからピクチャにおける空間方向の発生したイベントの位置を検出するイベント検出部と、
   前記符号化映像と前記イベント検出部からのイベント検出結果とを蓄積する映像蓄積データベースと
   を備えた映像監視装置。
5. 前記イベント検出部と前記映像蓄積データベースとの間に挿入された領域特定部を備え、
   前記領域特定部は、前記イベント検出結果および前記ベースバンド映像から、前記ベースバンド映像内のイベントのあった詳細な位置および時刻を特定する領域特定結果を生成し、
   前記映像蓄積データベースは、前記符号化映像および前記領域特定結果を蓄積することを特徴とする請求項４に記載の映像監視装置。
6. 前記イベント検出部で用いられる符号化パラメータは、マクロブロックタイプおよび動きベクトルを含むことを特徴とする請求項１から請求項５までのいずれか１項に記載の映像監視装置。
7. 前記イベント検出部で用いられる符号化パラメータは、量子化パラメータを含むことを特徴とする請求項１から請求項５までのいずれか１項に記載の映像監視装置。
8. 前記イベント検出部で用いられる符号化パラメータは、イントラ予測モードを含むことを特徴とする請求項１から請求項５までのいずれか１項に記載の映像監視装置。
9. 前記イベント検出部で用いられる符号化パラメータは、動き補償予測のブロックサイズを含むことを特徴とする請求項１から請求項５までのいずれか１項に記載の映像監視装置。

Images