JP4458712B2 - 監視映像の高速再生方法及びそれらのプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、圧縮符号化された監視映像を高速再生する監視映像の高速再生方法及びそれに関連する技術に関する。
【０００２】
【従来の技術】
一般に、監視対象に向けて監視カメラを設置しておき、この監視カメラで長時間の監視映像を記録することが行われている。この長時間の監視映像は、監視対象に何らかの異変が起こった場合に、事後的に侵入者が映っている部分を見つけ出すためのものである。
【０００３】
ここで、監視映像は長時間に渡るものであるため、何らかの手法を用いて映像データを圧縮符号化した状態で保存することが望ましい。
【０００４】
監視映像のような動画像を圧縮符号化する方法としては、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法（第１従来技術）が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内（イントラ）符号化に適用される。また動き補償予測符号化（フレーム間（インター）符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００５】
図１５を参照しつつ従来の差分符号化方式の概略を説明する。監視カメラから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。
【０００６】
図１５に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。即ち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００７】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間（インター）符号化、即ちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００８】
このようなビットストリームの復号化処理の例を図１６を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００９】
このようなＭＰＥＧ方式に代表される動画像の圧縮符号化方式では、フレーム間の差分情報の圧縮をとることで高い圧縮効率を得ることができる。
【００１０】
この他、ＭｏｔｉｏｎＪＰＥＧ方式のように、静止画像の圧縮方式を採用し、かかる静止画像を時系列的に切り替えて表示することで、見かけ上、動画像のように再生する方式（第２従来技術）もある。
【００１１】
【発明が解決しようとする課題】
長時間の監視映像の場合、動きのない映像が大部分を占めているので、このような動きのない区間の再生が長時間続くと、侵入者の確認が苦痛となる。このため、超高速再生で侵入者の確認を行うことが行われる。
【００１２】
上述のＭＰＥＧ方式等の動画圧縮方式（第１従来技術）では、再生のために直前までのフレーム情報が必要となるため、逐次、時間順にフレームを伸長しなければならない。このため、逆再生のようにフレームを圧縮時とは時間軸に対して逆方向に再生する場合も、一旦時間軸通りにデータを伸長する必要がある。その結果、再生のために大量のメモリを必要とし、再生を開始するのに時間がかかってしまい、動画はぎこちなくなる。
【００１３】
また、監視映像の高速再生のようにフレームを間引きを行いながら再生する場合においても、同様に一旦時間軸通りに再生する必要がある。このため単位時間あたりに伸長を行うデータ量は通常の再生に比べて画像を間引きする分多くなる。現実として、ＭＰＥＧ方式の動画像を高速再生する場合、基準フレームを紙芝居のように再生しており、スムーズな動画は得られていない。
【００１４】
特に、一般的なＭＰＥＧ再生装置では監視映像の高速再生を行う場合、画面相関を取っていない基準フレームだけを再生するため、再生されるフレーム間の時間間隔が大きくなり、紙芝居のようになってしまう。このため検索の目的の画面が基準フレームにないとき、見落としてしまうことになる。
【００１５】
フレーム単位で画像を間引きした場合、数フレームしか映らなかった対象物は画面に再生されないこととなる。セキュリティ用途では侵入者がいたことを検索するために、その侵入者が数フレームしか映らなかった場合、侵入者を発見できないため、検索として使用することはできない。
【００１６】
このことは、ＭｏｔｉｏｎＪＰＥＧ方式等の第２従来技術のような静止画像の圧縮方式でも同様である。
【００１７】
このような問題に鑑みてこの発明が解決しようとするところは、監視映像を高い圧縮率で記録しつつ、侵入者の確認のための監視映像の高速再生において、その侵入者を苦痛を感じることなく容易に確認できる監視映像の高速再生方法及びそれに関連する技術を提供する点にある。
【００１８】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された監視映像を高速再生する高速再生システムであって、圧縮符号化時において、前記第１の差分が所定の閾値より大きい場合に、侵入者が映り込んでいる旨を示す侵入者フラグを前記各フレーム毎に付与する工程を有し、監視映像の高速再生時において、ａ）前記各フレーム中に前記侵入者フラグが付与されているか否かを検出する工程と、ｂ）前記ａ）の工程で前記侵入者フラグが検出されなかった場合に、所定の高速度で監視映像の再生を行う超高速モードを選択する一方、前記ａ）の工程で前記侵入者フラグが検出された場合に、前記高速度よりも遅い中速度の中高速モードを選択する工程と、ｃ）前記ｂ）の工程で前記超高速モードが選択された場合に、前記高速度に対応する複数の前記他のブロックの前記特定領域を抽出し復号化して再生する工程と、ｄ）前記ｂ）の工程で前記中高速モードが選択された場合に、前記中速度に対応する複数の前記他のブロックの前記特定領域を抽出し復号化して再生する工程と、ｅ）前記ｃ）またはｄ）の工程で抽出された前記特定領域のみを繋ぎ合わせて構成された画像を表示する工程とを備える。
【００１９】
請求項２に記載の発明は、請求項１に記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００２０】
【発明の実施の形態】
＜圧縮伸長装置の基本構成＞
まず、この発明の一の実施の形態に使用する圧縮伸長装置の基本的原理について説明する。この圧縮伸長装置は、図１に示したフローチャートの如く、監視映像Ｐ１の圧縮符号化の際に、侵入者がフレーム内に映っているかどうかを判定（Ｐ２）し、そのフレームの圧縮符号化したデータ内に、侵入者が映っていることを示す侵入者フラグＰ３を格納し、圧縮画像データＰ４を生成する。そして、図２の如く、圧縮画像データＰ５を、例えば時間軸に沿って順送りに高速再生するときに、圧縮符号化した際に格納された侵入者フラグ（図１中の符号Ｐ３）の有無を判別し、図２中の符号Ｐ６の処理において、侵入者が映っていないフレームに対しては超高速再生を行う一方、侵入者が映っているところでは再生速度を落としながら、後述のキーＧＯＢを復号（Ｐ７）して復号画像Ｐ８を再生することで、侵入者の確認が容易に行えるようにするものである。
【００２１】
図３は、この圧縮伸長装置の機能説明の一部として伸長再生機能を示すブロック図である。この伸長再生機能としては、図３の如く、監視映像である画像データを伸長するための演算器Ｕ１と、演算結果を画像に出力するビデオデコーダＵ２と、再生するフレームの順序を制御する中央演算処理装置（ＣＰＵ：コンピュータ）Ｕ３と、動画を保持する記憶装置Ｕ４とからなる。
【００２２】
中央演算処理装置Ｕ３は、記憶装置Ｕ４に格納された圧縮画像データを管理し、また監視映像の高速再生に応じた再生を行うための圧縮画像データの処理順序を決定し、またその圧縮画像データを伸長する演算器Ｕ１の動作モードを決定する。
【００２３】
中央演算処理装置Ｕ３の動作手順は、記憶装置Ｕ４内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、以下の各方法を実行するようになっている。
【００２４】
＜圧縮符号化方法＞
まず圧縮符号化方法を詳説する。図４は、この圧縮符号化方法を説明するための模式図、図５は、この圧縮符号化方法を実現するためのフローチャートである。
【００２５】
この圧縮符号化方法では、監視映像の各フレームの中から侵入者を検出して侵入者フラグを立てるようにする。フレーム内に侵入者がいるかどうかを判定する方法としては、元の監視映像の画像フレームと、後述する参照フレームとの差分の絶対値を、マクロブロックごとの和の平均値として求め、この平均値に基づいて侵入者の有無を判定する。
【００２６】
具体的に、この実施の形態の圧縮符号化方法は、直前のフレームを基準として差分をとるＭＰＥＧ方式とは異なり、図４のように、基準フレームを固定して圧縮するものであり、これにより、再生時の間引きや逆の時間方向への再生を比較的に容易に行っている。
【００２７】
この圧縮符号化方法では、図４の如く、例えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの監視カメラで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が所定の符号化器（図示せず）に入力される（図５中のステップＳＴ１）。尚、図５中のキーブロックメモリ２には、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ＝Group of Block：後に詳述する）から構成される参照フレームｆ０（図示省略）が格納されている。この参照フレームｆ０は、後述する復号化器のキーブロックメモリ１１に圧縮伝送された後、復号化されて格納されることになる。
【００２８】
そして、この圧縮符号化方法で使用される符号化器は、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっており、図４においては、入力フレームｆ１がキーフレームとなっている。
【００２９】
図５中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図４においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間符号化処理を実行する。
【００３０】
このステップＳＴ３の処理手順を図６に示している。図６に示すように、ステップＳＴ４でキーブロックメモリ２に格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。
【００３１】
次いで、図６中のステップＳＴ５で、差分絶対値和が所定の符号化方法判別閾値以下か否かが条件判定される。例えば、その差分値をΔＰｉ（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ１｜＋｜ΔＰ２｜＋…＋｜ΔＰｎ｜（ｎ：画素数）で表現される。差分絶対値和Ｓが符号化方法判別閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつ小ブロック（マクロブロック）単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３２】
他方、図６中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが所定の符号化方法判別閾値を超える場合は、ステップＳＴ７に処理が移行する。そして、入力フレームｆ１（キーフレーム）について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００３３】
そして、続くステップＳＴ３ａにおいて、フレーム中のフレーム内符号化を行う複数の小ブロック（マクロブロック）の差分絶対値和Ｓの平均値が、予め決定された所定の侵入者判定閾値を超えている場合には、ステップＳＴ３ｂにおいて、侵入者があったものとして、侵入者フラグを当該フレームのヘッダ部分等に付与する。逆に、ステップＳＴ３ａにおいて、フレーム中の複数の小ブロック（マクロブロック）の差分絶対値和Ｓの平均値が、予め決定された所定の侵入者判定閾値以下である場合には、侵入者フラグを付与しない。尚、ここで比較対象となっている侵入者判定閾値は、フレーム内符号化及びフレーム間符号化のいずれを採用するかを判別するための上記した符号化方法判別閾値より大きい値が望ましい。
【００３４】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣｂＣｒ座標系などを使用すればよい。例えば、ＹＣｂＣｒ座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃｂ，ＣｒとからなるＹＣｂＣｒ成分の座標系へと変換される。ＹＣｂＣｒ成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００３５】
フレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図６の処理）の実行後、図５中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図６）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７（図６）で算出された量子化係数は、図５中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図５に示したキーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号化器で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００３６】
次に、図４に示すように、上記フレームｆ１に続いてフレームｆ２が符号化器に入力される。そうすると、図５中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図４において、フレームｆ２はキーフレームでは無い。したがって、図５においてはステップＳＴ９に処理が移行する。
【００３７】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（以下「ＧＯＢ」と称す）に分割される。
【００３８】
ここで、ＧＯＢは、１フレームの画像において、垂直方向に分割するための分割単位としての特定領域を意味している。
【００３９】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（「キーＧＯＢ」と称す）が指定される。
【００４０】
ここで、図８（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図４に示すように、時間軸に沿って配列されることになる。
【００４１】
再びフレームｆ２の説明に戻る。この時点で、図５中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２に蓄積される。
【００４２】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図７はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図７に示すように、まずステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いで、ステップＳＴ１６でその差分絶対値和Ｓが符号化方法判別閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが符号化方法判別閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが符号化方法判別閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。
【００４３】
そして、続くステップＳＴ１４ａにおいて、フレーム中のフレーム内符号化を行う複数の小ブロック（マクロブロック）の差分絶対値和Ｓの平均値が、予め決定された所定の侵入者判定閾値を超えている場合には、次のステップＳＴ１４ｂにおいて、侵入者があったものとして侵入者フラグを当該フレームのヘッダ部分等に付与する。逆に、ステップＳＴ１４ａにおいて、フレーム中のフレーム内符号化を行う複数の小ブロック（マクロブロック）の差分絶対値和Ｓの平均値が、予め決定された所定の侵入者判定閾値以下である場合には、侵入者フラグを付与しない。尚、ここで比較対象となっている侵入者判定閾値は、フレーム内符号化及びフレーム間符号化のいずれを採用するかを判別するための上記した符号化方法判別閾値より大きい値が望ましい。
【００４４】
このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図５に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００４５】
次に、図４において、上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ１３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２にフレーム１枚分蓄積され、図４に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ２内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００４６】
このように、上記ステップＳＴ３でキーブロックメモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００４７】
またキーブロックメモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００４８】
そして、各フレーム中のフレーム内符号化が選択されたブロックの差分絶対値和Ｓの平均値を、所定の侵入者判閾値と比較することで、各フレーム中に侵入者が映り込んでいるかどうかを容易に判別し、これを侵入者フラグとして圧縮画像データ中に容易に付与できる。
【００４９】
＜通常再生時の復号化方法＞
次に、通常再生時の復号化方法を詳説する。図９は、この復号化方法を説明するための模式図、図１０は、この復号化方法を実現するためのフローチャートである。
【００５０】
まず、上記の圧縮符号化方法で符号化した圧縮画像データが、ビットストリームとなって復号化器に入力される（図１０中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記符号化器から所定の復号化器（図示せず）に、図９に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図１０中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図６のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や１６×１６画素程度の小ブロック単位で施される。ここで、図９中のキーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ１１（図１０）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、キーフレームメモリ１０（図１０）に格納される。
【００５１】
また、図９において、キーフレームｆ１の圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図５中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックはキーブロックメモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図４参照）が合成される。この合成された参照フレームＡは、復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図８（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、キーブロックメモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００５２】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図１０に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００５３】
図１１は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図１１に示すように、先ず８×８画素または１６×１６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。
【００５４】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図１０に示すステップＳＴ２３に処理が移行する。
【００５５】
他方、当該ブロックがキーＧＯＢに属する場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。
【００５６】
次いでステップＳＴ３３で、その差分絶対値和Ｓが符号化方法判別閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが符号化方法判別閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図１０に示すステップＳＴ２３に処理が移行する。
【００５７】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが符号化方法判別閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。
【００５８】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００５９】
次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００６０】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図１０に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００６１】
以上のキーＧＯＢ再量子化工程を図８に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図９に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。
【００６２】
次に、上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが符号化方法判別閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが符号化方法判別閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００６３】
このようにして、圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６４】
＜高速再生の復号化方法＞
次に、高速再生の処理手順について説明する。
【００６５】
まず、図２中の圧縮画像データＰ５に対して、符号Ｐ６の処理において、侵入者フラグによる再生速度の調整を行う。即ち、侵入者フラグが付与されていないフレームに対しては超高速再生を行う（以下「超高速モード」と称する）一方、侵入者フラグが付与されたフレームについては、超高速モードよりも再生速度を落とした速度でキーＧＯＢを復号（Ｐ７）して復号画像Ｐ８を再生する（以下「中高速モード」と称する）ように調整する。ここでは、説明の簡便のため、１フレームの画像を３個のＧＯＢに分割するものとし、超高速モードでは８倍速の高速再生（超高速再生）を、中高速モードでは４倍速の高速再生（中高速再生）を行うものとして説明する。
【００６６】
まず、符号Ｐ６の処理において、各フレーム毎の圧縮画像データに侵入者フラグが付与されていないフレームに対しては、８倍速の超高速モードでの処理を行う。これにより、監視映像中に侵入者が全く映っていないようなほとんど変化のない画像については、８倍速の超高速モードで再生することが可能である。
【００６７】
この超高速モードにおいては、図１２のように、記録されている監視映像の８個のフレームｆａ１〜ｆａ８に１回だけ画像ｇａを表示すればよい。また、各フレームｆａ１〜ｆａ８は３個ずつのＧＯＢに分割される。このため、この画像ｇａの全画面を構成するに足りる３個のキーＧＯＢ（ｋｇ１，ｋｇ２，ｋｇ３）のみを８個のフレームｆａ１〜ｆａ８のなかから抽出してキーブロックメモリ１１（図１０）に格納し、これらの３個のキーＧＯＢ（ｋｇ１，ｋｇ２，ｋｇ３）が蓄積された時点で、これらを繋ぎ合わせた画像ｇａを復号して、そのまま表示する。
【００６８】
このとき、抽出されたキーＧＯＢ（ｋｇ１，ｋｇ２，ｋｇ３）は、すべてイントラ符号化されているので、復号の際には、他の画像を参照する必要がない。
【００６９】
ここで、図１３は、通常再生時の復号化方法で８倍速の高速再生を実現した場合の例を示す図である。仮に図１３に示した方法を採用する場合、上述した通り、全てのキーＧＯＢ（ｋｈ１，ｋｈ２，ｋｈ３）に基づいて参照フレーム（図示せず）を生成し、この参照フレームに基づいてキーフレームに基づいてインター復号化（フレーム間復号化）及びイントラ復号化（フレーム内復号化）を行って得られた画像ｇａを表示しなければならない。
【００７０】
これに対して、この実施の形態では、図１２のように、表示すべき画像ｇａの全画面を構成するに足りる３個のキーＧＯＢ（ｋｇ１，ｋｇ２，ｋｇ３）を繋ぎ合わせた画像ｇａをそのまま復号化して表示するだけでよいので、図１３のように、通常再生時の復号化方法で８倍速の高速再生を実現する場合に比べて、処理効率が向上し、ＣＰＵ（図３中の符号Ｕ３）の処理負荷を軽減できる。
【００７１】
次に、図２中の符号Ｐ６の処理において、各フレーム毎の圧縮画像データに侵入者フラグが付与されているフレームに対しては、４倍速の中高速モードでの処理を行う。これにより、監視映像中に、例えば移動中の侵入者が映り込んだように、監視映像に変化が現れた場合においては、４倍速の中高速モードで再生することが可能である。
【００７２】
この中高速モードにおいては、図１２のように、記録されている監視映像の４個のフレームｆａ１〜ｆａ４に１回だけ画像ｇｂを表示すればよい。また、各フレームｆａ１〜ｆａ８は３個ずつのＧＯＢに分割される。このため、この画像ｇｂの全画面を構成するに足りる３個のキーＧＯＢ（ｋｉ１，ｋｉ２，ｋｉ３）のみを４個のフレームｆａ１〜ｆａ４のなかから抽出してキーブロックメモリ１１（図１０）に格納し、これらの３個のキーＧＯＢ（ｋｉ１，ｋｉ２，ｋｉ３）が蓄積された時点で、これらを繋ぎ合わせた画像ｇａを復号して、そのまま表示する。このとき、抽出されたキーＧＯＢ（ｋｉ１，ｋｉ２，ｋｉ３）は、すべてイントラ符号化されているので、復号の際には、他の画像を参照する必要がない。したがって、図１３のように、通常再生時の復号化方法で８倍速の高速再生を実現する場合に比べて、処理効率が向上し、ＣＰＵ（図３中の符号Ｕ３）の処理負荷を軽減できる点は、超高速モードと同様である。
【００７３】
尚、このように、表示すべき画像ｇｂの全画面を構成するに足りる３個のキーＧＯＢ（ｋｉ１，ｋｉ２，ｋｉ３）を繋ぎ合わせた画像ｇｂをそのまま復号化して表示する場合、撮像した時点の異なるキーＧＯＢ（ｋｉ１，ｋｉ２，ｋｉ３）を１つのフレーム（画像ｇｂ）に表示することになる。したがって、その表示されたフレームの画像ｇｂ内に侵入者が映っている場合、表示される画像の中で、動きのあった部分（侵入者）は、図１４中の符号２２ａ〜２２ｃのように歪んだ形になる。
【００７４】
しかし、監視映像における高速再生では、侵入者の存在の有無を確認するために必要な画像が得られれば足り、画像が不自然であるかどうかといった美観を考慮する必要がない。したがって、表示される画像の中で、動きのあった部分（侵入者）２２ａ〜２２ｃが歪んだ形になっても差し支えない。むしろ、画像中に侵入者２２ａ〜２２ｃが映る面積が大きくなり、中高速モードでの目視による侵入者の確認を容易に行うことが可能となる。
【００７５】
尚、ここでは、時間軸に沿った順送り高速再生について説明したが、時間軸に対して逆方向の逆送り高速再生の場合にも同様の復号処理手順で行えばよい。
【００７６】
以上のように、監視映像Ｐ１の圧縮符号化の際に、侵入者がフレーム内に映っているかどうかを判定（Ｐ２）し、そのフレームの圧縮符号化したデータ内に、侵入者が映っていることを示す侵入者フラグＰ３を格納し、圧縮画像データＰ４を生成しておき、圧縮画像データＰ５を高速再生する場合に、圧縮符号化した際に格納された侵入者フラグ（図１中の符号Ｐ３）の有無を判別し、図２中の符号Ｐ６の処理において、侵入者が映っていないフレームに対しては超高速再生を行う一方、侵入者が映っているところでは中高速モードで再生速度を落としながら、キーＧＯＢ（ｋｉ１，ｋｉ２，ｋｉ３）のみを復号（Ｐ７）して復号画像Ｐ８を再生するので、動きのない映像部分について超高速モードで高速再生する一方、侵入者が映り込んだ映像部分については中高速モードで高速再生することができる。したがって、事後的に監視映像を高速再生する際の苦痛を低減でき、侵入者を容易に確認することができる。
【００７７】
【発明の効果】
請求項１及び請求項２に記載の発明によれば、監視映像の圧縮符号化の際に、侵入者がフレーム内に映っているかどうかを、第１の差分が所定の閾値（侵入者判定閾値）より大きいか否かで判定し、侵入者がフレーム内に映っていると判断したときに、そのフレームの圧縮符号化したデータ内に、侵入者が映っていることを示す侵入者フラグを格納して圧縮画像データを生成しておき、圧縮画像データを高速再生する場合に、圧縮符号化した際に格納された侵入者フラグの有無を判別し、侵入者が映っていないフレームに対しては超高速再生を行う一方、侵入者が映っているところでは中高速モードで再生速度を落としながら、特定領域（キーＧＯＢ）のみを復号化して高速再生するので、動きのない映像部分について超高速モードで高速再生する一方、侵入者が映り込んだ映像部分については中高速モードで高速再生することができる。したがって、事後的に監視映像を高速再生する際の苦痛を低減でき、侵入者を容易に確認することができる。
【００７８】
この場合、圧縮符号化時においてフレーム間符号化とフレーム内符号化の選択のための判断を目的とした第１の差分を、侵入者判別の目的でそのまま兼用できるため、処理効率がよい。
【００７９】
そして、フレーム内符号化とフレーム間の差分を用いた符号化とが各フレーム内に混在している場合に、フレーム内符号化を行った特定領域のみを繋ぎ合わせて表示するだけであるため、通常再生時画像と同様に復号化してから間引きする場合に比べて、処理効率が大幅に向上する。
【図面の簡単な説明】
【図１】この発明の一の実施の形態に係る圧縮符号化方法の概要を示すためのフローチャートである。
【図２】この発明の一の実施の形態に係る復号化方法の概要を示すためのフローチャートである。
【図３】この発明の一の実施の形態で使用される圧縮伸長装置の伸長再生機能を示すブロック図である。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図７】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図８】４つのブロック領域に分割された各フレームを示す説明図である。
【図９】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図１０】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図１１】再量子化処理を説明するためのフローチャートである。
【図１２】この発明の一の実施の形態における高速再生時の処理動作を示す図である。
【図１３】通常再生時の復号手順を経て間引き処理をする動作を示す図である。
【図１４】この発明の一の実施の形態において侵入者が映り込んでいる場合の高速再生時の画像を示す図である。
【図１５】従来の符号化方法を説明するためのフローチャートである。
【図１６】従来の符号化方法を説明するためのフローチャートである。
【符号の説明】
１，１０ キーフレームメモリ
２，１１ キーブロックメモリ
ｆ１，ｆａ１ キーフレーム
ｆ２〜ｆ５，ｆａ２〜ｆａ８ フレーム
ｋｇ１〜ｋｇ３，ｋｉ１〜ｋｉ３ キーＧＯＢ

Claims (2)

1. 複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された監視映像を高速再生する高速再生システムであって、圧縮符号化時において、前記第１の差分が所定の閾値より大きい場合に、侵入者が映り込んでいる旨を示す侵入者フラグを前記各フレーム毎に付与する工程を有し、
   監視映像の高速再生時において、
   ａ）前記各フレーム中に前記侵入者フラグが付与されているか否かを検出する工程と、
   ｂ）前記ａ）の工程で前記侵入者フラグが検出されなかった場合に、所定の高速度で監視映像の再生を行う超高速モードを選択する一方、前記ａ）の工程で前記侵入者フラグが検出された場合に、前記高速度よりも遅い中速度の中高速モードを選択する工程と、
   ｃ）前記ｂ）の工程で前記超高速モードが選択された場合に、前記高速度に対応する複数の前記他のブロックの前記特定領域を抽出し復号化して再生する工程と、
   ｄ）前記ｂ）の工程で前記中高速モードが選択された場合に、前記中速度に対応する複数の前記他のブロックの前記特定領域を抽出し復号化して再生する工程と、
   ｅ）前記ｃ）またはｄ）の工程で抽出された前記特定領域のみを繋ぎ合わせて構成された画像を表示する工程と
   を備える監視映像の高速再生方法。
2. 請求項１に記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。

Images