JP5131980B2 - 画像復号・表示装置 - Google Patents

Description

本発明は、デジタル圧縮された画像データを復号し、復号した画像の表示を行う画像復号・表示装置に関する。

従来の画像復号・表示装置には、監視対象とする撮像機器よりリアルタイム監視用に標準画像を取得して表示端末に表示し、画像中に動き等のイベントが発生した際には撮像機器より別途高解像度画像を取得して表示端末上の別領域に全体を表示するようにしたものがある。

また、高解像度画像の全体表示領域とは別の領域に部分拡大表示用の複数の領域を設け、表示する拡大画像を高解像度画像中の任意の箇所から指定できる機能を設けることにより、標準画像でリアルタイム監視をしつつ、注視するべきイベントが発生した場合には高解像度の全体画像及び部分画像を同一画面に表示し、効果的に監視を行うと言う方法が考案されている（例えば特許文献１参照）。

特開２００６−２４５７４６号公報

しかしながら、従来の画像復号・表示装置においては、１つの表示端末上に、ある１つの撮像機器から得られた画像を複数領域に表示するため、１つの表示端末上に複数の撮像機器から得られた画像を同時に表示して監視を行う際に、別領域に表示されるイベント等により表示された高解像度の部分拡大画像がどの画面表示に関する画像であるかを視認し難いという問題がある。

本発明は、かかる事情に鑑みてなされたものであり、１つの表示端末上に複数の撮像機器から得られた画像を同時に表示して監視を行う際に、同時に複数の注視するべきイベントが発生した場合でも、どの画面でイベントが発生したかを容易に視認することができる画像復号・表示装置を提供することを目的とする。

本発明の画像復号・表示装置は、複数のチャンネルのデジタル画像データを取り込むインタフェースと、前記インタフェースを介して、チャンネル毎に入力される、少なくとも２種のデジタル圧縮された画像データを復号する複数の復号器と、前記複数の復号器に対応し、対応する前記復号器から出力された少なくとも２種の画像データを各々保持する複数のメモリと、前記複数の復号器に対応し、対応する前記復号器の復号時の動き情報により注目領域を各々生成する複数の注目領域生成部と、前記複数の注目領域生成部に対応し、対応する前記注目領域生成部で注目領域が生成された場合に、対応する前記メモリの中に存在する２種以上の画像データから１つを選択し、前記注目領域に該当する画像を切り出して注目領域画像を生成し、他の画像データ上に各々合成させる複数の注目領域合成部と、前記チャンネル毎に前記メモリ又は前記注目領域合成部から出力される画像データを合成して出力する合成部と、を備えた。

この構成により、複数の監視画像を１つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。

また、上記構成において、前記注目領域合成部の代わりに、それぞれが、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を生成し、対応する前記メモリの中に存在する他の画像データと関連付けて画像を生成する複数の注目画像形成部を備える。

この構成により、複数の監視画像を１つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、通常監視用の領域を覆い隠すこと無く、どの監視対象にイベントが発生したかを視認し易くすることができる。

本発明の監視システムは、上記画像復号・表示装置と、それぞれが２種類以上の異なる画質のデジタル圧縮を可能とし、デジタル圧縮した画像を出力する複数のカメラと、前記画像復号・表示装置から出力される画像データを視覚表示する表示端末と、を備えた。

この構成により、複数の監視画像を１つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。

本発明によれば、複数の監視画像を１つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる画像復号・表示装置を提供することができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像復号・表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像復号・表示装置１００は、監視システムに用いたものであり、インタフェース１０１と、デコーダ（復号器）１０２ａ〜１０２ｄと、メモリ１０３ａ〜１０３ｄと、注目領域生成部１０４ａ〜１０４ｄと、注目領域合成部１０５ａ〜１０５ｄと、操作入力部１０７と、合成部１０６と、注目領域外部設定部１０８とを備える。

インタフェース１０１は、外部からの複数のチャンネルのデジタル画像データを取り込む。デコーダ１０２ａ〜１０２ｄは、チャンネル毎に設けられ、インタフェース１０１により入力される少なくとも２種のデジタル圧縮された画像データをデコード（復号）する。メモリ１０３ａ〜１０３ｄは、デコーダ１０２ａ〜１０２ｄのそれぞれと１対１に対応し、それぞれが、対応するデコーダ１０２ａ〜１０２ｄから出力された少なくとも２種の画像データを一時的に保持する。注目領域生成部１０４ａ〜１０４ｄは、デコーダ１０２ａ〜１０２ｄのそれぞれと１対１に対応し、それぞれが、対応するデコーダ１０２ａ〜１０２ｄのデコード時の動き情報及び注目領域外部設定部１０８より設定される情報により注目領域を生成する。

注目領域合成部１０５ａ〜１０５ｄは、注目領域生成部１０４ａ〜１０４ｄのそれぞれと１対１に対応し、それぞれが、対応する注目領域生成部１０４ａ〜１０４ｄで注目領域が生成された場合に、対応するメモリメモリ１０３ａ〜１０３ｄの中に存在する２種以上の画像データから１つを選択し、対応する注目領域生成部１０４ａ〜１０４ｄで生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応するメモリメモリ１０３ａ〜１０３ｄの中に存在する他の画像データ上に合成させる。合成部１０６は、拡大縮小機能を持ち、メモリ１０３ａ〜１０３ｄ及び注目領域合成部１０５ａ〜１０５ｄのそれぞれから出力される画像データを合成して監視モニタ（表示端末）１２０へ出力する。操作入力部１０７は、ユーザからの外部入力を受け付け、注目領域外部設定部１０８に入力情報を伝える。注目領域外部設定部１０８は、操作入力部１０７より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部１０４ａ〜１０４ｄのそれぞれに設定する。

監視システムを構成するカメラ１１０ａ〜１１０ｄは、ネットワーク接続機能を有し、また２種類以上の異なる画質のデジタル圧縮が可能であり、ネットワーク１１１を介してインタフェース１０１にデジタル圧縮した画像を入力する。

本実施の形態の画像復号・表示装置１００は以上のように構成されており、以下にその動作を説明する。図２は、インタフェース１０１を経由して入力される同じカメラ１００ａより得られた２種類の異なるデジタル圧縮された画像データをデコーダ１０２ａによりデコードし、メモリ１０３ａに格納した画像の例を示す図である。これより、カメラ１００ａより入力された画像に関する処理をチャンネルａの処理と表記する。同様に、カメラ１００ｂより入力された画像に関する処理をチャンネルｂの処理、カメラ１００ｃにより入力された画像に関する処理をチャンネルｃの処理、カメラ１００ｄにより入力された画像に関する処理をチャンネルｄの処理と表記する。図２において、２２０は同じコーデック、同じ圧縮率でデジタル圧縮された画像の組の例を示しており、リアルタイム監視に使用する動き保障を用いた動画像コーデックの例である。２００は時刻（ｔ１）における画像、２０１は時刻（ｔ２）における画像を示している。

一方、２１１は、２２０の画像の組とはコーデック、圧縮率、解像度の３つの条件の内、いずれかが異なる条件でデジタル圧縮された時刻（ｔ２）における画像を示している。２１１は２０１と同じ撮像範囲、同じ時刻（ｔ２）の画像データであるが、２０１と比較してコーデックが異なり、圧縮率を低く、解像度を高く設定し、主観画質として２１１の方が優れており、時刻（ｔ２）の画像データのみ存在する例を示している。

図３は、２２０の画像の組の例における人の移動の様子を示す図である。同図において、３００は時刻（ｔ１）の画像２００中の人物を抜粋した図であり、格子状の模様は２００の画像のマクロブロック（以下“ＭＢ”と呼ぶ）の境界線を表している。同様に、３０１は時刻（ｔ２）の画像２０１中の人物を抜粋した図であり、格子状の模様は２０１の画像のＭＢ境界を表している。３２１で示している模様付きＭＢの組は、３２２で示している模様付きＭＢの組のデコード時に動き保障で使用したブロックの組を表している。

図４は、３２１のＭＢの組及び３２２のＭＢの組を抜き出し、２０１の画像のＭＢ境界と重ね合わせた図である。３２２の各ＭＢは、３１１の各ＭＢを参照してデコードを行うため、３２１のＭＢの組及び３２２のＭＢの組の位置の差がこの例における時刻（ｔ１）から時刻（ｔ２）までの人の動きを表しており、この動きを注目領域の生成に使用する。

次に、図５のフローチャート及び図６を用いて注目領域生成部１０４ａにおける注目領域の生成方法の例について説明する。例として、インタフェース１０１を経由して入力される、カメラ１００ａより得られたチャンネルａの２種類の異なるデジタル圧縮された画像データの内、リアルタイム監視で使用する、２２０で示している画像の組を用いて注目領域の生成過程を説明する。

ステップＳ５０１…メモリ１０３ａに格納されたデコード後の画像の組の中より、注目領域の生成に使用する画像の組を選択する。この実施の形態の説明では、２２０の画像の組を選択する。
ステップＳ５０２…ステップＳ５０１で選択した画像の組より注目領域を求める基準の画像を選択する。この実施の形態の説明では、時刻（ｔ２）の画像２０１を基準の画像とする。

ステップＳ５０３…ステップＳ５０２で選択した画像の、あるＭＢに対し、そのＭＢが動き保障を使用しているかどうかを判定する。動き保障を使用していればステップＳ５０４に、動き保障を使用していなければステップＳ５０６に遷移する。
ステップＳ５０４…動き保障を使用しているＭＢに関して、デコーダ１０２ａよりデコード情報を取得し、動き保障で使用した画像及びＭＢの位置情報を得る。
ステップＳ５０５…ステップＳ５０４で取得した動き保障の情報を用いて、動き情報による注目領域を決定する（詳細は後ほど説明する）。

ステップＳ５０６…ステップＳ５０２で選択した画像中の全ＭＢに対する処理が完了していればステップＳ５０７に遷移し、処理が完了していなければステップＳ５０３に遷移してＭＢに対する処理を継続する。
ステップＳ５０７…注目領域外部設定部１０８より、注目領域の外部設定が存在する場合にはステップＳ５０８に、注目領域の外部設定が存在しない場合には動き保障情報で得られた注目領域を注目領域情報として出力して終了する。
ステップＳ５０８…動き保障情報で得られた注目領域と外部設定により得られた注目領域とを重ね合わせ、注目領域情報として出力して終了する。注目領域情報は複数存在しても良い。

＜ステップＳ５０５の説明＞
図６を用いて、動き情報による注目領域決定（ステップＳ５０５）のアルゴリズムを説明する。同図において、６０２は、演算対象ＭＢの動き保障使用判定（ステップＳ５０３）で、動き保障を使用していると判定された図２の２０１の画像中のＭＢである。６０１は、動き保障で使用した画像及びＭＢ位置取得（ステップＳ５０４）で取得した、６０２の動き保障演算時に使用したＭＢの位置情報である。６０３の矢印は、６０１、６０２の中心座標同士を結んだ直線であり、この直線上に存在するＭＢを、６０２、６０１と共に、動き情報による注目領域に加える。

図７は、図５のフローチャートにより得られた、画像２２０の組の動き情報による注目領域を示す図である。この図において、７０２は、基準画像である時刻（ｔ２）における動き保障を使用したＭＢを表しており、７０１は、７０２のＭＢが動き保障演算時に参照したＭＢを表している。７０３は、図５の動き情報による注目領域決定（ステップＳ５０５）により追加された動き情報による注目領域であり、７０１、７０２、７０３全ての領域を合わせた領域７００が、画像２２０の組により得られる、時刻（ｔ２）における注目領域となる。

次に、図８のフローチャート及び図９を用いて、注目領域合成部１０５ａで生成される合成画像の例について説明する。
ステップＳ８０１…注目領域生成部１０４ａにおいて、注目領域が生成されていればステップＳ８０２に遷移し、生成されていなければ処理を終了し、画像の合成は行わない。

ステップＳ８０２…ステップＳ５０２で選択した注目領域を求めた基準の画像をメモリ１０３ａより習得する。この実施の形態では、画像２０１となる。
ステップＳ８０３…ステップＳ８０２で取得した基準画像と同じ時刻、同じ時刻の画像が存在しない場合には、基準画像に一番近い時刻の異なる画質の画像データをメモリ１０３ａより習得する。この実施の形態では、画像２１１となる。
ステップＳ８０４…注目領域生成部１０４ａより注目領域の生成結果を取得する。複数の注目領域が存在した場合、この処理で選択することも可能である。この実施の形態では、７００の領域１つのみであり、この領域を取得する。

ステップＳ８０５…ステップＳ８０２で取得した基準画像と、ステップＳ８０３で取得した対応画像を比較し、画角が異なればステップＳ８０６に遷移し、画角が等しければステップＳ８０７に遷移する。この実施の形態では、ステップＳ８０３で取得した画像２１１の方が、基準画像２０１よりも画角が大きいため、ステップＳ８０６に遷移する。

ステップＳ８０６…ステップＳ８０３で取得した対応画像を拡大・縮小し、ステップＳ８０２で取得した基準画像の大きさに合わせる。この実施の形態では、対応画像２１１を縮小して基準画像２０１の画角に合わせ、対応画像９１１を作成する。

ステップＳ８０７…対応画像より注目領域に相当する領域の切り出しを行う。この実施の形態では、基準画像２０１と同じ画角の対応画像９１１に対して、注目領域の生成結果７００を適応し、対応領域中の注目領域９２１を取得する。

ステップＳ８０８…基準画像に対し、ステップＳ８０７で取得した対応領域中の注目領域を合成する。この実施の形態では、基準画像２０１に対し、ステップＳ８０７で取得した対応領域中の注目領域９２１を対応位置へ合成し、合成画像９０１を取得する。合成した境界線に相当する９２２の外枠は、強調させるために色付きの枠（例えば赤枠）を表示する。

以上の例はインタフェース１０１を経由して入力される同じカメラ１１０ａより得られたチャンネルａの２種類の異なるデジタル圧縮された画像データに関しての説明としているが、カメラ１１０ｂ〜カメラ１１０ｄより得られるチャンネルｂ、チャンネルｃ、チャンネルｄの画像データに関しても処理の内容は同様である。

図１０は、合成部１０６で合成され、監視モニタ１２０に出力される４画で構成された合成画像の例を示す図である。同図において、１０００ａは、チャンネルａの注目領域合成画像９０１であり、合成部１０６により縮小され、左上に合成されている例である。１０００ｂ及び１０００ｃは、チャンネルｂ、チャンネルｃの画像の例を示しているが、カメラ１１０ｂ、カメラ１１０ｃから得られた画像データ中の時刻（ｔ）における画像に動き保障を使用したＭＢが存在せず、且つ注目領域外部設定部１０８から注目領域生成部１０４ｂ、１０４ｃへの入力も存在しない場合の例を示している。注目領域生成部１０４ｂ、１０４ｃで注目領域が生成されなかったため、合成部１０６へはメモリ１０３ｂ、メモリ１０３ｃより時刻（ｔ）の画像がそのまま入力される。

１０００ｄは、カメラ１１０ｄより得られた画像データによる画像の例を示している。１００１の領域は、操作入力部１０７によりパラメタが入力され、注目領域外部設定部１０８において注目領域情報に変換され、注目領域生成部１０４ｄへ入力された注目領域の例である。一方、領域１００２は、１０００ａの画像と同様に、動き情報による注目領域であり、注目領域生成部１０４ｄからは、１００１と１００２が同じ注目領域情報として注目領域合成部１０５ｄに渡され、１０００ｄの例の様に注目領域が２つ存在した形で表示される。合成部１０６では、１０００ａ、１０００ｂ、１０００ｃ、１０００ｄの画像を縮小して合成し、合成画像１０００を生成する。

このように本実施の形態の画像復号・表示装置１００によれば、複数の監視画像を１つの監視モニタ１２０に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で、監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。

（実施の形態２）
図１１は、本発明の実施の形態２に係る画像復号・表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像復号・表示装置１３０は、インタフェース１０１と、デコーダ１０２ａ〜１０２ｄと、メモリ１０３ａ〜１０３ｄと、注目領域生成部１０４ａ〜１０４ｄと、注目画像形成部１１０５ａ〜１１０５ｄと、合成部１０６と、操作入力部１０７と、注目領域外部設定部１０８とを備える。

インタフェース１０１は、外部からの複数のチャンネルのデジタル画像データを取り込む。デコーダ１０２ａ〜１０２ｄは、チャンネル毎に設けられ、インタフェース１０１により入力される少なくとも２種のデジタル圧縮された画像データをデコードする。メモリ１０３ａ〜１０３ｄは、デコーダ１０２ａ〜１０２ｄのそれぞれと１対１に対応し、それぞれが、対応するデコーダ１０２ａ〜１０２ｄから出力された少なくとも２種の画像データを一時的に保持する。注目領域生成部１０４ａ〜１０４ｄは、デコーダ１０２ａ〜１０２ｄのそれぞれと１対１に対応し、それぞれが、対応するデコーダ１０２ａ〜１０２ｄのデコード時の動き情報及び注目領域外部設定部１０８より設定される情報により注目領域を生成する。

注目画像形成部１１０５ａ〜１１０５ｄは、拡大縮小機能を持ち、それぞれが、対応する注目領域生成部１０４ａ〜１０４ｄで注目領域が生成された場合には、メモリ１０３ａ〜１０３ｄの中に存在する２種以上の画像データから１つを選択し、対応する注目領域生成部１０４ａ〜１０４ｄで生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応するメモリ１０３ａ〜１０３ｄの中に存在する他の画像データを縮小した上で、注目領域画像を関連付けて画像を生成する。合成部１０６は、拡大縮小機能を持ち、メモリ１０３ａ〜１０３ｄ及び注目画像形成部１１０５ａ〜１１０５ｄのそれぞれから出力される画像データを合成して監視モニタ（表示端末）１２０へ出力する。操作入力部１０７は、ユーザからの外部入力を受け付け、注目領域外部設定部１０８に入力情報を伝える。注目領域外部設定部１０８は、操作入力部１０７より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部１０４ａ〜１０４ｄのそれぞれに設定する。

合成部１０６は、拡大縮小機能を持ち，注目画像形成部１１０５ａ〜１１０５ｄより出力される画像データを合成して表示端末に出力する。操作入力部１０７は、ユーザからの外部入力を受け付け、注目領域外部設定部１０８に入力情報を伝える操作を行う。注目領域外部設定部１０８は、操作入力部１０７より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部１０４ａ〜１０４ｄへ伝える。カメラ１１０ａ〜１１０ｄは、２種類以上の異なる画質のデジタル圧縮が可能とし、ネットワーク１１１を介し、インタフェース１０１にデジタル圧縮した画像を入力する。

以上のように構成された画像復号・表示装置１３０について、図面を用いてその動作を説明する。インタフェース１０１を経由して入力される同じカメラ１００ａより得られた２種類の異なるデジタル圧縮された画像データの処理に関して、メモリ１０３ａへの格納、注目領域生成部１０４ａにおける注目領域の生成までの処理は本発明の実施の形態１と同じであるため、説明は省略する。

図１２のフローチャート及び図１３、図１４を用いて、注目画像形成部１１０５ａにおける監視画像の生成方処理について説明する。例として、インタフェース１０１を経由して入力される、カメラ１００ａより得られたチャンネルａの２種類の異なるデジタル圧縮された画像データの内、リアルタイム監視で使用する、２２０で示している画像の組を用いて監視画像の生成過程を説明する。

ステップＳ１２０１…ステップＳ５０２で選択した注目領域を求めた基準画像をメモリ１０３ａより習得する。この実施の形態では、画像２０１となる。

ステップＳ１２０２…ステップＳ１２０１で取得した画像と同じ大きさのプレーン１３００を用意し、ステップＳ１２０１で取得した基準画像を縦横共に半分に縮小した上で、１３０１へ配置する（配置位置の詳細は後ほど説明する）。

ステップＳ１２０３…注目領域生成部１０４ａより、注目領域の生成結果の有無を取得し、存在する場合にはステップＳ１２０４へ遷移し、存在しない場合には処理を終了する。

ステップＳ１２０４…ステップＳ１２０１で取得した基準画像と同じ時刻、同じ時刻の画像が存在しない場合には、基準画像に一番近い時刻の異なる画質の画像データをメモリ１０３ａより習得する。この実施の形態では、画像２１１となる。

ステップＳ１２０５…注目領域生成部１０４ａより、注目領域の生成結果を取得する。複数の注目領域が存在した場合、この処理で選択することも可能である。この実施の形態では、７００の領域１つのみであり、この領域を取得する。

ステップＳ１２０６…ステップＳ１２０５で取得した注目領域の生成結果を用いて、ステップＳ１２０２で配置した縮小した基準上に、注目領域の生成結果も同様に縮小し、赤枠を表示させる。この実施の形態では、１３０２となる。

ステップＳ１２０７…ステップＳ１２０４で取得した対応画像より、ステップＳ１２０５で取得した注目領域に相当する領域の切り出しを行う。この実施の形態では、対応画像２１１に対して、注目領域の生成結果７００の拡大・縮小を対応画像２１１の大きさに合わせて実施し、対応領域中の注目領域画像１３０３を生成する。

ステップＳ１２０８…ステップＳ１２０７で生成した対応画像の注目領域画像が、１３００の表示用プレーンから基準画像の表示領域の１３０１を除いた領域の何れかの位置に、１３０１の画像に重なる事無く表示可能な場合にはステップＳ１２１０に遷移し、１３０１の画像に重なる場合には、ステップＳ１２０９に遷移する。

ステップＳ１２０９…ステップＳ１２０７で生成した注目領域画像を縦横の比率を維持しつつ縮小させる。縮小させるサイズは、縦のサイズが、１３００の表示用プレーンの上辺と、表示領域の１３０１の上辺の差と等しくなるまで行う。

ステップＳ１２１０…ステップＳ１２０７及びステップＳ１２０９で生成した注目領域画像を１３００の表示用プレーンに配置する。配置は、表示用領域の左上から行い、２つ目以降の注目領域画像が存在する場合にはその右に配置する。この実施の形態では、１３０３の位置に配置する。

ステップＳ１２１１…ステップＳ１２０６で表示した基準画像上の枠１３０２の中心点と、ステップＳ１２１０で配置した注目領域画像の中心点とを線１３０４で結ぶ。

図１２のフローチャートを用いて注目領域が存在しないチャンネルｂに対して画像を生成すると、ステップＳ１２０３の分岐より下の処理を実行しないため、図１５の１５００の様に、基準画像の縮小画像がステップＳ１２０２により配置されるだけの画像が生成される（配置位置の詳細は後ほど説明する）。

＜ステップＳ１２０２配置領域の詳細＞
画像の配置方法は任意で変更できるが、出画画像を４画で構成する場合、合成部１０６より出画される監視画像は、例えば図１４の１４００の様に配置する。領域１４０１はチャンネルａ用の表示領域、領域１４０２はチャンネルｂ用の表示領域、領域１４０３はチャンネルｃ用の表示領域、領域１４０４はチャンネルｄ用の表示領域とし、各サイズは表示用領域１４００を縦横共に２等分したサイズとする。領域１４０１中に存在する１４１１は、チャンネルａの標準画像の表示用領域であり、この例では領域１４０１の縦横共に２等分したサイズとし、領域１４１１を除いた領域１４０１部分を注目画像表示用領域とする。

図１６に合成部１０６で合成され、モニタ１２０に出力される４画で構成された合成画像の例を示す。１６００ａ、１６００ｂ、１６００ｃ、１６００ｄは、それぞれチャンネルａ、チャンネルｂ、チャンネルｃ、チャンネルｄの画像の例を示している。チャンネルａ、チャンネルｄに関しては、注目領域１６０１、１６０２、１６０３が存在するため、対応画像の注目領域の切り出し画像が基準画像とは異なる画質で、対応画像の注目画像表示領域に１６１１、１６１２、１６１３の様に表示される。対応画像の注目領域の切り出し画像と、基準画像中の注目領域の対応を視認しやすくするため、２つの領域の中心点を結ぶ線も１６２１、１６２２、１６２３の様に表示される。チャンネルｂ、チャンネルｃに関しては、カメラ１１０ｂ、カメラ１１０ｃから得られた画像データ中の時刻（ｔ）における画像に動き保障を使用したＭＢが存在せず、且つ注目領域外部設定部１０８から注目領域生成部１０４ｂ、１０４ｃへの入力も存在しない場合の例を示している。注目領域生成部１０４ｂ、１０４ｃで注目領域が生成されなかったため、合成部１０６へは注目画像形成部１１０５ｂ、１１０５ｃで縮小された時刻（ｔ）の画像が入力される。合成部１０６では１６００ａ、１６００ｂ、１６００ｃ、１６００ｄの画像を合成し合成画像１０００を生成する。

このように本実施の形態の画像復号・表示装置１３０によれば、複数の監視画像を１つの監視モニタ１２０に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した際にも監視を行っている画像とは異なる画質で、別の領域にイベント画像を関連付けて表示することにより、通常監視用の領域を覆い隠すこと無く、どの監視対象のどの位置にイベントが発生したかを視認しやすくすることができる。

なお、以上の説明では、カメラ１１０ａ〜１１０ｄの入力及びデコーダ１０２ａ〜１０２ｄ、メモリ１０３ａ〜１０３ｄ、注目領域生成部１０４ａ〜１０４ｄ、注目領域合成部１０５ａ〜１０５ｄ、注目画像形成部１１０５ａ〜１１０５ｄの数を４で構成した例について説明したが、その他の入力数についても同様に実施可能である。

また、以上の説明では、注目領域生成部１０４ａ〜１０４ｄにおいて、動きによる注目領域の生成の際に、動き保障で使用したＭＢの対応により生成したが、その他の動き検出方法についても同様に実施可能である。

本発明は、複数の監視画像を１つの監視モニタに表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で、監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認しやすくすることができるといった効果を有し、複数の入力画像を同時に撮像装置に表示して監視を行う監視システムなどへの適用が可能である。

本発明の実施の形態１に係る画像復号・表示装置の概略構成を示すブロック図 図１の画像復号・表示装置のカメラより複数のデジタル圧縮された画像が入力された場合のメモリ上にデコードされた画像の具体例を示す図 図１の画像復号・表示装置のメモリ上にデコードされたある画像の組における物体の移動の具体例を示す図 図１の画像復号・表示装置のメモリ上にデコードされたある画像の組における対応マクロブロックの動きの具体例を示した図 図１の画像復号・表示装置における注目領域生成の動作説明のためのフロー図 図１の画像復号・表示装置における動きによる注目領域生成の説明図 図１の画像復号・表示装置における注目領域生成による注目領域生成の結果を示す図 図１の画像復号・表示装置における注目領域合成の動作説明のためのフロー図 図１の画像復号・表示装置における注目領域合成の具体例を示す図 図１の画像復号・表示装置における合成画像の具体例を示す図 本発明の実施の形態２に係る画像復号・表示装置の概略構成を示すブロック図 図１１の画像復号・表示装置における注目領域形成部の動作説明のためのフロー図 図１１の画像復号・表示装置における注目領域形成部の出力結果の具体例を示す図 図１１の画像復号・表示装置における４画面出力時の画像の構成例を示す図 図１１の画像復号・表示装置における注目領域形成部の出力結果の具体例を示す図 図１１の画像復号・表示装置における合成画像の具体例を示す図

符号の説明

１００、１３０ 画像復号・表示装置
１０１ インタフェース
１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ デコーダ
１０３ａ、１０３ｂ、１０３ｃ、１０３ｄ メモリ
１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ 注目領域生成部
１０５ａ、１０５ｂ、１０５ｃ、１０５ｄ 注目領域合成部
１０６ 合成部
１０７ 操作入力部
１０８ 注目領域外部設定部
１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ カメラ
１１１ ネットワーク
１２０ 監視モニタ
１１０５ａ、１１０５ｂ、１１０５ｃ、１１０５ｄ 注目画像形成部

Claims (4)

1. 複数のチャンネルのデジタル画像データを取り込むインタフェースと、
   前記インタフェースを介して、チャンネル毎に入力される、少なくとも２種のデジタル圧縮された画像データを復号する複数の復号器と、
   前記複数の復号器に対応し、対応する前記復号器から出力された少なくとも２種の画像データを各々保持する複数のメモリと、
   前記複数の復号器に対応し、対応する前記復号器の復号時の動き情報により注目領域を各々生成する複数の注目領域生成部と、
   前記複数の注目領域生成部に対応し、対応する前記注目領域生成部で注目領域が生成された場合に、対応する前記メモリの中に存在する２種以上の画像データから１つを選択し、前記注目領域に該当する画像を切り出して注目領域画像を生成し、他の画像データ上に各々合成させる複数の注目領域合成部と、
   前記チャンネル毎に前記メモリ又は前記注目領域合成部から出力される画像データを合成して出力する合成部と、
   を備えた画像復号・表示装置。
2. 前記注目領域合成部の代わりに、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を生成し、対応する前記メモリの中に存在する他の画像データと関連付けて各々画像を生成する複数の注目画像形成部を備える請求項１に記載の画像復号・表示装置。
3. 請求項１又は請求項２に記載の画像復号・表示装置と、
   少なくとも２種のデジタル圧縮された画像を前記画像復号・表示装置に出力する複数のカメラと、
   前記画像復号・表示装置から出力される画像データを表示する表示端末と、
   を備えた監視システム。
4. デジタル圧縮された画像データを復号し、復号した画像の表示を行う画像復号・表示方法であって、
   チャンネル毎に、少なくとも２種のデジタル圧縮された画像データを復号する復号ステ
   ップと、
   復号時の動き情報により注目領域を生成する注目領域生成ステップと、
   前記注目領域が生成された場合に、前記２種以上の画像データから１つを選択し、前記注目領域に該当する画像を切り出して注目領域画像を生成し、他の画像データ上に合成させる注目領域合成ステップと、
   前記チャンネル毎に前記復号ステップで復号された画像データ又は前記注目領域合成ステップで注目領域合成された画像データを合成して表示させる表示ステップと、
   を有する画像復号・表示方法。

Images