JP4303065B2 - 注目画像表示方法及び装置及び遠隔画像監視システム - Google Patents

Description

本発明は、画像を圧縮して伝送する方法及び装置に関し、特に変化する画像等の注目画像のみを表示可能とする注目画像表示方法及び装置及び遠隔画像監視システムに関するものである。

現在、遠隔画像監視システムにおいては、インターネットに代表される様に、伝送路のデジタル化が急速に進んでいることから、画像をデジタル化して伝送する装置のニーズが急速に拡大している。一方、画像をデジタル化した場合、その情報量は膨大となるため、必ず動画像の圧縮技術が必要になる。ここで、必要となる動画像の圧縮方式は、そのほとんどがＭＰＥＧ−２，ＭＰＥＧ−４などの世界標準方式である。 これらの方式は、基本的に伝送装置への入力画像を正確に圧縮することが目的であり、圧縮劣化を極力減少させるための技術である。

一方、画像監視システムでは、撮影された監視対象画像のうち、主に、変化した領域に注目する。例えば、禁止領域に対する不審者侵入の監視、車の流れ等の交通監視、対象領域（例えば、ショールームなどの触れられては困る物品が置かれている場所など）に存在する人物の動きの監視などである。このように、画像監視システムではＭＰＥＧ−２，ＭＰＥＧ−４の目的とする監視対象画像の正確な全領域が、必ずしも必要であるわけではない。

この様な画像監視システムにおいて、画像の変化領域に注目するための従来の技術としては、禁止領域に対し赤外線などを用いたセンサを設置して該センサで侵入者などを検出し、禁止領域の撮影画像を伝送すると共に該センサによる検出信号を受信側へ同時に伝送し、監視員（伝送されてきた画像を監視する人）にアラーム通知することが通常であった。
INTERNATIONAL STANDARD ISO/IEC 13818-2: 2000, "Information technology-Generic coding of moving pictures and associated audio information: Video"

従来の技術では、必ず、センサを必要とするが、検出すべき領域が複雑な場合は、検出に最適な位置にセンサの設置ができないため、適切な検出ができなくなるという欠点があった。

更に、検出領域の定義が明確でない車の流れなどの交通監視や、領域内の物体が動いたか否かなどの監視では、従来の技術では対応不可能であった。

本発明の目的は、前記従来技術の問題点を解消するようにした注目画像表示方法及び装置及び遠隔画像監視システムを提供することである。

本発明の別の目的は、特別なセンサ等を設置することなく、監視対象画像の全領域における変化部分だけを表示可能とする注目画像表示方法及び装置及び遠隔画像監視システムを提供することである。

即ち、本発明の一面においては、前記の従来技術の課題に鑑み、動画像圧縮方式における時間軸方向の圧縮技術に着目し、受信部の処理において、各ピクチャに対する圧縮モードに適応して、動画像圧縮データの復号化処理に用いられるリファレンス画像を蓄積するピクチャメモリ内のデータを強制的にクリアすることで、監視対象画像の全領域における変化部分だけを表示可能とし、特別なセンサ等を設置することなく、前記欠点を解決する。

なお、ここでピクチャとは、動画像を構成する１枚の画像を指し、フレームと呼ばれることもある。

本願発明の一面によれば、前記目的を達成するため、本発明の注目画像の表示方法では、伝送路を介して動画像についての符号化した圧縮データを受信後、受信した動画像圧縮データから該圧縮データのピクチャタイプを検出し、該受信した動画像圧縮データのピクチャタイプに応じてメモリ、モニタに出力するデータを切り替えるようにしたものである。例えば、検出した前記圧縮データのピクチャタイプがイントラピクチャである場合、所定の画像データをモニタに出力して表示すると共に、メモリに蓄積するようにしたものである。一方、検出した前記圧縮データのピクチャタイプがインターピクチャである場合、前記受信した圧縮データを復号化処理した画像データと前記メモリに蓄積された画像データとを加算し、該加算して得たデータを前記モニタに出力して表示すると共に、上記メモリに蓄積するようにしたものである。その結果、モニタに注目すべき監視対象画像を表示可能としたものである。

なお、圧縮データにはヘッダ情報が付加されていることにより、このヘッダ情報から圧縮データのピクチャタイプを検出する。

つまり、本発明は、遠隔画像監視システムに必要な動画像圧縮方式が、時間軸方向の圧縮技術を利用していることに着目したものである。時間軸方向の圧縮技術とは、対象とするピクチャの圧縮データだけでそのピクチャの完全な復号化が可能なイントラピクチャ圧縮データと、対象とするピクチャの圧縮データと時間軸上で前後する復号化されたピクチャとの加算により、そのピクチャの完全な復号化がされるインターピクチャ圧縮データにより実現される。

そこで、本発明では伝送路から入力した圧縮データがイントラピクチャ圧縮データであるのを符号化ピクチャタイプ検出部が検出した場合には、あらかじめ設定してある固定画像データをモニタへ出力し、リファレンスピクチャメモリへも入力するようにする。一方、圧縮データがインターピクチャ圧縮データであるのを符号化ピクチャタイプ検出部が検出した場合には、通常の復号化処理をする。なお、ここで固定画像データの例としては、全面グレーの画像などが考えられる。

その結果、監視対象画像全領域において、動きのない部分に関しては、固定画像データ(例えば、グレー画像)となり、動きのある領域のみ、時間軸上で前のピクチャからの差分情報に対応するインターピクチャのデータが出力されるため、変化部分に注目可能な遠隔画像監視システムを実現できる。

本発明では、監視対象画像において特に重要となる動きのある領域だけ、その動きの差分情報を受信表示することが可能であるため、監視員は容易に注意すべき状態を受信画像で把握することができる。

また、一瞬でも動きが発生した領域は、固定画像データと異なる表示となっているため、見逃すことも防止することが可能である。
更に、本発明は、画像受信部に関する発明であるため、従来の圧縮データをそのまま利用でき、従来の技術でファイリングされている圧縮データに対しても、同様の効果を得ることができる。

その結果、対象画像内の動きに注目する監視において、最適な遠隔画像監視システムを実現することができる。

ここで、本発明を説明する前に、図３によって、侵入者等を検出するセンサを持たない通常の遠隔画像伝送システムにおける復号化処理の構成例とその動作について説明する。

図３は、カメラ２−１からの画像データを、伝送路２−５を経由してビデオモニタ２−８に表示する例である。カメラ２−１側には、画像送信部２−３があり、映像信号２−２を入力し、画像圧縮して伝送路２−５へ圧縮データ２−４を出力する。ビデオモニタ２−８側には、画像受信部２−７があり、伝送路２−５からの圧縮データ２−６を入力し復号化処理して、映像データ２−１８をビデオモニタ２−８へ出力する。

ここで、圧縮データ２−４，２−６について説明する。画像圧縮については、INTERNATIONAL STANDARD ISO/IEC 13818-2: 2000, “Information technology-Generic coding of moving pictures and associated audio information: Video”（非特許文献１）に記載されている。

また、図３のような構成のうち復号化処理については前記非特許文献１の”ITU-T Rec. H.262(2000 E)、ｐ６１等に記載されている。

一般に、圧縮データはピクチャ単位の圧縮データが順次並んで構成される。ここで、
ピクチャの種類としては、Intra-coded (I) picture(ここではイントラピクチャと称する)と、インターピクチャの２種類があり、インターピクチャとしてはPredictive-coded (P) pictureとBidirectionally predictive-coded (B) pictureがある（前記非特許文献１の”ITU-T Rec. H.262(2000 E) Intro.4.1.1 Temporal processing及び p. 12,１６”参照）。

従って、ピクチャ単位の圧縮データの種類には、イントラピクチャ圧縮データと、インターピクチャ圧縮データとの２種類が存在する。イントラピクチャ圧縮データとは、その圧縮データのみで、対象ピクチャを再生することが可能な圧縮データである。 一方、インターピクチャ圧縮データは、その圧縮データを復号化した後に、時間軸上で前後する復号化されたピクチャと加算することで、対象のピクチャの再生が可能な圧縮データである。つまり、インターピクチャ圧縮データのうちPredictive-coded (P) pictureは、前(past)のピクチャとの差分データが圧縮されたものであり、Bidirectionally predictive-coded (B) picture前後(past and/or future)のピクチャとの差分データが圧縮されたものである。通常、イントラピクチャ圧縮データを”Ｉ”、時間軸上で前のピクチャからの差分情報に対応する圧縮データであるインターピクチャ圧縮データを”Ｐ”、時間軸上で前後(past and/or future)のピクチャからの差分情報に対応する圧縮データであるインターピクチャ圧縮データを”Ｂ”という記号で表現する。

なお、以下の説明では、説明の簡単化のため、インターピクチャについてはPredictive-coded (P) pictureについてのみ説明するが、本願発明はインターピクチャとしてPredictive-coded (P) pictureとBidirectionally predictive-coded (B) pictureを含む場合にも勿論、容易に適用可能である。

以下が、圧縮データ列の一例である。
Ｉ(１) Ｐ(２) Ｐ(３) ・・・ Ｐ(Ｎ) Ｉ(N+1) Ｐ(N+2) Ｐ(N+3)…
Ｉ：イントラピクチャ圧縮データ、Ｐ：インターピクチャ圧縮データ
( )内の数字はピクチャの順番を示す。

このように圧縮データでは、周期的なイントラピクチャ圧縮データの間にインターピクチャ圧縮データが並んでいる。また、これらと再生されるピクチャとの関係を示すと以下のようになる。

Ｆ(１)＝Ｄ(Ｉ(１))
Ｆ(２)＝Ｄ(Ｐ(２))＋Ｆ(１)＝Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))
Ｆ(３)＝Ｄ(Ｐ(３))＋Ｆ(２)＝Ｄ(Ｐ(３))＋Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))
Ｆ(Ｎ)＝Ｄ(Ｐ(Ｎ))＋Ｆ(N-1)＝Ｄ(Ｐ(Ｎ))＋Ｄ(Ｐ(N-1))＋・・・
＋Ｄ(Ｐ(３))＋Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))
Ｄ( )：復号化処理されたデータ、Ｆ( )：再生ピクチャを示す。

つまり、前記の例ではＰで示されるインターピクチャ圧縮データは、ここでは、時間軸上で一つ前のピクチャとの差分情報が圧縮されたデータであるとする。そして、Ｆ(２)〜Ｆ(N-1)は、Ｄ(Ｉ(１))またはＦ(１)を基準として、順次差分情報を復号化処理したデータの加算で再生されることがわかる。

ここで、前記圧縮データの例を用いて、図３の画像受信部２−７の内部動作について、図３の各部におけるデータのタイミングチャートを示す図４を参照して説明する。まず、イントラピクチャ圧縮データＩ(１)が、伝送路２−５から入力されると、符号化ピクチャタイプ検出部２−９でイントラピクチャ圧縮データであることを検出する。具体的には、通常各ピクチャ単位の圧縮データの先頭に圧縮データの種類を示すヘッダ情報が付加されているので、このヘッダ情報により検出する。このヘッダ情報は非特許文献１の”ITU-T Rec. H.262(2000 E)、ｐ２７の6.23 Picture headerに記載され、ｐ４７のTable 6-12に記載されているpicture coding typeである。次に、ピクチャ復号化処理部２−１２は、イントラピクチャ圧縮データＩ(１)を復号化処理し、復号化処理したＤ(Ｉ(１))またはＦ(１)をデータ２−１３として、加算器２−１５に出力する。前述のようにイントラピクチャ圧縮データは、その圧縮データのみで再生画像となるため、この場合、加算器２−１５の一方の入力であるデータ２−１９の値がゼロになるように、切り替え部２−１７を、符号化ピクチャタイプ検出部２−９からの制御信号２−１０で制御する。即ち、符号化ピクチャタイプ検出部２−９は、受信した圧縮データがイントラピクチャ圧縮データであることを検出すると、制御信号２−１０を例えばローレベル（Ｌ）とし、切り替え部２−１７の端子Ｔ３を端子Ｔ１に接続してゼロの値をデータ２−１９として加算器２−１５に与える。ここで、リファレンスピクチャメモリ２−１４の入力には、加算器２−１５の出力である一つ前の映像データ２−１８が入力される。この場合、データ２−１３と映像データ２−１８は同じデータで、前述のＤ(Ｉ(１))またはＦ(１)であり、ビデオモニタ２−８に表示され、リファレンスピクチャメモリ２−１４には、前述のＤ(Ｉ(１))またはＦ(１)が蓄積されることになる。

次にＰ(２)が入力されると、符号化ピクチャタイプ検出部２−９がインターピクチャ圧縮データであることを検出し、制御信号２−１０により切り替え部２−１７を、イントラピクチャ圧縮データの場合と逆の方を選択するように制御する。即ち、符号化ピクチャタイプ検出部２−９は受信した圧縮データがインターピクチャ圧縮データであることを検出すると、制御信号２−１０を例えばハイレベル（Ｈ）とし、切り替え部２−１７の端子Ｔ３を端子Ｔ２に接続してメモリ２−１４に蓄積されたピクチャデータをデータ２−１９として加算器２−１５に与える。

ピクチャ復号化処理部２−１２は、Ｐ(２)を復号化処理し、Ｄ(Ｐ(２))として、データ２−１３を加算器２−１５に出力する。切り替え部２−１７は、前記制御信号２−１０によって、リファレンスピクチャメモリ２−１４の出力が選択されているため、映像データ２−１８は、Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))となり、再生ピクチャＦ(２)としてビデオモニタ２−８に表示される。また、この時、リファレンスピクチャメモリ２−１４の入力は映像データ２−１８であるため、リファレンスピクチャメモリ２−１４には、Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))が蓄積される。

同様にＰ(３)が入力されると、符号化ピクチャタイプ検出部２−９がインターピクチャ圧縮データであることを検出し、制御信号２−１０はハイレベルであり、切り替え部２−１７を、イントラピクチャ圧縮データの場合とは逆の方を選択、即ち、端子Ｔ２を選択するように制御する。ピクチャ復号化処理部２−１２は、Ｐ(３)を復号化処理し、Ｄ(Ｐ(３))としてデータ２−１３を加算器２−１５に出力する。切り替え部２−１７は、
制御信号２−１０により、リファレンスピクチャメモリ２−１４の出力が選択されているため、映像データ２−１８は、Ｄ(Ｐ(３))＋Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))となり、再生ピクチャＦ(３)としてビデオモニタ２−８に表示される。また、この時、リファレンスピクチャメモリ２−１４の入力は映像データ２−１８であるため、リファレンスピクチャメモリ２−１４にはＤ(Ｐ(３))＋Ｄ(Ｐ(２))＋Ｄ(Ｉ(１))が蓄積される。

以上のように、Ｐ(Ｎ)まで同様な動作が繰り返され、Ｉ(N+1)が入力されると前述のＩ(１)の場合と同様な動作となる。ここまでが、侵入者などを検出するセンサを持たない通常の遠隔画像伝送システムにおける復号化処理の構成と動作についての説明である。この様に、センサを持たない画像伝送システムでは、侵入者などの注目すべき監視対象画像を検出することができず、アラーム信号を出力できないため、監視員はモニタに表示された画像を、常に注意深く監視していなければならない。

そこで、本発明は、センサを用いず、侵入者等の注目すべき監視対象画像だけをモニタに表示することのできる画像監視システムを実現したものであり、その一実施例の構成を図１に示し、説明する。図１の構成は、図３の構成に対し、画像受信部１−１を除き同じであり、図１において図３と同様の機能を有する構成要素については同一の参照符号を用いてその重複説明を省略する。画像受信部１−１では、符号化ピクチャタイプ検出部２−９が圧縮データ２−６を入力し、圧縮データ２−１１と制御信号１−２を出力する。ピクチャ復号化処理部２−１２は、圧縮データ２−１１を入力し、データ２−１３を出力する。なお、図１の構成では符号化ピクチャタイプ検出部２−９の後段にピクチャ復号化処理部２−１２があるが、逆に、ピクチャ復号化処理部２−１２の後段に符号化ピクチャタイプ検出部２−９があっても良い。即ち、復号化処理した後に、ピクチャタイプを検出するようにしてもよい。なお、符号化ピクチャタイプ検出部２−９とピクチャ復号化処理部２−１２とで受信データ処理部を構成する。切り替え部１−３は、固定画像（背景画像）データメモリ１−７からの出力である固定画像（背景画像）データＦ（１−８）、前記データ２−１３の一方を制御信号１−２により選択し、データ１−４とする。加算器１−１４はデータ１−４とデータ１−１３を入力し、加算した結果を映像データ１−９として、ビデオモニタ２−８に出力する。映像データ１−９はリファレンスピクチャメモリ１−１０にも入力される。

一方、切り替え部１−１２は、リファレンスピクチャメモリ１−１０の出力であるデータ１−１１か値ゼロを制御信号１−２により選択し、データ１−１３とする。
以上の構成において、図３の説明に用いたものと同じ圧縮データが入力された場合の画像受信部１−１の動作について、図１の各部におけるデータのタイミングチャートを示す図２を参照して説明する。まず、Ｉ(１)が伝送路２−５から入力されると、符号化ピクチャタイプ検出部２−９が、イントラピクチャ圧縮データであることを検出する。具体的には、前記したように、通常、各ピクチャ単位の圧縮データの先頭に圧縮データの種類を示すヘッダ情報（picture coding type）が付加されているので、このヘッダ情報により検出する。ピクチャ復号化処理部２−１２は、Ｉ(１)を復号化処理し、前述の復号化されたデータＤ(Ｉ(１))またはＦ(１)として、データ２−１３を出力する。

ここで、切り替え部１−３は、データ２−１３がイントラピクチャ圧縮データであった場合、制御信号１−２は、例えばローレベル（Ｌ）となり、端子Ｔ６を端子Ｔ５に接続するよう、即ち、固定画像（背景画像）データメモリ１−７の出力である固体画像（背景画像）データＦ（１−８）を選択するように制御されて、データ１−４として加算器１−１４に入力される。また、この時、同様に、切り替え部１−１２は、制御信号１−２（ローレベル）により端子Ｔ３を端子Ｔ１に接続するよう、即ち、値ゼロを選択するよう制御され、従って、値ゼロのデータ１−１３が加算器１−１４へ出力される。加算器１−１４へは、このように切り替え部１−１２から値ゼロが入力されていることから、加算器１−１４の出力データである映像データ１−９はデータ１−４そのままであり、従って、この時点でビデオモニタ２−８には前記固定画像データＦ（１−８）のデータが表示される。ここで、固定画像データＦ（１−８）の一例としては、全面単一色（例えば、グレー）の画像などが考えられる。なお、固定画像データＦ（１−８）はこれに限らず、いくつかの色の模様で構成された画像でも良く、また、時間的に変動しない一定（固定）の画像でなく緩やかに色や模様の変動する画像でも構わない。要するに、変化する画像領域が容易に認識できるような画像であれば何でも構わない。

また、この時点では、リファレンスピクチャメモリ１−１０の入力は映像データ１−９であるため、前記固定画像データメモリ１−７のグレー画像データが、リファレンスピクチャメモリ１−１０に蓄積される。

次に、前のピクチャとの差分データであるＰ(２)が入力されると、符号化ピクチャタイプ検出部２−９がインターピクチャ圧縮データであることを検出し、制御信号１−２によって各切り替え部１−３，１−１２を、イントラピクチャ圧縮データの場合とは逆の方を選択するように制御する。即ち、制御信号１−２は、例えばハイレベル（Ｈ）となり、端子Ｔ６を端子Ｔ４に接続し、端子Ｔ３を端子Ｔ２に接続するよう制御する。ピクチャ復号化処理部２−１２では、Ｐ(２)を復号化処理し、復号化されたデータＤ(Ｐ(２))としてデータ２−１３を出力する。切り替え部１−３は、制御信号１−２によってデータ２−１３が選択されるため、データ１−４はデータ２−１３、即ち、前のピクチャとの差分データであるＤ(Ｐ(２))となり、加算器１−１４に入力される。 一方、切り替え部１−１２は、制御信号１−２によって、リファレンスピクチャメモリ１−１０の出力（グレー画像データＦ）が選択されているため、映像データ１−９は、Ｄ(Ｐ(２))＋グレー画像となり、それがビデオモニタ２−８に供給される。この時、ビデオモニタ２−８には、グレーの背景の中に、前後のピクチャとの差分データである変化した画像が重畳されて表示される。また、この時、リファレンスピクチャメモリ１−１０の入力はデータ１−９であるため、リファレンスピクチャメモリ１−１０には、このＤ(Ｐ(２))＋グレー画像が蓄積される。

同様にＰ(３)が入力されると、符号化ピクチャタイプ検出部２−９がインターピクチャ圧縮データであることを検出し、制御信号１−２により各切り替え部１−３，１−１２をイントラピクチャ圧縮データの場合と逆の方を選択する様、制御する。ピクチャ復号化処理部２−１２は、Ｐ(３)を復号化処理し、Ｄ(Ｐ(３))としてデータ２−１３を出力する。切り替え部１−３は制御信号１−２により、データ２−１３が選択されるため、データ１−４は、データ２−１３、即ち、前後のピクチャとの差分データであるＤ(Ｐ(３))となり、加算器１−１４に入力される。

一方、切り替え部１−１２は、前記制御信号１−２によりリファレンスピクチャメモリ１−１０の出力であるＤ(Ｐ(２))＋グレー画像Ｆが選択されているため、映像データ１−９は、Ｄ(Ｐ(３))＋Ｄ(Ｐ(２))＋グレー画像となり、ビデオモニタ２−８に供給される。この時、ビデオモニタ２−８には、グレーの背景の中に、前後のピクチャとの差分データである変化した画像が重畳されて表示される。
また、この時、リファレンスピクチャメモリ１−１０の入力は映像データ１−９であるため、リファレンスピクチャメモリ１−１０には、Ｄ(Ｐ(３))＋Ｄ(Ｐ(２))＋グレー画像Ｆ（１−８）が蓄積される。

以上のように、Ｐ(Ｎ)まで同様な動作が繰り返され、Ｉ(N+1)が入力されると前述のＩ(１)の場合と同様な動作となる。つまり、本発明において、Ｐ(Ｎ)を入力した場合のビデオモニタ２−８における表示は以下のようになる。

Ｇ(Ｎ)＝Ｄ(Ｐ(Ｎ))＋Ｇ(N-1)
＝Ｄ(Ｐ(Ｎ))＋Ｄ(Ｐ(N-1))＋…＋Ｄ(Ｐ(３))＋Ｄ(Ｐ(２))＋グレー画像
Ｄ( )：復号化処理されたデータ。 Ｇ( )：表示ピクチャを示す。

この式から明白なように、本発明では背景画像（固定画像、例えば、全面グレー画像）をバックグラウンドとして、差分情報だけを表示することができる。結果として、全画面において、動きのあった領域はその差分情報が表示され、動きの無い領域はグレー画像が表示されることになり、監視対象画面内の動いた領域を注目するために最適な画像による遠隔画像監視システムを実現することができる。

また、前記説明では固定画像データ１−８を一例としてグレー画像としたが、他の画像データでも本発明の適用は可能である。

なお、前記実施例では、画像受信部１−１にイントラピクチャ圧縮データが入力されてから次のイントラピクチャ圧縮データが入力されるまでに所定数のインターピクチャ圧縮データが入力される。この場合、ビデオモニタ２−８には背景画像に差分情報が次々と付加されて表示された後、背景画像だけが再度表示される。その結果、例えば、ボールが飛んでいるのをカメラ２−１で撮影している場合、ビデオモニタ２−８にはボールの軌跡がリアルタイムで表示された後、ボールが消えて背景画像のみ表示される。この表示がイントラピクチャ周期で繰り返される。

そこで、Ｉ(１)、Ｐ(２)〜Ｐ(Ｎ)、Ｉ(Ｎ＋１)（ただし、Ｉ(１)、Ｉ(Ｎ＋１)はイントラピクチャ、Ｐ(２)〜Ｐ(Ｎ)はインターピクチャ）を入力した場合のビデオモニタ２−８における表示を下記式の通りにすることにより、ボールが飛んでくるのをカメラ２−１で撮影している場合でも、背景画像に飛んでくるボールのみがリアルタイムで付加されて表示されると共に、イントラピクチャ周期でボールが消えることがないようにすることができる。

Ｇ(１)＝背景画像
Ｇ(２)＝Ｄ(Ｐ(２))＋背景画像
Ｇ(３)＝Ｄ(Ｐ(３))＋背景画像
：
Ｇ(Ｎ)＝Ｄ(Ｐ(Ｎ))＋背景画像
Ｇ(Ｎ＋１)＝Ｄ(Ｐ(Ｎ))＋背景画像
Ｄ( )：復号化処理されたデータ。 Ｇ( )：表示ピクチャを示す。

前記式の通りの表示が行えるようにするため、その他の実施例として、図５に示す構成を有する遠隔画像監視システムを用い、リファレンスピクチャメモリ１−１０には、初期段階では何も蓄積されていない状態にすると共に、符号化ピクチャタイプ検出部２−９により下記（１）、（２）の通りに切り替え部１−３、１−１２を制御する。

（１）ピクチャタイプ検出部２−９がイントラピクチャ圧縮データであるのを検出したとき、端子Ｔ６を端子Ｔ５に接続し、端子Ｔ３を端子Ｔ２に接続する。

（２）ピクチャタイプ検出部２−９がインターピクチャ圧縮データであるのを検出したとき、端子Ｔ６を端子Ｔ４に接続し、端子Ｔ３を端子Ｔ１に接続するように制御する。

この制御により、ビデオモニタ２−８には、最初に背景画像が表示された後、差分情報が次々と更新されて表示されると共に、リファレンスピクチャメモリ１−１０に蓄積されるデータも次々と更新される。そして、再度、イントラピクチャ圧縮データが画像受信部１−１に入力されたとき、このイントラピクチャ圧縮データの１つ前のインターピクチャ圧縮データを復号化したデータ（リファレンスピクチャメモリ１−１０に蓄積されているデータ）と背景画像とが加算されることによって得られた映像データに対応する映像が表示される。その後、同様にして、ビデオモニタ２−８には、差分情報が次々と更新されて表示される。この表示により、監視対象画面内の動いた領域を注目するために最適な画像による遠隔画像監視システムを実現することができる。

本発明の一実施例である遠隔画像監視システムの構成を示すブロック図。 本発明の一実施例である遠隔画像監視システムにおける画像データ処理の動作を示すタイミングチャート図。 本発明の関連技術である遠隔画像監視システムの構成を示すブロック図。 本発明の関連技術である遠隔画像監視システムにおける画像データ処理の動作を示すタイミングチャート図。 本発明の他の一実施例である遠隔画像監視システムの構成を示すブロック図。

符号の説明

１−１：画像受信部 １−２：制御信号
１−３：切り替え部 １−４：データ
１−７：固定画像データメモリ １−８：固定画像データ
１−９：映像データ
１−１０：リファレンスピクチャメモリ
１−１１：データ １−１２：切り替え部
１−１３：データ １−１４：加算器
２−１：カメラ ２−２：映像信号
２−３：画像送信部 ２−４：圧縮データ
２−５：伝送路 ２−６：圧縮データ
２−７：画像受信部 ２−８：ビデオモニタ
２−９：符号化ピクチャタイプ検出部 ２−１０：制御信号
２−１１：圧縮データ ２−１２：ピクチャ復号化処理部
２−１３：データ
２−１４：リファレンスピクチャメモリ
２−１５：加算器 ２−１６：データ
２−１７：切り替え部 ２−１８：映像データ
２−１９：データ
Ｔ１〜Ｔ６：端子

Claims (6)

1. 動画像についての符号化した圧縮データを、伝送路を介して受信するステップと、
   受信した前記圧縮データのピクチャタイプを検出するステップと、
   該検出した前記圧縮データのピクチャタイプがイントラピクチャである場合、所定の画像データをモニタに出力して表示すると共にメモリに蓄積するステップと、
   前記検出した圧縮データのピクチャタイプがインターピクチャである場合、前記受信した圧縮データを復号化処理した画像データと前記メモリに蓄積された画像データとを加算し、該加算して得たデータを前記モニタに出力して表示すると共に前記メモリに蓄積するステップとを含むことを特徴とする注目画像の表示方法。
2. 動画像についての符号化した圧縮データを、伝送路を介して受信するステップと、
   受信した前記圧縮データのピクチャタイプを検出するステップと、
   該検出した前記圧縮データのピクチャタイプがイントラピクチャである場合、所定の画像データとメモリに蓄積された画像データとを加算し、該加算して得たデータをモニタに出力するステップと、
   前記検出した前記圧縮データのピクチャタイプがインターピクチャである場合、該受信した圧縮データを復号化処理し、前記メモリに蓄積する画像データを前記復号化処理により得られた画像データに更新すると共に、前記復号化処理により得られた画像データと所定の画像データとを加算し、該加算して得たデータを前記モニタに出力するステップとを含むことを特徴とする注目画像の表示方法。
3. 伝送路を介して受信した動画像についての符号化した圧縮データのピクチャタイプを検出すると共に、復号化処理を行い、復号化処理した画像データを出力する受信データ処理部と、
   所定の画像データを出力する所定画像データ出力部と、
   前記受信データ処理部により検出した圧縮データのピクチャタイプに依存して、前記復号化処理した画像データか、又は前記所定の画像データが入力される加算部と、
   前記加算部からの画像データを蓄積すると共に、前記検出されたピクチャタイプがインターピクチャである場合、蓄積した前記画像データを前記加算部に出力するメモリとを含み、
   前記検出されたピクチャタイプに依存して、該ピクチャタイプがイントラピクチャである場合、前記所定の画像データをモニタに出力すると共に前記メモリに蓄積し、該ピクチャタイプがインターピクチャである場合、前記復号化処理した画像データと前記メモリに蓄積された画像データとを加算し、該加算して得たデータを前記モニタに出力すると共に前記メモリに蓄積するように構成したことを特徴とする注目画像の処理表示装置。
4. 伝送路を介して受信した動画像についての符号化した圧縮データのピクチャタイプを検出すると共に、復号化処理を行い、復号化処理した画像データを出力する受信データ処理部と、
   所定の画像データを出力する所定画像データ出力部と、
   前記受信データ処理部により検出した圧縮データのピクチャタイプがイントラピクチャである場合、蓄積されている画像データが出力されると共に、インターピクチャである場合、蓄積する画像データが前記復号化処理された画像データに更新されるメモリと、
   前記受信データ処理部により検出した圧縮データのピクチャタイプがイントラピクチャである場合、前記メモリから出力された画像データと所定の画像データとが加算されると共に、インターピクチャである場合、前記復号化処理した画像データと所定の画像データとが加算される加算部とを含み、
   前記受信データ処理部により検出した圧縮データのピクチャタイプに依存して、前記メモリに蓄積する画像データを前記復号化処理した画像データに更新すると共に、前記復号化処理した画像データと所定の画像データを加算して前記モニタに出力するか、又は前記メモリに蓄積された画像データと所定の画像データとを加算し、該加算して得たデータを前記モニタに出力するように構成したことを特徴とする注目画像の処理表示装置。
5. 伝送路を介して符号化した動画像データの圧縮データを伝送する送信部と、
   該伝送路を介して伝送された符号化した動画像の圧縮データを受信して、復号化し、該
   復号化した動画像の圧縮データを表示する受信部とを含み、
   該受信部は、
   伝送路を介して受信した動画像についての符号化した圧縮データのピクチャタイプを検
   出すると共に、復号化処理を行い、復号化処理した画像データを出力する受信データ処理
   部と、
   所定の画像データを出力する所定画像データ出力部と、
   前記受信データ処理部により検出した圧縮データのピクチャタイプに依存して、前記復号化処理した画像データか、又は前記所定の画像データが入力される加算部と、
   前記加算部からの画像データを蓄積すると共に、前記検出されたピクチャタイプがインターピクチャである場合、蓄積した前記画像データを前記加算部に出力するメモリとを含み、
   前記検出されたピクチャタイプに依存して、該ピクチャタイプがイントラピクチャである場合、前記所定の画像データをモニタに出力すると共に前記メモリに蓄積し、該ピクチャタイプがインターピクチャである場合、前記復号化処理した画像データと前記メモリに蓄積された画像データとを加算し、該加算して得たデータを前記モニタに出力すると共に前記メモリに蓄積するように構成したことを特徴とする遠隔画像監視システム。
6. 伝送路を介して符号化した動画像データの圧縮データを伝送する送信部と、
   該伝送路を介して伝送された符号化した動画像の圧縮データを受信して、復号化し、該復号化した動画像の圧縮データを表示する受信部とを含み、
   該受信部は、
   伝送路を介して受信した動画像についての符号化した圧縮データのピクチャタイプを検出すると共に、復号化処理を行い、復号化処理した画像データを出力する受信データ処理部と、
   所定の画像データを出力する所定画像データ出力部と、
   前記受信データ処理部により検出した圧縮データのピクチャタイプがイントラピクチャである場合、蓄積されている画像データが出力されると共に、インターピクチャである場合、蓄積する画像データが前記復号化処理された画像データに更新されるメモリと、
   前記受信データ処理部により検出した圧縮データのピクチャタイプがイントラピクチャである場合、前記メモリから出力された画像データと所定の画像データとが加算されると共に、インターピクチャである場合、前記復号化処理した画像データと所定の画像データとが加算される加算部とを含み、
   前記受信データ処理部により検出した圧縮データのピクチャタイプに依存して、前記メモリに蓄積する画像データを前記復号化処理した画像データに更新すると共に、前記復号化処理した画像データと所定の画像データを加算して前記モニタに出力するか、又は前記メモリに蓄積された画像データと所定の画像データとを加算し、該加算して得たデータを前記モニタに出力するように構成したことを特徴とする遠隔画像監視システム。
   
   

Images