JPH0730893A - 動画像符号化装置および動画像符号化復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、イベント発生時にフレーム間符号化
画像を含む符号化画像列を伝送した場合、受信側ですぐ
に正確な画像を得る。 【構成】本発明の動画像は、フレーム内符号化画像とフ
レーム間符号化画像とで構成される符号化画像列に変換
される。フレーム内符号化画像の先頭を示すピクチャー
スタートコードに続くテンポラルリファレンスは、あら
かじめ決められた値だけを持つように符号化されてい
る。送信バッファには、一定期間の符号化画像列が格納
される。その場合、送信バッファに格納された符号化画
像列の中から、ピクチャースタートコードに続くテンポ
ラルリファレンスを参照することによってフレーム内符
号化画像を検出でき、イベントが発生した場合、それ以
前のフレーム内符号化画像から符号化画像列が伝送路を
介して受信側へ伝送される。フレーム内符号化画像が先
頭で伝送されるので、受信側ですぐに正確な画像を得ら
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像に対して圧縮符
号化を行って伝送路に送出し得る動画像符号化装置に関
し、さらにこの動画像符号化装置によって生成された信
号を入力して、この信号を復号化する手段を含む動画像
符号化復号化装置に関する。

【０００２】

【従来の技術】テレビジョン信号のような動画像情報を
公衆回線を利用して遠隔地に送る場合に、サービス総合
ディジタル網（ＩＳＤＮ）等が利用されるが、前記ＩＳ
ＤＮは６４ｋｂｓ〜１．５Ｍｂｐｓの回線速度しか得ら
れない。テレビジョン信号信号が元々持っている情報量
は約１００Ｍｂｐｓ程度であるため、情報量の圧縮が必
要となる。そのための圧縮方式としては、例えば、ＣＣ
ＩＴＴ勧告Ｈ．２６１「以下Ｈ．２６１」に代表される
動画像圧縮方式がある。これを用いると、情報量が削減
され、上述のように公衆回線を利用して動画像を伝送す
ることが可能になる。すなわち、Ｈ．２６１は、動き補
償フレーム内／フレーム間適応予測符号化と、離散コサ
イン変換符号化とを組み合わせたハイブリッド方式で、
時間領域の冗長性は前者によって、空間領域の冗長性は
後者によって取り除かれ、極めて効率の高い画像圧縮が
可能となっている。

【０００３】図４は、Ｈ．２６１が適用された従来の動
画像符号化装置の概略構成を説明するためのブロック図
であり、この装置は、大別してビデオ符号器（ａ）と、
ビデオ復号器（ｂ）とで構成される。入力されたビデオ
信号１００は、情報源符号器１０で圧縮符号化される。
なお、この情報源符号器１０の詳細は図５に示されてお
り後で詳しく説明する。

【０００４】ビデオ信号多重化符号器１２は、前記圧縮
されたビデオ信号と、補助情報( 予測タイプの情報、イ
ンター／イントラの情報、動ベクトルの情報、フィルタ
ＯＮ／ＯＦＦの情報等) とを多重化し、さらにハフマン
符号化等の可変長符号化を実行する。

【０００５】送信バッファ１４は、ビデオ信号多重化符
号器１２から出力された多重化ビデオ信号を一時的に蓄
えるものであり、その送信バッファ１４から出力された
多重化ビデオ信号は、伝送符号器１６で外部に伝送する
ため符号化ビット列に変換され、その符号化ビット列が
ＩＳＤＮなどの回線に送出される。なお符号化制御部１
８は各構成の総合的な制御を行っている。

【０００６】一方ビデオ復号器は、上述のビデオ符号器
と反対の作用をなす構成を有している。すなわち、伝送
復号器２０、受信バッファ２２、ビデオ信号多重化復号
器２４、および情報源復号器２６で構成される。

【０００７】図５には、図４に示した情報源符号器１０
の具体的な構成が示されており、動き補償予測回路２８
は、マクロブロック単位で入力画像データに基づき予測
に用いる画面との間の動きベクトルを算出し動き補償予
測画像データを生成する。この動き補償予測画像データ
は、重み付を行うループフィルタ４１を介して差分器２
９に供給される。インター／イントラ選択スイッチ３０
は、原入力画像データと原入力画像データと動き補償予
測画像データとの差分画像データ、すなわち予測誤差デ
ータとのどちらを符号化すべきか選択しており、選択さ
れた画像が変換器３２に入力される。前記変換器３２で
は、ブロック毎に離散コサイン変換が実行され、その変
換後の周波数領域画像データは量子化器３４で量子化さ
れ、量子化インデックスとして後段のビデオ信号多重化
符号器１２に送られる。

【０００８】一方、量子化された量子化インデックス
は、逆量子化回路３６に入力されて再び周波数領域デー
タに再現されるが、この周波数領域データは量子化誤差
を含んだものとなっている。そして、逆変換器３８で、
ブロック毎の空間領域データが再生される。前記再生空
間領域データは、加算器４０に入力されるが、当該ブロ
ックの予測タイプがイントラフレームであれば被加算数
は存在せず、インターフレームであれば被加算数は前記
動き補償予測画像であるから加算器４０の出力は復号化
画像となる。前記復号化画像は、一旦動き補償予測回路
２８内の記憶素子に記憶され、次の入力画像の符号化の
ための予測画像の生成に使用される。

【０００９】ところで、このような装置は、テレビジョ
ン電話やテレビジョン会議装置で利用されている。他
方、近年ではこのような装置を監視カメラ装置でも利用
したいとの要請が高い。監視カメラ装置は、常時、画像
を監視する必要がある反面、圧縮した動画像であっても
公衆回線を通して伝送すると、莫大な回線料金がかかり
実用的でない。そこで、回線料金の問題を解決する方法
として、特開平３−２４９８６０「動画テレビ電話装
置」が提案されている。この特開平３−２４９８６０で
は、信号圧縮相関処理部における発生情報量の変化や、
音量変化（イベントの発生）を検出して、回線を接続、
切断している。

【００１０】よって、このようにイベントの発生（例え
ば侵入者）を検出して、そのイベントの発生時から一定
期間だけ動画像を伝送すれば、必要な情報のみを伝送す
ることができる。要するに監視カメラを構成する場合、
上記Ｈ．２６１等を適用して画像の圧縮符号化を行うと
共に、イベントの発生から動画像を伝送すれば上述の問
題を低減できる。

【００１１】

【発明が解決しようとする課題】図４に示した、Ｈ．２
６１が適用された従来の動画像符号化装置は、動き補償
フレーム内／フレーム間適応予測符号化と、離散コサイ
ン変換符号化とを組み合わせたハイブリッド方式で、時
間領域の冗長性は前者によって、空間領域の冗長性は後
者によって取り除かれるため、動き補償フレーム間予測
による符号化すなわちインターフレーム符号化を多用し
た符号化方式である。

【００１２】周知のように、インターフレームは前の画
像との差分などで構成されるため、それ自体のみでは元
の画像を復元できないため、イントラフレーム符号化
は、回線接続直後あるいは大幅な入力画面の変動に伴い
全画面をイントラフレーム符号化する方が効率的である
と判断された場合以外は、イントラフレーム符号化が用
いられることはない。

【００１３】ただし、Ｈ．２６１の規定では、あるマク
ロブロックが１３２回インターフレーム符号化される毎
に一回のイントラフレーム符号化を挿入することが決め
られている。イベント検出を行って符号化を開始し、動
画像を伝送するという手順では、イベントの検出から画
像の伝送開始まで遅延が生じるため、必要とする画像を
伝送できない恐れが有る。そのため符号化は常時行い、
生成された多重化ビデオ信号を前記送信バッファに一定
量保存し、イベント検出の後画像を伝送する際に前記送
信バッファに保存された多重化ビデオ信号を伝送し、続
いて順次生成される多重化ビデオ信号を伝送すれば必要
とする画像を伝送できないという問題は解決される。

【００１４】しかしながら、上述のように、高い効率で
動画像を符号化するためにはイントラフレームではなく
インターフレームによる符号化を行う必要があるため、
送信バッファに保存された多重化ビデオ信号を伝送する
場合、インターフレームから伝送が始まる可能性が高
く、伝送直後に正常な画像を復元できないという問題を
生じてしまう。したがって動画像監視装置においては、
Ｈ．２６１方式による動画像符号化方式を利用した場
合、従来においてはイベント発生直後に画像を正しく再
生すことができず、例えば侵入者の画像など最も重要な
画像を再生できないという問題があった。また、ＩＳＤ
Ｎ等の回線に接続して動画像監視装置を利用する場合、
回線の接続に失敗するとイベント発生により動画像を伝
送しようとしても、伝送できないという問題があった。
本発明は、上記従来技術の課題に鑑みなされたものであ
り、動画像を圧縮符号化して伝送した場合に、受信側で
すぐに正しい画像を得られる動画像符号化装置を提供す
ることを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、本発明は動画像を構成する入力画像列を順次圧縮符
号化し、符号化列を伝送路に送出する装置であって、フ
レーム内符号化を行ってフレーム内符号化画像を作成す
る手段と、フレーム間符号化を行ってフレーム間符号化
画像を作成する手段とを含み、前記入力画像列に対して
所定間隔をもって前記フレーム内符号化が行われ、それ
以外で前記フレーム間符号化が行われる動画像符号化装
置において、前記フレーム間符号化画像画像と前記フレ
ーム内符号化画像とで構成される符号化画像列を送信に
先立って順次格納する送信バッファと、前記送信用バッ
ファに格納された前記符号化画像列の内、符号化画像の
先頭に位置するピクチャスタートコードに続くテンポラ
ルレファレンスが、あらかじめ設定した数値である場合
には、当該符号化画像がフレーム内符号化画像となるよ
うに符号化装置を制御する符号化制御器とを含む動画像
符号化装置を提供する。

【００１６】また、本発明は前記符号化画像列を記憶す
る補助記憶装置と、前記伝送路を介しての送信先との回
線接続が不成立の場合に、前記送信バッファから読み出
された前記符号化画像列を前記補助記憶装置に格納し、
その後に回線接続が成立した場合に、前記補助記憶装置
に格納された前記符号化画像列を伝送路に送出する回線
接続手段とを含む動画像符号化装置を提供する。

【００１７】さらに、本発明は前記動画像符号化装置に
よって生成された信号を入力して、この信号を復号化す
る手段を含む動画像符号化復号化装置を提供する。

【００１８】

【作用】上記請求項１記載の構成によれば、フレーム内
符号化画像が定期的に挿入されつつ符号化画像列が生成
される。このような符号化画像列は、一旦送信バッファ
に蓄積される。送信バッファとしては、例えば、ＦＩＦ
Ｏ（ファーストインファーストアウト）形式、あるい
は、リングバッファ形式のメモリが用いられる。定期的
に挿入されたフレーム内符号化画像はあらかじめ決めら
れたテンポラルリファレンスが付加されている。イベン
ト検出器において、イベントの発生が検出されると符号
化画像が伝送されるが、それは送信バッファに格納され
たフレーム内符号化画像から行われるため受信側ですぐ
に適正な画像を再生できる。

【００１９】したがって、本発明を動画像監視装置に適
用した場合には、侵入者が検出されるとその侵入者の検
出時より少し前の動画像が伝送され、しかもその動画像
を受信側で正確に再現することが可能になる。

【００２０】また、上記請求項２記載の構成によれば、
回線接続が不成立の場合には、伝送すべき符号化画像を
一時的に補助記憶装置に蓄積し回線接続が成立した場合
に、その蓄積した符号化画像を伝送することができる。

【００２１】

【実施例】以下図面を用いて本発明の実施例を説明す
る。図１ないし図４は本発明の実施例の構成の概略図お
よび説明図であり、図３の（Ａ）に示すように符号化画
像列が生成されると、（Ｃ）に示すように送信バッファ
内に一定時間区間２０４内の符号化画像列が常時格納さ
れる。すなわち、送信バッファ内には例えば数秒程度の
符号化された動画像が格納され、画面単位で順次更新さ
れている。

【００２２】従来例では、時刻２０２のイベント検出直
後から符号化画像列の送信が開始されるが、時刻２０２
のイベント検出直後がイントラフレームである保証はな
く、仮に（Ｂ）に示したインターフレーム２０３から伝
送された場合、受信側では次のイントラフレームの受信
まで正確な画像を再生できず、侵入者等の画像を得られ
ないこととなり監視装置としての機能を発揮できない。
また、イベント検出直後に強制的にイントラフレームに
よる符号化を行い、イントラフレームから伝送したとし
ても、前記の例と同様イベント発生前後の画像を得るこ
とができず監視装置としての機能を発揮できない。

【００２３】本実施例による装置では、イベント検出の
前後の符号化画像列が送信バッファに蓄積されており、
時刻２０２のイベント検出直後に時刻２０２の直前のイ
ントラフレームが検出され、（Ｄ）に示したインターフ
レーム２０５から伝送を開始するため、イベント発生前
後の画像、例えば侵入者の挙動等を含む画像を正確に再
生することができ、監視装置としての機能を充分発揮で
きる。

【００２４】図４において、各符号化画像の先頭に位置
するピクチャスタートコード３０１（以下ＰＳＣ）に続
いて、テンポラルリファレンス３０２（以下ＴＲ）と呼
ばれる符号化画像を時系列に従って付けられた番号が付
加されている。このＴＲは、５ビットの２進数で表され
るため３２の剰余で表現されている。従って、送出側の
ビデオ系のフレームレートが３０Ｈｚであった場合は、
３０分の３２毎にある決まった値を持つことになる。

【００２５】本実施例では、前記ＴＲが「０００００」
である場合にイントラ符号化画像が生成され、それ以外
では入力画像の性質に応じてイントラ符号化画像とイン
ター符号化画像が選択的に生成される。この場合、イン
ター符号化画像においても各マクロブロックの符号化の
時点で、イントラフレームで符号化された方が効率的で
あると判断された場合は随時イントラ符号化マクロブロ
ックが挿入される。また、符号側と復号側の予測画像の
不一致を解決するためのイントラ符号化マクロブロック
も定期的に挿入される。前記イントラ符号化画像を示す
ＴＲは「０００００」でなくともよく、符号器側で任意
に設定でき、複数個設定しても差し支えない。

【００２６】復号化装置側では、受信した符号化画像内
の各マクロブロックが総てイントラ符号化されたか否か
を判定し、総てイントラ符号化された場合は、当該符号
化画像に付加されたTR 値をイントラ符号化画像を示す
TR 値として記憶しておく。前記判定動作を数回繰り返
すことにより、イントラ符号化画像を示すＴＲ値を特定
できるため、復号器では留守録等の動画像保存の機能に
利用して必ず正しい画像から再生されるように記憶媒体
に記録することも可能である。

【００２７】上述の方法によれば、イントラ符号化画像
を明示的に示すための特別な情報を伝送する必要はな
く、国際標準として規定されたＨ．２６１規格に違反し
ないため、本発明による符号器、復号器の組合せのみな
らず、本発明によらない符号器、復号器との組合せにお
いても、相互に通信可能であり互換性を損なうことはな
い。

【００２８】次に、図１を用いて本実施例の動画像符号
化装置の構成について説明する。入力されたビデオ信号
１００は、情報源符号器42によって圧縮ビデオ信号に変
換され、ビデオ信号多重化符号器４４によって動きベク
トル、量子化ステップ等の補助情報と多重化され、送信
バッファ４６に一時的に蓄積される。送信バッファ内に
蓄積された多重化ビデオ信号データは、伝送符号器５６
によって前向きエラー訂正処理と伝送のためのフレーム
処理が行われ、これにて符号化ビット列が生成され、回
線Ｉ／Ｆ５４を通して公衆ＩＳＤＮ回線１００に送出さ
れる。前記情報源符号器４２は、動きベクトル検出回路
( 図５の動き補償予測器２８参照) を有し、マクロブロ
ック単位で予測画面と入力画面間の動きベクトルを検出
する。動物体検出器４８は、前記動きベクトル情報か
ら、入力ビデオ信号内に動く物体が有るか否かの検出
（イベントの検出) を行う。

【００２９】なお、動物体の検出は、各種の公知の方法
を適用できる。また、本発明は、動物体の検出により動
画像の伝送を行う装置に限らず、不定期に生じるイベン
トの発生にしたがって、動画像を伝送する必要がある各
種装置に適用できる。

【００３０】さて、動物体が検出されたときは送信制御
器５０に検出信号が送られ、その送信制御器５０は、回
線Ｉ／Ｆ５４に回線接続信号を送る。回線Ｉ／Ｆ５４は
あらかじめ設定された接続先に発呼し、回線接続が確認
されると前記送信制御器５０は、送信バッファ４６に対
し、蓄積された多重化ビデオ信号データを伝送符号器５
２に転送するよう指示する。ただし、前記送信バッファ
４６に蓄積された多重化ビデオ信号データの内どのデー
タから転送するかは、イントラ検出器５２が送信バッフ
ァ４６に蓄積された多重化ビデオ信号データの中から、
まずピクチャースタートコード（ＰＳＣ）を検出し、Ｐ
ＳＣに続くテンポラルリファレンス（ＴＲ）がイントラ
フレームを示す値としてあらかじめ設定された値である
場合は、そのＰＳＣに始まる符号化フレームがイントラ
フレームであると検出し、その符号化フレームから伝送
路に送出される。

【００３１】前記公衆ＩＳＤＮ回線１０２に送出された
符号化ビット列は、その公衆ＩＳＤＮ回線を通して対向
する画像復号化装置 (図２) によって、表示可能な画像
信号に復号される。回線Ｉ／Ｆ５４は、あらかじめ設定
された接続先に発呼し、回線接続が不成立になった場合
は、公衆ＩＳＤＮ回線１０２に送出すべきた符号化ビッ
ト列を補助記憶装置58に一時的に記憶し、再度発呼し、
回線接続が確認されると符号化ビット列を補助記憶装置
５８から読み出し、公衆ＩＳＤＮ回線１０２に送出す
る。

【００３２】次に、図２を用いて、本実施例の動画像復
号化装置の構成について説明する。公衆ＩＳＤＮ回線１
０２を通して受信した符号化ビット列は、回線Ｉ／Ｆ６
４を通して伝送復号器６６に送られ、エラー訂正処理と
多重化ビデオ信号の生成が行われ、一旦受信バッファ６
８に蓄積される。受信バッファ６８に蓄積された多重化
ビデオ信号は、ビデオ多重化復号器７０によって圧縮ビ
デオ信号と、動きベクトル、量子化ステップ等の補助情
報とに分離され、情報源復号器72に送られ、表示可能な
ビデオ信号に復号され、図示しない表示装置に表示され
る。

【００３３】図２に示す動画像復号化装置の内、補助記
憶装置７４は受信者が不在の場合や、記録を残しておき
たい場合において、受信した符号化ビット列を一時的に
蓄積する機能をもっている。受信途中から蓄積を開始し
た場合では、蓄積した符号化フレームがイントラフレー
ムかインターフレームかは不明であるため、イントラ検
出器６０によってイントラフレームが検出され、その符
号化フレームから復号されるため蓄積した符号化フレー
ムを再生する場合においても、再生直後から正確な画像
を再生できる。

【００３４】

【発明の効果】本発明によれば、イベントの発生が検出
された直後に、かならずフレーム内符号化画像を先頭と
して符号化画像列が伝送され、受信側では、受信直後が
ら正しい生成画像を得ることができるという効果があ
る。

【図面の簡単な説明】

【図１】本発明の実施例による画像符号化装置のブロッ
ク図。

【図２】本発明の実施例による画像復号化装置のブロッ
ク図。

【図３】本発明の実施例の符号化画像列を示す略図。

【図４】Ｈ．２６１ピクチャーレイヤーシンタックスダ
イアグラム。

【図５】Ｈ．２６１規格準拠の画像符号化復号化装置の
説明図。

【図６】Ｈ．２６１情報源符号器の説明図。

【符号の説明】

４２ 情報源符号器 ４６ 送信バッファ ４８ 動物体検出器 ５０ 送信制御器 ５２ イントラ検出器 ５８ 補助記憶装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】動画像を構成する入力画像列を順次符号化
   し、符号化画像列を伝送路に送出する装置であって、フ
   レーム内符号化を行ってフレーム内符号化画像を作成す
   る手段と、フレーム間符号化を行ってフレーム間符号化
   画像を作成する手段とを含み、前記入力画像列に対し
   て、所定間隔をもって前記フレーム内符号化が行われ、
   それ以外で前記フレーム間符号化が行われる動画像符号
   化装置において、前記フレーム間符号化画像と前記フレ
   ーム内符号化画像とで構成される符号化画像列を送信に
   先立って順次格納する送信バッファと、前記送信用バッ
   ファに格納された前記符号化画像列の内、符号化画像の
   先頭に位置するピクチャスタートコードに続くテンポラ
   ルレファレンスが、あらかじめ設定した数値である場合
   には当該符号化画像がフレーム内符号化画像となるよう
   に符号化装置を制御する符号化制御器とを含むことを特
   徴とする動画像符号化装置。
2. 【請求項２】請求項１記載の動画像符号化装置におい
   て、前記符号化画像列を記憶する補助記憶装置と、前記
   伝送路を介しての送信先との回線接続が不成立の場合に
   前記送信バッファから読み出された前記符号化画像列を
   前記補助記憶装置に格納し、その後に回線接続が成立し
   た場合に、前記補助記憶装置に格納された前記符号化画
   像列を伝送路に送出する回線接続手段とを含むことを特
   徴とする動画像符号化装置。
3. 【請求項３】動画像を構成する入力画像列を順次符号化
   し、符号化画像列を伝送路に送出する装置であって、フ
   レーム内符号化を行ってフレーム内符号化画像を作成す
   る手段と、フレーム間符号化を行ってフレーム間符号化
   画像を作成する手段とを含み、前記入力画像列に対し
   て、所定間隔をもって前記フレーム内符号化が行われ、
   それ以外で前記フレーム間符号化が行われる動画像符号
   化装置において、前記フレーム間符号化画像と前記フレ
   ーム内符号化画像とで構成される符号化画像列を送信に
   先立って順次格納する送信バッファと、前記送信用バッ
   ファに格納された前記符号化画像列の内、符号化画像の
   先頭に位置するピクチャスタートコードに続くテンポラ
   ルレファレンスが、あらかじめ設定した数値である場合
   には当該符号化画像がフレーム内符号化画像となるよう
   に符号化装置を制御する符号化制御器とを含む動画像符
   号化装置によって生成された信号を入力して、この信号
   を復号化する手段を含むことを特徴とする動画像符号化
   復号化装置。
4. 【請求項４】動画像を構成する入力画像列を順次符号化
   し、符号化画像列を伝送路に送出する装置であって、フ
   レーム内符号化を行ってフレーム内符号化画像を作成す
   る手段と、フレーム間符号化を行ってフレーム間符号化
   画像を作成する手段とを含み、前記入力画像列に対し
   て、所定間隔をもって前記フレーム内符号化が行われ、
   それ以外で前記フレーム間符号化が行われる動画像符号
   化装置において、前記フレーム間符号化画像と前記フレ
   ーム内符号化画像とで構成される符号化画像列を送信に
   先立って順次格納する送信バッファと、前記送信用バッ
   ファに格納された前記符号化画像列の内、符号化画像の
   先頭に位置するピクチャスタートコードに続くテンポラ
   ルレファレンスが、あらかじめ設定した数値である場合
   には当該符号化画像がフレーム内符号化画像となるよう
   に符号化装置を制御する符号化制御器とを含む動画像符
   号化装置において、前記符号化画像列を記憶する補助記
   憶装置と、前記伝送路を介しての送信先との回線接続が
   不成立の場合に前記送信バッファから読み出された前記
   符号化画像列を前記補助記憶装置に格納し、その後に回
   線接続が成立した場合に、前記補助記憶装置に格納され
   た前記符号化画像列を伝送路に送出する回線接続手段と
   を含む動画像符号化装置によって生成された信号を入力
   して、この信号を復号化する手段を含むことを特徴とす
   る動画像符号化復号化装置。