JP4588360B2

JP4588360B2 - 動画像符号化復号化処理方法、動画像符号化復号化処理装置及び動画像双方向通信システム

Info

Publication number: JP4588360B2
Application number: JP2004147280A
Authority: JP
Inventors: 孝大山本; 臣二北村
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-05-18
Filing date: 2004-05-18
Publication date: 2010-12-01
Anticipated expiration: 2024-05-18
Also published as: JP2005333177A; CN100548052C; CN1700774A; US20050259749A1

Description

本発明はＭＰＥＧ等の動画像圧縮符号化技術を用いた双方向通信システムにおける動画像符号処理方法および装置に関し、特に動画像符号処理において参照画像メモリの容量削減を可能にする技術に係る。

図１３は従来の動画像の双方向通信における参照画像メモリの使用方法を説明する図である。図１３において、３０１は自局側の動画像符号処理装置、３０２は自局が送信画像を符号化するために使用する参照画像メモリ、３０３は自局が受信画像を復号するために使用する参照画像メモリ、３０４は対局側の動画像符号処理装置、３０５は対局が受信画像を復号するために使用する参照画像メモリ、３０６は対局が送信画像を符号化するために使用する参照画像メモリである。

さらに、３０８は自局側の動画像符号処理装置３０１から対局側の動画像符号処理装置３０４へ配信される符号化データ（ビットストリーム）、３０７は自局側の動画像符号処理装置３０１へ対局側の動画像符号処理装置３０４から配信される符号化データ（ビットストリーム）である。

このように、自局側と他局側のそれぞれにおいて、動画像の符号化および復号を行うために２フレーム分ずつの参照画像メモリを必要とする。参照画像を用いた予測符号化方式は動画像圧縮符号化技術の根幹をなすものであり、テレビ放送等に用いられる動画像符号化においては双方向予測符号化等のさらに複雑な予測符号化方式が用いられるため、従来、参照画像メモリとして用いられるバッファメモリを効率良く管理するための様々な取り組みが行われている（例えば、特許文献１参照）。

動画像符号化技術においては、ＭＰＥＧ−４のような高圧縮率を実現する技術が開発されたことにより動画像の双方向通信ができるようになり、テレビ会議システムのような高価なシステムによる動画像の双方向通信が可能となったが、さらにカメラ付き携帯電話の普及に代表されるような小型かつ安価で持ち運び可能なモバイルシステムによる動画像双方向通信システムの要求が高まって来ている。

このような背景において、携帯機器等に搭載する符号化装置（エンコーダ）のコスト低減や小型化を図るためには、特許文献１記載の技術のようにバッファメモリを効率良く使用するだけはなく、直接チップ面積、すなわちコストに反映する参照画像メモリ（フレームメモリ）を減らすことが考えられるが、参照画像メモリの容量を減らすことは、技術の根幹をなす予測符号化に制限を加えることであり、エンコーダにおいて参照画像メモリの容量を減らすと符号化効率が低下し符号量の増大を招くことになる。

しかし、特願２００３−０５７１９９号の技術（以下、先願技術と記す。）によると、イントラ符号化またはインター符号化するマクロブロック位置を現画像より前の画像の符号化時に決定することにより、現フレームで全てのマクロブロックの参照画像をエンコーダに用意する必要がなくなり、用途に応じて好適な符号化効率と画質を維持しながら、エンコーダの参照画像メモリの容量を減らすことが可能となり、エンコーダのコストを低減することが可能になる。

図１４は先願技術に示されたエンコーダの構成を示すブロック図である。図１４において、１０１は画像入力部、１０３は直交変換を行うＤＣＴ部、１０４は量子化部、１０５は圧縮符号化を行う可変長符号化部、１０６は逆量子化部、１０７は逆直交変換を行う逆ＤＣＴ部、１０８は参照画像メモリ、１０９は動き補償部、１１０は動き検出部、１１１はメモリ制御部である。

メモリ制御部１１１には、１画像フレーム内でインター符号化する最大マクロブロック数が画像フレームを構成するマクロブロック数より小さい値に設定されており、設定した最大マクロブロック数の範囲内で、次のフレームでインター符号化するマクロブロック位置を決定する。これにより、参照画像メモリは１画像フレーム全体の参照画像を記録するフレームメモリである必要がなくなり、インター符号化する最大マクロブロック数に必要な容量で構成することができる。

なお、図１４では、次のフレームでインター符号化するマクロブロック位置のマクロブロックのみについて参照画像メモリ１０８に記録するための記録制御をメモリ制御部１１１が行う様子を模式的にスイッチ機能ＳＷにより示している。

図１５は上記エンコーダにおける参照画像メモリに対する記録制御の様子を説明する図である。図１５においては、動画像はＣＩＦ画像（マクロブロック：２２個×１８個）でイントラ符号化マクロブロックとインター符号化マクロブロックとの割合は５０％ずつとし、フレーム（画面）の左側がイントラ符号化するマクロブロック位置のマクロブロック２０１、フレーム（画面）の右側がインター符号化するマクロブロック位置のマクロブロック２０２のレイアウトを示している。

参照画像メモリ１０８へは次フレームでインター符号化するマクロブロック位置の参照画像マクロブロック群２０３のみを記録するので、参照画像メモリ１０８は全マクロブロック位置の参照画像を記録可能な従来のフレームメモリ２０４の半分の容量にすることが可能になる。
特開平１１−３１３３２７号公報

カメラ付き携帯電話のような小型かつ安価なモバイルシステムにおいて動画像の双方向通信を行うために、より小型で、より安価なエンコーダおよびデコーダの重要性が増しており、小型化、低価格化を実現するためのボトルネックになっている画像メモリの削減が課題となっている。

エンコーダにおいて上記先願技術に示された手段を講じても、受信画像を復号する復号装置（デコーダ）側に１フレームの参照画像メモリが必要であるため、エンコーダおよびデコーダ全体で約２フレーム分のメモリ容量を必要とする。携帯電話のようなモバイル機器においては安価で小型なデコーダも必要であり、エンコードとデコードを同時に実現するコーデックにおいて、さらなる参照画像メモリ容量の削減が求められる。

本発明は、ＭＰＥＧ等の動画像圧縮符号化技術を用いた動画像双方向通信システムにおいて、エンコードとデコードを同時に実現するコーデックで使用する参照画像メモリの容量を動画像双方向通信を行うシステムで規定された容量以下に削減することを可能にする動画像符号処理方法および装置を提供することを目的とする。

本発明の動画像符号化復号化処理方法は、符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとの間でメモリ容量が融通可能に構成した参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像の符号化と復号化とをともに行う第１の動画像符号化復号化処理装置および第２の動画像符号化復号化処理装置を、対向させて動画像双方向通信を行うシステムにおける動画像符号化復号化処理方法であって、前記第２の動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像符号化復号化処理装置において前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定する。本発明において、対向する第１および第２の前記動画像符号処理装置間で、それぞれが使用する参照画像メモリの容量制御情報を交換する。本発明において、前記容量制御情報は、前記第２の動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超えたときに、前記第２の前記動画像符号化復号化処理装置が前記第１の前記動画像符号化復号化処理装置に対して、前記第１の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である。また、本発明において、前記容量制御情報は、前記第２の動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測されたときに、前記第２の前記動画像符号化復号化処理装置が前記第１の前記動画像符号化復号化処理装置に対して、前記第１の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である。また、本発明において、前記容量制御情報は、前記第１の動画像符号化復号化処理装置が送信する符号化データの符号量が所定の値を超えたときに、前記第１の前記動画像符号化復号化処理装置が前記第２の前記動画像符号化復号化処理装置に対して、前記第２の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である。また、本発明において、前記容量制御情報は、前記第１の動画像符号化復号化処理装置が送信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測されたときに、前記第１の前記動画像符号化復号化処理装置が前記第２の前記動画像符号化復号化処理装置に対して、前記第２の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である。

上記構成によれば、参照画像メモリの容量制御情報を交換するための通信手段を用いて復号に必要な参照画像メモリの容量をあらかじめ知ることができ、符号化に使用する参照画像メモリと復号に使用する参照画像メモリとの間でメモリ容量が融通可能に構成されているため、参照画像メモリの容量を動画像双方向通信システムで規定された容量以下に削減しても、エンコーダが使用する符号化用の参照画像メモリの容量を制限しながらデコーダが使用する復号用に必要な参照画像メモリの容量を確保することができる。その結果、一定の限度はあるものの、参照画像メモリの容量を削減しても動画像双方向通信を維持することができる。

本発明において、動画像の符号化データのビットストリームに埋め込まれたユーザ情報を用いて前記制御情報が発信される。上記構成によれば、ＭＰＥＧ等に規定された動画像符号化データのビットストリームに埋め込むユーザ情報を使用するため、通常の動画像双方向通信の処理手順と動画像符号化データの互換性を維持しながら参照画像メモリの容量制御情報を交換するための通信手段を実現することができる。

上記構成によれば、例えば、１フレーム分の参照画像メモリの容量が規定された動画像双方向通信システムにおいて、対向する双方の動画像符号処理装置が先願技術を用いてエンコーダ用の参照画像メモリの容量を１／２フレーム分に削減した場合に、参照画像メモリの容量制御情報により復号に必要な参照画像メモリの容量が１／２フレーム分であることをあらかじめ知ることができるため、復号用の参照画像メモリの容量も１／２フレーム分に削減することができ、エンコーダ用とデコーダ用を合わせて１フレーム分の参照画像メモリを削減することができる。すなわち、エンコーダ用とデコーダ用にそれぞれ１／２フレーム分の参照画像メモリしか持たない動画像符号処理装置を対向させて動画像双方向通信システムを構成することができる。

上記構成によれば、例えば、１フレーム分の参照画像メモリの容量が規定された動画像双方向通信システムにおいて、エンコーダ用とデコーダ用の参照画像メモリの容量をそれぞれ１／２フレーム分に削減した自局が従来の動画像符号処理装置（参照画像メモリ削減を図った特殊な符号化・復号化に対応していない装置。以下、従来の動画像符号処理装置と称す）を用いた対局と通信を行う場合に、参照画像メモリの容量制御情報が得られないため他局が符号化に使用する参照画像メモリの容量をあらかじめ認識できず、復号に必要な参照画像メモリの容量を動画像双方向通信システムが規定する１フレーム分確保する必要があるが、他局は符号化に使用する参照画像メモリを復号に使用する参照画像メモリとして融通することにより復号に使用する参照画像メモリの容量を確保でき、エンコーダが使用できないため片方向通信となるが、従来の動画像符号処理装置を用いた対局との動画像通信を維持することができる。

動画像双方向通信システムにおいては、他局が復号に使用する参照画像メモリの容量を超える容量の参照画像メモリを使用して自局が符号化を行うと他局が動画像を復号することができなくなるため、この事態が生じることを避けなければならない。上記方法によれば、本発明の動画像符号処理装置を対向させた場合に他局が復号に使用する参照画像メモリの容量を自局があらかじめ認識でき、自局が符号化に使用する参照画像メモリの容量を他局が復号に使用する参照画像メモリの容量に設定することができるため、エンコーダ用とデコーダ用の参照画像メモリの容量をそれぞれ動画像双方向通信システムにおいて規定される参照画像メモリの容量より少なく設定することが可能になる。その結果、例えば、１フレーム分の参照画像メモリの容量が規定された動画像双方向通信システムにおいて、エンコーダ用とデコーダ用の参照画像メモリの容量をそれぞれ１／２フレーム分に削減した動画像符号処理装置を使用してシステムを構成することができ、エンコーダ用とデコーダ用を合わせて１フレーム分の参照画像メモリを削減することができる。

上記構成によれば、例えば、１フレーム分の参照画像メモリの容量が規定された動画像双方向通信システムにおいて、エンコーダ用とデコーダ用の参照画像メモリの容量をそれぞれ１／２フレーム分に削減した自局が従来の動画像符号処理装置を用いた対局と通信を行う場合に、参照画像メモリの容量制御情報が得られないため他局が復号に使用する参照画像メモリの容量あらかじめ認識できず、他局が従来の動画像符号処理装置であって復号に１フレーム分の参照画像メモリを用いていると判断することになる。この場合、エンコーダ用の参照画像メモリの容量は１／２フレーム分のままでも構わないが、復号に使用する参照画像メモリを符号化に使用する参照画像メモリとして融通することにより、デコーダが同時に使用できなくなるため片方向通信となるが、送信画像の画質の改善を図ることができる。

上記構成によれば、例えば、携帯機器の使用者が通信の状況に応じて動画像の画質の改善を図りたい場合に、携帯機器を操作することにより、符号化あるいは復号に使用する参照画像メモリの容量を指定して動画像の画質をコントロールすることが可能となる。

上記構成によれば、参照画像メモリの減少により動画像符号化データの符号量が増えることで画質劣化はあるが、参照画像メモリを減らして空いたメモリを様々な用途にも使用することができ、装置全体で使用するメモリ容量を削減することができる。

上記構成によれば、システム構成や用途に応じてフレキシブルに参照画像メモリと音声メモリの容量設定が可能であり、音声コーデックの処理が不要な場合には音声メモリに充てたメモリを元の参照画像メモリに戻すこともでき、また、画質より音声（オーディオ）を重視する場合は参照画像メモリの容量をさらに減らす設定も可能であり、装置全体で使用するメモリ容量を効果的に削減することができる。

上記構成によれば、動画像双方向通信システムにおいて自局側が対局側から受信する動画像の画質改善を図りたい場合に、自局側および対局側の装置を操作することで、対局側のエンコーダ用の参照画像メモリの容量と自局側のデコーダ用の参照画像メモリの容量をともに増加させることができるため、元に戻すまで一時的に対局側から受信する動画像の画質改善を図ることができる。また逆に、動画像双方向通信システムにおいて自局側が対局側から受信する動画像を復号化する際に必要となる参照メモリ容量を削減したい場合には、自局側および対局側の装置を操作することで、対局側のエンコーダ用の参照画像メモリの容量と自局側のデコーダ用の参照画像メモリの容量をともに減少させることができるため、元に戻すまで一時的に対局側から受信する動画像の復号化に必要となる参照メモリ容量の削減を図ることができる。

本発明において、前記符号化に使用する参照画像メモリの容量を増加させることを要求する制御情報、または前記増加させた参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報を、前記第１の動画像符号処理装置が受信する符号化データの符号量が所定の値を超えたときに発信する。上記構成によれば、受信する符号化データの符号量が所定の値を超えた場合に、対局側のエンコーダの参照画像メモリの容量と自局側のデコーダの参照画像メモリの容量をともに増加させることができるため、符号量が通信容量を超えたために生ずる画質劣化に対して、参照画像メモリの容量を元に戻すまで一時的に対局側から受信する動画像の画質改善を図ることができる。

本発明において、前記符号化に使用する参照画像メモリの容量を増加させることを要求する制御情報、または前記増加させた参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報を、前記第１の動画像符号処理装置が受信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測されたときに発信する。上記構成によれば、受信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測された場合に、対局側のエンコーダの参照画像メモリの容量と自局側のデコーダの参照画像メモリの容量をともに増加させることができるため、符号量が通信容量を超えたために生ずる画質劣化がある程度継続した場合に、参照画像メモリの容量を元に戻すまで一時的に対局側から受信する動画像の画質改善を図ることができる。このような制御を行うことで、シーンチェンジ等の急激な画面変化による急激な符号量の変化に即応して急激な画質変化やシステムへの負担が生ずる事態を避けることができる。

上記構成によれば、動画像双方向通信システムにおいて自局側から対局側へ送信する動画像の画質改善を図りたい場合に、自局側および対局側の装置を操作することで、対局側のデコーダ用の参照画像メモリの容量と自局側のエンコーダ用の参照画像メモリの容量をともに増加させることができるため、元に戻すまで一時的に対局側へ送信する動画像の画質改善を図ることができる。また逆に、動画像双方向通信システムにおいて自局側が対局側から受信する動画像を復号化する際に必要となる参照メモリ容量を削減したい場合には、自局側および対局側の装置を操作することで、対局側のエンコーダ用の参照画像メモリの容量と自局側のデコーダ用の参照画像メモリの容量をともに減少させることができるため、元に戻すまで一時的に対局側から受信する動画像の復号化に必要となる参照メモリ容量の削減を図ることができる。

上記構成によれば、送信する符号化データの符号量が所定の値を超えた場合に、対局側のデコーダの参照画像メモリの容量と自局側のエンコーダの参照画像メモリの容量をともに増加させることができるため、符号量が通信容量を超えたために生ずる画質劣化に対して、参照画像メモリの容量を元に戻すまで一時的に対局側へ送信する動画像の画質改善を図ることができる。

上記構成によれば、送信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測された場合に、対局側のデコーダの参照画像メモリの容量と自局側のエンコーダの参照画像メモリの容量をともに増加させることができるため、符号量が通信容量を超えたために生ずる画質劣化がある程度継続した場合に、参照画像メモリの容量を元に戻すまで一時的に対局側へ送信する動画像の画質改善を図ることができる。このような制御を行うことで、シーンチェンジ等の急激な画面変化による急激な符号量の変化に即応して急激な画質変化やシステムへの負担が生ずる事態を避けることができる。

本発明の動画像符号化復号化処理装置は、参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像双方向通信を行うシステムにおいて、対局側動画像符号化復号化処理装置に対向して動画像の符号化と復号化とを行う動画像符号化復号化処理装置であって、符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとのメモリ容量が融通可能な共通メモリと、前記対局側動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定するメモリ制御部と、前記対局側動画像符号化復号化処理装置へ送信する符号化データの符号量が所定の値を超えたときに、前記第２の参照画像メモリの容量を増加させること、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する要求伝達と、前記対局側動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超えたときに、前記第１の参照画像メモリの容量を増加させること、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する前記対局側動画像符号化復号化処理装置からの要求伝達に対する応答伝達とを行う通信手段を備える。また、本発明の動画像符号化復号化処理装置は、参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像双方向通信を行うシステムにおいて、対局側動画像符号化復号化処理装置に対向して動画像の符号化と復号化とを行う動画像符号化復号化処理装置であって、符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとのメモリ容量が融通可能な共通メモリと、前記対局側動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定するメモリ制御部と、前記対局側動画像符号化復号化処理装置へ送信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡るときに、前記第２の参照画像メモリの容量を増加させること、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する要求伝達と、前記対局側動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡るときに、前記第１の参照画像メモリの容量を増加させること、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する前記対局側動画像符号化復号化処理装置からの要求伝達に対する応答伝達とを行う通信手段を備える。上記構成によれば、参照画像メモリの容量制御情報を交換するための通信手段を用いて復号に必要な参照画像メモリの容量をあらかじめ知ることができ、符号化に使用する参照画像メモリと復号に使用する参照画像メモリとの間でメモリ容量が融通可能に構成されているため、参照画像メモリの容量を動画像双方向通信システムで規定された容量以下に削減しても、エンコーダが使用する符号化用の参照画像メモリの容量を制限しながらデコーダが使用する復号用に必要な参照画像メモリの容量を確保することができる。その結果、一定の限度はあるものの、参照画像メモリの容量を削減しても動画像双方向通信を維持することができる。

上記構成によれば、符号化データの符号量の観測を実施するか否かの選択ができ、さらに未実施時に符号量カウンタの動作を停止することができるため、動画像符号処理装置が携帯機器等に搭載された場合の省電力化に寄与することができる。

本発明において、前記符号化に使用する参照画像メモリおよび前記復号に使用する参照画像メモリの容量は、それぞれ１フレーム分の参照画像を格納するメモリ容量以下の容量である。

本発明において、前記符号化に使用する参照画像メモリおよび前記復号に使用する参照画像メモリの容量をそれぞれ同数の複数組に分割し、複数組の動画像符号処理装置として機能するように構成した。上記構成によれば、参照画像メモリの減少により動画像符号化データの符号量が増えることで画質劣化はあるが、装置全体で使用するメモリ容量を増やさずに動画像双方向通信用のマルチコーデックを実現することができる。

本発明において、前記参照画像メモリの一部領域もしくは全領域が未使用であることを検知した場合に、動的に前記未使用領域を動作停止とする制御を行う。上記構成によれば、動的に参照画像メモリの未使用領域を動作停止することができるため、効率的に消費電力を減らすことができ、動画像符号処理装置が携帯機器等に搭載された場合の省電力化に寄与することができる。

本発明によれば、動画像双方向通信システムにおいて、動画像符号処理装置が必要とする参照画像メモリの容量をあらかじめ知り、符号化に使用する参照画像メモリと復号に使用する参照画像メモリとの間でメモリ容量が融通することにより、参照画像メモリの容量を動画像双方向通信を行うシステムで規定された容量以下に削減することができる。また、このようにして空けた参照画像メモリの容量を他の用途に活用することで、システム全体のメモリ容量を削減してシステムコストを低減することができ、安価で小型な動画像双方向通信システムが実現可能となる。

以下、本発明の実施の形態について図面を参照して説明する。なお、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付し、同一部分については重複した説明を省略する。また、図１３および図１４と同一の部分についても同様である。

また、以下の実施の形態において、動画像の符号化および復号に用いる参照画像メモリの容量を１フレームのメモリ容量の１／２に設定するように説明するが、１フレームのメモリ容量より少ない任意の容量設定が可能であり、以下の説明が本発明の実施形態を限定するものではない。

また、以下の説明において使用する自局側と対局側という呼称は、双方向通信を行っている２つの局を区別するために用いる便宜的な呼称であり、本発明に係る制御の主体がいずれの側にあるかを限定するものではない。

（実施の形態１）
図１は本発明の実施の形態１に係る動画像符号処理装置の構成を示すブロック図である。動画像符号処理装置は動画像の圧縮符号化を行うエンコーダ、符号化データから動画像を復号するデコーダ、全体を制御するＣＰＵ１３１などから構成される。

図１のエンコーダにおいて、１０１は画像入力部、１０３は直交変換を行うＤＣＴ部、１０４は量子化部、１０５は圧縮符号化を行う可変長符号化部、１０６は逆量子化部、１０７は逆直交変換を行う逆ＤＣＴ部、１０８は参照画像メモリ、１０９は動き補償部、１１０は動き検出部、１１１はメモリ制御部である。

エンコーダでは、次のフレームでインター符号化するマクロブロック位置のマクロブロックのみについて参照画像メモリ１０８に記録する。そのための記録制御をメモリ制御部１１１が行うが、その様子をスイッチ機能ＳＷにより模式的に示している。

図１のデコーダにおいて、１２１は符号化データの復号処理を行う復号部、１２２は逆量子化部、１２３は逆直交変換を行う逆ＤＣＴ部、１２４は参照画像メモリ、１２５は動き補償部、１２６は画像出力部、１２７はメモリ制御部である。

上記構成において、エンコーダにおけるメモリ制御部１１１およびスイッチ機能ＳＷ、デコーダにおけるメモリ制御部１２７を除けば、ＭＰＥＧ等の動画像圧縮符号化技術を用いた動画像双方向通信システムにおける周知のエンコーダとデコーダの構成である。

エンコーダにおいては、先願技術の方法により、メモリ制御部１１１およびスイッチ機能ＳＷを用いることで、従来は１フレーム必要であった参照画像メモリの容量を例えば１／２フレーム分の容量に減らして符号化を行う。

デコーダにおいては、参照画像メモリを１／２フレーム分しか使用しないことを示す情報をあらかじめエンコーダから受け取ることができるならば、従来は１フレーム必要であった参照画像メモリの容量を１／２フレーム分の容量に減らして復号を行うことが可能になる。

そこで、エンコーダからデコーダに対して、１フレームのマクロブロック数に含まれるインター符号化されるマクロブロック数の割合が１／２フレーム分であることを、符号化データ（ビットストリーム）内のユーザ領域に図２に示すような形式で記載する。図２はＭＰＥＧ規格に規定されたユーザ領域のコーディング方法を示す図である。

図３は本実施の形態における参照画像メモリの使用方法を説明する図である。図３において、３１１は自局側の動画像符号処理装置、３１２は自局が送信画像を符号化するためにエンコーダ（ＥＮＣ）が使用する参照画像メモリ、３１３は自局が受信画像を復号するためにデコーダ（ＤＥＣ）が使用する参照画像メモリ、３１４は対局側の動画像符号処理装置、３１５は対局が受信画像を復号するためにデコーダ（ＤＥＣ）が使用する参照画像メモリ、３０６は対局が送信画像を符号化するために使用するエンコーダ（ＥＮＣ）が参照画像メモリである。

さらに、３１８は自局側の動画像符号処理装置３１１から対局側の動画像符号処理装置３１４へ配信される符号化データ（ビットストリーム）、３１７は自局側の動画像符号処理装置３１１へ対局側の動画像符号処理装置３１４から配信される符号化データ（ビットストリーム）である。

自局側の動画像符号処理装置３１１においては、先願技術の方法により、従来は１フレーム必要であった参照画像メモリ３１２を１／２フレームにして符号化を行う。このとき、自局側の動画像符号処理装置３１１は、１フレームのマクロブロック数に含まれるインター符号化されるマクロブロック数の割合が１／２フレーム分であることを符号化データ内のユーザ領域に図２に示すような形式で記載する。

対局側の動画像符号処理装置３１４は、この情報を符号化データ３１８から読み取ることにより、全マクロブロック数とインター符号化されているマクロブロック数の割合が１／２であると判断し、１／２フレーム分の容量の参照画像メモリ３１５で復号を行う。

例えば、全マクロブロック数が１２００個（ＶＧＡ）の画像サイズに対してインター符号化されているマクロブロック数が１／２フレーム分であると、復号に用いる参照画像メモリの容量はマクロブロック６００個分となる。

同様にして、対局側の動画像符号処理装置３１４において、参照画像メモリ３１６を１／２フレームにして符号化を行い、１フレームのマクロブロック数に含まれるインター符号化されるマクロブロック数の割合が１／２フレーム分であることを符号化データ内のユーザ領域に図２に示すような形式で記載する。その情報を含んだ符号化データ３１７を受信することにより、自局側の動画像符号処理装置３１１は参照画像メモリ３１３を１／２フレーム分にして復号を行うことができる。

このようにして、符号化データ内のユーザ領域に記載する情報を用いて、１フレームのマクロブロック数に含まれるインター符号化されるマクロブロック数の割合が１／２フレーム分であることを対局に伝えることにより、自局側と対局側でそれぞれ１フレーム分の参照画像メモリを削減することが可能になる。

さらに、自局側および対局側の双方に本発明の方法を用いる場合には、符号化データ内のユーザ領域を用いてインター符号化されているマクロブロック数の割合情報を伝える代わりに、各参照画像メモリの容量を例えば１／２フレームにあらかじめ固定してシステムを構成することも可能である。あるいは、外部から各参照画像メモリの容量を１／２フレームに設定することも可能である。

先願技術の参照画像メモリの容量を減らす方法は、動画像圧縮符号化技術の根幹をなす予測符号化に制限を加えることであるため、本発明の方式を備えた自局が従来方式の対局と動画像通信を行う場合には制約が生じる。その例として、図４は自局に本実施の形態の動画像符号処理装置、対局に従来の動画像符号処理装置を用いて動画像通信を行う場合の参照画像メモリの使用方法を説明する図である。

図４（ａ）は自局が対局から受信する場合を示している。対局側の動画像符号処理装置３０４は１フレーム分の参照画像メモリ３０６を用いて符号化を行うが、自局側の動画像符号処理装置３１１は復号用に１／２フレーム分の参照画像メモリ３１３しか持っていないため、そのままでは動画像の復号を行うことができない。

そこで、動画像符号処理装置３１１は、他局が符号化に使用する参照画像メモリの容量をあらかじめ認識できないことから他局が従来の動画像符号処理装置であると判断し、符号化用の参照画像メモリ３１２を復号用の参照画像メモリに充て、参照画像メモリ３１２と３１３を合わせて復号用の１フレーム分の参照画像メモリとして使用して復号を行う。これにより、片方向だけの通信になるが、参照画像メモリの容量を１／２に減らした本実施の形態の自局においても、従来の対局と動画像通信を行うことができる。

図４（ｂ）は逆に自局から対局へ送信する場合を示している。自局側の動画像符号処理装置３１１は１／２フレーム分の参照画像メモリ３１２を使用して符号化を行い、対局側の動画像符号処理装置３０４は１フレーム分の参照画像メモリ３０６を用いて復号を行う。このとき、参照画像メモリ３０６は実際には容量の１／２しか使用されない。

この使用法で動画像通信を行うことができるが、図４（ａ）の場合の制約により片方向の通信しかできず、参照画像メモリ３１３が空いていることを考慮すると、図４（ｂ）の場合も動画像符号処理装置３１１が参照画像メモリ３１２と３１３を合わせて１フレーム分の参照画像メモリとして使用して符号化を行うようにすることが可能である。

一般的に、先願技術の参照画像メモリの容量を減らす方法は、予測フレームが不要なイントラ符号化するマクロブロックを増やすことを余儀なくされるため、結果的に符号量を増加させてしまうケースが潜在的に存在する方法であり、また、あらかじめ決定されたイントラ符号化するマクロブロックの位置によっては、動きベクトルの検出精度を劣化させ、結果的に符号量を増加させてしまうケースが潜在的に存在する方法でもあるため、これらの潜在的に存在するケースが積み重なった結果、符号量が通信容量を超える状況が生じた場合は、符号量を減らすために量子化係数を操作して画質を劣化させざるを得ない。

そこで、動画像符号処理装置３１１は、他局が復号に使用する参照画像メモリの容量をあらかじめ認識できないことから他局が従来動画像符号処理装置であると判断し、空いている復号用の参照画像メモリ３１２を符号化用の参照画像メモリに充て、参照画像メモリ３１２と３１３を合わせて符号化用の１フレーム分の参照画像メモリとして使用して符号化を行う。これにより、対局側の動画像符号処理装置３０４の１フレーム分の参照画像メモリ３０６と同等の参照画像メモリを確保できるため画質の改善ができ、符号量が増加した場合に画質の劣化を防ぐことができる。

（実施の形態２）
実施の形態１における符号化用および復号用それぞれに用意された１フレームの１／２の容量の参照画像メモリをさらに減らすことで、空いたメモリ領域を他の用途にも使用することが可能である。図５は実施の形態２における参照画像メモリと音声メモリの使用方法を説明する図である。本実施の形態は、参照画像メモリの容量を１フレームの１／２の容量からさらに減らし、空いたメモリ領域を音声メモリ空間として使用するように制御するものである。

図５において、３２１は自局側で音声符号化を行うためのエンコーダ用音声メモリ、３２２は自局側で音声復号を行うためのデコーダ用音声メモリ、３２３は対局側で音声復号を行うためのデコーダ用音声メモリ、３２４は対局側で音声符号化を行うためのエンコーダ用音声メモリである。本実施の形態では、参照画像メモリの容量を１フレームの１／２から１フレームの１／４に減らし、それにより空いた１フレームの１／４の容量のメモリを音声メモリに充てるようにする。

すなわち、自局側の動画像符号化用の参照画像メモリ３１２を１フレームの１／４の容量に減らし、空いた１フレームの１／４の容量のメモリをエンコーダ用音声メモリ３２１として使用し、自局側の動画像復号用の参照画像メモリ３１３を１フレームの１／４の容量に減らし、空いた１フレームの１／４の容量のメモリを自局側のデコーダ用音声メモリ３２２として使用する。対局側についても同様である。

これにより、実施の形態１に比べてさらに参照画像メモリが減らされるため、動画像符号化データの符号量が増え、画質が劣化することが予想されるが、音声コーデックの処理が不要な場合には音声メモリに充てたメモリを元の参照画像メモリに戻すことも可能であり、また、画質より音声（オーディオ）を重視する場合は、さらに参照画像メモリの容量を減らす設定も可能である。このように、システム構成や用途に応じてフレキシブルに参照画像メモリと音声メモリの容量設定が可能である。

本実施の形態においては参照画像メモリを減らして空いたメモリを音声メモリに充てる場合を説明したが、参照画像メモリを減らした分のメモリは他の用途にも使用可能であり、本実施の形態を音声メモリに限定するものではなく、例えばＣＰＵのバッファメモリに用いることも可能である。

また、本実施の形態において参照画像メモリを減らして空いたメモリを新たな動画像符号処理用の参照画像メモリとすることで、２組の動画像符号処理機能を備えた動画像符号処理装置、すなわち動画像のマルチコーデックを実現することができる。

図１２は、このようにして構成された動画像のマルチコーデックであり、図５の構成と比較すると、エンコーダ用音声メモリ３２１、３２４が第２の動画像符号化用の参照画像メモリ３１２、３１６に、デコーダ用音声メモリ３２２、３２３が第２の動画像復号用の参照画像メモリ３１３、３１５に対応している。

すなわち、自局側の第１の動画像符号化用の参照画像メモリ３１２を１フレームの１／４の容量に減らし、空いた１フレームの１／４の容量のメモリを第２の動画像符号化用の参照画像メモリ３１２として使用し、自局側の動画像復号用の参照画像メモリ３１３を１フレームの１／４の容量に減らし、空いた１フレームの１／４の容量のメモリを第２の動画像復号用参照画像メモリ３１３として使用する。対局側についても同様である。

このようにして、参照画像メモリの容量がそれぞれ１フレームの１／４の容量であるため送受信される動画像の画質は制約されるが、実施の形態１による１フレームの１／２のメモリ容量を増やさずに、動画像のマルチコーデックを実現することができる。

なお、上記説明で動画像のマルチコーデックの動画像符号処理機能を２組とし、各参照画像メモリの領域を１フレームの１／４としているが、これは説明のためであり、動画像の画質が制約されることを受け入れるならば、任意組数の動画像のマルチコーデックを実現することが可能である。

以上のように、本実施の形態によれば、自局および対局に本発明の動画像符号処理方法を用いた双方向通信において、参照画像メモリ容量と他の用途のメモリ容量の割合を制御することにより、メモリの総容量を抑えつつシステム用途に応じた様々な形態のメモリ使用が可能となる。

（実施の形態３）
実施の形態１における符号化用および復号用それぞれに用意された１フレームの１／２の容量の参照画像メモリを、状況に応じてエンコーダとデコーダの間で融通し合うことにより、画質が劣化する通信状況においても、画質を改善するために限られた容量の参照画像メモリを有効に活用することが可能になる。

実施の形態３では、状況に応じて参照画像メモリをエンコーダとデコーダの間で融通し合うことを可能にするために、図２に示したユーザ領域のコーディング方法を用いて、自局と対局の間で参照画像メモリを融通するための要求と許可応答を行うようにする。図６〜図９は実施の形態３における参照画像メモリの使用方法を説明する図である。

図６は使用者が自局側が対局側への送信画像の画質改善が必要と判断した場合に、自局側のエンコーダの参照画像メモリを増やすとともに、対局側のデコーダの参照画像メモリを増やす要求を行う方法を示している。例えば、動画像の双方向通信を用いて自局側から対局側にプレゼンテーションを行っており、自局側の商品を宣伝するために対局側に送信する画質を改善したい場合に本実施の形態を用いることができる。

図６（ａ）において、実施の形態１と同様に自局側の動画像符号処理装置３１１と対局側の動画像符号処理装置３１４が動画像の双方向通信を行っているときに、上記事情により自局側が対局側への送信画像の画質改善が必要と判断すると、自局側の動画像符号処理装置３１１は対局側の動画像符号処理装置３１４に対してデコーダの参照画像メモリを増やす要求６０１を符号化データ内のユーザ領域により送信する。ここでは参照画像メモリを１／２フレームから３／４フレームに増やすように要求するものとするが、実施の形態をこれに限定するものではない。

対局側の動画像符号処理装置３１４がデコーダの参照画像メモリを増やすことが可能と判断した場合は、自局側の動画像符号処理装置３１１に対して許可応答６０２を符号化データ内のユーザ領域により送信するとともに、デコーダの参照画像メモリを１／２フレームから３／４フレームに増やす。

自局側の動画像符号処理装置３１１は許可応答６０２を受け取ると、エンコーダの参照画像メモリを１／２フレームから３／４フレームに増やす。これにより、自局側から対局側への動画像送信に使用する双方の参照画像メモリを１／２フレームから３／４フレームに増やすことができる。同時に、対局側から自局側への動画像送信に使用する双方の参照画像メモリ１／２フレームから１／４フレームに減ることになる。

その結果、参照画像メモリの使用状態は図６（ｂ）に示すように、自局側のエンコーダは参照画像メモリとして３／４フレームの領域３３１を、対局側のデコーダは参照画像メモリとして３／４フレームの領域３３３をそれぞれ使用できるようになる。同時に、自局側のデコーダが使用できる参照画像メモリは１／４フレームの領域３３２に、対局側のエンコーダが使用できる参照画像メモリは１／４フレームの領域３３４にそれぞれ制限されることになる。

これにより、自局側が対局側へ送信する動画像の画質が改善されるとともに、自局側が対局側から受信する動画像の画質が劣化する。このように、動画像の双方向通信における画質を片方向に偏らせることで、対局側から受信する動画像の画質を犠牲にして自局側が送信する動画像の画質を改善することができる。

この状態を必要な期間だけ継続した後、双方向の画質を同等に戻すには、自局側の動画像符号処理装置３１１から対局側の動画像符号処理装置３１４に対してデコーダの参照画像メモリを元に戻す要求６０３を符号化データ内のユーザ領域により送信する。対局側の動画像符号処理装置３１４は要求６０３を受け取り、デコーダの参照画像メモリを元の１／２フレームに戻すとともに、自局側の動画像符号処理装置３１１に許可応答６０４を返す。自局側の動画像符号処理装置３１１は許可応答６０４を受け取り、エンコーダの参照画像メモリを元の１／２フレームに戻す。これにより、参照画像メモリの使用状態は図６（ｃ）に示すように元の状態に戻る。また、本実施の形態によれば、使用者が自局側が対局側への送信画像の符号化時に必要となる参照画像メモリ容量の削減を図りたい場合には、自局側のエンコーダの参照画像メモリを減らすとともに、対局側のデコーダの参照画像メモリを減らす要求を行う方法も同様に実現可能である。

上記の場合とは逆に、対局側が受信画像の画質改善が必要と判断した場合に、対局側から自局側に対して参照画像メモリを融通するための要求と許可応答を行うことにより、本実施の形態の処置を行うことができる。図７は対局側が受信画像の画質改善が必要と判断した場合に、対局側のデコーダの参照画像メモリを増やすとともに、自局側のエンコーダの参照画像メモリを増やす要求を行う方法を示している。

図７（ａ）において、実施の形態１と同様に自局側の動画像符号処理装置３１１と対局側の動画像符号処理装置３１４が動画像の双方向通信を行っているときに、対局側の使用者が受信画像の画質改善が必要と判断すると、対局側の動画像符号処理装置３１４は自局側の動画像符号処理装置３１１に対してエンコーダの参照画像メモリを増やす要求７０１を符号化データ内のユーザ領域により送信する。ここでは参照画像メモリを１／２フレームから３／４フレームに増やすように要求するものとするが、実施の形態をこれに限定するものではない。

自局側の動画像符号処理装置３１１がエンコーダの参照画像メモリを増やすことが可能と判断した場合は、対局側の動画像符号処理装置３１４に対して許可応答７０２を符号化データ内のユーザ領域により送信するとともに、エンコーダの参照画像メモリを１／２フレームから３／４フレームに増やす。

対局側の動画像符号処理装置３１４は許可応答７０２を受け取ると、デコーダの参照画像メモリを１／２フレームから３／４フレームに増やす。これにより、自局側から対局側への動画像送信に使用する双方の参照画像メモリを１／２フレームから３／４フレームに増やすことができる。同時に、対局側から自局側への動画像送信に使用する双方の参照画像メモリ１／２フレームから１／４フレームに減ることになる。

その結果、参照画像メモリの使用状態は図７（ｂ）に示すように、図６（ｂ）の参照画像メモリの使用状態と同じになり、自局側が対局側へ送信する動画像の画質が改善されるとともに、自局側が対局側から受信する動画像の画質が劣化する。このように、動画像の双方向通信における画質を片方向に偏らせることで、対局側が送信する動画像の画質を犠牲にして自局側から受信する動画像の画質を改善することができる。

この状態を必要な期間だけ継続した後、双方向の画質を同等に戻すには、対局側の動画像符号処理装置３１４から自局側の動画像符号処理装置３１１に対してエンコーダの参照画像メモリを元に戻す要求７０３を符号化データ内のユーザ領域により送信する。自局側の動画像符号処理装置３１１は要求７０３を受け取り、エンコーダの参照画像メモリを元の１／２フレームに戻すとともに、対局側の動画像符号処理装置３１４に許可応答７０４を返す。対局側の動画像符号処理装置３１４は許可応答７０４を受け取り、デコーダの参照画像メモリを元の１／２フレームに戻す。これにより、参照画像メモリの使用状態は図７（ｃ）に示すように元の状態に戻る。

本実施の形態において、自局側と対局側にそれぞれに用意された１フレームの１／２の容量の参照画像メモリをエンコーダとデコーダの間で融通し合うことを最大限に進め、自局側では１フレーム分の参照画像メモリをエンコーダに使用し、対局側では１フレーム分の参照画像メモリをデコーダに使用することで、本発明の実施形態において画質を最大に改善することも可能である。その場合は自局側から対局側への片方向通信となる。また、本実施の形態によれば、対局側が受信画像の復号化時に必要となる参照画像メモリ容量の削減を図りたい場合には、対極側のデコーダの参照画像メモリを減らすとともに、自局側のエンコーダの参照画像メモリを減らす要求を行う方法も同様に実現可能である。

図８は自局側から対局側への送信画像の画質改善のために、自局側のエンコーダの参照画像メモリを１フレーム分に増やすとともに、対局側のデコーダの参照画像メモリを１フレーム分に増やす要求を行う方法を示している。このようにすることで一時的に片方向通信となるが、その間の画質改善を図ることができる。

図８（ａ）、（ｂ）、（ｃ）がそれぞれ、図６（ａ）、（ｂ）、（ｃ）に相当し、自局側のエンコーダが使用する参照画像メモリ３３１と対局側のデコーダが使用する参照画像メモリ３３３がそれぞれ１フレームになり、自局側のデコーダが使用する参照画像メモリ３３２と対局側のエンコーダが使用する参照画像メモリ３３４が容量が０になるため無くなっている点以外は、図６と同様であり、処理方法も同様であるので説明を省略する。

本発明による自局が従来方式の対局と動画像通信を行う場合は、実施の形態１で説明したように、自局のエンコーダとデコーダが使用するそれぞれの参照画像メモリの容量を従来方式に合わせなければならないため、片方向通信となるという制約が生じた。しかし、従来方式の対局が自局より小さな画像を採用する装置である場合は、これを自局があらかじめ知ることができるならば、本実施の形態の処置により双方向通信を維持できる可能性がある。

図９は、本発明による自局が自局より小さな画像を採用する従来方式の対局と動画像通信を行う場合の参照画像メモリの使用方法を説明する図である。図９における対局の動画像符号処理装置３０４のデコーダが使用する１フレーム分の参照画像メモリ３０５は、図４（ｂ）における動画像符号処理装置３０４のデコーダが使用する１フレーム分の参照画像メモリ３０５より小さく、図９における対局の動画像符号処理装置３０４のエンコーダが使用する１フレーム分の参照画像メモリ３０６は、図４（ａ）における動画像符号処理装置３０４のエンコーダが使用する１フレーム分の参照画像メモリ３０６より小さい。

この場合に、対局の動画像符号処理装置３０４の参照画像メモリ３０５と参照画像メモリ３０６を合わせたメモリ容量が自局の動画像符号処理装置３１１の参照画像メモリ３３１と参照画像メモリ３３２を合わせたメモリ容量以内である場合は、その情報をあらかじめ把握することにより、図９に示すように自局の参照画像メモリをエンコーダとデコーダの間で融通し合うことにより双方向通信を維持することが可能となる。

（実施の形態４）
本発明の特徴である参照画像メモリの容量を減らす方法は、一般的に、予測フレームが不要なイントラ符号化するマクロブロックを増やすことを余儀なくされるため、結果的に符号量を増加させてしまうケースが潜在的に存在する方法であるため、符号量が通信容量を超える状況を招いてしまう危険性が生じ易く、符号量を抑えるために本質的に画質劣化が生じ易いという欠点を有する。

実施の形態３による参照画像メモリをエンコーダとデコーダの間で融通し合うことにより画質の改善を図る方法は、状況に応じて使用者の判断により自局と対局の間で参照画像メモリを融通するための要求と許可応答を行うようにするものであったが、送受信される符号量が所定のレベルを超えた場合に自動的に実施の形態３と同じ処理を行うことにより、上記欠点をカバーすることができる。

実施の形態４においては、自局あるいは対局が送信する符号量あるいは受信する符号量を観測する符号量カウンタを設けることにより、符号量カウンタの値が所定のレベルを超えた場合に、自局と対局の間で参照画像メモリを融通するための要求と許可応答を行うようにする。

図１の動画像符号処理装置の構成において、１３２が送信側の符号化データあるいは受信側の符号化データの符号量を観測するために設けられた符号量カウンタである。その値をＣＰＵ１３１が監視し、符号量カウンタの値が所定のレベルを超えた場合は可変長符号化部１０５に対して符号化データ内のユーザ領域を使用するための指令を送り、自局と対局の間で参照画像メモリを融通するための要求と許可応答を行う。

図１０は、自局側が送信する符号化データの符号量を観測し、符号量カウンタの値が所定のレベルを超えた場合に、自局側のエンコーダの参照画像メモリを増やすとともに、対局側のデコーダの参照画像メモリを増やす要求を行う方法を示している。

図１０の構成は、自局側の動画像符号処理装置３１１が送信する符号化データの符号量を符号量カウンタ１３２で観測することを除いては図６と同一構成であり、その動作説明も図６と同一であるので説明を省略する。

図１１は、他局側が受信する符号化データの符号量を観測し、符号量カウンタの値が所定のレベルを超えた場合に、対局側のデコーダの参照画像メモリを増やすとともに、自局側のエンコーダの参照画像メモリを増やす要求を行う方法を示している。

図１１の構成は、他局側の動画像符号処理装置３１４が受信する符号化データの符号量を符号量カウンタ１３２で観測することを除いては図７と同一構成であり、その動作説明も図７と同一であるので説明を省略する。

しかしながら、急なシーンチェンジ等で符号量が著しく増加した場合には、本実施の形態により自局と対局の間で参照画像メモリの使用容量を制御しても、許容範囲の画質の動画像を送受信することが困難になることがある。

携帯機器等においては、通信路を含めた処理能力の限界を超えた場合は、使用者に違和感を与えないために無益な制御を行わない方が良い場合がある。本実施の形態においては、符号量カウンタで観測された符号量がある許容限度を超えて増加した場合に、上記の処理を実施しないようにすることも可能である。

また、上記の処理を実施するか否かの選択を外部から指定可能にすることもできる。さらに機能を拡張し、符号量が許容限度を超えて増加する状態が所定フレーム数以上続いた場合に上記の処理を実施するようにすることも可能である。この場合、所定フレーム数が小さいと頻繁に画質が変化するので注意する必要がある。

以上のように、本実施の形態によれば、送信側あるいは受信側に備えた符号量カウンタにより符号量を観測し、その符号量に応じて自局と対局の間で参照画像メモリ容量を適宜切り替えることにより、符号量が通信容量を超える状況において画質劣化を抑制することができる。

本発明の動画像符号処理方法および装置は、参照画像メモリを削減し、複数および単数の画像や音声の圧縮伸張を同時に行うコーデック機能を実現するため、テレビ会議システム等として有効である。また、カメラ付き携帯電話によるテレビ電話等の用途にも応用することができる。

本発明の実施の形態１に係る動画像符号処理装置の構成を示すブロック図。ＭＰＥＧ規格に規定されたユーザ領域のコーディング方法を示す図。本発明の実施の形態１における参照画像メモリの使用方法を説明する図。本発明の実施の形態１の動画像符号処理装置が従来の動画像符号処理装置と動画像通信を行う場合の参照画像メモリの使用方法を説明する図。本発明の実施の形態２における参照画像メモリと音声メモリの使用方法を説明する図。本発明の実施の形態３において送信側が画質改善が必要と判断した場合の参照画像メモリの使用方法を説明する図。本発明の実施の形態３において受信側が画質改善が必要と判断した場合の参照画像メモリの使用方法を説明する図。本発明の実施の形態３において送信側が最大限に画質改善を行う場合の参照画像メモリの使用方法を説明する図。本発明の実施の形態３において自局より小さな画像を採用する従来方式の対局と動画像通信を行う場合の参照画像メモリの使用方法を説明する図。本発明の実施の形態４において送信側の符号量に応じて参照画像メモリを制御する方法を説明する図。本発明の実施の形態４において受信側の符号量に応じて参照画像メモリを制御する方法を説明する図。本発明の実施の形態２による動画像のマルチコーデックにおける参照画像メモリの使用方法を説明する図。従来の動画像の双方向通信における参照画像メモリの使用方法を説明する図。先願技術に示されたエンコーダの構成を示すブロック図。先願技術に示されたエンコーダにおける参照画像メモリに対する記録制御の様子を説明する図。

符号の説明

１０１画像入力部
１０３直交変換を行うＤＣＴ部
１０４量子化部
１０５可変長符号化を行うハフマン符号化部
１０６、１２２逆量子化部
１０７、１２３逆直交変換を行う逆ＤＣＴ部
１０８、１２４参照画像メモリ
１０９、１２５動き補償部
１１０動き検出部
１１１、１２７メモリ制御部
１２１符号化データの復号処理を行う復号部
１２６画像出力部
１３１ＣＰＵ
１３２符号量カウンタ
２０１イントラ符号化するマクロブロック
２０２インター符号化するマクロブロック
２０３次フレームでインター符号化する参照画像マクロブロック群
２０４従来のフレームメモリ
３０１、３１１自局側の動画像符号処理装置
３０２、３１２自局側で送信画像を符号化するための参照画像メモリ
３０３、３１３自局側で受信画像を復号するための参照画像メモリ
３０４、３１４対局側の動画像符号処理装置
３０５、３１５対局側で受信画像を復号するための参照画像メモリ
３０６、３１６対局側で送信画像を符号化するための参照画像メモリ
３０７、３１７対局側から自局側へ配信される符号化データ
３０８、３１８自局側から対局側へ配信される符号化データ
３２１自局側のエンコーダ用音声メモリ
３２２自局側のデコーダ用音声メモリ
３２３対局側のデコーダ用音声メモリ
３２４対局側のエンコーダ用音声メモリ
３３１自局側のエンコーダ用参照画像メモリの３／４フレーム領域
３３２自局側のデコーダ用参照画像メモリの１／４フレーム領域
３３３対局側のデコーダ用参照画像メモリの３／４フレーム領域
３３４対局側のエンコーダ用参照画像メモリの１／４フレーム領域
６０１対局側のデコーダの参照画像メモリを増やす要求
６０２、６０４、７０２、７０４許可応答
６０３対局側のデコーダの参照画像メモリを元に戻す要求
７０１自局側のエンコーダの参照画像メモリを増やす要求
７０３自局側のエンコーダの参照画像メモリを元に戻す要求

Claims

符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとの間でメモリ容量が融通可能に構成した参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像の符号化と復号化とをともに行う第１の動画像符号化復号化処理装置および第２の動画像符号化復号化処理装置を、対向させて動画像双方向通信を行うシステムにおける動画像符号化復号化処理方法であって、
前記第２の動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像符号化復号化処理装置において前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定し、
対向する第１および第２の前記動画像符号化復号化処理装置間で、それぞれが使用する前記第１の参照画像メモリおよび前記第２の参照画像メモリの容量制御情報を交換し、
前記容量制御情報は、前記第２の動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超えたときに、前記第２の前記動画像符号化復号化処理装置が前記第１の前記動画像符号化復号化処理装置に対して、前記第１の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である動画像符号化復号化処理方法。
符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとの間でメモリ容量が融通可能に構成した参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像の符号化と復号化とをともに行う第１の動画像符号化復号化処理装置および第２の動画像符号化復号化処理装置を、対向させて動画像双方向通信を行うシステムにおける動画像符号化復号化処理方法であって、
前記第２の動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像符号化復号化処理装置において前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定し、
対向する第１および第２の前記動画像符号化復号化処理装置間で、それぞれが使用する前記第１の参照画像メモリおよび前記第２の参照画像メモリの容量制御情報を交換し、
前記容量制御情報は、前記第２の動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測されたときに、前記第２の前記動画像符号化復号化処理装置が前記第１の前記動画像符号化復号化処理装置に対して、前記第１の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である動画像符号化復号化処理方法。
符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとの間でメモリ容量が融通可能に構成した参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像の符号化と復号化とをともに行う第１の動画像符号化復号化処理装置および第２の動画像符号化復号化処理装置を、対向させて動画像双方向通信を行うシステムにおける動画像符号化復号化処理方法であって、
前記第２の動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像符号化復号化処理装置において前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定し、
対向する第１および第２の前記動画像符号化復号化処理装置間で、それぞれが使用する前記第１の参照画像メモリおよび前記第２の参照画像メモリの容量制御情報を交換し、
前記容量制御情報は、前記第１の動画像符号化復号化処理装置が送信する符号化データの符号量が所定の値を超えたときに、前記第１の前記動画像符号化復号化処理装置が前記第２の前記動画像符号化復号化処理装置に対して、前記第２の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である動画像符号化復号化処理方法。
符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとの間でメモリ容量が融通可能に構成した参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像の符号化と復号化とをともに行う第１の動画像符号化復号化処理装置および第２の動画像符号化復号化処理装置を、対向させて動画像双方向通信を行うシステムにおける動画像符号化復号化処理方法であって、
前記第２の動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像符号化復号化処理装置において前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定し、
対向する第１および第２の前記動画像符号化復号化処理装置間で、それぞれが使用する前記第１の参照画像メモリおよび前記第２の参照画像メモリの容量制御情報を交換し、
前記容量制御情報は、前記第１の動画像符号化復号化処理装置が送信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡って観測されたときに、前記第１の前記動画像符号化復号化処理装置が前記第２の前記動画像符号化復号化処理装置に対して、前記第２の参照画像メモリの容量を増加させることを要求する制御情報、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する制御情報である動画像符号化復号化処理方法。
動画像の符号化データのビットストリームに埋め込まれたユーザ情報を用いて前記制御情報が発信される請求項１〜４のうちいずれか１項に記載の動画像符号化復号化処理方法。
請求項１〜５のうちいずれか１項に記載の動画像符号化復号化処理方法を実施する動画像双方向通信システム。
参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像双方向通信を行うシステムにおいて、対局側動画像符号化復号化処理装置に対向して動画像の符号化と復号化とを行う動画像符号化復号化処理装置であって、
符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとのメモリ容量が融通可能な共通メモリと、
前記対局側動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定するメモリ制御部と、
前記対局側動画像符号化復号化処理装置へ送信する符号化データの符号量が所定の値を超えたときに、前記第２の参照画像メモリの容量を増加させること、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する要求伝達と、前記対局側動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超えたときに、前記第１の参照画像メモリの容量を増加させること、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する前記対局側動画像符号化復号化処理装置からの要求伝達に対する応答伝達とを行う通信手段を備える動画像符号化復号化処理装置。
参照画像メモリを用いた動画像圧縮符号化復号化方式により動画像双方向通信を行うシステムにおいて、対局側動画像符号化復号化処理装置に対向して動画像の符号化と復号化とを行う動画像符号化復号化処理装置であって、
符号化に使用する参照画像メモリと復号化に使用する参照画像メモリとのメモリ容量が融通可能な共通メモリと、
前記対局側動画像符号化復号化処理装置において第１の動画像の復号化に使用する第２の参照画像メモリの容量に応じて、前記第１の動画像の符号化に使用され、前記第２の参照画像メモリとは異なる第１の参照画像メモリの容量を決定するメモリ制御部と、
前記対局側動画像符号化復号化処理装置へ送信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡るときに、前記第２の参照画像メモリの容量を増加させること、または増加させた前記第２の参照画像メモリの容量を増加させる前の容量に戻すことを要求する要求伝達と、前記対局側動画像符号化復号化処理装置が受信する符号化データの符号量が所定の値を超える状態が所定の複数フレームに渡るときに、前記第１の参照画像メモリの容量を増加させること、または増加させた前記第１の参照画像メモリの容量を増加させる前の容量に戻すことを要求する前記対局側動画像符号化復号化処理装置からの要求伝達に対する応答伝達とを行う通信手段を備える動画像符号化復号化処理装置。
前記符号化に使用する参照画像メモリおよび前記復号に使用する参照画像メモリの容量は、それぞれ１フレーム分の参照画像を格納するメモリ容量以下の容量である請求項８に記載の動画像符号化復号化処理装置。
前記符号化に使用する参照画像メモリおよび前記復号に使用する参照画像メモリの容量をそれぞれ同数の複数組に分割し、複数組の動画像符号化復号化処理装置として機能するように構成した請求項８または９に記載の動画像符号化復号化処理装置。