JP5152044B2 - 画像符号化装置および方法並びにプログラム - Google Patents

Description

本発明は２次元画像信号の符号化装置に関し、特に、２次元画像伝送時にイントラ更新を行う画像符号化装置に関する。

画像データを送受信する装置が種々提案されている。例えば、特許文献１には、サーバ装置とシンクライアント端末との間で画像データを送受信するシンクライアントシステムが記載されている。

シンクライアントシステムにおける画像伝送装置では、画像のうち更新された領域を含む矩形領域の画像データを符号化して送信する方式が多く用いられる。この種の送信方式はたとえば特許文献３に記載されている。この送信方式によれば、画像中の一部の領域しか更新されていない場合に、画像全体を全て符号化して送信する必要がなくなり、一部領域の画像データのみを符号化して送信すればよいので、送信するデータ量を減らすことができる。

特に、コンピュータ画面に表示されるような映像では、画面全体が頻繁に再描画される場合は少なく、一部領域を除いて画素値が全く変化しないことも多い。したがって、こうした部分符号化によるデータ削減は非常に有効である。

また、放送などのように一対多の通信では、ＴＣＰ／ＩＰのような、送達確認つきの伝送方式の適用は困難である。その理由は、一対多の通信で送達確認を行うと、伝送速度が非常に遅くなる（最も遅い受信者の伝送速度に合わさせられる）か、または、多数の各受信者に対して個別の再送制御を行うことになるため、送信側の負荷が非常に高くなってしまうためである。これに対して、シンクライアントの通信は通常一対一であるためこうした問題がなく、送達確認つきの伝送方式を用いることができる。このため、一度送信された領域については、差分が無い限り、基本的に再送は不要となる。

一方、通信ネットワークを介して画像データを送受信する場合、データ量を圧縮するために画像データを符号化する場合がある。画像データを符号化する画像処理装置が、例えば、特許文献２に記載されている。特許文献２に記載の画像処理装置は、量子化およびデータの符号化を行い、符号化処理を進行しながら符号化データの量をカウントする。そして、符号化処理の途中で符号化データのデータ量が設定された目標符号量をオーバーする場合、量子化ステップを変更して符号化処理を再開し、既に符号化されたデータについても再符号化を行う。このようにすることで、利用可能な通信帯域の範囲内で、最善の画質で画像を伝送できるようになる。

データ圧縮時に量子化のような非可逆変換を用いると、受信側で復号された画像の品質が送信側の元画像よりも劣化する場合がある。また、通信路などにおいてデータ欠落や伝送エラーが発生した場合にも、受信側の画像品質が低下する場合がある。これに起因する後続フレームへの画質劣化の伝播を抑制するため、映像伝送の際には、定期的にイントラ更新（イントラリフレッシュ）の信号を挿入して伝送する方式が考案されている。

こうしたイントラ更新の際は、フレームの一部または全部を、差分の有無にかかわらず、フレーム内で完結した形で符号化し、再度伝送することが一般的である。これによって、受信側の画面バッファがどのような状態であっても最新のフレームの信号を得ることが出来るため、誤差の蓄積や伝送エラーによる画質劣化から回復できる可能性が高くなる。

一般に、イントラ更新では、フレーム全体を符号化すると符号量が非常に大きくなるため、フレームを複数の部分領域に分割して少しずつ伝送する方法が用いられる。

たとえば特許文献４のイントラ更新方式は、フレームを複数の部分領域に分割し、周期的に一定数ずつの部分領域を伝送することによって、帯域の平滑化を行っている。また、このイントラ更新の符号が付加されることによって利用可能帯域を超過することが無いよう、イントラ更新で伝送される領域の符号量および画質を制御している。

また、特許文献５のイントラ更新方式は、フレームを複数の部分領域に分割し、伝送可能符号量の範囲で、映像信号が変化した部分領域（有効ブロック）から順に伝送を行う。伝送符号量に余裕があれば、信号値の変化が少ない、あるいは変化していない部分領域（無効ブロック）についても順次伝送する。これによって、一定の伝送帯域内に収まる範囲で、部分領域のイントラ更新を行うことができる。

特表2004-503862号公報 特許第004035475号 特開2008-085502号公報 特許第003152730号 特開平6-105303号公報

特許文献４に記されているような、画像を一定面積の各部分領域に分割し、それらを巡回しながらイントラ更新を行う方式では、前回のイントラ更新から現在までの間に描画更新や品質劣化が無かった部分領域についても無条件に、定期的なイントラ更新が行われる。

シンクライアントシステムのような画面伝送システムでは長時間にわたって描画更新されない領域も多いため、こうしたイントラ更新方式は伝送効率が悪い。

また、シンクライアントシステムのような、更新領域が画像中の一部であることが多い用途では、あるフレームにおけるイントラ更新に割り当て可能な符号量は、当該フレームの更新領域の面積によって大きく変動する。たとえば、更新領域の面積が大きいフレームでは、更新領域で発生する符号量が大きいため、イントラ更新に割り当て可能な余剰帯域は小さい。これとは逆に、更新領域の面積が小さいフレームにおいては、イントラ更新に割り当て可能な余剰帯域が大きくなる。

特許文献４のように常にイントラ更新の面積が一定の方式では、イントラ更新のための余剰帯域が小さい状況においては、イントラ更新の圧縮率を上げる（すなわち、画質を下げる）必要がある。結果として、イントラ更新を行うことで、かえって既に伝送済みの画像より画質が劣化する可能性がある。また逆に、イントラ更新のための余剰帯域が非常に大きい状況では、イントラ更新の対象の領域をすべて最高品質で圧縮したとしても、余剰帯域に満たない可能性がある。

一方、特許文献５に記されているような、イントラ更新のブロック数を可変にすることによって帯域の平滑化を行う方式では、余剰帯域を使い切ることができる。

しかし、特許文献５の方式をシンクライアントシステムに適用すると、以下の問題が生じる。

第一に、特許文献４と同様に、描画更新が無い領域についても強制的に再送することになるため、伝送効率が悪い。

第二に、品質を一定以上に上げることが難しい。

第二の問題に関して、特許文献５の方式で品質を上げるためには、有効ブロックおよび無効ブロックを符号化する際の品質パラメータを高画質なものに設定する必要がある。しかし、品質パラメータを高画質に設定すると、画面内の全ての有効ブロックを符号化するだけで利用可能帯域を超過してしまう状況が発生する。この結果、一定時間内に全ての有効ブロックを送りきることができなくなり、受信側に全ての変化領域が表示されるまでの待ち時間が長くなってしまう。これは、シンクライアントシステムの操作応答性、すなわちシステムとしての品質が低下することに繋がる。

一方、品質パラメータを低品質にすると、ほとんどの有効ブロックは伝送できるようになり、無効ブロックのイントラ更新も可能となる。しかし、品質パラメータが低品質であるため、無効ブロックも低品質で符号化されることになり、仮に画面が長時間静止した状態になっても、画面全体の画質は低品質なままとなる。

以上のように、上記の従来方式では、シンクライアントシステムのような画面伝送システムにおいて、更新領域の表示応答性（伝送遅延）、余剰帯域に応じた受信画像の高品質化、画面が静止した状態での不要な再送の抑制、を両立することができない。

［発明の目的］
本発明の目的は、更新領域の表示応答性を確保しながら、かつ、余剰帯域に応じて更新領域以外の領域を高品質化することのできる画像符号化装置を提供することにある。

本発明の第１の画像符号化装置は、入力画像信号のフレームから描画更新の発生した領域を抽出する描画更新領域検出手段と、全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化する描画更新領域符号化手段と、フレームを複数のタイルに分割した個々のタイルごとの情報を記憶する低品質タイルメモリと、前記描画更新領域符号化手段が描画更新領域を符号化した際、その品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして前記低品質タイルメモリに記録する低品質タイル記録手段と、記録された低品質タイルを順に抽出する低品質タイル抽出手段と、フレームでの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するイントラ更新手段とを備えている。

本発明によれば、更新領域の表示応答性を確保しながら、かつ、余剰帯域に応じて更新領域以外の領域を高品質化することができる。

本発明の第１の実施の形態による画像符号化装置のブロック図である。 本発明の第１の実施の形態による画像符号化装置における処理のフローチャートである。 本発明の第２の実施の形態による画像符号化装置のブロック図である。 本発明の第２の実施の形態による画像符号化装置における処理のフローチャートである。 本発明の第３の実施の形態による画像符号化装置のブロック図である。 本発明の第３の実施の形態による画像符号化装置における処理のフローチャートである。 本発明の第４の実施の形態による画像符号化装置のブロック図である。 本発明の第４の実施の形態による画像符号化装置における処理のフローチャートである。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

［第１の実施の形態］
図１を参照すると、本発明の第１の実施の形態は、信号入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、符号出力装置１４とから構成されている。

信号入力装置１１は、符号化の対象となる映像信号を入力する装置である。本発明をシンクライアントシステムのサーバにおける画像符号化装置に適用する場合、信号入力装置１１は、例えば図示しないコンピュータのディスプレイ画面のカラー映像信号をアナログキャプチャあるいはデジタルキャプチャし、データ記憶装置１２に記憶する。キャプチャされた１画面の映像信号は、フレームあるいは画面データと呼ぶ。

データ記憶装置１２は、前フレームメモリ１２１と、現フレームメモリ１２２と、低品質タイルメモリ１２３と、許容符号量メモリ１２４と、出力符号量カウンタ１２５とを備える。

現フレームメモリ１２２は、符号化の対象となるフレームを記憶するメモリである。前フレームメモリ１２１は、現フレームメモリ１２２に記憶されたフレームの時間的に１つ前のフレームを記憶するメモリである。

低品質タイルメモリ１２３は、フレームをタイルと呼ぶ複数の部分領域に分割した際の個々のタイルに対応する記憶領域を有するメモリであり、低品質タイルに関する情報を記録するために使用される。図１において、低品質タイルメモリ１２３中に描いた枡目は、フレームを構成するタイルを示している。ドットで埋めつくされたタイルは、それが低品質タイルであることを模式的に示している。

許容符号量メモリ１２４には、フレームあたりの許容出力符号量があらかじめ格納されている。出力符号量カウンタ１２５は、フレームあたりの出力符号量を積算するために使用される。

データ処理装置１３は、描画更新領域検出手段１３１と、描画更新領域符号化手段１３２と、低品質タイル記録手段１３３と、低品質タイル抽出手段１３４と、イントラ更新手段１３５と、出力符号量初期化手段１３６とを含む。

描画更新領域検出手段１３１は、前フレームメモリ１２１に記憶された前フレームと現フレームメモリ１２２に記憶された現フレームとの間で相違する領域を更新領域として検出する機能を有する。

描画更新領域符号化手段１３２は、全ての更新領域の符号量の合計が、許容符号量メモリ１２４に記憶されたフレームの許容帯域に収まるよう、各描画更新領域の品質を調整して符号化する機能を有する。品質を調整して符号化する方法は任意である。例えば、量子化のビット数を調整する方法を使用することができる。

低品質タイル記録手段１３３は、描画更新領域符号化手段１３２から符号化した更新領域とその符号化の品質パラメータとを受け取り、予め定めた画像品質より低品質な品質パラメータで符号化された更新領域を含むタイルを、低品質タイルとして低品質タイルメモリ１２３に記録する機能を有する。例えば描画更新領域符号化手段１３２が品質を量子化ビット数で調整する場合、実際に使用した量子化ビット数が品質パラメータとして低品質タイル記録手段１３３に伝達する。低品質タイル記録手段１３３は、品質パラメータとして受け取った量子化ビット数を予め定められた閾値と比較することにより、予め定めた画像品質より低品質な品質パラメータで符号化された更新領域か否かを判断することができる。低品質タイル記録手段１３３が低品質タイルメモリ１２３に記録する情報は任意であり、例えばタイルに対応する記憶領域に、そのタイルが低品質タイルであれば値１のフラグを記憶し、低品質タイルでなければ値０のフラグを記憶するようにしてもよい。

低品質タイル抽出手段１３４は、低品質タイルメモリ１２３を参照して、低品質タイルを１タイルずつ順に抽出する機能を有する。低品質タイルメモリ１２３に複数の低品質タイルが記録されている場合の抽出の仕方は任意である。本実施の形態の場合、記録された低品質タイルをラスタスキャン巡回順に抽出する。

イントラ更新手段１３５は、当該フレームの出力符号が、許容符号量メモリ１２４に記憶されたフレームの許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質なパラメータで符号化する機能を有する。

出力符号量初期化手段１３６は、各フレームの処理開始時に、出力符号量カウンタ１２５を初期化する機能を有する。

符号出力装置１４は、符号を出力する装置である。本発明をシンクライアントシステムのサーバにおける画像符号化装置に適用する場合、符号出力装置１４は、図示しないネットワークを介してシンクライアント端末へデータを送信する通信装置で構成される。通信に使用するプロトコルとしては、ＴＣＰ／ＩＰのような送達確認つきの通信プロトコルを使用する。したがって、伝送中のデータ欠落の可能性については無視できるものとする。

また、本実施の形態の動作にあたっては、実用上十分な画像品質（多くの場合、画質劣化が知覚されなくなる十分な品質）をあらかじめ定めておくものとし、この品質を超える品質を「高品質」と呼ぶ。また、それらの品質パラメータを「高品質パラメータ」と呼び、そうしたパラメータで符号化されたタイルを「高品質タイル」と呼ぶ。反対に、実用上十分な上記品質を超えない品質を「低品質」と呼ぶ。また、それらの品質パラメータを「低品質パラメータ」と呼び、そうしたパラメータで符号化されたタイルを「低品質タイル」と呼ぶ。

次に、本実施の形態の動作を説明する。

信号入力装置１１から新たなフレームが現フレームメモリ１２２に記憶されると、現フレームメモリ１２２に記憶されたフレームを符号化対象フレームとして、データ処理装置１３において図２に示す処理が実行される。

まず、出力符号量初期化手段１３６は、フレームの処理開始時に、出力符号量カウンタ１２５の値を０に初期化する（Ｓ１０１）。

次に、描画更新領域検出手段１３１は、前フレームメモリ１２１の記憶内容と、現フレームメモリ１２２の記憶内容とを比較し、描画更新を含む領域（描画更新領域）を抽出する（Ｓ１０２）。

次に、描画更新領域符号化手段１３２は、全ての描画更新領域の符号量の合計が当該フレームの許容帯域に収まるよう、各描画更新領域の品質を調整して符号化し、符号出力装置１４に出力する（Ｓ１０３）。また、描画更新領域符号化手段１３２は、出力した符号量を出力符号量カウンタ１２５に記録する（Ｓ１０４）。

次に、低品質タイル記録手段１３３は、描画更新領域符号化手段１３２が高品質で符号化できなかった描画更新領域を含むタイルを、低品質タイルとして低品質タイルメモリ１２３に記録する（Ｓ１０５）。

次に、低品質タイル抽出手段１３４は、低品質タイルメモリ１２３から、低品質タイルをラスタスキャン巡回順に１つ抽出する（Ｓ１０６）。ラスタスキャンの巡回順序は、前回のフレームでのラスタスキャン巡回終了位置から開始して、フレーム上で、左から右、上から下の順であり、右下の次は左上に戻る。

低品質タイルメモリ１２３に、低品質タイルが存在しなければ（Ｓ１０７でＹＥＳ）、図２の処理を終了する。

低品質タイルが存在していれば、イントラ更新手段１３５は、低品質タイル抽出手段１３４が抽出した低品質タイルを高品質パラメータで符号化する（Ｓ１０８）。次に、イントラ更新手段１３５は、低品質タイルの符号量を出力符号量カウンタ１２５の現在の値に加算し（Ｓ１０９）、加算後の出力符号量カウンタ１２５の値が許容符号量メモリ１２４の値を超えているか否かを判定する（Ｓ１１０）。

超えている場合は、イントラ更新手段１３５は、そのタイルの符号は出力せず、イントラ更新処理を終了する。

超えていなければ、イントラ更新手段１３５は、その符号を符号出力装置１４へ出力するとともに（Ｓ１１１）、低品質タイルメモリ１２３から、当該タイル（今回符号化して出力した低品質タイル）の情報を削除する（Ｓ１１２）。さらに、制御を低品質タイル抽出手段１３４に戻し、ステップＳ１０６から処理を繰り返す。次に抽出された低品質タイルについても同様の処理が行われ、低品質タイルが無くなるか、出力符号量が許容符号量に達するまで、処理が繰り返される。

本実施の形態の効果について説明する。

本実施の形態では、描画更新領域については、その合計符号量がフレームの許容帯域に収まるように符号化するため、描画更新領域の面積が大きく変動するシンクライアントシステムのような画面伝送システムにおいても、伝送許容帯域を超過することによる遅延がなく、表示応答性を高く保つことができる。

さらに、更新領域以外の領域については、余剰帯域の範囲内で高品質化（イントラ更新）することができる。フレームごとに描画更新領域の面積が大きく変動した場合にも、イントラ更新の対象となる領域の面積を変動させることで、余剰帯域を十分に活用しながら高画質化が行える。たとえば、無差分のフレーム（描画更新領域の無いフレーム）や、描画更新領域の面積が小さいフレームでは、余剰帯域に収まる限り多くのタイルに亘ってイントラ更新を行うことができる。

また、直近の過去において低品質パラメータで符号化された領域だけが選択的に高品質化されるため、すでに十分な品質に達した領域が再度、符号化・伝送されることがなく、伝送効率が高い。また、イントラ更新の対象となる領域は、常に予め定めた画像品質より高品質となるパラメータで符号化されるため、イントラ更新によってかえって画質が低下するという可能性が無く、主観品質の低下の恐れが無い。

一方、描画更新領域の面積が大きいフレームでは、許容帯域全てが描画更新領域に割り当てられ、その期間はイントラ更新が全く行われないが、この期間は、ユーザーが注目する描画更新領域の品質に全ての帯域が利用されるため、主観品質は低下しにくい。

［第２の実施の形態］

図３を参照すると、本発明の第２の実施の形態に係る画像符号化装置は、第１の実施の形態に係る画像符号化装置と比較して、低品質タイルメモリ１２３、低品質タイル記録手段１３３および低品質タイル抽出手段１３４が、低品質タイルメモリ１２３１、低品質タイル記録手段１３３１および低品質タイル抽出手段１３４１に置き換えられている点で相違する。

低品質タイルメモリ１２３１は、低品質タイルメモリ１２３と比較して、各タイルごとに、そのタイルが最後に符号化された際の品質パラメータを記憶する点で相違する。図３において、低品質タイルメモリ１２３１中に描いた枡目は、フレームを構成するタイルを示しており、ドットで埋めつくされたタイルは、第１の実施の形態と同様に、それが低品質タイルであることを模式的に示している。また、タイル中に記載された「２」、「３」は品質パラメータを模式的に示し、「Ｈ」は高品質タイルであることを示している。

低品質タイル記録手段１３３１は、低品質タイル記録手段１３３と比較して、予め定めた画像品質より低品質な品質パラメータで符号化された更新領域を含むタイルを、単に低品質タイルとして低品質タイルメモリ１２３に記録するだけではなく、その品質パラメータを記録する機能を有する点で相違する。

低品質タイル抽出手段１３４１は、低品質タイル抽出手段１３４と比較して、低品質タイルメモリ１２３１に複数の低品質タイルが記録されている場合の抽出の仕方が相違する。低品質タイル抽出手段１３４１は、より低い品質パラメータで符号化された低品質タイルを優先的に抽出する。

次に、本実施の形態の動作を説明する。

信号入力装置１１から新たなフレームが現フレームメモリ１２２に記憶されると、現フレームメモリ１２２に記憶されたフレームを符号化対象フレームとして、データ処理装置１３において図４に示す処理が実行される。

まず図２のステップＳ１０１〜Ｓ１０４と同様の処理が行われる（Ｓ２０１〜Ｓ２０４）。次に、低品質タイル記録手段１３３１は、描画更新領域符号化手段１３２が高品質に符号化できなかった描画更新領域を含むタイル（低品質タイル）について、その品質パラメータを低品質タイルメモリ１２３１に記録する（Ｓ２０５）。

次に、低品質タイル抽出手段１３４１は、低品質タイルメモリ１２３１を参照して、より低い品質パラメータで符号化された低品質タイルから順に、また、同一品質内ではラスタスキャン巡回順に、低品質タイルを１つ抽出する（Ｓ２０６）。具体的には、まず、全ての低品質タイル中で最も低い品質パラメータを持つ低品質タイルをラスタスキャン巡回順に抽出し、全て抽出し終えたならば、次に低い品質パラメータを持つ低品質タイルをラスタスキャン巡回順に抽出する処理を繰り返す。ラスタスキャンの巡回順序は、前回のフレームでのラスタスキャン巡回終了位置から開始して、フレーム上で、左から右、上から下の順であり、右下の次は左上に戻る。

以降のステップＳ２０７〜Ｓ２１１の処理は、図２のステップＳ１０７〜Ｓ１１１の処理と同じである。ステップＳ２１２では、イントラ更新手段１３５は、低品質タイルメモリ１２３１に記録された当該タイル（今回符号化して出力した低品質タイル）の情報を高品質タイルの情報に書き換え、制御を低品質タイル抽出手段１３４１に戻す。これにより、ステップＳ２０６から処理が繰り返される。次に抽出された低品質タイルについても同様の処理が行われ、低品質タイルが無くなるか、出力符号量が許容符号量に達するまで、処理が繰り返される。

本実施の形態の効果について説明する。

本実施の形態では、第１の実施の形態の効果に加え、品質がより低いタイルほど優先的に高品質化されるという効果が得られる。画面内で低品質なタイルほど早く品質が改善されるため、画面全体としての主観的品質が向上する。

［第３の実施の形態］
図５を参照すると、本発明の第３の実施の形態に係る画像符号化装置は、第２の実施の形態に係る画像符号化装置と比較して、新たに未送出期間メモリ１２６と優先度更新手段１３７とを有する点、低品質タイル記録手段１３３１およびイントラ更新手段１３５の代わりに低品質タイル記録手段１３３２およびイントラ更新手段１３５１を有する点で相違する。

未送出期間メモリ１２６は、タイルに対応する記憶領域を有するメモリであり、低品質タイルごとに、抽出されずに残されている期間を示す未送出カウンタを記録するために使用される。図５において、未送出期間メモリ１２６中に描いた枡目は、フレームを構成するタイルを示している。ドットで埋めつくされた低品質タイル中に記載された「１」、「１７」の数値は、未送出カウンタの値を模式的に示している。

低品質タイル記録手段１３３２は、低品質タイル記録手段１３３１と比較して、低品質タイルメモリ１２３１に低品質タイルの品質パラメータを書き込む際に、その低品質タイルに対応する未送出期間メモリ１２６のタイルに記録された未送出カウンタを０に初期化する機能が追加されている点で相違する。

イントラ更新手段１３５１は、イントラ更新手段１３５と比較して、フレームの送出処理が完了するごとに、優先度更新手段１３７に処理を開始するよう通知する機能が追加されている点で相違する。

優先度更新手段１３７は、低品質タイルメモリ１２３１に低品質タイルとして記録されている全てのタイルについて、その低品質タイルに対応する未送出期間メモリ１２６のタイルに記録された未送出カウンタをインクリメントする機能を有する。さらに優先度更新手段１３７は、未送出期間メモリ１２６の未送出カウンタが所定値に達した低品質タイルについて、低品質タイルメモリ１２３１に格納されている品質パラメータを所定値だけ、より低品質なものに変更し、未送出期間メモリ１２６の未送出カウンタをゼロにリセットする機能を有する。

次に、本実施の形態の動作を説明する。

信号入力装置１１から新たなフレームが現フレームメモリ１２２に記憶されると、現フレームメモリ１２２に記憶されたフレームを符号化対象フレームとして、データ処理装置１３において図６に示す処理が実行される。

まず図４のステップＳ２０１〜Ｓ２０５と同様の処理が行われる（Ｓ３０１〜Ｓ３０５）。次に、低品質タイル記録手段１３３２は、描画更新領域符号化手段１３２が高品質で符号化できなかった描画更新領域を含むタイル（低品質タイル）について、未送出期間メモリ１２６に格納されている未送出カウンタを０に初期化する（Ｓ３２１）。

以降のステップＳ３０６〜Ｓ３１２の処理は、図４のステップＳ２０６〜Ｓ２１２の処理と同じである。つまり、出力符号量に余裕があれば、より低品質なタイルから優先的にイントラ更新される。

イントラ更新手段１３５１は、フレームの送出処理が完了すると、優先度更新手段１３７に処理を開始するよう通知する。優先度更新手段１３７は、タイル品質メモリ１２３１から低品質タイルをすべて抽出し、未送出期間メモリ１２６内の対応するタイルの未送出カウンタをインクリメントする（Ｓ３３１）。さらに優先度更新手段１３７は、未送出期間メモリ１２６の未送出カウンタが所定値に達したタイルについて、タイル品質メモリ１２３１内に格納されている品質パラメータを所定値だけ低品質なものに変更し、未送出期間メモリ１２６の未送出カウンタを０にリセットする（Ｓ３３２〜Ｓ３３４）。

次に、本実施の形態の効果について説明する。

本実施の形態では、第２の実施の形態の効果に加え、古い低品質タイルが優先的に高品質化されるという効果が得られる。すなわち、第２の実施形態では、品質の悪いタイル（例えば量子化の粗いタイルなど）が連続する複数のフレームにおいて次々と画面に出現した場合、それほど低品質ではないタイル（ある程度細かく量子化されたタイルなど）はいつまでもイントラ送信されずに残ってしまう。これに対して本実施の形態では、送出されずに残った低品質タイルの品質パラメータが時間の経過に従ってより低いものに更新される。これは、送出されずに残った低品質タイルの抽出優先度が上がることに相当するため、こうした低品質タイルの残留を抑えることができる。

［第４の実施の形態］
図７を参照すると、本発明の第４の実施の形態に係る画像符号化装置は、第２の実施の形態に係る画像符号化装置と比較して、データ処理装置１３が新たに移動領域検出手段１３８１、動き補償手段１３８２およびタイル移動追従手段１３９を有する点で相違する。

移動領域検出手段１３８１は、前フレームメモリ１２１に記憶された前フレームと現フレームメモリ１２２に記憶された現フレームとを比較し、同一または類似の領域が、前フレームと現フレームとで異なる位置に存在するときに、前記領域を移動領域として検出する機能を有する。移動領域検出手段１３８１は、検出した移動領域の情報を符合出力装置１４へ出力するとともに、動き補償手段１３８２に送る。なお、以下では、前フレーム上での移動領域を「移動元領域」、現フレーム上での移動領域を「移動先領域」と呼ぶ。

動き補償手段１３８２は、移動領域検出手段１３８１から送られた移動領域の情報に基づいて動き補償処理を行う。具体的には、前フレームメモリ１２１上において、移動前の領域の画像を移動後の座標にコピーする。動き補償手段１３８２は、動き補償処理が完了すると、描画更新領域検出手段１３１による更新領域検出処理の開始を通知する。また動き補償手段１３８２は、動き補償処理が完了すると、タイル移動追従手段１３９にタイル移動追従処理の開始を通知する。

タイル移動追従手段１３９は、動き補償に伴って低品質タイルメモリ１２３１を更新する機能を有する。具体的には、タイル移動追従手段１３９は、低品質タイルメモリ１２３１から、移動元領域と重なりを持つタイルを抽出する。次に、タイル移動追従手段１３９は、抽出した各タイル（移動元タイル）の移動先の領域（タイル移動先領域）を求める。さらに、タイル移動追従手段１３９は、各タイル移動先領域と重なりを持つタイル（移動先タイル）を全て抽出する。最後に、タイル移動追従手段１３９は、各移動先タイルについて、その品質と、対応する移動元タイルの品質とを比較して、より低い品質パラメータを、各移動先タイルの新たな品質として、タイル品質メモリ１２３１に書き込む。

次に本実施の形態の動作を説明する。

信号入力装置１１から新たなフレームが現フレームメモリ１２２に記憶されると、現フレームメモリ１２２に記憶されたフレームを符号化対象フレームとして、データ処理装置１３において図８に示す処理が実行される。

まず、移動領域検出手段１３８１は、前フレームメモリ１２１に記憶された前フレームと現フレームメモリ１２２に記憶された現フレームとを比較し、移動領域を検出する（Ｓ４２１）。次に、動き補償手段１３８２は、移動領域検出手段１３８１で検出された移動領域の情報に基づいて動き補償処理を行う（Ｓ４２２）。

以降のステップＳ４０１〜Ｓ４０５の処理は、図４のステップＳ２０１〜Ｓ２０５の処理と同じである。次に、タイル移動追従手段１３９は、動き補償に伴って低品質タイルメモリ１２３１を更新する（Ｓ４３１）。

以降のステップＳ４０６〜Ｓ４１２の処理は、図４のステップＳ２０６〜Ｓ２１２の処理と同じである。

本実施の形態の効果について説明する。

本実施の形態では、第２の実施の形態の効果に加え、動き補償処理を加えた場合にも低品質タイルを正しく抽出し、イントラ更新の対象に含めることができるようになる。その理由は、タイル移動追従手段１３９が、動き補償処理に伴って低品質化した可能性があるタイルを低品質タイルと見なすように、低品質タイルメモリ１２３１を更新するためである。

以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の画像符号化装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における画像符号化装置として機能させる。

本発明によれば、シンクライアントシステムのような画面伝送・共有システムにおいて、通常は画像を中品質・低遅延で伝送しながら、帯域の余裕に応じて随時高品質化を行うといった用途に適用できる。

１１…信号入力装置
１２…データ記憶装置
１２１…前フレームメモリ
１２２…現フレームメモリ
１２３…低品質タイルメモリ
１２４…許容符号量メモリ
１２５…出力符号量カウンタ
１３…データ処理装置
１３１…描画更新領域検出手段
１３２…描画更新領域符号化手段
１３３…低品質タイル記録手段
１３４…低品質タイル抽出手段
１３５…イントラ更新手段
１３６…出力符号量初期化手段
１４…符号出力装置

Claims (9)

1. 入力画像信号のフレームから描画更新の発生した領域を抽出する描画更新領域検出手段と、
   全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化する描画更新領域符号化手段と、
   フレームを複数のタイルに分割した個々のタイルごとの情報を記憶する低品質タイルメモリと、
   前記描画更新領域符号化手段が描画更新領域を符号化した際、その品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして前記低品質タイルメモリに記録し、前記低品質タイルとして記録する際には品質の程度を示す品質情報を記録する低品質タイル記録手段と、
   抽出されずに残されている期間を示す値を低品質タイルごとに記録する未送出期間メモリと、
   一定の周期で、前記未送出期間メモリに記録されている低品質タイルの期間の値を更新し、更新後の値が所定値に達した場合に、当該低品質タイルについて記録されている品質情報をより低品質を示す品質情報に更新し、当該低品質タイルの期間の値を初期化する優先度更新手段と、
   前記記録された品質情報を参照して、記録された低品質タイルを順に抽出し、該抽出では、抽出されずに残されている期間がより長い低品質タイルを優先的に抽出すると共に、より低品質な低品質タイルを優先的に抽出する低品質タイル抽出手段と、
   フレームの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するイントラ更新手段と、
   を備えた画像符号化装置。
2. 前記低品質タイル抽出手段は、記録された品質情報が等しい複数の低品質タイルについてはラスタスキャン巡回順に抽出する、
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 入力画像信号のフレームから描画更新の発生した領域を抽出する描画更新領域検出手段と、
   全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化する描画更新領域符号化手段と、
   フレームを複数のタイルに分割した個々のタイルごとの情報を記憶する低品質タイルメモリと、
   前記描画更新領域符号化手段が描画更新領域を符号化した際、その品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして前記低品質タイルメモリに記録し、前記低品質タイルとして記録する際には品質の程度を示す品質情報を記録する低品質タイル記録手段と、
   同一または類似の領域が前後のフレームで異なる位置に存在するときに、前記領域を移動領域として検出する移動領域検出手段と、
   前記移動領域検出手段で検出された移動領域に基づいて動き補償処理を行う動き補償手段と、
   動き補償処理が実行された場合に、前記低品質タイルメモリに記録された移動先領域を含むタイルの品質情報を、その移動元領域を含むタイルの品質情報と移動先領域を含むタイルの品質情報のうち、より品質の低い品質情報で書き換えるタイル移動追従手段と、
   前記記録された品質情報を参照して、記録された低品質タイルを順に抽出し、該抽出では、より低品質な低品質タイルを優先的に抽出する低品質タイル抽出手段と、
   フレームの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するイントラ更新手段と、
   を備えた画像符号化装置。
4. ａ）描画更新領域検出手段が、入力画像信号のフレームから描画更新の発生した領域を抽出するステップと、
   ｂ）描画更新領域符号化手段が、全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化するステップと、
   ｃ）低品質タイル記録手段が、前記描画更新領域符号化手段による描画更新領域の符号化の品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして低品質タイルメモリに記録し、前記低品質タイルとして記録する際には品質の程度を示す品質情報を記録するステップと、
   ｄ）優先度更新手段が、一定の周期で、抽出されずに残されている期間を示す値を低品質タイルごとに記録する未送出期間メモリに記録されている前記値を更新し、更新後の値が所定値に達した場合に、当該低品質タイルについて前記低品質タイルメモリに記録されている品質情報をより低品質を示す品質情報に更新し、前記未送出期間メモリに記録された当該低品質タイルの期間の値を初期化するステップと、
   ｅ）低品質タイル抽出手段が、前記記録された品質情報を参照して、記録された低品質タイルを順に抽出し、該抽出では、抽出されずに残されている期間がより長い低品質タイルを優先的に抽出すると共に、より低品質な低品質タイルを優先的に抽出するステップと、
   ｆ）イントラ更新手段が、フレームの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するステップと、
   を含むことを特徴とする画像符号化方法。
5. 前記ステップｅでは、前記低品質タイル抽出手段が、記録された品質情報が等しい複数の低品質タイルについてはラスタスキャン巡回順に抽出する、
   ことを特徴とする請求項４に記載の画像符号化方法。
6. ａ）移動領域検出手段が、同一または類似の領域が前後のフレームで異なる位置に存在するときに、前記領域を移動領域として検出するステップと、
   ｂ）動き補償手段が、前記移動領域検出手段で検出された移動領域に基づいて動き補償処理を行うステップと、
   ｃ）描画更新領域検出手段が、入力画像信号のフレームから描画更新の発生した領域を抽出するステップと、
   ｄ）描画更新領域符号化手段が、全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化するステップと、
   ｅ）低品質タイル記録手段が、前記描画更新領域符号化手段による描画更新領域の符号化の品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして低品質タイルメモリに記録し、前記低品質タイルとして記録する際には品質の程度を示す品質情報を記録するステップと、
   ｆ）タイル移動追従手段が、動き補償処理が実行された場合に、前記低品質タイルメモリに記録された移動先領域を含むタイルの品質情報を、その移動元領域を含むタイルの品質情報と移動先領域を含むタイルの品質情報のうち、より品質の低い品質情報で書き換えるステップと、
   ｇ）低品質タイル抽出手段が、前記記録された品質情報を参照して、記録された低品質タイルを順に抽出し、該抽出では、より低品質な低品質タイルを優先的に抽出するステップと、
   ｈ）イントラ更新手段が、フレームの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するステップと、
   を含むことを特徴とする画像符号化方法。
7. コンピュータを、
   入力画像信号のフレームから描画更新の発生した領域を抽出する描画更新領域検出手段と、
   全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化する描画更新領域符号化手段と、
   前記描画更新領域符号化手段が描画更新領域を符号化した際、その品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして低品質タイルメモリに記録し、前記低品質タイルとして記録する際には品質の程度を示す品質情報を記録する低品質タイル記録手段と、
   一定の周期で、抽出されずに残されている期間を示す値を低品質タイルごとに記録する未送出期間メモリに記録されている前記値を更新し、更新後の値が所定値に達した場合に、当該低品質タイルについて前記低品質タイルメモリに記録されている品質情報をより低品質を示す品質情報に更新し、前記未送出期間メモリに記録された当該低品質タイルの期間の値を初期化する優先度更新手段と、
   前記記録された品質情報を参照して、記録された低品質タイルを順に抽出し、該抽出では、抽出されずに残されている期間がより長い低品質タイルを優先的に抽出すると共に、より低品質な低品質タイルを優先的に抽出する低品質タイル抽出手段と、
   フレームの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するイントラ更新手段と、
   して機能させるためのプログラム。
8. 前記低品質タイル抽出手段は、記録された品質情報が等しい複数の低品質タイルについてはラスタスキャン巡回順に抽出する、
   ことを特徴とする請求項７に記載のプログラム。
9. コンピュータを、
   入力画像信号のフレームから描画更新の発生した領域を抽出する描画更新領域検出手段と、
   全ての描画更新領域の符号量の合計が予め定められた許容帯域に収まるよう、各描画更新領域の品質を調整して符号化する描画更新領域符号化手段と、
   前記描画更新領域符号化手段が描画更新領域を符号化した際、その品質が予め定めた画像品質より低品質であった場合に、当該描画更新領域を含むタイルを低品質タイルとして低品質タイルメモリに記録し、前記低品質タイルとして記録する際には品質の程度を示す品質情報を記録する低品質タイル記録手段と、
   同一または類似の領域が前後のフレームで異なる位置に存在するときに、前記領域を移動領域として検出する移動領域検出手段と、
   前記移動領域検出手段で検出された移動領域に基づいて動き補償処理を行う動き補償手段と、
   動き補償処理が実行された場合に、前記低品質タイルメモリに記録された移動先領域を含むタイルの品質情報を、その移動元領域を含むタイルの品質情報と移動先領域を含むタイルの品質情報のうち、より品質の低い品質情報で書き換えるタイル移動追従手段と、
   前記記録された品質情報を参照して、記録された低品質タイルを順に抽出し、該抽出では、より低品質な低品質タイルを優先的に抽出する低品質タイル抽出手段と、
   フレームの出力符号が前記許容帯域に収まる範囲で、抽出された低品質タイルを予め定めた画像品質より高品質に符号化するイントラ更新手段と、
   して機能させるためのプログラム。
   

Images