JP6332039B2 - 画面符号化装置、画面復号装置、画面符号化伝送システム - Google Patents

Description

本発明は、コンピュータの画面データをネットワーク経由で圧縮して伝送するシステムに関わり、特に動画像領域を含む画面データの圧縮伝送効率を改善する画面符号化装置、画面復号装置、画面符号化伝送システム、画面符号化方法、画面復号方法、およびプログラムに関わる。

ネットワークに接続された端末から遠隔地のコンピュータの操作を可能とするシンクライアントシステムがある。そこでは、画面向け圧縮符号化技術を使用して、コンピュータが出力する画面データを少量の符号化データに圧縮することで、低速通信網を用いる条件下でも、視認性が高い画面データ伝送と応答性に優れた遠隔操作を可能としている。

コンピュータアプリケーションの多様化や情報表示技術の高度化により、文字や線画中心のグラフィック画像以外にも動画表示を含むような複合構成の画面データを伝送する機会が増加してきた。一般に、伝送対象の画像の特性によりそれに適した圧縮技術は異なる。例えば、膨大な情報量のために高能率圧縮が必要な動画像の符号化にグラフィック画像向けの圧縮手法を用いると、圧縮効率が悪いだけでなく主観品質の面で好ましくない劣化が発生する。

そこで、伝送対象の画面データに含まれる画像の特徴や更新頻度を解析して、新たに出現した動画領域を自動判別し、検出された動画領域に対する符号化方式を、動画以外の画像符号化方式からMPEG-4やH.264等の動画向け方式に適応的に切り替える画面符号化技術が本発明に関連する第１の関連技術として提案されている（例えば特許文献１参照）。このように動画符号化方式と動画以外の画像符号化方式を適応的に切り替えることで、動画領域を含むコンピュータの画面データを高圧縮でかつ視認性の高い画質で符号化して伝送することが可能である。

なお、動画領域の符号化にMPEG-4やH.264等の標準動画符号化方式を使用することで、入手性が良く処理性能の高い動画符号化・復号用の電子部品やソフトウェアを利用可能である。このことは、高性能の画面符号化装置や画面復号装置を低コストで実現する上で利点になる。

一方、ＪＰＥＧ方式で符号化されたJPEGストリームからH.264ストリームに変換する際、インター符号化を行う際の参照画像として、JPEGの復号画像信号をそのまま使用することが本発明に関連する第２の関連技術として提案されている（例えば特許文献２参照）。より具体的には、上記第２の関連技術は、JPEG復号部とH.264符号化部とJPEG/H.264多重化部とを有する。JPEG復号部は、JPEGでイントラ符号化されている画像信号の符号化ストリーム（JPEGストリーム）を入力すると、それを復号して復号画像信号を生成し、H.264符号化部からイントラ符号化を選択した旨の通知を受けると、上記JPEGストリームを出力する。H.264符号化部は、H.264のイントラ符号化を選択する場合、JPEG復号部によって生成された復号画像信号をメモリに蓄積して、イントラ符号化を選択した旨をJPEG復号部に通知し、H.264のインター符号化を選択する場合、上記メモリに蓄積されている過去の復号画像信号を参照画像として利用して、JPEG復号部で生成された復号画像信号をH.264でインター符号化し、H.264ストリームを出力する。JPEG/H.264多重化部は、JPEG復号部から出力されるJPEGストリームとH.264符号化部から出力されるH.264ストリームとを多重化して、多重化ストリームを出力する。

特開２０１１‐２３８０１４号公報 特開２０１１−４１１７８号公報

しかしながら、本発明に関連する第１の関連技術は、動画領域を検出した直後の符号化方式の切り替え時の圧縮効率に改善の余地がある。MPEG-4やH.264等の動画向け符号化方式は、過去に符号化した画像を参照する予測符号化（インター符号化）に基づいて情報量を削減するが、インター符号化を利用できるのは動画を構成する一連のフレーム列の先頭フレーム以外のフレームに限られる。従って、符号化方式を動画向けに切り替えた直後の先頭画像に対しては、その時点で参照画像が存在しないため予測符号化（インター符号化）を行えない。この結果、先頭画像にはフレーム内符号化（イントラ符号化）が適用され、インター符号化よりも圧縮効率が低下する。

この問題は、動画領域の自動判別に遅延が生じる実時間の画面符号化伝送用途において特に影響が大きい。例えば、伝送対象の画面内で動画表示ウィンドウが開かれて動画像の再生が開始されたとき、画面符号化装置における動画領域判別手段は、動画表示ウィンドウが置かれた領域内の画像が連続的に更新されることを入力画像の時間変化から検知して、当該動画表示ウインドウを動画領域として検出する。このとき、動画表示ウィンドウ以外のウィンドウを動画領域として誤検出するのを防ぐため、動画領域の検出に１フレーム以上の遅延が生じる。その結果、動画ウィンドウによる動画の表示後、１フレーム以上の画像が動画用以外の圧縮方式で符号化され、遅延して検出された直後の動画領域の画像もイントラ符号化される。このような符号化処理は、動画ウィンドウによる動画表示直後から符号化方式を動画用に切り替える場合に比較すると、インター符号化されるフレーム枚数が少ないために圧縮効率が悪い。その結果、送信データ量が増大し、伝送遅延時間の増加や画面品質低下の問題が引き起こされる。

本発明に関連する第２の関連技術では、H.264のインター符号化を行う際の参照画像としてJPEGの復号画像信号をそのまま使用している。このため、画面全体の符号化方式をJPEGからH.264に切り替えるのには適している。しかし、画面全体が静止画であった状態から、画面の一部に動画領域が新たに出現した場合に、その動画領域だけを動画に適したH.264等の符号化方式に変換するケースには上記第２の関連技術は適用し得ない。

本発明は上記の点を鑑みてなされたものであり、その目的は、画面データの符号化を、動画向け符号化方式と他の画像符号化方式とを適応的に切り替えながら行う場合、動画領域が検出された直後の圧縮効率が低下する、という課題を解決する画面符号化装置を提供することにある。

本発明の第１の観点に係る画面符号化装置は、
画面データのフレームを入力する画面入力部と、
上記入力されたフレームを記憶する画面記憶部と、
上記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
上記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
上記動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測符号化する動画符号化部と、
上記入力されたフレーム中の上記動画領域以外の上記更新領域の画像を符号化する画像符号化部と、
上記動画領域検出部が検出した上記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部とを備え、
上記動画符号化部は、上記動画領域を有するフレーム列の先頭フレームにおける上記動画領域の画像を上記参照画像を用いてフレーム間予測符号化する。

本発明の第２の観点に係る画面復号装置は、
動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
フレーム中の上記動画領域以外の更新領域の画像を復号する画像復号部と、
上記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
上記出力フレームを記憶する画面記憶部と、
上記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
を備え、
上記動画復号部は、上記参照画像を用いたフレーム間予測により上記動画領域を有するフレーム列における先頭フレームの上記動画領域の画像を復号する。

本発明の第３の観点に係る画面符号化伝送システムは、上記第１の観点に係る画面符号化装置と上記第２の観点に係る画面復号装置とを通信手段で接続したものである。

本発明の第４の観点に係る画面符号化方法は、
画面データのフレームを入力し、
上記入力されたフレームを記憶し、
上記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出し、
上記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出し、
上記動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測符号化し、
上記入力されたフレーム中の上記動画領域以外の上記更新領域の画像を符号化し、
上記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出し、
上記フレーム間予測符号化では、上記動画領域を有するフレーム列の先頭フレームにおける上記動画領域の画像を上記参照画像を用いてフレーム間予測符号化する。

本発明の第５の観点に係る画面復号方法は、
動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測に基づき復号し、
フレーム中の上記動画領域以外の更新領域の画像を復号し、
上記復号された画像を合成して出力フレームとして出力すると共に記憶し、
上記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出し、
上記動画領域の画像の復号では、上記参照画像を用いたフレーム間予測により上記動画領域を有するフレーム列における先頭フレームの上記動画領域の画像を復号する。

本発明の第６の観点に係るプログラムは、
コンピュータを、
画面データのフレームを入力する画面入力部と、
上記入力されたフレームを記憶する画面記憶部と、
上記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
上記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
上記動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測符号化する動画符号化部と、
上記入力されたフレーム中の上記動画領域以外の上記更新領域の画像を符号化する画像符号化部と、
上記動画領域検出部が検出した上記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
して機能させ、
上記動画符号化部は、上記動画領域を有するフレーム列の先頭フレームにおける上記動画領域の画像を上記参照画像を用いてフレーム間予測符号化する。

本発明の第７の観点に係るプログラムは、
コンピュータを、
動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
フレーム中の上記動画領域以外の更新領域の画像を復号する画像復号部と、
上記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
上記出力フレームを記憶する画面記憶部と、
上記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
して機能させ、
上記動画復号部は、上記参照画像を用いたフレーム間予測により上記動画領域を有するフレーム列における先頭フレームの上記動画領域の画像を復号する。

本発明は上述した構成を有するため、画面の画像の圧縮伝送を、動画向け符号化手段と他の画像符号化手段とを適応的に切り替えながら行う際の、動画領域が検出された直後の圧縮効率を高めることができる。

本発明の第１の実施形態に係る画面符号化伝送システムのブロック図である。 本発明の第１の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第１の実施形態における画面符号化装置の動画符号化部と画面復号装置の動画復号部のブロック図である。 本発明の第２の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第２の実施形態における画面符号化装置の参照画像供給部の動作を表すフローチャートである。 本発明の第３の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第４の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第５の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第６の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第７の実施形態における画面符号化装置の動画符号化部のブロック図である。 本発明の第７の実施形態における画面復号装置の動画復号部のブロック図である。 本発明に関連する第１の関連技術のブロック図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]

本発明の第１実施形態に係る画面符号化伝送システムの構成を図１に示す。本画面伝送システムは、画面符号化装置１１０と画面復号装置１２０とからなる。画面符号化装置１１０は、情報処理装置１３０から供給された伝送対象の画面データのフレームをピクセルマップ形式の画像データとして取得し、これを符号化データに変換し、デジタル通信網１４０を介して画面復号装置１２０に送信する。画面復号装置１２０は、デジタル通信網１４０を経由して受信した画面符号化データを復号して、画面表示装置１５０に画面データを出力する。

図２に、画面符号化装置１１０と画面復号装置１２０の構成を示す。画面符号化装置１１０は、画面入力部１１１と画面記憶部１１２と更新領域区分検出部１１３と動画領域検出部１１４と動画符号化部１１６と画像符号化部１１５と参照画像供給部１１７とからなる。画面復号装置１２０は、動画復号部１２１と画像復号部１２２と画面合成出力部１２４と画面記憶部１２５と参照画像供給部１２３とからなる。

画面符号化装置１１０を構成する各部の動作を説明する。画面入力部１１１は、伝送対象である情報処理装置１３０が出力する画面（入力画面）データをフレーム単位で入力する。画面記憶部１１２は、入力画面データのフレームを格納する。更新領域区分検出部１１３は、画面記憶部１１２に格納された直前の入力画面のフレームと現在の入力画面のフレームとの差分を画素単位で抽出し、画素値が変化した領域を更新領域として検出する。更新領域は、符号化するのに適当な大きさと形状を持つ画像領域（更新領域）に近似して抽出する。動画領域検出部１１４は、更新領域の過去の更新頻度、画像特徴、過去の動画領域判別履歴の情報から、動画用の符号化手段で圧縮符号化する適切な大きさの領域（動画領域）を検出する。即ち、動画領域検出部１１４は、更新領域の履歴等に基づいて、動画領域を有するフレーム列を検出する。その際、一度検出された動画領域は、その更新パタンが変化するまで、連続する複数のフレームに亘って、同一位置に継続して残留するような継続条件判定を含めて判別処理を行う。この動画領域判別結果に従い、動画符号化部１１６は動画領域を圧縮符号化し、画像符号化部１１５は動画領域として検出されなかった他の非動画更新領域を圧縮符号化する。得られた符号化データは、適当な通信手段と通信プロトコルに従って画面復号装置１２０に伝送される。参照画像供給部１１７は、動画符号化部１１６が動画領域の符号化を開始する際に、画面記憶部１１２に格納された直前の入力画面から参照画像を抽出して、動画符号化部１１６へ供給する。参照画像供給部１１７と動画符号化部１１６の動作の詳細については後で説明する。

画面復号装置１２０を構成する各部の動作を説明する。動画復号部１２２は、画面符号化装置１１０の動画符号化部１１６で符号化されたデータを復号し、画像復号部１２１は、画面符号化装置１１０の画像符号化部１１５で符号化されたデータを復号する。画面合成出力部１２４は、復号結果として得られた画像を合成し、合成結果を画面データとして外部の画面表示装置１５０に出力する。画面記憶部１２５は、出力された画面データを記憶し、画面合成出力部１２４で次の出力画面を合成するために直前の出力画面を供給する。参照画像供給部１２３は、動画復号部１２２が動画領域の復号を開始する際に画面記憶部１２５に格納された直前の出力画面から参照画像を抽出して動画復号部１２２へ供給する。参照画像供給部１２３と動画復号化部１２２の動作の詳細については後で説明する。

画像符号化部１１５と画像復号部１２１による非動画の更新領域の圧縮符号化は、一般的なグラフィック画像もしくは自然画像向けの画像符号化技術に従って行う。例えば、減色・パレット化処理とランレングス符号化、エントロピー符号化を組み合わせる手法や、隣接画素との相関を利用する予測符号化手法、離散コサイン変換やウェーブレット変換に基づく符号化技術で圧縮符号化する。異なる圧縮技術を用いる符号化手段を内部に複数備え、符号化対象の画像の特徴の分析結果に従って、圧縮手法を切り替えても良い。

動画符号化部１１６と動画復号部１２２の構成を図３に示す。これらは、動き補償によるフレーム間予測符号化とエントロピー符号化を組み合わせた一般的な動画符号化技術を用いて、動画データの圧縮符号化と復号を行う。また、これらは、必要に応じて動画領域画像の色空間・サンプル比変換を符号化前と復号後に行う。例えば、動画符号化技術としてMPEG-4やH.264標準方式を用い、画面データのピクセル形式がRGB、動画符号化部１１６と動画復号部１２２のピクセル形式がYUV420やYUV422である場合、相互の変換を符号化前と復号後に行う。

動画符号化部１１６は、過去に符号化した動画領域のローカル復号画像を参照画像として格納する参照画像記憶部１１６２を内部に備え、動画復号部１２２は、過去に復号された動画領域の復号画像を参照画像として格納する参照画像記憶部１２２２を内部に備える。同一位置および大きさの動画領域が２フレーム以上継続して検出された場合、動画符号化部１１６は、参照画像記憶部１１６２に格納された過去の符号化済み画像を参照画像として利用しながらフレーム間予測符号化を行い、動画復号部１２２も同様に、参照画像記憶部１２２２に格納された画像を利用しながらフレーム間予測符号化の復号処理を行う。

一方、動画領域検出後の先頭画像を符号化する場合は、動画符号化部１１６は、符号化開始前に（画面符号化装置１１０内の）参照画像供給部１１７から供給された画像を参照画像記憶部１１６２に入力し、それを参照画像として用いてフレーム間予測符号化を行う。動画復号部１２２は、復号開始前に画面復号装置１２０内の参照画像供給部１２３から供給された画像を参照画像記憶部１２２２に入力し、それを参照画像として用いてフレーム間予測符号化の復号処理を行う。以上の動作により、本実施形態に係る画面符号化伝送システムの動画符号化部１１６と動画復号部１２２は、動画領域検出直後の画像も含めて全ての画像についてフレーム間予測符号化を利用しながら圧縮符号化する。但し、一定数のフレーム毎にイントラ符号化することを妨げるものではない。

画面符号化装置１１０における参照画像供給部１１７は、動画領域検出部１１４が新規に動画領域を検出すると、画面記憶部１１２に格納された直前の入力画面のフレームにおける同一位置にある部分画像データを読み出し、必要に応じ適切な色空間・サンプル比変換を行ってから、その結果を先頭の参照画像として動画符号化部１１６に供給する。画面復号装置１２０における参照画像供給部１２３は、新しい位置にある動画領域の符号化データが動画復号部１２２に入力されると、画面復号装置１２０内の画面記憶部１２５に格納された直前の出力画面のフレームにおける同一位置にある部分画像データを読み出し、必要に応じ適切な色空間・サンプル比変換を行ってから、その結果を先頭の参照画像として動画復号部１２２に供給する。

図１２は本発明に関連する第１の関連技術に基づく画面符号化装置１０１０と画面復号装置１０２０の構成を示す。画面符号化装置１０１０は、画面入力部１０１１と画面記憶部１０１２と変更領域区分検出部１０１３と動画領域検出部１０１４と動画符号化部１０１６と画像符号化部１０１５とを有し、参照画像供給部１１７に相当する機能は有していない。また画面復号装置１０２０は、動画復号部１０２１と画像復号部１０２２と画面合成出力部１０２３と画面記憶部１０２４とを有し、参照画像供給部１２３に相当する機能は有していない。図１２に示した第１の関連技術に基づく画面符号化装置１０１０および画面復号装置１０２０と、図２に示した本実施形態に係る画面符号化装置１１０および画面復号装置１２０とを比較すると、動画符号化部と動画復号部に動画領域の先頭の参照画像を供給する参照画像供給部の有無と、動画領域の先頭画像がフレーム間予測を用いて符号化されるか否かが異なる。動画領域が検出された直後の先頭の画像から圧縮効率の高いフレーム間予測符号化を利用して、動画領域を含む画面情報を圧縮符号化できることが本実施形態に係る画面符号化伝送システムの特徴的な利点である。

なお、本実施形態の画面符号化伝送システムにおいて、画面符号化装置１１０の画面記憶部１１２に格納された入力画面の画像データと画面復号装置１２０の画面記憶部１２５に格納された出力画面の画像データとは、符号化時の圧縮歪みや色変換・サンプル比変換の不可逆性により一致しない。このため結果として、直前の画面出力で生じた圧縮歪みが動画復号部１２２により生成された動画領域の復号画像に伝播する画質劣化が発生する。しかしながら、この劣化は通常の画面圧縮伝送により生じる画質劣化と同程度であるため著しく目立つことはない。また、動画領域内の画像変化や小数画素精度動き補償のフィルタ効果によって誤差の伝播量は減衰することが知られている。さらに、通信路の速度が限られた画面伝送システムでは、先頭の動画領域画像にフレーム間予測符号化を適用することによる符号量削減や圧縮歪み低減の利得が大きく、前記したフレーム間誤差の伝播による画質劣化は相対的に無視できる。

＜本実施形態の効果＞

以上述べたように本発明の第１実施形態に係る画面符号化伝送システムの画面符号化装置１１０は、動画領域検出部１１４が動画領域を検出した直後に動画符号化部１１６が利用するための参照画像を供給する手段１１７を備えることにより、動画領域検出後の先頭画像の符号化時にもフレーム間予測符号化を利用可能である。その結果、動画領域を含む情報処理装置１３０の出力画面の圧縮符号化効率が向上し、画面伝送に要する符号化データ量の削減や伝送遅延の短縮、画質向上といった効果が得られる。

[第２の実施形態]

本発明の第２の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第１の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するため、第１の実施形態に係る画面符号化伝送システムとの差分についてのみ述べる。

本発明の第２の実施形態に係る画面符号化装置２１０と画面復号装置２２０の構成を図４に示す。第１の実施形態に係る画面符号化伝送システムに比較すると、画面符号化装置２１０が符号化履歴記憶部２１８を備える点と、参照画像供給部２１７が動画符号化部２１６に供給する参照画像の生成手順が異なる。その他の画面符号化装置２１０の各部の動作、参照画像供給部２１７が動画符号化部２１６に参照画像を供給するタイミング、画面復号装置２２０の構成および動作は、第１の実施形態と同じである。

画面符号化装置２１０における符号化履歴記憶部２１８は、画像符号化部２１５と動画符号化部２１６とが符号化した更新領域（動画領域および非動画更新領域）の位置情報と、入力時刻と、符号化手法の種類や条件を示す圧縮条件パラメータとを、符号化履歴情報として記憶する。参照画像供給部２１７は、これらの符号化履歴情報と画面記憶部２１２に格納された直前の入力画面の画像データとを元に、画面復号装置２２０側で符号化データを復号して得られた出力画面に付加された圧縮歪みを可能な範囲内で再現するための処理を行いながら、動画符号化部２１６に供給する参照画像を生成する。

図５に、参照画像供給部２１７における圧縮歪み再現処理の手順の一例を示す。この処理は動画領域の検出直後に実行される。はじめに、検出された動画領域の位置情報を取得し（Ｓ１）、同じサイズの作業バッファを確保し（Ｓ２）、画面記憶部２１２から取り出した、上記動画領域と同一位置の直前画面のピクセルデータを参照画像の初期値として作業バッファにコピーする（Ｓ３）。次に、符号化履歴記憶部２１８から過去の更新領域の符号化履歴を時間順に古い方から取り出しながら後述する繰り返し処理を行う（Ｓ４〜Ｓ１１）。この繰り返し処理が全更新領域に対し行って得られた作業バッファ上の画像が、本実施形態に係る参照画像供給部２１７が生成する参照画像である。必要に応じ適切なピクセル形式変換（色空間、サンプル比）を施してから参照画像を動画符号化部２１６に供給する（Ｓ１２）。

図５の手順における繰り返し処理では、過去ｉ番目更新領域の圧縮条件パラメータを取得し（Ｓ５）、以下の処理を行う。(1)過去更新領域が現在検出された動画領域と共有画素を持たなければスキップする（Ｓ６）。(2)過去ｉ番目更新領域が共有画素を持ち、かつ非動画更新である場合は、過去ｉ番目更新領域の圧縮条件パラメータに従い符号化したときの圧縮後の歪み付加画像を再現生成する処理を実行する（Ｓ６〜Ｓ８）。ただし、その処理の適用対象画像は、過去ｉ番目更新領域の時点の入力画面ではなく現在の時点における直前の入力画面画像である。これは、画面記憶部２１２に格納されている。その結果得られた歪み画像を作業バッファの共有画素に対し位置を合わせながら上書きする（Ｓ８）。(3)過去ｉ番目更新領域が共有画素を持つ動画領域である場合は作業バッファの共有画素に画面記憶部２１２が保持している直前の入力画面のデータを上書きする（Ｓ６、Ｓ７、Ｓ９）。

上記繰り返し処理において、圧縮歪みを再現する処理の一例としては、適用対象画像に同一手順の画像圧縮符号化処理を実行し、その結果得られた符号化データを画面復号装置２２０の画像符号化部と共通の手順で復号する方法がある。また、これ以外の方法であっても、これと等しい圧縮歪み再現結果が得られる方法であれば構わない。あるいは、正確な再現が行えなくても近似的に圧縮歪みを再現できるならば別の方法でも構わない。

＜本実施形態の効果＞

以上述べたように本発明の第２実施形態に係る画面符号化伝送システムの画面符号化装置２１０は、本発明の第１実施形態に係る画面符号化伝送システムと同様に、動画領域検出後の先頭画像の符号化にフレーム間予測符号化を利用可能である。さらに、画面符号化装置２１０の参照画像供給部２１７が画面復号装置２２０の復号画面に生じる圧縮歪みを再現しながら参照画像を生成するため、画面符号化装置２１０の参照画像と画面復号装置２２０の参照画像とを一致させることができ、フレーム間予測による圧縮歪み伝播が本発明の第１実施形態に係る画面符号化伝送システムよりも軽減され、画質が向上する。ゆえに、本実施形態の画面符号化システムは、動画領域を含む画面の符号化伝送に要するデータ量の削減や伝送遅延の短縮、画質向上面で、より一層効果がある。

さらに、参照画像供給部２１７において圧縮歪み再現処理が実行されるのは、動画領域に影響を与える過去の更新領域のみに限定されており、かつ動画領域が新しく検出された先頭の時点でのみ行えばよいため、参照画像を生成するための圧縮歪み再現処理の負荷は必要最小限に抑えられる。これは、符号化した全ての更新領域に対して圧縮歪み再現処理を行う場合に比較して、画面符号化装置２１０に必要な性能や消費電力量などを節約できる。

[第３の実施形態]
本発明の第３の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第１の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するため、第１の実施形態に係る画面伝送システムとの差分についてのみ述べる。

本発明の第３の実施形態に係る画面符号化伝送システムの画面符号化装置３１０と画面復号装置３２０の構成を図６に示す。本実施形態に係る画面符号化装置３１０と画面復号装置３２０は、図２に示した第１の実施形態に係る画面符号化装置１１０と画面復号装置１２０と比較して、参照画面供給部３１７と参照画面供給部３２３の参照画面生成手順が相違し、その他は図２に示した第１の実施形態と同じである。

本実施形態の画面符号化装置３１０における参照画像供給部３１７は、新規に動画領域が検出されると画面記憶部３１２に格納された直前の入力画面のフレームにおける同一位置にある部分画像データを読み出し、平滑化フィルタ３１８を作用させてから、結果を先頭の参照画像として動画符号化部３１６に供給する。また参照画像供給部３１７は、必要に応じフィルタ処理の前か後で色空間・サンプル比変換を行う。

同様に、画面復号装置３２０における参照画像供給部３２３は、新しい位置にある動画領域の符号化データが動画復号部３２２に入力されると、画面復号装置３２０内の画面記憶部３２５に格納された直前の出力画面の同一位置にある部分画像データを読み出し、平滑化フィルタ３２６を作用させてから、結果を先頭の参照画像として動画復号部３２２に供給する。また参照画像供給部３１７は、必要に応じフィルタ処理の前か後で色空間・サンプル比変換を行う。

作用させる平滑化フィルタ３１８、３２６の例として、平均値フィルタや低域通過フィルタ、メディアンフィルタがある。これらを符号化側と復号側の参照画像に作用させることで、高周波雑音成分や線状、点状雑音として表れやすい圧縮歪みの伝播を軽減することができる。なお、符号化側と復号側の参照画像の差が拡大しないように、画面符号化装置３１０と画面復号装置３２０で共通する特性の平滑化フィルタ３１８、３２６を使用するのがよい。

＜本実施形態の効果＞

本発明の第３実施形態に係る画面符号化伝送システムは、第１および第２実施形態と同様に動画領域を含む画面の圧縮符号化効率が向上する。また本実施形態によれば、圧縮歪みのフレーム間伝搬が平滑化フィルタ３１８、３２６により低減され、動画領域の画質が向上する。その理由は、送信側の参照画像と受信側の参照画像とに含まれる高周波の画像信号成分が平滑化によって削除されるために送信側の参照画像と受信側の参照画像との差が小さくなること、および、人の目につく線状のノイズ成分が平滑化によって目立ちにくくなるためである。

[第４の実施形態]
本発明の第４の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第３の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するためその差分についてのみ述べる。

本実施形態の画面符号化装置４１０と画面復号装置４２０の構成を図７に示す。図６に示した第３の実施形態の装置構成に比較すると、画面符号化装置４１０と画面復号装置４２０とが内部に圧縮歪み特性推定部４１９、４２７を備える点が異なる。画面符号化装置４１０の圧縮歪み特性推定部４１９は、画像符号化部４１５と動画符号化部４１６とが更新領域を符号化すると、その時刻と更新領域の位置と符号化手法の種類、圧縮条件パラメータの情報を受け取り、符号化された画面の復号画像に生じる圧縮歪みの特性を推定するために必要な情報を抽出して内部の記憶手段に格納する。そして、圧縮歪み特性推定部４１９は、参照画像供給部４１７が動画領域検出後に直前の入力画面から参照画像を生成する際に、直前の入力画面の復号画像に生じた圧縮歪みの特性を推定し、推定結果を参照画像供給部４１７へ出力する。参照画像供給部４１７は、上記推定結果から参照画像に作用させる平滑化フィルタ４１８の種類や、強度、あるいは平滑化フィルタ４１７を作用させる画像領域や方向を決定し、その決定結果に従い平滑化フィルタ４１８を作用させて動画像符号化部４１６に供給する参照画像を生成する。

画像復号装置４２０の圧縮歪み特性推定部４２７も、画面符号化装置４１０の圧縮歪み特性推定部４１９と同様に、画像復号部４２１と動画復号部４２２とが入力した符号化データから復号した更新領域の符号化時刻と位置と符号化手法の種類、圧縮条件パラメータの情報を受け取り、復号画像に生じる圧縮歪みの特性を推定するために必要な情報を抽出して内部の記憶手段に格納する。そして、圧縮歪み特性推定部４２７は、参照画像供給部４２３が直前の出力画面から参照画像を生成する際に、直前の出力画面に生じた圧縮歪みの特性を推定し、推定結果を参照画像供給部４２３へ出力する。参照画像供給部４２３は、上記推定結果から参照画像に作用させる平滑化フィルタ４２６の種類や、強度、あるいは平滑化フィルタ４２６を作用させる画像領域や方向を決定し、その決定結果に従い平滑化フィルタ４２６を作用させて動画復号部４２２に供給する参照画像を生成する。

圧縮歪み特性の推定法と平滑化フィルタの具体的な制御法の例を下記(1)-(4)に示す。

（１）参照画像として抽出される各画素に対して、その画素を最後に符号化した画像領域の圧縮手法の種類と圧縮パラメータとから、当該画素近傍の圧縮歪み量を推定する。圧縮歪み量が大きい画素の近傍で平滑化フィルタを強く、圧縮歪み量が小さい画素の近傍で平滑化フィルタを弱くするよう平滑化フィルタの強度を制御する。この圧縮歪み量の推定とフィルタ強度の制御は、画素単位ではなく所定の大きさの画素集合やブロック単位で行ってもよい。
（２）過去に符号化された更新領域の外周で、圧縮手法や圧縮条件の違いから線状の雑音が発生する可能性が高いことが推定される場合は、その境界線上の領域に方向性のある平滑化フィルタを作用させて線状雑音を低減させる。
（３）ブロック単位の符号化処理によりブロックノイズが発生しやすい場所に、デブロックフィルタ（格子状の線雑音除去に適した非一様の平滑化フィルタ）を作用させる。
（４）過去に画像領域を符号化したときの圧縮手法によって作用させる平滑化フィルタの特性を変更する。例えば、減色による符号化がされた画像領域にはタップ数の大きい平均値フィルタを作用させ、離散コサイン変換を用いた圧縮符号化がされた画像領域は局所的なランダム雑音を除去する特性の低域通過フィルタを作用させる。

これらの平滑化フィルタの動作が画面符号化装置と画面復号装置で等しくなるよう動作させる。
＜本実施形態の効果＞

過去の符号化履歴から圧縮歪みの特性や歪み量を推定し、推定された圧縮歪みを低減するために適切な平滑化フィルタを適応的に行うため、参照画像の圧縮歪みの伝搬を抑えられる。結果として動画領域の圧縮効率、画質が向上する。

[第５の実施形態]

本発明第５の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第４の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するためその差分についてのみ述べる。

本画面符号化伝送システムの構成を図８に示す。画面符号化装置５１０の構成は、参照画像供給部５１７を除いて、第４の実施形態と同じである。参照画像供給部５１７は、圧縮歪み特性推定部において推定された直前の画面の復号画像に発生した圧縮歪み特性に基づいて、参照画像に作用させる平滑化フィルタ５１８の種類や、強度、あるいは平滑化フィルタ作用させる画像領域や方向を制御する。そして、参照画像供給部５１７は、その作用させた平滑化フィルタ５１８の種類や、強度、あるいは平滑化フィルタ作用させた画像領域や方向の情報を、参照画像生成パラメータとして、符号化データに記述して画面復号装置５２０へ送信する。

画面復号装置５２０は、符号化データに記述された平滑化フィルタの種類や、強度、あるいは平滑化フィルタ作用させた画像領域や方向の情報に従い、画面符号化装置５１０と同じ手順で参照画像に平滑化フィルタ５２６を作用させる。画面復号装置５２０では、圧縮歪み特性推定を行わないため、圧縮歪特性推定部は省略されている。
＜本実施形態の効果＞

本実施形態によれば、第４の実施形態に係る画面符号化伝送システムと同様に、適切な平滑化フィルタの制御により圧縮歪みの伝搬を抑えられ、動画領域の圧縮効率、画質が向上する。さらに、画面復号装置の構成が簡単なため低コストで容易に実現可能である。

[第６の実施形態]
本発明の第６の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第５の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するため、その差分についてのみ述べる。

本画面符号化伝送システムの構成を図９に示す。画面符号化装置６１０の構成は、参照画像供給部６１７と圧縮歪特性推定部６１９とを除いて、第５の実施形態と同じである。本システムの画面符号化装置６１０の圧縮歪み特性推定部６１９は、過去の符号化履歴から圧縮歪みの傾向を推定し、平滑化フィルタ６１８による圧縮歪み除去が適さない圧縮手法で最後に符号化された画像領域を推定し、推定結果を参照画像供給部６１７へ出力する。そして、平滑化フィルタ６１８による圧縮歪み除去が適さない画像領域に対して、参照画像供給部６１７は、平滑化フィルタ６１８を作用させないように制御し、圧縮歪み除去が適さない画像領域に関する情報を含む参照画像生成パラメータを符号化データに含めて、画面復号装置６２０へ出力する。もしくは、参照画像供給部６１７は、平滑化フィルタ６１８による圧縮歪み除去が適さない画像領域に対して、本発明の第２の実施形態に係る画面符号化装置２１０と同様に、過去の符号化履歴（更新画像の位置、圧縮パラメータ）と直前の入力画面の画像とから、復号画像に生じた圧縮歪みを再現する処理を行う。画面復号装置６２０の参照画像供給部６２３は、符号化データ中の参照画像生成パラメータに圧縮歪み除去が適さない画像領域に関する情報が含まれている場合には、平滑化フィルタ６２６による圧縮歪み除去が適さない画像領域に対して、平滑化フィルタ６２６を作用させないように制御する。上記以外の動作は、第５の実施形態と同じである。

平滑化フィルタによる圧縮歪み除去が適さない圧縮手法としては、例えば減色やパレット化による画像圧縮手法がある。

＜本実施形態の効果＞

平滑化フィルタによる圧縮歪み除去が適さない画像領域を識別して、平滑化フィルタを適用しないか、復号画像における圧縮歪みを符号化装置側で再現する手法を利用するため、第５実施形態に係る画面伝送システムよりも、動画領域の圧縮歪み伝搬が抑えられ画質が向上する。

[第７の実施形態]
本発明第７の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第１の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するためその差分についてのみ述べる。

本実施形態の画面符号化伝送システムは、図２に示した第１の実施形態に係る画面符号化伝送システムにおける画面符号化装置１１０が備える動画符号化部１１６に代えて図１０に示す動画符号化部７１６を使用し、また画面復号装置１２０が備える動画復号部１２２に代えて図１１に示す動画復号部１２２を使用する点で、第２の実施形態と異なる。その他の各部の構成や動作は第２の実施形態と同じである。

図１０を参照すると、動画符号化部７１６は、（内部）動画符号化部７１６１と先頭画像符号化データ切捨部７１６２とを有する。また（内部）動画符号化部７１６１は、予測符号化部７１６３と参照画像記憶部７１６４とエントロピー符号化部７１６５とを有する。動画符号化部７１６は、動画領域検出部１１４が動画領域を検出すると動画領域の符号化を開始する。動画領域の先頭画像に対しては参照画像供給部１１７から供給された画像を使用してフレーム間予測符号化を行い、２フレーム目以降は内部の参照画像記憶部７１６４が保持する参照画像を用いて符号化する。この機能は、第１実施形態の動画符号化部１１６と同じである。ただし、本実施形態の動画符号化部７１６は、参照画像供給部１１７から供給された画像を内部の参照画像記憶部７１６４に直接格納せずに、予測符号化手段７１６３でフレーム内符号化しローカル復号画像を生成することにより参照画像記憶部７１６４に格納する。その際にエントロピー符号化部７１６５から出力されたエントロピー符号化後の符号化データは、画面符号化装置１１０の外部に出力することなく先頭画像符号化データ切捨部７１６２により廃棄する。

次に、図１１を参照すると、動画復号部７２２は、参照画像符号化部７２２１と（内部）動画復号部７２２２と先頭画像切捨部７２２３とを有する。また参照画像符号化部７２２１は、（フレーム内）予測符号化部７２２４とエントロピー符号化部７２２５とを有する。また（内部）動画復号部７２２２は、エントロピー復号部７２２６と予測復号部７２２７と参照画像記憶部７２２８とを有する。動画復号部７２２は、新しい位置にある動画領域の符号化データが入力されると、画面復号装置１２０内の参照画像供給部１２３から供給された画像を用いてフレーム間予測符号化に基づく画像復号を行い、２フレーム目以降の画像は内部の参照画像記憶部７２２８に格納した過去の復号画像を用いて復号を行う。この機能は、第１実施形態の動画復号部１２２と同じである。ただし、本実施形態の動画復号部７２２は、参照画像供給部１２３から供給された画像を内部の参照画像記憶部７２２８に直接格納せずに、参照画像符号化部７２２１の予測符号化部７２２４で（フレーム内予測）符号化し、更にエントロピー符号化部７２２５でエントロピー符号化した符号化データを、動画復号部７２２２のエントロピー復号部７２２６と予測復号部７２２７に復号させることで参照画像記憶部７２２８に格納する。その際に予測復号部７２２７から出力される先頭画像データは、画面合成出力部１２４に供給することなく先頭画像切捨部７２２３により廃棄する。

ここで、図１０に含まれる内部動画符号化部７１６１は、入力された画像列を一般的な動画符号化手順で符号化し、図１１に含まれる内部動画復号部７２２２は、入力された符号化データを一般的な動画復号手順で復号する。図２に示した第１実施形態の動画符号化部１１６や動画復号部１２２のように参照画像を外部から直接入力する機能は具備しなくてよい。この特徴により、MPEG-4やH.264等の標準動画符号化方式を動画圧縮手段として用いて画面符号化装置１１０や画面復号装置１２０を構成する場合に、参照画像を外部から入力する機能を持たない一般的な動画符号化・復号用電子部品やソフトウェアを利用可能である。

＜本実施形態の効果＞
本発明の第７実施形態に係る画面符号化伝送システムは、第１実施形態に係る画面符号化伝送システムと同様に、動画領域検出後の先頭画像の符号化時にフレーム間予測符号化を利用することが可能であり、動画領域を含む画面の圧縮符号化効率が向上する。その結果、画面伝送に要する符号化データ量の削減や伝送遅延の短縮、画質向上といった効果がある。さらに、本画面符号化伝送システムおよび符号化装置、復号装置は、参照画像を外部から入力する機能を持たない一般的な動画符号化・復号用電子部品やソフトウェアを利用できるため、高性能の装置を低コストで実現しやすくなる利点がある。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

なお、本発明は、日本国にて２０１３年２月５日に特許出願された特願２０１３−０２０４０３の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

１１０…画面符号化装置
１１１…画面入力部
１１２…画面記憶部
１１３…更新領域区分検出部
１１４…動画領域検出部
１１５…画像符号化部
１１６…動画符号化部
１１７…参照画像供給部
１２０…動画復号装置
１２１…画像復号部
１２２…動画復号部
１２３…参照画像供給部
１２４…画面合成出力部
１２５…画面記憶

Claims (25)

1. 画面データのフレームを入力する画面入力部と、
   前記入力されたフレームを記憶する画面記憶部と、
   前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
   前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
   前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
   前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
   前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と、
   前記動画符号化部と前記画像符号化部とによって過去に符号化した前記更新領域の時刻と位置と圧縮条件パラメータとを符号化履歴として記憶する符号化履歴記憶部とを備え、
   前記参照画像供給部は、前記符号化履歴と、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像とから、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生する圧縮歪みを再現し前記参照画像を生成し、
   前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
   画面符号化装置。
2. 画面データのフレームを入力する画面入力部と、
   前記入力されたフレームを記憶する画面記憶部と、
   前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
   前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
   前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
   前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
   前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部とを備え、
   前記参照画像供給部は、平滑化フィルタを有し、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、
   前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
   画面符号化装置。
3. 前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生した圧縮歪み特性を推定する圧縮歪み特性推定部を備え、
   前記参照画像供給部は、前記推定された圧縮歪み特性に応じて前記平滑化フィルタの種類もしくは強度もしくは平滑化フィルタを作用させる画像領域もしくは平滑化方向を制御する
   請求項２に記載の画面符号化装置。
4. 前記参照画像供給部は、前記参照画像に作用させた前記平滑化フィルタの種類もしくは強度もしくは平滑化フィルタを作用させる画像領域もしくは平滑化方向を記述したフィルタパラメータを符号化データに含めて出力する
   請求項３に記載の画面符号化装置。
5. 画面データのフレームを入力する画面入力部と、
   前記入力されたフレームを記憶する画面記憶部と、
   前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
   前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
   前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
   前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
   前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部とを備え、
   前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化し、且つ、前記参照画像供給部が供給する前記参照画像をフレーム内符号化した後に前記動画領域を有するフレーム列における先頭フレームにおける前記動画領域に対応する領域の画像の符号化を行い、前記参照画像のフレーム内符号化により生成される符号を装置が出力する符号化データに含めない
   画面符号化装置。
6. 前記圧縮歪み特性推定部は、前記復号画像に発生した圧縮歪み量を推定し、
   前記参照画像供給部は、前記推定された圧縮歪み量の大小に応じて、前記平滑化フィルタの前記強度を制御する
   請求項３に記載の画面符号化装置。
7. 前記圧縮歪み特性推定部は、前記復号画像内でブロック雑音もしくは線状雑音が発生する画像領域と方向を推定し、
   前記参照画像供給部は、前記推定の結果に応じて、前記平滑化フィルタを作用させる画像領域と平滑化方向を制御する
   請求項３に記載の画面符号化装置。
8. 前記圧縮歪み特性推定部は、前記平滑化フィルタによる圧縮歪み除去が適した画像領域を推定し、
   前記参照画像供給部は、前記推定された画像領域の画像に前記平滑化フィルタを作用させる
   請求項３に記載の画面符号化装置。
9. 前記入力されたフレームの画像の符号化によって復号画像に発生する圧縮歪み特性を推定し、平滑化フィルタによる圧縮歪み除去が適した画像領域と適さない画像領域とを推定する圧縮歪み特性推定部を備え、
   前記参照画像供給部は、前記平滑化フィルタを有し、前記推定の結果に基づいて、前記平滑化フィルタによる圧縮歪み除去が適した画像領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、前記平滑化フィルタによる圧縮歪み除去が適さない画像領域の画像には前記符号化履歴に基づく圧縮歪み再現処理を行うことで前記参照画像を生成する
   請求項１に記載の画面符号化装置。
10. 前記圧縮歪み特性の推定と前記平滑化フィルタによる制御とを、画素単位もしくは所定の大きさの画素集合単位で行う
    請求項３に記載の画面符号化装置。
11. 動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
    フレーム中の前記動画領域以外の更新領域の画像を復号する画像復号部と、
    前記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
    前記出力フレームを記憶する画面記憶部と、
    前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
    を備え、
    前記参照画像供給部は、平滑化フィルタを有し、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画復号部は、前記参照画像を用いたフレーム間予測により前記動画領域を有するフレーム列における先頭フレームの前記動画領域の画像を復号する
    画面復号装置。
12. 前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生した圧縮歪みの特性を推定する圧縮歪み特性推定部を備え、
    前記参照画像供給部は、前記推定された圧縮歪み特性に応じて、前記平滑化フィルタの種類もしくは強度もしくは前記平滑化フィルタを作用させる画像領域もしくは平滑化方向を制御する
    請求項１１に記載の画面復号装置。
13. 前記参照画像供給部は、外部から入力されたフィルタパラメータに従って、前記平滑化フィルタの種類もしくは強度もしくは平滑化フィルタを作用させる画像領域もしくは平滑化方向を制御する
    請求項１１に記載の画面復号装置。
14. 前記参照画像供給部が生成した前記参照画像をフレーム内符号化する参照画像符号化部を備え、
    前記動画復号部は、前記参照画像符号化部が生成した符号化データを復号して得た画像を前記参照画像として用いながら、前記動画領域を有するフレーム列における先頭フレームにおける前記動画領域の画像を復号する
    請求項１１に記載の画面復号装置。
15. 前記圧縮歪み特性推定部は、前記復号画像に発生した圧縮歪み量を推定し、
    前記参照画像供給部は、前記圧縮歪み量の大小に応じて前記平滑化フィルタの強度を制御する
    請求項１２に記載の画面復号装置。
16. 前記圧縮歪み特性推定部は、前記復号画像内でブロック雑音もしくは線状雑音が発生する画像領域と方向を推定し、
    前記参照画像供給部は、前記推定の結果に応じて前記平滑化フィルタを作用させる画像領域と平滑化方向を制御する
    請求項１２に記載の画面復号装置
17. 前記圧縮歪み特性推定部は、前記平滑化フィルタによる圧縮歪み除去が適した画像領域を推定し、
    前記参照画像供給部は、前記推定された画像領域に前記平滑化フィルタを作用させる
    請求項１２に記載の画面復号装置
18. 前記圧縮歪み特性推定部による前記推定と前記参照画像供給部による前記制御とを、画素単位もしくは所定の大きさの画素集合単位で行う
    請求項１２に記載の画面復号装置。
19. 請求項１に記載の画面符号化装置と請求項１１に記載の画面復号装置とを通信手段で接続した画面符号化伝送システム。
20. 請求項３に記載の画面符号化装置と請求項１２に記載の画面復号装置とを通信手段で接続した画面符号化伝送システムであって、前記画面符号化装置と前記画面復号装置で等しい特性の前記平滑化フィルタを使用する
    画面符号化伝送システム。
21. 請求項４に記載の画面符号化装置と請求項１３に記載の画面復号装置とを通信手段で接続した画面符号化伝送システム。
22. 画面データのフレームを入力し、
    前記入力されたフレームを記憶し、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出し、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出し、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化し、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化し、
    前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出し、
    過去に符号化した前記更新領域の時刻と位置と圧縮条件パラメータとを符号化履歴として記憶し、
    前記参照画像の抽出では、前記符号化履歴と、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像とから、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生する圧縮歪みを再現し前記参照画像を生成し、
    前記フレーム間予測符号化では、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
    画面符号化方法。
23. 動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測に基づき復号し、
    フレーム中の前記動画領域以外の更新領域の画像を復号し、
    前記復号された画像を合成して出力フレームとして出力すると共に記憶し、
    前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出し、
    前記参照画像の抽出では、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像に平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画領域の画像の復号では、前記参照画像を用いたフレーム間予測により前記動画領域を有するフレーム列における先頭フレームの前記動画領域の画像を復号する
    画面復号方法。
24. コンピュータを、
    画面データのフレームを入力する画面入力部と、
    前記入力されたフレームを記憶する画面記憶部と、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
    前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と、
    前記動画符号化部と前記画像符号化部とによって過去に符号化した前記更新領域の時刻と位置と圧縮条件パラメータとを符号化履歴として記憶する符号化履歴記憶部と
    して機能させ、
    前記参照画像供給部は、前記符号化履歴と、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像とから、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生する圧縮歪みを再現し前記参照画像を生成し、
    前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
    プログラム。
25. コンピュータを、
    動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
    フレーム中の前記動画領域以外の更新領域の画像を復号する画像復号部と、
    前記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
    前記出力フレームを記憶する画面記憶部と、
    前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
    して機能させ、
    前記参照画像供給部は、平滑化フィルタを有し、前記動画領域を有するフレーム列における先頭フレームの１つ前のフレームにおける前記動画領域に対応する領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画復号部は、前記参照画像を用いたフレーム間予測により前記動画領域を有するフレーム列における先頭フレームの前記動画領域の画像を復号する
    プログラム。

Images