JP6332039B2 - 画面符号化装置、画面復号装置、画面符号化伝送システム - Google Patents

画面符号化装置、画面復号装置、画面符号化伝送システム Download PDF

Info

Publication number
JP6332039B2
JP6332039B2 JP2014560539A JP2014560539A JP6332039B2 JP 6332039 B2 JP6332039 B2 JP 6332039B2 JP 2014560539 A JP2014560539 A JP 2014560539A JP 2014560539 A JP2014560539 A JP 2014560539A JP 6332039 B2 JP6332039 B2 JP 6332039B2
Authority
JP
Japan
Prior art keywords
image
frame
moving image
region
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014560539A
Other languages
English (en)
Other versions
JPWO2014122708A1 (ja
Inventor
敦史 幡生
敦史 幡生
巡 高田
巡 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014122708A1 publication Critical patent/JPWO2014122708A1/ja
Application granted granted Critical
Publication of JP6332039B2 publication Critical patent/JP6332039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、コンピュータの画面データをネットワーク経由で圧縮して伝送するシステムに関わり、特に動画像領域を含む画面データの圧縮伝送効率を改善する画面符号化装置、画面復号装置、画面符号化伝送システム、画面符号化方法、画面復号方法、およびプログラムに関わる。
ネットワークに接続された端末から遠隔地のコンピュータの操作を可能とするシンクライアントシステムがある。そこでは、画面向け圧縮符号化技術を使用して、コンピュータが出力する画面データを少量の符号化データに圧縮することで、低速通信網を用いる条件下でも、視認性が高い画面データ伝送と応答性に優れた遠隔操作を可能としている。
コンピュータアプリケーションの多様化や情報表示技術の高度化により、文字や線画中心のグラフィック画像以外にも動画表示を含むような複合構成の画面データを伝送する機会が増加してきた。一般に、伝送対象の画像の特性によりそれに適した圧縮技術は異なる。例えば、膨大な情報量のために高能率圧縮が必要な動画像の符号化にグラフィック画像向けの圧縮手法を用いると、圧縮効率が悪いだけでなく主観品質の面で好ましくない劣化が発生する。
そこで、伝送対象の画面データに含まれる画像の特徴や更新頻度を解析して、新たに出現した動画領域を自動判別し、検出された動画領域に対する符号化方式を、動画以外の画像符号化方式からMPEG-4やH.264等の動画向け方式に適応的に切り替える画面符号化技術が本発明に関連する第1の関連技術として提案されている(例えば特許文献1参照)。このように動画符号化方式と動画以外の画像符号化方式を適応的に切り替えることで、動画領域を含むコンピュータの画面データを高圧縮でかつ視認性の高い画質で符号化して伝送することが可能である。
なお、動画領域の符号化にMPEG-4やH.264等の標準動画符号化方式を使用することで、入手性が良く処理性能の高い動画符号化・復号用の電子部品やソフトウェアを利用可能である。このことは、高性能の画面符号化装置や画面復号装置を低コストで実現する上で利点になる。
一方、JPEG方式で符号化されたJPEGストリームからH.264ストリームに変換する際、インター符号化を行う際の参照画像として、JPEGの復号画像信号をそのまま使用することが本発明に関連する第2の関連技術として提案されている(例えば特許文献2参照)。より具体的には、上記第2の関連技術は、JPEG復号部とH.264符号化部とJPEG/H.264多重化部とを有する。JPEG復号部は、JPEGでイントラ符号化されている画像信号の符号化ストリーム(JPEGストリーム)を入力すると、それを復号して復号画像信号を生成し、H.264符号化部からイントラ符号化を選択した旨の通知を受けると、上記JPEGストリームを出力する。H.264符号化部は、H.264のイントラ符号化を選択する場合、JPEG復号部によって生成された復号画像信号をメモリに蓄積して、イントラ符号化を選択した旨をJPEG復号部に通知し、H.264のインター符号化を選択する場合、上記メモリに蓄積されている過去の復号画像信号を参照画像として利用して、JPEG復号部で生成された復号画像信号をH.264でインター符号化し、H.264ストリームを出力する。JPEG/H.264多重化部は、JPEG復号部から出力されるJPEGストリームとH.264符号化部から出力されるH.264ストリームとを多重化して、多重化ストリームを出力する。
特開2011‐238014号公報 特開2011−41178号公報
しかしながら、本発明に関連する第1の関連技術は、動画領域を検出した直後の符号化方式の切り替え時の圧縮効率に改善の余地がある。MPEG-4やH.264等の動画向け符号化方式は、過去に符号化した画像を参照する予測符号化(インター符号化)に基づいて情報量を削減するが、インター符号化を利用できるのは動画を構成する一連のフレーム列の先頭フレーム以外のフレームに限られる。従って、符号化方式を動画向けに切り替えた直後の先頭画像に対しては、その時点で参照画像が存在しないため予測符号化(インター符号化)を行えない。この結果、先頭画像にはフレーム内符号化(イントラ符号化)が適用され、インター符号化よりも圧縮効率が低下する。
この問題は、動画領域の自動判別に遅延が生じる実時間の画面符号化伝送用途において特に影響が大きい。例えば、伝送対象の画面内で動画表示ウィンドウが開かれて動画像の再生が開始されたとき、画面符号化装置における動画領域判別手段は、動画表示ウィンドウが置かれた領域内の画像が連続的に更新されることを入力画像の時間変化から検知して、当該動画表示ウインドウを動画領域として検出する。このとき、動画表示ウィンドウ以外のウィンドウを動画領域として誤検出するのを防ぐため、動画領域の検出に1フレーム以上の遅延が生じる。その結果、動画ウィンドウによる動画の表示後、1フレーム以上の画像が動画用以外の圧縮方式で符号化され、遅延して検出された直後の動画領域の画像もイントラ符号化される。このような符号化処理は、動画ウィンドウによる動画表示直後から符号化方式を動画用に切り替える場合に比較すると、インター符号化されるフレーム枚数が少ないために圧縮効率が悪い。その結果、送信データ量が増大し、伝送遅延時間の増加や画面品質低下の問題が引き起こされる。
本発明に関連する第2の関連技術では、H.264のインター符号化を行う際の参照画像としてJPEGの復号画像信号をそのまま使用している。このため、画面全体の符号化方式をJPEGからH.264に切り替えるのには適している。しかし、画面全体が静止画であった状態から、画面の一部に動画領域が新たに出現した場合に、その動画領域だけを動画に適したH.264等の符号化方式に変換するケースには上記第2の関連技術は適用し得ない。
本発明は上記の点を鑑みてなされたものであり、その目的は、画面データの符号化を、動画向け符号化方式と他の画像符号化方式とを適応的に切り替えながら行う場合、動画領域が検出された直後の圧縮効率が低下する、という課題を解決する画面符号化装置を提供することにある。
本発明の第1の観点に係る画面符号化装置は、
画面データのフレームを入力する画面入力部と、
上記入力されたフレームを記憶する画面記憶部と、
上記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
上記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
上記動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測符号化する動画符号化部と、
上記入力されたフレーム中の上記動画領域以外の上記更新領域の画像を符号化する画像符号化部と、
上記動画領域検出部が検出した上記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部とを備え、
上記動画符号化部は、上記動画領域を有するフレーム列の先頭フレームにおける上記動画領域の画像を上記参照画像を用いてフレーム間予測符号化する。
本発明の第2の観点に係る画面復号装置は、
動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
フレーム中の上記動画領域以外の更新領域の画像を復号する画像復号部と、
上記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
上記出力フレームを記憶する画面記憶部と、
上記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
を備え、
上記動画復号部は、上記参照画像を用いたフレーム間予測により上記動画領域を有するフレーム列における先頭フレームの上記動画領域の画像を復号する。
本発明の第3の観点に係る画面符号化伝送システムは、上記第1の観点に係る画面符号化装置と上記第2の観点に係る画面復号装置とを通信手段で接続したものである。
本発明の第4の観点に係る画面符号化方法は、
画面データのフレームを入力し、
上記入力されたフレームを記憶し、
上記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出し、
上記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出し、
上記動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測符号化し、
上記入力されたフレーム中の上記動画領域以外の上記更新領域の画像を符号化し、
上記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出し、
上記フレーム間予測符号化では、上記動画領域を有するフレーム列の先頭フレームにおける上記動画領域の画像を上記参照画像を用いてフレーム間予測符号化する。
本発明の第5の観点に係る画面復号方法は、
動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測に基づき復号し、
フレーム中の上記動画領域以外の更新領域の画像を復号し、
上記復号された画像を合成して出力フレームとして出力すると共に記憶し、
上記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出し、
上記動画領域の画像の復号では、上記参照画像を用いたフレーム間予測により上記動画領域を有するフレーム列における先頭フレームの上記動画領域の画像を復号する。
本発明の第6の観点に係るプログラムは、
コンピュータを、
画面データのフレームを入力する画面入力部と、
上記入力されたフレームを記憶する画面記憶部と、
上記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
上記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
上記動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測符号化する動画符号化部と、
上記入力されたフレーム中の上記動画領域以外の上記更新領域の画像を符号化する画像符号化部と、
上記動画領域検出部が検出した上記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
して機能させ、
上記動画符号化部は、上記動画領域を有するフレーム列の先頭フレームにおける上記動画領域の画像を上記参照画像を用いてフレーム間予測符号化する。
本発明の第7の観点に係るプログラムは、
コンピュータを、
動画領域を有するフレーム列における上記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
フレーム中の上記動画領域以外の更新領域の画像を復号する画像復号部と、
上記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
上記出力フレームを記憶する画面記憶部と、
上記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける上記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
して機能させ、
上記動画復号部は、上記参照画像を用いたフレーム間予測により上記動画領域を有するフレーム列における先頭フレームの上記動画領域の画像を復号する。
本発明は上述した構成を有するため、画面の画像の圧縮伝送を、動画向け符号化手段と他の画像符号化手段とを適応的に切り替えながら行う際の、動画領域が検出された直後の圧縮効率を高めることができる。
本発明の第1の実施形態に係る画面符号化伝送システムのブロック図である。 本発明の第1の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第1の実施形態における画面符号化装置の動画符号化部と画面復号装置の動画復号部のブロック図である。 本発明の第2の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第2の実施形態における画面符号化装置の参照画像供給部の動作を表すフローチャートである。 本発明の第3の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第4の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第5の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第6の実施形態における画面符号化装置と画面復号装置のブロック図である。 本発明の第7の実施形態における画面符号化装置の動画符号化部のブロック図である。 本発明の第7の実施形態における画面復号装置の動画復号部のブロック図である。 本発明に関連する第1の関連技術のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
本発明の第1実施形態に係る画面符号化伝送システムの構成を図1に示す。本画面伝送システムは、画面符号化装置110と画面復号装置120とからなる。画面符号化装置110は、情報処理装置130から供給された伝送対象の画面データのフレームをピクセルマップ形式の画像データとして取得し、これを符号化データに変換し、デジタル通信網140を介して画面復号装置120に送信する。画面復号装置120は、デジタル通信網140を経由して受信した画面符号化データを復号して、画面表示装置150に画面データを出力する。
図2に、画面符号化装置110と画面復号装置120の構成を示す。画面符号化装置110は、画面入力部111と画面記憶部112と更新領域区分検出部113と動画領域検出部114と動画符号化部116と画像符号化部115と参照画像供給部117とからなる。画面復号装置120は、動画復号部121と画像復号部122と画面合成出力部124と画面記憶部125と参照画像供給部123とからなる。
画面符号化装置110を構成する各部の動作を説明する。画面入力部111は、伝送対象である情報処理装置130が出力する画面(入力画面)データをフレーム単位で入力する。画面記憶部112は、入力画面データのフレームを格納する。更新領域区分検出部113は、画面記憶部112に格納された直前の入力画面のフレームと現在の入力画面のフレームとの差分を画素単位で抽出し、画素値が変化した領域を更新領域として検出する。更新領域は、符号化するのに適当な大きさと形状を持つ画像領域(更新領域)に近似して抽出する。動画領域検出部114は、更新領域の過去の更新頻度、画像特徴、過去の動画領域判別履歴の情報から、動画用の符号化手段で圧縮符号化する適切な大きさの領域(動画領域)を検出する。即ち、動画領域検出部114は、更新領域の履歴等に基づいて、動画領域を有するフレーム列を検出する。その際、一度検出された動画領域は、その更新パタンが変化するまで、連続する複数のフレームに亘って、同一位置に継続して残留するような継続条件判定を含めて判別処理を行う。この動画領域判別結果に従い、動画符号化部116は動画領域を圧縮符号化し、画像符号化部115は動画領域として検出されなかった他の非動画更新領域を圧縮符号化する。得られた符号化データは、適当な通信手段と通信プロトコルに従って画面復号装置120に伝送される。参照画像供給部117は、動画符号化部116が動画領域の符号化を開始する際に、画面記憶部112に格納された直前の入力画面から参照画像を抽出して、動画符号化部116へ供給する。参照画像供給部117と動画符号化部116の動作の詳細については後で説明する。
画面復号装置120を構成する各部の動作を説明する。動画復号部122は、画面符号化装置110の動画符号化部116で符号化されたデータを復号し、画像復号部121は、画面符号化装置110の画像符号化部115で符号化されたデータを復号する。画面合成出力部124は、復号結果として得られた画像を合成し、合成結果を画面データとして外部の画面表示装置150に出力する。画面記憶部125は、出力された画面データを記憶し、画面合成出力部124で次の出力画面を合成するために直前の出力画面を供給する。参照画像供給部123は、動画復号部122が動画領域の復号を開始する際に画面記憶部125に格納された直前の出力画面から参照画像を抽出して動画復号部122へ供給する。参照画像供給部123と動画復号化部122の動作の詳細については後で説明する。
画像符号化部115と画像復号部121による非動画の更新領域の圧縮符号化は、一般的なグラフィック画像もしくは自然画像向けの画像符号化技術に従って行う。例えば、減色・パレット化処理とランレングス符号化、エントロピー符号化を組み合わせる手法や、隣接画素との相関を利用する予測符号化手法、離散コサイン変換やウェーブレット変換に基づく符号化技術で圧縮符号化する。異なる圧縮技術を用いる符号化手段を内部に複数備え、符号化対象の画像の特徴の分析結果に従って、圧縮手法を切り替えても良い。
動画符号化部116と動画復号部122の構成を図3に示す。これらは、動き補償によるフレーム間予測符号化とエントロピー符号化を組み合わせた一般的な動画符号化技術を用いて、動画データの圧縮符号化と復号を行う。また、これらは、必要に応じて動画領域画像の色空間・サンプル比変換を符号化前と復号後に行う。例えば、動画符号化技術としてMPEG-4やH.264標準方式を用い、画面データのピクセル形式がRGB、動画符号化部116と動画復号部122のピクセル形式がYUV420やYUV422である場合、相互の変換を符号化前と復号後に行う。
動画符号化部116は、過去に符号化した動画領域のローカル復号画像を参照画像として格納する参照画像記憶部1162を内部に備え、動画復号部122は、過去に復号された動画領域の復号画像を参照画像として格納する参照画像記憶部1222を内部に備える。同一位置および大きさの動画領域が2フレーム以上継続して検出された場合、動画符号化部116は、参照画像記憶部1162に格納された過去の符号化済み画像を参照画像として利用しながらフレーム間予測符号化を行い、動画復号部122も同様に、参照画像記憶部1222に格納された画像を利用しながらフレーム間予測符号化の復号処理を行う。
一方、動画領域検出後の先頭画像を符号化する場合は、動画符号化部116は、符号化開始前に(画面符号化装置110内の)参照画像供給部117から供給された画像を参照画像記憶部1162に入力し、それを参照画像として用いてフレーム間予測符号化を行う。動画復号部122は、復号開始前に画面復号装置120内の参照画像供給部123から供給された画像を参照画像記憶部1222に入力し、それを参照画像として用いてフレーム間予測符号化の復号処理を行う。以上の動作により、本実施形態に係る画面符号化伝送システムの動画符号化部116と動画復号部122は、動画領域検出直後の画像も含めて全ての画像についてフレーム間予測符号化を利用しながら圧縮符号化する。但し、一定数のフレーム毎にイントラ符号化することを妨げるものではない。
画面符号化装置110における参照画像供給部117は、動画領域検出部114が新規に動画領域を検出すると、画面記憶部112に格納された直前の入力画面のフレームにおける同一位置にある部分画像データを読み出し、必要に応じ適切な色空間・サンプル比変換を行ってから、その結果を先頭の参照画像として動画符号化部116に供給する。画面復号装置120における参照画像供給部123は、新しい位置にある動画領域の符号化データが動画復号部122に入力されると、画面復号装置120内の画面記憶部125に格納された直前の出力画面のフレームにおける同一位置にある部分画像データを読み出し、必要に応じ適切な色空間・サンプル比変換を行ってから、その結果を先頭の参照画像として動画復号部122に供給する。
図12は本発明に関連する第1の関連技術に基づく画面符号化装置1010と画面復号装置1020の構成を示す。画面符号化装置1010は、画面入力部1011と画面記憶部1012と変更領域区分検出部1013と動画領域検出部1014と動画符号化部1016と画像符号化部1015とを有し、参照画像供給部117に相当する機能は有していない。また画面復号装置1020は、動画復号部1021と画像復号部1022と画面合成出力部1023と画面記憶部1024とを有し、参照画像供給部123に相当する機能は有していない。図12に示した第1の関連技術に基づく画面符号化装置1010および画面復号装置1020と、図2に示した本実施形態に係る画面符号化装置110および画面復号装置120とを比較すると、動画符号化部と動画復号部に動画領域の先頭の参照画像を供給する参照画像供給部の有無と、動画領域の先頭画像がフレーム間予測を用いて符号化されるか否かが異なる。動画領域が検出された直後の先頭の画像から圧縮効率の高いフレーム間予測符号化を利用して、動画領域を含む画面情報を圧縮符号化できることが本実施形態に係る画面符号化伝送システムの特徴的な利点である。
なお、本実施形態の画面符号化伝送システムにおいて、画面符号化装置110の画面記憶部112に格納された入力画面の画像データと画面復号装置120の画面記憶部125に格納された出力画面の画像データとは、符号化時の圧縮歪みや色変換・サンプル比変換の不可逆性により一致しない。このため結果として、直前の画面出力で生じた圧縮歪みが動画復号部122により生成された動画領域の復号画像に伝播する画質劣化が発生する。しかしながら、この劣化は通常の画面圧縮伝送により生じる画質劣化と同程度であるため著しく目立つことはない。また、動画領域内の画像変化や小数画素精度動き補償のフィルタ効果によって誤差の伝播量は減衰することが知られている。さらに、通信路の速度が限られた画面伝送システムでは、先頭の動画領域画像にフレーム間予測符号化を適用することによる符号量削減や圧縮歪み低減の利得が大きく、前記したフレーム間誤差の伝播による画質劣化は相対的に無視できる。
<本実施形態の効果>
以上述べたように本発明の第1実施形態に係る画面符号化伝送システムの画面符号化装置110は、動画領域検出部114が動画領域を検出した直後に動画符号化部116が利用するための参照画像を供給する手段117を備えることにより、動画領域検出後の先頭画像の符号化時にもフレーム間予測符号化を利用可能である。その結果、動画領域を含む情報処理装置130の出力画面の圧縮符号化効率が向上し、画面伝送に要する符号化データ量の削減や伝送遅延の短縮、画質向上といった効果が得られる。
[第2の実施形態]
本発明の第2の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第1の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するため、第1の実施形態に係る画面符号化伝送システムとの差分についてのみ述べる。
本発明の第2の実施形態に係る画面符号化装置210と画面復号装置220の構成を図4に示す。第1の実施形態に係る画面符号化伝送システムに比較すると、画面符号化装置210が符号化履歴記憶部218を備える点と、参照画像供給部217が動画符号化部216に供給する参照画像の生成手順が異なる。その他の画面符号化装置210の各部の動作、参照画像供給部217が動画符号化部216に参照画像を供給するタイミング、画面復号装置220の構成および動作は、第1の実施形態と同じである。
画面符号化装置210における符号化履歴記憶部218は、画像符号化部215と動画符号化部216とが符号化した更新領域(動画領域および非動画更新領域)の位置情報と、入力時刻と、符号化手法の種類や条件を示す圧縮条件パラメータとを、符号化履歴情報として記憶する。参照画像供給部217は、これらの符号化履歴情報と画面記憶部212に格納された直前の入力画面の画像データとを元に、画面復号装置220側で符号化データを復号して得られた出力画面に付加された圧縮歪みを可能な範囲内で再現するための処理を行いながら、動画符号化部216に供給する参照画像を生成する。
図5に、参照画像供給部217における圧縮歪み再現処理の手順の一例を示す。この処理は動画領域の検出直後に実行される。はじめに、検出された動画領域の位置情報を取得し(S1)、同じサイズの作業バッファを確保し(S2)、画面記憶部212から取り出した、上記動画領域と同一位置の直前画面のピクセルデータを参照画像の初期値として作業バッファにコピーする(S3)。次に、符号化履歴記憶部218から過去の更新領域の符号化履歴を時間順に古い方から取り出しながら後述する繰り返し処理を行う(S4〜S11)。この繰り返し処理が全更新領域に対し行って得られた作業バッファ上の画像が、本実施形態に係る参照画像供給部217が生成する参照画像である。必要に応じ適切なピクセル形式変換(色空間、サンプル比)を施してから参照画像を動画符号化部216に供給する(S12)。
図5の手順における繰り返し処理では、過去i番目更新領域の圧縮条件パラメータを取得し(S5)、以下の処理を行う。(1)過去更新領域が現在検出された動画領域と共有画素を持たなければスキップする(S6)。(2)過去i番目更新領域が共有画素を持ち、かつ非動画更新である場合は、過去i番目更新領域の圧縮条件パラメータに従い符号化したときの圧縮後の歪み付加画像を再現生成する処理を実行する(S6〜S8)。ただし、その処理の適用対象画像は、過去i番目更新領域の時点の入力画面ではなく現在の時点における直前の入力画面画像である。これは、画面記憶部212に格納されている。その結果得られた歪み画像を作業バッファの共有画素に対し位置を合わせながら上書きする(S8)。(3)過去i番目更新領域が共有画素を持つ動画領域である場合は作業バッファの共有画素に画面記憶部212が保持している直前の入力画面のデータを上書きする(S6、S7、S9)。
上記繰り返し処理において、圧縮歪みを再現する処理の一例としては、適用対象画像に同一手順の画像圧縮符号化処理を実行し、その結果得られた符号化データを画面復号装置220の画像符号化部と共通の手順で復号する方法がある。また、これ以外の方法であっても、これと等しい圧縮歪み再現結果が得られる方法であれば構わない。あるいは、正確な再現が行えなくても近似的に圧縮歪みを再現できるならば別の方法でも構わない。
<本実施形態の効果>
以上述べたように本発明の第2実施形態に係る画面符号化伝送システムの画面符号化装置210は、本発明の第1実施形態に係る画面符号化伝送システムと同様に、動画領域検出後の先頭画像の符号化にフレーム間予測符号化を利用可能である。さらに、画面符号化装置210の参照画像供給部217が画面復号装置220の復号画面に生じる圧縮歪みを再現しながら参照画像を生成するため、画面符号化装置210の参照画像と画面復号装置220の参照画像とを一致させることができ、フレーム間予測による圧縮歪み伝播が本発明の第1実施形態に係る画面符号化伝送システムよりも軽減され、画質が向上する。ゆえに、本実施形態の画面符号化システムは、動画領域を含む画面の符号化伝送に要するデータ量の削減や伝送遅延の短縮、画質向上面で、より一層効果がある。
さらに、参照画像供給部217において圧縮歪み再現処理が実行されるのは、動画領域に影響を与える過去の更新領域のみに限定されており、かつ動画領域が新しく検出された先頭の時点でのみ行えばよいため、参照画像を生成するための圧縮歪み再現処理の負荷は必要最小限に抑えられる。これは、符号化した全ての更新領域に対して圧縮歪み再現処理を行う場合に比較して、画面符号化装置210に必要な性能や消費電力量などを節約できる。
[第3の実施形態]
本発明の第3の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第1の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するため、第1の実施形態に係る画面伝送システムとの差分についてのみ述べる。
本発明の第3の実施形態に係る画面符号化伝送システムの画面符号化装置310と画面復号装置320の構成を図6に示す。本実施形態に係る画面符号化装置310と画面復号装置320は、図2に示した第1の実施形態に係る画面符号化装置110と画面復号装置120と比較して、参照画面供給部317と参照画面供給部323の参照画面生成手順が相違し、その他は図2に示した第1の実施形態と同じである。
本実施形態の画面符号化装置310における参照画像供給部317は、新規に動画領域が検出されると画面記憶部312に格納された直前の入力画面のフレームにおける同一位置にある部分画像データを読み出し、平滑化フィルタ318を作用させてから、結果を先頭の参照画像として動画符号化部316に供給する。また参照画像供給部317は、必要に応じフィルタ処理の前か後で色空間・サンプル比変換を行う。
同様に、画面復号装置320における参照画像供給部323は、新しい位置にある動画領域の符号化データが動画復号部322に入力されると、画面復号装置320内の画面記憶部325に格納された直前の出力画面の同一位置にある部分画像データを読み出し、平滑化フィルタ326を作用させてから、結果を先頭の参照画像として動画復号部322に供給する。また参照画像供給部317は、必要に応じフィルタ処理の前か後で色空間・サンプル比変換を行う。
作用させる平滑化フィルタ318、326の例として、平均値フィルタや低域通過フィルタ、メディアンフィルタがある。これらを符号化側と復号側の参照画像に作用させることで、高周波雑音成分や線状、点状雑音として表れやすい圧縮歪みの伝播を軽減することができる。なお、符号化側と復号側の参照画像の差が拡大しないように、画面符号化装置310と画面復号装置320で共通する特性の平滑化フィルタ318、326を使用するのがよい。
<本実施形態の効果>
本発明の第3実施形態に係る画面符号化伝送システムは、第1および第2実施形態と同様に動画領域を含む画面の圧縮符号化効率が向上する。また本実施形態によれば、圧縮歪みのフレーム間伝搬が平滑化フィルタ318、326により低減され、動画領域の画質が向上する。その理由は、送信側の参照画像と受信側の参照画像とに含まれる高周波の画像信号成分が平滑化によって削除されるために送信側の参照画像と受信側の参照画像との差が小さくなること、および、人の目につく線状のノイズ成分が平滑化によって目立ちにくくなるためである。
[第4の実施形態]
本発明の第4の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第3の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するためその差分についてのみ述べる。
本実施形態の画面符号化装置410と画面復号装置420の構成を図7に示す。図6に示した第3の実施形態の装置構成に比較すると、画面符号化装置410と画面復号装置420とが内部に圧縮歪み特性推定部419、427を備える点が異なる。画面符号化装置410の圧縮歪み特性推定部419は、画像符号化部415と動画符号化部416とが更新領域を符号化すると、その時刻と更新領域の位置と符号化手法の種類、圧縮条件パラメータの情報を受け取り、符号化された画面の復号画像に生じる圧縮歪みの特性を推定するために必要な情報を抽出して内部の記憶手段に格納する。そして、圧縮歪み特性推定部419は、参照画像供給部417が動画領域検出後に直前の入力画面から参照画像を生成する際に、直前の入力画面の復号画像に生じた圧縮歪みの特性を推定し、推定結果を参照画像供給部417へ出力する。参照画像供給部417は、上記推定結果から参照画像に作用させる平滑化フィルタ418の種類や、強度、あるいは平滑化フィルタ417を作用させる画像領域や方向を決定し、その決定結果に従い平滑化フィルタ418を作用させて動画像符号化部416に供給する参照画像を生成する。
画像復号装置420の圧縮歪み特性推定部427も、画面符号化装置410の圧縮歪み特性推定部419と同様に、画像復号部421と動画復号部422とが入力した符号化データから復号した更新領域の符号化時刻と位置と符号化手法の種類、圧縮条件パラメータの情報を受け取り、復号画像に生じる圧縮歪みの特性を推定するために必要な情報を抽出して内部の記憶手段に格納する。そして、圧縮歪み特性推定部427は、参照画像供給部423が直前の出力画面から参照画像を生成する際に、直前の出力画面に生じた圧縮歪みの特性を推定し、推定結果を参照画像供給部423へ出力する。参照画像供給部423は、上記推定結果から参照画像に作用させる平滑化フィルタ426の種類や、強度、あるいは平滑化フィルタ426を作用させる画像領域や方向を決定し、その決定結果に従い平滑化フィルタ426を作用させて動画復号部422に供給する参照画像を生成する。
圧縮歪み特性の推定法と平滑化フィルタの具体的な制御法の例を下記(1)-(4)に示す。
(1)参照画像として抽出される各画素に対して、その画素を最後に符号化した画像領域の圧縮手法の種類と圧縮パラメータとから、当該画素近傍の圧縮歪み量を推定する。圧縮歪み量が大きい画素の近傍で平滑化フィルタを強く、圧縮歪み量が小さい画素の近傍で平滑化フィルタを弱くするよう平滑化フィルタの強度を制御する。この圧縮歪み量の推定とフィルタ強度の制御は、画素単位ではなく所定の大きさの画素集合やブロック単位で行ってもよい。
(2)過去に符号化された更新領域の外周で、圧縮手法や圧縮条件の違いから線状の雑音が発生する可能性が高いことが推定される場合は、その境界線上の領域に方向性のある平滑化フィルタを作用させて線状雑音を低減させる。
(3)ブロック単位の符号化処理によりブロックノイズが発生しやすい場所に、デブロックフィルタ(格子状の線雑音除去に適した非一様の平滑化フィルタ)を作用させる。
(4)過去に画像領域を符号化したときの圧縮手法によって作用させる平滑化フィルタの特性を変更する。例えば、減色による符号化がされた画像領域にはタップ数の大きい平均値フィルタを作用させ、離散コサイン変換を用いた圧縮符号化がされた画像領域は局所的なランダム雑音を除去する特性の低域通過フィルタを作用させる。
これらの平滑化フィルタの動作が画面符号化装置と画面復号装置で等しくなるよう動作させる。
<本実施形態の効果>
過去の符号化履歴から圧縮歪みの特性や歪み量を推定し、推定された圧縮歪みを低減するために適切な平滑化フィルタを適応的に行うため、参照画像の圧縮歪みの伝搬を抑えられる。結果として動画領域の圧縮効率、画質が向上する。
[第5の実施形態]
本発明第5の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第4の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するためその差分についてのみ述べる。
本画面符号化伝送システムの構成を図8に示す。画面符号化装置510の構成は、参照画像供給部517を除いて、第4の実施形態と同じである。参照画像供給部517は、圧縮歪み特性推定部において推定された直前の画面の復号画像に発生した圧縮歪み特性に基づいて、参照画像に作用させる平滑化フィルタ518の種類や、強度、あるいは平滑化フィルタ作用させる画像領域や方向を制御する。そして、参照画像供給部517は、その作用させた平滑化フィルタ518の種類や、強度、あるいは平滑化フィルタ作用させた画像領域や方向の情報を、参照画像生成パラメータとして、符号化データに記述して画面復号装置520へ送信する。
画面復号装置520は、符号化データに記述された平滑化フィルタの種類や、強度、あるいは平滑化フィルタ作用させた画像領域や方向の情報に従い、画面符号化装置510と同じ手順で参照画像に平滑化フィルタ526を作用させる。画面復号装置520では、圧縮歪み特性推定を行わないため、圧縮歪特性推定部は省略されている。
<本実施形態の効果>
本実施形態によれば、第4の実施形態に係る画面符号化伝送システムと同様に、適切な平滑化フィルタの制御により圧縮歪みの伝搬を抑えられ、動画領域の圧縮効率、画質が向上する。さらに、画面復号装置の構成が簡単なため低コストで容易に実現可能である。
[第6の実施形態]
本発明の第6の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第5の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するため、その差分についてのみ述べる。
本画面符号化伝送システムの構成を図9に示す。画面符号化装置610の構成は、参照画像供給部617と圧縮歪特性推定部619とを除いて、第5の実施形態と同じである。本システムの画面符号化装置610の圧縮歪み特性推定部619は、過去の符号化履歴から圧縮歪みの傾向を推定し、平滑化フィルタ618による圧縮歪み除去が適さない圧縮手法で最後に符号化された画像領域を推定し、推定結果を参照画像供給部617へ出力する。そして、平滑化フィルタ618による圧縮歪み除去が適さない画像領域に対して、参照画像供給部617は、平滑化フィルタ618を作用させないように制御し、圧縮歪み除去が適さない画像領域に関する情報を含む参照画像生成パラメータを符号化データに含めて、画面復号装置620へ出力する。もしくは、参照画像供給部617は、平滑化フィルタ618による圧縮歪み除去が適さない画像領域に対して、本発明の第2の実施形態に係る画面符号化装置210と同様に、過去の符号化履歴(更新画像の位置、圧縮パラメータ)と直前の入力画面の画像とから、復号画像に生じた圧縮歪みを再現する処理を行う。画面復号装置620の参照画像供給部623は、符号化データ中の参照画像生成パラメータに圧縮歪み除去が適さない画像領域に関する情報が含まれている場合には、平滑化フィルタ626による圧縮歪み除去が適さない画像領域に対して、平滑化フィルタ626を作用させないように制御する。上記以外の動作は、第5の実施形態と同じである。
平滑化フィルタによる圧縮歪み除去が適さない圧縮手法としては、例えば減色やパレット化による画像圧縮手法がある。
<本実施形態の効果>
平滑化フィルタによる圧縮歪み除去が適さない画像領域を識別して、平滑化フィルタを適用しないか、復号画像における圧縮歪みを符号化装置側で再現する手法を利用するため、第5実施形態に係る画面伝送システムよりも、動画領域の圧縮歪み伝搬が抑えられ画質が向上する。
[第7の実施形態]
本発明第7の実施形態に係る画面符号化伝送システムを説明する。本画面符号化伝送システムは、第1の実施形態に係る画面符号化伝送システムと構成や動作の多くが共通するためその差分についてのみ述べる。
本実施形態の画面符号化伝送システムは、図2に示した第1の実施形態に係る画面符号化伝送システムにおける画面符号化装置110が備える動画符号化部116に代えて図10に示す動画符号化部716を使用し、また画面復号装置120が備える動画復号部122に代えて図11に示す動画復号部122を使用する点で、第2の実施形態と異なる。その他の各部の構成や動作は第2の実施形態と同じである。
図10を参照すると、動画符号化部716は、(内部)動画符号化部7161と先頭画像符号化データ切捨部7162とを有する。また(内部)動画符号化部7161は、予測符号化部7163と参照画像記憶部7164とエントロピー符号化部7165とを有する。動画符号化部716は、動画領域検出部114が動画領域を検出すると動画領域の符号化を開始する。動画領域の先頭画像に対しては参照画像供給部117から供給された画像を使用してフレーム間予測符号化を行い、2フレーム目以降は内部の参照画像記憶部7164が保持する参照画像を用いて符号化する。この機能は、第1実施形態の動画符号化部116と同じである。ただし、本実施形態の動画符号化部716は、参照画像供給部117から供給された画像を内部の参照画像記憶部7164に直接格納せずに、予測符号化手段7163でフレーム内符号化しローカル復号画像を生成することにより参照画像記憶部7164に格納する。その際にエントロピー符号化部7165から出力されたエントロピー符号化後の符号化データは、画面符号化装置110の外部に出力することなく先頭画像符号化データ切捨部7162により廃棄する。
次に、図11を参照すると、動画復号部722は、参照画像符号化部7221と(内部)動画復号部7222と先頭画像切捨部7223とを有する。また参照画像符号化部7221は、(フレーム内)予測符号化部7224とエントロピー符号化部7225とを有する。また(内部)動画復号部7222は、エントロピー復号部7226と予測復号部7227と参照画像記憶部7228とを有する。動画復号部722は、新しい位置にある動画領域の符号化データが入力されると、画面復号装置120内の参照画像供給部123から供給された画像を用いてフレーム間予測符号化に基づく画像復号を行い、2フレーム目以降の画像は内部の参照画像記憶部7228に格納した過去の復号画像を用いて復号を行う。この機能は、第1実施形態の動画復号部122と同じである。ただし、本実施形態の動画復号部722は、参照画像供給部123から供給された画像を内部の参照画像記憶部7228に直接格納せずに、参照画像符号化部7221の予測符号化部7224で(フレーム内予測)符号化し、更にエントロピー符号化部7225でエントロピー符号化した符号化データを、動画復号部7222のエントロピー復号部7226と予測復号部7227に復号させることで参照画像記憶部7228に格納する。その際に予測復号部7227から出力される先頭画像データは、画面合成出力部124に供給することなく先頭画像切捨部7223により廃棄する。
ここで、図10に含まれる内部動画符号化部7161は、入力された画像列を一般的な動画符号化手順で符号化し、図11に含まれる内部動画復号部7222は、入力された符号化データを一般的な動画復号手順で復号する。図2に示した第1実施形態の動画符号化部116や動画復号部122のように参照画像を外部から直接入力する機能は具備しなくてよい。この特徴により、MPEG-4やH.264等の標準動画符号化方式を動画圧縮手段として用いて画面符号化装置110や画面復号装置120を構成する場合に、参照画像を外部から入力する機能を持たない一般的な動画符号化・復号用電子部品やソフトウェアを利用可能である。
<本実施形態の効果>
本発明の第7実施形態に係る画面符号化伝送システムは、第1実施形態に係る画面符号化伝送システムと同様に、動画領域検出後の先頭画像の符号化時にフレーム間予測符号化を利用することが可能であり、動画領域を含む画面の圧縮符号化効率が向上する。その結果、画面伝送に要する符号化データ量の削減や伝送遅延の短縮、画質向上といった効果がある。さらに、本画面符号化伝送システムおよび符号化装置、復号装置は、参照画像を外部から入力する機能を持たない一般的な動画符号化・復号用電子部品やソフトウェアを利用できるため、高性能の装置を低コストで実現しやすくなる利点がある。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2013年2月5日に特許出願された特願2013−020403の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
110…画面符号化装置
111…画面入力部
112…画面記憶部
113…更新領域区分検出部
114…動画領域検出部
115…画像符号化部
116…動画符号化部
117…参照画像供給部
120…動画復号装置
121…画像復号部
122…動画復号部
123…参照画像供給部
124…画面合成出力部
125…画面記憶

Claims (25)

  1. 画面データのフレームを入力する画面入力部と、
    前記入力されたフレームを記憶する画面記憶部と、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
    前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
    前記動画符号化部と前記画像符号化部とによって過去に符号化した前記更新領域の時刻と位置と圧縮条件パラメータとを符号化履歴として記憶する符号化履歴記憶部とを備え、
    前記参照画像供給部は、前記符号化履歴と、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像とから、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生する圧縮歪みを再現し前記参照画像を生成し、
    前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
    画面符号化装置。
  2. 画面データのフレームを入力する画面入力部と、
    前記入力されたフレームを記憶する画面記憶部と、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
    前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部とを備え、
    前記参照画像供給部は、平滑化フィルタを有し、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化
    面符号化装置。
  3. 前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生した圧縮歪み特性を推定する圧縮歪み特性推定部を備え、
    前記参照画像供給部は、前記推定された圧縮歪み特性に応じて前記平滑化フィルタの種類もしくは強度もしくは平滑化フィルタを作用させる画像領域もしくは平滑化方向を制御する
    請求項に記載の画面符号化装置。
  4. 前記参照画像供給部は、前記参照画像に作用させた前記平滑化フィルタの種類もしくは強度もしくは平滑化フィルタを作用させる画像領域もしくは平滑化方向を記述したフィルタパラメータを符号化データに含めて出力する
    請求項に記載の画面符号化装置。
  5. 画面データのフレームを入力する画面入力部と、
    前記入力されたフレームを記憶する画面記憶部と、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
    前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部とを備え、
    前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化し、且つ、前記参照画像供給部が供給する前記参照画像をフレーム内符号化した後に前記動画領域を有するフレーム列における先頭フレームにおける前記動画領域に対応する領域の画像の符号化を行い、前記参照画像のフレーム内符号化により生成される符号を装置が出力する符号化データに含めな
    面符号化装置。
  6. 前記圧縮歪み特性推定部は、前記復号画像に発生した圧縮歪み量を推定し、
    前記参照画像供給部は、前記推定された圧縮歪み量の大小に応じて、前記平滑化フィルタの前記強度を制御する
    請求項に記載の画面符号化装置。
  7. 前記圧縮歪み特性推定部は、前記復号画像内でブロック雑音もしくは線状雑音が発生する画像領域と方向を推定し、
    前記参照画像供給部は、前記推定結果に応じて、前記平滑化フィルタを作用させる画像領域と平滑化方向を制御する
    請求項に記載の画面符号化装置。
  8. 前記圧縮歪み特性推定部は、前記平滑化フィルタによる圧縮歪み除去が適した画像領域を推定し、
    前記参照画像供給部は、前記推定された画像領域の画像に前記平滑化フィルタを作用させる
    請求項に記載の画面符号化装置。
  9. 前記入力されたフレームの画像の符号化によって復号画像に発生する圧縮歪み特性を推定し、平滑化フィルタによる圧縮歪み除去が適した画像領域と適さない画像領域とを推定する圧縮歪み特性推定部を備え、
    前記参照画像供給部は、前記平滑化フィルタを有し、前記推定の結果に基づいて、前記平滑化フィルタによる圧縮歪み除去が適した画像領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、前記平滑化フィルタによる圧縮歪み除去が適さない画像領域の画像には前記符号化履歴に基づく圧縮歪み再現処理を行うことで前記参照画像を生成する
    請求項に記載の画面符号化装置。
  10. 前記圧縮歪み特性の推定と前記平滑化フィルタによる制御とを、画素単位もしくは所定の大きさの画素集合単位で行う
    請求項に記載の画面符号化装置。
  11. 動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
    フレーム中の前記動画領域以外の更新領域の画像を復号する画像復号部と、
    前記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
    前記出力フレームを記憶する画面記憶部と、
    前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
    を備え、
    前記参照画像供給部は、平滑化フィルタを有し、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画復号部は、前記参照画像を用いたフレーム間予測により前記動画領域を有するフレーム列における先頭フレームの前記動画領域の画像を復号する
    画面復号装置。
  12. 前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生した圧縮歪みの特性を推定する圧縮歪み特性推定部を備え、
    前記参照画像供給部は、前記推定された圧縮歪み特性に応じて、前記平滑化フィルタの種類もしくは強度もしくは前記平滑化フィルタを作用させる画像領域もしくは平滑化方向を制御する
    請求項11に記載の画面復号装置。
  13. 前記参照画像供給部は、外部から入力されたフィルタパラメータに従って、前記平滑化フィルタの種類もしくは強度もしくは平滑化フィルタを作用させる画像領域もしくは平滑化方向を制御する
    請求項11に記載の画面復号装置。
  14. 前記参照画像供給部が生成した前記参照画像をフレーム内符号化する参照画像符号化部を備え、
    前記動画復号部は、前記参照画像符号化部が生成した符号化データを復号して得た画像を前記参照画像として用いながら、前記動画領域を有するフレーム列における先頭フレームにおける前記動画領域の画像を復号する
    請求項11に記載の画面復号装置。
  15. 前記圧縮歪み特性推定部は、前記復号画像に発生した圧縮歪み量を推定し、
    前記参照画像供給部は、前記圧縮歪み量の大小に応じて前記平滑化フィルタの強度を制御する
    請求項12に記載の画面復号装置。
  16. 前記圧縮歪み特性推定部は、前記復号画像内でブロック雑音もしくは線状雑音が発生する画像領域と方向を推定し、
    前記参照画像供給部は、前記推定結果に応じて前記平滑化フィルタを作用させる画像領域と平滑化方向を制御する
    請求項12に記載の画面復号装置
  17. 前記圧縮歪み特性推定部は、前記平滑化フィルタによる圧縮歪み除去が適した画像領域を推定し、
    前記参照画像供給部は、前記推定された画像領域に前記平滑化フィルタを作用させる
    請求項12に記載の画面復号装置
  18. 前記圧縮歪み特性推定部による前記推定前記参照画像供給部による前記制御とを、画素単位もしくは所定の大きさの画素集合単位で行う
    請求項12に記載の画面復号装置。
  19. 請求項1に記載の画面符号化装置と請求項11に記載の画面復号装置とを通信手段で接続した画面符号化伝送システム。
  20. 請求項に記載の画面符号化装置と請求項12に記載の画面復号装置とを通信手段で接続した画面符号化伝送システムであって、前記画面符号化装置と前記画面復号装置で等しい特性の前記平滑化フィルタを使用する
    画面符号化伝送システム。
  21. 請求項に記載の画面符号化装置と請求項13に記載の画面復号装置とを通信手段で接続した画面符号化伝送システム。
  22. 画面データのフレームを入力し、
    前記入力されたフレームを記憶し、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出し、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出し、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化し、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化し、
    前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出し、
    過去に符号化した前記更新領域の時刻と位置と圧縮条件パラメータとを符号化履歴として記憶し、
    前記参照画像の抽出では、前記符号化履歴と、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像とから、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生する圧縮歪みを再現し前記参照画像を生成し、
    前記フレーム間予測符号化では、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
    画面符号化方法。
  23. 動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測に基づき復号し、
    フレーム中の前記動画領域以外の更新領域の画像を復号し、
    前記復号された画像を合成して出力フレームとして出力すると共に記憶し、
    前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出し、
    前記参照画像の抽出では、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像に平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画領域の画像の復号では、前記参照画像を用いたフレーム間予測により前記動画領域を有するフレーム列における先頭フレームの前記動画領域の画像を復号する
    画面復号方法。
  24. コンピュータを、
    画面データのフレームを入力する画面入力部と、
    前記入力されたフレームを記憶する画面記憶部と、
    前記入力されたフレームのうち、直前に入力されたフレームと比較して画素値が変化した領域を更新領域として検出する更新領域検出部と、
    前記更新領域の履歴に基づいて、動画領域を有するフレーム列を検出する動画領域検出部と、
    前記動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測符号化する動画符号化部と、
    前記入力されたフレーム中の前記動画領域以外の前記更新領域の画像を符号化する画像符号化部と、
    前記動画領域検出部が検出した前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
    前記動画符号化部と前記画像符号化部とによって過去に符号化した前記更新領域の時刻と位置と圧縮条件パラメータとを符号化履歴として記憶する符号化履歴記憶部と
    して機能させ、
    前記参照画像供給部は、前記符号化履歴と、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像とから、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の復号画像に発生する圧縮歪みを再現し前記参照画像を生成し、
    前記動画符号化部は、前記動画領域を有するフレーム列の先頭フレームにおける前記動画領域の画像を前記参照画像を用いてフレーム間予測符号化する
    プログラム。
  25. コンピュータを、
    動画領域を有するフレーム列における前記動画領域の画像をフレーム間予測に基づき復号する動画復号部と、
    フレーム中の前記動画領域以外の更新領域の画像を復号する画像復号部と、
    前記復号された画像を合成し出力フレームとして出力するフレーム合成出力部と、
    前記出力フレームを記憶する画面記憶部と、
    前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像を参照画像として抽出する参照画像供給部と
    して機能させ、
    前記参照画像供給部は、平滑化フィルタを有し、前記動画領域を有するフレーム列における先頭フレームの1つ前のフレームにおける前記動画領域に対応する領域の画像に前記平滑化フィルタを作用させて前記参照画像を生成し、
    前記動画復号部は、前記参照画像を用いたフレーム間予測により前記動画領域を有するフレーム列における先頭フレームの前記動画領域の画像を復号する
    プログラム。
JP2014560539A 2013-02-05 2013-12-04 画面符号化装置、画面復号装置、画面符号化伝送システム Active JP6332039B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013020403 2013-02-05
JP2013020403 2013-02-05
PCT/JP2013/007113 WO2014122708A1 (ja) 2013-02-05 2013-12-04 画面符号化装置、画面復号装置、画面符号化伝送システム

Publications (2)

Publication Number Publication Date
JPWO2014122708A1 JPWO2014122708A1 (ja) 2017-01-26
JP6332039B2 true JP6332039B2 (ja) 2018-05-30

Family

ID=51299324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014560539A Active JP6332039B2 (ja) 2013-02-05 2013-12-04 画面符号化装置、画面復号装置、画面符号化伝送システム

Country Status (2)

Country Link
JP (1) JP6332039B2 (ja)
WO (1) WO2014122708A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827618B (zh) * 2020-06-02 2023-03-14 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312584A (ja) * 2003-04-10 2004-11-04 Matsushita Electric Ind Co Ltd 画像処理方法および画像表示システム
JP2005295215A (ja) * 2004-03-31 2005-10-20 Victor Co Of Japan Ltd 動画像符号化装置
JP2006173962A (ja) * 2004-12-15 2006-06-29 Nec Engineering Ltd 画像符号化装置
JP2011041178A (ja) * 2009-08-18 2011-02-24 Mitsubishi Electric Corp 画像符号化方式変換装置及び画像復号装置
JP5471794B2 (ja) * 2010-05-10 2014-04-16 富士通株式会社 情報処理装置、画像送信プログラム及び画像表示方法

Also Published As

Publication number Publication date
JPWO2014122708A1 (ja) 2017-01-26
WO2014122708A1 (ja) 2014-08-14

Similar Documents

Publication Publication Date Title
JP6701391B2 (ja) 改良情報を用いてダウンサンプリング/アップサンプリングすることによるデジタルフレームの符号化/復号化
CN105659590B (zh) 控制被编码的视频的分辨率
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
JP4799477B2 (ja) 画像符号化装置及び画像符号化方法
US20100232691A1 (en) Image coding device, image decoding device, image coding method, and image decoding method
RU2513912C2 (ru) Устройство и способ обработки изображений
WO2012076646A1 (en) High-dynamic range video tone mapping
JP2009303264A (ja) 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JPWO2010004726A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
SG191994A1 (en) Image decoding device, image encoding device, and method thereof
US8705627B2 (en) Image processing apparatus and method
JP2009290463A (ja) 符号化装置/復号化装置、符号化方法/復号化方法及びプログラム
JP2014168150A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
JP2006279917A (ja) 動画像符号化装置、動画像復号装置及び動画像伝送システム
JPH11266457A (ja) 画像処理装置、方法、及び記録媒体
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP2010098352A (ja) 画像情報符号化装置
JP4592562B2 (ja) 画像復号装置
WO2010100991A1 (ja) 動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体
JP6332039B2 (ja) 画面符号化装置、画面復号装置、画面符号化伝送システム
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
JP5387520B2 (ja) 情報処理装置と情報処理方法
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
JP5742049B2 (ja) カラー動画像符号化方法及びカラー動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180416

R150 Certificate of patent or registration of utility model

Ref document number: 6332039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150