JP6769231B2 - 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム Download PDF

Info

Publication number
JP6769231B2
JP6769231B2 JP2016203497A JP2016203497A JP6769231B2 JP 6769231 B2 JP6769231 B2 JP 6769231B2 JP 2016203497 A JP2016203497 A JP 2016203497A JP 2016203497 A JP2016203497 A JP 2016203497A JP 6769231 B2 JP6769231 B2 JP 6769231B2
Authority
JP
Japan
Prior art keywords
image
images
reduced
moving
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016203497A
Other languages
English (en)
Other versions
JP2018067751A (ja
Inventor
数井　君彦
君彦 数井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016203497A priority Critical patent/JP6769231B2/ja
Priority to US15/715,254 priority patent/US10448034B2/en
Publication of JP2018067751A publication Critical patent/JP2018067751A/ja
Application granted granted Critical
Publication of JP6769231B2 publication Critical patent/JP6769231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、例えば、動画像データを階層符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、及び、階層符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
動画像データは、一般に、大きなデータ量を有する。特に、いわゆる4K、8Kといった、非常に画素数が多い規格に従った動画像データは、非常に大きいデータ量を有することがある。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信する場合、あるいは、動画像データを記憶装置に記憶する場合、動画像データを圧縮符号化する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、あるいはMPEG-4、H.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が挙げられる。また、新たな標準として、High Efficiency Video Coding(HEVC, MPEG-H/H.265)が策定されている。
一方、復号装置によっては、符号化された動画像データから、元の品質がほぼ維持された動画像データを復号するには、演算能力が不足していることがある。そこで、復号装置の演算能力に応じて適応的に品質の異なる動画像データを配信するための技術として、階層符号化（スケーラブル符号化とも呼ばれる）技術が提案されている（例えば、特許文献１を参照）。スケーラブル符号化技術では、符号化された動画像データを復号する際に、動画像データに含まれる各ピクチャの解像度またはフレームレートを元の解像度またはフレームレートよりも低下させることが可能となる。そして解像度またはフレームレートの低下により、必要な演算能力のレベルも低くて済む。
また、用途によっては、ピクチャの一部の領域について元の品質で再生できればよく、他の領域の品質は低くてもよいことがある。そこで、ピクチャごとに、YCbCr 4:4:4形式で符号化するブロックとYCbCr 4:2:0形式で符号化するブロックとをブロック単位で切り替える技術（例えば、非特許文献１）が提案されている。なお、YCbCr 4:4:4形式は、ピクチャを表現する形式の一つであり、各画素の値が、輝度信号Yと二つの色差信号Cb、Crで表され、かつ、輝度信号Yの空間解像度（すなわち、ピクチャサイズ）と二つの色差信号Cb、Crの空間解像度が同じとなる形式である。一方、YCbCr 4:2:0形式は、YCbCr 4:4:4形式と比較して、二つの色差成分(Cb, Cr)が縦方向及び横方向のそれぞれについて1/2にダウンサンプリングされたものとなる。
非特許文献１に記載された技術では、ピクチャ内のブロックごとに画素値が調べられ、その結果に基づいて、YCbCr 4:4:4形式で符号化するか、YCbCr 4:2:0形式で符号化するかが切り替えられる。例えば、文字領域といった、微細な線構造が含まれるブロックは、YCbCr 4:4:4形式で符号化され、一方、カメラにより生成された映像などが含まれるブロックは、YCbCr 4:2:0形式で符号化される。これにより、YCbCr 4:4:4形式で符号化されるブロックの数が必要最低限になるため、符号化動画像データの発生情報量が抑制される。
国際公開第２０１５／１８２３４２号
T.Lin, S.Wang, " Mixed Chroma Sampling-rate coding: combining the merits of 4:4:4 and 4:2:0 and increasing the value of past 4:2:0 investment", JCTVC-H0065, 8th JCT-VC Meeting, San Jose, USA, 1-10 February, 2012
非特許文献１に記載された技術では、ピクチャ内にYCbCr 4:4:4形式のブロックとYCbCr4:2:0形式のブロックが混在するため、符号化装置及び復号装置の構成及び制御が複雑化してしまう。また、この技術では、ピクチャを予測符号化する際に、参照元のブロックと参照先のブロックとの色差の表現形式が異なる場合の制御が複雑になる。そのため、現時点ではブロック単位で色差の表現形式を切り替えることが可能な符号化標準は存在しない。
一つの側面では、本発明は、動画像データを符号化する際の発生情報量を抑制しつつ主観画質を向上できる動画像復号装置を提供することを目的とする。
一つの実施形態によれば、動画像復号装置が提供される。この動画像復号装置は、符号化された動画像データから、動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出す分離部と、第１の符号化データから複数の画像のそれぞれの縮小画像を復号する第１の復号部と、第２の符号化データから複数の第１の画像のそれぞれを復号する第２の復号部と、複数の画像のうちの第１の画像でない第２の画像の縮小画像が復号される度に、その縮小画像において第２の画像の直前の第１の画像の縮小画像に対して動きのある領域を記録する動領域記録部と、第２の画像のそれぞれについて、復号された縮小画像上の動きのある領域をアップサンプリングして得られる領域で、復号された直前の第１の画像の対応領域を置換することで第２の画像を再生する合成部とを有する。
他の実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、複数の画像のそれぞれごとに縮小画像を生成する縮小部と、複数の画像のそれぞれの縮小画像を符号化する第１の符号化部と、複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する第２の符号化部とを有する。
動画像データを符号化する際の発生情報量を抑制しつつ主観画質を向上できる。
YCbCr 4:2:0形式化による画質劣化の例を模式的に示す図である。 一つの実施形態による、動画像データの階層符号化の模式図である。 一つの実施形態による動画像符号化装置の概略構成図である。 基本層及び拡張層における、参照関係の一例を示す図である。 動画像符号化処理の動作フローチャートである。 一つの実施形態による動画像復号装置の概略構成図である。 色差成分の合成に関する説明図である。 動画像復号処理の動作フローチャートである。 変形例による、基本層及び拡張層における、参照関係の一例を示す図である。 変形例による、色差成分の合成に関する説明図である。 動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
以下、図を参照しつつ、動画像符号化装置及び動画像復号装置について説明する。
最初に、ピクチャ内でYCbCr 4:4:4形式で符号化されるブロックとYCbCr4:2:0形式で符号化されるブロックとが混在することが好ましい例について説明する。
近年のIT技術の進歩に伴い、コンピュータのデスクトップ画面に表示されるスクリーン映像にも、動画像符号化を適用することが検討されている。例えば、ディスプレイ機器に対し、コンピュータまたはゲーム機器の表示映像を無線伝送するWireless display、及び、仮想OSのユーザ画面をシンクライアント端末に伝送するデスクトップ仮想化(Virtual Display Infrastructure, VDI)が挙げられる。このようなスクリーン映像については、符号化による発生情報量の抑制と主観画質の向上を達成するために、スクリーン映像の各ピクチャにおいて、動きのある領域はYCbCr4:2:0形式で符号化し、それ以外の領域はYCbCr 4:4:4形式で符号化することが好ましい。
より詳細に説明すると、スクリーン映像は、自然映像とは異なる特徴を持っている。例えば、自然映像では、複数の画素にわたって同じ物体が写っていることが多いため、注目画素の画素値と隣接画素の画素値との間には、高い相関性が存在することが多い。一方、スクリーン映像では、隣接する画素間の相関性が低い領域が多く存在する。例えば、ドキュメント編集画面での文字が表示されている領域、あるいは、Computer Aided Design(CAD)データ編集画面での一画素単位の細線が表示されている領域では、文字輪郭あるいは細線を横切る方向における画素間の相関性は低い。
そのため、スクリーン映像では、YCbCr 4:4:4形式で表されたピクチャとYCbCr 4:2:0形式で表されたピクチャとの差が明確に知覚されてしまうことがある。例えば、CAD画像の配線といった一画素単位の細線は、空間周波数が高い色差成分を含む。そのため、一般的なフラットな背景が用いられる場合に、空間解像度が低い形式で色差成分を符号化及び復号すると、画質の劣化が顕著に認知されてしまう。
図１は、YCbCr 4:2:0形式化による画質劣化の例を模式的に示す図である。ピクチャ１１０は、YCbCr 4:4:4形式で表されたオリジナルのピクチャである。中央の縦線１１１（画素値は(Y, Cb, Cr) = (128, 0, 0)）以外の画素１１２の画素値は(0, 128, 128)である。一方、ピクチャ１２０は、オリジナルのピクチャの色差成分(Cb, Cr)に対し、横方向及び縦方向に2:1ダウンサンプリングフィルタを適用して4:2:0形式に変更した後、1:2アップサンプリングフィルタを適用して、元の4:4:4形式に戻して得られるピクチャである。ダウンサンプリングフィルタ及びアップサンプリングフィルタの適用により生成したピクチャ１２０では、エッジ近傍の画素の色差成分値が元の値から変化する。この例では、オリジナルのピクチャ１１０の縦線１１１と同じ位置にある中央の縦線１２１上の各画素の値は(128, 0, 0)から(128, 32, 32)に変化し、縦線１２１の両側に隣接する線１２２上の各画素の値は(0, 128, 128)から(0, 88, 88)に変化する。この画素値変化は、背景が一様な場合には特に明確に知覚される。
このように、ピクチャの符号化及び復号による、ピクチャ上で一画素の幅を持つ細線のような構造の劣化を防止するには、そのような構造が含まれるブロックについて、YCbCr 4:4:4（もしくはRGB 4:4:4）形式のまま、符号化及び復号化が行われることが好ましい。
しかし、YCbCr 4:4:4形式では、符号化対象となる色差成分の画素数がYCbCr 4:2:0形式と比較して多いため、符号化による発生情報量が増加する。そのため、そのような構造が含まれないブロックについては、発生情報量を抑制するために、YCbCr 4:2:0形式で符号化されることが好ましい。特に、スクリーン映像では、ピクチャ内に設けられる領域（例えば、ウィンドウ）によって、表示されるコンテンツが異なることがある。例えば、一方の領域では、細線といった構造を含むドキュメントなどが表示され、他の領域では、自然映像が表示されるといったことがある。
また、スクリーン映像では、自然映像が表示されたり、ユーザが操作したり、あるいは、アプリケーションの実行対象となる領域では、時間経過とともに何らかの物体が移動したり変形することがある。輝度成分(Y)に比べ色差成分(CB, Cr)の空間方向解像度の知覚特性が劣るという、人間の視覚特性上、このような動きのある物体を含む領域（以下、動領域と呼ぶ）については、色差成分の劣化は検知され難い。
特に、自然映像においては、ダウンサンプリングによって失なわれる、空間周波数が高い色差成分は殆ど存在しないため、結果としてYCbCr 4:4:4形式で表されたピクチャとYCbCr 4:2:0形式で表されたピクチャとの差は殆ど知覚されない。そのため、上記のように、動きのある領域はYCbCr4:2:0形式で符号化し、それ以外の領域はYCbCr 4:4:4形式で符号化することで、発生情報量を抑制しつつ、主観画質を向上することが可能となる。
そこで、この動画像符号化装置は、符号化対象となる動画像データの各ピクチャの色差成分(Cb,Cr)を、YCbCr 4:4:4形式と、YCbCr 4:2:0形式とで階層符号化する。その際、この動画像符号化装置は、YCbCr 4:4:4形式の色差成分については、表示順序で連続する複数のピクチャのうちの一枚の割合で符号化する。一方、YCbCr 4:2:0形式については、動画像符号化装置は、各ピクチャの色差成分を符号化する。これにより、動画像復号装置がピクチャを復号する際に、ピクチャ上で動きが無い領域については、YCbCr 4:4:4形式の色差成分が符号化された直前のピクチャを用い、動領域については、そのピクチャのYCbCr 4:2:0形式の色差成分を用いることが可能となる。
図２は、一つの実施形態による、動画像データの階層符号化の模式図である。
入力される動画像データは、例えば、デスクトップ画面に表示されるスクリーン映像であり、時刻t0〜t3の順に、ピクチャ２０１、２０２、２０３、２０４を含む。これらのピクチャは、YCbCr 4:4:4形式で表されている。各ピクチャにおいて、前景２１０が順に移動しており、それ以外の背景については変化が無いものとする。
上記のように、人間の視覚特性上、動領域の色差成分の劣化は検知し難い。前景２１０が存在する領域、及び前景２１０で一度隠された背景が存在する領域は、短期的には動領域となる。これら動領域をYCbCr 4:2:0形式で符号化及び表示することで、動画像符号化装置及び動画像復号装置は、主観的な画質劣化を抑制しつつ符号化による発生情報量を削減できる。例えば、時刻t1におけるピクチャ２０２では、前景２１０を含む領域と、時刻t0において前景２１０によって一度隠された背景とを含む領域２１２が動領域となる。同様に、時刻t2におけるピクチャ２０３では、前景２１０を含む領域と、時刻t0〜t1において前景２１０によって一度隠された背景とを含む領域２１３が動領域となる。また、時刻t3におけるピクチャ２０４では、前景２１０を含む領域と、時刻t0〜t2において前景２１０によって一度隠された背景とを含む領域２１４が動領域となる。その他の領域は、静止領域であり、視覚的な画質劣化を防ぐには、YCbCr 4:4:4形式で符号化及び表示されることが好ましい。
そこで、YCbCr 4:4:4形式のピクチャの色差成分が扱われる拡張層においては、時刻t0のピクチャ２０１の色差成分２２１が符号化される。色差成分２２１の各ブロックは、YCbCr 4:2:0形式の色差成分が扱われる基本層における同一時刻（すなわち、時刻t0）のピクチャ２０１の色差成分２３１の局所復号画像を4:4:4形式にアップサンプリングした画像を参照画像としてインター予測符号化される。入力された動画像は、デスクトップ画面に表示されるスクリーン映像であるため、ユーザが操作する領域またはアプリケーションプログラムの実行対象となる領域以外は全く変化しない。そのため、時刻t1からt3にかけて、動領域以外の静止領域では画素値が全く変化せず、静止領域内のブロックは、動きベクトルが０ベクトルとなり、かつ、予測誤差信号が完全にゼロとなる。そのため、静止領域内のブロックを仮に符号化するとしても直交変換などはスキップされる。ただし、このようなスキップが適用される場合でも、ブロック単位にスキップされたことを示す情報を符号化する必要がある。そこで本実施形態では、時刻t1〜t3において、拡張層に関しては、ピクチャの符号化自体がスキップされる。
一方、基本層では、拡張層の対応色差成分が符号化される時刻t0の色差成分２３１では、各ブロックはイントラ予測符号化される。なお、以下では、拡張層と基本層の両方で色差成分が符号化されるピクチャを、説明の便宜上、同時符号化ピクチャと呼ぶ。各同時符号化ピクチャは、表示順において互いに対して不連続となる。そして、拡張層の対応色差成分が符号化されない、時刻t1〜t3の各ピクチャの色差成分２３２〜２３４については、各ブロックは、基本層における直前の時刻のピクチャの色差成分の局所復号画像を参照してインター予測符号化される。その際、動領域、すなわち、前景を含む領域または前景によって一度隠れた背景領域に含まれるブロックはスキップせずに符号化される。なお、スキップせずに符号化すること、すなわち、予測誤差信号の算出、直交変換及び量子化を行うことを、以下では、非スキップ符号化と呼ぶ。
一方、静止領域に含まれるその他のブロックについては、直前のピクチャの対応領域と完全に一致するため、符号化がスキップされる（なお、本明細書において、ブロック単位での符号化のスキップは、予測誤差の直交変換及び量子化が省略されることをいう）。この例では、時刻t1のピクチャ２の色差成分２３２では、領域２４２に含まれる各ブロックが非スキップ符号化され、他の領域に含まれる各ブロックについては符号化がスキップされる。また、時刻t2のピクチャの色差成分２３３では、領域２４３に含まれる各ブロックが非スキップ符号化され、他の領域に含まれる各ブロックについては符号化がスキップされる。同様に、時刻t3のピクチャの色差成分２３４では、領域２４４に含まれる各ブロックが非スキップ符号化され、他の領域に含まれる各ブロックについては符号化がスキップされる。
本実施形態では、動画像符号化装置は、空間解像度に関して階層符号化が適用可能な符号化標準の一つであるH.265に準拠して動画像データを符号化する。しかし、動画像符号化装置は、空間解像度に関して階層符号化が適用可能な他の符号化標準に準拠して動画像データを符号化してもよい。
また、動画像データに含まれるピクチャは、YCbCr形式で表されるものとする。すなわち、ピクチャは、輝度成分と二つの色差成分とで表される。輝度成分及び二つの色差成分は、それぞれ、動画像データに含まれる画像の一例である。またピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータ及び偶数行のデータの何れか一方を取り出すことにより得られる静止画像である。
図３は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、バッファ１０と、符号化制御部１１と、縮小部１２と、基本層符号化部１３と、拡大部１４と、拡張層符号化部１５と、輝度成分符号化部１６と、多重化部１７とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有する一つまたは複数のプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
バッファ１０には、動画像データに含まれる各ピクチャが、その再生順序に従って入力される。そしてバッファ１０に蓄積されたピクチャは、符号化制御部１１により設定されたピクチャの符号化順序に従って順次読み出される。またバッファ１０は、局所復号画像など、符号化処理の途中で生成される各種のデータを保存してもよい。
符号化制御部１１は、入力された動画像データに含まれる各ピクチャのうち、拡張層符号化部１５による符号化対象となるピクチャ、すなわち、同時符号化ピクチャを判定する。例えば、符号化制御部１１は、直前の同時符号化ピクチャから着目するピクチャまでの間の各ピクチャの基本層の色差成分において動きの有る領域の和集合が基本層の色差成分に占める割合を算出する。そして符号化制御部１１は、その割合が所定の比率（例えば、0.25）以上になったとき、着目するピクチャの次のピクチャを同時符号化ピクチャとする。これにより、符号化制御部１１は、ピクチャ上での動きが少ないほど、同時符号化ピクチャ間の間隔を長くすることができるので、ピクチャ上での動きが少ないほど、符号化による発生情報量を削減できる。また、符号化制御部１１は、同時符号化ピクチャごとに、非スキップ符号化されるブロックの数を０にリセットする。
符号化制御部１１は、基本層の色差成分におけるブロックの総数に対する、直前の同時符号化ピクチャから着目するピクチャまでの間の何れかのピクチャの基本層の色差成分において非スキップ符号化されるブロックの合計の比を、上記の割合として算出できる。あるいは、符号化制御部１１は、基本層の色差成分全体の画素数に対する、直前の同時符号化ピクチャから着目するピクチャまでの間の何れかのピクチャの基本層の色差成分において非スキップ符号化される画素数の比を、上記の割合として算出してもよい。なお、符号化制御部１１は、色差成分ごとに別個に同時符号化ピクチャを決定してもよく、あるいは、二つの色差成分のうちの何れか一方について算出した割合が所定の比率以上となった直後のピクチャを同時符号化ピクチャとしてもよい。
あるいはまた、符号化制御部１１は、予め設定された一定周期ごとのピクチャを同時符号化ピクチャとしてもよい。この場合には、符号化制御部１１は、動画像復号装置において途中から再生可能なピクチャ（すなわち、同時符号化ピクチャ）間の間隔を一定にできる。
符号化制御部１１は、動画像データに含まれる各ピクチャを表示順序に従ってバッファ１０から読出す。そして符号化制御部１１は、同時符号化ピクチャの色差成分を縮小部１２及び拡張層符号化部１５へわたす。一方、符号化制御部１１は、同時符号化ピクチャ以外のピクチャの色差成分を縮小部１２へわたす。
また、符号化制御部１１は、各ピクチャの輝度成分を、表示順序に従って輝度成分符号化部１６へわたす。
縮小部１２は、色差(Cb,Cr)ごとに、入力された色差成分をダウンサンプリングして、入力された色差成分の画素数よりも少ない画素数を持つ基本層の色差成分を生成する。基本層の色差成分は、縮小画像の一例である。本実施形態では、入力された色差成分、すなわち、拡張層の色差成分は、YCbCr 4:4:4形式の色差成分であり、基本層の色差成分は、YCbCr 4:2:0形式の色差成分である。したがって、縮小部１２は、入力された各色差成分を、水平方向及び垂直方向のそれぞれについて縮小率1/2で縮小する。すなわち、縮小部１２は、入力された各色差成分の画素数を、水平方向及び垂直方向のそれぞれについて、1/2にする。
縮小部１２は、例えば、色差ごとに、入力された色差成分にガウシアンフィルタまたは平均化フィルタといった平滑化フィルタを適用してその色差成分を平滑化する。そして縮小部１２は、色差ごとに、水平方向及び垂直方向の縮小率（本実施形態では、1/2）に応じて、平滑化された色差成分をダウンサンプリングすることで、基本層の色差成分を生成する。
縮小部１２は、各ピクチャについて、基本層の各色差成分を基本層符号化部１３へ出力する。
基本層符号化部１３は、ピクチャごとに、基本層の各色差成分を符号化する。なお、基本層符号化部１３は、Cbの色差成分及びCrの色差成分の両方に同じ符号化処理を適用するので、以下では、一つの色差成分に対する符号化処理について説明する。
基本層符号化部１３は、符号化対象となるピクチャの色差成分を、符号化ブロックCoding Tree Unit(CTU)単位で分割し、各CTUをラスタスキャン順に符号化する。その際、基本層符号化部１３は、CTUごとに、そのCTUを四分木構造で複数のCoding Unit(CU)に分割する。なお、CUは、ブロックの一例である。そして基本層符号化部１３は、各CUについて、そのCU内に設定されるPrediction Unit(PU)ごとに、符号化済みのピクチャの色差成分を復号して得られた局所復号画像または符号化対象となるピクチャの符号化済みの領域を参照して予測ブロックを生成する。そして基本層符号化部１３は、各CUについて、そのCU内の各画素と予測ブロックの対応画素間の差分値を予測誤差信号として算出する。そして基本層符号化部１３は、各CUについて、そのCU内に設定されるTransform Unit(TU)ごとに、予測誤差信号を直交変換して直交変換係数の組を算出する。基本層符号化部１３は、TUごとに算出された直交変換係数の組を所定の符号化レートに応じて量子化し、量子化された直交変換係数の組をエントロピー符号化する。さらに基本層符号化部１３は、予測ブロックの生成に利用する情報、例えば、動き補償用の動きベクトルなどもエントロピー符号化してもよい。これにより、基本層符号化部１３は、色差成分の符号化データを算出する。
なお、基本層符号化部１３は、CTUごとに、符号化コストが最小化されるように、予め設定される複数のCUのサイズ、PUのサイズ及びTUのサイズの中からCUのサイズ、PUのサイズ及びTUのサイズを選択してもよい。
本実施形態では、上記のように、同時符号化ピクチャについて、基本層符号化部１３は、各CUをイントラ予測符号化する。すなわち、基本層符号化部１３は、各CUについて、そのCU内のPUごとに、そのピクチャの色差成分における符号化済みの領域を参照して予測ブロックを生成する。これにより、動画像符号化装置１は、入力動画像データを、同時符号化ピクチャから再生可能なように符号化できる。
一方、同時符号化ピクチャ以外のピクチャ、すなわち、拡張層の色差成分が符号化されないピクチャについては、基本層符号化部１３は、各CUについて、直前のピクチャの色差成分における同じ位置の領域との間で対応画素間の差分値の絶対値和を算出する。そして基本層符号化部１３は、差分値の絶対値和が０であるCUについて、すなわち、直前のピクチャの色差成分における同じ位置の領域と完全に一致するCUについて、符号化をスキップする。そして基本層符号化部１３は、符号化をスキップするCUについて、符号化をスキップしたことを示す情報を符号化データに付す。
また、基本層符号化部１３は、差分値の絶対値和が０でない各CUを、表示順序で直前のピクチャの色差成分を参照してインター予測符号化する。すなわち、基本層符号化部１３は、差分値の絶対値和が０でない各CUについて、そのCU内のPUごとに、直前のピクチャから得られた局所復号画像とブロックマッチングを行って最も一致する領域を求め、その領域を予測ブロックとする。これにより、動画像符号化装置１は、動領域に含まれるCUを非スキップ符号化し、他のCUについて符号化をスキップするので、符号化による発生情報量を削減できる。
基本層符号化部１３は、色差成分ごとに、符号化データを多重化部１７へ出力するとともに、非スキップ符号化したCUの位置及び範囲を表す情報を符号化制御部１１へ通知する。また基本層符号化部１３は、色差成分ごとに、各TUの量子化された直交変換係数の組に対して逆量子化及び逆直交変換を行うことで予測誤差信号を再生し、再生した予測誤差信号に予測ブロックの対応画素の値を加算することで局所復号画像を算出する。そして基本層符号化部１３は、局所復号画像をバッファ１０に保存する。さらに、基本層符号化部１３は、同時符号化ピクチャについての各色差成分の局所復号画像を拡大部１４へ出力する。
なお、変形例によれば、基本層符号化部１３は、同時符号化ピクチャ以外のピクチャについて、CTUごとに、符号化をスキップするか否かを判定してもよい。この場合、CTUが、ブロックの他の一例となる。この例では、基本層符号化部１３は、CTUごとに、直前のピクチャの色差成分における同じ位置の領域との間で対応画素間の差分値の絶対値和を算出し、その差分値の絶対値和が０であるCTUについて符号化をスキップすると判定すればよい。また他の変形例によれば、基本層符号化部１３は、CUごと、あるいは、CTUごとに、対応画素間の差分値の絶対値和を、０でない所定の閾値と比較し、差分値の絶対値和が所定の閾値未満となるCUあるいはCTUについて符号化をスキップしてもよい。なお、所定の閾値は、例えば、CUあるいはCTU内の何れかの画素の値が過去のピクチャの画素の値で置換されることにより生じる画質劣化が許容される程度となるように設定される。これにより、符号化がスキップされるブロックの数が増えるので、動画像符号化装置１は、符号化による発生情報量をより削減できる。
拡大部１４は、同時符号化ピクチャについて、基本層の二つの色差成分のそれぞれの局所復号画像をアップサンプリングすることで、色差成分ごとに、拡張層の色差成分を符号化する際に参照される局所復号画像（以下、拡大局所復号画像と呼ぶ）を生成する。
例えば、拡大部１４は、局所復号画像に対して、H.264のスケーラブル符号化で規定されているアップサンプリングフィルタを適用することで、拡大局所復号画像を生成する。なお、拡大部１４は、他のアップサンプリングフィルタを適用してもよい。
拡大部１４は、色差成分ごとに、拡大局所復号画像を拡張層符号化部１５へ出力する。
拡張層符号化部１５は、同時符号化ピクチャの拡張層の各色差成分を符号化する。拡張層符号化部１５は、基本層符号化部１３と同様に、H.265に準拠して、各色差成分を符号化すればよい。そのため、拡張層符号化部１５による符号化処理の詳細な説明については省略する。
ただし、本実施形態では、拡張層符号化部１５は、色差成分ごとに、同じピクチャについての拡大局所復号画像を参照してインター予測符号化することで、その色差成分の符号化データを算出する。すなわち、拡張層符号化部１５は、PUごとに同じピクチャについての拡大局所復号画像との間でブロックマッチングを行って最も一致する領域を求め、その領域を予測ブロックとすればよい。なお、拡張層符号化部１５は、インター予測符号化するよりもイントラ予測符号化した方が符号化コストが低くなるブロックについて、イントラ予測符号化してもよい。
拡張層符号化部１５は、同時符号化ピクチャの拡張層の各色差成分の符号化データを多重化部１７へ出力する。
図４は、基本層及び拡張層における、参照関係の一例を示す図である。図４において、横軸は時間を表す。また個々の矩形領域は、一つのピクチャの色差成分を表す。時刻t0におけるピクチャ及び時刻tNにおけるピクチャが同時符号化ピクチャである。また各ピクチャの色差成分を表すブロック内に示されている記号は、適用される予測符号化モードを表す。この例では、'I'は、イントラ予測符号化モードを表し、'P'はインター予測符号化モードを表す。そして各矢印は参照関係を表し、矢印の先が参照される色差成分、矢印の根元が参照する色差成分を表す。
図４に示されるように、時刻t0における同時符号化ピクチャの基本層の色差成分４００、及び、時刻tNにおける同時符号化ピクチャの基本層の色差成分４１０は、それぞれ、イントラ予測符号化される。そして同時符号化ピクチャ以外のピクチャ、すなわち、時刻t1〜t3の各ピクチャに対応する基本層の色差成分４０１〜４０３は、それぞれ、直前のピクチャの同じ層の色差成分の局所復号画像を参照してインター予測符号化される。また、時刻t0における同時符号化ピクチャの拡張層の色差成分４１０、及び、時刻tNにおける同時符号化ピクチャの拡張層の色差成分４１４は、それぞれ、同時刻の基本層の色差成分４００、４０４の拡大局所復号画像を参照してインター予測符号化される。
輝度成分符号化部１６は、入力動画像データの各ピクチャの輝度成分を符号化する。輝度成分符号化部１６は、例えば、基本層符号化部１３と同様に、H.265に準拠して、各ピクチャの輝度成分を符号化すればよい。ただし、輝度成分符号化部１６は、例えば、所定のGroup Of Pictures(GOP)に従って、各ピクチャがイントラ予測符号化されるか、あるいは、インター予測符号化されるかを決定すればよい。また、本実施形態では、基本層の輝度成分と拡張層の輝度成分は同じであるため、輝度成分符号化部１６は、基本層及び拡張層のうちの基本層の各ピクチャの輝度成分を符号化すればよい。
輝度成分符号化部１６は、各ピクチャの輝度成分の符号化データを多重化部１７へ出力する。
多重化部１７は、各ピクチャの基本層の各色差成分の符号化データ、同時符号化ピクチャの拡張層の各色差成分の符号化データ、及び、各ピクチャの輝度成分の符号化データを所定の順序で結合する。さらに、多重化部１７は、その結合された符号化データにH.265に従ったヘッダ情報などを付加することで、符号化された動画像データを含むビットストリームを得る。その際、多重化部１７は、基本層及び拡張層の各色差成分の符号化データ及び輝度成分の符号化データのそれぞれに対して、例えば、ピクチャごとの復号時刻及び表示時刻を表す時刻情報（例えば、Decode TimeStamp及びPresentation TimeStamp）を付加する。これにより、後述する動画像復号装置は、その時刻情報を参照することにより、各ピクチャのうちの同時符号化ピクチャを特定できる。
図５は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はピクチャごとに、下記の動作フローチャートに従って符号化する。
縮小部１２は、符号化対象ピクチャの各色差成分をダウンサンプリングして基本層の各色差成分を生成する（ステップＳ１０１）。符号化制御部１１は、基本層の色差成分全体に占める、直前のピクチャまでにおける動領域の和集合の比に基づいて、符号化対象ピクチャが同時符号化ピクチャか否か判定する（ステップＳ１０２）。符号化対象ピクチャが同時符号化ピクチャである場合（ステップＳ１０２−Ｙｅｓ）、基本層符号化部１３は、基本層の各色差成分をブロックごとにイントラ予測符号化する（ステップＳ１０３）。そして拡大部１４は、色差ごとに、その色差成分の局所復号画像をアップサンプリングして拡大局所復号画像を生成する（ステップＳ１０４）。
拡張層符号化部１５は、同時符号化ピクチャである符号化対象ピクチャの拡張層の各色差成分を、対応する拡大局所復号画像を参照してブロックごとにインター予測符号化する（ステップＳ１０５）。
一方、符号化対象ピクチャが同時符号化ピクチャでない場合（ステップＳ１０２−Ｎｏ）、基本層符号化部１３は、基本層の各色差成分について、ブロックごとに符号化をスキップするか否か判定する（ステップＳ１０６）。そして基本層符号化部１３は、符号化をスキップすると判定したブロックについて符号化をスキップする（ステップＳ１０７）。また基本層符号化部１３は、符号化をスキップしないと判定したブロックを直前のピクチャの基本層の色差成分の局所復号画像を参照してインター予測符号化する（ステップＳ１０８）。
また、輝度成分符号化部１６は、符号化対象ピクチャの輝度成分を符号化する（ステップＳ１０９）。そして多重化部１７は、基本層の各色差成分の符号化データ及び輝度成分の符号化データを多重化する。さらに、符号化対象ピクチャが同時符号化ピクチャである場合、多重化部１７は、拡張層の各色差成分の符号化データを多重化する（ステップＳ１１０）。そして動画像符号化装置１は、動画像符号化処理を終了する。なお、ステップＳ１０９の処理は、ステップＳ１０２よりも前に実行されてもよく、あるいは、ステップＳ１０２〜Ｓ１０８の処理と並行して実行されてもよい。
次に、上記の動画像符号化装置により符号化された動画像データを復号する動画像復号装置について説明する。
図６は、一つの実施形態による動画像復号装置の概略構成図である。動画像復号装置２は、バッファ２０と、分離部２１と、基本層復号部２２と、拡大部２３と、拡張層復号部２４と、動領域記録部２５と、輝度成分復号部２６と、合成部２７とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置２に実装される。あるいは、動画像復号装置２が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像復号装置２に実装されてもよい。あるいはまた、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
バッファ２０には、符号化された動画像データを含むビットストリームが入力される。そしてバッファ２０から、符号化された動画像データのピクチャごとに、そのピクチャの各層の二つの色差成分の符号化データ及び輝度成分の符号化データが表示順序に従って順次読み出される。また、バッファ２０は、復号済みの各層の色差成分及び輝度成分など、動画像復号処理の途中で生成される各種のデータを保存してもよい。
分離部２１は、符号化された動画像データを含むビットストリームから、各ピクチャの基本層の各色差成分の符号化データ、同時符号化ピクチャの拡張層の各色差成分の符号化データ及び各ピクチャの輝度成分の符号化データを取り出す。そして分離部２１は、基本層の各色差成分の符号化データの符号化データを基本層復号部２２へ出力し、拡張層の各色差成分の符号化データを拡張層復号部２４へ出力する。さらに、分離部２１は、輝度成分の符号化データを輝度成分復号部２６へ出力する。
基本層復号部２２は、各ピクチャについて、基本層の各色差成分を復号する。本実施形態では、基本層復号部２２は、H.265に準拠して各色差成分を復号する。具体的には、基本層復号部２２は、色差成分ごとに、符号化データをエントロピー復号する。そして基本層復号部２２は、色差成分ごとに、非スキップ符号化された各ブロックについて、予測誤差信号をTUごとに直交変換して得られた直交変換係数の組が量子化された係数である量子化係数の組を再生する。
基本層復号部２２は、非スキップ符号化された各ブロックについて、再生した量子化係数の組をTUごとに逆量子化及び逆直交変換して各ブロックの予測誤差信号を再生する。
また基本層復号部２２は、ヘッダ情報から、非スキップ符号化された各ブロックに対して適用された符号化モードを特定する。そして基本層復号部２２は、着目するブロックがインター予測符号化されたブロックであれば、そのブロックについての動きベクトルを復号し、その動きベクトルで指定される復号済みのピクチャの色差成分上の領域を予測ブロックとする。また、基本層復号部２２は、着目するブロックがイントラ予測符号化されたブロックであれば、復号対象の色差成分の復号済みの領域から予測ブロックをもとめる。そして基本層復号部２２は、非スキップ符号化された各ブロックについて、そのブロックに対応する予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、そのブロックを再生する。
また、基本層復号部２２は、符号化がスキップされたブロックについては、復号済みの直前のピクチャにおける、そのスキップされたブロックと同位置のブロックを、そのスキップされたブロックにコピーすればよい。
そして基本層復号部２２は、色差成分ごとに、再生されたブロックを、符号化順序に従って結合することにより、その色差成分を再生する。基本層復号部２２は、再生された色差成分をバッファ２０に保存する。
なお、動画像復号装置２が他の符号化標準に準拠している場合には、基本層復号部２２は、その準拠している符号化標準に従って基本層の各色差成分を復号すればよい。
基本層復号部２２は、同時符号化ピクチャ以外のピクチャの各色差成分を復号する度に、その色差成分について非スキップ符号化されたブロックの位置及び範囲を動領域記録部２５へ通知する。
拡大部２３は、各ピクチャについて、基本層の各色差成分をアップサンプリングする。
例えば、拡大部２３は、基本層の各色差成分に対して、H.264のスケーラブル符号化で規定されているアップサンプリングフィルタを適用することで、拡張層の色差成分と同サイズの拡大復号画像を生成する。この例では、YCbCr 4:4:4形式の色差成分のサイズと同じサイズとなるように、基本層の各色差成分は拡大される。なお、拡大部２３は、他のアップサンプリングフィルタを適用してもよい。
拡大部２３は、ピクチャごとの拡大された各色差成分をバッファ２０に保存する。
拡張層復号部２４は、同時符号化ピクチャについて、拡張層の各色差成分を復号する。本実施形態では、拡張層復号部２４は、基本層復号部２２と同様に、H.265に準拠して各色差成分を復号すればよい。そのため、拡張層復号部２４による復号処理の詳細については省略する。なお、動画像復号装置２が他の符号化標準に準拠している場合には、拡張層復号部２４は、その準拠している符号化標準に従って拡張層の各色差成分を復号すればよい。
動領域記録部２５は、連続する二つの同時符号化ピクチャ間で、基本層の色差成分ごとに、非スキップ符号化された領域、すなわち、動領域を表す動領域マップを生成する。そのために、動領域記録部２５は、色差成分ごとに、基本層復号部２２から非スキップ符号化されたブロックの位置及び範囲を通知される度に、動領域マップ上にその位置及び範囲を追加することで、動領域マップを更新する。すなわち、動領域は、直前の同時符号化対象ピクチャから復号対象ピクチャまでに非スキップ符号化されたブロックの和集合となる。また、動領域記録部２５は、同時符号化ピクチャが復号される度に、動領域全体を消去するように動領域マップをリセットする。なお、動領域記録部２５は、各層の色差成分の符号化データに付される、表示時刻などを表す時刻情報を参照し、拡張層と基本層とで同じ表示時刻となる色差成分が含まれるピクチャを同時符号化ピクチャと判定すればよい。そして動領域記録部２５は、例えば、動領域マップが更新またはリセットされる度に、その動領域マップをバッファ２０に保存する。
輝度成分復号部２６は、ピクチャごとに、そのピクチャの輝度成分を復号する。本実施形態では、輝度成分復号部２６は、基本層復号部２２と同様に、H.265に準拠して輝度成分を復号すればよい。そのため、輝度成分復号部２６による復号処理の詳細については省略する。なお、動画像復号装置２が他の符号化標準に準拠している場合には、輝度成分復号部２６は、その準拠している符号化標準に従って輝度成分を復号すればよい。
輝度成分復号部２６は、復号した輝度成分を合成部２７へ出力する。
合成部２７は、ピクチャごとに、復号された輝度成分、基本層の各色差成分及び拡張層の各色差成分を合成することで、そのピクチャを再生する。
本実施形態では、合成部２７は、同時符号化ピクチャについては、その輝度成分と、拡張層の各色差成分とを合成することでそのピクチャを再生する。一方、合成部２７は、同時符号化ピクチャ以外のピクチャについては、そのピクチャの輝度成分及び基本層の各色差成分のうちの動領域に含まれるブロックと、直前の同時符号化ピクチャの拡張層の各色差成分とを合成することでそのピクチャを再生する。なお、合成部２７は、バッファ２０から読み出した動領域マップに基づいて、動領域に含まれるブロックを特定すればよい。また、合成部２７は、動領域記録部２５と同様に、各層の色差成分の符号化データに付される、表示時刻などを表す時刻情報を参照し、拡張層と基本層とで同じ表示時刻となる色差成分が含まれるピクチャを同時符号化ピクチャと判定すればよい。
図７は、色差成分の合成に関する説明図である。
図７において、横軸は時間を表す。この例では、時刻t0のピクチャ及び時刻tNのピクチャが同時符号化ピクチャである。また個々の矩形領域は、一つのピクチャの色差成分を表す。なお、基本層と拡張層とでブロック同士の位置を比較し易いように、基本層の色差成分及び動領域マップに関しては、拡張層に合わせて拡大されている。
時刻t0では、基本層の色差成分７００に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻t0では、動領域マップ７１０はリセットされ、動領域を含まない。さらに、時刻t0では、拡張層の色差成分７２０も復号される。そして拡張層の色差成分７２０自体が、再生されるピクチャの色差成分７３０となる。
次に、時刻t1では、基本層の色差成分７０１において、領域７５１に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ７１１において、領域７５１が動領域７６１として記録される。そして時刻t1のピクチャの色差成分７３１は、時刻t0における、拡張層の色差成分７２０のうち、動領域７６１について、時刻t1における拡大された基本層の色差成分７０１の動領域７６１で置換されたものとなる。
同様に、時刻t2では、基本層の色差成分７０２において、領域７５２に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ７１２において、領域７５１と領域７５２の和集合となる領域７６２が動領域として記録される。そして時刻t1のピクチャの色差成分７３２は、時刻t0における、拡張層の色差成分７２０のうち、動領域７６２について、時刻t1における拡大された基本層の色差成分７０２の動領域７６２で置換されたものとなる。
さらに、時刻t3では、基本層の色差成分７０３において、領域７５３に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ７１３において、領域７５１、領域７５２及び領域７５３の和集合となる領域７６３が動領域として記録される。そして時刻t3のピクチャの色差成分７３３は、時刻t0における、拡張層の色差成分７２０のうち、動領域７６３について、時刻t3における拡大された基本層の色差成分７０３の動領域７６３で置換されたものとなる。
さらに、時刻tNでは、基本層の色差成分７０４に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻tNでは、動領域マップ７１４はリセットされ、動領域を含まない。さらに、時刻tNでは、拡張層の色差成分７２４自体が、再生されるピクチャの色差成分７３４となる。
合成部２７は、ピクチャごとに、上記のように合成された各色差成分と輝度成分とを組み合わせて、そのピクチャを再生する。そして合成部２７は、各ピクチャを、その表示順序に従って表示装置（図示せず）の表示画面に表示させる。
図８は、動画像復号装置２により実行される動画像復号処理の動作フローチャートである。例えば、動画像復号装置２は、符号化された動画像データに含まれるピクチャごとに以下の動作フローチャートに従って動画像復号処理を実行する。
分離部２１は、符号化された動画像データを含むビットストリームから、基本層の各色差成分の符号化データ及び輝度成分の符号化データを取り出す。また分離部２１は、復号対象ピクチャが同時符号化ピクチャである場合、拡張層の各色差成分の符号化データを取り出す（ステップＳ２０１）。そして分離部２１は、基本層の各色差成分の符号化データを基本層復号部２２へ出力し、拡張層の各色差成分の符号化データを拡張層復号部２４へ出力する。さらに、分離部２１は、輝度成分の符号化データを輝度成分復号部２６へ出力する。
輝度成分復号部２６は、復号対象ピクチャの輝度成分を復号する（ステップＳ２０２）。また基本層復号部２２は、復号対象ピクチャの基本層の各色差成分の符号化データから各色差成分を復号する（ステップＳ２０３）。そして基本層復号部２２は、色差ごとに、非スキップ符号化されたブロックの位置及び範囲を動領域記録部２５へ通知する。動領域記録部２５は、色差ごとに、通知された非スキップ符号化されたブロックの位置及び範囲に基づいて、動領域マップを更新する（ステップＳ２０４）。また、拡大部２３は、色差ごとに、復号された色差成分をアップサンプリングして拡大された色差成分を生成する（ステップＳ２０５）。
動画像復号装置２の制御部（図示せず）は、復号対象ピクチャが同時符号化ピクチャか否か判定する（ステップＳ２０６）。復号対象ピクチャが同時符号化ピクチャであれば（ステップＳ２０６−Ｙｅｓ）、拡張層復号部２４は、拡張層の各色差成分を復号する（ステップＳ２０７）。そして合成部２７は、拡張層の各色差成分と輝度成分とを合成することで復号対象ピクチャを再生する（ステップＳ２０８）。
一方、復号対象ピクチャが同時符号化ピクチャでなければ（ステップＳ２０６−Ｎｏ）、合成部２７は、色差ごとに、拡張層の色差成分のうち、動領域マップに示される動領域を、拡大された基本層の色差成分の同領域で置換する（ステップＳ２０９）。これにより、復号対象ピクチャの色差成分が再生される。そして合成部２７は、再生された各色差成分と輝度成分とを合成することで、復号対象ピクチャを再生する（ステップＳ２１０）。ステップＳ２０８またはＳ２１０の後、動画像復号装置２は、動画像復号処理を終了する。なお、ステップＳ２０２の処理は、ステップＳ２０３〜Ｓ２０７及びＳ２０９の処理と並行して実行されてもよい。
以上に説明してきたように、動画像符号化装置は、拡張層と基本層とでそれぞれ色差成分を符号化する。動画像復号装置は、直前の同時符号化ピクチャの拡張層の色差成分の動領域を、着目ピクチャの動領域の色差成分で置換することで、着目ピクチャの色差成分を再生する。このように、この動画像符号化装置及び動画像復号装置は、画質劣化に対する許容度が大きい動領域の色差成分の空間解像度を他の領域の空間解像度よりも低くしつつ符号化及び復号するので、画質の劣化が知覚されることを防止できる。そしてこの動画像符号化装置及び動画像復号装置は、ピクチャごとに、低解像度で符号化される動領域の位置及び範囲を変更できる。さらに、この動画像符号化装置は、拡張層については、連続する複数のピクチャのうちの同時符号化ピクチャについてのみ符号化し、基本層については、各ピクチャについて動領域以外について符号化をスキップすることで、符号化による発生情報量を削減できる。またこの動画像符号化装置及び動画像復号装置は、各層の色差成分を符号化及び復号する際に、基本層の色差成分と拡張層の色差成分を混在させたものを参照しない。そのため、この動画像符号化装置及び動画像復号装置は、空間解像度に関して階層符号化が規定されている既存の符号化標準を修正せずに、各ピクチャを符号化及び復号できる。
なお、変形例によれば、動画像符号化装置１の基本層符号化部１３は、同時符号化ピクチャ以外の各ピクチャの基本層の色差成分について、直前の同時符号化ピクチャの同じ層の色差成分の局所復号画像を参照して符号化してもよい。
図９は、この変形例による、基本層及び拡張層における、参照関係の一例を示す図である。図９において、横軸は時間を表す。また個々の矩形領域は、一つのピクチャの色差成分を表す。そして時刻t0におけるピクチャ及び時刻tNにおけるピクチャが同時符号化ピクチャである。また各ピクチャの色差成分を表すブロック内に示されている記号は、適用される予測符号化モードを表す。この例では、'I'は、イントラ予測符号化モードを表し、'P'はインター予測符号化モードを表す。そして各矢印は参照関係を表し、矢印の先が参照される色差成分、矢印の根元が参照する色差成分を表す。
図９に示されるように、時刻t0における同時符号化ピクチャの基本層の色差成分９００、及び、時刻tNにおける同時符号化ピクチャの基本層の色差成分９０４は、それぞれ、イントラ予測符号化される。同時符号化ピクチャ以外のピクチャ、すなわち、時刻t1〜t3の各ピクチャに対応する基本層の色差成分９０１〜９０３は、それぞれ、直前の同時符号化ピクチャの同じ層（すなわち、基本層）の色差成分９００の局所復号画像を参照してインター予測符号化される。また、時刻t0における同時符号化ピクチャの拡張層の色差成分９１０、及び、時刻tNにおける同時符号化ピクチャの拡張層の色差成分９１４は、それぞれ、同時刻の基本層の色差成分９００、９０４の拡大局所復号画像を参照してインター予測符号化される。
この変形例の場合も、動画像復号装置２の合成部２７は、上記の実施形態と同様に、色差ごとに、着目ピクチャについての拡大された基本層の色差成分の動領域で、直前の同時符号化ピクチャの拡張層の色差成分の動領域を置換することで、各色差成分を復号できる。また、この変形例の場合には、同時符号化ピクチャ以外の各ピクチャについては、直前の同時符号化ピクチャが参照されている。そのため、ピクチャごとに、そのピクチャについて非スキップ符号化されたブロックの集合が動領域とされてもよい。
図１０は、この変形例による、色差成分の合成に関する説明図である。
図１０において、横軸は時間を表す。この例では、時刻t0のピクチャ及び時刻tNのピクチャが同時符号化ピクチャである。また個々の矩形領域は、一つのピクチャの色差成分を表す。なお、基本層と拡張層とでブロック同士の位置を比較し易いように、基本層の色差成分及び動領域マップに関しては、拡張層に合わせて拡大されている。
時刻t0では、基本層の色差成分１０００に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻t0では、動領域マップ１０１０はリセットされ、動領域を含まない。さらに、時刻t0では、拡張層の色差成分１０２０も復号される。そして拡張層の色差成分１０２０自体が、再生されるピクチャの色差成分１０３０となる。
次に、時刻t1では、基本層の色差成分１００１において、領域１０５１に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ１０１１において、領域１０５１と同じ領域が動領域１０６１として記録される。そして時刻t1のピクチャの色差成分１０３１は、時刻t0における、拡張層の色差成分１０２０のうち、動領域１０６１について、時刻t1における拡大された基本層の色差成分１００１の動領域１０６１で置換されたものとなる。
同様に、時刻t2では、基本層の色差成分１００２において、領域１０５２に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ１０１２において、領域１０５２と同じ領域が動領域１０６２として記録される。そして時刻t1のピクチャの色差成分１０３２は、時刻t0における、拡張層の色差成分１０２０のうち、動領域１０６２について、時刻t2における拡大された基本層の色差成分１００２の動領域１０６２で置換されたものとなる。
さらに、時刻t3では、基本層の色差成分１００３において、領域１０５３に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ１０１３において、領域１０５３と同じ領域が動領域１０６３として記録される。そして時刻t3のピクチャの色差成分１０３３は、時刻t0における、拡張層の色差成分１０２０のうち、動領域１０６３について、時刻t3における拡大された基本層の色差成分１００３の動領域１０６３で置換されたものとなる。
さらに、時刻tNでは、基本層の色差成分１００４に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻tNでは、動領域マップ１０１４はリセットされ、動領域を含まない。さらに、時刻tNでは、拡張層の色差成分１０２４自体が、再生されるピクチャの色差成分１０３４となる。
この変形例によれば、動画像復号装置は、低解像度の色差成分で置換する領域を小さくすることができる。
また、他の変形例によれば、拡張層の色差成分は、YCbCr 4:4:4形式で表され、基本層の色差成分は、YCbCr 4:2:2形式で表されてもよい。あるいは、拡張層の色差成分は、YCbCr 4:2:2形式で表され、基本層の色差成分は、YCbCr 4:2:0形式で表されてもよい。
また、動画像復号装置２の基本層復号部２２は、各ピクチャの縮小輝度成分を復号し、拡張層復号部２４は、同時符号化ピクチャの拡張層の輝度成分を復号する。そして動画像復号装置２の合成部２７は、同時符号化ピクチャについて、拡張層の復号された輝度成分自体を、そのピクチャの輝度成分とすればよい。また合成部２７は、同時符号化ピクチャ以外の各ピクチャについて、そのピクチャについての拡大された縮小輝度成分の動領域で、直前の同時符号化ピクチャの拡張層の輝度成分の同じ領域を置換することで、そのピクチャの輝度成分を再生すればよい。
さらに他の変形例によれば、動画像符号化装置１の基本層符号化部１３は、同時符号化ピクチャ以外の各ピクチャの基本層の色差成分について、全てのブロックについてインター予測符号化してもよい。この場合、動領域に含まれないブロックについては、予測誤差信号の絶対値の和が０または０に非常に近い値となることが想定される。そのため、動画像復号装置２の動領域記録部２５は、予測誤差信号の絶対値の和が所定の閾値以上となるブロックの和集合を動領域とすればよい。
さらに他の変形例によれば、動画像符号化装置１の拡張層符号化部１５は、一定周期で同時符号化ピクチャの各色差成分をイントラ予測符号化してもよい。そして拡張層符号化部１５は、イントラ予測符号化されない同時符号化ピクチャについて、色差ごとに、その色差成分を、直前の他の同時符号化ピクチャの色差成分の局所復号画像、または対応する拡大局所復号画像を参照してインター予測符号化してもよい。
さらに他の変形例によれば、上記の実施形態または変形例による階層符号化は、輝度成分にも適用されてもよい。すなわち、動画像符号化装置１の縮小部１２は、各ピクチャの輝度成分の解像度を低下させた縮小輝度成分を生成し、基本層符号化部１３は、各ピクチャの縮小輝度成分を符号化してもよい。その際、基本層符号化部１３は、同時符号化ピクチャ以外の各ピクチャについて、直前のピクチャの輝度成分または直前の同時符号化ピクチャの輝度成分に対して動きのある領域に含まれる各ブロックを非スキップ符号化する。また基本層符号化部１３は、それ以外のブロックについて符号化をスキップすればよい。また、拡張層符号化部１５は、同時符号化ピクチャについて、縮小輝度成分を符号化したものを復号し、拡大して得られる拡大局所復号画像を参照して、元の輝度成分を符号化してもよい。この場合、動画像符号化装置１の輝度成分符号化部１６及び動画像復号装置２の輝度成分復号部２６は省略されてもよい。
図１１は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。このコンピュータは、例えば、Wireless displayまたはVDIを実現するシステムにおいてスクリーン映像を生成するサーバ、あるいは、符号化されたスクリーン映像を再生する端末として利用可能である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ１０５上で動作するアプリケーションプログラムによって決定されてもよい。
通信インターフェース部１０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、記憶部１０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ１０５は、符号化された動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース部１０１の表示装置に表示させる。
なお、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラム及び動画像復号処理用コンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出す分離部と、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号する第１の復号部と、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号する第２の復号部と、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録する動領域記録部と、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する合成部と、
を有する動画像復号装置。
（付記２）
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像または当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、前記第２の画像のそれぞれの前記縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きの無い領域の符号化はスキップされており、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、付記１に記載の動画像復号装置。
（付記３）
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像を参照して符号化され、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の直前の前記第１の画像から当該第２の画像までの各第２の画像の前記縮小画像において符号化された領域の和集合を前記動きのある領域とする、付記２に記載の動画像復号装置。
（付記４）
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、付記２に記載の動画像復号装置。
（付記５）
前記第２の復号部は、前記第１の画像のそれぞれについて、当該第１の画像の復号された前記縮小画像をアップサンプリングして得られる拡大復号画像を参照して当該第１の画像を復号する、付記１〜４の何れかに記載の動画像復号装置。
（付記６）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
ことを含む動画像復号方法。
（付記７）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
（付記８）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成する縮小部と、
前記複数の画像のそれぞれの前記縮小画像を符号化する第１の符号化部と、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する第２の符号化部と、
を有する動画像符号化装置。
（付記９）
前記第１の符号化部は、前記複数の画像のうちの前記第１の画像でない第２の画像のそれぞれについて、当該第２の画像の前記縮小画像のうち、当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を、前記直前の第１の画像の前記縮小画像または当該第２の画像の直前の他の第２の画像の縮小画像を参照して符号化し、当該第２の画像の前記縮小画像のうち、前記直前の第１の画像の前記縮小画像に対して動きの無い領域の符号化をスキップする、付記８に記載の動画像符号化装置。
（付記１０）
前記複数の第１の画像のそれぞれについて、前記縮小画像を復号して得られる局所復号画像をアップサンプリングして拡大局所復号画像を生成する拡大部をさらに有し、
前記第２の符号化部は、前記複数の第１の画像のそれぞれを、対応する前記拡大局所復号画像を参照して符号化する、付記８または９に記載の動画像符号化装置。
（付記１１）
二つの前記第１の画像間の間隔を、前記縮小画像に対する、当該二つの前記第１の画像間の各第２の画像の前記縮小画像上で前記動きのある領域の和集合の比に応じて設定する符号化制御部をさらに有する、付記８〜１０の何れかに記載の動画像符号化装置。
（付記１２）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する、
ことを含む動画像符号化方法。
（付記１３）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
（付記１４）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生するように構成されたプロセッサ、
を有する動画像復号装置。
（付記１５）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化するように構成されたプロセッサ、
を有する動画像符号化装置。
１ 動画像符号化装置
１０ バッファ
１１ 符号化制御部
１２ 縮小部
１３ 基本層符号化部（第１の符号化部）
１４ 拡大部
１５ 拡張層符号化部（第２の符号化部）
１６ 輝度成分符号化部
１７ 多重化部
２ 動画像復号装置
２０ バッファ
２１ 分離部
２２ 基本層復号部（第１の復号部）
２３ 拡大部
２４ 拡張層復号部（第２の復号部）
２５ 動領域記録部
２６ 輝度成分復号部
２７ 合成部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (9)

  1. 符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出す分離部と、
    前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号する第１の復号部と、
    前記第２の符号化データから前記複数の第１の画像のそれぞれを復号する第２の復号部と、
    前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録する動領域記録部と、
    前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する合成部と、
    を有する動画像復号装置。
  2. 前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像または当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、前記第２の画像のそれぞれの前記縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きの無い領域の符号化はスキップされており、
    前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、請求項１に記載の動画像復号装置。
  3. 前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像を参照して符号化され、
    前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の直前の前記第１の画像から当該第２の画像までの各第２の画像の前記縮小画像において符号化された領域の和集合を前記動きのある領域とする、請求項２に記載の動画像復号装置。
  4. 前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、
    前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、請求項２に記載の動画像復号装置。
  5. 符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
    前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
    前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
    前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
    前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
    ことを含む動画像復号方法。
  6. 符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
    前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
    前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
    前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
    前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
    ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
  7. 動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成する縮小部と、
    前記複数の画像のうちの表示順において互いに不連続な複数の第１の画像の何れでもない第２の画像のそれぞれについて、当該第２の画像の前記縮小画像のうち、当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を、前記直前の第１の画像の前記縮小画像または当該第２の画像の直前の他の第２の画像の縮小画像を参照して符号化し、当該第２の画像の前記縮小画像のうち、前記直前の第１の画像の前記縮小画像に対して動きの無い領域の符号化をスキップすることで、前記複数の画像のそれぞれの前記縮小画像を符号化する第１の符号化部と、
    前記複数の画像のうちの複数の前記第１の画像を符号化する第２の符号化部と、
    二つの前記第１の画像間の間隔を、前記縮小画像に対する、当該二つの前記第１の画像間の各第２の画像の前記縮小画像上で前記動きのある領域の和集合の比に応じて設定する符号化制御部と、
    を有する動画像符号化装置。
  8. 動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
    前記複数の画像のうちの表示順において互いに不連続な複数の第１の画像の何れでもない第２の画像のそれぞれについて、当該第２の画像の前記縮小画像のうち、当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を、前記直前の第１の画像の前記縮小画像または当該第２の画像の直前の他の第２の画像の縮小画像を参照して符号化し、当該第２の画像の前記縮小画像のうち、前記直前の第１の画像の前記縮小画像に対して動きの無い領域の符号化をスキップすることで、前記複数の画像のそれぞれの前記縮小画像を符号化し、
    前記複数の画像のうちの複数の前記第１の画像を符号化し、
    二つの前記第１の画像間の間隔を、前記縮小画像に対する、当該二つの前記第１の画像間の各第２の画像の前記縮小画像上で前記動きのある領域の和集合の比に応じて設定する、
    ことを含む動画像符号化方法。
  9. 動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
    前記複数の画像のうちの表示順において互いに不連続な複数の第１の画像の何れでもない第２の画像のそれぞれについて、当該第２の画像の前記縮小画像のうち、当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を、前記直前の第１の画像の前記縮小画像または当該第２の画像の直前の他の第２の画像の縮小画像を参照して符号化し、当該第２の画像の前記縮小画像のうち、前記直前の第１の画像の前記縮小画像に対して動きの無い領域の符号化をスキップすることで、前記複数の画像のそれぞれの前記縮小画像を符号化し、
    前記複数の画像のうちの複数の前記第１の画像を符号化し、
    二つの前記第１の画像間の間隔を、前記縮小画像に対する、当該二つの前記第１の画像間の各第２の画像の前記縮小画像上で前記動きのある領域の和集合の比に応じて設定する、
    ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
JP2016203497A 2016-10-17 2016-10-17 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム Active JP6769231B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016203497A JP6769231B2 (ja) 2016-10-17 2016-10-17 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
US15/715,254 US10448034B2 (en) 2016-10-17 2017-09-26 Video image encoding device, video image coding method, video image decoding device, video image decoding method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016203497A JP6769231B2 (ja) 2016-10-17 2016-10-17 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2018067751A JP2018067751A (ja) 2018-04-26
JP6769231B2 true JP6769231B2 (ja) 2020-10-14

Family

ID=61904292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016203497A Active JP6769231B2 (ja) 2016-10-17 2016-10-17 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム

Country Status (2)

Country Link
US (1) US10448034B2 (ja)
JP (1) JP6769231B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063894B2 (en) * 2017-01-10 2018-08-28 Disney Enterprises, Inc. Systems and methods for differential media distribution
US10771797B2 (en) * 2018-07-30 2020-09-08 Logmein, Inc. Enhancing a chroma-subsampled video stream
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
WO2020181435A1 (en) * 2019-03-08 2020-09-17 Zte Corporation Null tile coding in video coding

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2006345443A (ja) * 2005-06-10 2006-12-21 Canon Inc 撮影装置
US8774269B2 (en) * 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
WO2008071036A1 (en) * 2006-12-14 2008-06-19 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
EP2092748A4 (en) * 2006-12-14 2011-01-05 Thomson Licensing METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY
KR20080114388A (ko) 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP2011015260A (ja) * 2009-07-03 2011-01-20 Panasonic Corp 画像復号化装置およびその方法
WO2013033596A1 (en) * 2011-08-31 2013-03-07 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
JP5748225B2 (ja) * 2012-01-26 2015-07-15 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
JP2014204338A (ja) 2013-04-05 2014-10-27 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2015005899A (ja) 2013-06-21 2015-01-08 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
EP3386179A1 (en) * 2013-09-20 2018-10-10 VID SCALE, Inc. Systems and methods for providing 3d look-up table coding for color gamut scalability
WO2015053112A1 (ja) 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
EP3058747B1 (en) * 2013-10-15 2019-11-20 Nokia Technologies Oy Scalable video encoding and decoding using syntax element
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
US9584817B2 (en) * 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
US10448029B2 (en) * 2014-04-17 2019-10-15 Qualcomm Incorporated Signaling bit depth values for 3D color prediction for color gamut scalability
WO2015182342A1 (ja) 2014-05-26 2015-12-03 シャープ株式会社 画像復号装置、および、画像符号化装置
KR101884408B1 (ko) * 2014-06-19 2018-08-02 브이아이디 스케일, 인크. 3차원 기반 컬러 매핑에서의 모델 파라미터 최적화를 위한 시스템 및 방법
JP6239472B2 (ja) * 2014-09-19 2017-11-29 株式会社東芝 エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
JP2018067751A (ja) 2018-04-26
US10448034B2 (en) 2019-10-15
US20180109800A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
US11595667B2 (en) Constraints on locations of reference blocks for intra block copy prediction
US10567778B2 (en) Image encoding apparatus, image encoding method, recording medium and program, image decoding apparatus, image decoding method, and recording medium and program
KR102453512B1 (ko) 투영 기반 프레임을 프로세싱하기 위한 방법
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
US7085420B2 (en) Text detection in continuous tone image segments
EP3926960A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP4955216B2 (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
TWI436286B (zh) 畫像解碼方法及裝置
JP6769231B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JPH1155667A (ja) 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
JP2022513716A (ja) 相互予測と表示のための適応型画像解像度の再スケーリング
JP2004242271A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
JP2014033460A (ja) 動画像復号化装置
CN114788264A (zh) 用于发出虚拟边界和环绕运动补偿的信号的方法
US20230107834A1 (en) Method and apparatus of adaptive sampling for mesh compression by encoders
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP2015146634A (ja) 画像符号化装置および画像符号化方法
JP2023522845A (ja) 参照領域を使用する映像符号化の方法及びシステム
JPH11346368A (ja) 画像処理方法，画像処理装置，及びデ―タ記憶媒体
KR100469258B1 (ko) 썸네일 영상 생성 장치 및 방법
US11922664B2 (en) Method and apparatus of adaptive sampling for mesh compression by decoders
WO2023127940A1 (ja) 画像処理装置および画像処理方法
US20230342983A1 (en) Vertex prediction based on mesh triangulation derivation
US20230412842A1 (en) Vertex prediction based on decoded neighbors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R150 Certificate of patent or registration of utility model

Ref document number: 6769231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150