JPWO2016088160A1 - 画像復号装置、画像処理システム、及び画像復号方法 - Google Patents

画像復号装置、画像処理システム、及び画像復号方法 Download PDF

Info

Publication number
JPWO2016088160A1
JPWO2016088160A1 JP2016562094A JP2016562094A JPWO2016088160A1 JP WO2016088160 A1 JPWO2016088160 A1 JP WO2016088160A1 JP 2016562094 A JP2016562094 A JP 2016562094A JP 2016562094 A JP2016562094 A JP 2016562094A JP WO2016088160 A1 JPWO2016088160 A1 JP WO2016088160A1
Authority
JP
Japan
Prior art keywords
image
encoded
encoding
decoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016562094A
Other languages
English (en)
Inventor
数井　君彦
君彦 数井
智規 久保田
智規 久保田
智史 島田
智史 島田
幸二 山田
幸二 山田
健士郎 武内
健士郎 武内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2016088160A1 publication Critical patent/JPWO2016088160A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像復号装置は、不可逆符号化により符号化した第１の符号化ストリームを、画像符号化装置に対して要求し、第１の符号化ストリームを復号して、符号化対象画像を符号化した第１の符号化画像から第１の復号画像を生成し、第１の復号画像を出力する。次に、画像復号装置は、画像符号化装置に対して第２の符号化ストリームを要求する。第２の符号化ストリームは、符号化対象画像に対して、第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して、予測誤差を可逆符号化により符号化した第２の符号化画像を含む。そして、画像復号装置は、第２の符号化ストリームを復号して、第２の符号化画像から第２の復号画像を生成し、第１の復号画像と第２の復号画像とを加算した加算結果を用いて、第１の復号画像に対応する第３の復号画像を生成し、第３の復号画像を出力する。

Description

本発明は、画像復号装置、画像処理システム、及び画像復号方法に関する。
動画像データは、非常に大きなデータ量を有することが多い。このため、送信装置から受信装置へ動画像データを送信する場合や、動画像データを記憶装置に格納する場合には、動画像データの圧縮符号化が行われる。
代表的な動画像符号化標準が、International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) によって策定されている。動画像符号化標準は、International Telecommunication Union Telecommunication Standardization Sector(ITU-T)によっても策定されている。
これらの符号化標準としては、例えば、Moving Picture Experts Group phase 2（MPEG-2, ITU-T H.262 | ISO/IEC 13818-2）及びAdvanced Video Coding (AVC, ITU-T H.264 | ISO/IEC 14496-10) が知られている。さらに、High Efficiency Video Coding (HEVC, ITU-T H.265 | ISO/IEC 23008-2)も知られている。
上述した動画像符号化標準は、インター予測符号化とイントラ予測符号化の２つの符号化方式を採用している。インター予測符号化は、動画像中の１枚のピクチャに対応する符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。
動画像データの圧縮符号化は、圧縮符号化前の画像と伸張復号後の画像とが完全一致するか否かという観点で、ロスレス符号化とロッシー符号化とに分類される。ロスレス符号化は、圧縮符号化前の画像と伸張復号後の画像とが完全一致する、可逆符号化であり、ロッシー符号化は、それらが完全一致しない不可逆符号化である。ロッシー符号化は、符号化画像の情報量をロスレス符号化よりも多く削減できるが、情報量の削減度が増加するにつれて、元画像と復号画像との誤差が増加する。
上述したＨ．２６４及びＨＥＶＣは、ロスレス符号化とロッシー符号化の両方に対応している。これらの符号化標準は、周波数変換の１つである離散コサイン変換（ＤＣＴ）により空間方向の冗長性を除去することで、高い圧縮効率を実現している。しかし、規定されるＤＣＴが非可逆演算であるため、ロスレス符号化時にはＤＣＴが行われないように規定されている。
動画像符号化以外にも、静止画像の符号化方式であるJoint Photographic Experts Group 2000(JPEG 2000, ISO/IEC 15444)及びJPEG-LS(ISO/IEC 14495)は、ロスレス符号化とロッシー符号化の両方に対応している。ＪＰＥＧ ２０００は、周波数変換の１つである離散ウェーブレット変換（ＤＷＴ）により、ＤＣＴと同様に冗長性を除去している。ＪＰＥＧ ２０００のＤＷＴは可逆演算であるため、ロスレス符号化時にもＤＷＴが行われる。
ディジタル入力信号をスケーラブル符号化し、基本階層符号と１以上の拡張階層符号とを生成する符号化装置も知られている（例えば、特許文献１を参照）。この符号化装置は、基本階層符号をロスレス符号化し、ロスレス符号を生成し、ロスレス符号と拡張階層符号との複数種類の組合せの中から、単位時間当たりの符号量が利用伝送帯域以下であって、かつ、単位時間当たりの符号量が最も大きい組合せを選択する。
特開２０１２−８８５０２号公報
ロスレス符号化は、例えば、画像データの原本性を保証する分野で適用される。具体的には、医療分野等で、画像データに対してロスレス符号化が適用されることがある。コンピュータ断層撮影（ＣＴ）装置等の検査装置（モダリティ装置）で撮影された医用画像には保存義務があり、診断用途にはロスレス符号化が推奨されている。ただし、遠隔地で一時的に医用画像を参照する場合は、データ伝送時間の短縮のために、より情報量の少ないロッシー符号化が許容される場合がある。
医用画像の圧縮符号化においては、ＪＰＥＧ ２０００のような静止画像符号化方式が広く利用されている。この理由は、医療分野の従来の主要な用途である診断や原本保存で適用されるロスレス符号化において、ＪＰＥＧ ２０００が高い圧縮性能を示すことにある。
ＡＶＣのロスレス符号化モードは、周波数変換が適用されないため、圧縮性能はＪＰＥＧ ２０００に劣る。この性能差は、１枚毎の画像のイントラ予測符号化だけでなく、連続する画像列（例えば、マルチスライスＣＴ画像）のインター予測符号化時においても同様である。動画像符号化方式は、ロスレス符号化時において、インター予測符号化の圧縮性能とイントラ予測符号化の圧縮性能とが同等となることが多い。
例えば、医療分野では、各病院で撮影された医用画像を、通信ネットワークを介して地域内で共用することで、出先でも患者が適切な治療を受けられるようにすること等、医療の質を高める取り組みが進められている。この場合、診断や原本保存の用途に加え、遠隔地での参照の用途にも対応するために、医用画像に対してロスレス符号化とロッシー符号化の両方を適用することが望ましい。
画像符号化装置において、１つの医用画像に対してロスレス符号化とロッシー符号化とを個別に適用すると、２つの圧縮画像が生成され、１つの符号化方式のみを取り扱う場合に比べてデータ量が増加する。医療分野では、沢山の患者の医用画像を取り扱うため、このデータ量の増加が大きな問題となる。例えば、１つの医用画像に対する２つの圧縮画像を画像符号化装置から画像復号装置へ伝送すると、通信ネットワークのリソースが大量に消費されてしまう。
なお、かかる問題は、医用画像をロスレス符号化及びロッシー符号化により符号化する場合に限らず、他の画像を符号化する場合においても生ずるものである。
１つの側面において、本発明の目的は、画像を可逆符号化及び不可逆符号化により符号化して画像符号化装置から画像復号装置へ伝送する場合に、通信ネットワークを有効利用することである。
１つの案では、画像復号装置は、受信部、第１の復号部、記憶部、第２の復号部、生成部、及び復号制御部を含む。
受信部は、複数の符号化対象画像を不可逆符号化により符号化した第１の符号化ストリームと、第２の符号化ストリームとを、画像符号化装置から受信する。画像符号化装置は、複数の符号化対象画像のうち１つの符号化対象画像に対して、１つの符号化対象画像を符号化した第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用する。第２の符号化ストリームは、インター予測を適用して予測誤差を可逆符号化により符号化した第２の符号化画像を含む。
第１の復号部は、第１の符号化ストリームを復号して、第１の符号化画像から第１の復号画像を生成し、記憶部は、第１の復号画像を記憶する。第２の復号部は、第２の符号化ストリームを復号して、第２の符号化画像から第２の復号画像を生成する。生成部は、第１の復号画像と第２の復号画像とを加算した加算結果を用いて、第１の復号画像に対応する第３の復号画像を生成する。
復号制御部は、第１の復号画像を出力する場合、画像符号化装置に対して第１の符号化ストリームを要求し、第１の復号画像を第１の復号部に生成させ、第１の復号画像を記憶部に記憶させ、第１の復号画像を出力する。また、復号制御部は、第１の復号画像を出力した後に第３の復号画像を出力する場合、画像符号化装置に対して第２の符号化ストリームを要求し、第２の復号画像を第２の復号部に生成させ、第３の復号画像を生成部に生成させ、第３の復号画像を出力する。
実施形態によれば、画像を可逆符号化及び不可逆符号化により符号化して画像符号化装置から画像復号装置へ伝送する場合に、通信ネットワークを有効利用することができる。
画像処理システムの構成図である。 画像符号化装置の構成図である。 画像復号装置の構成図である。 復号部及び生成部の構成図である。 符号化データを示す図である。 画像符号化処理のフローチャートである。 画像復号処理のフローチャートである。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
実施形態の画像符号化装置は、入力される動画像信号を、ＨＥＶＣ規格に基づいて画像（ピクチャ）単位で符号化する。このとき、ＨＥＶＣの階層符号化機能（Scalable HEVC, SHVC）を利用して、各画像に対して品質階層符号化（Quality Scalable Video Coding）が適用される。この品質階層符号化は、ロッシー符号化する基本レイヤ（ベースレイヤ）と、ロスレス符号化する拡張レイヤ（エンハンスメントレイヤ）の２つのレイヤからなる。
図１は、１つの基本レイヤと１つの拡張レイヤとの２レイヤの場合の品質階層符号化を行う画像処理システムの構成例を示している。品質階層符号化においては、１つの拡張レイヤの代わりに、複数の拡張レイヤを用いてもよい。
図１の画像処理システムは、画像符号化装置１００１及び画像復号装置１００２を含む。画像符号化装置１００１と画像復号装置１００２は、例えば、通信ネットワークを介して通信することができる。画像符号化装置１００１は、基本レイヤの符号化部１１００及び拡張レイヤの符号化部１２００を含み、画像復号装置１００２は、基本レイヤの復号部１３００及び拡張レイヤの復号部１４００を含む。
符号化部１１００は、減算部１１０１、予測誤差符号化部１１０２、予測誤差復号部１１０３、加算部１１０４、復号画像バッファ１１０５、及び予測画像生成部１１０６を含む。
減算部１１０１は、入力される動画像に含まれる符号化対象画像の画素値から、予測画像生成部１１０６が生成する予測画像の画素値（予測値）を減算して、符号化対象画像と予測画像との差分である予測誤差を生成する。予測誤差符号化部１１０２は、減算部１１０１が生成する予測誤差を符号化する。予測誤差符号化部１１０２における符号化は、エントロピー符号化を含む。符号化された予測誤差は、基本レイヤの符号化画像として出力され、基本レイヤの符号化画像を含む符号化ストリームが画像復号装置１００２へ送信される。
予測誤差復号部１１０３は、符号化された予測誤差を復号して、減算部１１０１が生成する予測誤差に符号化歪が重畳された予測誤差を生成する。加算部１１０４は、符号化歪が重畳された予測誤差に、予測画像生成部１１０６が生成する予測画像の画素値を加算して、歪のある局所復号画像を生成する。復号画像バッファ１１０５は、加算部１１０４が生成する局所復号画像を格納する。
予測画像生成部１１０６は、復号画像バッファ１１０５に格納された局所復号画像から予測値を生成する。予測画像生成部１１０６において適用される予測モードは、基本レイヤの符号化対象画像の符号化済み画素値から予測値を生成するイントラ予測モード、又は基本レイヤの符号化済み画像を参照画像とするインター予測モードのいずれかである。
符号化部１２００は、減算部１２０１、予測誤差符号化部１２０２、予測誤差復号部１２０３、加算部１２０４、復号画像バッファ１２０５、及び予測画像生成部１２０６を含む。
減算部１２０１は、符号化対象画像の画素値から、予測画像生成部１２０６が生成する予測値を減算して、符号化対象画像と予測画像との差分である予測誤差を生成する。予測誤差符号化部１２０２は、減算部１２０１が生成する予測誤差を符号化する。予測誤差符号化部１２０２における符号化は、エントロピー符号化を含む。符号化された予測誤差は、拡張レイヤの符号化画像として出力され、拡張レイヤの符号化画像を含む符号化ストリームが画像復号装置１００２へ送信される。
予測誤差復号部１２０３は、符号化された予測誤差を復号して、減算部１２０１が生成する予測誤差と同一の歪のない予測誤差を生成する。加算部１２０４は、歪のない予測誤差に、予測画像生成部１２０６が生成する予測値を加算して、局所復号画像を生成する。復号画像バッファ１２０５は、加算部１２０４が生成する局所復号画像を格納するとともに、復号画像バッファ１１０５に格納された基本レイヤの歪のある局所復号画像も格納する。
予測画像生成部１２０６は、復号画像バッファ１２０５に格納された局所復号画像から予測値を生成する。予測画像生成部１２０６において適用される予測モードは、基本レイヤの符号化対象画像の符号化済み画素値から予測値を生成するイントラ予測モード、又はインター予測モードのいずれかである。インター予測モードでは、基本レイヤの符号化済み画像又は拡張レイヤの符号化済み画像が参照画像として用いられる。
復号部１３００は、予測誤差復号部１３０１、加算部１３０２、復号画像バッファ１３０３、及び予測画像生成部１３０４を含む。
予測誤差復号部１３０１は、符号化部１１００から出力される基本レイヤの符号化ストリームに含まれる符号化画像を復号して、符号化歪が重畳された予測誤差を生成する。加算部１３０２は、符号化歪が重畳された予測誤差に、予測画像生成部１３０４が生成する予測値を加算して、歪のある復号画像を生成する。
復号画像バッファ１３０３は、加算部１３０２が生成する復号画像を格納する。この復号画像は、ロッシー動画像として出力され、画面上に表示される。予測画像生成部１３０４は、復号画像バッファ１３０３に格納された復号画像から、インター予測画像又はイントラ予測画像を生成する。
復号部１４００は、予測誤差復号部１４０１、加算部１４０２、復号画像バッファ１４０３、及び予測画像生成部１４０４を含む。
予測誤差復号部１４０１は、符号化部１２００から出力される拡張レイヤの符号化ストリームに含まれる符号化画像を復号して、歪のない予測誤差を生成する。加算部１４０２は、歪のない予測誤差に、予測画像生成部１４０４が生成する予測値を加算して、歪のない復号画像を生成する。
復号画像バッファ１４０３は、加算部１４０２が生成する復号画像を格納する。この復号画像は、ロスレス動画像として出力され、画面上に表示される。復号画像バッファ１４０３は、復号画像バッファ１３０３に格納された基本レイヤの歪のある復号画像も格納する。予測画像生成部１４０４は、復号画像バッファ１４０３に格納された復号画像から、インター予測画像又はイントラ予測画像を生成する。
通常の動画像の階層符号化では、画像復号装置１００２の仕様に対応する品質の動画像を画像符号化装置１００１から画像復号装置１００２へ送信することを想定している。この場合、基本レイヤの復号画像よりも高品質な復号画像を提供するために、基本レイヤの符号化と拡張レイヤの符号化とが同時に行われ、基本レイヤの符号化ストリームと拡張レイヤの符号化ストリームとが同時に送信される。
これに対して、マルチスライスＣＴ画像は、人体を数ミリ毎に撮影したスライス画像であり、通常の動画像とは異なってフレームレートが低い。このようなマルチスライスＣＴ画像を表示する場合、医師は、まず、頭頂部のスライス画像から足先のスライス画像まであたかも１つの連続した動画像であるかのように連続的に観察し、その後、胸部等の注目するスライス画像を詳細に確認することが多い。
連続観察時には、人間の視覚特性が落ちるため、ロッシー動画像でも十分である。とりわけ、連続観察時には複数スライス分の符号化ストリームが画像符号化装置１００１から画像復号装置１００２へ伝送されるが、基本レイヤの符号化ストリームのみを伝送することで、伝送レートが削減され、通信ネットワークを有効利用することが可能になる。
そこで、実施形態の画像符号化装置１００１は、拡張レイヤの符号化において、符号化対象画像内のすべてのCoding Unit（ＣＵ）をインター予測符号化する。ＣＵは、ＡＶＣ規格等でのマクロブロックに相当する。そして、画像符号化装置１００１は、同じ符号化対象画像を基本レイヤで符号化したときの局所復号画像のみを、インター予測における参照画像として用いる。
以下の説明において、符号化画像は、画面全体に対応する符号化対象画像を符号化した結果を表すこともあり、符号化対象画像内のＣＵを符号化した結果を表すこともある。また、復号画像は、符号化対象画像に対応する符号化画像を復号した結果を表すこともあり、ＣＵに対応する符号化画像を復号した結果を表すこともある。
実施形態の画像復号装置１００２は、遠隔地での参照等の用途で受信データのデータ量を削減する場合には、基本レイヤのロッシー符号化画像のみを受信し、ロッシー符号化画像を伸張復号して、画面上に表示する。
一方、診断等の用途でロスレス画像を表示する場合には、画像復号装置１００２は、基本レイヤと拡張レイヤの両方の符号化画像を受信し、ロスレス符号化画像を伸張復号する。このとき、基本レイヤと拡張レイヤとを独立に復号することで、画像復号装置１００２の回路規模を削減することができる。
画像復号装置１００２は、基本レイヤを復号して歪のある復号画像を生成した後に拡張レイヤを基本レイヤなしで復号することで、基本レイヤの復号画像と拡張レイヤの復号画像とを生成する。基本レイヤの復号画像は、元画像に対して符号化歪が重畳された画像であり、拡張レイヤの復号画像は、元画像に重畳された符号化歪を正負反転させた誤差を表す画像である。ロスレス画像を表示する場合、画像復号装置１００２は、基本レイヤのロッシー復号画像と拡張レイヤの復号画像とを加算した結果を表示する。
ＨＥＶＣの階層符号化（ＳＨＶＣ）は、ＭＰＥＧ−２やＡＶＣ等の階層符号化とは異なり、拡張レイヤでのＣＵの復号処理は、基本レイヤでの復号処理と同等である。拡張レイヤの圧縮効率を向上させるため、基本レイヤの情報（符号化モード、復号画素値等）が参照されるが、ＳＨＶＣでは、復号画素値のみが参照可能になっている。とりわけ、基本レイヤの復号画像を、拡張レイヤの参照画像の１つとして取り扱うことで、復号画素値の参照が可能になる。
参照画像情報等の画像レベルのパラメータの復号処理は、基本レイヤと拡張レイヤとで若干異なるものの、ＣＵの復号処理においては、基本レイヤを処理する回路と拡張レイヤを処理する回路とを共用できる。
ＳＨＶＣ規格上は、拡張レイヤにおいても、ＣＵ毎にインター予測符号化とイントラ予測符号化とを切り替えることが可能である。さらに、インター予測符号化では、拡張レイヤでの他画像の復号画像と、基本レイヤでの同一画像に対応する復号画像又は他画像に対応する復号画像とを、ＣＵ毎に切り替えて参照画像として用いることが可能である。
しかし、実施形態の拡張レイヤの符号化では、画像内のすべてのＣＵがインター予測符号化され、かつ、基本レイヤでの同一画像に対応する復号画像のみが参照画像として用いられる。これにより、拡張レイヤのみを用いて、基本レイヤの復号画像に含まれる符号化歪を復元することが可能になる。ＳＨＶＣ規格上は基本レイヤと拡張レイヤとを併せて復号することが規定されているが、このような拡張レイヤの符号化を採用することで、規定された条件を緩和できる。
より具体的に説明すると、拡張レイヤのすべてのＣＵの符号化モードとして、基本レイヤでの同一画像に対応する復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測符号化モードを採用する。このようなインター予測符号化を行った場合、拡張レイヤでの各ＣＵの符号化画素値は、元画像の画素値と、ロッシー符号化画像を復号した復号画素値との差分そのものになる。
さらに、ＨＥＶＣ規格では、伝送エラー等により復号画像バッファに参照画像が存在しない場合の動作が厳密に規定されている。具体的には、輝度及び色差成分が画面全体で中間値となる画像を参照画像として用いることが規定されている。例えば、８ビット画像の場合、中間値は１２８となる。これにより、基本レイヤなしで拡張レイヤを復号した場合でも、その復号結果を一意に決めることができる。
したがって、実施形態の拡張レイヤを基本レイヤなしで復号した場合、ロッシー符号化による符号化歪を正負反転させた値に中間値を加算した加算結果が生成される。そこで、画像復号装置１００２は、基本レイヤの復号画像に対して、得られた加算結果を加算し、画面一様に中間値を減算することで、元画像を完全に復元することが可能になる。
例えば、元画像のある画素の画素値Ａが基本レイヤでロッシー符号化され、復号により復号画素値Ａ’が得られた場合、ロッシー符号化による符号化歪はＡ’−Ａである。一方、拡張レイヤのロスレス符号化では、基本レイヤでの同一画像に対応する復号画像が参照され、大きさが０の動きベクトルが用いられるため、すべてのＣＵにおいてロッシー符号化時の復号画素値そのものが予測画像の画素値として用いられる。したがって、拡張レイヤでは、Ａ−Ａ’がロスレス符号化される。
ここで、基本レイヤなしで拡張レイヤを復号すると、Ａ−Ａ’に中間値Ｂが加算された値Ａ−Ａ’＋Ｂが得られる。そして、復号画素値Ａ’に値Ａ−Ａ’＋Ｂを加算するとＡ＋Ｂとなり、Ａ＋Ｂから中間値Ｂを減算することで、元の画素値Ａが復元される。
図２は、実施形態の画像符号化装置の構成例を示している。図１の画像符号化装置１００は、ロッシー符号化制御部１１０、符号化部１１１、ロッシー符号化ヘッダ生成部１１２、ロスレス符号化制御部１２０、符号化部１２１、ロスレス符号化ヘッダ生成部１２２、多重化部１３０、及び送信部１４０を含む。符号化部１１１及び符号化部１２１は、それぞれ、図１の符号化部１１００及び符号化部１２００に対応する。
そして、画像符号化装置１００は、動画像に含まれる各フレームに対して、ロッシーな基本レイヤとロスレスな拡張レイヤの２レイヤからなる品質階層符号化を行い、符号化ストリームを出力する。各フレームに対応する符号化対象画像は、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、色差形式であってもよい。色差形式は４：４：４、４：２：２、４：２：０、又は４：０：０であってもよい。
画像符号化装置１００は、例えば、ハードウェア回路として実装することができる。この場合、画像符号化装置１００は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。
ロッシー符号化制御部１１０は、符号化部１１１及びロッシー符号化ヘッダ生成部１１２を制御する制御信号を出力する。この制御信号は、各符号化対象画像の符号化モード、量子化パラメータ等を指定する信号である。符号化モードは、例えば、イントラ予測符号化のみ、又はイントラ予測符号化とインター予測符号化との混在を示す。インター予測符号化で参照される参照画像としては、基本レイヤの局所復号画像が指定される。
符号化部１１１は、符号化対象画像に対してロッシー符号化を適用し、ＣＵ毎の基本レイヤの符号化画像を生成して出力する。生成される符号化画像は、ＨＥＶＣ規格の単一レイヤ符号化規定に準拠する。
ロッシー符号化ヘッダ生成部１１２は、ＨＥＶＣ規格の単一レイヤ符号化規定に準拠したロッシー符号化時のスライス、画像、及びシーケンス単位の符号化パラメータを生成して出力する。
ロスレス符号化制御部１２０は、符号化部１２１及びロスレス符号化ヘッダ生成部１２２を制御する制御信号を出力する。この制御信号は、各符号化対象画像の符号化モード、ロスレス符号化等を指定する信号である。符号化モードは、例えば、すべてのＣＵでイントラ予測符号化のみ、又はすべてのＣＵで、符号化部１１１が出力する同一画像に対応する復号画像を参照画像とするインター予測符号化のみを示す。
符号化部１２１は、各符号化対象画像に対してロスレス符号化を適用し、ＣＵ毎の拡張レイヤの符号化画像を生成して出力する。生成される符号化画像は、ＨＥＶＣ規格の単一レイヤ符号化規定に準拠する。
ロスレス符号化ヘッダ生成部１２２は、ＨＥＶＣ規格の複数レイヤ符号化規定に準拠したロスレス符号化時のスライス、画像、及びシーケンス単位の符号化パラメータを生成して出力する。
多重化部１３０は、ロッシー符号化ヘッダ生成部１１２、符号化部１１１、ロスレス符号化ヘッダ生成部１２２、及び符号化部１２１の出力を多重化して、２レイヤ品質階層符号化動画像の符号化データを生成する。
送信部１４０は、多重化部１３０が出力する符号化データ（符号化画像及び符号化パラメータ）を蓄積し、符号化ストリームとして記憶する。そして、送信部１４０は、画像復号装置からの要求に応じて、基本レイヤの符号化ストリームのみ、拡張レイヤの符号化ストリームのみ、又は基本レイヤの符号化ストリームと拡張レイヤの符号化ストリームの両方を、画像復号装置へ送信する。
図３は、実施形態の画像復号装置の構成例を示している。図３の画像復号装置２００は、復号制御部２１０、受信部２１１、復号部２２０、復号部２２１、記憶部２２２、及び生成部２２３を含む。復号部２２０及び復号部２２１は、それぞれ、図１の復号部１３００及び復号部１４００に対応する。
画像復号装置２００は、例えば、ハードウェア回路として実装することができる。この場合、画像復号装置２００は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。
復号制御部２１０は、符号化ストリームをロッシー復号又はロスレス復号して復号画像を画面上に表示するために、画像復号装置２００の各構成要素を制御する制御信号を出力する。図３では、復号制御部２１０から受信部２１１、復号部２２０、復号部２２１、記憶部２２２、及び生成部２２３へ出力される制御信号は省略されている。
復号制御部２１０は、ロッシー復号画像を表示する場合、画像符号化装置１００に対して基本レイヤの符号化ストリームのみを要求し、受信部２１１は、基本レイヤの符号化ストリームを受信して、復号部２２０へ出力する。
一方、ロスレス復号画像を表示する場合、復号制御部２１０は、画像符号化装置１００に対して、拡張レイヤの符号化ストリームのみ、又は基本レイヤと拡張レイヤの両方の符号化ストリームを要求する。そして、受信部２１１は、基本レイヤの符号化ストリームを受信すると、受信した符号化ストリームを復号部２２０へ出力し、拡張レイヤの符号化ストリームを受信すると、受信した符号化ストリームを復号部２２１へ出力する。
復号制御部２１０は、画像符号化装置１００に対して、所定の単位で符号化ストリームを要求することができる。復号制御部２１０は、所定の単位として、時間幅を指定することもでき、特定の画像を指定することもできる。
復号部２２０は、基本レイヤの符号化ストリームに含まれる符号化画像を復号し、ロッシー復号画像を生成して出力する。復号部２２１は、拡張レイヤの符号化ストリームに含まれる符号化画像を復号し、符号化歪を表す復号画像を生成して出力する。
記憶部２２２は、復号部２２０が出力するロッシー復号画像を記憶し、復号制御部２１０は、記憶部２２２が記憶するロッシー復号画像列をロッシー動画像として画面上に表示する制御を行う。
生成部２２３は、同じ元画像に対応する、記憶部２２２が記憶するロッシー復号画像の画素値と、復号部２２１が出力する復号画像の画素値とを加算する。そして、生成部２２３は、得られた加算結果から中間値等に対応する所定の画素値を減算してロスレス復号画像を生成し、復号制御部２１０は、ロスレス復号画像列をロスレス動画像として画面上に表示する制御を行う。
ロッシー動画像が表示された後、オペレータ、アプリケーションプログラム等から１つの画像の詳細情報の表示を要求されることがある。この場合、復号制御部２１０は、拡張レイヤの符号化ストリームに含まれる符号化画像のうち、要求された画像に対応する特定の符号化画像のみを、画像符号化装置１００に対して要求してもよい。
例えば、医師がマルチスライスＣＴ画像の頭頂部のスライス画像から足先のスライス画像までを連続した動画像として観察するとき、復号制御部２１０は、基本レイヤの符号化ストリームのみを画像符号化装置１００に対して要求する。そして、画像符号化装置１００から画像復号装置２００へ基本レイヤの符号化ストリームのみが伝送される。これにより、基本レイヤと拡張レイヤの両方の符号化ストリームを伝送する場合よりも、伝送レートが削減される。
次に、医師が胸部等の注目するスライス画像を詳細に確認するとき、復号制御部２１０は、医師から指定されたスライス画像に対応する拡張レイヤの符号化画像のみを画像符号化装置１００に対して要求する。そして、画像符号化装置１００から画像復号装置２００へ拡張レイヤの符号化画像のみが伝送される。画像復号装置２００は、拡張レイヤの符号化画像のみを単体で復号した後に、保存されているロッシー復号画像と加算することで、ロッシー復号を再度行うことなく、ロスレス復号画像を表示することができる。
図２の画像符号化装置１００及び図３の画像復号装置２００によれば、以下のような効果が得られる。
（１）ロッシー復号画像とロスレス復号画像とを柔軟かつ簡単に切り替えることができ、画像符号化装置と画像復号装置との間の通信ネットワークを有効利用することが可能になる。
基本レイヤの符号化ストリームと拡張レイヤの符号化ストリームとを異なるタイミングで伝送することができるため、両方の符号化ストリームを同時に伝送する場合よりも、伝送レートが削減される。
（２）品質階層符号化により、ロスレス符号化とロッシー符号化の両方に対応できる。とりわけ、符号化パラメータ及び符号化画像はＳＨＶＣに完全準拠であるため、ＳＨＶＣ準拠の画像復号装置により正常に復号可能である。
（３）ＨＥＶＣの品質階層符号化を適用することで、ＨＥＶＣで単純にロスレス符号化する場合やＪＰＥＧ ２０００等の静止画符号化によりロスレス符号化する場合よりも、総情報量（基本レイヤの情報量と拡張レイヤの情報量との和）を削減することができる。
例えば、精度が１２ビット、色差形式が４：０：０のマルチスライスＣＴ画像（５１２画素×５１２画素）の場合、１５％程度の情報量を削減できる。この場合、ロッシー符号化の量子化パラメータは０近辺に設定されるが、量子化パラメータ０を用いたときの量子化歪の大きさは、量子化パラメータの最小値−２４を用いたときの量子化歪の大きさの１６倍である。また、ロッシー符号化にはインター予測符号化が適用される。
１２ビット信号のMost Significant Bit（ＭＳＢ）成分は、画像内及び画像間で高い相関性があるため、インター予測符号化と周波数変換とを適用することで情報量を大幅に削減できる。一方、符号化歪として残る、１２ビット信号のLeast Significant Bit（ＬＳＢ）成分は、画像内及び画像間での相関性が低いため、ＨＥＶＣのロスレス符号化で十分であると言える。
（４）画像復号装置の回路構成を簡単化できる。具体的には、基本レイヤのＣＵのための復号回路と、拡張レイヤのＣＵのための復号回路とを共用できる。
図２の画像符号化装置１００及び図３の画像復号装置２００は、様々な用途に利用される。例えば、画像符号化装置１００又は画像復号装置２００を、ビデオカメラ、動画像送信装置、動画像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
図４は、図３の復号部２２１及び生成部２２３の構成例を示している。図４の復号部２２１は、予測誤差復号部２４０１、加算部２４０２、及び中間色画像生成部２４０３を含む。
予測誤差復号部２４０１は、図１の予測誤差復号部１４０１に対応し、ＣＵ毎に拡張レイヤの符号化画像を復号して、基本レイヤの符号化歪を正負反転させた値に対応する復号結果を生成する。
中間色画像生成部２４０３は、すべての画素の画素値が中間値である、仮想的な中間色画像を生成する。ＨＥＶＣ規格では、復号画像バッファに参照画像が存在しない場合、この中間色画像が復号画像バッファに挿入され、参照画像として用いられる。例えば、符号化対象画像がＮビットの精度を持つ場合、（Ｙ，Ｃｂ，Ｃｒ）＝（２＾（Ｎ−１），２＾（Ｎ−１），２＾（Ｎ−１））を中間値として用いることができる。
加算部２４０２は、図３の加算部１４０２に対応し、予測誤差復号部２４０１が生成する復号結果と、中間色画像生成部２４０３が生成する中間色画像の画素値とをＣＵ単位で加算し、加算結果を復号画像の画素値として出力する。これにより、予測誤差復号部２４０１が生成する復号結果が負の値であっても、復号部２２１から正の画素値を有する復号画像を出力することができる。
生成部２２３は、加算部２５０１、減算部２５０２、及び中間色画像生成部２５０３を含む。加算部２５０１は、記憶部２２２が記憶するロッシー復号画像の画素値と、復号部２２１が出力する復号画像の画素値とを画像単位で加算し、加算結果を出力する。中間色画像生成部２５０３は、中間色画像生成部２４０３と同様に、中間色画像を生成する。減算部２５０２は、加算部２５０１が出力する加算結果から、中間色画像生成部２５０３が生成する中間色画像の画素値を画像単位で減算して、拡張レイヤのロスレス復号画像を生成する。
拡張レイヤのすべてのＣＵに対して、基本レイヤでの同一画像に対応する復号画像が参照され、動きベクトルが０になる、という条件の下では、生成部２２３が出力するロスレス復号画像は、図１の復号部１４００が出力するロスレス復号画像と完全に一致する。
図４の構成によれば、図１の復号画像バッファ１４０３及び予測画像生成部１４０４を省略することができ、ロスレス復号画像を生成するための復号部２２１の構成が簡略化される。これにより、画像復号装置２００において符号化ストリームを受信する処理の負荷が軽減される。
図５は、基本レイヤ又は拡張レイヤにおける、１つの符号化対象画像に対応する符号化データの例を示している。図５の符号化データ２０００は、Video Parameter Set（ＶＰＳ）２０１０、Sequence Parameter Set（ＳＰＳ）２０１１、Picture Parameter Set（ＰＰＳ）２０１２、及びSlice Segmentヘッダ（ＳＬＩＣＥ）２０１３を含む。符号化データ２０００は、さらにCoded Tree Unit（ＣＴＵ）２０１４を含む。
ＶＰＳ２０１０は、レイヤのパラメータを記述する。基本レイヤの場合、少なくとも再引き込みを開始する符号化画像には、ＶＰＳ２０１０が付加される。拡張レイヤの場合は、すべての符号化画像にＶＰＳ２０１０が付加される。
ＶＰＳ２０１０に含まれるパラメータは、基本レイヤと拡張レイヤとで共通である。このうち、品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
VpsBaseLayerInternalFlag：基本レイヤのパラメータであり、符号化動画像に含まれることを示す値‘１’が設定される。
VpsBaseLayerAvailableFlag：基本レイヤの符号化画像が符号化動画像に含まれることを示す値‘１’が設定される。
VpsMaxLayersMinus1：２レイヤを示す値‘１’が設定される。
ProfileTierLevel：拡張レイヤの階層符号化プロファイル（MainScalableプロファイル等）と、基本レイヤの単一レイヤ符号化プロファイル（Mainプロファイル等）を記述する。
ScalabilityMaskFlag[i]：ｉが０の場合のみ、２レイヤに相当する値‘１’が設定される。
DimensionIdLenMinus[0]：２レイヤに相当する値‘０’が設定される。
VpsNuhLayerIdPresentFlag：拡張レイヤのNuhLayerIdを記述するために、値‘１’が設定される。
LayerIdInNuh：拡張レイヤのNuhLayerIdとして、値‘１’が設定される。
DimensionId[1][0]：品質階層符号化を示す値‘２’が設定される。
DirectDependencyFlag[1][0]：拡張レイヤが基本レイヤを参照することを示す値‘１’が設定される。
VpsNumProfileTierLevelMinus1：２レイヤに相当する値‘１’が設定される。
MaxOneActiveRefLayerFlag：２レイヤのみであるため、値‘１’が設定される。
ＳＰＳ２０１１は、各レイヤにおけるシーケンスで共通のパラメータを記述する。基本レイヤの場合、少なくとも再引き込みを開始する符号化画像には、ＳＰＳ２０１１が付加される。拡張レイヤの場合は、すべての符号化画像にＳＰＳ２０１１が付加される。
ＳＰＳ２０１１に含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
NumShortTermRefPicSets：拡張レイヤの場合のみ、拡張レイヤ間での参照を行わないことを示す値‘０’が設定される。
LongTermRefPicsPresentFlag：値‘０’が設定される。ＶＰＳパラメータにより、デフォルトで基本レイヤの復号画像は、拡張レイヤの参照画像となる。
ＰＰＳ２０１２は、各レイヤにおける複数の画像で共通のパラメータを記述する。基本レイヤの場合、少なくとも再引き込みを開始する符号化画像には、ＰＰＳ２０１２が付加する。拡張レイヤの場合は、すべての符号化画像にＰＰＳ２０１２が付加される。
ＰＰＳ２０１２に含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
InitQpMinus26：拡張レイヤの場合、量子化パラメータＱＰが最小値であることを示す値が設定される。この値は画像のビット精度に依存し、例えば、８ビット画像の場合は‘−２６’が設定される。
CuQpDeltaEnabledFlag：拡張レイヤの場合、量子化を行わないため、値‘０’が設定される。
TransquantBypassEnableFlag：拡張レイヤの場合、ロスレス符号化を行うことを示す値‘１’が設定される。
Slice Segmentヘッダ２０１３は、スライス共通のパラメータを記述する。各符号化画像に１つ以上のSlice Segmentヘッダ２０１３が付加される。
Slice Segmentヘッダ２０１３に含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
SliceType：拡張レイヤの場合のみ、Ｐピクチャを示す値‘１’が常に設定される。
ShortTermRefPicSetSpsFlag：拡張レイヤの場合のみ、ＳＰＳ２０１１を参照することを示す値‘１’が設定される。
InterLayerPredEnabledFlag：拡張レイヤの場合のみ、レイヤ間の参照を行うことを示す値‘１’が設定される。
SliceQpDelta：拡張レイヤの場合のみ、ロスレス符号化を行うことを示す値‘０’が設定される。
ＣＴＵ２０１４は、符号化対象画像内のＣＴＵの数だけ出現する。各ＣＴＵは、６４画素×６４画素のブロックであり、１つ又は複数のＣＵを含む。各ＣＵは、ＣＵの符号化画像とパラメータとを含む。
各ＣＵに含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。以下の設定は、拡張レイヤのすべてのＣＵに対して適用される。
CuTransquantBypassFlag：拡張レイヤの場合のみ、ロスレス符号化することを示す値‘１’が設定される。
PredModeFlag：拡張レイヤの場合のみ、インター予測モードを示す値‘０’が設定される。
PredictionUnit：拡張レイヤの場合のみ、RefIdxが０となる参照画像（参照ピクチャ）を参照し、復号される動きベクトルが（０，０）となるように設定される。RefIdxが０の参照画像としては、基本レイヤでの同一画像に対応する復号画像が割り当てられる。
図６は、図２の画像符号化装置１００が行う画像符号化処理の例を示すフローチャートである。この画像符号化処理は、符号化対象動画像に含まれる、時刻ｔにおける符号化対象画像をロッシー符号化及びロスレス符号化する処理である。
まず、ロッシー符号化ヘッダ生成部１１２は、基本レイヤの符号化パラメータを設定する（ステップＳ１０１）。このとき、ロッシー符号化ヘッダ生成部１１２は、オペレータ、アプリケーションプログラム等から指定された画像品質（ビットレート、量子化パラメータ等）に従って、符号化対象画像内の各ＣＵの符号化モード及び符号化パラメータを決定する。
符号化モードは、単一レイヤ符号化方式であり、イントラ予測符号化又は基本レイヤの復号画像のみを参照するインター予測符号化のいずれかである。符号化パラメータは、ロッシー符号化のパラメータであり、量子化パラメータは少なくとも最小値（８ビット画像の場合は０）以上に設定される。また、TransquantBypassEnableFlag又はCuTransquantBypassFlagが０に設定される。
次に、符号化部１１１は、符号化対象画像をロッシー符号化して、基本レイヤの符号化画像と、時刻ｔにおける局所復号画像ＬＲ（ｔ）とを生成する（ステップＳ１０２）。
次に、ロスレス符号化ヘッダ生成部１２２は、拡張レイヤの符号化パラメータを設定する（ステップＳ１０３）。このとき、ロスレス符号化ヘッダ生成部１２２は、符号化対象画像全体の参照画像リストとして、基本レイヤの局所復号画像ＬＲ（ｔ）のみを設定する。この設定は、NumShortTermRefPicSetsを０に設定し、LongTermRefPicsPresentFlagを０に設定することで実現できる。
符号化対象画像内の各ＣＵの符号化モードは、常にインター予測符号化であり、参照画像のRefIdxは０に設定され（基本レイヤの局所復号画像ＬＲ（ｔ）に相当する）、動きベクトル（ＭＶｘ，ＭＶｙ）は（０，０）に設定される。また、TransquantBypassEnableFlag及びCuTransquantBypassFlagは１に設定される。
次に、符号化部１２１は、符号化対象画像をロスレス符号化して、拡張レイヤの符号化画像を生成する（ステップＳ１０４）。
図７は、図３の画像復号装置２００が行う画像復号処理の例を示すフローチャートである。この画像復号処理は、時刻ｔにおける符号化画像を復号して、復号画像を画面上に表示する処理である。
まず、復号制御部２１０は、時刻ｔにおける基本レイヤのロッシー復号画像Ｐ（ｔ）が記憶部２２２に保存されているか否かをチェックする（ステップＳ２０１）。例えば、基本レイヤの符号化ストリームを先に受信し、基本レイヤのロッシー復号画像が既に表示されている場合、ロッシー復号画像Ｐ（ｔ）は記憶部２２２に保存されている。一方、基本レイヤの符号化ストリームを未だ受信していない場合、ロッシー復号画像Ｐ（ｔ）は記憶部２２２に保存されていない。
ロッシー復号画像Ｐ（ｔ）が保存されていない場合（ステップＳ２０１，ＮＯ）、復号制御部２１０は、ロッシー復号画像Ｐ（ｔ）を生成するための基本レイヤの符号化ストリームを、画像符号化装置１００に対して要求する（ステップＳ２０２）。そして、受信部２１１は、画像符号化装置１００から送信される符号化ストリームを受信する。次に、復号部２２０は、受信した符号化ストリームに含まれる符号化画像を復号して、ロッシー復号画像Ｐ（ｔ）を生成し、ロッシー復号画像Ｐ（ｔ）を記憶部２２２に保存する（ステップＳ２０３）。
一方、ロッシー復号画像Ｐ（ｔ）が保存されている場合（ステップＳ２０１，ＹＥＳ）、復号制御部２１０は、記憶部２２２からロッシー復号画像Ｐ（ｔ）を取得する（ステップＳ２０４）。
次に、復号制御部２１０は、オペレータ、アプリケーションプログラム等から指示された表示モードが、ロッシー表示又はロスレス表示のいずれであるかをチェックする（ステップＳ２０５）。
表示モードがロッシー表示である場合（ステップＳ２０５，ＹＥＳ）、復号制御部２１０は、ロッシー復号画像Ｐ（ｔ）を画面上に表示する制御を行う（ステップＳ２０６）。
一方、表示モードがロスレス表示である場合、復号制御部２１０は、時刻ｔにおける拡張レイヤの符号化データを、画像符号化装置１００に対して要求する（ステップＳ２０７）。そして、受信部２１１は、画像符号化装置１００から送信される符号化データを受信する。
次に、復号部２２１は、受信した符号化データに含まれる符号化画像を復号して、時刻ｔにおける符号化歪を表す拡張レイヤの復号画像Ｑ（ｔ）を生成する（ステップＳ２０８）。次に、生成部２２３は、ロッシー復号画像Ｐ（ｔ）と復号画像Ｑ（ｔ）とを加算し、加算結果から所定の画素値を減算することで、時刻ｔにおける拡張レイヤのロスレス復号画像Ｒ（ｔ）を生成する（ステップＳ２０９）。そして、復号制御部２１０は、ロスレス復号画像Ｒ（ｔ）を画面上に表示する制御を行う（ステップＳ２１０）。
図３の画像処理ステムと図２の画像符号化装置１００と図３及び図４の画像復号装置２００の構成は一例に過ぎず、画像符号化装置及び画像復号装置の用途や条件に応じて一部の構成要素を省略又は変更してもよい。
例えば、図１の画像復号装置１００２として図３の画像復号装置２００の構成を採用する場合、図１の復号画像バッファ１４０３及び予測画像生成部１４０４を省略することができる。
図４の中間色画像生成部２４０３及び中間色画像生成部２５０３の代わりに、すべての画素の画素値が中間値以外の固定値である画像を生成する画像生成部を用いてもよい。また、加算部２５０１が、直接、記憶部２２２が記憶するロッシー復号画像の画素値と、予測誤差復号部２４０１が生成する復号結果とを加算して、拡張レイヤのロスレス復号画像を生成することも可能である。この場合、加算部２４０２、中間色画像生成部２４０３、減算部２５０２、及び中間色画像生成部２５０３を省略することができる。
２レイヤの品質階層符号化を行う代わりに、３レイヤ以上の品質階層符号化を行ってもよい。また、ＨＥＶＣの品質階層符号化の代わりに、不可逆符号化により符号化した符号化ストリームと可逆符号化により符号化した符号化ストリームとを生成する、他の符号化方式を用いても構わない。
図６及び図７に示したフローチャートは一例に過ぎず、画像符号化装置及び画像復号装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図６の画像符号化処理において、基本レイヤと拡張レイヤの符号化パラメータがあらかじめ設定されている場合、ステップＳ１０１及びステップＳ１０４の処理を省略することができる。
図７のステップＳ２０９において、加算部２５０１が、直接、記憶部２２２が記憶するロッシー復号画像の画素値と、予測誤差復号部２４０１が生成する復号結果とを加算して、拡張レイヤのロスレス復号画像を生成してもよい。
符号化対象画像は、医用画像に限定されるものではなく、不可逆符号化と可逆符号化の両方が適用される他の画像であってもよい。
図１の画像符号化装置１００１、画像復号装置１００２、図２の画像符号化装置１００、及び図３の画像復号装置２００は、ハードウェア回路として実装することもでき、図８に示すような情報処理装置（コンピュータ）を用いて実現することもできる。
図８の情報処理装置は、Central Processing Unit（ＣＰＵ）８０１、メモリ８０２、入力装置８０３、出力装置８０４、補助記憶装置８０５、媒体駆動装置８０６、及びネットワーク接続装置８０７を備える。これらの構成要素はバス８０８により互いに接続されている。
メモリ８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像符号化処理又は画像復号処理に用いられるプログラム及びデータを格納する。メモリ８０２は、図１の復号画像バッファ１１０５、復号画像バッファ１２０５、復号画像バッファ１３０３、又は復号画像バッファ１４０３として用いることができる。メモリ８０２は、図３の記憶部２２２として用いることもできる。
ＣＰＵ８０１（プロセッサ）は、例えば、メモリ８０２を利用してプログラムを実行することにより、図１の符号化部１１００、減算部１１０１、予測誤差符号化部１１０２、予測誤差復号部１１０３、加算部１１０４、及び予測画像生成部１１０６として動作する。ＣＰＵ８０１は、図１の符号化部１２００、減算部１２０１、予測誤差符号化部１２０２、予測誤差復号部１２０３、加算部１２０４、及び予測画像生成部１２０６としても動作する。
ＣＰＵ８０１は、図１の復号部１３００、予測誤差復号部１３０１、加算部１３０２、予測画像生成部１３０４、復号部１４００、予測誤差復号部１４０１、加算部１４０２、及び予測画像生成部１４０４としても動作する。
ＣＰＵ８０１は、図２のロッシー符号化制御部１１０、符号化部１１１、ロッシー符号化ヘッダ生成部１１２、ロスレス符号化制御部１２０、符号化部１２１、ロスレス符号化ヘッダ生成部１２２、及び多重化部１３０としても動作する。ＣＰＵ８０１は、図３の復号制御部２１０、復号部２２０、復号部２２１、及び生成部２２３、図４の予測誤差復号部２４０１、加算部２４０２、中間色画像生成部２４０３、加算部２５０１、減算部２５０２、及び中間色画像生成部２５０３としても動作する。
入力装置８０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置８０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。処理結果には、ロッシー復号画像又はロスレス復号画像が含まれる。
補助記憶装置８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置８０５は、ハードディスクドライブであってもよい。補助記憶装置８０５は、図３の記憶部２２２として用いることができる。情報処理装置は、補助記憶装置８０５にプログラム及びデータを格納しておき、それらをメモリ８０２にロードして使用することもできる。
媒体駆動装置８０６は、可搬型記録媒体８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体８０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体８０９にプログラム及びデータを格納しておき、それらをメモリ８０２にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ８０２、補助記憶装置８０５、及び可搬型記録媒体８０９のような、物理的な（非一時的な）記録媒体が含まれる。
ネットワーク接続装置８０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置８０７は、図２の送信部１４０又は図３の受信部２１１として用いることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置８０７を介して受け取り、それらをメモリ８０２にロードして使用することもできる。
なお、情報処理装置が図８のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置８０３及び出力装置８０４を省略してもよい。また、情報処理装置が可搬型記録媒体８０９にアクセスしない場合は、媒体駆動装置８０６を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (9)

  1. 複数の符号化対象画像を不可逆符号化により符号化した第１の符号化ストリームを画像符号化装置から受信するとともに、前記複数の符号化対象画像のうち１つの符号化対象画像に対して、前記１つの符号化対象画像を符号化した第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して、予測誤差を可逆符号化により符号化した第２の符号化画像を含む第２の符号化ストリームを、前記画像符号化装置から受信する受信部と、
    前記第１の符号化ストリームを復号して、前記第１の符号化画像から第１の復号画像を生成する第１の復号部と、
    前記第１の復号画像を記憶する記憶部と、
    前記第２の符号化ストリームを復号して、前記第２の符号化画像から第２の復号画像を生成する第２の復号部と、
    前記第１の復号画像と前記第２の復号画像とを加算した加算結果を用いて、前記第１の復号画像に対応する第３の復号画像を生成する生成部と、
    前記第１の復号画像を出力する場合、前記画像符号化装置に対して前記第１の符号化ストリームを要求し、前記第１の復号画像を前記第１の復号部に生成させ、前記第１の復号画像を前記記憶部に記憶させ、前記第１の復号画像を出力し、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記画像符号化装置に対して前記第２の符号化ストリームを要求し、前記第２の復号画像を前記第２の復号部に生成させ、前記第３の復号画像を前記生成部に生成させ、前記第３の復号画像を出力する復号制御部と、
    を備えることを特徴とする画像復号装置。
  2. 前記第２の復号部は、前記第２の符号化画像を復号した復号結果と所定の画素値とを加算することで、正の画素値を有する前記第２の復号画像を生成し、前記生成部は、前記加算結果から前記所定の画素値を減算することで、前記第３の復号画像を生成することを特徴とする請求項１記載の画像復号装置。
  3. 前記第１の符号化画像は、前記第１の符号化ストリームに含まれる複数の符号化画像のうち、詳細情報の出力が要求された画像に対応する符号化画像であり、前記復号制御部は、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記第２の符号化ストリームに含まれる複数の符号化画像のうち、前記第１の符号化画像に対応する前記第２の符号化画像を、前記画像符号化装置に対して要求することを特徴とする請求項１又は２記載の画像復号装置。
  4. 画像符号化装置と画像復号装置とを備える画像処理システムであって、
    前記画像符号化装置は、
    複数の符号化対象画像を不可逆符号化により符号化して、前記複数の符号化対象画像のうち１つの符号化対象画像を符号化した第１の符号化画像を含む、複数の符号化画像を生成する第１の符号化部と、
    前記１つの符号化対象画像に対して、前記第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して予測誤差を可逆符号化により符号化した第２の符号化画像を含む、複数の符号化画像を生成する第２の符号化部と、
    前記第１の符号化部により生成される前記複数の符号化画像を含む第１の符号化ストリームと、前記第２の符号化部により生成される前記複数の符号化画像を含む第２の符号化ストリームとを記憶し、前記第１の符号化ストリームと前記第２の符号化ストリームとを前記画像復号装置へ送信する送信部と、
    を含み、
    前記画像復号装置は、
    前記第１の符号化ストリームと前記第２の符号化ストリームとを前記画像符号化装置から受信する受信部と、
    前記第１の符号化ストリームを復号して、前記第１の符号化画像から第１の復号画像を生成する第１の復号部と、
    前記第１の復号画像を記憶する記憶部と、
    前記第２の符号化ストリームを復号して、前記第２の符号化画像から第２の復号画像を生成する第２の復号部と、
    前記第１の復号画像と前記第２の復号画像とを加算した加算結果を用いて、前記第１の復号画像に対応する第３の復号画像を生成する生成部と、
    前記第１の復号画像を出力する場合、前記画像符号化装置に対して前記第１の符号化ストリームを要求し、前記第１の復号画像を前記第１の復号部に生成させ、前記第１の復号画像を前記記憶部に記憶させ、前記第１の復号画像を出力し、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記画像符号化装置に対して前記第２の符号化ストリームを要求し、前記第２の復号画像を前記第２の復号部に生成させ、前記第３の復号画像を前記生成部に生成させ、前記第３の復号画像を出力する復号制御部と、
    を含むことを特徴とする画像処理システム。
  5. 前記第２の復号部は、前記第２の符号化画像を復号した復号結果と所定の画素値とを加算することで、正の画素値を有する前記第２の復号画像を生成し、前記生成部は、前記加算結果から前記所定の画素値を減算することで、前記第３の復号画像を生成することを特徴とする請求項４記載の画像処理システム。
  6. 前記第１の符号化画像は、前記第１の符号化部により生成される前記複数の符号化画像のうち、詳細情報の出力が要求された画像に対応する符号化画像であり、前記復号制御部は、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記第２の符号化部により生成される前記複数の符号化画像のうち、前記第１の符号化画像に対応する前記第２の符号化画像を、前記画像符号化装置に対して要求することを特徴とする請求項４又は５記載の画像処理システム。
  7. 複数の符号化対象画像を不可逆符号化により符号化して、前記複数の符号化対象画像のうち１つの符号化対象画像を符号化した第１の符号化画像を含む、第１の符号化ストリームを生成する画像符号化装置に対して、前記第１の符号化ストリームを要求し、
    前記第１の符号化ストリームを前記画像符号化装置から受信し、
    前記第１の符号化ストリームを復号して、前記第１の符号化画像から第１の復号画像を生成し、
    前記第１の復号画像を記憶部に記憶させ、
    前記第１の復号画像を出力し、
    前記１つの符号化対象画像に対して、前記第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して、予測誤差を可逆符号化により符号化した第２の符号化画像を含む第２の符号化ストリームを、前記画像符号化装置に対して要求し、
    前記第２の符号化ストリームを前記画像符号化装置から受信し、
    前記第２の符号化ストリームを復号して、前記第２の符号化画像から第２の復号画像を生成し、
    前記第１の復号画像と前記第２の復号画像とを加算した加算結果を用いて、前記第１の復号画像に対応する第３の復号画像を生成し、
    前記第３の復号画像を出力する、
    ことを特徴とする画像復号方法。
  8. 前記第２の復号画像を生成する処理は、前記第２の符号化画像を復号した復号結果と所定の画素値とを加算することで、正の画素値を有する前記第２の復号画像を生成し、前記第３の復号画像を生成する処理は、前記加算結果から前記所定の画素値を減算することで、前記第３の復号画像を生成することを特徴とする請求項７記載の画像復号方法。
  9. 前記第１の符号化画像は、前記第１の符号化ストリームに含まれる複数の符号化画像のうち、詳細情報の出力が要求された画像に対応する符号化画像であり、前記第２の符号化ストリームを前記画像符号化装置に対して要求する処理は、前記第２の符号化ストリームに含まれる複数の符号化画像のうち、前記第１の符号化画像に対応する前記第２の符号化画像を要求することを特徴とする請求項７又は８記載の画像復号方法。
JP2016562094A 2014-12-01 2014-12-01 画像復号装置、画像処理システム、及び画像復号方法 Pending JPWO2016088160A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081689 WO2016088160A1 (ja) 2014-12-01 2014-12-01 画像復号装置、画像処理システム、及び画像復号方法

Publications (1)

Publication Number Publication Date
JPWO2016088160A1 true JPWO2016088160A1 (ja) 2017-09-21

Family

ID=56091141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016562094A Pending JPWO2016088160A1 (ja) 2014-12-01 2014-12-01 画像復号装置、画像処理システム、及び画像復号方法

Country Status (3)

Country Link
US (1) US20170264913A1 (ja)
JP (1) JPWO2016088160A1 (ja)
WO (1) WO2016088160A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206417B2 (en) * 2019-05-30 2021-12-21 Tencent America LLC Method and apparatus for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172643A (ja) * 1995-12-19 1997-06-30 Kokusai Denshin Denwa Co Ltd <Kdd> 階層符号化装置
WO2014107720A1 (en) * 2013-01-07 2014-07-10 Vid Scale, Inc. Motion information signaling for scalable video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3236821B2 (ja) * 1998-07-22 2001-12-10 ケイディーディーアイ株式会社 静止画像の階層符号化伝送方法および階層復号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172643A (ja) * 1995-12-19 1997-06-30 Kokusai Denshin Denwa Co Ltd <Kdd> 階層符号化装置
WO2014107720A1 (en) * 2013-01-07 2014-07-10 Vid Scale, Inc. Motion information signaling for scalable video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, JILL BOYCE, YAN YE, MISKA M. HANNUKSELA, SHVC TEST MODEL 2 (SHM 2), JPN6015004716, 6 June 2013 (2013-06-06), pages 1 - 2, ISSN: 0003792760 *
KIRAN MISRA 5750 NW PACIFIC RIM BLVD CAMAS, WA 98607 USA: "Description of scalable video coding technology proposal by Sharp (proposal 1)[online]", JCTVC-K JCTVC-K0031_R1, JPN6018016604, 19 October 2012 (2012-10-19), ISSN: 0003792763 *
RECOMMENDATION ITU-T H.265 (04/2013) HIGH EFFICIENCY VIDEO CODING, JPN6015004718, April 2013 (2013-04-01), pages 100, ISSN: 0003792761 *
大久保 榮, Ｈ．２６５／ＨＥＶＣ教科書 初版 H.265/HEVC TEXTBOOK, vol. 第1版, JPN6018016600, 21 October 2013 (2013-10-21), pages 315 - 317, ISSN: 0003792762 *

Also Published As

Publication number Publication date
WO2016088160A1 (ja) 2016-06-09
US20170264913A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6274299B2 (ja) 映像復号装置及び映像復号方法
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
US8385412B2 (en) Method and apparatus for inter-layer residue prediction for scalable video
CN112042200B (zh) 视频解码的方法和装置
JP2022521515A (ja) 交差成分フィルタリングのための方法、装置、およびプログラム
JP7124222B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
JP2022059032A (ja) ビデオエンコーディング及びデコーディングのための方法、装置、コンピュータプログラム、及び非一時的なコンピュータ可読媒体
US20160198175A1 (en) Image encoding device, image encoding method and program, image decoding device, and image decoding method and program
JP7297918B2 (ja) ビデオ符号化のための色変換
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP6457248B2 (ja) 画像復号装置、画像符号化装置および画像復号方法
JP2024019542A (ja) 復号装置、プログラム、及び復号方法
JP2017183910A (ja) 画像符号化装置及び画像符号化方法
WO2016088160A1 (ja) 画像復号装置、画像処理システム、及び画像復号方法
JP2023553996A (ja) 成分間変換係数レベル復元におけるオフセットの導出
JP2023522704A (ja) ビデオコーディングのための方法および装置、およびコンピュータプログラム
JP7366216B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2023521324A (ja) ビデオフィルタリングのための方法および装置
JP2023531866A (ja) ビデオコーディングのための方法、装置、非一時的コンピュータ可読記憶媒体およびコンピュータプログラム
JP2013017085A (ja) 画像符号化装置及び画像符号化方法
JP2011166357A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180515